JP6345176B2 - 肌の官能評価装置および肌の評価方法 - Google Patents

Description

本願は肌の透明感など官能評価値を決定する評価装置および評価方法に関する。

美容分野において、肌の状態を測定する装置が求められている。たとえば、肌のシミやしわを測定する装置が実現されている。また、このような肌の物理的な特徴量だけではなく、肌の透明感といった官能評価値を測定する装置が求められている。

たとえば特許文献１は、肌にプローブを接触あるいは近接させて、肌の局所的な透明感を評価する方法を開示している。

特許第４１０５５５４号公報

特許文献１に開示された方法によって求められる透明感は、局所的な肌の透明度であり、たとえば、顔の頬全体等広い部分から求められるものではない。このため、例えば、顔全体を見たときに感じる肌の透明感とは一致しない場合がある。

本願の限定的ではないある例示的な一実施形態は、肌の官能評価値を決定することのできる官能評価装置および肌の評価方法を提供する。

本願の一実施形態にかかる評価方法は、画像から肌の官能評価値を決定する評価方法であって、（ａ）被検者の肌を含む画像を取得し、（ｂ）前記画像から、肌領域を抽出し、（ｃ）前記肌領域において、前記画像における特徴を示す少なくとも２つの特徴指標を算出し、（ｄ）前記算出された少なくとも２つの特徴指標に基づいて、肌の官能評価値を決定する。

本願に開示された官能評価装置および肌の評価方法によれば、肌の画像の特徴指標を２つ以上用いることによって、高い精度で肌の官能評価値を決定することができる。

（ａ）は肌の官能評価装置の一実施形態の構成を模式的に示している。（ｂ）は、官能評価装置の制御装置の構成を示している。（ｃ）は、クラウドサーバーの構成を示している。 （ａ）および（ｂ）は、官能評価装置の撮像装置、光源および表示装置の配置を示す正面図および側面図である。 肌の内部の構造を模式的に示す図である。 （ａ）官能評価装置の機能ブロック図であり、（ｂ）はクラウドサーバーの機能ブロック図である。 官能評価装置によって、肌の評価を行う手順を示すフローチャートである。 （ａ）および（ｂ）は、官能評価前に表示装置に表示される画面例を示している。 撮影された画像における肌領域および単位ブロックを示す図である。 （ａ）から（ｄ）は、官能評価後に表示装置に表示される画面例を示している。 （ａ）および（ｂ）は、官能評価後に表示装置に表示される他の画面例を示している。 （ａ）から（ｄ）は、官能評価後に表示装置に表示される他の画面例を示している。 主観評価による透明感と決定した透明感との相関を示す図である。 主観評価による透明感とシミ量との相関を示す図である。 クラウドサーバーにおいて、回帰式を求める手順を示すフローチャートである。

本発明の肌の官能評価装置および肌の評価方法の一態様の概要は以下の通りである。

本発明の一態様に係る画像から肌の官能評価値を決定する評価方法は、（ａ）被検者の肌を含む画像を取得し、（ｂ）前記画像から、肌領域を抽出し、（ｃ）前記肌領域において、前記画像における特徴を示す少なくとも２つの特徴指標を算出し、（ｄ）前記算出された少なくとも２つの特徴指標に基づいて、肌の官能評価値を決定する。

前記ステップ（ｂ）において、前記肌領域を複数の単位ブロックに分割し、前記ステップ（ｃ）および（ｄ）において、前記単位ブロックごとに、前記少なくとも２つの特徴指標を算出し、前記肌の官能評価値を決定し、（ｅ）前記単位ブロックごとに求めた肌の官能評価値を、前記単位ブロックの位置に関連づけて表示装置に表示してもよい。

前記ステップ（ｂ）は、前記画像において、前記被検者の顔を検出し、前記検出した顔の位置に基づき、前記画像上において、顔部品の領域を除外することによって前記肌領域を抽出してもよい。

前記ステップ（ｅ）は、前記単位ブロックごとに求めた肌の官能評価値に応じた色調または階調で前記単位ブロックの位置に関連づけて前記表示装置に表示してもよい。

前記特徴指標は、前記肌のシミ、シワ、キメおよび毛穴、前記顔のほうれい線、前記単位ブロックにおける画素値の平均、分散および色相、前記肌の表面の反射率、水分、油分および色ムラからなる群から選ばれる１つであってもよい。

前記官能評価値は前記肌の透明感、前記被検者の肌年齢、前記被検者の肌印象からなる群から選ばれる１つであってもよい。

前記ステップ（ｄ）は、複数の被検者からあらかじめ測定された前記少なくとも２つの特徴指標と、前記複数の被検者の肌を評価して決定された官能評価値との相関関係に基づき、前記肌の官能評価値を決定してもよい。

前記相関関係は、重回帰分析により求めてもよい。

前記算出された特徴指標または前記決定された官能評価値に関連する美容機器または化粧品に関する情報を前記表示装置にさらに表示してもよい。

本発明の一態様に係る官能評価装置は、被検者の肌を含む画像を取得する撮像部と、前記画像から、肌領域を抽出する肌領域抽出部と、前記肌領域において、前記画像における特徴を示す少なくとも２つの特徴指標を算出する特徴指標算出部と、前記算出された少なくとも２つの特徴指標に基づいて、肌の官能評価値を決定する官能評価値決定部とを備える。

前記官能評価装置は、表示部をさらに備え、前記肌領域抽出部は、前記肌領域を複数の単位ブロックに分割し、前記特徴指標算出部は、前記単位ブロックごとに前記少なくとも２つの特徴指標を算出し、前記官能評価値決定部は、前記単位ブロックごとに前記肌の官能評価値を決定し、前記表示部は、前記単位ブロックごとに求めた肌の官能評価値を、前記単位ブロックの位置に関連づけて表示してもよい。

肌領域抽出部は、前記画像において、前記被検者の顔を検出し、前記検出した顔の位置に基づき、前記画像上において、顔部品の領域を除外することによって前記肌領域を抽出してもよい。

前記表示部は、前記単位ブロックごとに求めた肌の官能評価値を、前記官能評価値に応じた色調または階調で前記単位ブロックの位置に関連づけて表示してもよい。

前記特徴指標は、前記肌のシミ、シワ、キメおよび毛穴、前記顔のほうれい線、前記単位ブロックにおける画素値の平均、分散および色相、前記肌の表面の反射率、水分、油分および色ムラからなる群から選ばれる１つであってもよい。

前記官能評価値は前記肌の透明感、前記被検者の肌年齢、前記被検者の肌印象からなる群から選ばれる１つであってもよい。

前記官能評価値決定部は、複数の被検者からあらかじめ測定された前記少なくとも２つの特徴指標と、前記複数の被検者の肌を評価して決定された官能評価値との相関関係に基づき、前記肌の官能評価値を決定してもよい。

前記相関関係は、重回帰分析により求めてもよい。

前記表示部は、前記算出された特徴指標または前記決定された官能評価値に関連する美容機器または化粧品に関する情報をさらに表示してもよい。

本発明の他の一態様に係る官能評価装置は、撮像装置と、記憶素子および演算素子を含む制御装置と、表示装置と、前記記憶素子に記録され、前記演算素子によって実行可能なように構成されたプログラムとを備え、前記プロプログラムは、（ａ）被検者の肌を含む画像を取得させ、（ｂ）前記画像から、肌領域を抽出し、（ｃ）前記肌領域において、前記画像における特徴を示す少なくとも２つの特徴指標を算出し、（ｄ）前記算出された少なくとも２つの特徴指標に基づいて、肌の官能評価値を決定し、（ｅ）前記決定した肌の官能評価値を前記表示装置に表示させる。

以下、図面を参照しながら、本発明の肌の官能評価装置および肌の評価方法の実施形態を詳細に説明する。

図１（ａ）は本発明による肌の官能評価装置の一実施形態の構成を模式的に示している。本実施形態の官能評価装置１０１は、被検者２４の顔の画像を取得し、顔の肌領域において、画像の特徴を示す特徴指標を画像から２つ以上算出する。また、算出した２つ以上の特徴指標から肌の官能評価値を決定する。本願明細書において、画像の特徴を示す特徴指標とは、撮影した画像に含まれる肌領域において、画像に表れている特徴を指標化したものである。具体的には、特徴指標とは画像に表れる肌のシミ、シワ、キメおよび毛穴に関する画像データを指標化した値および画像の画素値に関して指標化した値である。より具体的には、画像に表れる肌のシミ、シワの量を指標化した値、毛穴の数、面積、濃度のうちいずれか一つ以上の組合せで示される毛穴の量を指標化した値、キメ（肌理）の細やかさを指標化した値、ほうれい線の長さ、太さ、深さのうちいずれか一つ以上の組合わせを指標化した値、肌領域の所定の単位ブロックにおける画像の画素値の平均および分散、画素の色相を指標化した値、肌表面の反射率、水分、油分および色ムラを指標化した値をいう。また、肌の官能評価値とは、画像から直接求めることができない主観的な評価値をいう。具体的には、肌の透明感、肌年齢および肌印象をいう。一般的に、肌の官能評価値は、評価者が被検者の肌を見て主観的に決定する。本実施形態の官能評価装置は、あらかじめ評価者が複数の被検者の肌を評価することによって決定した肌の官能評価値と２つ以上の特徴指標との相関関係に基づき、評価中の被検者の２つ以上の特徴指標から官能評価値を決定する。評価者は、肌の透明感、肌年齢、肌印象を評価する美容分野における専門家が好ましいが、これらの評価を専門としていない一般のユーザでもよく、専門家に限らない。

このために、図１（ａ）に示す肌の官能評価装置１０１は、撮像装置１０と、光源１２と、表示装置１４と制御装置１８とを備える。図１（ｂ）は制御装置１８の構成を示す。制御装置は、メモリ１８Ａと、演算部１８Ｂとを備える。官能評価装置１０１の撮像装置１０によって、被検者２４の顔を撮影し、顔の画像を取得する。この際、本実施形態では、画像の特徴指標をより正確に算出するために、偏光光を出射する光源１２を用いる。

図２（ａ）および（ｂ）は、官能評価装置１０１における撮像装置１０、光源１２および表示装置１４の配置を示す正面図および側面図である。本実施形態では、光源１２は、表示装置１４の上に設けられており、光源１２は、第１光源１２Ａおよび第２光源１２Ｂを含む。第１光源１２Ａは、例えば鉛直方向（図２（ａ）においてｙ方向）に偏光軸を有する白色の直線偏光光Ｌａを出射し、第２光源１２Ｂは、水平方向（図２（ａ）においてｘ方向）に偏光軸を有する白色の直線偏光光Ｌｂを出射する。撮像装置１０のレンズ光学系には、例えば、鉛直方向（図２（ａ）においてｙ方向）に偏光軸を有する偏光板が設けられている。図２（ａ）において示す両矢印は、偏光軸の方向を示している。

図２（ｂ）に示すように、官能評価装置１０１を用いて、肌の官能評価値を求める場合、被検者は表示装置１４から、たとえば距離Ｄ程度離れた位置に頭部２４ｈを保持し、顔を表示装置１４に向ける。この状態で、顔全体が、適切な大きさおよび解像度で撮影可能なように、撮像装置１０の光学系が設定されている。表示装置１４の大きさの一例は、幅Ｗが３０ｃｍ程度であり、高さＨが５０ｃｍ程度である。また、距離Ｄは、３０ｃｍから７０ｃｍ程度である。

制御装置１８は、撮像装置１０から画像のデータを受け取り、２つ以上の画像の特徴指標を算出する。また、あらかじめ求められた肌の官能評価値と２つ以上の特徴指標との相関関係に基づき、肌の官能評価値を決定する。表示装置１４は、撮影した画像を表示する。また、制御装置１８によって求められた画像の特徴指標および肌の官能評価値を表示する。表示装置１４の画面にはタッチパネル１６などのユーザーインターフェースが設けられていてもよい。つまり、表示装置１４はタッチスクリーンディスプレイ等であってもよい。

撮像装置１０は、一般的な、ビデオカメラまたはデジタルスチルカメラである。偏光光を利用した撮影を行うため、撮像装置１０の光学系には、所定の方向、例えば、鉛直方向に平行な偏光軸を有する偏光板が設けられている。また、制御装置１８は、パーソナルコンピューター等であってもよいし、専用の回路等によって構成されていてもよい。また、図１（ａ）では、制御装置１８と表示装置１４とを分離して示しているが、制御装置１８および表示装置１４は一体的な筐体に収納されていてもよく、タブレット型の携帯情報端末等であってもよい。

図１（ａ）および（ｂ）に示すように、制御装置１８は通信部１８Ｃをさらに備え、通信ネットワーク２２を介して、肌の官能評価に関するサービスを適用するサービス提供者のクラウドサーバー２０と接続されていてもよい。この場合、通信部１８Ｃは、撮影された画像、画像の特徴指標、肌の官能評価値などをクラウドサーバー２０へ送信する。図１（ａ）では、官能評価装置１０１は１つしか示されていないが、クラウドサーバー２０は複数の官能評価装置１０１に接続され得る。

図１（ｃ）は、クラウドサーバー２０の構成を示す。クラウドサーバー２０は、データベース２０Ａと、メモリ２０Ｂと演算部２０Ｃと通信部２０Ｄとを備える。クラウドサーバー２０は通信部２０Ｄによって、撮影された画像、画像の特徴指標、肌の官能評価値などを複数の官能評価装置１０１から受け取る。クラウドサーバー２０は、複数の官能評価装置１０１から受け取った画像の特徴指標に基づき、肌の官能評価値と２つ以上の特徴指標との相関関係を求める。また、求めた相関関係を通信部２０Ｄによって、各官能評価装置１０１に送信する。

以下、官能評価装置１０１の構造および官能評価装置１０１を用いた肌の評価方法を詳細に説明する。

まず、肌画像の特徴指標の測定方法を説明する。図３は、人肌の断面を模式的に示している。肌画像には肌のシミ、シワ、毛穴、ほうれい線などの種々の情報が含まれる。肌画像からこれらの情報を選択的に抽出することにより、特徴指標が算出される。図３に示すように肌３００は、肌３００の表面３００Ｓから内部に向かって０．０６ｍｍ以上０．２ｍｍ程度の深さの範囲にある表皮３００Ａこれよりも内部に存在する真皮３００Ｂを含む。肌のシミ、シワ、毛穴、ほうれい線は、肌における形状およびこれらが肌３００中に存在する深さ位置が異なる。したがって、肌の異なる深さからの画像を得て、形状による識別を行えば、特徴指標を算出することができる。

肌の異なる深さからの画像の情報は、偏光光や色成分を用いることによって得られる。たとえば、所定の方向に平行な直線偏光光を光源として肌を撮影した場合、直線偏光光は、肌の表面３００Ｓにおいて偏光方向が維持されて反射する。一方、表皮３００Ａの内部で反射した直線偏光光は、散乱によって偏光方向が乱れて表皮３００Ａから出射する。このため、直線偏光光を出射する光源を用い、光源と平行な偏光光を検出すれば（平行偏光条件）、肌の表面の情報が多く内部の情報が少ない画像を得ることができる。また、直線偏光光を出射する光源を用い、光源と直交する偏光光を検出すれば（直交偏光条件）、肌の内部の情報が多く、表面の情報が少ない画像を得ることができる。つまり、偏光光を光源として用いることにより、肌の内部の情報や表面の情報を選択的に含む画像を得ることができる。

また、光源からの光は、波長が長いほど表皮３００Ａの内部にまで入射し、内部で反射する。したがって、肌を撮影した画像のうち、青色（Ｂ）成分は、肌の表面の情報をより多く含み、赤色（Ｒ）や赤外成分は表皮３００Ａの内部の情報をより多く含む。

また、シミやシワ等の特徴指標は、特定の波長領域の光を吸収しやすい等の性質を有する場合がある。このような場合には、その特定の波長領域の光の成分を利用することによって、特定の指標を算出することができる。

表１に、特徴指標を算出するための条件の一例を示す。

上述した特徴指標のうち、シミは表皮３００Ａの内部に存在する。また、シミが濃いほど、シミの部分から得られる光における青色成分と赤色成分との光量の差が小さくなることが知られている。したがって、内部の情報をより多く得ることができる直交偏光の条件で撮影を行い、画像の各画素における青と赤との画素値の差分を求め、閾値処理することによって、撮影画像からシミの部分を選択的に抽出することができる。

シワおよびほうれい線は、肌３００の表面３００Ｓ近傍に存在する。表面の情報をより多く得ることができる平行偏光の条件で撮影を行い、画像の各画素における青と赤との画素値の差分を求めると、肌表面における光の反射による影響を抑制し、シワおよびほうれい線の情報を多く含む画像を得ることができる。また、線検出フィルタを用いて画像を処理することによって、シワおよびほうれい線の報を多く含む画像を得ることができる。シワとほうれい線とを区別したい場合には、検出した部分の長さによる閾値処理をさらに行ってもよい。

なお、シワおよびほうれい線の情報を多く含む画像を得るために、ここでは青と赤との画素値の差分を求めたが、青の画素値のみを求めるとしてもよく、また例えば、緑など他の色の画素値を用いてもよく、青と赤との画素値の差分を求めることのみに限定されない。

毛穴は、肌３００の表面３００Ｓ近傍に存在する。しかし、表面の情報をより多く得ることができる平行偏光の条件においては、官能評価装置１０１が使用される環境における照明の影響を強く受ける。一方、毛穴は画像上、比較的識別しやすい。特に、点検出フィルタを用いた場合、画像上の毛穴をより抽出しやすくなる。このため、本実施形態では、照明の影響を抑制し、再現性よく特徴指標を算出するため、直交偏光の条件で撮影を行う。また、画像の各画素における青色成分を抽出し、点検出フィルタを用いて画像を処理することによって、毛穴の情報を多く含む画像を得ることができる。

なお、表１に示す条件は特徴指標を算出するための一例であって、他の条件を採用して顔の画像を取得してもよい。表１から分かるように、偏光条件を用いず、色成分条件およびフィルタ条件を用いても、表１に示した特徴指標を区別して算出できる。したがって、本実施形態では、官能評価装置１０１は偏光光を出射する光源１２を備えているが、官能評価装置は偏光光を出射する光源１２を備えていなくてよい。

次に官能評価装置１０１の構造を詳細に説明する。図４（ａ）は、官能評価装置１０１の機能ブロックを示している。図４（ａ）に示すように、官能評価装置１０１は、撮像部３２と、肌領域抽出部３４と、特徴指標算出部３６と、官能評価値決定部４２と、表示データ生成部４４と、表示部４５とを備える。また、各機能ブロックを制御する制御部４６と、制御部４６に指示を与える入力部４８とを備える。クラウドサーバー１０２と通信を行う場合には、官能評価装置１０１は、送信部３８と受信部４０とをさらに備える。

図４（ａ）に示す各機能ブロックのうち、撮像部３２、表示部４５、制御部４６および入力部４８は、図１（ａ）に示す撮像装置１０、表示装置１４、制御装置１８およびタッチパネル１６によってそれぞれ構成されている。送信部３８および受信部４０は、制御装置１８の通信部１８Ｃによって実現される。

肌領域抽出部３４、特徴指標算出部３６および官能評価値決定部４２の機能は、ソフトウエアによって実現される。具体的には、メモリ１８Ａに記憶されたプログラムを演算部１８Ｂが実行することにより、これらの機能ブロックの機能が実現する。また、このプログラムにしたがって、演算部１８Ｂは、撮像装置１０、光源１２および表示装置１４を制御する。

被検者あるいは官能評価装置１０１の操作者の指示に基づき、官能評価装置１０１が動作を開始するとまず、撮像部３２は被検者の顔を撮影し、顔を含む画像を取得する。肌領域抽出部３４は、得られた画像から肌領域を抽出する。特徴指標算出部３６は、肌領域において、得られた画像の特徴指標を少なくとも２つ算出する。この特徴指標の算出は、肌領域を複数の単位ブロックに分割した上で、単位ブロックごとに行われる。

官能評価値決定部４２は、算出された少なくとも２つの特徴指標に基づいて、肌の官能評価値を決定する。官能評価値も単位ブロックごとに決定される。表示データ生成部４４は、単位ブロックごとに求めた肌の官能評価値を、単位ブロックの位置に関連づけて表示部に表示するための表示データを生成する。表示部４５は、生成した表示データを表示する。

送信部３８は、肌領域抽出部で抽出された肌領域の画像データおよび画像の特徴指標をクラウドサーバー１０２へ送信する。また、受信部４０は、クラウドサーバー１０２から肌の官能評価値と２つ以上の特徴指標との相関関係を示す情報、具体的には、重回帰分析によって決定された回帰式の係数を受け取る。この情報は、官能評価値決定部４２において保持され、官能評価値を決定に用いられる。

官能評価値決定部４２おいて保持される回帰式の係数は、あらかじめ、官能評価装置１０１に記憶されていてもよいし、官能評価装置１０１によって官能評価値を決定する際に、クラウドサーバー１０２から取得してもよい。

図４（ｂ）は、クラウドサーバー１０２の機能ブロックを示している。クラウドサーバー１０２は、送信部５２と、受信部５４と、官能評価値入力部５６と、データベース５８と回帰分析演算部６０と回帰式保持部６２とを備える。これらの機能ブロックは、ソフトウエアによって実現される。具体的には、図１（ｃ）に示すクラウドサーバー１０２のメモリ２０Ｂに記憶されたプログラムを演算部２０Ｃが実行することにより、これらの機能ブロックの機能が実現する。

クラウドサーバー１０２は、通信ネットワーク２２を介して接続された複数の官能評価装置１０１から、肌領域の画像データおよび画像の特徴指標を受け取る。評価者は、クラウドサーバー１０２に集められた肌領域の画像を見て、その画像の官能評価値を決定し、官能評価値入力部５６に官能評価値を入力する。データベース５８は、肌領域の画像に対応する２種以上の画像の特徴指標と、決定された官能評価値とを関連づけて記憶する。

回帰分析演算部６０は、データベース５８に蓄積された２種以上の特徴指標と決定された官能評価値との組み合わせから特徴指標と官能評価値との相関関係を求める。具体的には、重回帰分析によって、２種以上の特徴指標から官能評価値を求める回帰式の係数を決定する。決定した回帰式の係数は、回帰式保持部６２において保持され、所定のタイミングで官能評価装置１０１に送信される。

図５は、肌の評価方法の手順を示すフローチャートである。図４（ａ）および図５を参照しながら、官能評価装置１０１を用いた肌の評価方法をより詳細に説明する。

図５に示すように、まず、被検者の顔の画像を取得する（ステップＳ１）。本実施形態では、偏光光を用いて直交偏光条件および平行偏光条件でそれぞれ撮影を行う。このため例えば、まず第１光源１２Ａを点灯させて１回目の撮影を行い、第１光源１２Ａを消灯させたのち、第２光源１２Ｂを点灯させて２回目の撮影を行う。これにより、１回目は平行偏光条件で撮影され、２回目は直交偏光条件で撮影が行われる。第１光源１２Ａおよび第２光源１２Ｂの光強度や点灯時間、撮像装置１０の露光条件は、同じであってもよいし、異なっていてもよい。１回目の撮影および２回目の撮影によってそれぞれ第１の画像及び第２の画像が生成する。特徴指標の算出には、第１の画像及び第２の画像のうちその特徴指標の算出に適した条件で撮影された画像が用いられる。両方の画像を用いて特徴指標を算出してもよい。以下、特に区別を要しない場合には、第１の画像及び第２の画像を合わせて撮影された顔の画像と呼ぶ。

図６（ａ）は、官能評価装置１０１の表示装置１４に表示される撮影前の初期画面の一例を示している。表示装置１４の表示領域は、面積が大きいメイン画面７０とメイン画面７０の下側に位置し、面積が小さいサブ画面７２を含む。初期画面では、メイン画面７０に撮影した画像がリアルタイムで表示され、デジタルミラーとして機能している。サブ画面７２には、例えば、時計や天気予報などの情報が表示されていてもよい。

図６（ｂ）は、撮影開始直前の画面を示している。上述したように表示装置１４の表面にはタッチパネル１６が設けられており、タッチパネル１６を被検者が指などで触れることによって、サブ画面７２の上部８０および左側部７８に操作メニューや機能の切り替えメニューが表示される。メイン画面７０にはたとえば、被検者の顔の位置を誘導するためのガイド７６が示されていてもよい。また、撮影のタイミングを示すマークや数字７４が示されていてもよい。

また、例えば、サブ画面７２の右側７２Ｒには撮影された顔の画像がリアルタイムで表示され、左側７２Ｌにカレンダーが表示される。カレンダーにはたとえば、過去に官能評価装置１０１を用いて撮影を行ったことを示すマークなどが示されていてもよい。図６（ｂ）に示す表示のあと、上述したように撮影が行われる。

顔の撮影が完了すると、肌領域抽出部３４は、図７に示すように、撮影された画像３０２上における顔３１２の位置を特定する。画像３０２上の顔３１２の位置の特定には、公知の顔認証画像処理技術を用いることができる。顔３１２の位置が特定されたのち、顔３１２の領域から、顔部品（パーツ）である目、口、眉毛の領域を除外し、肌である肌領域３１０を画像上において特定する（ステップＳ３）。

肌領域抽出部３４は、次に、抽出した肌領域３１０を分割し、単位ブロック３１０ｕを生成する（Ｓ４）。単位ブロック３１０ｕは、算出する特徴指標を決定するのに適した大きさを有している。たとえば、単位ブロック３１０ｕは１０画素×１０画素の大きさを有している。単位ブロック３１０ｕは、一部が互いに重なって設定されてもよい。図７では、わかりやすさのため単位ブロック３１０ｕは大きく示されている。

次に、単位ブロックごとに特徴指標を算出する（ステップＳ５ａ、Ｓ５ｂ、Ｓ５ｃ）。本実施形態では、単位ブロックごとに特徴指標としてシミ量およびシワ量を算出する。シミ量およびシワ量は、例えば、シミまたはシワと算出された領域の画素数である。また、得られた画像の明るさが透明感の評価に影響するため、単位ブロックごとの輝度レベルを算出する。表１に示すように、シミ量の算出には直交偏光で撮影された画像が適しているので、第２の画像を用いる。また、シワ量の算出には第１の画像を用いる。シミ量の算出する場合には、単位ブロック３１０ｕ内の全画素の青の画素値と赤の画素値との差分を求め、閾値処理することによって、シミ量を算出する。シワ量を算出する場合には、単位ブロック３１０ｕ内の全画素の青の画素値と赤の画素値との差分を求め、線検出フィルタ処理を行いエッジ検出した部分をシワ量として算出する。また、第１の画像または第２の画像あるいは両方を用いて、単位ブロック３１０ｕの輝度レベルを算出する。

官能評価値決定部４２は、算出したシミ量、シワ量及び輝度レベルを用いて、官能評価値である透明感を決定する（ステップＳ６）。具体的には、あらかじめ、シミ量、シワ量及び輝度レベルと透明感との相関関係が重回帰分析によって求められ、回帰式の係数が官能評価値決定部４２に記憶されており、回帰式を用いて透明感を決定する。たとえば、シミ量、シワ量、輝度レベルおよび透明感をｘ１、ｘ２、ｘ３およびｙとした場合、ｙ＝ａ＋ｂ１・ｘ１＋ｂ２・ｘ２＋ｂ３ｘ３で示される回帰式の係数ａ、ｂ１、ｂ２、ｂ３が記憶されている。

表示データ生成部４４は、求められた官能評価値である透明感をその透明感が得られた単位ブロック３１０ｕの肌領域３１０における座標に関連づけて表示すべき画像の画像データを生成する。

ステップＳ４からＳ７までの繰り返すことによって肌領域３１０内の全単位ブロック３１０ｕの透明感を決定する（ステップＳ８）。

なお、本実施形態では、単位ブロック３１０ｕごとに特徴指標を算出し、透明感を逐次決定しているが、肌領域内のすべての単位ブロック３１０ｕの特徴指標を算出し、次に、すべての単位ブロック３１０ｕの透明感を求めてもよい。

表示部４５は、得られた単位ブロック３１０ｕを単位とする透明感のマップを表示する。マップは、透明感の値に応じた色調や階調で表示してもよい。

図８（ａ）から（ｄ）は、測定終了後に表示装置１４に表示される画面の一例を示している。たとえば、上述の手順によって測定が終了した場合、図８（ａ）に示す画面が表示される。図８（ａ）に示すように、メイン画面７０には、撮像装置１０によって撮影される画像がリアルタイムで表示されている。サブ画面の右側７２Ｒには算出された特徴指標が、例えばレーダーチャート８２で示される。図では測定した肌領域全体の平均特徴指標が表示されている。また、左側７２Ｌには測定時に撮影された顔の画像が示される。サブ画面７２の上部８０には、顔の位置を指定するメニューが表示され、左側部７８には表示する内容や機能を切り替えるメニューが表示される。被検者は、例えば、サブ画面７２の上部８０および左側部７８に触れることによって、顔の特定の肌領域を表示させたり、表示する内容を変更したりすることできる。

図８（ｂ）は、被検者が指定した場所および指定した特徴指標がサブ画面７２の右側７２Ｒに表示されている例である。撮影された画像の一部が被検者の指定された位置で拡大されて表示されている。また、シミおよびシワの部分が赤い領域で示されている。

図８（ｃ）は、決定された透明感が肌領域ごとの平均値でメイン画面に表示されている例を示している。このように、官能評価値は数値で示されてもよい。

図８（ｄ）は、透明感の単位ブロック３１０ｕによるマッピング表示を示している。たとえば、図８（ｄ）では、撮影された画像に重畳して、透明感が低い単位ブロック８６が所定の色で示されている。

このように、本実施形態によれば、決定した官能評価値である透明感を撮影した顔の画像に重畳させて表示することにより、顔全体のうち、どの部分の透明感が高いかなどを容易に認識することができる。

官能評価装置１０１は、官能評価値の結果に基づき、付加的な情報を表示装置１４に表示してもよい。図９（ａ）は、図８（ａ）に示すように、メイン画面に透明感が肌領域ごとの平均値で示された場合において、官能評価値の低下により影響した特徴指標を表示する例を示している。図９（ａ）では、シミ量が透明感の評価を低下させていることを示す表示８７を示している。

また、図９（ｂ）は、図８（ｂ）に示すように、透明感が単位ブロック３１０ｕによるマッピングで表示されている場合において、官能評価値が低い領域を強調して表示する例を示している。図９（ｂ）では、透明感が低い領域をマーカー８８で強調して示している。

図９（ａ）や（ｂ）に示すように、官能評価値が低い理由や領域を示している場合において、サブ画面７２に官能評価値を改善するためのアドバイスや、官能評価値を改善するための化粧品や美容機器の情報をさらに表示してもよい。このような、官能評価値に関連する情報は、例えば、あらかじめ、官能評価装置１０１の制御装置１８のメモリ１８Ａに記憶されていてもよいし、制御装置１８がクラウドサーバー１０２からこれらの情報を受け取ってもよい。

図１０（ａ）から（ｄ）は、表示装置１４のサブ画面７２表示される情報の例を示している。たとえば、図１０（ａ）に示すように、サブ画面にカレンダーを表示してもよい。カレンダーには過去に測定をおこなった情報が示されており、例えば被検者がサブ画面の該当する情報に触れると過去の測定結果をメイン画面７０に表示させることができる。図１０（ｂ）に示すように、この場合、さらにサブ画面７２に、特徴指標のレーダーチャートを表示してもよい。また、図１０（ｃ）に示すように、官能評価値の結果に基づく、肌の手入れ等の美容に関するアドバイスを表示してもよい。また、図１０（ｄ）に示すように官能評価値を改善するための化粧品や美容機器の情報を詳細に表示してもよい。

図１１は、主観的に評価した透明感と回帰式を用いて決定された透明感との相関を示している。図１１において、教師データとは、回帰式の係数の決定のために用いられたデータ（肌領域の画像）である。また、テストデータとは、決定された係数を用いて官能評価装置１０１によって透明感を決定したデータである。

相関を調べるために、教師データについても、官能評価装置１０１によって透明感を決定した。また、テストデータについても、評価者が主観的に透明感を評価した。

図１１に示すように、教師データから得られた主観評価による透明感と官能評価装置１０１によって決定した透明感との相関係数Ｒ²は、約０．８９である。これは、教師データとして用いた画像において、主観評価による透明感とシミ量、シワ量および輝度レベルから決定する透明感との間に高い相関があることを意味している。

また、テストデータから得られた主観評価による透明感と官能評価装置１０１によって決定した透明感との相関係数Ｒ²は、約０．７９である。これは、教師データから得られた回帰式は、教師データ以外の画像においても、シミ量、シワ量および輝度レベルから高い相関で透明感を推定するのに好適に用い得ることを意味している。

図１２は、評価者が主観的に透明感を評価した画像におけるシミ量と主観評価による透明感との相関を示している。シミ量と主観評価による透明感との相関係数Ｒ²は、約０．４１であり、あまり高くない。本願発明者が、シワ量、ほうれい線、毛穴量についても同様に１つの特徴指標と主観評価による透明感との相関係数Ｒ²を求めたところ、いずれも０．４程度であることが分かった。このことから、肌領域の画像から直接得られるシミ、シワ等の特徴指標を１つ用いただけでは、肌の透明感を高い相関で推定することは困難であることがわかる。これに対して、２以上の特徴指標を用いる場合、高い精度で肌の透明感を推定することができる。本実施形態では、官能評価値として透明感を説明したが、同様に肌年齢や肌印象も肌に関連する主観的な指標として決定し得る。また、この場合、同様に高い精度でこれらの官能評価値を肌の画像の特徴指標から決定することができる。

このように、本実施形態によれば、肌の画像の特徴指標を２つ以上用いることによって、高い精度で肌の官能評価値を決定することができる。

また、本実施形態によれば、肌の官能評価値は非接触の測定によって決定することができ、より簡単に官能評価値を決定できる。また、例えば顔の肌の部位ごとにある程度の大きさの単位で決定できるため、顔を見て実際に評価した場合の官能評価値と相関の高い官能評価値を自動的に求めることができる。

次に図４および図１３を参照しながら、クラウドサーバー１０２によって、画像の特徴指標と官能評価値との相関関係を示す回帰式を決定する方法を説明する。図１３は、クラウドサーバー１０２における回帰式を決定する手順を示すフローチャートである。

クラウドサーバー１０２は、官能評価装置１０１に最初に設定される回帰式の係数を決定してもよい。またクラウドサーバー１０２は、クラウドサーバー１０２に接続された複数の官能評価装置１０１から逐次肌領域の画像および画像の特徴指標を受け取り、これらのデータが所定量に達するたびに、回帰式を更新し、接続された複数の官能評価装置１０１に更新された回帰式を送信してもよい。

図１３に示すように、官能評価装置１０１が上述したようにステップＳ１からＳ４およびステップＳ５ａ、５ｂ、５ｃを実行し、単位ブロック内の特徴指標であるシミ量、シワ量および輝度レベルを算出する。クラウドサーバー１０２は、これらのデータを官能評価装置１０１から受け取る。また、これらの特徴指標を求めた肌領域の画像のデータも受け取る。

官能評価値入力部５６は、評価者が肌領域の画像を見て、その画像から主観的に判断する透明感を受け取る（ステップＳ２６）。評価者による透明感の評価は単位ブロックごとでは難しいため、顔の肌領域ごとに行う。この場合、同じ肌領域内の単位ブロックについては同じ透明感が対応づけられる。評価者による透明感の評価は直接評価者がクラウドサーバー１０２にアクセスして行わなくてもよい。たとえば、クラウドサーバー１０２は、評価者が利用可能な情報端末へ評価に必要な肌領域の画像のデータを送信してよい。評価者は、情報端末に表示された画像を見て透明感を評価し、評価結果を画像に関連付けて、情報端末からクラウドサーバー１０２へ送信してもよい。

入力された透明感は、単位ブロックごとにシミ量、シワ量および輝度レベルのデータと対応づけられてデータベース５８に記録される（ステップＳ２７）。この手順を同じ肌領域内の全体単位ブロックについて行う（ステップＳ２８）。さらにまだ透明感を入力していない画像すべてについて、同様の手順によって透明感を評価し、データベース５８に記録する（ステップ２９）。

すべての画像について透明感を評価したら、回帰分析演算部６０は、シミ量、シワ量および輝度レベルと透明感との相関関係を決定するために、これらの数値の重回帰分析を行い、回帰式の係数を求める（ステップＳ３０）。回帰式保持部６２は決定した回帰式を保持する。具体的には、回帰式の係数を記憶する（ステップＳ３１）。

このようにして決定された回帰式の係数は、クラウドサーバー１０２の送信部５２によって、各官能評価装置１０１へ送信される。これにより、各官能評価装置１０１は、必要に応じて、回帰式を更新し、更新した回帰式で透明感を決定することができる。

なお、本実施形態では、より精度よく特徴指標を算出するために偏光光を出射する光源を備えているが、表１を参照して説明したように、偏光光を持いなくても特徴指標を区別して算出し得る。偏光光を用いない場合には、本発明の官能評価装置は、たとえば、表示部と表示部側に位置するカメラとを備えたスマートフォンやタブレット型情報機器、ノートパソコンなどの携帯情報機器によっても実現することができる。この場合、図４に示す手順に従って肌の官能評価値を決定する評価方法を実行するプログラムが携帯情報機器に記憶され、携帯情報機器の演算部によってプログラムが実行されることによって、上述したように本発明を実施することができる。

本実施形態の官能評価装置および官能評価値を決定する評価方法は、顔以外の例えば手肌の官能評価に用いてもよい。また本実施形態では、顔だけを評価対象にしているが、顔に加えて、胸元まで撮影を行い、首や胸元の官能評価値を測定してもよい。

本願に開示された、官能評価装置および官能評価値を決定する評価方法は、肌の官能評価に好適に用いられる。

１０ 撮像装置
１２ 光源
１２Ａ 第１光源
１２Ｂ 第２光源
１４ 表示装置
１６ タッチパネル
１８ 制御装置
１８Ａ メモリ
１８Ｂ 演算部
１８Ｃ 通信部
２０ クラウドサーバー
２０Ａ データベース
２０Ｂ メモリ
２０Ｃ 演算部
２０Ｄ 通信部
２２ 通信ネットワーク
２４ 被検者
２４ｈ 頭部
３２ 撮像部
３４ 肌領域抽出部
３６ 特徴指標算出部
３８ 送信部
４０ 受信部
４２ 官能評価値決定部
４４ 表示データ生成部
４５ 表示部
４６ 制御部
４８ 入力部
５２ 送信部
５４ 受信部
５６ 官能評価値入力部
５８ データベース
６０ 回帰分析演算部
６２ 回帰式保持部
７０ メイン画面
７２ サブ画面
７２Ｌ 左側
７２Ｒ 右側
１０１ 官能評価装置
１０２ クラウドサーバー

Claims (17)

1. 画像から肌の官能評価値を決定する評価方法であって、
   （ａ）被検者の肌を含む画像を取得し、
   （ｂ）前記画像から、肌領域を抽出し、
   （ｃ）前記肌領域において、前記画像における特徴を示す少なくとも２つの特徴指標を算出し、
   （ｄ）前記算出された少なくとも２つの特徴指標に基づいて、肌の官能評価値を決定し、
   前記ステップ（ｂ）において、前記肌領域を複数の単位ブロックに分割し、
   前記ステップ（ｃ）および（ｄ）において、前記単位ブロックごとに、前記少なくとも２つの特徴指標を算出し、前記肌の官能評価値を決定し、
   （ｅ）前記単位ブロックごとに求めた肌の官能評価値を、前記単位ブロックの位置に関連づけて表示装置に表示する、
   評価方法。
   
2. 前記ステップ（ｂ）は、前記画像において、前記被検者の顔を検出し、
   前記検出した顔の位置に基づき、前記画像上において、顔部品の領域を除外することによって前記肌領域を抽出する、
   請求項１に記載の評価方法。
3. 前記ステップ（ｅ）は、前記単位ブロックごとに求めた肌の官能評価値に応じた色調または階調で前記単位ブロックの位置に関連づけて前記表示装置に表示する、
   請求項２に記載の評価方法。
4. 前記特徴指標は、前記肌のシミ、シワ、キメおよび毛穴、前記顔のほうれい線、前記単位ブロックにおける画素値の平均、分散および色相、前記肌の表面の反射率、水分、油分および色ムラからなる群から選ばれる１つである、請求項１から３のいずれかに記載の評価方法。
5. 前記官能評価値は前記肌の透明感、前記被検者の肌年齢、前記被検者の肌印象からなる群から選ばれる１つである請求項４に記載の評価方法。
6. 前記ステップ（ｄ）は、複数の被検者からあらかじめ測定された前記少なくとも２つの特徴指標と、前記複数の被検者の肌を評価して決定された官能評価値との相関関係に基づき、前記肌の官能評価値を決定する、請求項５に記載の評価方法。
7. 前記相関関係は、重回帰分析により求められる請求項６に記載の評価方法。
8. 前記算出された特徴指標または前記決定された官能評価値に関連する美容機器または化粧品に関する情報を前記表示装置にさらに表示する、請求項１から７のいずれかに記載の評価方法。
9. 被検者の肌を含む画像を取得する撮像部と、
   前記画像から、肌領域を抽出する肌領域抽出部と、
   前記肌領域において、前記画像における特徴を示す少なくとも２つの特徴指標を算出する特徴指標算出部と、
   前記算出された少なくとも２つの特徴指標に基づいて、肌の官能評価値を決定する官能評価値決定部と、
   表示部と
   を備え、
   前記肌領域抽出部は、前記肌領域を複数の単位ブロックに分割し、
   前記特徴指標算出部は、前記単位ブロックごとに前記少なくとも２つの特徴指標を算出し、
   前記官能評価値決定部は、前記単位ブロックごとに前記肌の官能評価値を決定し、
   前記表示部は、前記単位ブロックごとに求めた肌の官能評価値を、前記単位ブロックの位置に関連づけて表示する、
   官能評価装置。
10. 肌領域抽出部は、前記画像において、前記被検者の顔を検出し、
    前記検出した顔の位置に基づき、前記画像上において、顔部品の領域を除外することによって前記肌領域を抽出する、
    請求項９に記載の官能評価装置。
11. 前記表示部は、前記単位ブロックごとに求めた肌の官能評価値を、前記官能評価値に応じた色調または階調で前記単位ブロックの位置に関連づけて表示する、
    請求項１０に記載の官能評価装置。
12. 前記特徴指標は、前記肌のシミ、シワ、キメおよび毛穴、前記顔のほうれい線、前記単位ブロックにおける画素値の平均、分散および色相、前記肌の表面の反射率、水分、油分および色ムラからなる群から選ばれる１つである、請求項９から１１のいずれかに記載の官能評価装置。
13. 前記官能評価値は前記肌の透明感、前記被検者の肌年齢、前記被検者の肌印象からなる群から選ばれる１つである請求項１２に記載の官能評価装置。
14. 前記官能評価値決定部は、複数の被検者からあらかじめ測定された前記少なくとも２つの特徴指標と、前記複数の被検者の肌を評価して決定された官能評価値との相関関係に基づき、前記肌の官能評価値を決定する、請求項１３に記載の官能評価装置。
15. 前記相関関係は、重回帰分析により求められる請求項１４に記載の官能評価装置。
16. 前記表示部は、前記算出された特徴指標または前記決定された官能評価値に関連する美容機器または化粧品に関する情報をさらに表示する、請求項９から１５のいずれかに記載の官能評価装置。
17. 撮像装置と、
    記憶素子および演算素子を含む制御装置と
    表示装置と
    前記記憶素子に記録され、前記演算素子によって実行可能なように構成されたプログラムと
    を備え、
    前記プログラムは、
    （ａ）被検者の肌を含む画像を取得させ、
    （ｂ）前記画像から、肌領域を抽出し、前記肌領域を複数の単位ブロックに分割し、
    （ｃ）前記肌領域の前記単位ブロックごとに、前記画像における特徴を示す少なくとも２つの特徴指標を算出し、
    （ｄ）前記肌領域の前記単位ブロックごとに、前記算出された少なくとも２つの特徴指標に基づいて、肌の官能評価値を決定し、
    （ｅ）前記単位ブロックごとに決定した肌の官能評価値を、前記単位ブロックの位置に関連づけて前記表示装置に表示させる、
    肌の官能評価装置。
    

Images