JP7061347B2

JP7061347B2 - キメ評価装置、キメ評価方法

Info

Publication number: JP7061347B2
Application number: JP2017223330A
Authority: JP
Inventors: 敏夫五十嵐
Original assignee: Nippon Menard Cosmetic Co Ltd
Current assignee: Nippon Menard Cosmetic Co Ltd
Priority date: 2017-11-21
Filing date: 2017-11-21
Publication date: 2022-04-28
Anticipated expiration: 2037-11-21
Also published as: JP2019092694A

Description

本開示は、肌のキメの評価に関する。

キメ（木目・肌理）は皮膚表面の皮丘と皮溝から構成され、肌の美しさの重要な要素である。キメの状態は皮膚の水分量や新陳代謝、真皮状態などの影響を複合的に反映することが広く知られており、キメを改善することは美容上関心が高い。化粧品開発においては、効果を検証するためにキメを高精度に評価することが重要である。特許文献１は、キメの評価方法として、ローリングボールアルゴリズムを用いる方法を開示している。

特開２０１６－１０４１２４号公報

上記先行技術文献の手法は、評価のために取得する肌画像はボケやブレが生じておらず、明瞭であることを前提としており、同一部位の画像でもボケやブレが生じていて不明瞭であると評価精度が低下する。本開示は、上記を踏まえ、画像が不明瞭でも高精度にキメの評価を行うことを解決課題とする。

本開示の一形態は、肌画像から複数の局所画像特徴量を取得する特徴量取得部と；前記複数の局所画像特徴量を対象にしてベクトル量子化を施すことによってヒストグラムを取得するヒストグラム取得部と；予め用意された推定モデルに、前記ヒストグラムを入力することによってキメを評価する評価部と、を備え；前記特徴量取得部は、前記肌画像から皮溝成分を抽出する皮溝成分抽出処理部を有し、前記皮溝成分抽出処理部によって処理された画像から前記複数の局所画像特徴量を取得するキメ評価装置である。この形態によれば、皮溝成分を抽出することによって、高精度にキメの評価を行うことができる。

上記形態において、前記皮溝成分抽出処理部は、前記皮溝成分を線分として抽出してもよい。この形態によれば、皮溝成分を簡易な要素として取り扱うことができる。

上記形態において、前記皮溝成分抽出処理部は；前記肌画像を２値化処理する２値化部と；前記２値化処理した画像から、基準方向の１次微分成分および２次微分成分を抽出する第１抽出部と；前記１次微分成分から、基準方向と直交する方向からの偏差が所定角度以内の線分を抽出する第２抽出部と；前記抽出した線分のうち、前記２次微分成分の平均値が正値であるものを抽出する第３抽出部と；前記第３抽出部によって抽出された線分と、前記２値化部によって２値化された画像との論理和を取ることによって、前記皮溝成分を線分として抽出する第４抽出部とを備え；前記第１，第２及び第３抽出部は、前記基準方向としてｎ（ｎは２以上の整数）個の方向を採用することによって、前記ｎ回の抽出を実行してもよい。この形態によれば、線分としての皮溝成分を精度良く抽出できる。

上記形態において、前記特徴量取得部は、皮丘部を中心とする局所画像特徴量を、取得対象としてもよい。この形態によれば、皮丘部は明部であるので、高精度にキメの評価を行うことができる。

本開示の他の形態は、肌画像から複数の局所画像特徴量を取得する特徴量取得部と；前記複数の局所画像特徴量を対象にしてベクトル量子化を施すことによってヒストグラムを取得するヒストグラム取得部と；予め用意された推定モデルに、前記ヒストグラムを入力することによってキメを評価する評価部と、を備え；前記特徴量取得部は、皮丘部を中心とする局所画像特徴量を、取得対象とするキメ評価装置である。この形態によれば、皮丘部は明部であるので、高精度にキメの評価を行うことができる。

本開示は、上記以外の種々の形態で実現できる。例えば、キメ評価方法や、推定モデルの作成方法等で実現できる。

キメ評価装置およびマイクロスコープを示す図。キメ評価方法を示す図。皮溝成分抽出処理を示す図。局所画像特徴量のクラスタリングにおいて、クラスタ数の増加に伴うクラスタ内誤差平方和の減少率の変化の一例を示す図。局所画像特徴量を１２の代表パターンでベクトル量子化を行い、代表パターンのヒストグラムを算出した例を示す図。推定モデル例１の官能評価値と推定値とのクロス集計表。推定モデル例２の官能評価値と推定値とのクロス集計表。推定モデル例３の官能評価値と推定値とのクロス集計表。推定モデル例４の官能評価値と推定値とのクロス集計表。

図１は、キメ評価装置２０及びマイクロスコープ３０を示す。マイクロスコープ３０は、皮溝が確認できる性能を有している。キメ評価装置２０のハードウエアは、本実施形態においては、一般的なパソコンである。キメ評価装置２０は、マイクロスコープ３０が撮像する肌画像を取得して、肌のキメを５段階で評価する。

キメ評価装置２０は、キメを評価するために、予め記憶している推定モデルを用いる。以下、キメを評価するための準備として、推定モデルの作成について説明する。

図２は、推定モデルの作成方法を示す。以下に説明する各ステップの実行主体は、キメ評価装置２０である。キメ評価装置２０は、マクロを実行したり、操作者の入力操作に応じたりすることによって、各ステップを実行する。

まず、サンプル画像を取得する（Ｓ１００）。ここでいうサンプル画像とは、肌を撮像した肌画像（キメ画像）であり、キメが目視で確認できる画像のことである。サンプル画像は、マイクロスコープ３０を用いて撮像される。Ｓ１００では、ボケやブレが殆どないサンプル画像を、３０００枚、取得する。以下の説明では、特に説明しない限り、１枚のサンプル画像それぞれを対象にした処理内容を述べる。

次に、サンプル画像に２値化処理を施す（Ｓ２００）。本実施形態では、Ｐタイル法を用いて、５０％を閾値にする。以下、Ｓ２００で得られた画像を、２値化画像という。次に、２値化画像を対象に、皮溝成分抽出処理を実行する（Ｓ３００）。

図３は、皮溝成分抽出処理の詳細を示す。まず、２値化処理画像から、垂直方向（基準方向）の１次微分成分と２次微分成分とを得る（Ｓ３１０，Ｓ３２０）。次に、１次微分成分から特定の線分成分を検出する（Ｓ３３０）。特定の線分成分とは、水平方向から±５度以内の線分成分のことである。本実施形態においてはＳ３３０にLine Segment Detectorアルゴリズムを用いる。次に、Ｓ３３０で得られた線分成分から、２次微分成分の平均値が正値である線分を抽出する（Ｓ３４０）。Ｓ３４０で得られる線分を、検出線分と呼ぶ。

Ｓ３１０～Ｓ３４０を、繰り返し実行する。具体的には、２値化画像を、５度刻みで回転させて、３６（＝ｎ）回、繰り返し実行することによって、３６方向についての回転角度と検出線分との対応関係を得る。

全角度の検出結果と２値化画像との論理和を算出し、その算出結果を皮溝成分として抽出する（Ｓ３６０）。本実施形態による皮溝成分抽出処理によれば、評価対象外の毛穴やその他ノイズの影響を抑えることができる。以下、Ｓ３６０で得られる画像を、皮溝画像と呼ぶ。

次に、皮溝画像を対象に、局所画像特徴量を抽出する処理を実行する（Ｓ４００）。局所画像特徴量の中心点は、皮丘部と皮溝部との何れでもよい。本実施形態においては、皮溝間の位置関係や角度を効果的に捉えるために、画像の明部である皮丘部に中心点がある局所画像特徴量のみを得るように抽出範囲を限定する。このため、本実施形態におけるＳ４００は、皮丘部限定処理ともいう。

皮溝画像から複数の局所画像特徴量を抽出する手法は、ＯｐｅｎＣＶやＭＡＴＬＡＢ（登録商標）などに代表される画像処理ライブラリや数値計算ソフトウエアに実装されている機能を用いることができる。局所画像特徴量は、画像のボケ、ブレ、回転および輝度変化への耐性があるのが好ましい。例えば、ＫＡＺＥ、ＡＫＡＺＥ、ＯＲＢ、ＢＲＩＳＫ等の局所画像特徴量が用いられ得る。本実施形態では、ＯｐｅｎＣＶに実装されているＫＡＺＥを用いて、１画像につき応答性の高い順に最多で３００点抽出する。局所画像特徴量の抽出方法はSparse sampling法に限らず、Dense sampling法を用いてもよい。

次に、局所画像特徴量を対象に、ヒストグラム算出処理を実行する（Ｓ５００）。局所画像特徴量のベクトル量子化を行うにあたり、代表パターンのリストであるコードブックを作成する。３０００枚のサンプル画像それぞれに対して、上記の抽出方法を用いて局所画像特徴量を抽出し、抽出された全ての局所画像特徴量を用いてk‐means++法によるクラスタリングを実行する。

クラスタ数を自動決定する方法は、ＪＤ法、x‐means法、Ｇａｐ統計量を用いる方法、クラスタ内誤差平方和を用いる方法など、多くの方法が提案されている。本実施形態では、計算が容易な方法として、クラスタ数ｃにおけるクラスタ内誤差平方和をＳＳＥｃとし、クラスタ数増加に伴うクラスタ内誤差平方和の減少率（１－ＳＳＥｃ+１／ＳＳＥｃ）が１％を下回る最小のｃをクラスタ数として決定する。図４に例示した場合、クラスタ数は、１２と決定される。

局所画像特徴量ヒストグラムは、サンプル画像における複数の局所画像特徴量をユークリッド距離が最も近い上記代表パターンで置き換えるベクトル量子化処理を行い、代表パターンの出現頻度を算出することで得られる。図５は、３つのサンプル画像それぞれについて算出された局所画像特徴量ヒストグラムを示す。

最後に、推定モデルを作成する（Ｓ６００）。推定モデルを作成するために、Ｓ１００で得られたサンプル画像を対象に、５段階評価による官能評価を行い、各評価値のサンプル画像を５０枚（計２５０枚）、準備する。官能評価は、目視によって実施し、５点が最もキメが良く、１点が最もキメが悪いことを示す。次に、これらの画像それぞれに対してガウス関数（σ＝１．５５）による平滑化処理を実行したボケ画像を作成する。ボケ画像の官能評価値は、ボケ画像の元となったサンプル画像の官能評価値と同じ値にする。このようにして、計５００枚のサンプル画像を用意する。

上記の評価画像を用いて、官能評価値を目的変数とし、局所画像特徴量ヒストグラムの代表パターンの出現頻度を説明変数として、ＡＩＣ（赤池情報量規準）最小化による変数選択を実行した線形回帰モデルを推定モデルとして得る。なお、推定モデルは線形回帰モデルに限らず、非線形回帰分析やサポートベクターマシン、判別分析、二分木などの手法を用いたモデルでもよい。

上記のように推定モデルを作成することによって、同じ部位を撮像した画像であれば、明瞭な肌画像を入力しても不明瞭な肌画像を入力しても、出力される官能評価値が同じ値になるような推定モデルが作成される。

キメ評価装置２０は、キメを評価する際には、評価対象となる肌画像を対象にＳ１００～Ｓ５００を実行し、局所画像特徴量ヒストグラムを得る。そして、局所画像特徴量ヒストグラムを推定モデルに入力することによって評価値を取得し、キメ評価装置２０が備えるディスプレイに表示する。

以下、推定モデル例１～４を説明する。推定モデル例１～４の評価に際しては、推定モデルの作成のために作成した５００枚のサンプル画像と、官能評価値との組み合わせを用いた。

推定モデル例１（皮溝成分抽出処理なし・皮丘部限定処理なし）
上記した実施形態とは異なり、皮溝成分抽出処理および皮丘部限定処理を行わない場合の推定モデルを、推定モデル例１とした。推定モデル例１を用いる場合、実際の評価対象となる肌画像についても、皮溝成分抽出処理および皮丘部限定処理の何れも実施せずに、局所画像特徴量を抽出する。

推定モデル例１では、クラスタ数は９、選択された変数の数は５、ＡＩＣは１６６４．５、重相関係数は０．４５３であった。図６に官能評価値と推定値のクロス集計表を示す。また、官能評価値と線形回帰モデルによる推定値との評価値の差の分散は、１．５８９だった。

推定モデル例２（皮溝成分抽出処理あり・皮丘部限定処理なし）
皮溝成分抽出処理を行う点は実施形態と同じである一方、実施形態とは異なり皮丘部限定処理を行わない場合の推定モデルを、推定モデル例２とした。推定モデル例２を用いる場合、実際の評価対象となる肌画像についても、皮溝成分抽出処理は実施する一方、皮丘部限定処理は実施せずに、局所画像特徴量を抽出する。

推定モデル例２では、クラスタ数は９、選択された変数の数は２、ＡＩＣは１２５０．０、重相関係数は０．８０６であった。図７に官能評価値と推定値のクロス集計表を示す。

推定モデル例２では、官能評価値と線形回帰モデルによる推定値との評価値の差の分散は、０．７０２だった。推定モデル例１および推定モデル例２において、官能評価値と線形回帰モデルによる推定値との評価値の差の分散を算出し、統計解析ソフト「Ｒ」を用いて等分散性の検定を実施した。その結果、有意確率であるｐ値は２．２６×１０^-16未満と算出された。推定モデル例２では推定モデル例１に比べて有意に分散が小さいことが認められた（ｐ値＜０．０１）。このことから、皮溝成分抽出処理は、局所画像特徴量を用いたキメ評価の精度を向上させることが示された。

推定モデル例３（皮溝成分抽出処理なし・皮丘部限定処理あり）
実施形態とは異なり皮溝成分抽出処理を行わない一方、実施形態と同じく皮丘部限定処理を行う場合の推定モデルを、推定モデル例３とした。推定モデル例３を用いる場合、実際の評価対象となる肌画像についても、皮溝成分抽出処理は実施しない一方、皮丘部限定処理は実施して、局所画像特徴量を抽出する。

推定モデル例３では、クラスタ数は９、選択された変数の数は８、ＡＩＣは１５２３．４、重相関係数は０．６３９であった。図８に官能評価値と推定値のクロス集計表を示す。

推定モデル例３では、官能評価値と線形回帰モデルによる推定値との評価値の差の分散は、１．１８４だった。推定モデル例２と同様に、推定モデル例１とのｐ値を算出したところ、１．０４４×１０^-3となった。推定モデル例３では推定モデル例１に比べて有意に分散が小さいことが認められた（ｐ値＜０．０１）。このことから、皮丘部限定処理は、局所画像特徴量を用いたキメ評価の精度を向上させることが示された。

推定モデル例４（皮溝成分抽出処理あり・皮丘部限定処理あり）
実施形態として説明した通り皮溝成分抽出処理および皮丘部限定処理を行う場合の推定モデルを、推定モデル例４とした。推定モデル例４を用いる場合、実際の評価対象となる肌画像についても、皮溝成分抽出処理および皮丘部限定処理を実施して、局所画像特徴量を抽出する。

推定モデル例４では、クラスタ数は１２、選択された変数の数は７、ＡＩＣは１１９４．８、重相関係数は０．８３２であった。図９に官能評価値と推定値のクロス集計表を示す。

推定モデル例４では、官能評価値と線形回帰モデルによる推定値との評価値の差の分散は、０．６１２だった。推定モデル例２と同様に、推定モデル例１とのｐ値を算出したところ、２．２６×１０^-16未満となった。推定モデル例４では推定モデル例１に比べて有意に分散が小さいことが認められた（ｐ値＜０．０１）。このことから、皮溝成分抽出処理と皮丘部限定処理との両方を実施することは、局所画像特徴量を用いたキメ評価の精度を向上させることが示された。

本開示は、本明細書の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現できる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、先述の課題の一部又は全部を解決するために、或いは、先述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせができる。その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除できる。例えば、以下の実施形態が例示される。

皮溝は、線分として抽出しなくてもよい。例えば、折れ線として抽出してもよい。

推定モデルの作成において、平滑化処理後の不明瞭なサンプル画像を用いず、明瞭なサンプル画像のみを用いてもよい。

不明瞭のサンプル画像を作成するに、平滑化以外の手法を用いてもよい。例えば、明瞭な画像を撮像した後、故意にピントをずらして撮像することで、不明瞭な画像を作成してもよい。官能評価は、明瞭な画像を用いて実施すればよい。

皮溝成分抽出と皮丘部限定処理とについて、推定モデルの作成に用いるものと、実際の評価の場合に用いるものとが一致していなくてもよい。例えば、推定モデルの作成には皮溝成分抽出と皮丘部限定処理との両方を用いて作成した場合であっても、実際の評価の場合には、皮溝成分抽出と皮丘部限定処理との何れか一方のみを用いてもよい。

２０…キメ評価装置、３０…マイクロスコープ

Claims

肌画像から複数の局所画像特徴量を取得する特徴量取得部と、
前記複数の局所画像特徴量を対象にしてベクトル量子化を施すことによってヒストグラムを取得するヒストグラム取得部と、
予め用意された推定モデルに、前記ヒストグラムを入力することによってキメを評価する評価部と、を備え、
前記特徴量取得部は、前記肌画像から皮溝成分を抽出する皮溝成分抽出処理部であって、
前記肌画像を２値化処理する２値化部と、
前記２値化処理した画像から、基準方向の１次微分成分および２次微分成分を抽出する第１抽出部と、
前記１次微分成分から、基準方向と直交する方向からの偏差が所定角度以内の線分を抽出する第２抽出部と、
前記抽出した線分のうち、前記２次微分成分の平均値が正値である線分を抽出する第３抽出部と、
前記第３抽出部によって抽出された線分と、前記２値化部によって２値化された画像との論理和を取ることによって、前記皮溝成分を線分として抽出する第４抽出部とを備え、
前記第１，第２及び第３抽出部は、前記基準方向としてｎ（ｎは２以上の整数）個の方向を採用することによって、前記ｎ回の抽出を実行する皮溝成分抽出処理部を有し、前記皮溝成分抽出処理部によって抽出された皮溝成分を用いて前記複数の局所画像特徴量を取得する
キメ評価装置。
前記特徴量取得部は、皮丘部を中心とする局所画像特徴量を、取得対象とする
請求項１に記載のキメ評価装置。
肌画像を２値化処理する２値化工程と、
前記２値化処理した画像から、基準方向の１次微分成分および２次微分成分を抽出する第１抽出工程と、
前記１次微分成分から、基準方向と直交する方向からの偏差が所定角度以内の線分を抽出する第２抽出工程と、
前記抽出した線分のうち、前記２次微分成分の平均値が正値である線分を抽出する第３抽出工程と、
前記第３抽出工程で抽出された線分と、前記２値化工程で２値化された前記画像との論理和を取ることによって、前記肌画像から皮溝成分を線分として抽出する第４抽出工程と、
前記第１，第２及び第３抽出工程は、前記基準方向としてｎ（ｎは２以上の整数）個の方向を採用することによって、前記ｎ回の抽出を実行し、抽出した皮溝成分を用いて複数の局所画像特徴量を取得し、
前記複数の局所画像特徴量を対象にしてベクトル量子化を施すことによってヒストグラムを取得し、
予め用意された推定モデルに、前記ヒストグラムを入力することによってキメを評価する
キメ評価方法。
前記局所画像特徴量の取得は、皮丘部を中心として実行される
請求項３に記載のキメ評価方法。