JP6968731B2 - 顔の肌の追従性の推定方法、推定装置及び推定プログラム、並びに、皮下組織の粘弾性の推定方法、推定装置及び推定プログラム - Google Patents

Description

本発明は表情変化における顔の肌の追従性の推定方法、推定装置及び推定プログラム、並びに、皮下組織の粘弾性の推定方法、推定装置及び推定プログラムに関する。

皮膚は、大きく分けて表皮、真皮、そして皮下組織の３層よりなる。表皮はさらに角質層、顆粒層、有棘層及び基底層の４つの層に分類でき、下層に位置する真皮は乳頭層、乳頭下層及び網状層の３つの層に分類できる。これら表皮、真皮を支える役割を担うのが皮下組織である。皮下組織の大部分は皮下脂肪からなり、保温や外力に対する緩衝作用などを有する。

皮膚の硬さなどを判断する手法として古くは触診が行われていたが、超音波エラストグラフィ技術（例えば特許文献１）の発展により、皮膚を構成するそれぞれの層の物理学的特性、とりわけ粘弾性の定量的測定が可能となっている。

ところで、近年、画像解析技術の発展に伴い、顔の表情変化を解析する技術が研究開発されている。特許文献２には、表情変化における顔の肌の追従性を解析する技術が開示されている。

特表２００９−５３９５２８号公報 特開２０１６−１９４９０１号公報

皮膚を構成するそれぞれの層の粘弾性を測定するためには、超音波エラストグラフィを用いる必要がある。しかし、この技術を実施するためには、高価な解析装置が必要であり、設備投資費用が膨らむという問題があった。
一方、画像解析は解析用のソフトウェアさえあれば実施可能であり、高額な設備投資は不要である。
しかし、顔の画像又は動画を解析することによって、肌の内部の粘弾性を評価する技術はこれまでに知られていない。
このような問題に鑑み、本発明の解決しようとする第１の課題は、画像撮影などにより取得可能な外面的な情報から肌の内部の粘弾性を推定することを可能にする新規の技術を提供することにある。

また、表情変化における顔の肌の追従性は、画像解析技術により測定可能であるが（特許文献２）、肌の内部における物理的特性から、これを推定する技術は知られていない。
したがって、本発明の解決しようとする第２の課題は、肌の内部の物理的測定値から表情変化における顔の肌の追従性を推定する新規の技術を提供することにある。

本発明者らの鋭意研究の結果、表情変化における顔の肌の追従性と皮下組織の粘弾性との間には相関関係があることが見出された。本発明者らは、この知見に基づき上記課題を解決する本発明を完成させた。
すなわち、本発明は、表情変化における顔の肌の追従性と、皮下組織の粘弾性と、の間の相関関係を利用して、前記追従性の測定値を指標として皮下組織の粘弾性を推定することを特徴とする、皮下組織の粘弾性の推定方法である。

本発明によれば、「表情変化における顔の肌の追従性」という画像撮影などにより取得可能な外面的な情報から、肌の深い位置に存在する皮下組織の粘弾性を推定することができる。

本発明の好ましい形態では、表情変化における顔の肌の追従性の測定値を説明変数、皮下組織の粘弾性を目的変数とする回帰式を用いて、前記追従性の測定値から皮下組織の粘弾性を算出する。
予め用意した回帰式を用いることで、より正確に皮下組織の粘弾性を推定することができる。

本発明の好ましい形態では、皮下組織上層の粘弾性を推定する。
本発明の推定方法は、特に皮下組織上層の粘弾性を推定するのに有用である。

本発明の好ましい形態では、前記追従性の測定値が、表情変化における、顔の任意の位置に設定された少なくとも２つのマーカーの運動速度が最大となる時間の差分である。
追従性を「時間の差分」という定量的数値によって取得することで、より正確に皮下組織の粘弾性を推定することができる。

本発明の好ましい形態では、前記追従性の測定値が、無表情の状態から口を開いた表情への開口表情変化における、顎の任意の位置に設定された第１のマーカーの運動速度が最大となる時間と、頬の任意の位置に設定された第２のマーカーの運動速度が最大となる時間との差分である。
このように開口表情変化における顎と頬の動きを測定することにより、追従性を容易に定量化することができ、より正確に皮下組織の粘弾性を推定することができる。

本発明の好ましい形態では、前記追従性を以下の工程により測定する。
（ｉ）顔の任意の点を参照点とし、該参照点と第１のマーカーとの間の距離の単位時間当たりの変化量の時間変化を測定し、該変化量が最大となる時間を特定する工程
（ｉｉ）前記参照点と第２のマーカーとの間の距離の単位時間当たりの変化量の時間変化を測定し、該変化量が最大となる時間を特定する工程
（ｉｉｉ）工程（ｉ）で特定した時間と、工程（ｉｉ）で特定した時間との差分を求める工程
このように参照点を設けることによって、より精度よく追従性を測定することができる。

本発明の好ましい形態では、前記追従性の測定値が、以下の工程により算出される回帰直線の傾きである。
（ｉ）顔の任意の点を参照点とし、該参照点と第１のマーカーとの間の距離の単位時間当たりの変化量の時間変化を測定し、該変化量が最大となる時間を特定する工程
（ｉｉ´）第２のマーカーを顔の高さ方向に並列して複数設定し、前記参照点とそれぞれの第２のマーカーとの間の距離の単位時間当たりの変化量の時間変化を測定し、該変化量が最大となる時間を特定する工程
（ｉｉｉ´）工程（ｉ）で特定した時間と、工程（ｉｉ）で特定したそれぞれの第２のマーカーに係る時間との差分を求める工程
（ｉｖ）工程（ｉｉｉ´）で求めた、それぞれの第２のマーカーに係る前記差分を、それぞれの第２のマーカーの座標ごとにプロットし、回帰分析を行い、回帰直線の傾きを算出する工程
このように第２のマーカーを複数設定し、第１のマーカーの動きに対する、それぞれの第２のマーカーの動きの遅れに関して回帰分析を行った結果得られる回帰直線の傾きを「追従性の測定値」として評価することも可能である。これにより、より精度よく追従性を測定し、粘弾性を高確度で推定することができる。

本発明の好ましい形態では、無表情時において鼻頂部から水平方向に引いた線よりも上方に第２のマーカーを設定する。さらに好ましい形態では、無表情時において、鼻頂部から水平方向に引いた線と、目尻から水平方向に引いた線との中心線よりも上方に第２のマーカーを設定する。
頬における顎から離れた位置ほど加齢に伴う追従性の悪化が顕著に観察される。そのため、本形態のように頬のより上方に第２のマーカーを設定することによって、より精度よく皮下組織の粘弾性を推定することができる。

本発明の好ましい形態では、顔に前記マーカーを設定して撮影されたモーションキャプチャ動画像を用いて前記追従性を測定する。
モーションキャプチャ―技術を用いることにより、容易に追従性を測定することができ、簡便に皮下組織の粘弾性を推定することができる。

また、本発明は、表情変化における顔の肌の追従性と、皮下組織の粘弾性と、の間の相関関係を利用して、前記皮下組織の粘弾性の測定値を指標として前記追従性を推定することを特徴とする、前記追従性の推定方法にも関する。
本発明は、上述した皮下組織の粘弾性の推定方法と表裏をなすものである。本発明によれば、肌の深部に位置する皮下組織の物理特性から、簡便に表情変化における顔の肌の追従性を推定することができる。

本発明の好ましい形態では、皮下組織の粘弾性の測定値を説明変数、表情変化における顔の肌の追従性を目的変数とする回帰式を用いて、前記皮下組織の粘弾性の測定値から前記追従性を算出する。
このように回帰式を用いることによって、より精度よく表情変化における顔の肌の追従性を推定することができる。

本発明の好ましい形態では、前記皮下組織の粘弾性を超音波エラストグラフィにより測定する。

また、本発明は、表情変化における顔の肌の追従性と、皮下組織の粘弾性と、の間の相関関係を利用して、前記追従性の測定値を指標として皮下組織の粘弾性を推定する皮下組織の粘弾性推定装置にも関する。
本発明の粘弾性推定装置は、前記相関関係を示す相関データを記憶する記憶手段と、
被験者の表情変化における顔の肌の追従性を、前記記憶手段に記憶された前記相関データと照合して、前記粘弾性を算出する粘弾性算出手段と、
を備えることを特徴とする。

また、本発明は、表情変化における顔の肌の追従性と、皮下組織の粘弾性と、の間の相関関係を利用して、前記追従性の測定値を指標として皮下組織の粘弾性を推定する皮下組織の粘弾性推定プログラムにも関する。
本発明の粘弾性推定プログラムは、コンピュータを、
被験者の表情変化における顔の肌の追従性を、前記相関関係を示す粘弾性相関データと照合して、前記粘弾性を算出する粘弾性算出手段として、
機能させることを特徴とする。

また、本発明は、表情変化における顔の肌の追従性と、皮下組織の粘弾性と、の間の相関関係を利用して、前記皮下組織の粘弾性の測定値を指標として前記追従性を推定する前記追従性の推定装置にも関する。
本発明の追従性の推定装置は、前記相関関係を示す相関データを記憶する記憶手段と、
被験者の肌の皮下組織の粘弾性を、記憶手段に記憶された前記相関データと照合して、追従性を算出する追従性算出手段と、を備えることを特徴とする。

本発明は、表情変化における顔の肌の追従性と、皮下組織の粘弾性と、の間の相関関係を利用して、前記皮下組織の粘弾性の測定値を指標として前記追従性を推定する前記追従性の推定プログラムにも関する。
本発明の推定プログラムは、コンピュータを、
被験者の肌の皮下組織の粘弾性を、前記相関関係を示す相関データと照合して、追従性を算出する追従性算出手段として、
機能させることを特徴とする。

本発明によれば、表情変化における顔の肌の追従性という外面的な情報から、皮下組織の粘弾性という皮膚内部の物理特性を容易に推定することができる。
また、本発明によれば、皮下組織の粘弾性という皮膚内部の物理特性から、表情変化における顔の肌の追従性という外面的な特性を容易に推定することができる。

追従性の測定の際に設定する参照点、第１のマーカー及び第２のマーカーの位置を示す図。 第２のマーカーの座標を横軸、第１のマーカーと第２のマーカーの単位時間当たりの変化量が最大になる時間の差分を縦軸とするグラフ。グラフ中の直線は回帰直線を表す。 本発明の粘弾性推定装置の一実施形態を示すハードウェアブロック図である。 本発明の追従性推定装置の一実施形態を示すハードウェアブロック図である。 試験例１のモーションキャプチャ解析におけるマーカーの位置と表情変化を表す写真である。 ポイント１〜ポイント７に関して別個に年代ごとの平均値をとり、これをプロットしたグラフである。 エラストグラフィ解析によって得られた、皮膚の内部断面における粘弾性の分布を表すイメージング画像である。 試験例１と試験例２の解析結果についての回帰分析の結果を表すグラフである。 皮膚モデルの模式図である。 ＦＥＭ解析の概要を表す図である。 ＦＥＭ解析におけるＺ方向の変位を測定する位置を表す図である。 横軸に時間、縦軸にＺ方向の変位をプロットした、ＦＥＭ解析の結果を表すグラフである。 皮膚モデルのＸ−Ｚ断面におけるＺ方向の変位の分布を経時的に示すイメージング画像である。

＜１＞皮下組織の粘弾性の推定方法
以下、図１を参照しながら本発明の実施の形態について詳述する。
表情変化における顔の肌の追従性（以下、単に追従性ともいう）と皮下組織の粘弾性との間には、正の相関関係が成立する。本発明は、かかる相関関係を利用して追従性から皮下組織の粘弾性を推定する。

なお、皮下組織は、粘弾性が略均一な部分ごとに、深さ方向について大きく３つの層に分類することができる。本発明においては、真皮に最も近い層である、皮下組織上層の粘弾性の推定に有用である。
具体的には、皮下組織を深さ方向に１：２：１の比率で分割したとき、一番上に位置する層（真皮に接する層）のことを皮下組織上層という。

上記相関関係は好ましくは式またはモデルで示される。式またはモデルとしては、単回帰式又は単回帰モデルが好ましく挙げられる。

粘弾性は粘性と弾性の両方を合わせた性質のことをいう。したがって、粘弾性の評価に当たっては粘性と弾性の両方を評価することになる。しかし、生体組織においては粘性と弾性を明確に区別することは困難であり、粘弾性は主として弾性率（ヤング率）により評価されることが一般的である。
また、フックの法則（下記式１）に基づき、粘弾性を「ひずみ」により評価してもよい。

式１

そのため、本発明によって推定する粘弾性は、弾性率（ヤング率）又はひずみとして算出される形態としてもよい。
上述の回帰式又は回帰モデルの作成に当たっても、目的変数を皮下組織のヤング率又はひずみ、説明変数を追従性と置いてよい。

「表情変化における顔の肌の追従性」とは、表情変化に追従して変化する顔の肌の動きの遅れの程度のことである。表情変化が起こる際に、顔の肌はその動きに遅れて変化することになるが、その遅れの程度が小さいほど「追従性に優れる」という。

追従性は、表情変化の際の顔の任意の２つの点を観察し、この２つの点の運動のタイミングのズレの程度を測定することにより定量的に評価することができる。
より具体的には、追従性は、表情変化における、顔の任意の位置に設定された少なくとも２つのマーカーの運動速度が最大となる時間の差分として定量的に測定できる。

追従性を測定する際に設定する２つのマーカーは任意に設定することができるが、表情変化において最も顕著に動く顔の位置を第１のマーカー、それ以外の任意の顔の位置を第２のマーカーに設定し、これら２つのマーカーの運動速度が最大となる時間の差分を測定することが好ましい。

追従性の測定において被験者に実行させる「表情変化」としては、無表情の状態から口を開いた表情への開口表情変化を特に好ましく例示することができる。
この場合、第１のマーカー１は顎の任意の位置に設定することが好ましい。より好ましくは顎の先端付近に第１のマーカー１を設定する（図１）。

一方、第２のマーカーは頬の任意の位置に設定することが好ましい（図１）。無表情時において鼻頂部から水平方向に引いた線４１よりも下方に設定した第２のマーカー２１により追従性を測定してもよいが、好ましくは線４１よりも上方に設定した第２のマーカー２２、さらに好ましくは線４１と、目尻から水平方向に引いた線４３との中心線４２よりも上方に設定した第２のマーカー２３に基づき追従性を測定する（図１）。

追従性は以下に説明する（ｉ）〜（ｉｉｉ）の３つの工程により測定することが好ましい。
（ｉ）顔の任意の点を参照点とし、参照点と第１のマーカーとの間の距離の単位時間当たりの変化量の時間変化を測定し、該変化量が最大となる時間を特定する工程
（ｉｉ）前記参照点と第２のマーカーとの間の距離の単位時間当たりの変化量の時間変化を測定し、該変化量が最大となる時間を特定する工程
（ｉｉｉ）前記（ｉ）工程で特定した時間と、前記（ｉｉ）工程で特定した時間との差分を求める工程
以下、それぞれの工程について詳述する。

工程（ｉ）においては、顔の任意の点を参照点３とし、参照点３と第１のマーカー１との間の距離Ｌ１の単位時間当たりの変化量Ｖ１の時間変化を測定し、変化量Ｖ１が最大となる時間を特定する（図１参照）。
このように顔の任意の点を参照点３に設定し、この参照点３からの距離で第１のマーカー１と第２のマーカー２の動きをとらえることで、表情変化における頭の動きに左右されることなく、第１のマーカー１と第２のマーカー２のそれぞれの運動の相対評価が可能となる。

参照点３に設定するのは、開口表情変化において肌の動きが乏しい又は動きが無い箇所が好ましい。
開口表情変化において額の肌は動きにくいため、額の任意の位置、より好ましくは額の上部、さらに好ましくは髪の生え際付近を参照点３に設定することが好ましい（図１）。

工程（ｉｉ）では、上述した参照点３と第２のマーカー２との間の距離Ｌ２の単位時間当たりの変化量Ｖ２の時間変化を測定し、変化量Ｖ２が最大となる時間を特定する（図１正面視右側）。
当然であるが工程（ｉ）と工程（ｉｉ）における参照点３は同一とする。

工程（ｉｉｉ）においては、工程（ｉ）で特定した時間と、工程（ｉｉ）で特定した時間との差分を求める。差分を視覚的に求めやすいように、工程（ｉ）及び工程（ｉｉ）においては、変化量Ｖ１と変化量Ｖ２を経時的にプロットしたグラフを作成してもよい。

また、追従性は以下に説明する工程（ｉ）、（ｉｉ´）、（ｉｉｉ´）及び（ｉｖ）の４つの工程により測定してもよい。
（ｉ）顔の任意の点を参照点とし、該参照点と第１のマーカーとの間の距離の単位時間当たりの変化量の時間変化を測定し、該変化量が最大となる時間を特定する工程
（ｉｉ´）第２のマーカーを顔の高さ方向に並列して複数設定し、前記参照点とそれぞれの第２のマーカーとの間の距離の単位時間当たりの変化量の時間変化を測定し、該変化量が最大となる時間を特定する工程
（ｉｉｉ´）工程（ｉ）で特定した時間と、工程（ｉｉ）で特定したそれぞれの第２のマーカーに係る時間との差分を求める工程
（ｉｖ）工程（ｉｉｉ´）で求めた、それぞれの第２のマーカーに係る前記差分を、それぞれの第２のマーカーを設定した顔における相対的な位置ごとにプロットし、回帰分析を行い、回帰直線の傾きを算出する工程
以下、それぞれの工程について詳述する。

本実施形態における工程（ｉ）の実施態様は、上述した別形態と同様である。本実施形態の特徴は、第２のマーカーを顔の高さ方向に並列して複数設定し、それぞれの第２のマーカーについて第１のマーカーとの動きのタイミングのズレを測定することにある。図１を参照しながら具体的に説明する。

本実施形態においては、第２のマーカー２１〜２３を顔の高さ方向に並列して設定する（図１正面視左側）。工程（ｉｉ´）においては、参照点３と第２のマーカー２１との間の距離Ｌ２１の単位時間当たりの変化量Ｖ２１の時間変化、参照点３と第２のマーカー２２との間の距離Ｌ２２の単位時間当たりの変化量Ｖ２２の時間変化、そして、参照点３と第２のマーカー２３との間の距離Ｌ２３の単位時間当たりの変化量Ｖ２３の時間変化、をそれぞれ測定し、変化量Ｖ２１〜２３のそれぞれが最大となる時間を特定する。

工程（ｉｉｉ´）においては、工程（ｉ）で特定した時間と、工程（ｉｉ）で特定したそれぞれの第２のマーカーに係る時間との差分を求める。具体的には、変化量Ｖ１が最大となる時間と、変化量Ｖ２１〜２３が最大となる時間の差分をそれぞれ求める。

工程（ｉｖ）においては、それぞれの第２のマーカーに係る前記差分を、それぞれの第２のマーカーを設定した顔における相対的な座標ごとにプロットし、回帰分析を行い、回帰直線の傾きを算出する。
具体的には、変化量Ｖ１が最大となる時間と、変化量Ｖ２１〜２３が最大となる時間の差分を縦軸、それぞれの第２のマーカーの座標を横軸にプロットする（図２）。第２のマーカーは顔における高さ方向に並列して設定されているため、ここでいう「座標」は高さ方向における座標である。
なお、当然のことであるが、縦軸と横軸を入れ替えてプロットしても構わない。

第２のマーカーの座標を特定する方法は限定されない。例えば、第１のマーカーや参照点を基準とした相対的な距離を「座標」としても特定しても良い。
また、第２のマーカーを高さ方向において等間隔に設定する場合には、それぞれの第２のマーカーの座標を特定数値として決定してグラフにプロットする必要はない。この場合には、それぞれの第２のマーカーの座標については、横軸方向に等間隔にプロットすればよい（図２）

グラフにプロットした後、回帰分析を行う。回帰分析の手法は特に限定されないが、最小二乗法を好ましく例示することができる。
回帰分析により得られた回帰直線の傾き（図２中の「ａ」の数値）を追従性の測定値とする。

なお、図１の正面視左側には第２のマーカーを３点設定した形態を図示しているが、これに限定されず、好ましくは３点以上、より好ましくは５点以上、さらに好ましくは７点以上の第２のマーカーを設定する。

複数設定する第２のマーカーうち、１点又は２点以上を、線４１よりも上方に設定することが好ましく、線４２よりも上方に設定することがさらに好ましい（図１）。
また、線４１の上方及び下方の何れにも第２のマーカーを設定することが好ましい（図１）。
これにより、工程（ｉｖ）における回帰分析の精度を向上させることができる。

追従性の測定における、被験者の表情変化に伴う各マーカーの運動の計測は、公知の何れの方法で行ってもよい。オプティカルフロー法やモーションキャプチャ法など、被験者の表情変化を含む動画像に基づき測定する方法を好ましく例示できる。
この場合、一般的なカメラ装置で評価対象の顔の動画像を撮影した映像を用いてよいが、画像解析に耐えうる程度の解像度を有していることが好ましい。

なお、一般的に動画像は多数の静止画像（フレーム）の連続によって構成されるものであり、単位時間当たりのフレーム数を表すフレームレートによって、その動きの滑らかさが表される。ここでは、マーカーの単位時間当たりの変化量を取得し、その最大値を特定できる程度以上のフレームレートを有する動画像を取得することが好ましい。

モーションキャプチャにより追従性を測定する形態について、その一例を説明する。まず、被験者の顔の参照点３、第１のマーカー１、及び第２のマーカー２の位置に、予めモーションキャプチャ用の反射マーカーを貼り付ける（図１）。その状態で被験者に開口表情変化を実施させ、複数のカメラによってその表情変化を含む動画像の撮影を行う。そして、この動画像を解析することにより、各マーカーの三次元的な座標の変化を追跡し、距離Ｌ１の単位時間当たりの変化量Ｖ１が最大になる時間と、距離Ｌ２の単位時間当たりの変化量Ｖ２が最大となる時間を特定し、これらの時間の差分、すなわち追従性の測定値を算出する。

なお、追従性と皮下組織の粘弾性との相関関係を示す回帰式又は回帰モデルの作成の用に供するデータの取得のための追従性の測定についても、上述した方法で行うことが好ましい。
より詳しくは、統計学的に有意な数の被験者について、上述の方法で追従性の測定を行い、同被験者について後述する方法で皮下組織の粘弾性の測定を行う。これら測定値に基づき追従性を説明変数、皮下組織の粘弾性を目的変数とする回帰式又は回帰モデルを作成する。

＜２＞表情変化における肌の追従性の推定方法
上述したとおり、表情変化における顔の肌の追従性と皮下組織の粘弾性との間には、正の相関関係が成立する。本発明は、かかる相関関係を利用して皮下組織の粘弾性から追従性を推定する。
上記相関関係は好ましくは式またはモデルで示される。式またはモデルとしては、単回帰式又は単回帰モデルが好ましく挙げられる。

皮下組織の粘弾性は超音波エラストグラフィにより測定することができる。超音波エラストグラフィの手法としては、外部から応力σを加えて肌を変形させてひずみεを測定し、フックの法則よりヤング率Ｅを求めるストレイン・イメージングや、肌にせん断波を伝搬させ、その伝搬速度ｃ_ｓを測定することでヤング率Ｅを求めるシアウェーブ・イメージングなど公知の手法を制限なく用いることができる。

超音波エラストグラフィ装置としては、例えば日立製作所製「ＡＲＩＥＴＴＡ Ｅ７０」や、シーメンスヘルスケア社製「アキュソンＳ２０００ｅ」などを用いることができる。

超音波エラストグラフィによれば、肌の内部断面における粘弾性（ヤング率（機種によってはひずみ））の分布を画像として得ることができる。本発明の実施に当たっては皮下組織において不均一に分布する粘弾性の平均を測定値として用いてもよい。

皮下組織の粘弾性の測定に当たっては、皮下組織を深さ方向について上層、中層、下層の３層に分け、それぞれの層における粘弾性の平均を求める形態とすることが好ましい。特に皮下組織上層の粘弾性の平均を測定値として用いて、追従性を推定する実施の形態とすることが好ましい。

なお、追従性と皮下組織の粘弾性との相関関係を示す回帰式又は回帰モデルの作成の用に供するデータの取得のための粘弾性の測定についても、上述した方法で行うことが好ましい。
より詳しくは、統計学的に有意な数の被験者について、上述した方法で追従性の測定を行い、同被験者について上述した方法で皮下組織の粘弾性の測定を行う。これら測定値に基づき皮下組織の粘弾性を説明変数、追従性を目的変数とする回帰式又は回帰モデルを作成する。

＜３＞皮下組織の粘弾性の推定装置
以下、皮下組織の粘弾性の推定装置について図３を参照しながら説明を加える。なお、本発明の皮下組織の粘弾性の推定装置は、上記＜１＞の項目で説明した皮下組織の粘弾性の推定方法を実施するための装置である。したがって、上記＜１＞の項目の説明は、以下の皮下組織の粘弾性の推定装置に関しても妥当する。

本発明の皮下組織の粘弾性の推定装置４は、表情変化における顔の肌の追従性と皮下組織の粘弾性との相関関係を示す粘弾性相関データを記憶する記憶手段４２１と、
被験者の表情変化における顔の肌の追従性を、記憶手段４２１に記憶された粘弾性相関データと照合して、前記粘弾性を算出する粘弾性算出手段４１３と、を備える。

図３に示すように、皮下組織の粘弾性の推定装置４は、動画像入力部４３、記憶手段４２１を備えるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４２、粘弾性算出手段４１３を備えるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１、及び粘弾性表示部４４を有している。

本発明の好ましい実施の形態では、上記＜１＞の項目で説明した工程（ｉ）〜（ｉｉｉ）を実行することで、変化量Ｖ１及び変化量Ｖ２が最大値となる時間を特定し、これらの時間の差分、すなわち追従性を算出する追従性算出手段４１２を備えることが好ましい。
また、追従性算出手段４１２が、上記＜１＞の項目で説明した工程（ｉ）、（ｉｉ´）、（ｉｉｉ´）及び（ｉｖ）を実行することで、変化量Ｖ１及び変化量Ｖ２１〜２３が最大値となる時間を特定し、これらの時間の差分を算出し、当該差分と第２のマーカー２１〜２３の座標との回帰分析を行い、その回帰直線の傾き、すなわち追従性を算出するように構成してもよい。
ＣＰＵ４１が追従性算出手段４１２を備える。

本発明の好ましい実施の形態では、動画像入力部４３より入力された被験者の開口表情変化を含む動画像から、経時的に変化する変化量Ｖ１及び変化量Ｖ２を数値化する数値化手段４１１を備えることが好ましい。数値化手段４１１により数値化された経時的に変化する変化量Ｖ１及び変化量Ｖ２が追従性算出手段４１２に供される。
ＣＰＵ４１が数値化手段４１１を備える。

また、追従性算出手段４１２が、上記＜１＞の項目で説明した工程（ｉ）、（ｉｉ´）、（ｉｉｉ´）及び（ｉｖ）を実行するように構成する場合には、動画像入力部４３より入力された被験者の開口表情変化を含む動画像から、さらに第２のマーカーの座標を数値化するように数値化手段４１１を構成してもよい。
なお、別途、第２のマーカーの座標を入力する座標入力部（図示なし）を設けてもよい。

粘弾性表示部４４は、粘弾性算出手段４１３が算出した皮下組織の粘弾性の推定値を表示するディスプレイである。

このような構成とした本発明の皮下組織の粘弾性の推定装置４は、被験者の開口表情変化を含む動画像を入力するだけで、容易に被験者の皮下組織の粘弾性を算出することができる。

なお、他の実施形態では、動画像入力部４３、数値化手段４１１及び追従性算出手段４１２に代えて、別途算出した追従性の測定値を入力する、追従性入力部を備えていても良い。

＜４＞皮下組織の粘弾性の推定プログラム
本発明は上述の皮下組織の粘弾性の推定方法をコンピュータに実行させる皮下組織の粘弾性の推定プログラムにも関する。本発明のプログラムは、上述した本発明の粘弾性の推定装置に含まれるＣＰＵにおける各手段に対応するため、図３の符号を付しながら説明する。

本発明の皮下組織の粘弾性の推定プログラムは、被験者の表情変化における顔の肌の追従性を、表情変化における顔の肌の追従性と皮下組織の粘弾性との相関関係を示す粘弾性相関データと照合して、前記粘弾性を算出する粘弾性算出手段４１３として、コンピュータを機能させることを特徴とする。

本発明の粘弾性の推定プログラムは、図３のブロック図に示すように、コンピュータを数値化手段４１１、追従性算出手段４１２として機能させるように構成することが好ましい。

＜５＞表情変化における顔の肌の追従性の推定装置
以下、表情変化における顔の肌の追従性の推定装置について図４を参照しながら説明を加える。なお、本発明の追従性の推定装置は、上記＜２＞の項目で説明した追従性の推定方法を実施するための装置である。したがって、上記＜２＞の項目の説明は、以下の追従性の推定装置に関しても妥当する。

本発明の追従性の推定装置５は、表情変化における顔の肌の追従性と皮下組織の粘弾性との相関関係を示す追従性相関データを記憶する記憶手段５２１と、
被験者の肌の皮下組織の粘弾性を、記憶手段５２１に記憶された追従性相関データと照合して、追従性を算出する追従性算出手段５１２と、を備える。

図４に示すように、追従性の推定装置５において、ＲＯＭ５２が記憶手段５２１を備え、ＣＰＵ５１が追従性算出手段５１２を備える。

上記＜２＞の項目で述べたとおり、皮下組織の粘弾性は超音波エラストグラフィによって測定することが好ましい。本発明の好ましい実施の形態では、画像入力部５３により入力された、超音波エラストグラフィにより得られる皮下組織の内部断面における粘弾性の分布画像に基づき、皮下組織、又は皮下組織上層の粘弾性を数値化する数値化手段５１１を備える。
ＣＰＵ５１が数値化手段５１１を備える。

このような構成とした本発明の追従性の推定装置５は、超音波エラストグラフィにより得られたイメージング画像を入力するだけで、容易に被験者の顔の肌の追従性を算出することができる。

なお、他の実施形態では、画像入力部５３及び数値化手段５１１に代えて、別途算出した皮下組織の粘弾性を入力する、粘弾性入力部を備えていても良い。

＜６＞表情変化における顔の肌の追従性の推定プログラム
本発明は上述の追従性の推定方法をコンピュータに実行させる、追従性の推定プログラムにも関する。本発明のプログラムは、上述した本発明の追従性の推定装置に含まれるＣＰＵにおける各手段に対応するため、図４の符号を付しながら説明する。

本発明の追従性の推定プログラムは、被験者の肌の皮下組織の粘弾性を、表情変化における顔の肌の追従性と皮下組織の粘弾性との相関関係を示す追従性相関データと照合して、追従性を算出する追従性算出手段５１２として、コンピュータを機能させることを特徴とする。

本発明の追従性の推定プログラムは、図４のブロック図に示すように、コンピュータを数値化手段５１１として機能させるように構成することが好ましい。

＜試験例１＞表情変化における顔の肌の追従性の測定
２０〜６０代の日本人女性各世代２０名ずつ、合計１００名を被験者とした。被験者の顔に図５に示すように、額の上方（生え際付近）に一点（参照点）、顎に１点（ポイント０）、頬の高さ方向に並列するように７点（ポイント１〜ポイント７）のモーションキャプチャ用の反射マーカーを貼り付けた。
図５に示すように、被験者に無表情状態（図５左）から開口状態（図５右）への縦方向に伸びる表情変化（開口表情変化）をしてもらい、これを３台のカメラで動画撮影（３０ｆｐｓ）し、各マーカーの運動情報を取得した。

より精度良く解析を行うため、１００名の被験者から、１）顔の表情の強度、２）目と口の動きの同調性、３）表情表出のタイミングの３点を基準に、各世代１２名ずつ合計６０名を選抜し解析に供した。

各マーカーの運動の解析は以下のように行った。
まず、参照点からポイント０乃至７の距離の単位時間当たりの変化量を経時的に測定し、表情表出開始時点から、それぞれの変化量が最大となる時点の時間を測定した。その後、参照点からポイント０の距離の単位時間当たりの変化量が最大となる時間と、参照点からポイント１〜７の距離の単位時間当たりの変化量が最大となる時間との差分（追従性）を計算した。なお、本試験においては時間の差分を動画像のフレームの差（Δフレーム）として評価した。

このようにして得た追従性について、ポイント１〜ポイント７に関して別個に年代ごとの平均値をとり、これをグラフにプロットした。得られたデータについて回帰分析を行い、回帰直線を引いた。結果を図６に示す。

図６に示すように、２０、３０代では頬の下部（図６中のポイント７）から上部（図６中のポイント１）にかけて、顎（ポイント０）に対する運動の遅れがない。一方で４０代以降では顎から遠い頬の部位になるほど皮膚の運動の遅れ、即ち追従性の低下が生じることが示された。

図６に示す回帰直線の傾きを追従性の測定値として、試験例３に示す回帰分析に供した。

＜試験例２＞エラストグラフィによる皮膚内部物性の解析
試験例１のモーションキャプチャ解析を実施した合計１８名の被験者に対し、エラストグラフィ（日立製作所）を用いて皮膚内部の粘弾性（ひずみ）を測定した（図７）。なお、粘弾性の測定については、測定エリアを皮膚の表層部分（表皮及び真皮）と、皮下組織上層、皮下組織中層及び皮下組織下層の合計４層に分け、層別の相対的な粘弾性を算出した。皮下組織上層、皮下組織中層及び皮下組織下層については、皮下組織を深さ方向において１：２：１の比率で分割することで設定した。

＜試験例３＞回帰分析
試験例１で得られた追従性の測定値（回帰直線の傾き）と、試験例２で得られた皮下組織上層の粘弾性の測定値について回帰分析を行った。結果を図８に示す。
図８に示すように、表情変化における顔の肌の追従性と、皮下組織の粘弾性との間には正の相関関係が成立することが明らかとなった。

この結果より、表情変化における顔の肌の追従性を指標として、皮下組織の粘弾性を推定できることが示された。同様に、皮下組織の粘弾性を指標として、表情変化における顔の肌の追従性を推定できることが示された。

＜試験例４＞検証試験
試験例１〜３の結果得られた「表情変化における顔の肌の追従性と、皮下組織の粘弾性との間の正の相関関係」について、皮膚を一部切り出した部分を模擬した直方形状の多層構造体からなる皮膚モデル（１０ｃｍ×５ｃｍ×１．４ｃｍ）を対象としたＦＥＭ解析により検証した。

皮膚モデルについては、それぞれ異なるヤング率を有する材料を積層することによって構成した（図９）。真皮を模した層は２ｍｍ、皮下組織上層は３ｍｍ、皮下組織中層は６ｍｍ、皮下組織下層は３ｍｍの厚みに設定した（図９）。
本試験においては、若齢層の皮膚の特性を模した皮膚モデルと、老齢層の皮膚の特性を模した皮膚モデルを作成し、それぞれについて解析した。
皮膚モデルの各層の物理特性は表１の通りである。表１に示すようにポアソン比と密度は若齢及び老齢の皮膚モデルにおいて共通である。

頬部の皮膚は、深部筋肉と接続しているリガメントを介して動いているものと仮定し、皮下組織下層を模した層の一部に、リガメントに相当する柱を接続し、この柱をＸ方向に変位させることにより皮膚モデルを動かした（図１０）。この際、皮膚モデルの側面は固定し変位しないようにした。
リガメントを模した柱による運動は、０．５ｃｍ／ｓの速度で３秒間Ｘ方向に変位させた後に、１秒間停止するように行った。この運動の間、真皮を模した層（最上層）のＺ方向の変位を経時的にプロットした。
なお、Ｚ方向の変位を観察した点は、リガメントを模した柱が接続された部分の真上に相当する部分よりも、リガメントの変位方向に対して後方に位置する部分とした（図１１）。結果を図１２及び１３に示す。

図１２及び１３に示すように、皮下組織上層の粘弾性に関して、若齢の皮膚モデルと比較して劣る（硬い）パターン２（老齢）の皮膚モデルは、Ｚ方向の変位が小さく、また、Ｚ方向の変位が起こるタイミングが遅いことが分かった。

以上の結果を総合すると、皮下組織が硬い皮膚を模した皮膚モデルは、皮下組織が柔らかい皮膚を模した皮膚モデルと比較して、Ｚ方向の変形するタイミングが遅れること（追従性が悪化すること）が示された。
試験例４の結果は、皮下組織のひずみ（つまり粘弾性）と、表情変化における顔の肌の追従性との間に正の相関関係があるとする試験例１〜３の結果を支持するものである。

本発明は肌解析技術に応用できる。

１ 第１のマーカー
２ 第２のマーカー
３ 参照点
４ 粘弾性推定装置
４１ ＣＰＵ
４１１ 数値化手段
４１２ 追従性算出手段
４１３ 粘弾性算出手段
４２ ＲＯＭ
４２１ 記憶手段
４３ 動画像入力部
４４ 粘弾性表示部
５ 追従性の推定装置
５１ ＣＰＵ
５１１ 数値化手段
５１２ 追従性算出手段
５２ ＲＯＭ
５２１ 記憶手段
５３ 画像入力部
５４ 追従性表示部

Claims (17)

1. 表情変化における顔の肌の追従性と、皮下組織の粘弾性と、の間の相関関係を利用して、前記追従性の測定値を指標として皮下組織の粘弾性を推定することを特徴とする、皮下組織の粘弾性の推定方法。
2. 表情変化における顔の肌の追従性の測定値を説明変数、皮下組織の粘弾性を目的変数とする回帰式を用いて、前記追従性の測定値から皮下組織の粘弾性を算出することを特徴とする、請求項１に記載の推定方法。
3. 皮下組織上層の粘弾性を推定することを特徴とする、請求項１又は２に記載の推定方法。
4. 前記追従性の測定値が、表情変化における、顔の任意の位置に設定された少なくとも２つのマーカーの運動速度が最大となる時間の差分であることを特徴とする、請求項１〜３の何れか一項に記載の推定方法。
5. 前記追従性の測定値が、無表情の状態から口を開いた表情への開口表情変化における、顎の任意の位置に設定された第１のマーカーの運動速度が最大となる時間と、頬の任意の位置に設定された第２のマーカーの運動速度が最大となる時間との差分であることを特徴とする、請求項４に記載の推定方法。
6. 前記追従性の測定値が、以下の工程により算出される差分であることを特徴とする、請求項５に記載の推定方法。
   （ｉ）顔の任意の点を参照点とし、該参照点と第１のマーカーとの間の距離の単位時間当たりの変化量の時間変化を測定し、該変化量が最大となる時間を特定する工程
   （ｉｉ）前記参照点と第２のマーカーとの間の距離の単位時間当たりの変化量の時間変化を測定し、該変化量が最大となる時間を特定する工程
   （ｉｉｉ）工程（ｉ）で特定した時間と、工程（ｉｉ）で特定した時間との差分を求める工程
7. 前記追従性の測定値が、以下の工程により算出される回帰直線の傾きであることを特徴とする、請求項５に記載の推定方法。
   （ｉ）顔の任意の点を参照点とし、該参照点と第１のマーカーとの間の距離の単位時間当たりの変化量の時間変化を測定し、該変化量が最大となる時間を特定する工程
   （ｉｉ´）第２のマーカーを顔の高さ方向に並列して複数設定し、前記参照点とそれぞれの第２のマーカーとの間の距離の単位時間当たりの変化量の時間変化を測定し、該変化量が最大となる時間を特定する工程
   （ｉｉｉ´）工程（ｉ）で特定した時間と、工程（ｉｉ）で特定したそれぞれの第２のマーカーに係る時間との差分を求める工程
   （ｉｖ）工程（ｉｉｉ´）で求めた、それぞれの第２のマーカーに係る前記差分を、それぞれの第２のマーカーの座標ごとにプロットし、回帰分析を行い、回帰直線の傾きを算出する工程
8. 無表情時において鼻頂部から水平方向に引いた線よりも上方に前記第２のマーカーを設定することを特徴とする、請求項５〜７の何れか一項に記載の推定方法。
9. 無表情時において、鼻頂部から水平方向に引いた線と、目尻から水平方向に引いた線との中心線よりも上方に前記第２のマーカーを設定することを特徴とする、請求項５〜８の何れか一項に記載の推定方法。
10. 顔に前記マーカーを設定して撮影されたモーションキャプチャ動画像を用いて前記追従性を測定することを特徴とする、請求項４〜９の何れか一項に記載の推定方法。
11. 表情変化における顔の肌の追従性と、皮下組織の粘弾性と、の間の相関関係を利用して、前記皮下組織の粘弾性の測定値を指標として前記追従性を推定することを特徴とする、前記追従性の推定方法。
12. 皮下組織の粘弾性の測定値を説明変数、表情変化における顔の肌の追従性を目的変数とする回帰式を用いて、前記皮下組織の粘弾性の測定値から前記追従性を算出することを特徴とする、請求項１１に記載の推定方法。
13. 前記皮下組織の粘弾性を超音波エラストグラフィにより測定することを特徴とする、請求項１１又は１２に記載の推定方法。
14. 表情変化における顔の肌の追従性と、皮下組織の粘弾性と、の間の相関関係を利用して、前記追従性の測定値を指標として皮下組織の粘弾性を推定する皮下組織の粘弾性推定装置であって、
    前記相関関係を示す相関データを記憶する記憶手段と、
    被験者の表情変化における顔の肌の追従性を、前記記憶手段に記憶された前記相関データと照合して、前記粘弾性を算出する粘弾性算出手段と、
    を備えることを特徴とする、皮下組織の粘弾性の推定装置。
15. 表情変化における顔の肌の追従性と、皮下組織の粘弾性と、の間の相関関係を利用して、前記追従性の測定値を指標として皮下組織の粘弾性を推定する皮下組織の粘弾性推定プログラムであって、
    コンピュータを、
    被験者の表情変化における顔の肌の追従性を、前記相関関係を示す粘弾性相関データと照合して、前記粘弾性を算出する粘弾性算出手段として、
    機能させることを特徴とする、皮下組織の粘弾性推定プログラム。
16. 表情変化における顔の肌の追従性と、皮下組織の粘弾性と、の間の相関関係を利用して、前記皮下組織の粘弾性の測定値を指標として前記追従性を推定する前記追従性の推定装置であって、
    前記相関関係を示す相関データを記憶する記憶手段と、
    被験者の肌の皮下組織の粘弾性を、記憶手段に記憶された前記相関データと照合して、追従性を算出する追従性算出手段と、を備えることを特徴とする、前記追従性の推定装置。
17. 表情変化における顔の肌の追従性と、皮下組織の粘弾性と、の間の相関関係を利用して、前記皮下組織の粘弾性の測定値を指標として前記追従性を推定する前記追従性の推定プログラムであって、
    コンピュータを、
    被験者の肌の皮下組織の粘弾性を、前記相関関係を示す相関データと照合して、追従性を算出する追従性算出手段として、
    機能させることを特徴とする、前記追従性の推定プログラム。
    
    
    
    

Images