JP6756524B2 - 美容施術効果の解析方法 - Google Patents

美容施術効果の解析方法 Download PDF

Info

Publication number
JP6756524B2
JP6756524B2 JP2016115839A JP2016115839A JP6756524B2 JP 6756524 B2 JP6756524 B2 JP 6756524B2 JP 2016115839 A JP2016115839 A JP 2016115839A JP 2016115839 A JP2016115839 A JP 2016115839A JP 6756524 B2 JP6756524 B2 JP 6756524B2
Authority
JP
Japan
Prior art keywords
face
photograph
cosmetic
strain
ultraviolet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016115839A
Other languages
English (en)
Other versions
JP2017009598A (ja
Inventor
米山 聡
聡 米山
汐美 番場
汐美 番場
高志 松嶋
高志 松嶋
香織 本波
香織 本波
忠 沼田
忠 沼田
Original Assignee
株式会社シーボン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社シーボン filed Critical 株式会社シーボン
Publication of JP2017009598A publication Critical patent/JP2017009598A/ja
Application granted granted Critical
Publication of JP6756524B2 publication Critical patent/JP6756524B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、フェイシャルマッサージ等の美容施術による効果を解析する方法に関し、詳しくは、美容施術の前後に被験者の顔が撮影された少なくとも2枚の画像を用いて、顔面のひずみを可視化し、美容施術による効果を定量的に解析することができる美容施術効果の解析方法に関する。
従来から、顔面の肌(皮膚)のしわ等に応じた照明条件により、被験者の顔が撮影された画像を用いて、肌状態の解析を行うための肌状態解析方法が、特許文献1によって知られている。しかし、この方法は、美容施術の効果を確認するための技術ではない。
一方、フェイシャルマッサージなど顔面に対する美容施術の効果を確認する方法として、従来から、施術の前後に被験者の顔面を写真撮影し、これらの写真を目視で比較する方法が知られている。しかし、この方法では、美容施術の効果を定量的に確認することはできない。
美容施術の効果を定量的に確認する方法として、次のような方法が知られている。
特許文献2に記載の方法は、三次元画像相関写真測量法によって、ヒゲ剃りによって生じる皮膚表面上のひずみを非接触で検出するというものである。
この方法は、美容施術の効果を解析する方法ではないが、ヒゲ剃り前後に撮影された皮膚表面の画像からひずみを非接触で検出することができ、カミソリの性能特性を定量化することが可能である。例えば、異なるカミソリ間で比較を行ったり、開発時にプロトタイプの評価を行うことが可能である。また、皮膚に塗布されるクリーム又はローションの有効性の評価を行うことが可能である(段落番号[0019]参照。)。
しかし、この方法では、ヒゲ剃り前後の皮膚の変位・ひずみを検出するために、予め、皮膚表面にパターン(規則的又は不規則的なものを含む。)を塗布する必要がある。このパターンは、例えば、「被験者の皮膚に容易に適用できるとともに光学測定の後で除去することが可能な所定のパターンを特徴とする。除去可能な入れ墨は、基材、及びランダムに配置されて約40%〜約60%のパターン密度をなす複数のしるしを有するパターンを有する。有利な実施形態では、しるしはドットの形態である。」であり、「別の態様では、基材、及び複数のドットを有するランダムパターンを有する、光学測定用に皮膚にパターン形成するための入れ墨が提供される。ドットは、水には実質上不溶性であるがアルコールには実質上可溶性であるインク又は染料で作られる。基材は、例えばアルコールに対して透湿性であってよい。」である(段落番号[0018]〜[0019]参照。)。
非特許文献1に記載の方法は、瞬きのような日常的な皮膚の動きに伴って生じる皮膚表面の”ひずみ”分布を、三次元デジタル画像相関法を用いて計測する方法である。詳述すると、この方法は、ランダムパターンを施した女性の目元の皮膚表面の動きを2台のカメラで撮影し、ステレオ法の原理を用いることで三次元表面の形状を測定し、瞬きを始める直前の眼を開いた状態から閉じた状態までの三次元変位量を求め、その変位を皮膚表面に沿った三次元空間で微分することでひずみ量を算出するというものである。
しかし、この方法でも、変位を求めるための基準となるランダムパターンを皮膚表面に施さなければならない。詳述すると、皮膚表面に、エアブラシ等を用いて化粧用のパウダーやオイルや塗料を塗布し、これらをランダムパターンとして変位分布を求める必要がある。
上記した特許文献2及び非特許文献1に記載された先行技術は、いずれも、観察の対象となる皮膚表面に、パターンの役割を果たす塗料等を塗布する必要がある。
しかし、これらの技術を美容施術の効果を解析する方法に応用しようとすると、フェイシャルマッサージ等の美容施術においては、皮膚に美容オイル等を塗布したり、施術者の手で繰り返し皮膚に触れることから、パターンとなるパウダーや塗料等が剥離してしまい、ひずみの計測ができないという問題があった。
特許第5080060号 特開2010−517010
株式会社カネボウ化粧品・ニュースリリース「皮膚表面の"ひずみ"計測により小ジワの形成要因を解明 保湿化粧品は皮膚の局所的なひずみを緩和し小ジワ予防に有用」2012年10月4日
そこで、本発明の課題は、フェイシャルマッサージ等の顔面に対する美容施術の効果を定量的に解析する方法において、施術の前後に撮影された画像を用いて、顔面の皮膚のひずみ分布を求め、このひずみ分布を評価指標とする方法であって、被験者の顔面に対する塗料等パターンの塗布を必要としない美容施術効果の解析方法を提供することにある。
上記本発明の課題は、下記の手段により達成される。
1.被験者の顔に対する美容施術の前後に撮影された少なくとも2枚の画像を用いて、美容施術の効果を解析する方法において、
解析に用いられる画像が、美容施術の前後に撮影された少なくとも2枚の紫外線写真であって、
この紫外線写真に表れたメラニン色素をランダムパターンとして、ステレオ画像相関法を用いて、被験者の顔面の三次元形状と、変位分布をそれぞれ導出し、
前記変位分布を顔面の表面形状に沿って微分することでひずみ分布を導出し、
この得られたひずみ分布を評価指標として、美容施術の効果を評価することを特徴とする美容施術効果の解析方法。
2.まつ毛及び唇の部分を削除して、ひずみ分布を導出することを特徴とする前記1に記載の美容施術効果の解析方法。
3.まつ毛、唇及び鼻の部分を削除して、ひずみ分布を導出することを特徴とする前記1又は2に記載の美容施術効果の解析方法。
4.被験者の顔に対する美容施術の前後に撮影された少なくとも2枚の画像を用いて、美容施術の効果を解析する方法において、
解析に用いられる画像が、美容施術の前後に撮影された少なくとも2枚の写真であって、これらの写真を色彩の濃淡により二色に変換した二値化画像であり、
この二値化画像に表れた濃色部分をランダムパターンとして、ステレオ画像相関法を用いて、被験者の顔面の三次元形状と、変位分布をそれぞれ導出し、
前記変位分布を顔面の表面形状に沿って微分することでひずみ分布を導出し、
この得られたひずみ分布を評価指標として、美容施術の効果を評価することを特徴とする美容施術効果の解析方法。
前記1に示す発明によれば、ひずみ分布を導出するための画像として、紫外線写真を使用することによって、顔面への塗料等パターンの塗布が不要である。即ち、紫外線写真には、顔面に分布するメラニン色素が表れるので、このメラニン色素をランダムパターンに見立てて、ステレオ画像相関法を適用することができるので、顔面の三次元形状とひずみ分布を導出することができ、これらからひずみ分布を導出することができる。
これにより、三次元形状や変位分布を得るための塗料等からなるパターンの塗布が不要でありながら、施術の前後に撮影された画像を用いて、顔面の皮膚のひずみ分布を求め、このひずみ分布を評価指標として、美容施術による効果を定量的に解析することができる。
前記2に示す発明によれば、変位分布を求める際に、まつ毛と唇の部分を削除することにより、美容施術による効果を、より正確に解析することができる。
即ち、顔面の中で、まつ毛と唇は、メラニン色素が観察され難く、必要なランダムパターンが得られないため、画像相関が行えないか、不正確になる場合がある。そこで、変位分布を求める際に、まつ毛と唇の部分を削除することにより、不正確になる要素を排除することで誤差を抑え、より正確な解析を行うことができる。
前記3に示す発明によれば、変位分布を求める際に、まつ毛及び唇の部分を削除することは、上記のとおりであるが、これに加え、鼻の部分をも削除することで、美容施術による効果を、更に正確に解析することができる。
即ち、顔面の中で最も突起した部分である鼻は、紫外線写真を撮影する際に、照明の照射が不均一となり、他の部分に比して暗く写る場合がある。これにより、鮮明なパターンを得ることができず、三次元形状を求める際に、精度の低下を招くおそれがある。そこで、鼻の部分も削除して変位分布を求めることにより、不正確になる要素を排除することで誤差を抑え、更に正確な解析を行うことができる。
尚、鼻の部分は、フェイシャルマッサージ等の美容施術によって、リフトアップ等によって形が変わることがなく、美容施術による効果を確認する必要性が低く、顔面全体の美容施術による効果の確認に大きな影響は与えないといえる。
前記4に示す発明によれば、紫外線写真ではなく、普通の写真を用いて美容施術効果を解析することができる。これにより、撮影時に被験者へ紫外線を照射しなくてよいので、肌への紫外線による刺激を防止できる。また、紫外線写真の撮影とは異なり、眼を開けた状態での撮影が可能であり、正確な顔面計測が可能である。更にまた、紫外線写真の撮影と比べ、特別な撮影機材が不要である。
被験者の顔面を撮影した(a)通常写真と(b)紫外線写真 2種のレンズによる被験者の顔面を撮影した紫外線写真 被験者の顔面を撮影した通常写真 図3に示す通常写真を調整したトーンカーブを示すグラフ 被験者の顔面を撮影した紫外線写真 被験者の顔面を撮影し、その一部を拡大した(a)紫外線写真と(b)通常写真 検証に使用した撮影装置を示す写真 検証に使用した試験片の形状を示す図 検証に使用した試験片を示す写真 検証に使用したキャリブレーションボードを示す写真 検証に使用した2台のカメラと測定対象物の関係を示す概略図 検証例における三次元表面の一部を示す概略図 検証例における三次元形状の解析手順を示す関係図 検証例における試験片の変形前後を示す紫外線写真 検証例における試験片の変形前後の三次元形状 検証例における試験片のy方向の変位を示すグラフ 検証例における試験片の最大主ひずみを示すグラフ 実施例における被験者の顔面を撮影した紫外線写真 実施例において導出した被験者の顔面の三次元形状 実施例において導出した被験者の顔面の変位分布 実施例において導出した被験者の顔面のひずみ分布 被験者の顔面を撮影した(a)施術前と(b)施術後の通常写真 図22の写真から変換した(a)施術前と(b)施術後の二値化画像
本発明は、フェイシャルマッサージ等の顔面に対する美容施術の効果を、非接触で定量的に解析する方法についての技術である。
顔面に対する美容施術は、顔面に刺激を与え、マッサージオイルや美容液等の化粧品と、マッサージ手技の相乗効果によって、血液やリンパの流れが活性化されることにより、顔面の肌(皮膚)のしわやたるみを解消又は軽減したり、小顔効果を期待して施術されるものである。このしわやたるみの解消又は軽減や、小顔効果による皮膚の変化は、皮膚の形状の変化と捉えることができ、これがひずみとして表れる。このひずみを評価指標として、美容施術の効果を定量的に評価しようとするのが、本発明に係る美容施術効果の解析方法である。
ひずみとは、変形の程度を示すパラメータであり、変形量の元の寸法に対する割合で表わされる値である。ひずみは、機械構造物や土木建造物の強度を評価する際に、変形の度合いを表すパラメータとして広く用いられている。近年では、美容分野においても、肌の変化に関する研究で評価指標として用いられることがある。
本発明は、美容施術の前に撮影された写真と、美容施術の後に撮影された写真の少なくとも2枚の写真を用いる。
本発明で使用する写真は、紫外線写真である。
紫外線写真とは、波長が10〜400nmの電磁波である紫外線を、被写体である被験者の顔面に照射し、これを撮影した写真である。
尚、本発明では、上記紫外線写真の他、通常の写真を二値化した二値化画像を使用することができる。詳しくは、後述する。
本発明で使用するカメラに限定はないが、例えば、市販されている一般的なデジタルカメラを使用することができる。ただし、一般的なカメラは、紫外線をカットするフィルタが内蔵されており、本発明において使用するカメラは、このフィルタを除去する必要がある。
本発明では、カメラを2台使用する。これは、後述するステレオ法にて、顔面の三次元形状を得るためである。
被写体に紫外線を照射する器具として、紫外線光源(ブラックライト)を使用することができる。使用する光源に限定はないが、具体的な実施例は後述する。
被験者の顔面を撮影した紫外線写真には、皮膚に点在するメラニン色素が表れる。
メラニン色素は、顔面の表皮より深さ0.2mm程度にある真皮層に存在し、褐色ないし黒色の微細な顆粒状の色素である。通常は、新陳代謝によって剥がれ降りるが、加齢等により代謝が落ちることで、肌に残留するようになる。このメラニン色素は、太陽光に含まれる紫外線を吸収する。
メラニン色素は、例え表皮に表れていなくても、誰にでも少なからず存在するものであり、紫外線写真であれば、これを撮影することができる。図1に示すように、通常の写真(図1(a))では、メラニン色素を確認することはできないが、紫外線写真(図1(b))であれば、メラニン色素を確認することができる。尚、図1のように、被験者の顔が撮影された写真には、プライバシーに配慮して目隠し線を施してあるが、実際の解析に使用する写真には、このような目隠し線はない。
このメラニン色素は、真皮層にランダムに点在しており、本発明では、この複数点在しているメラニン色素をランダムパターンに見立てて利用することを特徴とする。これにより、本発明では、従来技術のようにランダムパターンとして塗料等を顔面に塗布する必要がない。
紫外線写真の撮影装置について、以下に例示する。尚、本発明において、撮影方法や撮影装置について限定はなく、紫外線写真を撮影する方法や装置として、公知公用のものを特別の制限なく採用することができる。
上述のとおり、デジタルカメラなどの一般的なカメラは、紫外線をカットするフィルタが内蔵されている。これは、風景等を撮影する際にセンサが紫外線を受光し、遠景にピンクがかった色が出てしまうという影響を防止するためである。しかし、本発明では、紫外線写真におけるメラニン色素を捉える必要があるため、このフィルタを除去する必要がある。このため、本発明では、カメラに内蔵されている紫外線カットフィルタを除去することにより、より鮮明なメラニン色素を撮影する。
また、本発明で紫外線写真を撮影するにあたり、適切なレンズの選定を行った。一般的な写真撮影用のレンズには、紫外線を反射するコーテイィングが施されており、レンズの種類により紫外線の捉えやすさに違いがある。この選定では、紫外線撮影に適していると思われる2種類のレンズで紫外線写真を撮影し、これらを比較することによってレンズを選定した。使用したレンズは、SIGMA製のF2.8DN(焦点距離30mm)と、Nikon製のRayfactIL75mmN(焦点距離75.2mm)である。図2に、(a)上記SIGMA製のレンズで撮影した写真、(b)上記Nikon製のレンズで撮影した写真、をそれぞれ示す。
上記2種のレンズで撮影した写真を比較すると、Nikon製のRayfactIL75mmNの方が鮮明にメラニン色素を捉える。この結果を踏まえ、本発明における実施例では、Nikon製RayfactIL75mmLを用いて撮影を行った。尚、このレンズは、本発明で使用したデジタルカメラNEX-5Rとはマウントが異なるため,変換用のアダプタを利用した。
ここで示す実施例において、紫外線写真を撮影するために使用する撮影器具は、2台のデジタルカメラと紫外線光源(ブラックライト)によって構成されている。
カメラは、SONY製のNEX-5Rを用いた。このカメラは、上述したとおり、内蔵されていた紫外線カットフィルタを除去することによって紫外線透過に改造している。レンズは、上述の比較を踏まえて、Nikon製の産業用レンズRayfactIL75mmN(焦点距離75.2mm)を使用した。
光源は、ピーク波長352nmの電球型のブラックライトを6個、ピーク波長370nmの蛍光灯
型のブラックライトを8本用いた。ブラックライトは、光を効率よく拡散させるため白い紙で覆って使用した。また、蛍光灯型のブラックライトを被験者の顔のごく近くに配置し撮影することで、暗くなりがちな目頭の窪み等の部分を効率よく照射した。
シャッター速度は1/5s、レンズ絞りはF22とした。また、2つのレンズ間の距離は約80mm、レンズと対象物の距離は約600mmとした。
ここで、紫外線写真を撮影することで、顔面のメラニン色素が鮮明に表示されるか否かを検証した。被験者は、30代の男性である。
先ず、紫外線写真との比較のために、白色の蛍光灯下で通常写真を撮影した。その後、暗室でブラックライトを点灯させ、2台のカメラで撮影を行った。
紫外線写真は、紫外線光源下で撮影した後、カメラraw形式(ソニー独自のファイル形式)のファイルからコンピュータに読み込む際に画像処理ソフトウェア(photoshopCS6)を用いてブルーチャンネルのみを抽出し、トーンカーブを調整することで適切なコントラストに設定した後、グレースケールに変換した。
図3に、通常写真を示す。この写真のトーンカーブを調整した後、ブルーチャンネルを抽出し、グレースケールに変換した画像を示す。トーンカーブの例を、図4に示す。
図5は、これらの処理を施した紫外線写真である。図5(a)が、下カメラで撮影した写真、図5(b)が、上カメラで撮影した写真である。場所により明るさに少々ばらつきがみられるものの、黒い斑点のようなメラニン色素が目視できた。
また、下カメラの変形前画像(基準画像)の一部(200エ200画素)と、通常写真の同じ領域を図6に示す。図6(a)が、紫外線写真の一部、図6(b)が、通常写真の一部を拡大した写真である。これらを比較すると、紫外線写真には、白色の蛍光灯下では見られない黒い斑点、即ち、メラニン色素が撮影できており、このメラニン色素によって、数画素で一つのパターンを得られた。
上記のように写真を加工することにより、場所により明るさに少々ばらつきがみられるものの、黒い斑点のようなメラニン色素が目視で確認できた。
以上のように、紫外線写真におけるメラニン色素が鮮明に撮影できるように、撮影装置の構築を行った。上記のように、ブラックライトと2台のデジタルカメラで構成される撮影装置を用いて、数画素で一つのパターンをなすようなメラニン色素が確認できる紫外線写真を、撮影することができた。
・検証例
ここで、紫外線写真を用いたステレオ画像相関法によるひずみ測定の有効性を検証するために、顔面の皮膚についてのひずみ測定の前に、単軸引張負荷を受ける板材のひずみ測定を行った。
尚、この検証の中で説明する三次元形状、変位分布及びひずみ分布の求め方は、顔面の皮膚に対する美容施術効果の解析方法と同様である。
先ず、試験片に、ランダムパターンとして蛍光スプレーを塗布し、ブラックライトを照射して、ステレオ画像相関法によってひずみを測定した。そのひずみの値と、試験変位を与えた伸びから算出したひずみの値を比較して検証した。試験機には、インストロン5586型ねじ駆動型引張試験器を、試験片は、エーテル系ポリウレタンをそれぞれ用いた。
図7に、撮影装置の写真を示す。
光源として、電球型ブラックライト(ピーク波長352nm)を6つ、蛍光灯型ブラックラ
イト(370nm)を4本用いた。試験片に照射した照明は、ブラックライトの明かりのみである。
カメラは、SONY製のNEX-5Rであって、このカメラに内蔵されていた紫外線カットフィルターを除去して、紫外線透過に改造したものを用いた。レンズは、Nikon製産業用レンズRayfact(焦点距離75.2mm)を用いた。シャッター速度は1/5s、レンズ絞りはF5.6、2つのレンズ間の距離は約80mm、レンズと対象物の距離は約600mmとした。
試験片形状と試験片の写真を、図8及び図9に示す。
試験片は、両端を厚さ0.5mmのアルミ板で接着することにより、検証中にチャックからずれることを防止した。引張速度は0.5mm/minで、チャック間の距離360mmに対して25.2mm(ひずみ約7%)の変位を与えた。試験片表面には、黒のラッカースプレーを塗布した後、紫外線下で発光する蛍光スプレーを塗布した。蛍光スプレーとして赤い塗料を用いたため、撮影した写真は、画像処理ソフトウェア(PhotoshopCS6)を用いてレッドチャンネルのみを抽出し、グレースケールに変換した。
また、カメラと測定対象物の位置関係を明らかにするために、図10に示すキャリブレーションボードを撮影し、交点座標を算出した。この検証では、10mm間隔で12×10点の交点を有するキャリブレーションボードを使用した。
・ステレオ画像相関法
ステレオ画像相関法とは、画像相関によって得られる複数の画像の同一点にステレオ法を用いることで、三次元形状や変位を求める方法である。
先ず、ステレオ法によって三次元座標を算出する原理について説明する。
図11に、2台のカメラと測定対象物の関係図を示す。
PH(uH,vH)、 PL(uL,vL)は、2台のカメラの画像面上の点であり、P(x,y,z)は測定対象物における座標、OH、OLは、それぞれのカメラのレンズの中心である。画像平面上の座標系(u,v)と三次元座標系(x,y,z)の関係は、式(1)で示すことができる。
しかし、現実ではレンズの歪曲収差のため、仮想投影面座標(u,v)は、本来の位置とは異なり、歪んだ画像上の点(u',v')として得られる。それらの関係は、式(2)の通りである。
ここで、u0、v0は画像平面上の主点、a、 b、 gはスケールパラメータ、r11〜r33、 tx〜tzはカメラの位置と向きを表すパラメータ、k1は収差係数である。これらのパラメータ
は、カメラキャリブレーションにより求めることができる。式(1)を上下のカメラのデータに適用して計算を行うことで、x、y、zの3つの未知数に対し、uH、vH、uL、vLの式を得ることができるので、三次元座標(x,y,z)を求めることができる。
次に、画像相関法を用いて、上下の2台のカメラで撮影した画像間の同一点探索を行う原理について説明する。
画像相関法は、基準となる画像からサブセットと呼ばれる数画素からなる計算領域を取り出し、このサブセットのほかの画像内の位置を輝度値分布の相関などを用いて求める方法である。以上の基本原理に基づいて、サブセットと同じ輝度値分布の領域を探し出すため、式(3)で定義される相関係数Cが最大となる位置を求める。
ここでFとGは、基準画像と探索対象の画像の輝度値である。(u,v)と(u*,v*)は、それぞれ基準画像及び探索対象画像上のサブセットの点の座標を表している。(u,v)と(u*,v*)の関係は、式(4)で表すことができる。
ここでΔuとΔvは、サブセット中心から点(u,v)までのx、y方向の距離成分である。この相関係数Cを最大とするu*、 v*が、u、 vの同一点である。輝度値補間を利用したサブピクセル探索により、0.02画素程度の分解能で同一点の探索が可能である。
・ひずみ算出方法
ひずみは、変位分布を空間座標に沿って微分することにより得られる。本発明では、画像相関によって顔面の三次元形状を得るので、顔の表面に沿って微分することになる。三次元物体表面のひずみは、次のような手順で算出する。
三次元物体表面上の局所的な一部分を平面とみなし、その部分における局所的な座標系を定義し、その座標系において変位を微分することによってひずみを算出する。図12に示すように、三次元表面の一部を局所的に平面とみなしたとき、その平面は次に示す式(5)で近似できる。
ここでa、 b、 cは係数であり、最小二乗法などで決定できる。このとき、この平面の単位法線ベクトルn、単位接線ベクトルt1、 t2は、次に示す式(6)〜(8)で求めることができる。
ここでjは、y方向の単位ベクトルである。ベクトルn、t1、t2を用いると、式(9)を用いて、三次元座標x、y、zを、x’-y’面内の平面(z’=一定)に座標変換することができる。
同様にして、三次元座標ux、uy、uzをx’-y’面内の平面(z’=一定)に座標転換を行うことができる。
以上の手順により、座標変換して得られた座標及び変位は、面内の値であり、空間方向に微分してひずみを算出することが可能である。変位測定データを微分する際には、測定誤差の影響を低減するため、局所最小二乗法が多く用いられる。例えば、局所領域の変位を、式(11)のように1次式で表す。
この変位データを微分することで、ひずみを求める。皮膚の変形は微小ではないため、次式のように有限ひずみとして算出する。
以上の手順により得られたひずみ成分は、各点において異なる座標系に対する値となる。そこで、得られた値は、以下のように主ひずみに座標変換する。
ここで、e1、e2は、最大及び最小主ひずみ、φは、主方向である。
図13に、解析手順を示す。
ステレオ画像相関法は、2台のカメラで測定対象物を撮影するため、カメラH、カメラLそれぞれに対して変形前後の画像が得られる。変形前の上下の画像の相関をDIC(1)、下カメラの変形前後の相関をDIC(2)、下カメラの変形前の画像と上カメラの変形後の画像の相関をDIC(3)とする。DIC(1)を用いることで、変形前の三次元形状を求めることができ、DIC(2)とDIC(3)を用いることで、変形後の三次元形状を求めることができる。
この手順は、上下のカメラの変形前、変形後の画像の4枚のみを使うので、相関を行う回数が3回と少なく、時間をかけずに三次元形状を求めることができる。
先ず、カメラキャリブレーションにより、内部及び外部パラメータ(式(1)及び(2)の係数)を求めた。結果を以下の表1に示す。ただし、収差係数k2は使用していない。
次に、図14に変形前後の紫外線写真を、図15に変形前後の三次元形状を示す。求めた三次元形状をみると、滑らかな平面が得られており、これにより蛍光スプレーをランダムパターンとし、紫外線画像によって解析が正しく行うことができたといえる。
図16にy方向変位、図17に求めた最大主ひずみを示す。今回はy方向に約7%のひずみを与えたため、y方向の主ひずみが7%になるはずである。図17より、一様な約7%のひずみが確認できた。即ち、紫外線画像を用いてのひずみ測定は、正しく行うことができたといえる。
以上のように、エーテル系ポリウレタンの試験片に、ランダムパターンとして紫外線下で発光する蛍光スプレーを塗布し、7%の既知のひずみを与えてステレオ画像相関画によるひずみ測定を行い、結果を検討した。画像相関の結果、求めたひずみ分布は7%のほぼ一様なひずみが得られており、以上より紫外線写真を用いたステレオ画像相関によって妥当なひずみの値が得られることを示した。
・実施例
続いて、本発明の実施例について記載する。即ち、紫外線写真からひずみ分布を導出することによる、顔面に対する美容施術効果の解析方法の実施例について説明する。尚、三次元形状、変位分布及びひずみ分布の算出方法は、検証例にて記載した方法と同様である。
先ず、紫外線写真を撮影し、ステレオ画像相関によって表情の違いによる顔面皮膚の変位分布とひずみ分布の測定を行った。
被験者の無表情の写真を変形前写真とし、微笑した写真を変形後写真とした。撮影条件は、シャッター速度が1/5s、レンズ絞りがF22であり、2つのレンズ間の距離は約80mm、レンズと対象物の距離は約600mmである。
紫外線下で撮影した写真を以下の図18に示す。紫外線写真には、黒い斑点のようなメラニン色素が鮮明に確認することができ、このメラニン色素をランダムパターンに見立て
ることとする。これらの紫外線写真を用いてステレオ画像相関を行い、三次元形状と変位分布、ひずみ分布を求めた。
図18に示した紫外線写真を用いて、変形前後の三次元形状を求めた。まず、カメラパラメータをカメラキャリブレーションによって求めた。結果を、表2及び3に示す。
得られた変形前後の三次元形状を、図19に示す。尚、まつ毛の部分と唇の部分は、メラニン色素のパターンが表れず、画像相関が行えないため、それらの部分は削除した。
変形前後ともに滑らかな形状が得られており、頬の丸みや鼻の形などもはっきりと捉えることができた。よって、塗料等で人為的にランダムパターンと塗布せずとも、メラニン色素によってデータ処理が正しく行うことができたといえる。しかし、変形後の三次元形状において、鼻の部分に少々ばらつきが確認できた。これは、鼻が大きく突起していることで照明されずに暗く映ってしまい、鮮明なパターンが得られないことによって精度が低下しばらつきが現れたと考えられる。尚、本発明では、フェイシャルマッサージの効果を評価する方法の確立を目標としており、鼻はマッサージで形が変わることはないので、この鼻の部分の誤差は問題にはならないといえる。
図20に、変形前後の三次元形状より求めた変位分布を示す。尚、鼻の部分は変形後の三次元形状の値のばらつきがみられたため削除した。滑らかな分布が求められており、相関が正しく行われたといえる。また、z方向変位に関しては口元にやや大きな変位を確認することができた。これは、変形後画像として微笑している写真を用いているためであり、ここからも結果の妥当性が確認できた。
図21にひずみ分布を示す。ゲージ長さは20mmである。こちらも滑らかなひずみ分布が得られており、良好な結果といえる。また、変位分布と同様に口元に比較的大きなひずみ
を確認することができた。よって、紫外線写真はひずみ分布を求めるのに有効であるということがいえる。
以上のように、紫外線写真によるステレオ画像相関を用いて、無表情と微笑の表情の違いによって生じる顔面皮膚の変位分布とひずみ分布を求めた。ブラックライトを光源にした装置で撮影した写真を用いて、データ処理を行ったところ、滑らかな変位分布を得ることができた。また、口元に大きなひずみが集中したひずみ分布を得ることができた。
以上の結果より、紫外線写真を用いることで、人為的に塗料等によってランダムパターンを塗布しなくても、ステレオ画像相関を用いてひずみ分布を導出し、美容施術の効果を定量的に解析することができた。
上記した実施例や検証例の結果をまとめる。
本発明では、紫外線画像を用いてステレオ画像相関を行う方法を提案した。即ち、顔面に対して、塗料等で人為的にランダムパターンを塗布せずに、紫外線写真におけるメラニン色素をランダムパターンとして画像相関を行った。
ランダムパターンとして利用できるように、鮮明なコントラストのメラニン色素を撮影するため、撮影装置の最適化を行い、6つの電球型ブラックライトと8本の蛍光灯型ブラックライト、紫外線カットフィルターを除去したデジタルカメラ2台で構成される撮影装置によって、紫外線写真を撮影した。撮影した紫外線写真を用いたところ、滑らかな三次元形状を得ることができ、また表情の違いによる変位分布とひずみ分布を得た。
検証例では、紫外線写真を用いたステレオ画像相関によって求めたひずみ分布の妥当性を確認するために、ポリウレタン製の平板試験片を用いて引張試験を行った。試験片には、ランダムパターンとして紫外線下で発光する蛍光スプレーを塗布し、紫外線光源下で画像相関を行った。試験片に7%のひずみを与えて、ひずみ分布を求めたところ、画像相関によって7%の一様なひずみ場を確認することができた。以上より、紫外線画像を用いたステレオ画像相関法により、妥当なひずみ分布が得られることが分かった。
ここまでは、紫外線写真を用いた美容施術効果の解析方法について説明したが、本発明は、二値化画像を用いても、美容施術効果を解析することができる。
二値化画像とは、ある濃淡のある画像を、濃色又は淡色の2色(例えば、白黒の2色。)に変換した画像をいう。濃色部分と淡色部分を区別するために、ある閾値を定め、画素毎に閾値を上回っているか又は下回っているかを判定し、例えば、閾値を上回っていれば淡色(例えば、白色。)、下回っていれば濃色(例えば、黒色。)というように置き換え、この画像を濃淡(白黒)の2色に変換した画像である。
図22は、被験者の顔面を撮影した通常の写真であり、(a)は施術前、(b)は施術後に撮影した写真である。
この図22の通常写真に基づく二値化画像を、図23に示す。図22と同様に、(a)は施術前、(b)は施術後における二値化画像である。図23によれば、被験者の顔面に表れたシミや毛穴が濃色(黒色)で示され、その他の部分は淡色(白色)で示されている。
本発明では、二値化画像の中で、濃色に変換された箇所をランダムパターンとして用いる。このランダムパターンに基づいて、ステレオ画像相関法を用いてひずみ分布を導出し、このひずみ分布を評価指標として、美容施術の効果を評価する手段については、上記した紫外線写真による美容施術効果の解析方法と同様である。
二値化画像を用いた美容施術効果の解析方法は、普通の写真を用いて行うため、表皮に表れたメラニン色素しか認識できず、皮膚のより深い部位にあるメラニン色素まで検出できる紫外線写真に比して、得られる情報量が少ない。
一方で、紫外線写真を用いた方法では、撮影時に、被験者の肌が紫外線によって刺激されることが予見されること、眼をつぶった写真となること等の問題がある。これに対して、二値化画像による方法では、紫外線による肌刺激の問題は無く、眼を開けた状態で撮影ができるという利点があり、より正確な顔面計測が可能となる。
二値化画像の中で、濃色に変換された箇所は、主に被験者の顔に表れたシミ又は毛穴を示すものである。換言すれば、被験者の顔に表れたシミ又は毛穴として写真に表れた部分が、二値化される段階で濃色に変換されるように設定されることが好ましい。
また、通常の写真から二値化画像へ変換する作業において、各種パラメータを調整可能とし、被験者の顔に表れたシミ又は毛穴を、より分かり易く明確に表示させるため調整可能な構成とすることが好ましい。
本発明において、二値化画像を得る手段に限定はなく、公知公用の二値化手段を特別の制限無く採用することができる。
二値化画像を得る手段として、例えば、次のような手段を挙げることができる。
被験者の顔を撮影した写真の中で、シミや毛穴が表れたある画素は、その周りの画素と比較して、輝度が低く表示される(濃色に表れる)。この輝度が低い画素は、濃色と判定され、その他の輝度が高い画素は、淡色と判定される。
輝度が低い又は高いと判定される基準として、閾値が用いられる。閾値は、被験者の顔を撮影した写真の中で、ある画素がシミ又は毛穴と判定されるか、その他の箇所と判定されるかの境界である。
閾値の設定については、一般的に、次のような閾値処理が用いられる。閾値処理は、閾値の設定方法により、次のような方法が知られている。
(1)濃度ヒストグラムに基づく方法
(2)画像の局所性質を利用する方法
(3)画像を分割し領域毎に設定する方法
(4)適応的処理
上記(1)の濃度ヒストグラムに基づく方法として、P−タイル法、モード法、判別分析法及び最小誤差法が知られており、各方法を簡単に説明すると、次のとおりである。
P−タイル法は、画像内で対象物の占める面積(P%)が既知である場合に、濃度ヒストグラムを作成し、濃度値の累積分布が全体のP%となる濃度をみつけ、この値を閾値とする方法である。
モード法は、濃度ヒストグラムを作成し、この濃度ヒストグラムが、画像の対象物と背景のそれぞれに対応した二つの山ができる場合(双峰性)に、山の間の谷の位置を閾値とする方法である。
判別分析法は、濃度ヒストグラムが双峰性を示す場合に上記モード法が用いられ、その他の場合は、濃度ヒストグラムをある閾値で2つのグループに分けたときに、グループの分散が最大となる値を閾値とする方法である。
最小誤差法は、ある閾値で二値化した場合に、対象を背景と誤る可能性(誤り率)を最小にする方法である。
上記(2)の画像の局所性質を利用する方法として、微分ヒストグラム法が知られてい
る。
微分ヒストグラム法は、濃度の変化率(微分値)によって閾値を決定する方法である。微分値を求める方法は、例えば、近傍の各画素の濃度値とその差の最大値及び近傍との差の総和から求められる。そして、濃度値ごとの微分値の総和を求めることで、微分ヒストグラムを求め、ヒストグラムのy軸の最大値をとる濃度値(x軸の値)を閾値とする。
上記(3)の画像を分割し領域毎に設定する方法として、領域分割法が知られている。
領域分割法は、画像をいくつかの小領域に分割し、各小領域毎に濃度ヒストグラムを作成し、そこにエッジが含まれていると判断された場合に、その小領域の性質に最も合致した閾値を設定する手段である。
上記(4)の適応的処理として、適応的処理法が知られている。
適応的処理法は、すでに二値化された画素と、注目画素の結合確率を用いて注目画素を予測し、予測値が1となる確率が大なら、二値化後の注目画素が1になりやすい基準の閾値から一定量を差し引いた値を新たな閾値とし、予測値が0となる確率が大なら基準の閾値に一定量を加えた値を新たな閾値に設定する手段である。
本発明で提案する方法は、従来のステレオ画像相関法と異なり、測定対象物に塗料等で人為的にランダムパターンを塗布する必要がない。
これにより、この方法は、マッサージオイル等を用いるフェイシャルマッサージ前後の顔の変形量を定量的に評価することができ、フェイシャルマッサージ等の美容施術効果の評価の方法として有効であるといえる。
紫外線写真又は二値化画像を用いたステレオ画像相関によって顔面のひずみを可視化することで、従来目視で評価していたフェイシャルマッサージの効果を定量的に示すことができる。パターン塗布の必要がないという簡便さから、サロン店頭での測定や、施術者のトレーニングの指標などへの応用が期待できる。

Claims (4)

  1. 被験者の顔に対する美容施術の前後に撮影された少なくとも2枚の画像を用いて、美容施術の効果を解析する方法において、
    解析に用いられる画像が、パターンの役割を果たす塗料が塗布されることなく、美容施術の前後に撮影された少なくとも2枚の紫外線写真であって、
    この紫外線写真に表れたメラニン色素をランダムパターンとして、ステレオ画像相関法を用いて、被験者の顔面の三次元形状と、変位分布をそれぞれ導出し、
    前記変位分布を顔面の表面形状に沿って微分することでひずみ分布を導出し、
    この得られたひずみ分布を評価指標として、美容施術の効果を評価することを特徴とする美容施術効果の解析方法。
  2. まつ毛及び唇の部分を削除して、ひずみ分布を導出することを特徴とする請求項1に記載の美容施術効果の解析方法。
  3. まつ毛、唇及び鼻の部分を削除して、ひずみ分布を導出することを特徴とする請求項1又は2に記載の美容施術効果の解析方法。
  4. 被験者の顔に対する美容施術の前後に撮影された少なくとも2枚の画像を用いて、美容施術の効果を解析する方法において、
    解析に用いられる画像が、パターンの役割を果たす塗料が塗布されることなく、美容施術の前後に撮影された少なくとも2枚の写真であって、これらの写真を色彩の濃淡により二色に変換した二値化画像であり、
    この二値化画像に表れた濃色部分をランダムパターンとして、ステレオ画像相関法を用いて、被験者の顔面の三次元形状と、変位分布をそれぞれ導出し、
    前記変位分布を顔面の表面形状に沿って微分することでひずみ分布を導出し、
    この得られたひずみ分布を評価指標として、美容施術の効果を評価することを特徴とする美容施術効果の解析方法。
JP2016115839A 2015-06-16 2016-06-10 美容施術効果の解析方法 Active JP6756524B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015120780 2015-06-16
JP2015120780 2015-06-16

Publications (2)

Publication Number Publication Date
JP2017009598A JP2017009598A (ja) 2017-01-12
JP6756524B2 true JP6756524B2 (ja) 2020-09-16

Family

ID=57764459

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016115839A Active JP6756524B2 (ja) 2015-06-16 2016-06-10 美容施術効果の解析方法

Country Status (1)

Country Link
JP (1) JP6756524B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7040889B2 (ja) * 2016-06-02 2022-03-23 ポーラ化成工業株式会社 肌状態の鑑別のための画像解析方法
JP6993087B2 (ja) * 2017-01-17 2022-02-04 花王株式会社 皮膚の歪み測定方法
JP6879168B2 (ja) * 2017-11-01 2021-06-02 オムロン株式会社 3次元測定装置、3次元測定方法及びプログラム
EP3503023B1 (en) * 2017-12-22 2022-11-23 Chanel Parfums Beauté Improved age modelling method
CN108759720B (zh) * 2018-06-07 2020-02-21 合肥工业大学 光滑表面面型测量方法
CN110057308A (zh) * 2019-04-30 2019-07-26 北京理工大学 一种形变监测方法及系统
US20220114713A1 (en) 2020-10-14 2022-04-14 Mitsubishi Electric Research Laboratories, Inc. Fusion-Based Digital Image Correlation Framework for Strain Measurement

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7344498B1 (en) * 2007-01-23 2008-03-18 The Gillette Company Optical measurement method of skin strain during shaving
WO2010082942A1 (en) * 2008-02-01 2010-07-22 Canfield Scientific, Incorporated Automatic mask design and registration and feature detection for computer-aided skin analysis
JP2013090751A (ja) * 2011-10-25 2013-05-16 Fujifilm Corp シミ検出方法、シミ検出装置およびシミ検出プログラム、並びに、シミ分類方法、シミ分類装置およびシミ分類プログラム
US9697618B2 (en) * 2012-08-17 2017-07-04 Sony Corporation Image processing apparatus, image processing method, program, and image processing system
JP5882929B2 (ja) * 2013-02-26 2016-03-09 日本電信電話株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Also Published As

Publication number Publication date
JP2017009598A (ja) 2017-01-12

Similar Documents

Publication Publication Date Title
JP6756524B2 (ja) 美容施術効果の解析方法
KR101687417B1 (ko) 피부 결함을 특징짓는 방법 및 장치와 화장품, 피부과학적 또는 약리학적 제제를 사용하는 피부 결함에 대한 효과적인 치료 방법
KR101713086B1 (ko) 투명감 평가 장치, 투명감 평가 방법 및 투명감 평가 프로그램
CN111524080A (zh) 脸部皮肤特征的识别方法、终端及计算机设备
CN103827916B (zh) 皱纹检测与皱纹评估的方法、装置和系统
US7715596B2 (en) Method for controlling photographs of people
CN107072597A (zh) 斑点评估装置、斑点评估方法及程序
Choi et al. Skin texture aging trend analysis using dermoscopy images
JP6273640B2 (ja) 撮影画像表示装置
CN104661585B (zh) 表征皮肤体积的方法
JP2007252891A (ja) 肌の美しさの目視評価値の推定方法
KR102645445B1 (ko) 2차원 피부 이미지 분석 시스템 및 분석 방법
JP2018106720A (ja) 画像処理装置及びその方法
JP2023073375A (ja) 皮膚の歪み測定方法
JP6527765B2 (ja) シワ状態分析装置及びシワ状態分析方法
Bae et al. Robust skin-roughness estimation based on co-occurrence matrix
KR20180109676A (ko) 2차원 피부 이미지 분석 시스템 및 분석 방법
CN113486768A (zh) 一种肤质的图像识别方法
CN109300105A (zh) 毛孔检测方法、系统、设备及存储介质
JP2007252892A (ja) 皮膚表面の立体形状の目視評価値の推定方法
JP2006081846A (ja) 顔面溝の評価方法及び装置
JP6691824B2 (ja) 肌の透明感の評価方法
JP2015064823A (ja) 化粧料の評価方法、及び表情しわの定量化方法
Cho et al. Development and clinical validation of a novel photography‐based skin pigmentation evaluation system: a comparison with the calculated consensus of dermatologists
Merkle et al. State of the art of quality assessment of facial images

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170516

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190415

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200827

R150 Certificate of patent or registration of utility model

Ref document number: 6756524

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250