JP3919722B2 - 肌形状計測方法及び肌形状計測装置 - Google Patents

Description

本発明は、被験者の肌形状を計測する方法に関し、特に、顔の肌のむくみ、たるみを、立体的な形状値として定量的に表す技術に関し、例えば、スキンケア製品等の研究開発に利用され得るものである。

一般に、スキンケア製品の研究開発にあたって、肌のどの部分で伸縮しているのか、あるいは、その伸縮の程度が時間経過に伴ってどのように変化しているのかを定量的且つ経時的に計測する必要がある。
従来より、被験者の肌にペン等でマーカーを所定箇所に記し、２次元画像処理を用いて、マーカーの間の距離を計測することにより、その間の肌の伸縮量やその伸縮量の経時的変化を求めている。

一方、近年、肌に生じたむくみやたるみを立体的な形状値として表すことが望まれており、この際、ステレオ画像処理を用いて、３次元空間の計測を行うことが考えられる。このステレオ画像処理は、２台のカメラを用いて、三角測量の原理により計測対象までの距離（空間座標値）を求めるもので、例えば、以下に示す特許文献１〜２に開示されている。

特許文献１には、自動車やロボット等の障害物回避等の技術分野に応用されるステレオ画像計測方法が提案されている。この方法は、画像中から実空間において、例えば道路上の白線のような、互いに平行な２直線情報を抽出し、この情報から２台のカメラの相対的３次元回転角を推定することにより、常にエピポーラ条件を成立させる技術である。

また、特許文献２には、地形図の作成等の写真測量の技術分野に応用されるステレオ画像測定装置が提案されている。この装置は、ステレオの左右画像の対応点を検索する際、その画像を画面上に表示させ、その画面内でカーソルを移動させた後、そのカーソル位置の近傍で特徴点抽出を行い、その特徴点を測定点として決定する技術である。

特開平７−２１８２５１号公報 特開平６−５０７３６号公報

上記従来のマーカーを計測対象にした計測方法においては、マーカーの外形が不鮮明になりがちであるため、そのマーカーにおける計測ポイントを選択する位置によっては、計測値が大きく変わってしまうという問題があり、また、所定の時間経過後に再度計測する際、マーカーが発汗等で滲んで消えてしまうという問題もあった。

一方、特許文献１、２に示す、ステレオ画像処理を用いた従来技術においては、実空間の白線や、画面上の特徴点は、移動せず一定の位置にあるため、左右画像の対応が比較的容易であるものの、肌の立体的な形状を計測する場合にあっては、上記問題を解決すべく、肌上のどこを計測ポイントにするかという課題があり、さらに、被験者が移動した場合、その計測ポイントを、一組の左右画像や、時系列的な複数の画像を対応させる際、どのように探索するかという課題がある。

従って、本発明の目的は、被験者の肌において定常的に識別可能な肌識別部位を計測対象にし、肌の立体的な形状やその経時的変化を、高精度で且つ安定して計測し得る肌形状計測方法を提供することにある。

本発明は、画像処理した際、色彩の境界を定常的に表して識別可能な肌上部位を計測対象にすれば、被験肌の立体的な形状やその経時的変化を、高精度で且つ安定して計測し得るという知見に基づき、被験肌における定常的に識別可能な肌識別部位を計測対象にする肌形状計測方法であって、前記肌識別部位は前記被験肌の毛穴であり、前記被験肌の画像を少なくとも２方向から撮像し、前記肌識別部位の画像が複数含まれる第１、第２の画像を得る第１ステップと、前記第１、第２の画像における前記肌識別部位を、それぞれ、所定の画像処理により、第１、第２の画像平面形状に変換する第２ステップと、前記第１、第２の画像平面形状をそれぞれ対応させ、その対応した前記第１、第２の画像平面形状に基づいて、前記被験肌における前記肌識別部位の計測空間位置を求める第３ステップと、前記計測空間位置に基づいて、前記被験肌の肌形状を計測する第４ステップと、前記第１〜第４ステップの処理を繰り返し行い、前記肌形状の経時的変化を測定する第５ステップとを有する形状計測方法を提供することにより前記目的を達成したものである。
本出願において、「色彩」とは、明度、彩度、色合を含む意味であり、「色彩」の中でも、明度、彩度に基づいた計測が好適であり、特に、明度が最も好適である。
本出願において、「少なくとも２方向から撮像」とは、共通する識別部位が含まれるように異なる２以上の位置から撮像することを意味する。また、そのうちの２方向から撮像した画像を、「第１、第２の画像」とする。

本発明によれば、被験者の肌において定常的に識別可能な肌識別部位を計測対象にし、肌の立体的な形状やその経時的変化を、高精度で且つ安定して計測することができ、ひいては、肌の伸縮の程度やその経時的変化の定量的計測により、むくみやたるみを改善するようなスキンケア製品等を研究開発することが可能になる。

以下、本発明に係る肌形状計測方法の好ましい一実施形態を図面を参照して詳細に説明する。
図２及び図３（ａ）（ｂ）に示すように、本実施形態の肌形状計測方法は、被験肌における定常的に識別可能な毛穴（肌識別部位）Ｑを計測対象にし、以下の第１〜第４ステップを有する。
第１ステップでは、被験肌の画像を２方向から撮像し、毛穴Ｑの画像が複数含まれる左画像（第１の画像）Ｌ及び右画像（第２の画像）Ｒを得るようにしている。
第２ステップでは、左画像Ｌ及び右画像Ｒにおける毛穴を、それぞれ、所定の画像処理により、左の毛穴平面形状（第１の画像平面形状）Ｑ_L及び右の毛穴平面形状（第２の画像平面形状）Ｑ_Rに変換するようにしている。
第３ステップでは、左右の毛穴平面形状Ｑ_L、Ｑ_Rをそれぞれ対応させ、その対応した左右の毛穴平面形状Ｑ_L、Ｑ_Rに基づいて、被験肌における毛穴空間座標値（肌識別部位の計測空間位置）Ｐを求めるようにしている。
第４ステップでは、毛穴空間座標値Ｐに基づいて、被験肌の肌形状を計測するようにしている。

まず、このような各ステップを実現する、本実施形態の肌形状計測システムを説明する。
図１及び図２に示すように、本実施形態の肌形状計測システム１は、ステレオ画像処理を行うように構成されており、左カメラ２及び右カメラ３（撮像手段）、左照明器４、右照明器５、あご載置台６、平面位置演算装置（左用及び右用）７、空間位置演算装置８、立体形状演算装置９、記憶装置１０、表示装置１１等からなる。

左カメラ２及び右カメラ３は、左、右照明器４、５により照らされた、あご載置台６上の顔全体を、左右２方向から撮像するように構成されている。左カメラ２及び右カメラ３は、撮像された左画像Ｌ及び右画像Ｒを、平面位置演算装置７に送出するように接続されている。

平面位置演算装置７は、左、右画像Ｌ、Ｒにおける毛穴の画像を、それぞれ、毛穴平面形状Ｑ_L、Ｑ_Rに変換し、その中から選定された毛穴平面形状Ｑ_L、Ｑ_Rを、それぞれ、毛穴平面座標値Ｐ_L、Ｐ_Rに演算処理する、「２値化処理手段」及び「図心演算処理手段」等を備え、これらの各手段が、ＣＰＵ等のハードウエア資源と協働して実現するように構成されている。平面位置演算装置７は、左右の毛穴平面座標値Ｐ_L、Ｐ_Rを、空間位置演算装置８に送出するように接続されている。

空間位置演算装置８は、対応した左右の毛穴平面座標値Ｐ_L、Ｐ_Rに基づいて、毛穴空間座標値Ｐを求める「ステレオ画像処理手段」を備え、この手段が、ＣＰＵ等のハードウエア資源と協働して実現するように構成されている。空間位置演算装置８は、毛穴空間座標値Ｐを、立体形状演算装置９に送出するように接続されている。

立体形状演算装置９は、毛穴空間座標値Ｐに基づいて、被験肌の立体形状を計測する「立体形状演算処理手段」を備え、この手段が、ＣＰＵ等のハードウエア資源と協働して実現するように構成されている。立体形状演算装置９は、計測した立体形状の値を、記憶装置１０に送出するように接続されている。

記憶装置１０は、立体形状の値を記憶する立体形状データファイルを、時系列的に配列するように構成されている。表示装置１１は、記憶装置１０に接続され、適宜、必要な立体形状の値をグラフ表示するように構成されている。
なお、記憶装置１０は、平面位置演算装置７、空間位置演算装置８にも接続され（図示しない）、適宜、平面位置演算装置７のデータや、空間位置演算装置８のデータを保存するようになっている。
上記各装置における諸手段については、以下の肌形状計測方法の説明の中で具体的に述べる。

本実施形態の肌形状計測方法を、上記肌形状計測システム１を用いた一例で説明する。
図１及び図２に示すように、本実施形態の肌形状計測方法は、被験肌における計測対象の部位を、２値化処理した際、明度差に基づく明確な境界が定常的に表れるものを選択する観点から、毛穴Ｑにしている。

第１ステップでは、被験者のあごをあご載置台６上に固定してから、左、右カメラ２、３等を用いて、被験肌の左、右画像Ｌ、Ｒを撮像し、平面位置演算装置７に取り込む。左、右画像Ｌ、Ｒは、カラー画像又は濃淡画像の何れでも構わないが、本実施形態では、カラー画像にしている。

第２ステップでは、左、右画像Ｌ、Ｒから平均的な肌色情報を除去することにより、毛穴Ｑの周囲における局所的な色変化情報のみを抽出し、これを毛穴Ｑの濃淡画像に変換する。
その後、平面位置演算装置７の２値化処理手段により、毛穴Ｑの濃淡画像を白黒２値画像に変換させる。この際、毛穴Ｑの画像毎に濃度が異なることもあり得るため、特定の毛穴Ｑの画像濃度を対象にして、毛穴Ｑの画像毎に異なるしきい値を用いる「局所しきい値法」を採用する。

その後、計測者は、多数ある毛穴Ｑの画像（黒）のうち、次の条件(1)〜(3)、即ち、(1)一定の面積値（例えば、０．０１ｍｍ²以上１．８ｍｍ²以下、又は０．８ｍｍ²以下に相当する画素数）、(2)一定の濃度値（例えば、平均的な肌色情報を除去した後、２５６階調中１２４階調以下）、(3)一定の形状値（例えば、真円度０．３以上、望ましくは、０．５以上）、の全て満たすものを、左右の毛穴平面形状Ｑ_L、Ｑ_Rとして、選定し抽出する。

ここでは、図３（ａ）（ｂ）に示すように、左画像Ｌから、毛穴平面形状Ｑ_L1、Ｑ_L2、Ｑ_L3…Ｑ_Ln（これらを適宜「Ｑ_L」とも総称する）を抽出し、右画像Ｒから、毛穴平面形状Ｑ_R1、Ｑ_R2、Ｑ_R3…Ｑ_Rn（これらを適宜「Ｑ_R」とも総称する）を抽出している。
平面位置演算装置７によって、抽出した毛穴平面形状Ｑ_L、Ｑ_Rを識別させる識別番号ｎ（１、２…ｎ）が自動的に採番される。

その後、平面位置演算装置７の図心演算処理手段により、抽出した毛穴平面形状Ｑ_L、Ｑ_Rのそれぞれの図心を求め、その図心を毛穴平面座標値Ｐ_L1、Ｐ_L2、Ｐ_L3…Ｐ_Ln、及びＰ_R1、Ｐ_R2、Ｐ_R3…Ｐ_Rn（これらを適宜「Ｐ_L」、「Ｐ_R」とも総称する）とする。

ここで、図２に示すように、左画像座標Ａ_L及び右画像座標Ａ_Rと毛穴空間座標Ｂ₀との関係を説明する。
毛穴空間座標Ｂ₀は、被験肌の毛穴の空間位置を示すものであり、Ｘ₀軸、Ｙ₀軸、Ｚ₀軸により定められる。このような毛穴空間座標Ｂ₀において、毛穴の空間位置は、毛穴空間座標値Ｐ（Ｘ、Ｙ、Ｚ）で表される。

左画像座標Ａ_Lは、左画像Ｌにおける毛穴平面座標値Ｐ_Lを示すものであり、ｘ_L軸、ｙ_L軸により定められる。ｘ_L軸と、ｙ_L軸との交点（原点）Ｏ_Lは、左カメラ光軸線Ｏ₁ｚ₁上にある。線分Ｏ₁Ｏ_Lは、左カメラ２の焦点距離ｆである。このような左画像座標Ａ_Lにおいて、毛穴平面形状Ｑ_Lの図心は、毛穴平面座標値Ｐ（ｘ_L、ｙ_L）で表される。

右画像座標Ａ_Rは、右画像Ｒにおける毛穴平面座標値Ｐ_Rを示すものであり、ｘ_R軸、ｙ_R軸により定められる。ｘ_R軸と、ｙ_R軸との交点（原点）Ｏ_Rは、右カメラ光軸線Ｏ₂ｚ₂上にある。線分Ｏ₂Ｏ_Rは、右カメラ３の焦点距離ｆである。このような左画像座標Ａ_Rにおいて、毛穴平面形状Ｑ_Rの図心は、毛穴平面座標値Ｐ（ｘ_R、ｙ_R）で表される。

ステップ３では、図３（ａ）（ｂ）に示すように、予め、計測者が、目視により、左画像Ｌにおける毛穴平面形状Ｑ_L1、Ｑ_L2、Ｑ_L3…Ｑ_Lnと、右画像Ｒにおける毛穴平面形状Ｑ_R1、Ｑ_R2、Ｑ_R3…Ｑ_Rnとを対比し、これらの形状が一致する対応毛穴平面形状Ｑ_Lk、Ｑ_Rk（ｋ＝１、２…ｎ）を少なくとも一組探索する。

ここで、左、右画像Ｌ、Ｒにおいては、被験者のあごがあご載置台６に固定されていることから、対応毛穴平面形状Ｑ_Lk、Ｑ_Rkが、ほぼ水平軸ｘに沿って分布しており、また、対応毛穴平面形状Ｑ_Lkの周囲にある他の毛穴平面形状Ｑ_L1、Ｑ_L2、…と、対応毛穴平面形状Ｑ_Rkの周囲にある他の毛穴平面形状Ｑ_R1、Ｑ_R2…とが、同じようなパターンで分布している。
以上の点は、計測者が、対応毛穴平面形状Ｑ_Lk、Ｑ_Rkを探索する時間を短くさせる。

その後、計測者が、空間位置演算装置８に、対応毛穴平面形状Ｑ_Lk、Ｑ_Rkを関係付けさせる対応番号ｋ（＝１、２…ｎ）を入力する。
そして、空間位置演算装置８のステレオ画像処理手段により、対応番号ｋに基づいて、左画像Ｌの毛穴平面座標値Ｐ_L1、Ｐ_L2、Ｐ_L3…Ｐ_Lnと、右画像Ｒの毛穴平面座標値Ｐ_R1、Ｐ_R2、Ｐ_R3…Ｐ_Rnとをそれぞれ対応させ、この対応した毛穴平面座標値（Ｐ_Li、Ｐ_Rj）［ｉ、ｊ＝１、２…ｎ］を、焦点距離ｆ及び基長線Ｏ₁Ｏ₂に基づいて、毛穴空間座標値Ｐ₁、Ｐ₂、Ｐ₃…Ｐ_nに変換する（Berthold K. P. Horn: "Robot Vision", MIT Press (1986) p.299-315. に記載の方法）。
この際、毛穴空間座標値Ｐ₁、Ｐ₂、Ｐ₃…Ｐ_n（これらを適宜「Ｐ_n」とも総称する）を記憶装置１０に記憶しておく。

ステップ４では、立体形状演算装置９の立体形状演算処理手段により、毛穴空間座標値Ｐ_nに基づいて、被験肌の立体形状を計測させる。
図４に示すように、具体的には、洗顔後の被験肌上において、計測点Ｐ₁〜Ｐ₅を選択し、この計測点Ｐ₁〜Ｐ₅にそれぞれ対応する毛穴空間座標値Ｐ₁（Ｘ₁、Ｙ₁、Ｚ₁）〜Ｐ₅（Ｘ₅、Ｙ₅、Ｚ₅）に基づいて、肌に沿った肌上距離Ｐ₁Ｐ₅、Ｐ₂Ｐ₅等を、演算する。また、肌に沿った肌上面積Ｐ₁Ｐ₂Ｐ₅、Ｐ₃Ｐ₄Ｐ₅等を、上記同様に演算する。

これらの肌上距離Ｐ₁Ｐ₅、Ｐ₂Ｐ₅等や、肌上面積Ｐ₁Ｐ₂Ｐ₅、Ｐ₃Ｐ₄Ｐ₅等を、記憶装置１０の立体形状データファイルＦ₁に記憶しておく。
ここでは、肌上距離Ｐ₁Ｐ₅等や、肌上面積Ｐ₁Ｐ₂Ｐ₅等により、肌のむくみを、定量的な伸縮量として測定し、むくみが生じた部位を特定している。

ステップ５では、所定の時間経過後、上記ステップ１〜ステップ４の処理を繰り返し行い、今回のステップ４で得られた、肌上距離Ｐ₁Ｐ₅等や、肌上面積Ｐ₁Ｐ₂Ｐ₅等を、記憶装置１０の立体形状データファイルＦ₂に記憶しておく。

立体形状データファイルＦ₁の値を参照し、前回の肌上距離Ｐ₁Ｐ₅等や肌上面積Ｐ₁Ｐ₂Ｐ₅等との比較において、肌上距離Ｐ₁Ｐ₅等の変化率や、肌上面積Ｐ₁Ｐ₂Ｐ₅等の変化率を演算し、これらの変化率を記憶装置１０の立体形状データファイルＦ₂に記憶しておく。
ここでは、肌上距離Ｐ₁Ｐ₅等の変化率や、肌上面積Ｐ₁Ｐ₂Ｐ₅等の変化率により、むくみを、定量的な経時的変化率として測定している。

その後、上記ステップ５の処理を所定の時間経過毎に繰り返し行い、記憶装置１０の立体形状データファイルＦ₃〜Ｆ_nに、順次、肌上距離Ｐ₁Ｐ₅等、肌上面積Ｐ₁Ｐ₂Ｐ₅等、肌上距離Ｐ₁Ｐ₅等の変化率、肌上面積Ｐ₁Ｐ₂Ｐ₅等の変化率を記録する。

そして、適宜、記憶装置１０の立体形状データファイルＦ₁〜Ｆ_nを参照して、肌上距離Ｐ₁Ｐ₅等と経過時間の関係を示すグラフ、肌上面積Ｐ₁Ｐ₂Ｐ₅等と経過時間の関係を示すグラフ、肌上距離Ｐ₁Ｐ₅等の変化率と経過時間の関係を示すグラフ、肌上面積Ｐ₁Ｐ₂Ｐ₅等の変化率と経過時間の関係を示すグラフを、表示装置１１に表示させる。

これらのグラフに基づいて、肌がどの部分で伸縮しているのか、あるいは、その伸縮の程度が時間経過に伴ってどのように変化しているのかを定量的且つ経時的に計測する。

以上述べたように、本実施形態によれば、被験肌における計測対象の部位を毛穴にし、左、右画像Ｌ、Ｒを２値化処理した際、明度差の境界を定常的に識別できるため、被験肌の立体的な形状やその経時的変化を、高精度で且つ安定して計測することができ、ひいては、肌の伸縮の程度やその経時的変化の定量的計測により、むくみやたるみを改善するようなスキンケア製品等を研究開発することが可能になる。

また、本実施形態によれば、白黒２値画像において、無数に存在する毛穴画像の中から、毛穴画像の面積、明度、形状の条件が全て満たされるものを、選定して抽出したため、図心の計算の際にノイズの影響を受けずに計測の精度をより向上させることができ、また、毛穴平面形状Ｑ_L、Ｑ_Rの形状を明確にしてこれらの対応を容易に行うことができる。

さらに、本実施形態によれば、肌上の毛穴Ｑの位置が、経時的にあまり変化しないという知見に基づき、毛穴画像の平面座標値を示す毛穴平面座標値Ｐ_L、Ｐ_Rを、それぞれ、毛穴平面形状Ｑ_L、Ｑ_Rの図心にしたため、左、右画像Ｌ、Ｒにおける毛穴画像の位置を、肌の伸縮に影響されずにほぼ恒常的にでき、その結果、毛穴平面座標値Ｐ_L、Ｐ_Rに基づく毛穴空間座標値Ｐや、この毛穴空間座標値Ｐに基づく立体形状の計測値を、より精度の高いものにすることができる。

本発明は、上記実施形態に限られることなく、種々の変更を行うことができる。
例えば、本発明は、肌のむくみでなく、肌の腫れの場合にも適用できる。

さらに、上記実施形態の肌形状計測システム１は、本発明の肌形状計測方法を自動的に実現するものに変更できる。
具体的には、上述した、２値化処理手段、図心演算処理手段、ステレオ画像処理手段、立体形状演算処理手段を、それぞれ、所定のプログラムによりＣＰＵ等のハードウエア資源を介して機能させる構成にするほか、ステップ３において、計測者が行う対応毛穴平面形状Ｑ_Lk、Ｑ_Rkの探索処理を、例えば、対応毛穴平面形状Ｑ_Lk、Ｑ_Rkについて、パターンマッチングの処理を行うプログラムにより、ＣＰＵ等のハードウエア資源を介して機能させる構成にすればよい。

本発明は、例えば、スキンケア製品等の研究開発に利用され得るものである。

本実施形態の肌形状計測方法に用いられる肌形状計測システムの概略図である。 左画像座標及び右画像座標と毛穴空間座標との関係を示す図である。 左画像の毛穴平面形状と右画像の毛穴平面形状との関係を示す図である。 被験肌の計測点を示す図である。

符号の説明

２ 左カメラ（撮像手段）
３ 右カメラ（撮像手段）
Ｌ 左画像（第１の画像）
Ｒ 右画像（第２の画像）
Ｑ 毛穴（肌識別部位）
Ｑ_L 左の毛穴平面形状（第１の画像平面形状）
Ｑ_R 右の毛穴平面形状（第２の画像平面形状）
Ｐ 毛穴空間座標値（肌識別部位の計測空間位置）

Claims (4)

1. 被験肌における定常的に識別可能な肌識別部位を計測対象にする肌形状計測方法であって、
   前記肌識別部位は前記被験肌の毛穴であり、
   前記被験肌の画像を少なくとも２方向から撮像し、前記肌識別部位の画像が複数含まれる第１、第２の画像を得る第１ステップと、
   前記第１、第２の画像における前記肌識別部位を、それぞれ、所定の画像処理により、第１、第２の画像平面形状に変換する第２ステップと、
   前記第１、第２の画像平面形状をそれぞれ対応させ、その対応した前記第１、第２の画像平面形状に基づいて、前記被験肌における前記肌識別部位の計測空間位置を求める第３ステップと、
   前記計測空間位置に基づいて、前記被験肌の肌形状を計測する第４ステップと、
   前記第１〜第４ステップの処理を繰り返し行い、前記肌形状の経時的変化を測定する第５ステップとを有する形状計測方法。
2. 前記第２ステップにおいて、前記第１、第２の画像平面形状を、それぞれ、２値化処理で得られた画像領域と同じ位置の２値化前の画像領域における面積、色彩及び形状に基づいて選定する請求項１記載の肌形状計測方法。
3. 前記第２ステップにおいて、前記第１、第２の画像平面形状の位置を、それぞれ、２値化処理で得られた画像領域の図心にする請求項１又は２に記載の肌形状計測方法。
4. 請求項１〜３の何れかに記載の肌形状計測方法を実現する肌形状計測装置であって、
   前記第１、第２の画像を撮像する撮像手段と、
   前記第１、第２の画像における前記肌識別部位の画像を２値化画像に変換する２値化処理手段と、
   前記２値化画像における前記肌識別部位の画像を前記第１、第２の画像平面形状に変換し、前記第１、第２の画像平面形状の図心を演算する図心演算処理手段と、
   対応した前記第１、第２の画像平面形状の図心に基づいて、前記肌識別部位の計測空間位置を求めるステレオ画像処理手段と、
   前記肌識別部位の計測空間位置に基づいて、前記被験肌の肌形状を計測する立体形状演算処理手段とを備えた肌形状計測装置。

Images