JP6251489B2 - 画像解析装置、画像解析方法、及び画像解析プログラム - Google Patents

画像解析装置、画像解析方法、及び画像解析プログラム Download PDF

Info

Publication number
JP6251489B2
JP6251489B2 JP2013070061A JP2013070061A JP6251489B2 JP 6251489 B2 JP6251489 B2 JP 6251489B2 JP 2013070061 A JP2013070061 A JP 2013070061A JP 2013070061 A JP2013070061 A JP 2013070061A JP 6251489 B2 JP6251489 B2 JP 6251489B2
Authority
JP
Japan
Prior art keywords
image
analysis
tracking
wrinkle
wrinkles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013070061A
Other languages
English (en)
Other versions
JP2014193197A (ja
Inventor
祐輔 原
祐輔 原
岩井 一郎
一郎 岩井
大西 浩之
浩之 大西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shiseido Co Ltd
Original Assignee
Shiseido Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2013070061A priority Critical patent/JP6251489B2/ja
Application filed by Shiseido Co Ltd filed Critical Shiseido Co Ltd
Priority to CN201480018324.6A priority patent/CN105101874B/zh
Priority to KR1020157027070A priority patent/KR20150135776A/ko
Priority to PCT/JP2014/054938 priority patent/WO2014156461A1/ja
Priority to EP14775257.0A priority patent/EP2979634B1/en
Priority to US14/779,722 priority patent/US9607208B2/en
Priority to TW103110363A priority patent/TWI612938B/zh
Publication of JP2014193197A publication Critical patent/JP2014193197A/ja
Priority to HK15112494.9A priority patent/HK1211452A1/xx
Application granted granted Critical
Publication of JP6251489B2 publication Critical patent/JP6251489B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/176Dynamic expression
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Dentistry (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Dermatology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Robotics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)

Description

本発明の一実施形態は、画像解析装置、画像解析方法、及び画像解析プログラムに係り、特に被験者の表情ジワから適切に肌状態を解析するための画像解析装置、画像解析方法、及び画像解析プログラムに関する。
従来、被験者の顔面(例えば、目尻や頬等)にできるシワは、顔の表情の変化(例えば、笑いジワ、怒りジワ)や皮膚の押し付けによるヨレに伴って生じる。また、シワは、加齢や肌のキメやハリの衰え等により、表情を元に戻してもシワが消えない状態(いわゆる残りジワ)となり、最終的に表情に関係なく生じるシワ(いわゆる定着ジワ)となる。したがって、外見における老化現象の象徴として、美容上の大きな課題となっており、シワの予防や改善に効果のある製品の開発には、消費者から大きな期待が寄せられている。また、抗シワ製品の開発には、その性能・効果が科学的かつ信頼性の高い評価法によって実証されることが重要である。
そこで、従来では、目尻のシワを対象にした抗シワ製品の機能評価を行うガイドラインを作成して多種多様なシワ評価法の基準化を行っている(例えば、非特許文献1参照)。また、従来では、目尻の三次元形状データからシワ個々の深さや面積を算出し、目視評価の結果も加味した分布解析に基づいてシワを評価する手法が存在する(例えば、非特許文献2参照)。
抗老化機能評価専門委員会、「新規効能取得のための抗シワ製品評価ガイドライン」、日本香粧品学会誌、Vol.30,No.4,pp.316−332 原 祐輔他、「目尻シワの三次元個別解析による新規分類法の開発」、日本香粧品学会誌、Vol.35,No.2,pp.93−98
しかしながら、上述したような従来手法は、いわゆる定着ジワの評価等を行っており、定着ジワの元になると考えられる表情ジワに対する解析や評価手法等は存在していない。
また、通常、シワは、表情や指で肌を一方向に押し付けた際のヨレに伴って変化し、また変化量やシワの位置も人によって異なる。そのため、画像から表情ジワやヨレを適切に評価するのは困難であり、表情ジワやヨレに対する適切な判断や表情の変化や普段のお手入れによって生じる潜在的なシワ等から肌状態を解析することができなかった。
本発明は、上述した課題に鑑みてなされたものであって、被験者の表情ジワやお手入れ時の皮膚のヨレから適切に肌状態を解析するための画像解析装置、画像解析方法、及び画像解析プログラムを提供することを目的とする。
上述した課題を解決するために、本発明は、以下の特徴を有する課題を解決するための手段を採用している。
一態様における画像解析装置は、撮像手段により撮影した被験者の顔の動画像から肌状態を解析する画像解析装置において、前記動画像に含まれる前記顔の表情の変化に基づき、前記顔の解析領域に予め配列された複数の追跡点を追跡し、追跡した前記追跡点の移動距離の変化量又は追跡した前記追跡点間の距離の変化量を取得する追跡手段と、前記追跡手段により得られる変化量に基づいて、前記解析領域に対するストレスを解析するストレス解析手段と、前記動画像における前記追跡点の位置を認識させ、前記追跡点の位置に基づいて決定された解析位置の画像から複数種類に分類されるシワの抽出を行い、抽出したシワからシワパラメータを算出するシワパラメータ算出手段と、前記ストレス及び前記シワパラメータのうち少なくとも前記シワパラメータを前記撮像手段により撮影した前記被験者の顔画像に表示させた画像を生成する画像生成手段と、を有し、前記画像生成手段は、前記解析位置の画像から抽出したシワを、分類された種類毎に色分けして強調表示することを特徴とする。
被験者の表情ジワやお手入れ時の皮膚のヨレから適切に肌状態を解析することができる。
画像解析装置の機能構成の一例を示す図である。 画像解析装置のハードウェア構成の一例を示す図である。 本実施形態における画像解析装置の処理の一例を示すフローチャートである。 実施例1における画像解析処理の一例を示すフローチャートである。 解析領域に配列された追跡点を説明するための図である。 歪み算出例2を説明するための図である。 歪み算出例3を説明するための図である。 歪み算出例4を説明するための図である。 ストレス情報の取得例について説明するための図である。 実施例1における解析結果の一例を示す図(その1)である。 実施例1における解析結果の一例を示す図(その2)である。 実施例1における解析結果の一例を示す図(その3)である。 実施例2における肌状態解析処理の一例を示す図である。 表情ジワの折れグセについて説明するための図である。 実施例2における解析結果の一例を示す図(その1)である。 実施例2における解析結果の一例を示す図(その2)である。 額のシワ解析結果の一例を示している。 実施例3における解析結果の一例を示す図(その1)である。 実施例3における解析結果の一例を示す図(その2)である。
<本発明の一実施形態について>
本発明の一実施形態では、被験者の動的なシワ(例えば、笑いジワや、怒りジワ、泣きジワ等の表情ジワ、お手入れ時の皮膚のヨレ)から肌状態を解析するため、顔の所定の部分に追跡点を設定して解析領域を特定し、例えば高速カメラ等の撮像手段を用いて表情の変化に伴うシワの動きを撮影し、撮影した結果を時系列で追跡しながらシワの解析を行う。
また、本発明の一実施形態では、抽出した画像から予め設定されたシワフィルタ等を用いてシワを抽出し、シワパラメータ(例えば、シワの面積、長さ、比率)を算出することができる。また、得られた画像の歪み解析又は歪みとストレス解析を行い、応力マップ等を作成することができる。これにより、被験者の肌状態を適切に解析し、評価することができる。以下に、本発明における画像解析装置、画像解析方法、及び画像解析プログラムを好適に実施した形態について、図面を用いて説明する。
<画像解析装置の機能構成例>
図1は、画像解析装置の機能構成の一例を示す図である。図1に示す画像解析装置10は、入力手段11と、出力手段12と、記憶手段13と、画像取得手段14と、追跡手段15と、肌状態解析手段16と、画像生成手段17と、送受信手段18と、制御手段19とを有する。また、肌状態解析手段16は、ストレス解析手段21と、シワパラメータ算出手段21とを有する。なお、図1に示す画像解析装置10は、撮像手段30と外部接続されているが、これに限定されるものではなく、画像解析装置10に撮像手段30が内蔵されていてもよい。
入力手段11は、画像解析装置10のユーザ等から各種指示の入力を受け付ける。入力手段11は、例えばキーボードや、マウス等のポインティングデバイス等からなる。
出力手段12は、入力手段11により入力された内容や、入力内容に基づいて実行された内容等の表示や出力を行う。出力手段12は、ディスプレイやスピーカ等からなる。また、出力手段12は、プリンタ等の機能を有していてもよく、その場合には画像解析結果等を紙等の印刷媒体に印刷して、ユーザ等に提供してもよい。
なお、入力手段11と出力手段12とは、例えばタッチパネル等のように一体型の入出力手段であってもよい。この場合には、ユーザの指やタッチペン等を用いて画面上の所定の位置をタッチして入力を行うことができる。
記憶手段13は、本実施形態における画像解析に必要な各種データを記憶する。例えば記憶手段13は、画像取得手段14が撮像手段30等から取得した撮影画像(時系列画像、動画)、追跡手段15による追跡結果、肌状態解析手段16による解析結果、画像生成手段17による画像等の各種データを記憶するが、記憶するデータ例は、これに限定されるものではない。
記憶手段13は、例えば画像解析を行うための設定情報や、送受信手段18により通信ネットワークを介して接続された外部装置から取得した各種データ(撮影画像等)を記憶してもよい。また、記憶手段13は、必要に応じて蓄積されている各種データを読み出したり、書き込んだりすることができる。
画像取得手段14は、外部接続された撮像手段30で撮影された被験者の顔画像を取得する。なお、顔画像は、顔の正面の全領域の画像でもよく、横顔画像でもよく、顔の一部分の領域の画像でもよく、上述した画像を組み合わせた画像であってもよい。
ここで、本実施形態において画像取得手段14が取得する画像は、例えば予め設定された解析領域を含む時系列画像であり、複数のフレーム画像を有する動画である。また、予め設定される解析領域には、所定の追跡点が所定の間隔で配列されている。追跡点は、例えば点や三角、四角、星等の所定形状を有する印(マーク)であるが、これに限定されるものではない。追跡点は、画像データから所定の画像処理を行ううえでその位置を追跡することができるような色等で解析対象の肌表面に付与されている。
したがって、画像取得手段14は、撮像手段30から上述した追跡点を含む時系列画像(動画)を取得する。更に、本実施形態では、表情ジワの解析を行うため、例えば被験者に、真顔(普通顔)の状態から予め設定された顔の表情、又は、予め設定された顔の表情から真顔の状態へと時系列で変化させる。この変化は、繰り返し行ってもよい。撮像手段30は、その変化した表情の顔の動画像を撮影する。
ここで、撮像手段30とは、例えばビデオレート(30fps)以上のフレームレートで動画撮影ができる高速度カメラ(High speed camera)等を用いることができるが、これに限定されるものではない。高速度カメラとしては、例えば(株)キーエンス社製の「マイクロスコープ“VW−6000”」等を用いて撮影することができるが、これに限定されるものではない。また、撮像手段30は、被験者の顔画像を取得するときに、例えば顔のシワが強調されるような照明条件で撮影されることが好ましいが、これに限定されるものではない。
画像取得手段14は、撮像手段30に対して上述した撮影範囲(例えば、画角、ピント等)や照明条件、撮影条件(フレーム間の時間間隔)、解像度等の各種カメラパラメータを生成して出力することで、所望の動画像(時系列画像)を取得することができる。また、画像取得手段14は、撮像手段30から取得した動画像を記憶手段13に記憶させてもよく、直接追跡手段15に出力してもよい。
追跡手段15は、記憶手段13に記憶された動画像、画像取得手段14から得られる動画像、又は送受信手段18により外部装置等から取得した動画像等を用いて、解析領域の肌の動きを追跡する。なお、解析領域の追跡は、時系列画像に含まれている上述した1又は複数の追跡点(マーク)の動きを取得するが、これに限定されるものではない。また、追跡手段15は、顔画像の時系列による追跡点の移動距離の変化量に基づいて被験者の肌の圧縮率を取得する。圧縮率とは、追跡した各点間の移動距離の変化量(縮まり具合)であるが、これに限定されるものではない。また、追跡手段15は、圧縮率の一例として、追跡した各点間の距離の変化から歪み量を取得してもよい。歪み量とは、例えば表情の変化により各点間で囲まれる面領域の圧縮や引張り量であるがこれに限定されるものではない。
肌状態解析手段16は、上述した追跡点の時系列での動き(圧縮率等)に基づいて、肌状態を解析する。肌状態の解析とは、例えば表情ジワを解析し、その結果から肌に対するストレスを解析したり、表情ジワを数値で表現するためのシワパラメータ等を算出することをいうが、これに限定されるものではなく、例えばお手入れ時の指での押しつけによる皮膚のヨレを解析してもよい。
例えば、肌状態解析手段16におけるストレス解析手段21は、複数の追跡点の点群データから得られる表情の変化に対応する歪み量等から、解析領域内で強くストレスがかかっている部分を特定する。また、ストレス解析手段21は、肌(皮膚)の柔軟性(硬さ)等を定量化する皮膚力学測定を行い、その結果を用いて歪みをストレスとして解析する。皮膚力学測定とは、例えば皮膚のある2点間の衝撃波の伝わる時間等を測定し、その結果に基づいて肌(皮膚)の柔軟性やハリの状態、方向等を定量化することであるが、これに限定されるものではない。
肌状態解析手段16におけるシワパラメータ算出手段22は、解析領域内に配置された追跡点に基づいて、領域内のシワを予め設定された1又は複数のシワの種類に分類する。また、肌状態解析手段16は、画像中で認識されたシワのノイズ処理を行い、動画像における前後の画像に存在していないシワがあった場合に、そのシワを削除する。
更に、シワパラメータ算出手段22は、上述した処理により得られるシワに対してパラメータを算出する。なお、シワパラメータは、シワ面積、シワの長さ、及びシワ比率等のうち少なくとも1つであるが、これに限定されるものではない。
画像生成手段17は、上述した肌状態解析手段16により得られた解析結果に基づいて出力手段12等の画面に表示する画像を生成する。
例えば、画像生成手段17は、ストレス解析手段21により得られるストレスが生じている部分を強調表示した画像やストレスマップ等を生成したり、シワパラメータ算出手段22により算出されたパラメータを表示した画像を生成したり、顔の表情の変化によるシワの部分を強調表示する画像を生成する等があるが、これに限定されるものではない。例えば、画像生成手段17は、例えばユーザが本実施形態における画像解析を行うための各種設定情報を入力するための設定画面等を生成してもよい。
なお、画像生成手段17は、生成した画像を出力手段12の画面に表示する際、ユーザや被験者に見やすくするために、例えば所定領域を拡大表示したり、輝度反転等の処理を行った後に表示させることもできる。
更に、画像生成手段17は、上述したシワやストレスを表現した画像を動画像の各フレーム毎に行い、動画を生成してもよい。ユーザは、この動画を見ることで、表情の変化によるシワやストレスの変化をより適切に把握することができる。そのため、適切な肌状態の評価等を行うことができる。
送受信手段18は、例えばインターネットやLAN(Local Area Network)等に代表される通信ネットワークを介して接続される外部装置等とデータの送受信を行うための通信手段である。なお、送受信手段18は、外部装置等に既に記憶されている顔画像データや被験者情報、処理プログラム等を受信することができ、また画像解析装置10で解析された結果を、通信ネットワークを介して外部装置に送信することもできる。
制御手段19は、画像解析装置10の各構成部全体の制御を行う。具体的には、制御手段19は、例えばユーザ等による入力手段11からの指示等に基づいて、画像取得手段14に画像を取得させる、追跡手段15に画像中の1又は複数の追跡点を追跡させる、肌状態解析手段16に肌状態を解析させる、画像生成手段17に画像生成させる等の制御を行うが、制御内容はこれに限定されるものではない。
画像解析装置10は、例えば、Personal Computer(PC)やサーバ等でもよく、またタブレット端末やスマートフォン等の通信端末、ゲーム機器等でもよいが、これに限定されるものではない。
<画像解析装置10のハードウェア構成例>
図2は、画像解析装置のハードウェア構成の一例を示す図である。図2における画像解析装置10は、入力装置41と、出力装置42と、ドライブ装置43と、補助記憶装置44と、主記憶装置45と、各種制御を行うCPU(Central Processing Unit)46と、ネットワーク接続装置47とを有するよう構成されており、これらはシステムバスBで相互に接続されている。
入力装置41は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスや、マイクロフォン等の音声入力デバイスを有しており、ユーザ等からのプログラムの実行指示、各種操作情報、ソフトウェア等を起動するための情報等の入力を受け付ける。
出力装置42は、画像解析装置10を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、CPU46が有する制御プログラムによりプログラムの実行経過や結果等を表示する。
ここで、本実施形態において画像解析装置10としてのコンピュータにインストールされる実行プログラムは、例えば、USB(Universal Serial Bus)メモリやCD−ROM、DVD等の可搬型の記録媒体48等により提供される。プログラムを記録した記録媒体48は、ドライブ装置43にセット可能であり、CPU46からの制御信号に基づき、記録媒体48に含まれる実行プログラムが、記録媒体48からドライブ装置43を介して補助記憶装置44にインストールされる。
補助記憶装置44は、例えばハードディスクドライブやSSD(Solid State Drive)等のストレージ手段等である。補助記憶装置44は、CPU46からの制御信号に基づき、本実施形態における実行プログラムや、コンピュータに設けられた制御プログラム等を記憶し、必要に応じて入出力を行うことができる。補助記憶装置44は、CPU46からの制御信号等に基づいて、記憶された各情報から必要な情報を読み出したり、書き込むことができる。
主記憶装置45は、CPU46により補助記憶装置44から読み出された実行プログラム等を格納する。なお、主記憶装置45は、ROM(Read Only Memory)やRAM(Random Access Memory)等である。なお、補助記憶装置44及び主記憶装置45は、例えば上述した記憶手段13に対応している。
CPU46は、オペレーティングシステム等の制御プログラム、及び主記憶装置45に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、画像解析装置10全体の処理を制御して各処理を実現することができる。なお、プログラムの実行中に必要な各種情報等は、補助記憶装置44から取得することができ、また実行結果等を格納することもできる。
具体的には、CPU46は、例えば入力装置41から得られるプログラムの実行指示等に基づき、補助記憶装置44にインストールされたプログラムを実行させることにより、主記憶装置45上でプログラムに対応する処理を行う。例えば、CPU46は、本実施形態における画像解析プログラムを実行させることで、上述した画像取得手段14による画像の取得、追跡手段15による追跡点の追跡、肌状態解析手段16による肌状態の解析、画像生成手段17による画像生成等の処理を行う。なお、CPU46における処理内容は、これに限定されるものではない。CPU46により実行された内容は、必要に応じて補助記憶装置44に記憶させることができる。
ネットワーク接続装置47は、CPU46からの制御信号に基づき、通信ネットワーク等と接続することにより、実行プログラムやソフトウェア、設定情報等を、通信ネットワークに接続されている外部装置等から取得する。また、ネットワーク接続装置47は、プログラムを実行することで得られた実行結果又は本実施形態における実行プログラム自体を外部装置等に提供することができる。
上述したようなハードウェア構成により、本実施形態における画像解析処理を実行することができる。また、上述した各機能をコンピュータに実行させることができる実行プログラム(画像解析プログラム)を、例えば汎用のPCや、スマートフォン等の通信端末、ゲーム機器等にインストールすることにより、本実施形態における画像解析処理を実現することができる。
<画像解析装置10の処理の例>
ここで、本実施形態における画像解析装置10の処理の一例について、フローチャートを用いて説明する。図3は、本実施形態における画像解析装置の処理の一例を示すフローチャートである。
図3の例において、画像解析装置10の画像取得手段14は、解析領域を含む肌画像を撮影した動画像を取得する(S01)。なお、撮影される動画像は、高速度カメラで撮影されることが好ましいが、これに限定されるものではない。
次に、画像解析装置10の追跡手段15は、S01の処理で得られた動画像に対して解析領域内に配列された各点を追跡する(S02)。なお、各点とは、予め被験者の顔の解析領域内に付与した追跡点(マーク)である。本実施形態では、例えば複数の点が所定の間隔で領域内に配列されている。
次に、画像解析装置10の肌状態解析手段16は、追跡した結果から肌状態を解析する(S03)。S03の処理は、例えば肌のストレスの解析でもよく、シワパラメータの算出でもよく、それらの組み合わせ等でもよいが、これに限定されるものではない。
次に、画像解析装置10の画像生成手段17は、S03の処理で得られた肌解析結果に基づく画像を生成し(S04)、生成した画像を出力手段12等の画面に表示させる(S05)。S05の処理において、画像生成手段17は、通信ネットワーク等により接続された外部装置の画面に表示させてもよい。また、S04、S05の処理では、画像を時系列に並べた動画を生成し、生成した動画を出力手段12等に表示させてもよい。
画像解析装置10の記憶手段13は、S03の処理で得られた肌解析結果等を記憶する(S06)。ここで、画像解析装置10は、画像解析処理を終了するか否かを判断し(S07)、処理終了しない場合(S07において、NO)、S01の処理に戻る。また、画像解析装置10は、ユーザ等の指示により処理を終了する場合(S07において、YES)、画像解析処理を終了する。
<肌状態解析処理:実施例1(ストレス解析)>
次に、上述した肌状態解析手段16における肌状態解析処理の実施例1について説明する。実施例1では、表情ジワによるストレス解析例について説明する。なお、以下の説明では、表情ジワの一例として笑いジワを用いるが、これに限定されるものでなく、例えば怒りジワ、泣きジワ等でもよい。
実施例1では、例えば被験者の顔の解析領域内に予め設定した追跡点(マーク)を1mm間隔で100点以上を目尻に打点する。なお、上述した打点は、肌に直接付着させることもできるが、予め上述した位置に打点を行うスタンプ等を用いることで、容易に追跡点を付与することができる。
また、実施例1では、目尻にスタンプを用いて打点を行い、高速度カメラで被験者が笑ったときの目尻の肌の動きを撮影する。また、実施例1では、追跡点間の距離の変化から2次元的な歪みを取得し、取得した歪みを表示する。更に、実施例1では、肌(皮膚)の柔軟性等を定量化する皮膚力学測定を行い、その結果を加味することで、歪みをストレスとして表示し、解析を行う。皮膚力学測定は、例えば「衝撃波測定装置“Reviscometer(登録商標)”」(Courage + Khazaka electronic GmbH)等を用いることができるが、これに限定されるものではない。
図4は、実施例1における画像解析処理の一例を示すフローチャートである。なお、図4の例では、予め作製したスタンプ等を利用して、被験者の肌状態を解析する解析領域内に所定の間隔で配列された追跡点を目尻に打点する。なお、打点するときには、例えば肌に対する負荷や肌と容易に区別できる色の選択容易性等を考慮し、インク等よりもマスカラやアイライナー等の所定の化粧料を用いることが好ましい。なお、領域内の打点数については、例えば解析領域内に100点以上の点を等間隔で配列することが好ましいが、これに限定されるものではない。
図5は、解析領域に配列された追跡点を説明するための図である。図5(A)は、配列された追跡点の一例を示し、図5(B)は、追跡点の点群を含む解析領域を示している。図5(A)に示す例では、被験者の右目尻付近の画像50に縦横11×11=121点の追跡点(マーク)51が所定の間隔で示されている。また、図5(B)に示すように、追跡点は、解析領域52の中に配列して付与されている。
なお、本実施形態では、追跡点51が所定の間隔で配列されている部分を解析領域52にすればよいため、例えば図5(B)に示す領域よりも狭い領域(例えば、図5(B)に示す解析領域52の右半分又は左半分等)を解析対象にしてもよい。更に、各追跡点で囲まれた領域の内部の一部の領域を解析領域52にしてもよい。
実施例1では、各追跡点51が真顔(普通顔)から笑い顔へ変化する場合や、笑い顔から真顔へ変化する場合に、どのような動きをするのかを追跡することで、表情ジワの変化による肌のストレス情報を解析する。
図4の例において、ストレス解析手段21は、被験者の笑いジワの動画像を取得する(S11)。S11の処理では、例えば高速度カメラを用いてシワが強調される照明条件の調整を行ったり、ブレ画像にならない程度で撮影した動画像を取得するのが好ましいが、これに限定されるものではない。また、S11の処理では、被験者に真顔から満面の笑顔を作ってもらい、そのときの解析領域(目尻付近)を含む皮膚の変化を撮影した動画を取得する。
次に、ストレス解析手段21は、例えばPIV(Particle Image Velocimetry、粒子画像流速測定)法等に基づく追跡点の追跡による解析を行う(S12)。PIV法とは、例えば撮影時間の異なる粒子画像から、パターンマッチング等を用いて速度場を計測する技術であり、デジタル画像等から粒子の速度や変位を測定する手法である。
PIV法に基づく追跡点の追跡には、例えば(株)ライブラリー社の「2次元動画計測ソフトウェア“Move−tr/2D”」等を使用することができるが、これに限定されるものではなく、他のソフトウェアを用いてもよい。
ストレス解析手段21は、追跡による解析により動画中の各シーン(フレーム)の追跡点の位置をcsvファイルやtxtファイル等にして記憶手段13に保存してもよい。また、動画(例えば、aviファイル)を連続静止画(例えば、bmpファイル)に分解する画像処理を行ってもよい。
次に、ストレス解析手段21は、解析領域内の追跡点間の距離の変化を取得し、その変化量から歪み解析を行う(S13)。なお、歪み解析は、例えば(株)ライブラリー社の「歪み計測ソフト“Strain−mp”」等を用いることができるが、これに限定されるものではなく、他のソフトウェアを用いてもよい。
次に、ストレス解析手段21は、解析領域内において、上述した皮膚力学測定を行い、その皮膚力学測定値と、S14の処理で得られた歪み解析結果とに基づいて、ストレス情報を取得する(S14)。S14の処理では、例えば皮膚力学測定により得られる皮膚の硬さと歪み解析結果とを乗算することで、笑いジワによるストレス(応力)情報を取得する。具体的には、「Stress(応力)=E(硬さ)×Strain(歪み)」となるが、これに限定されるものではない。実施例1では、ストレス解析手段21によりストレス情報を取得すると、画像生成手段17において、ストレス情報を用いて肌に強くストレスがかかっている場所をビジュアル化したストレス(応力)マップ等を生成して表示することができる。
<PIV法について>
ここで、本実施形態におけるPIV法について具体的に説明する。なお、以下の説明では、PIV法の一例であるPTV(Particle Tracking Velocimetry、粒子追跡)法を用いるが、これに限定されるものではない。
実施例1におけるPTV法では、解析領域内に化粧料等を付着させて打点を施した箇所(追跡点)を画像中での追跡対象とし、まずは初期設定として、追跡点の特徴(例えば、色、形状、大きさ)等を設定する。このとき、なるべく追跡対象周辺部位とは重複しないような追跡対象の特徴を輝度値,RGB値等に基づいて抽出し、その画素数(検査領域サイズ)、重心等に基づいて追跡対象の自動的に特徴設定を行うことができる。また、実施例1では、画像中で追跡する広さ(解析領域サイズ)を設定する。
次に、設定された内容に基づいて撮影された動画の解析を行う。ここで、F(t−1)を追跡対象(追跡点)のXY値が定まっているフレームの画像とし、F(t)を追跡対象のXY値が定まっていないF(t−1)の次のフレームの画像と定義する。このとき、F(t)の画像において、F(t−1)での追跡対象のXY値を中心とし、解析領域サイズ全てに対して、追跡対象との相関係数を算出し、最も相関値の高い値を示すXY値をF(t)における追跡対象のXY値とする。
<歪み解析について>
次に、上述した歪み解析について具体的に説明する。実施例1では、追跡点を打点した皮膚の動きを、高速カメラを用いて動画で撮影し、その動画を構成するフレーム毎にPTV法による追跡点の追跡を行い、例えば打点で囲われた解析領域(例えば、四角形)が、予め設定した最初のフレーム(初期位置)からどの程度変形しているのかを歪み値として算出する。なお、圧縮歪みの値は、圧縮した場合を正(プラス)とするがこれに限定されるものではない。
次に、歪み算出方法の例について説明する。
<歪み算出例1>
歪み算出例1では、変位量u,vに対して平面の歪みは以下に示す(1)式となる。
但しx,yは平面座標を示す。
このとき、主歪みは以下に示す(2)〜(4)式により算出することができる。
<歪み算出例2>
歪み算出例2では、外積を用いて解析領域の一例である四角形の面積を求め、表情を変える前と後の面積比から歪み値を算出する。ここで、図6は、歪み算出例2を説明するための図である。
図6の例では、解析領域が四角形である場合に、その四角形の頂点のxy座標を(0,0)、(a,b)、(c,d)、(e,f)とすると、四角形の面積は、「面積=1/2×((√(a×d−b×c))+(√(c×f−d×e)))となる。
上述した算出内容に基づき、歪み値は、「歪み値=(対象としている表情変形時のフレームの四角形面積)/(最初(真顔)のフレームの四角形面積)」として算出することができる。
<歪み算出例3>
歪み算出例3では、重心Pの歪み(εx,εy)を算出する。図7は、歪み算出例3を説明するための図である。
ここで、図7に示すように、四角形の頂点の初期座標を(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)とし、節点1〜4の変位を(u1,v1)、(u2,v2)、(u3,v3)、(u4,v4)とすると、重心Pの歪みは、以下に示す(5)式、(6)式により算出することができる。
<歪み算出例4>
図8は、歪み算出例4を説明するための図である。歪み算出例4では、例えば図8(A)に示すように、局所座標系(物理座標系)を一般化座標系(自然座標系)に変換する。ここで、四角形の4つの頂点(1)〜(4)をそれぞれ(−1,−1)、(1,−1)、(1,1)、(−1,1)に対応させる。つまり、局所座標系の四角形を一般座標系の正方形に写像する。
ここで、形状関数(変位補間関数)を以下に示す(7)式のように定義する。
図8(A)に示す一般化座標系での歪みは、以下に示す(8)式のように変位補間関数の偏微分の導関数になり、これを展開したものが(9)式になる。
平面問題では、一般化座標系と局所座標系との変分の関係は、以下に示す(10)式となる。
なお、上述した(10)式において、Jはヤコビアンマトリクスを示す。したがって、ヤコビアンマトリクスの逆行列は、以下に示す(11)式となる。
ここで、歪み−変位関係式は、歪みをε、歪み−変位変換マトリクス(線形)([B]マトリクスともいう)、uを要素端面内変位ベクトルとすると、「ε=Bu」として定義される。このときの歪みεは、以下に示す(12)式で表すことができる。
ある点iの歪み−変位変換マトリクス([B]マトリクス)は、以下に示す(13)式により算出される(点毎に[B]マトリクスが存在)。
ここで、マトリックスの作成に際しては、面積積分を行う必要がある。しかしながら、要素がよほど単純な形状でない限り、被積分関数の形が複雑になり、解析的に積分することはほぼ不可能である。そこで、歪み算出例4では、例えばガウス(Gauss)積分を用いる。
ガウス積分は、被積分関数をラグランジュ(Lagrange)多項式で近似し、ラグランジュ多項式の性質を元に数値的に積分を求める方法の1つである。本実施例における四角形要素(節点1〜4)において、十分な精度を保証するためのガウス積分点(サンプリング点)は、例えば図8(B)に示すような(r、s)の座標値を基準として4つとすることができる。例えば、r=±1/√3,s=±1/√3の2×2の4点であり、この場合の重みはW1=W2=1である。このとき、歪みεは、以下に示す(14)式により算出することができる。
上述した歪み算出例1〜4は、予め設定した手法を用いて算出してもよく、上述した複数の算出例を組み合わせてもよい。
<ストレス(応力)情報σの取得例>
次に、ストレス(応力)情報σの算出例について具体的に説明する。ストレス(応力)情報σは、例えば平面応力状態、又は、平面歪みと仮定して擬似的に表示することでストレス(応力)情報σを取得することができる。ここで、図9は、ストレス情報の取得例について説明するための図である。なお、図9(A)は、平面応力状態を示し、図9(B)は、平面歪み状態を示している。
例えば、平面応力状態(z方向の応力が0)であると仮定すると、図9(A)に示すような薄い板のような場合と考えることができる。その場合、σ=0、γzx=0、γyz=0として、εは以下に示す(15)式で算出される。
なお、上述した(15)式において、vはポアソン比を示し、Eやヤング率を示す。また、本実施形態では、ポアソン比vとして例えば0.4を用いる。これは、高含水性の生体は非圧縮性が高いため約0.5〜0.4程度になると考えられるためである。また、ヤング率Eは、例えばReviscometer等から得られる皮膚力学測定値の逆数で推定する。
なお、図9(A)の平面応力状態において、Z方向の歪みはゼロではないため、「εz=−v(σx+σy)/E」となる。
また、平面歪み状態(z方向の歪みが0)であると仮定すると、図9(B)に示すような厚い構造の断面と考えることができる。その場合、σ=0、γzx=0、γyz=0として、εは以下に示す(16)式で算出される。
ここで、z方向の応力は、ゼロではないため、「σz=vE(εx+εy)/((1+v)(1−2v))となる。
なお、上述した例では、簡易的には上述したv、εを十分に小さいと考え、σ=εEとして代替することもできる。したがって、上述した例では、εと同様にσも主応力を出力することができる。
<実施例1における解析結果の一例>
ここで、図10〜図12は、実施例1における解析結果の一例を示す図(その1〜その3)である。図10の例では、表情の変化を複数回繰り返すことで得られる定着ジワと残りジワの様子を示している。また、図10の例では、乾燥環境(10%RH(Relative Humidity))と、高湿環境(80%RH)とで実施した場合の結果を示している。なお、図10の例では肌の一例としてレプリカを用いている。
図10の例において、矢印部分における乾燥環境(10%RH))及び高湿環境(80%RH)のシワの体積[mm]を比較すると、乾燥環境では残りジワが増え、高湿環境では、定着ジワも残りジワをあまり変わらないことがわかる。
図11の例では、乾燥(低湿)環境(10%RH)と、高湿環境(80%RH)とで実施した目尻のシワストレスをビジュアル化して表示したものである。なお、図11の例では、画像生成手段17が、解析領域52内におけるストレスの大きさ(負荷レベル)(a.u.)に応じて予め設定されたカラーで色分けした画像を生成しているが、これに限定されるものではなく、模様等に変化を付けて表示したり、他の強調表示を行ってもよい。
図12の例において、図12(A)では、低湿度(乾燥環境(10%RH))と、高湿度(高湿環境(80%RH))とにおける歪みとストレスの標準偏差値の関係を示しており、値が高いほど局所的に歪みやストレスが負荷されていることを示している。また、図12(B)では、低湿度(乾燥環境(10%RH))と、高湿度(高湿環境(80%RH))とにおける最大歪みと最大ストレスの関係を示している。また、図12(C)では、最大歪み(上位10個平均)と最大ストレス(上位10個平均)の関係を示している。
図12(A)〜(C)の解析結果によれば、何れも場合にも、低湿度の方が高湿度よりも歪みやストレスの値が大きいことが残りジワの一因となっていることがわかる。
<肌状態解析処理:実施例2(シワパラメータ算出)>
次に、上述した肌状態解析手段16における肌状態解析処理の実施例2について説明する。実施例2では、表情ジワによるシワパラメータ算出例について説明する。なお、以下の説明においても実施例1と同様に表情ジワの一例として笑いジワを用いて説明するが、これに限定されるものではなく、例えば怒りジワ、泣きジワ等でもよい。
実施例2では、例えば予め設定した追跡点(マーク)を目尻に約1.5cm間隔で上下に2点を打ち、被験者が笑ったときの目尻の動き方を高速度カメラで撮影する。また、動画を1シーン(フレーム)毎に分解し、予め設定されたシワ抽出プログラムでシワを抽出する。なお、実施例2では、例えば目立たない笑いジワや目立つ笑いジワ等、シワの種類を分類して解析してもよい。
また、実施例2では、シワと年齢との関係を解析してもよく、これにより加齢にしたがって目立つシワの比率が増加する等の知見を見出すことができる。なお、上述した追跡点は、実施例1と同様に、マスカラやアイライナー等の化粧料を用いることができるが、これに限定されるものではない。
ここで、図13は、実施例2における肌状態解析処理の一例を示す図である。図13において、シワパラメータ算出手段22は、上述したように被験者の解析領域に付与された追跡点(マーク)を用いて、実施例1と同様に、被験者が満面の笑顔の表情を行ったときの動画像を取得する(S21)。
次に、シワパラメータ算出手段22は、S21の処理により得られる動画像からPIV法に基づく追跡点の追跡による解析を行う(S22)。なお、S22の処理では、実施例1と同様に動画中の各シーン毎の点の位置をcsvファイルやtxtファイルで記憶手段13に保存してもよい。また、S22の処理では、動画(例えば、aviファイル形式)を連続静止画(例えば、bmpファイル)に分解する画像処理を行ってもよい。
次に、シワパラメータ算出手段22は、上述したcsvファイルとbmpファイル画像とを同期させ、各bmpファイル画像における追跡点の位置(例えば、xy座標)を認識させ、解析位置を決定し(S23)、所定画像(例えば、200×200画素)、例えば約1cm四方)を抽出する(S24)。なお、S23の処理では、例えば2つの追跡点の真ん中を解析位置として認識するが、これに限定されるものではない。また、実施例2では、表情の変化により追跡点が回転した場合には、解析中の位置も逆アフィン変換等を用いて回転させることが好ましいが、これに限定されるものではない。
次に、シワパラメータ算出手段22は、予め設定されたノイズ処理を行い(S25)、更に予め設定されたシワ抽出フィルタ等を用いてシワの抽出を行う(S26)。S26の処理では、例えば3種類のシワ抽出フィルタを用いて、解析領域に含まれるシワを、例えば「細かいシワ」、「大きなシワ」、「顕著に大きなシワ」の何れかに分類するが、種類についてはこれに限定されるものではない。また、S26の処理では、抽出したシワに対してノイズ処理を行い、前後のフレーム画像に存在しないシワが存在する場合には、ノイズである可能性が高いため、そのシワを削除してもよい。
次に、シワパラメータ算出手段22は、S26の処理で抽出されたシワからシワパラメータを算出する(S27)。なお、シワパラメータとしては、例えば、シワ面積、シワ長さ、シワ比率等があるが、これに限定されるものではない。
実施例2では、上述の処理で得られた結果を用いて画像生成手段17により連続静止画(例えば、bmp)を動画(例えばavi、wmv)等に再構築して動画を生成し、生成した動画を再生することができる。この場合、画像生成手段17は、S26の処理で抽出したシワを、分類された種別毎に色分けし、元画像上にビジュアル化して強調表示することが好ましいが、生成される画像についてはこれに限定されるものではない。
ここで、シワは皮膚の折れグセの程度に依存する。図14は、表情ジワの折れグセについて説明するための図である。図14(A)に示すように、軽く目を開けている場合と、口角を上げて満面の笑みを作っている場合とでは、肌の折れグセの周期が異なる。折れグセの周期とは、例えば図14(A)に示すように2つの折れの幅(間隔)であるが、これに限定されるものではない。
図14(A)に示すように、目立たない折れグセは、肌が細かく折りたたまれている。また、図14(B)に示すように、軽く目を開けている場合と、口角を上げて満面の笑みを作っている場合において、肌の折れグセを深さD、周期Lとすると、例えば肌が水平方向に15%だけ圧縮して半楕円形状に折れるとき、図14(A)に示すように折れグセの目立つパネル(被験者)は、周期Lが1.0mmで深さDが100μmとなるため「シワ」のレベルとなる。また、目立たないパネルは、周期Lが0.2mmで深さDが20μmとなるため「キメ」のレベルとなる。なお、上述の例では、肌の初期状態をフラットとし、個々の角質細胞は圧縮により変形しないと仮定している。つまり、図14の例に示すように肌が細かく折りたたまれていると、折れグセは浅くて目立たないことになる。
ここで、図15、図16は、実施例2における解析結果の一例を示す図(その1,その2)である。なお、図15、図16では、予め設定されたシワ抽出フィルタにより「顕著に目立つ」、「目立つ」、「目立たない」の3種類のシワ毎の結果を示している。更に、図15、図16の例では、追跡点51を6点配列し、その点のうち、真ん中の四角の解析領域52内に対してシワパラメータを算出している。
図15の例では、各圧縮率[%]と、大まかに折れて「目立つ笑いジワ」、細かく折れて「目立たない笑いジワ」との関係を示す。この解析結果から、笑ったときに肌が細かく折れるほど、目立たない笑いジワになることがわかる。
図16の例では、「顕著に目立つシワ」、「目立つシワ」、「目立たないシワ」に分類された各シワについて、色分けされて表示されている。また、図16の例では、年齢と目立たない笑いジワ比率[%]との関係が示されており、この解析結果から、年齢が若いほど、肌が細かく折れて目立たない笑いジワになっていることがわかる。
上述した実施例2の解析結果においては、上述した画像例に限定されるものではなく、例えばシワの長さ等のパラメータを表示してもよい。
なお、上述した表示ジワ等を用いた肌状態の解析は、例えば額や目尻、目尻下、頬、目の周り、目の下、法令線、眉間、鼻の上等に適用することができる。図17は、額のシワ解析結果の一例を示している。
図17の例では、例えば2人の被験者(被験者A、被験者B)が、解析対象の肌の圧縮率0%(真顔)の状態と圧縮率20%(額を上にあげるような表情)でのシワの解析結果を示すものである。
図17の例では、解析領域52内において、シワの種類に応じて色分されたシワが表示されている。また、図17の例では、画像のみを表示しているが、これに限定されるものではなく、複数の被験者のシワの解析結果を動画により時系列に表示されてもよい。なお、上述したような画像や動画は、上述した画像生成手段17により生成される。
<肌状態解析処理:実施例3(皮膚のヨレ解析)>
なお、本実施形態を適用することにより、上述した実施例1に示す表情ジワによるストレス解析以外にも、例えば外力で肌を動かした際にできる皮膚のヨレの状態を定量的に解析することができる。実施例3では、例えば上述した実施例2に示すようなシワパラメータの算出手法等を用いて、マッサージや塗布物(ファンデーション等)の塗布等のお手入れ時等に生じる被験者の皮膚(肌)のヨレの状態を定量的に解析することができる。
ここで、図18、図19は、実施例3における解析結果の一例を示す図(その1,その2)である。なお、図18は、マッサージによる被験者の年齢に基づく肌ヨレの解析結果の一例を示し、図19は、スキンケア前後の肌ヨレの解析結果の一例を示している。
図18(A)は、年齢の異なる複数の被験者のマッサージ前(初期状態)の肌画像を示し、図18(B)は、その複数の被験者の肌に対して指等で最大荷重をかけてマッサージしている状態(最大荷重中)の肌画像を示し、図18(C)は、図18(B)の状態における目立つ折れ面積(pixel)を集計した結果を示している。なお、図18では、年齢の異なる肌画像の一例として、20代、50代前半、及び50代後半の例を示しているが、画像の種類においては、これに限定されるものではない。
図18(A)、図18(B)の例では、被験者の目尻と頬に、アイライナー等で追跡点51を打ち、その後、追跡点51内に設定した所定の解析領域52に対して指等で一定の力で所定の方向(例えば、図18の例では、画像の下(頬)から上(目尻)方向)に押しつけて肌をマッサージした際の目尻付近(解析領域52)の皮膚(肌)ヨレを解析する。
実施例3において、肌状態解析手段16は、例えば図18(A)、図18(B)に示す各肌画像と、追跡手段15等により得られる圧縮率等とに基づいて、目立つ折れとして解析された面積(画素数:pixel)を取得することで、図18(C)に示すような解析結果を取得することができる。なお、画像生成手段17は、例えば図18(B)に示すように、目立つ折れ部分を所定の色等を用いて強調表示した画像を生成したり、図18(C)に示す解析結果を表示する画像を生成して、画面に出力することができる。
また、図19(A)は、同一被験者(50代後半)の素肌及びスキンケア後の肌状態(初期状態)を示し、図19(B)は、素肌及びスキンケア後の肌に対して指等で最大荷重をかけた状態(最大荷重中)の肌画像を示し、図19(C)は、図19(B)の状態における目立つ折れ面積(pixel)を集計した結果を示している。なお、図19では、50代後半の被験者の例を示しているが、画像の種類においては、これに限定されるものではない。
図19(A)、図19(B)の例では、素肌及びスキンケア後の肌において、被験者の目尻にアイライナー等で追跡点51を打ち、その後、追跡点51内に設定した所定の解析領域52に対して指等で一定の力で所定の方向(例えば、図18の例では、画像の下(頬)から上(目尻)方向)に押しつけた際の目尻付近(解析領域52)の皮膚(肌)ヨレを解析する。
実施例3において、肌状態解析手段16は、例えば図19(A)、図19(B)に示す各肌画像と、追跡手段15等により得られる圧縮率等とに基づいて目立つ折れとして解析された面積(画素数:pixel)を取得することで、図19(C)に示すような解析結果を取得することができる。なお、画像生成手段17は、例えば図19(B)に示すように、目立つ折れ部分を所定の色等を用いて強調表示した画像を生成したり、図19(C)に示す解析結果を表示する画像を生成して、画面に出力することができる。
実施例3では、上述したような解析結果を用いて、例えば年齢別のよりよいマッサージ方法や、マッサージに組み合わせる塗布物の評価等を行うことができる。
<他の実施例>
なお、上述した各肌状態解析処理に用いられる画像は、例えば上述した高速度カメラ等を用いて撮影された2次元画像を用いているが、これに限定されるものではなく、例えば肌の撮影方向を変えながら取得した複数の2次元画像を組み合わせた3次元画像等を用いて上述した解析や評価を行うことができる。なお、上述した肌状態解析処理の各実施例は、複数の実施例の一部又は全部を組み合わせてもよい。
上述したように、本発明によれば、被験者の表情ジワやお手入れ時の皮膚のヨレ等から適切に肌状態を解析することができる。これにより、被験者に対する新たな肌ケアカウンセリングや化粧品提供等のサービスを提供することができる。なお、上述した実施形態では、特に顔の肌状態の解析について説明したが、これに限定されるものではなく、例えば体の他の部位(例えば、手等)の肌状態の解析にも適用することもできる。
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
10 画像解析装置
11 入力手段
12 出力手段
13 記憶手段
14 画像取得手段
15 追跡手段
16 肌状態解析手段
17 画像生成手段
18 送受信手段
19 制御手段
21 ストレス解析手段
22 シワパラメータ算出手段
30 撮像手段
41 入力装置
42 出力装置
43 ドライブ装置
44 補助記憶装置
45 メモリ
46 CPU
47 ネットワーク接続装置
48 記憶手段
50 画像
51 追跡点(マーク)
52 解析領域

Claims (9)

  1. 撮像手段により撮影した被験者の顔の動画像から肌状態を解析する画像解析装置において、
    前記動画像に含まれる前記顔の表情の変化に基づき、前記顔の解析領域に予め配列された複数の追跡点を追跡し、追跡した前記追跡点の移動距離の変化量又は追跡した前記追跡点間の距離の変化量を取得する追跡手段と、
    前記追跡手段により得られる変化量に基づいて、前記解析領域に対するストレスを解析するストレス解析手段と、
    前記動画像における前記追跡点の位置を認識させ、前記追跡点の位置に基づいて決定された解析位置の画像から複数種類に分類されるシワの抽出を行い、抽出したシワからシワパラメータを算出するシワパラメータ算出手段と、
    前記ストレス及び前記シワパラメータのうち少なくとも前記シワパラメータを前記撮像手段により撮影した前記被験者の顔画像に表示させた画像を生成する画像生成手段と、
    を有し、
    前記画像生成手段は、前記解析位置の画像から抽出したシワを、分類された種類毎に色分けして強調表示することを特徴とする画像解析装置。
  2. 前記シワパラメータ算出手段は、表情ジワを数値で表現するためのシワパラメータを算出すること
    を特徴とする請求項1記載の画像解析装置。
  3. 前記追跡手段は、
    前記顔の表情の変化に基づく前記解析領域の歪み量を取得すること
    を特徴とする請求項1又は2に記載の画像解析装置。
  4. 前記撮像手段は、高速度カメラを用いることを特徴とする請求項1乃至3の何れか1項に記載の画像解析装置。
  5. 撮像手段により撮影した被験者の顔の動画像から肌状態を解析する画像解析方法において、
    前記動画像に含まれる前記顔の表情の変化に基づき、前記顔の解析領域に予め配列された複数の追跡点を追跡し、追跡した追跡点の移動距離の変化量又は追跡した前記追跡点間の距離の変化量を取得する追跡ステップと、
    前記追跡ステップにより得られる変化量に基づいて、前記解析領域に対するストレスを解析するストレス解析ステップと、
    前記動画像における前記追跡点の位置を認識させ、前記追跡点の位置に基づいて決定された解析位置の画像から複数種類に分類されるシワの抽出を行い、抽出したシワからシワパラメータを算出するシワパラメータ算出ステップと、
    前記ストレス及び前記シワパラメータのうち少なくとも前記シワパラメータを前記撮像手段により撮影した前記被験者の顔画像に表示させた画像を生成する画像生成ステップと、
    を有し、
    前記画像生成ステップは、前記解析位置の画像から抽出したシワを、分類された種類毎に色分けして強調表示することを特徴とする画像解析方法。
  6. 前記シワパラメータ算出ステップは、表情ジワを数値で表現するためのシワパラメータを算出すること
    を特徴とする請求項5記載の画像解析方法。
  7. 前記追跡ステップは、
    前記顔の表情の変化に基づく前記解析領域の歪み量を取得すること
    を特徴とする請求項5又は6に記載の画像解析方法。
  8. 前記撮像手段は、高速度カメラを用いることを特徴とする請求項5乃至7の何れか1項に記載の画像解析方法。
  9. コンピュータを、請求項1乃至4の何れか1項に記載の画像解析装置が有する各手段として機能させるための画像解析プログラム。
JP2013070061A 2013-03-28 2013-03-28 画像解析装置、画像解析方法、及び画像解析プログラム Active JP6251489B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2013070061A JP6251489B2 (ja) 2013-03-28 2013-03-28 画像解析装置、画像解析方法、及び画像解析プログラム
KR1020157027070A KR20150135776A (ko) 2013-03-28 2014-02-27 이미지 해석 장치, 이미지 해석 방법 및 이미지 해석 프로그램
PCT/JP2014/054938 WO2014156461A1 (ja) 2013-03-28 2014-02-27 画像解析装置、画像解析方法、及び画像解析プログラム
EP14775257.0A EP2979634B1 (en) 2013-03-28 2014-02-27 Image analysis device, image analysis method, and image analysis program
CN201480018324.6A CN105101874B (zh) 2013-03-28 2014-02-27 图像解析装置、以及图像解析方法
US14/779,722 US9607208B2 (en) 2013-03-28 2014-02-27 Analyzing a skin condition from a video
TW103110363A TWI612938B (zh) 2013-03-28 2014-03-19 圖像解析裝置、圖像解析方法、及圖像解析程式
HK15112494.9A HK1211452A1 (en) 2013-03-28 2015-12-18 Image analysis device, image analysis method, and image analysis program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013070061A JP6251489B2 (ja) 2013-03-28 2013-03-28 画像解析装置、画像解析方法、及び画像解析プログラム

Publications (2)

Publication Number Publication Date
JP2014193197A JP2014193197A (ja) 2014-10-09
JP6251489B2 true JP6251489B2 (ja) 2017-12-20

Family

ID=51623455

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013070061A Active JP6251489B2 (ja) 2013-03-28 2013-03-28 画像解析装置、画像解析方法、及び画像解析プログラム

Country Status (8)

Country Link
US (1) US9607208B2 (ja)
EP (1) EP2979634B1 (ja)
JP (1) JP6251489B2 (ja)
KR (1) KR20150135776A (ja)
CN (1) CN105101874B (ja)
HK (1) HK1211452A1 (ja)
TW (1) TWI612938B (ja)
WO (1) WO2014156461A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201540264A (zh) * 2014-04-18 2015-11-01 Sony Corp 資訊處理裝置、資訊處理方法、及程式
KR102262307B1 (ko) * 2014-07-02 2021-06-09 (주)아모레퍼시픽 주름 측정 장치 및 주름 측정 방법
JP2016101365A (ja) * 2014-11-28 2016-06-02 パナソニックIpマネジメント株式会社 皺ケア支援装置および皺ケア支援方法
JP6320440B2 (ja) 2015-08-04 2018-05-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ信号のための信号再構成
KR102429838B1 (ko) * 2016-03-11 2022-08-05 (주)아모레퍼시픽 피부결 블랍을 기초로한 피부결 평가 장치 및 그 방법
TWI585711B (zh) * 2016-05-24 2017-06-01 泰金寶電通股份有限公司 獲得保養信息的方法、分享保養信息的方法及其電子裝置
JP7040889B2 (ja) * 2016-06-02 2022-03-23 ポーラ化成工業株式会社 肌状態の鑑別のための画像解析方法
JP6245590B1 (ja) * 2016-06-20 2017-12-13 公立大学法人大阪市立大学 皮膚診断装置、皮膚状態出力方法、プログラムおよび記録媒体
JP6993087B2 (ja) * 2017-01-17 2022-02-04 花王株式会社 皮膚の歪み測定方法
CN107049326B (zh) * 2017-03-15 2019-10-25 英华达(南京)科技有限公司 单边咀嚼监测设备及其方法
CN109034399A (zh) * 2017-06-09 2018-12-18 丽宝大数据股份有限公司 保养评估方法及其电子装置
CN109493310A (zh) * 2017-09-08 2019-03-19 丽宝大数据股份有限公司 身体信息分析装置及其手部肌肤分析方法
JP7183005B2 (ja) * 2017-12-01 2022-12-05 ポーラ化成工業株式会社 肌解析方法及び肌解析システム
CN112581512A (zh) * 2019-09-27 2021-03-30 鲁班嫡系机器人(深圳)有限公司 图像匹配、3d成像及姿态识别方法、装置及系统
KR102183310B1 (ko) 2020-03-02 2020-11-26 국민대학교산학협력단 전문성 이식을 통한 딥러닝 기반의 전문 이미지 해석 장치 및 방법
US11589803B2 (en) * 2020-05-04 2023-02-28 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for improving human facial skin conditions by leveraging vehicle cameras and skin data AI analytics
CN111839681A (zh) * 2020-07-08 2020-10-30 胡飞青 利用内容解析的压迫区域识别平台及方法
JP2022045280A (ja) * 2020-09-08 2022-03-18 花王株式会社 シワの評価方法
KR102274330B1 (ko) * 2020-09-18 2021-07-07 가천대학교 산학협력단 뇌졸중 정도의 진단을 위한 얼굴이미지 분석방법 및 시스템
WO2024021000A1 (en) * 2022-07-29 2024-02-01 L'oreal System and method for evaluating dynamic wrinkles on keratin material of a user to be tested
KR20240019548A (ko) * 2022-08-04 2024-02-14 안가람 피부 시술 가이딩 및 피드백 시스템
WO2024170054A1 (en) * 2023-02-13 2024-08-22 Katamay Robert Apparatus and method for determining a parameter of skin in a region of interest of a person' s body

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2942502B2 (ja) * 1996-08-08 1999-08-30 鐘紡株式会社 皮膚のたるみ量測定装置及び測定方法
JPH11108630A (ja) * 1997-09-30 1999-04-23 Shiseido Co Ltd 三次元形状測定方法及びそれを用いた皮膚表面の歪と応力の解析方法
US6571003B1 (en) * 1999-06-14 2003-05-27 The Procter & Gamble Company Skin imaging and analysis systems and methods
JP4001549B2 (ja) * 2002-12-10 2007-10-31 株式会社コーセー 肌状態の評価方法
JP4761924B2 (ja) * 2004-10-22 2011-08-31 株式会社 資生堂 肌状態診断システムおよび美容のためのカウンセリングシステム
JP4799104B2 (ja) * 2005-09-26 2011-10-26 キヤノン株式会社 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体
CN1961820B (zh) * 2005-11-08 2011-03-16 株式会社资生堂 肌肤状态分析方法以及肌肤状态分析装置
US20070125390A1 (en) 2005-12-07 2007-06-07 Isabelle Afriat Method of evaluating the effects of exogenous and endogenous factors on the skin
TW200829027A (en) * 2006-12-19 2008-07-01 Chung Shan Inst Of Science Image compression device and method therefore
US20080176077A1 (en) * 2007-01-23 2008-07-24 The Gillette Company Pattern transferable to skin for optical measurements during shaving
JP5204477B2 (ja) * 2007-12-25 2013-06-05 パナソニック株式会社 健康管理システム
CA2715259C (en) * 2008-01-31 2017-12-05 University Of Southern California Facial performance synthesis using deformation driven polynomial displacement maps
JP5538786B2 (ja) * 2009-09-14 2014-07-02 株式会社 資生堂 一過性シワの評価方法及び装置
JP2011101663A (ja) * 2009-11-10 2011-05-26 Shiseido Co Ltd シワの形成し易さの評価方法
JP5733032B2 (ja) * 2011-06-06 2015-06-10 ソニー株式会社 画像処理装置および方法、画像処理システム、プログラム、および、記録媒体

Also Published As

Publication number Publication date
CN105101874B (zh) 2017-08-15
TW201446215A (zh) 2014-12-16
US20160063312A1 (en) 2016-03-03
JP2014193197A (ja) 2014-10-09
TWI612938B (zh) 2018-02-01
EP2979634A1 (en) 2016-02-03
EP2979634A4 (en) 2016-11-30
CN105101874A (zh) 2015-11-25
EP2979634B1 (en) 2023-10-11
US9607208B2 (en) 2017-03-28
KR20150135776A (ko) 2015-12-03
WO2014156461A1 (ja) 2014-10-02
HK1211452A1 (en) 2016-05-27

Similar Documents

Publication Publication Date Title
JP6251489B2 (ja) 画像解析装置、画像解析方法、及び画像解析プログラム
Li et al. Facial performance sensing head-mounted display
Olszewski et al. High-fidelity facial and speech animation for VR HMDs
Jalal et al. A wrist worn acceleration based human motion analysis and classification for ambient smart home system
Ersotelos et al. Building highly realistic facial modeling and animation: a survey
Poppe et al. AMAB: Automated measurement and analysis of body motion
Murtaza et al. Analysis of face recognition under varying facial expression: a survey.
JP4886645B2 (ja) 仮想顔モデル変形装置及び仮想顔モデル変形プログラム
JP6207210B2 (ja) 情報処理装置およびその方法
JP2013101633A5 (ja) プログラム及びメイクアップシミュレーション装置
JP6873344B2 (ja) 疲労判定装置、疲労判定方法、および疲労判定プログラム
US11449718B2 (en) Methods and systems of real time movement classification using a motion capture suit
JP2011159329A (ja) 自動3dモデリングシステム及び方法
Grady et al. PressureVision: estimating hand pressure from a single RGB image
JP7408562B2 (ja) プログラム、情報処理装置、定量化方法及び情報処理システム
Xu et al. 3D tongue motion visualization based on ultrasound image sequences
Ahmed et al. An overview of Eulerian video motion magnification methods
Chan et al. Emotion Transfer for 3D Hand Motion using StarGAN
Guan et al. Resolution-independent liveness detection via computational ghost imaging
JP2010166939A (ja) 表情測定方法、表情測定プログラムならびに表情測定装置
JP7198892B2 (ja) 動画再生装置、動画再生方法、及び動画配信システム
JP2012185624A (ja) 三次元顔モデルデータ生成装置
Khan et al. Face-off: A face reconstruction technique for virtual reality (VR) scenarios
JP6945693B2 (ja) 動画再生装置、動画再生方法、及び動画配信システム
JP7501543B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171127

R150 Certificate of patent or registration of utility model

Ref document number: 6251489

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250