JP5657494B2 - シワ検出方法、シワ検出装置およびシワ検出プログラム、並びに、シワ評価方法、シワ評価装置およびシワ評価プログラム - Google Patents

シワ検出方法、シワ検出装置およびシワ検出プログラム、並びに、シワ評価方法、シワ評価装置およびシワ評価プログラム Download PDF

Info

Publication number
JP5657494B2
JP5657494B2 JP2011207296A JP2011207296A JP5657494B2 JP 5657494 B2 JP5657494 B2 JP 5657494B2 JP 2011207296 A JP2011207296 A JP 2011207296A JP 2011207296 A JP2011207296 A JP 2011207296A JP 5657494 B2 JP5657494 B2 JP 5657494B2
Authority
JP
Japan
Prior art keywords
wrinkle
component
face
images
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011207296A
Other languages
English (en)
Other versions
JP2013069122A (ja
Inventor
那緒子 吉田
那緒子 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2011207296A priority Critical patent/JP5657494B2/ja
Priority to EP12832858.0A priority patent/EP2759981A4/en
Priority to PCT/JP2012/067572 priority patent/WO2013042436A1/ja
Priority to CN201280046233.4A priority patent/CN103827916B/zh
Publication of JP2013069122A publication Critical patent/JP2013069122A/ja
Priority to US14/221,970 priority patent/US9351683B2/en
Application granted granted Critical
Publication of JP5657494B2 publication Critical patent/JP5657494B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Dermatology (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

この発明は、シワ検出方法、シワ検出装置およびシワ検出プログラム、並びに、シワ評価方法、シワ評価装置およびシワ評価プログラムに関する。
シワは、顔の額、眉間、口元および目尻などの部位に多く発生し、発生する面積や数も人によって様々である。そこで、化粧品の分野では、各人のシワ状態に応じた化粧品を提供するために、顔の各部位に発生したシワを正確に検出することが試みられている。
例えば、特許文献1に提案されたシワの検出方法では、被験者のシワを転写したレプリカをカメラで撮影し、撮影された画像データに基づいてシワを検出している。このように、レプリカにシワを転写することにより、安定してシワの画像データを得ることが可能となる。しかし、被験者の顔にレプリカ剤を直接塗布してシワを転写する必要があり、被験者の負担が大きいため、被験者に直接接触することなくシワを検出することが望まれている。
そこで、被験者に直接接触することなくシワを検出する技術として、例えば特許文献2に開示されているように、被験者の顔を撮影した画像データを、予め抽出された被験者のシワ情報に基づいて解析することが提案されている。また、非特許文献1には、非接触の3次元計測により、シワ周辺部の凹凸を示す高度データを解析することが提案されている。
特開平07−116146号公報 特開2010−119431号公報
「シワ評価ガイドライン」、日本香粧品学会
特許文献2に示される方法では、予め多くの被験者のシワ情報を抽出しておくことができれば、被験者のシワを高精度に検出することができるが、このシワ情報を予め取得するために多くの労力を要する。また、被験者の顔を撮影した画像には、顔の凹凸、目尻の影、肌の色ムラおよびシミなどの影響により、シワ以外にも暗い部分が多く存在するため、シワ以外の部分をシワとして誤検出してしまうおそれがある。
非特許文献1に示される方法においても、シワ以外の凹凸が多く存在するため、シワ以外の部分をシワとして誤検出してしまうおそれがある。
この発明は、このような従来の問題点を解消するためになされたもので、被験者の顔を撮影した画像からシワを検出する際に誤検出を低減することができるシワ検出方法及び装置を提供することを目的とする。
また、この発明は、このようなシワ検出方法で検出されたシワを評価するシワ評価方法および装置を提供することも目的としている。
この発明に係るシワ検出方法は、被験者の顔データを取得し、取得された顔データの所定の部位に解析領域を設定し、設定された解析領域に対して、顔の所定の部位毎に予め設定されたシワの延びやすい角度範囲内の一方向若しくは互いに異なる複数の角度で延びるシワ成分をそれぞれ抽出した複数のシワ成分抽出データを生成し、前記複数のシワ成分抽出データのそれぞれに対して前記シワ成分を強調した複数のシワ成分強調データを生成し、前記複数のシワ成分強調データを互いに合成した合成データを生成し、前記合成データにおいて所定の強度を有するシワ成分を被験者のシワとして検出するものである。
ここで、前記顔データは、被験者の顔を撮影して得られた画像データを輝度画像に変換し、前記輝度画像における顔の位置を検出することで取得され、検出された顔の所定の部位に解析領域を設定し、設定された解析領域に対して、顔の所定の部位毎に予め設定されたシワの延びやすい角度範囲内の一方向若しくは互いに異なる複数の角度で延びるシワ成分をそれぞれ抽出した複数のシワ成分抽出画像を前記複数のシワ成分抽出データとして生成し、前記複数のシワ成分抽出画像のそれぞれに対して前記シワ成分を強調した複数のシワ成分強調画像を前記複数のシワ成分強調データとして生成し、前記複数のシワ成分強調画像を互いに合成した合成画像を前記合成データとして生成し、前記合成画像において所定の閾値以上の強度を有するシワ成分を被験者のシワとして検出するのが好ましい。
また、前記複数のシワ成分抽出画像は、前記角度範囲内の互いに角度の異なる複数のシワ方向エッジフィルタで前記解析領域を処理することにより得られ、前記複数のシワ成分強調画像は、前記複数のシワ方向エッジフィルタに対してそれぞれ直交する複数のシワ直交方向エッジフィルタで前記解析領域を処理して得られた複数のシワ直交成分抽出画像を用いて前記複数のシワ成分抽出画像から前記シワ成分に直交するシワ直交成分を低減することにより得ることができる。
また、前記複数のシワ成分抽出画像は、前記角度範囲内の互いに角度の異なる複数のシワ方向エッジフィルタで前記解析領域を処理することにより得られ、前記複数のシワ成分強調画像は、対応する前記シワ成分抽出画像内の前記シワ成分の間の標準偏差を求めて標準偏差が所定値以上の部分の強調率を増加することにより得ることもできる。
前記解析領域は、額、眉間、口元、または目尻に設定することができる。また、被験者の顔は正面および左右から撮影され、前記解析領域は、正面から撮影された前記輝度画像に基づいて額、眉間、および口元に設定され、左右から撮影された前記輝度画像に基づいて目尻に設定されるのが好ましい。
また、前記複数のシワ方向エッジフィルタは、前記解析領域が額および眉間に設定された場合には70度から110度の角度範囲の間で3方向に、前記解析領域が目尻に設定された場合には0度から45度および115度から165度の角度範囲の間で8方向に、前記解析領域が口元に設定された場合には45度から60度および120度から140度の角度範囲の間で6方向にそれぞれ設定されるのが好ましい。
また、前記シワ成分を強調した前記複数のシワ成分強調画像を生成した後、予め設定されたシワの形状情報に基づいて前記複数のシワ成分強調画像から、それぞれノイズを除去し、さらにノイズが除去された前記複数のシワ成分強調画像を互いに合成することができる。また、前記シワ成分を強調した前記複数のシワ成分強調画像を生成した後、多重解像度法により前記複数のシワ成分強調画像からそれぞれノイズを除去し、さらにノイズが除去された前記複数のシワ成分強調画像を互いに合成することもできる。
また、顔の所定の部位に前記解析領域が設定された後、ガウシアンフィルタ処理、あるいは、背景の輝度分布を2次曲面近似することで前記解析領域のノイズを除去し、ノイズが除去された前記解析範囲に対して前記シワ成分をそれぞれ抽出した前記複数のシワ成分抽出画像を生成することもできる。
この発明に係るシワ評価方法は、上記のいずれかに記載のシワ検出方法で検出されたシワを評価するシワ評価方法であって、検出されたシワの面積、本数、長さ、面積率、幅、深さなどの特徴量を算出し、算出された面積、本数、長さ、面積率、幅、深さなどの特徴量のそれぞれ、もくしは複数の指標による総合値について被験者の年齢における平均値と比較することでシワの進行を評価するものである。
この発明に係るシワ検出装置は、被験者の顔を撮影して得られた画像を輝度画像に変換する輝度画像変換部と、前記輝度画像における顔の位置を検出する顔検出部と、検出された顔の所定の部位に解析領域を設定する解析領域設定部と、設定された解析領域に対して、顔の所定の部位毎に予め設定されたシワの延びやすい角度範囲内の互いに異なる複数の角度で延びるシワ成分をそれぞれ抽出した複数のシワ成分抽出画像を生成するシワ抽出部と、前記複数のシワ成分抽出画像のそれぞれに対して前記シワ成分を強調した複数のシワ成分強調画像を生成すると共に前記複数のシワ成分強調画像を互いに合成した合成画像を生成するシワ強調部と、前記合成画像において所定の閾値以上の強度を有するシワ成分を被験者のシワとして検出するシワ判定部とを備えたものである。
この発明に係るシワ評価方法は、上記に記載のシワ検出装置と、前記シワ検出装置で検出されたシワの面積、本数、長さを算出すると共に算出された面積、本数、長さのそれぞれについて被験者の年齢における平均値と比較することでシワの進行を評価するシワ評価部とを備えたものである。
この発明に係るシワ検出プログラムは、被験者の顔データを取得するステップと、取得された顔データの所定の部位に解析領域を設定するステップと、設定された解析領域に対して、顔の所定の部位毎に予め設定されたシワの延びやすい角度範囲内の一方向若しくは互いに異なる複数の角度で延びるシワ成分をそれぞれ抽出した複数のシワ成分抽出データを生成するステップと、前記複数のシワ成分抽出データのそれぞれに対して前記シワ成分を強調した複数のシワ成分強調データを生成するステップと、前記複数のシワ成分強調データを互いに合成した合成データを生成するステップと、前記合成データにおいて所定の閾値以上の強度を有するシワ成分を被験者のシワとして検出するステップとをコンピュータに実行させるためのものである。
また、この発明に係るシワ評価プログラムは、上記のシワ検出プログラムで検出されたシワを評価するためのシワ評価プログラムであって、前記シワ検出プログラムで検出されたシワの特徴量を算出するステップと、算出された特徴量のそれぞれについて被験者の年齢における平均値と比較することでシワの進行を評価するステップとをコンピュータに実行させるためのものである。
この発明によれば、被験者の顔を撮影した輝度画像から顔の部位毎に予め設定されたシワが延びやすい角度に基づいてシワ成分を抽出した複数のシワ成分抽出画像を生成すると共に生成された複数のシワ成分抽出画像のそれぞれに対してシワ成分が強調されるので、被験者の顔を撮影した画像からシワを検出する際に誤検出を低減することが可能となる。
この発明の一実施の形態に係るシワ検出方法を行うシワ検出装置の構成を示すブロック図である。 シワの抽出方法およびシワの強調方法を模式的に示す図である。
以下、この発明の実施の形態を添付図面に基づいて説明する。
図1に、この発明の一実施の形態に係るシワ検出方法を行うシワ検出装置の構成を示す。シワ検出装置は、カメラ1および2を備え、このカメラ1および2に前処理部3、シワ検出部4、およびシワ評価部5が順次接続されている。
カメラ1は被験者の顔Fに対して正面に、カメラ2は被験者の顔Fに対して側方にそれぞれ配置されている。
前処理部3は、カメラ1および2に接続された輝度画像変換部6を有し、この輝度画像変換部6に顔検出部7、解析領域設定部8、およびノイズ除去部9が順次接続されている。
輝度画像変換部6は、カメラ1および2で撮影された画像をそれぞれ輝度画像に変換する。顔検出部7は、輝度画像変換部6で生成された輝度画像から被験者の顔Fの位置を検出すると共に目、眉、口および鼻などの特徴部分をそれぞれ検出する。解析領域設定部8は、顔検出部7で検出された被験者の顔Fに対し、額、眉間、口元、目尻などのシワが発生しやすい所定の部位に解析領域を設定する。ノイズ除去部9は、輝度画像に含まれるノイズを除去するもので、例えば、輝度画像をガウシアンフィルタ処理して平滑化すること、あるいは、背景の輝度分布を2次曲面近似することで被験者の顔Fを撮影した際に生じた照射むらを除去することができる。
シワ検出部4は、前処理部3のノイズ除去部9に接続されたシワ抽出部10を有し、このシワ抽出部10にシワ強調部11およびシワ判定部12が順次接続されている。
シワ抽出部10は、顔の部位毎に設定されたシワが延びやすい角度範囲を予め格納したメモリを内蔵し、解析領域設定部8で解析領域が設定された部位に対応する角度範囲をメモリから読み出す。続いて、読み出した角度範囲内の互いに異なる複数の角度で延びるシワ成分を、その異なる角度毎に解析領域からそれぞれ抽出した複数のシワ成分抽出画像が生成される。複数のシワ成分抽出画像は、例えばメモリから読み出された角度範囲の間で互いに角度の異なる複数のシワ方向エッジフィルタを用いて解析領域をそれぞれ処理することにより、解析領域内のシワ成分の強度を角度方向毎にそれぞれ増加させることで得ることができる。
シワ強調部11は、シワ抽出部10により生成された複数のシワ成分抽出画像のそれぞれに対してシワ成分を強調した複数のシワ成分強調画像の生成を行う。この時、例えば、シワ抽出部10においてシワ成分の抽出に用いられた複数のシワ方向エッジフィルタに対してそれぞれ直交する複数のシワ直交方向エッジフィルタで解析領域を処理することにより、解析領域内においてシワ成分と直交するシワ直交成分の強度を角度方向毎に増加させた複数のシワ直交成分抽出画像を生成し、この複数のシワ直交成分抽出画像を用いて複数のシワ成分抽出画像からシワ成分に直交するシワ直交成分をそれぞれ低減することにより複数のシワ成分抽出画像を得ることができる。さらに、シワ強調部11は、生成した複数のシワ成分強調画像を互いに合成し、解析領域において一体として強調されたシワ成分を有する合成画像の生成を行う。
シワ判定部12は、合成画像における強度が所定の閾値以上であるか否かを画素毎に判定し、所定の閾値以上の強度を有するシワ成分を被験者のシワとして検出する。
シワ評価部5は、シワ検出部4により検出されたシワの面積、本数、長さを算出し、算出された面積、本数、長さのそれぞれについて被験者の年齢における平均値と比較することでシワの進行の評価を行う。
なお、シワ抽出部10で用いられるシワ方向エッジフィルタおよびシワ強調部11で用いられるシワ直交方向エッジフィルタは、画像中のエッジ情報を方向毎に抽出するためのもので、Sobelフィルタ、一次微分フィルタおよびDogフィルタなどを用いることができる。例えば、Dogフィルタを用いた場合には、スケールσの異なる2種類のガウシアン画像をそれぞれ1次元化し、1次元化した2種類のガウシアン画像の間で差分をとることで1次元のDogフィルタ、すなわち一定の方向性を有するDogフィルタを生成する。続いて、生成されたDogフィルタをシワ方向あるいはシワ直交方向に適用することで、それぞれの方向のエッジ情報を画像中から抽出することができる。
次に、シワ検出装置により行われるシワ検出方法について説明する。
まず、被験者の顔Fが正面からカメラ1により、側方からカメラ2によりそれぞれ撮影される。カメラ1および2によりそれぞれ撮影された正面および側方からの画像データは、前処理部3の輝度画像変換部6にそれぞれ出力され、輝度画像変換部6により正面輝度画像および側方輝度画像に変換される。正面輝度画像および側方輝度画像は輝度画像変換部6から顔検出部7に出力され、顔検出部7が正面輝度画像および側方輝度画像から顔Fを検出すると共に、正面輝度画像から顔Fの特徴部分である目、眉、口および鼻を検出し且つ側方輝度画像から顔Fの特徴部分である目を検出する。
続いて、顔検出部7による検出結果に基づいて、解析領域設定部8が顔Fにおいてシワが発生しやすい所定の部位に解析領域を設定する。解析領域設定部8は、例えば、正面輝度画像に対して額、眉間および口元に、側方輝度画像に対して目尻にそれぞれ解析領域を設定することができる。このようにして、顔Fの各部位に設定された解析領域は、それぞれノイズ除去部9に出力されてノイズが除去された後、シワ検出部4のシワ抽出部10に出力される。
シワ抽出部10は、内蔵するメモリに顔Fの所定の部位毎に設定されたシワが延びやすい角度範囲を予め格納しており、このメモリから解析領域設定部8で解析領域が設定された部位に対応する角度範囲を読み出す。例えば、解析領域が額および眉間に設定されている場合には70度から110度の角度範囲が、解析領域が目尻に設定されている場合には0度から45度および115度から165度の角度範囲が、解析領域が口元に設定されている場合には45度から60度および120度から140度の角度範囲がそれぞれメモリから読み出される。このようにして読み出された角度範囲の間で、シワをなす任意の一方向もしくは、互いに角度の異なる複数のシワ方向エッジフィルタを用いて解析領域の処理を行う。
例えば、解析領域が目尻に設定されている場合には、図2に示すように、0度、45度および135度の3方向に設定されたシワ方向エッジフィルタで解析領域を処理することができる。この処理の結果、0度、45度および135度の角度方向に延びたシワ成分の強度がそれぞれ増加され、0度の角度方向に延びたシワ成分が抽出されたシワ成分抽出画像A1、45度の角度方向に延びたシワ成分が抽出されたシワ成分抽出画像A2、および135度の角度方向に延びたシワ成分が抽出されたシワ成分抽出画像A3がそれぞれ生成される。このようにして、それぞれのシワ方向エッジフィルタの角度方向に延びたシワ成分を抽出したシワ成分抽出画像A1,A2およびA3が生成される。
このように、解析領域においてシワが延びる典型的な角度方向に絞ってシワ方向エッジフィルタで処理することにより、シワ成分の抽出における労力を低減することができる。生成されたシワ抽出画像A1,A2およびA3は、生成前の輝度画像と共にシワ強調部11に出力される。
シワ強調部11は、入力されたシワ抽出画像A1,A2およびA3からシワ成分に直交した成分であるシワ直交成分をそれぞれ低減することで、相対的にシワ成分を強調したシワ成分強調画像B1,B2およびB3の生成を行う。
具体的には、シワ成分抽出画像A1,A2およびA3を生成する前の輝度画像を用い、シワ抽出部10においてシワ成分を抽出した0度、45度および135度のシワ方向エッジフィルタに対してそれぞれ直交する90度、135度および45度のシワ直交方向エッジフィルタで解析領域の処理を行うことで、それぞれのシワ成分に直交して対応するシワ直交成分を抽出したシワ直交成分抽出画像C1,C2およびC3をそれぞれ生成する。続いて、0度方向のシワ成分を抽出したシワ成分抽出画像A1と90度方向のシワ直交成分を抽出したシワ直交成分抽出画像C1との間で対応画素毎に減算処理を行うことで、0度方向のシワ成分から90度方向のシワ直交成分を差し引く。同様にして、45度方向のシワ成分を抽出したシワ成分抽出画像A2と135度方向のシワ直交成分を抽出したシワ直交成分抽出画像C2との間、135度方向のシワ成分を抽出したシワ成分抽出画像A3と45度方向のシワ直交成分を抽出したシワ直交成分抽出画像C3との間でそれぞれ減算処理を行う。
これにより、図2に示すように、シワ成分抽出画像A1,A2およびA3からシワ成分に直交するシワ直交成分の強度がそれぞれ低減されたシワ成分強調画像B1,B2およびB3を生成することができる。すなわち、シワ成分抽出画像A1,A2およびA3に含まれるシワが延びにくい角度方向からなるシワ直交成分の強度をそれぞれ低減することで、シワが延びやすい角度方向からなるシワ成分を相対的に強調したシワ成分強調画像B1,B2およびB3をそれぞれ生成することができる。
このようにしてシワ成分がそれぞれ強調されたシワ成分強調画像B1,B2およびB3は互いに合成され、解析領域において一体として強調されたシワ成分を有する合成画像が生成される。なお、合成画像を生成する前に、予め設定された円形度などのシワの形状情報に基づいてシワ成分強調画像B1,B2およびB3からそれぞれノイズを除去し、あるいは、多重解像度法によりシワ成分強調画像B1,B2およびB3からそれぞれノイズを除去し、ノイズが除去されたシワ成分強調画像B1,B2およびB3を互いに合成することもできる。
合成画像はシワ判定部12に出力され、合成画像において強度が所定の閾値以上であるか否かが画素毎に判定されると共に、所定の閾値以上の強度を有するシワ成分が被験者のシワとして検出される。
このように、シワの判定を行う前に、シワが延びにくい角度方向からなるシワ直交成分、すなわちシワ以外の成分が合成画像から除去されているため、シワの誤検出を抑制することができる。
さらに、被験者のシワとして検出されたシワ成分はシワ評価部5に出力され、シワの面積、本数、長さ、面積率、幅、深さなどの特徴量が算出された後、算出された特徴量のそれぞれについて被験者の年齢における平均値と比較することで、シワの進行が評価される。
このように、シワの誤検出が抑制されたシワの検出結果に基づいてシワの進行を算出しているので、シワの評価をより正確に行うことができる。
なお、上記のようなシワの検出は、入力手段、CPUおよびメモリなどから構成されるコンピュータをシワ検出プログラムにより機能させることで実行することができる。すなわち、シワ検出プログラムがコンピュータを機能させることにより、入力手段が被験者の顔を撮影した画像を取得し、取得された画像に基づいて、CPUが、前処理部3およびシワ検出部4を実行させてシワの検出を行う。
また、シワの評価についても、コンピュータをシワ評価プログラムにより機能させることで実行することができる。すなわち、シワ評価プログラムがコンピュータを機能させることにより、CPUが、シワ評価部5を実行させてシワの検出を行う。
なお、上記の実施の形態では、シワ強調部11はシワ抽出部10において生成された複数のシワ成分抽出画像からシワ直交成分をそれぞれ除去した後に合成画像を生成したが、合成画像からシワ直交成分を減少できればこれに限るものではなく、合成画像を生成した後でシワ直交成分を除去してもよい。
また、シワ強調部11はシワ抽出部10において生成された複数のシワ成分抽出画像からシワ直交成分を除去することによりシワ成分を強調した複数のシワ成分強調画像を生成したが、これに限るものではない。例えば、シワ成分抽出画像内の間の標準偏差を求めると、シワ成分において標準偏差が高くなる。そこで、複数のシワ成分強調画像は、対応するシワ成分抽出画像内のシワ成分の間の標準偏差を求め、標準偏差が所定値以上の部分の強調率を増加することにより得ることもできる。このようにして生成された複数のシワ成分強調画像は互いに合成されることで、解析領域において一体として強調された合成画像が生成される。
また、シワ抽出部10は、解析領域設定部8において解析領域が額および眉間に設定された場合には、70度から110度の角度範囲の間で3方向に設定されたシワ方向エッジフィルタで解析領域を処理するのが好ましく、解析領域が目尻に設定された場合には0度から45度および115度から165度の角度範囲の間で8方向に設定されたシワ方向エッジフィルタで解析領域を処理するのが好ましく、解析領域が口元に設定された場合には45度から60度および120度から140度の角度範囲の間で6方向にそれぞれ設定されたシワ方向エッジフィルタで解析領域を処理するのが好ましい。さらに、複数のシワ方向エッジフィルタは、解析領域の処理に偏りが生じないように、角度範囲の間で等間隔に処理方向が設定されるのが好ましい。なお、シワ直交方向エッジフィルタは、解析領域の処理に用いられたシワ方向エッジフィルタに直交して対応させればよい。
また、上記の実施の形態では、被験者の顔Fの正面および側方にそれぞれカメラ1および2を配置したが、これに限るものではなく、顔Fの正面と両側方にそれぞれカメラを配置する等、被験者の顔Fの周りに2つ以上のカメラを配置することができる。また、カメラ1および2のうち一方のみを配置することもでき、さらに1つのカメラを被験者の顔Fの回りに移動して撮影することもできる。
また、上記の実施の形態では、カメラ1および2で撮影された画像データに基づいてシワの検出を行ったが、シワを検出するための顔データが取得できればこれに限るものではなく、例えば非接触の3次元計測により被験者の顔Fの凹凸を計測した顔の計測データを用いることができる。この顔の計測データに基づいて、顔Fのシワが発生しやすい所定の部位に解析領域を設定し、ノイズが除去された後、上記と同様にしてシワの検出が行われる。すなわち、設定された解析領域に対して、顔Fの所定の部位毎に予め設定されたシワの延びやすい角度範囲内の一方向若しくは互いに異なる複数の角度で延びるシワ成分をそれぞれ複数のシワ方向エッジフィルタを用いて抽出した複数のシワ成分抽出データを生成する。続いて、複数のシワ成分抽出データのそれぞれに対して、複数のシワ直交方向エッジフィルタで処理することにより、シワ成分を強調した複数のシワ成分強調データを生成し、生成された複数のシワ成分強調データを互いに合成した合成データを生成する。そして、この合成データにおいて所定の閾値以上の強度を有するシワ成分を被験者のシワとして検出することができる。
1,2 カメラ、3 前処理部、4 シワ検出部、5 シワ評価部、6 輝度画像変換部、7 顔検出部、8 解析領域設定部、9 ノイズ除去部、10 シワ抽出部、11 シワ強調部、12 シワ判定部、F 被験者の顔、A1,A2,A3 シワ成分抽出画像、B1,B2,B3 シワ成分強調画像、C1,C2,C3 シワ直交成分抽出画像。

Claims (15)

  1. 被験者の顔データを取得し、
    取得された顔データの所定の部位に解析領域を設定し、
    設定された解析領域に対して、顔の所定の部位毎に予め設定されたシワの延びやすい角度範囲内の一方向若しくは互いに異なる複数の角度で延びるシワ成分をそれぞれ抽出した複数のシワ成分抽出データを生成し、
    前記複数のシワ成分抽出データのそれぞれに対して前記シワ成分を強調した複数のシワ成分強調データを生成し、
    前記複数のシワ成分強調データを互いに合成した合成データを生成し、
    前記合成データにおいて所定の閾値以上の強度を有するシワ成分を被験者のシワとして検出するシワ検出方法。
  2. 前記顔データは、被験者の顔を撮影して得られた画像データを輝度画像に変換し、前記輝度画像における顔の位置を検出することで取得され、
    検出された顔の所定の部位に解析領域を設定し、
    設定された解析領域に対して、顔の所定の部位毎に予め設定されたシワの延びやすい角度範囲内の一方向若しくは互いに異なる複数の角度で延びるシワ成分をそれぞれ抽出した複数のシワ成分抽出画像を前記複数のシワ成分抽出データとして生成し、
    前記複数のシワ成分抽出画像のそれぞれに対して前記シワ成分を強調した複数のシワ成分強調画像を前記複数のシワ成分強調データとして生成し、
    前記複数のシワ成分強調画像を互いに合成した合成画像を前記合成データとして生成し、
    前記合成画像において所定の閾値以上の強度を有するシワ成分を被験者のシワとして検出する請求項1に記載のシワ検出方法。
  3. 前記複数のシワ成分抽出画像は、前記角度範囲内の互いに角度の異なる複数のシワ方向エッジフィルタで前記解析領域を処理することにより得られ、
    前記複数のシワ成分強調画像は、前記複数のシワ方向エッジフィルタに対してそれぞれ直交する複数のシワ直交方向エッジフィルタで前記解析領域を処理して得られた複数のシワ直交成分抽出画像を用いて前記複数のシワ成分抽出画像から前記シワ成分に直交するシワ直交成分を低減することにより得られる請求項2に記載のシワ検出方法。
  4. 前記複数のシワ成分抽出画像は、前記角度範囲内の互いに角度の異なる複数のシワ方向エッジフィルタで前記解析領域を処理することにより得られ、
    前記複数のシワ成分強調画像は、対応する前記シワ成分抽出画像内の前記シワ成分の間の標準偏差を求めて標準偏差が所定値以上の部分の強調率を増加することにより得られる請求項2に記載のシワ検出方法。
  5. 前記解析領域は、額、眉間、口元、または目尻に設定される請求項3または4に記載のシワ検出方法。
  6. 被験者の顔は正面および左右から撮影され、
    前記解析領域は、正面から撮影された前記輝度画像に基づいて額、眉間、および口元に設定され、左右から撮影された前記輝度画像に基づいて目尻に設定される請求項5に記載のシワ検出方法。
  7. 前記複数のシワ方向エッジフィルタは、前記解析領域が額および眉間に設定された場合には70度から110度の角度範囲の間で3方向に、前記解析領域が目尻に設定された場合には0度から45度および115度から165度の角度範囲の間で8方向に、前記解析領域が口元に設定された場合には45度から60度および120度から140度の角度範囲の間で6方向にそれぞれ設定される請求項5または6に記載のシワ検出方法。
  8. 前記シワ成分を強調した前記複数のシワ成分強調画像を生成した後、予め設定されたシワの形状情報に基づいて前記複数のシワ成分強調画像からそれぞれノイズを除去し、ノイズが除去された前記複数のシワ成分強調画像を互いに合成する請求項2〜7のいずれか一項に記載のシワ検出方法。
  9. 前記シワ成分を強調した前記複数のシワ成分強調画像を生成した後、多重解像度法により前記複数のシワ成分強調画像からそれぞれノイズを除去し、ノイズが除去された前記複数のシワ成分強調画像を互いに合成する請求項2〜8のいずれか一項に記載のシワ検出方法。
  10. 顔の所定の部位に前記解析領域が設定された後、ガウシアンフィルタ処理、あるいは、背景の輝度分布を2次曲面近似することで前記解析領域のノイズを除去し、ノイズが除去された前記解析範囲に対して前記シワ成分をそれぞれ抽出した前記複数のシワ成分抽出画像を生成する請求項2〜9のいずれか一項に記載のシワ検出方法。
  11. 請求項1〜10のいずれか一項に記載のシワ検出方法で検出されたシワを評価するシワ評価方法であって、
    検出されたシワの特徴量を算出し、
    算出された特徴量のそれぞれについて被験者の年齢における平均値と比較することでシワの進行を評価するシワ評価方法。
  12. 被験者の顔を撮影して得られた画像を輝度画像に変換する輝度画像変換部と、
    前記輝度画像における顔の位置を検出する顔検出部と、
    検出された顔の所定の部位に解析領域を設定する解析領域設定部と、
    設定された解析領域に対して、顔の所定の部位毎に予め設定されたシワの延びやすい角度範囲内の互いに異なる複数の角度で延びるシワ成分をそれぞれ抽出した複数のシワ成分抽出画像を生成するシワ抽出部と、
    前記複数のシワ成分抽出画像のそれぞれに対して前記シワ成分を強調した複数のシワ成分強調画像を生成すると共に前記複数のシワ成分強調画像を互いに合成した合成画像を生成するシワ強調部と、
    前記合成画像において所定の閾値以上の強度を有するシワ成分を被験者のシワとして検出するシワ判定部とを備えたシワ検出装置。
  13. 請求項12に記載のシワ検出装置と、
    前記シワ検出装置で検出されたシワの特徴量を算出すると共に算出された特徴量のそれぞれについて被験者の年齢における平均値と比較することでシワの進行を評価するシワ評価部とを備えたシワ評価装置。
  14. 被験者の顔データを取得するステップと、
    取得された顔データの所定の部位に解析領域を設定するステップと、
    設定された解析領域に対して、顔の所定の部位毎に予め設定されたシワの延びやすい角度範囲内の一方向若しくは互いに異なる複数の角度で延びるシワ成分をそれぞれ抽出した複数のシワ成分抽出データを生成するステップと、
    前記複数のシワ成分抽出データのそれぞれに対して前記シワ成分を強調した複数のシワ成分強調データを生成するステップと、
    前記複数のシワ成分強調データを互いに合成した合成データを生成するステップと、
    前記合成データにおいて所定の閾値以上の強度を有するシワ成分を被験者のシワとして検出するステップとをコンピュータに実行させるためのシワ検出プログラム。
  15. 請求項14に記載のシワ検出プログラムで検出されたシワを評価するためのシワ評価プログラムであって、
    前記シワ検出プログラムで検出されたシワの特徴量を算出するステップと、
    算出された特徴量のそれぞれについて被験者の年齢における平均値と比較することでシワの進行を評価するステップとをコンピュータに実行させるためのシワ評価プログラム。
JP2011207296A 2011-09-22 2011-09-22 シワ検出方法、シワ検出装置およびシワ検出プログラム、並びに、シワ評価方法、シワ評価装置およびシワ評価プログラム Active JP5657494B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011207296A JP5657494B2 (ja) 2011-09-22 2011-09-22 シワ検出方法、シワ検出装置およびシワ検出プログラム、並びに、シワ評価方法、シワ評価装置およびシワ評価プログラム
EP12832858.0A EP2759981A4 (en) 2011-09-22 2012-07-10 WRINKLE DETECTION METHOD, WRINKLE DETECTION DEVICE, WRINKLE DETECTION PROGRAM, WRINKLE EVALUATION METHOD, WRINKLE EVALUATION DEVICE, AND WRINKLE EVALUATION PROGRAM
PCT/JP2012/067572 WO2013042436A1 (ja) 2011-09-22 2012-07-10 シワ検出方法、シワ検出装置およびシワ検出プログラム、並びに、シワ評価方法、シワ評価装置およびシワ評価プログラム
CN201280046233.4A CN103827916B (zh) 2011-09-22 2012-07-10 皱纹检测与皱纹评估的方法、装置和系统
US14/221,970 US9351683B2 (en) 2011-09-22 2014-03-21 Wrinkle detection method, wrinkle detection device and recording medium storing wrinkle detection program, as well as wrinkle evaluation method, wrinkle evaluation device and recording medium storing wrinkle evaluation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011207296A JP5657494B2 (ja) 2011-09-22 2011-09-22 シワ検出方法、シワ検出装置およびシワ検出プログラム、並びに、シワ評価方法、シワ評価装置およびシワ評価プログラム

Publications (2)

Publication Number Publication Date
JP2013069122A JP2013069122A (ja) 2013-04-18
JP5657494B2 true JP5657494B2 (ja) 2015-01-21

Family

ID=47914217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011207296A Active JP5657494B2 (ja) 2011-09-22 2011-09-22 シワ検出方法、シワ検出装置およびシワ検出プログラム、並びに、シワ評価方法、シワ評価装置およびシワ評価プログラム

Country Status (5)

Country Link
US (1) US9351683B2 (ja)
EP (1) EP2759981A4 (ja)
JP (1) JP5657494B2 (ja)
CN (1) CN103827916B (ja)
WO (1) WO2013042436A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5771647B2 (ja) * 2013-05-07 2015-09-02 エヌ・ティ・ティ・コミュニケーションズ株式会社 肌解析装置、肌解析システム、肌解析方法および肌解析プログラム
JP6345176B2 (ja) 2013-06-28 2018-06-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 肌の官能評価装置および肌の評価方法
US9875394B2 (en) 2013-07-31 2018-01-23 Panasonic Intellectual Property Corporation Of America Skin analysis method, skin analysis device, and method for controlling skin analysis device
JP6185807B2 (ja) * 2013-09-25 2017-08-23 花王株式会社 シワ状態分析方法及びシワ状態分析装置
CN104510142A (zh) * 2013-09-29 2015-04-15 陈青山 基于体外的无创消除眼周动态皱纹的美容方法及其装置
FR3014675A1 (fr) * 2013-12-12 2015-06-19 Oreal Procede d'evaluation d'au moins un signe clinique du visage
KR101647318B1 (ko) * 2014-05-07 2016-08-12 주식회사 엘리샤코이 휴대용 피부상태 분석 장치 및 이를 이용한 피부 관리 서비스 방법
JP2015232746A (ja) * 2014-06-09 2015-12-24 パナソニックIpマネジメント株式会社 皺検出装置および皺検出方法
JP6550642B2 (ja) * 2014-06-09 2019-07-31 パナソニックIpマネジメント株式会社 皺検出装置および皺検出方法
CN104318234B (zh) * 2014-10-23 2017-06-16 东南大学 一种采用点云数据表示的人脸皱纹三维提取方法及其设备
KR101627962B1 (ko) * 2015-02-09 2016-06-07 세종대학교산학협력단 피부 이미지의 미세 주름을 분석하는 방법 및 장치
JP6527765B2 (ja) * 2015-06-30 2019-06-05 花王株式会社 シワ状態分析装置及びシワ状態分析方法
KR101706373B1 (ko) * 2016-01-18 2017-02-16 주식회사 엘리샤코이 피부 상태 분석 장치 및 이를 이용한 피부 관리 서비스 방법
RU2742966C2 (ru) 2016-10-18 2021-02-12 Конинклейке Филипс Н.В. Вспомогательное устройство и устройство визуализации
US11122206B2 (en) 2016-11-08 2021-09-14 Preh Holding, Llc Personal care device with camera
US10511777B2 (en) 2016-11-08 2019-12-17 Thomas Nichols Personal care device with camera
CN109255280A (zh) 2017-07-14 2019-01-22 丽宝大数据股份有限公司 皮肤状态检测方法与电子装置
CN109299633A (zh) * 2017-07-25 2019-02-01 上海中科顶信医学影像科技有限公司 皱纹检测方法、系统、设备及介质
CN108364286A (zh) * 2018-01-29 2018-08-03 杭州美界科技有限公司 一种可视化的皮肤皱纹评估方法及系统
CN108363964A (zh) * 2018-01-29 2018-08-03 杭州美界科技有限公司 一种预先处理的皮肤皱纹评估方法及系统
CN108334836A (zh) * 2018-01-29 2018-07-27 杭州美界科技有限公司 一种皮肤皱纹评估方法及系统
CN109086688A (zh) * 2018-07-13 2018-12-25 北京科莱普云技术有限公司 脸部皱纹检测方法、装置、计算机设备和存储介质
EP3809361B1 (en) * 2018-07-16 2023-01-25 Honor Device Co., Ltd. Wrinkle detection method and electronic device
CN111199171B (zh) * 2018-11-19 2022-09-23 荣耀终端有限公司 一种皱纹检测方法和终端设备
CN111814520A (zh) * 2019-04-12 2020-10-23 虹软科技股份有限公司 肤质检测方法、肤质等级分类方法及肤质检测装置
CN110443765A (zh) * 2019-08-02 2019-11-12 厦门美图之家科技有限公司 图像处理方法、装置及电子设备
CN110738678B (zh) * 2019-10-18 2022-05-31 厦门美图宜肤科技有限公司 脸部细纹检测方法、装置、电子设备及可读存储介质
US10999530B1 (en) * 2019-11-26 2021-05-04 L'oreal Techniques for generating time-series images of changes in personal appearance
KR102172192B1 (ko) * 2020-05-18 2020-11-03 가천대학교 산학협력단 뺨 주름 인식 방법, 시스템 및 뺨 주름 인식을 통한 뇌졸중 검출 방법
CN113080874B (zh) * 2021-04-17 2023-02-07 北京美医医学技术研究院有限公司 一种多角度交叉验证的智能测肤系统
CN113592796A (zh) * 2021-07-19 2021-11-02 深圳数联天下智能科技有限公司 嘴角下垂的检测方法、装置、设备和介质
WO2024021000A1 (en) * 2022-07-29 2024-02-01 L'oreal System and method for evaluating dynamic wrinkles on keratin material of a user to be tested
CN116091487B (zh) * 2023-03-07 2023-06-23 深圳市宝安区石岩人民医院 一种基于图像识别的皮肤皱纹分析比对方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07116146A (ja) 1993-10-21 1995-05-09 Shiseido Co Ltd シワの測定方法及び装置
US5781650A (en) * 1994-02-18 1998-07-14 University Of Central Florida Automatic feature detection and age classification of human faces in digital images
US7324668B2 (en) * 2001-10-01 2008-01-29 L'oreal S.A. Feature extraction in beauty analysis
US7082211B2 (en) * 2002-05-31 2006-07-25 Eastman Kodak Company Method and system for enhancing portrait images
JP3905503B2 (ja) * 2003-09-12 2007-04-18 株式会社国際電気通信基礎技術研究所 顔画像合成装置および顔画像合成プログラム
JP5547730B2 (ja) * 2008-07-30 2014-07-16 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 顔検知を用いた顔及び肌の自動美化
CN101364263A (zh) * 2008-09-28 2009-02-11 腾讯科技(深圳)有限公司 对图像进行皮肤纹理检测的方法及系统
JP5528692B2 (ja) 2008-11-17 2014-06-25 株式会社 資生堂 シワ評価方法、シワ評価装置、シワ評価プログラム、及び該プログラムが記録された記録媒体
JP5247393B2 (ja) * 2008-12-04 2013-07-24 株式会社 資生堂 唇解析方法

Also Published As

Publication number Publication date
CN103827916B (zh) 2018-01-23
EP2759981A1 (en) 2014-07-30
CN103827916A (zh) 2014-05-28
US9351683B2 (en) 2016-05-31
WO2013042436A1 (ja) 2013-03-28
EP2759981A4 (en) 2015-03-25
US20140205159A1 (en) 2014-07-24
JP2013069122A (ja) 2013-04-18

Similar Documents

Publication Publication Date Title
JP5657494B2 (ja) シワ検出方法、シワ検出装置およびシワ検出プログラム、並びに、シワ評価方法、シワ評価装置およびシワ評価プログラム
JP6550642B2 (ja) 皺検出装置および皺検出方法
Visentini-Scarzanella et al. Metric depth recovery from monocular images using shape-from-shading and specularities
JP6297941B2 (ja) うるおい感評価装置、うるおい感評価装置の作動方法およびうるおい感評価プログラム
JP5780053B2 (ja) 生体認証装置、生体認証方法、及びプログラム
EP2818099B1 (en) Cycloduction measurement device, cycloduction measurement method, and cycloduction measurement program
JP2014067193A (ja) 画像処理装置および画像処理方法
JP6185807B2 (ja) シワ状態分析方法及びシワ状態分析装置
TWI606404B (zh) 可變形物體分類之強健分析及藉由影像感測器之辨識
KR20100003668A (ko) 피부 주름 평가를 위한 입체영상 측정 시스템 및 방법
JP2014087464A (ja) 肌の評価方法および肌の評価装置
WO2015125552A1 (ja) うるおい感評価装置、うるおい感評価方法およびうるおい感評価プログラム
JP6527765B2 (ja) シワ状態分析装置及びシワ状態分析方法
TWI525556B (zh) 在影像擷取中之特徵偵測
US11341762B2 (en) Object detection device, object detection system, object detection method, and recording medium having program recorded thereon
KR101151154B1 (ko) 피부탄력도 측정을 위한 모아레 영상 처리방법
JP6351550B2 (ja) ハリ感評価装置、ハリ感評価方法およびハリ感評価プログラム
JP6358084B2 (ja) 画像処理装置
EP3168780B1 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP6780639B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
WO2021229984A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR20220023507A (ko) 이미지 분석 기반의 피부결 거칠기 평가 장치 및 방법
JP6459410B2 (ja) 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
Singh et al. Medical Images Edge Detection using Mathematical Based Morphology
Kulkarni et al. Elliptical iris detection using morphological operations

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141126

R150 Certificate of patent or registration of utility model

Ref document number: 5657494

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250