JP5733570B2 - 画像処理装置、画像処理方法、プログラム、および、記録媒体 - Google Patents

画像処理装置、画像処理方法、プログラム、および、記録媒体 Download PDF

Info

Publication number
JP5733570B2
JP5733570B2 JP2011115182A JP2011115182A JP5733570B2 JP 5733570 B2 JP5733570 B2 JP 5733570B2 JP 2011115182 A JP2011115182 A JP 2011115182A JP 2011115182 A JP2011115182 A JP 2011115182A JP 5733570 B2 JP5733570 B2 JP 5733570B2
Authority
JP
Japan
Prior art keywords
skin
pattern
epidermis
dermis
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011115182A
Other languages
English (en)
Other versions
JP2012239768A (ja
Inventor
雄介 中村
雄介 中村
信一郎 五味
信一郎 五味
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011115182A priority Critical patent/JP5733570B2/ja
Priority to US13/462,949 priority patent/US9122906B2/en
Priority to EP12167894.0A priority patent/EP2544150B1/en
Priority to CN201210161380.8A priority patent/CN102846309B/zh
Publication of JP2012239768A publication Critical patent/JP2012239768A/ja
Priority to US14/718,647 priority patent/US9639932B2/en
Application granted granted Critical
Publication of JP5733570B2 publication Critical patent/JP5733570B2/ja
Priority to US15/469,764 priority patent/US9990563B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Dermatology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本技術は、画像処理装置、画像処理方法、プログラム、および、記録媒体に関し、特に、肌のきめ状態を評価する場合に用いて好適な画像処理装置、画像処理方法、プログラム、および、記録媒体に関する。
従来、人の肌を撮影した肌画像の解析を行い、肌のきめの状態を評価する技術が提案されている。
例えば、肌画像における皮丘数によりきめの細かさを評価し、肌画像に対してフーリエ変換を施したフーリエ変換画像のスペクトル形状に基づいて、きめの方向性を評価することが提案されている(例えば、特許文献1参照)。
また、例えば、肌画像における毛穴の大きさ、皮溝の鮮明さ、皮丘の細かさ、および、皮丘の円形度に基づいて、肌のきめまたは毛穴の解析を行うことが提案されている(例えば、特許文献2参照)。
特開2006−61170号公報 特開2006−305184号公報
しかしながら、特許文献1に記載の発明では、きめの形については考慮されていないため、必ずしも正確に肌のきめの状態を評価できるとは限らない。また、特許文献2に記載の発明のように皮丘の円形度を考慮しても、皮丘の形状は千差万別であるため、必ずしも正確に肌のきめの状態を評価できるとは限らない。
本技術は、肌のきめの状態を評価できるようにするものである。
本技術の第1の側面の画像処理装置は、肌の表皮を撮影した表皮画像における表皮のパターンである表皮パターンを検出する表皮パターン検出部と、検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち後天的な要素を解析する後天的要素解析部と、検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち先天的な要素を解析する先天的要素解析部と、前記後天的要素の解析結果および前記先天的要素の解析結果に基づいて、肌のきめの状態を評価する評価部とを含む。
前記後天的要素解析部には、前記後天的要素として、前記表皮パターンの形状の均一性、前記表皮パターンのサイズの均一性、および、前記表皮パターンのエッジ方向の分布の均一性のうち少なくとも1つを解析させ、前記先天的要素解析部には、前記先天的要素として、単位面積当たりの前記表皮パターンの数を解析させるようにすることができる。
前記評価部には、前記後天的要素の解析結果に基づく評価値と、前記先天的要素の解析結果に基づく評価値とを重みを付けて加算することにより、肌のきめの状態を示す評価値を算出させるようにすることができる。
前記表皮パターンを、皮丘または皮溝により表皮に形成されるパターンとすることができる。
本技術の第1の側面の画像処理方法は、肌のきめの状態を評価する画像処理装置が、肌の表皮を撮影した表皮画像における表皮のパターンである表皮パターンを検出し、検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち後天的な要素を解析し、検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち先天的な要素を解析し、前記後天的要素の解析結果および前記先天的要素の解析結果に基づいて、肌のきめの状態を評価するステップを含む。
本技術の第1の側面のプログラムは、肌の表皮を撮影した表皮画像における表皮のパターンである表皮パターンを検出し、検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち後天的な要素を解析し、検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち先天的な要素を解析し、前記後天的要素の解析結果および前記先天的要素の解析結果に基づいて、肌のきめの状態を評価するステップを含む。
本技術の第2の側面の画像処理装置は、肌の表皮を撮影した表皮画像における表皮のパターンである表皮パターンを検出する表皮パターン検出部と、肌の真皮を撮影した真皮画像における真皮のパターンである真皮パターンを検出する真皮パターン検出部と、検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち後天的な要素を解析する後天的要素解析部と、検出された前記真皮パターンに基づいて、肌のきめの状態を示す要素のうち先天的な要素を解析する先天的要素解析部と、前記後天的要素の解析結果および前記先天的要素の解析結果に基づいて、肌のきめの状態を評価する評価部とを含む。
前記後天的要素解析部に、前記後天的要素として、前記表皮パターンの形状の均一性、前記表皮パターンのサイズの均一性、および、前記表皮パターンのエッジ方向の分布の均一性のうち少なくとも1つを解析させ、前記先天的要素解析部に、前記先天的要素として、前記真皮パターンの形状の均一性、前記真皮パターンのサイズの均一性、前記真皮パターンのエッジ方向の分布の均一性、および、単位面積当たりの前記真皮パターンの数のうち少なくとも1つを解析させるようにすることができる。
前記先天的要素解析部に、さらに、検出された前記表皮パターンに基づいて、前記先天的要素として、単位面積当たりの前記表皮パターンの数を解析させるようにすることができる。
前記先天的要素解析部に、さらに、検出された前記表皮パターンに基づいて、前記先天的要素として、単位面積当たりの前記表皮パターンの数を解析させるようにすることができる。
前記表皮パターンを、皮丘または皮溝により表皮に形成されるパターンとし、前記真皮パターンを、乳頭層により真皮に形成されるパターンとすることができる。
本技術の第2の側面の画像処理方法は、肌のきめの状態を評価する画像処理装置が、肌の表皮を撮影した表皮画像における表皮のパターンである表皮パターンを検出し、肌の真皮を撮影した真皮画像における真皮のパターンである真皮パターンを検出し、検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち後天的な要素を解析し、検出された前記真皮パターンに基づいて、肌のきめの状態を示す要素のうち先天的な要素を解析し、前記後天的要素の解析結果および前記先天的要素の解析結果に基づいて、肌のきめの状態を評価するステップを含む。
本技術の第2の側面のプログラムは、肌の表皮を撮影した表皮画像における表皮のパターンである表皮パターンを検出し、肌の真皮を撮影した真皮画像における真皮のパターンである真皮パターンを検出し、検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち後天的な要素を解析し、検出された前記真皮パターンに基づいて、肌のきめの状態を示す要素のうち先天的な要素を解析し、前記後天的要素の解析結果および前記先天的要素の解析結果に基づいて、肌のきめの状態を評価するステップを含む処理をコンピュータに実行させる。
本技術の第1の側面においては、肌の表皮を撮影した表皮画像における表皮のパターンである表皮パターンが検出され、検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち後天的な要素が解析され、検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち先天的な要素が解析され、前記後天的要素の解析結果および前記先天的要素の解析結果に基づいて、肌のきめの状態が評価される。
本技術の第2の側面においては、肌の表皮を撮影した表皮画像における表皮のパターンである表皮パターンが検出され、肌の真皮を撮影した真皮画像における真皮のパターンである真皮パターンが検出され、検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち後天的な要素が解析され、検出された前記真皮パターンに基づいて、肌のきめの状態を示す要素のうち先天的な要素が解析され、前記後天的要素の解析結果および前記先天的要素の解析結果に基づいて、肌のきめの状態が評価される。
本技術の第1又は第2の側面によれば、肌のきめの状態を評価することができる。
本技術を適用した画像処理システムの第1の実施の形態を示すブロック図である。 表皮画像処理部および表皮パターン検出部の構成例を示すブロック図である。 後天的要素解析部の構成例を示すブロック図である。 表皮方向性解析部の構成例を示すブロック図である。 きめ評価処理を説明するためのフローチャートである。 表皮画像処理を説明するためのフローチャートである。 表皮パターン検出処理を説明するためのフローチャートである。 ラベリング処理の具体例を説明するための図である。 後天的要素解析処理を説明するためのフローチャートである。 皮丘領域のサイズのヒストグラムの例を示す図である。 表皮サイズ分布評価値を算出するための正規化カーブの例を示す図である。 表皮形状分布解析処理1を説明するためのフローチャートである。 表皮形状分布評価値を算出するための正規化カーブの例を示す図である。 表皮形状分布解析処理2を説明するためのフローチャートである。 参照形状の例を示す図である。 本技術を適用した画像処理システムの第2の実施の形態を示すブロック図である。 先天的要素解析部の構成例を示すブロック図である。 きめ評価処理を説明するためのフローチャートである。 先天的要素解析処理を説明するためのフローチャートである。 皮丘数評価値を算出するための正規化カーブの例を示す図である。 肌のきめの状態の評価結果を提示するための画面の例を示す図である。 総合判定値を求めるための表の一例を示す図である。 肌のきめの状態の評価結果を提示するための画面の例を示す図である。 本技術を適用した画像処理システムの第3の実施の形態を示すブロック図である。 人の肌の皮膚組織の断面を示す模式図である。 真皮画像撮像部の構成例を示す図である。 先天的要素解析部の構成例を示すブロック図である。 きめ評価処理を説明するためのフローチャートである。 先天的要素解析処理を説明するためのフローチャートである。 コンピュータの構成例を示すブロック図である。
以下、本技術を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(後天的要素のみ解析を行う例)
2.第2の実施の形態(後天的要素と先天的要素の両方の解析を行う例)
3.第3の実施の形態(表皮と真皮の両方の解析を行う例)
4.変形例
<1.第1の実施の形態>
まず、図1乃至図15を参照して、本技術の第1の実施の形態について説明する。
[画像処理システム101の構成例]
図1は、本技術を適用した画像処理システムの第1の実施の形態である画像処理システム101の構成例を示すブロック図である。
画像処理システム101は、評価対象となる人(以下、被評価者と称する)の肌の表皮を撮影し、その結果得られた画像(以下、表皮画像と称する)に基づいて、被評価者の肌のきめ状態を評価するシステムである。
画像処理システム101は、表皮画像撮像部111、画像処理部112、および、表示部113を含むように構成される。
表皮画像撮像部111は、被評価者の肌の表皮を撮影し、その結果得られた表皮画像を画像処理部112の表皮画像処理部121に供給する。
なお、表皮画像撮像部111は、特定の種類の撮像装置に限定されるものではなく、任意の撮像装置を採用することができる。
ただし、表皮画像撮像部111は、マニュアルのフォーカス調整機能、被写体全体に一様に照明光を照射可能な光源(例えば、LED(Light Emitting Diode)等)、肌表面の構造を認識できる程度の撮影が可能なマクロレンズを備えることが望ましい。さらに、表皮画像撮像部111は、フォーカス位置を固定にして毎回撮影できるように、レンズの先に肌に密着させるアタッチメントを備えることが望ましい。この場合、外光の影響を防ぐためにアタッチメントに遮光機能を持たせてもよい。
なお、表皮画像撮像部111の光源の波長帯は、可視域(400-700nm)でよい。同様に、表皮画像撮像部111のイメージセンサの分光感度も可視域に感度がある通常のRGB対応のものでよい。ただし、短波長側に感度が高いものがより望ましい。
画像処理部112は、表皮画像に対してセグメンテーション(領域分割)を行い、その結果を元に、被評価者の肌のきめの評価を行う。
画像処理部112は、表皮画像処理部121、表皮パターン検出部、後天的要素解析部123、きめ評価部124、および、評価結果提示部125を含むように構成される。
表皮画像処理部121は、後述するように、補正やノイズ除去等の所定の画像処理を表皮画像に施し、画像処理後の表皮画像を、表皮パターン検出部122および後天的要素解析部123に供給する。
表皮パターン検出部122は、後述するように、皮丘または皮溝により表皮に形成されている表皮画像内の表皮のパターン(以下、表皮パターンと称する)を検出し、検出結果(以下、表皮パターン検出結果と称する)を後天的要素解析部123に供給する。
後天的要素解析部123は、後述するように、画像処理後の表皮画像、および、表皮パターン検出結果に基づいて、肌のきめの状態を示す要素のうち後天的な要素の解析を行う。後天的要素解析部123は、解析結果をきめ評価部124に供給する。
きめ評価部124は、後天的要素解析部123による解析結果に基づいて、被評価者の肌のきめの状態を評価し、評価結果を評価結果提示部125に供給する。
評価結果提示部125は、被評価者の肌のきめの状態の評価結果を示す情報を表示部113に表示させる。
表示部113は、特定の種類の表示装置に限定されるものではなく、任意の種類の表示装置を採用することができる。また、表示部113を、画像処理システム101専用に設けるようにしてもよいし、テレビジョン受像機や携帯電話機等の他の装置の表示装置を利用するようにしてもよい。
[表皮画像処理部121および表皮パターン検出部122の構成例]
図2は、表皮画像処理部121および表皮パターン検出部122の機能の構成例を示すブロック図である。
表皮画像処理部121は、画像補正部141、単一チャネル抽出部142、および、ノイズ除去部143を含むように構成される。また、表皮パターン検出部122は、2値化部151およびラベリング処理部152を含むように構成される。
画像補正部141は、表皮画像の歪み補正や縮小等の所定の画像補正を行い、補正後の表皮画像を単一チャネル抽出部142に供給する。
単一チャネル抽出部142は、補正した表皮画像から所定のチャネルの信号成分を抽出し、抽出した信号成分からなる表皮画像(以下、単一チャネル表皮画像と称する)をノイズ除去部143に供給する。
ノイズ除去部143は、単一チャネル表皮画像のノイズを除去し、ノイズ除去後の単一チャネル表皮画像(以下、ノイズ除去表皮画像と称する)を、表皮パターン検出部122の2値化部151および後天的要素解析部123に供給する。
2値化部151は、ノイズ除去表皮画像に対して2値化処理を行い、得られた2値化画像(以下、2値化表皮画像と称する)をラベリング処理部152に供給する。
ラベリング処理部152は、2値化表皮画像に対してラベリング処理を行うことにより、表皮パターンを検出する。より具体的には、ラベリング処理部152は、表皮画像内の皮丘の領域(以下、皮丘領域と称する)を表皮パターンとして検出する。また、ラベリング処理部152は、表皮画像内の皮丘領域の数をカウントする。そして、ラベリング処理部152は、皮丘領域および皮丘数の検出結果を示す表皮パターン検出結果を後天的要素解析部123に供給する。
[後天的要素解析部123の構成例]
図3は、後天的要素解析部123の機能の構成例を示すブロック図である。後天的要素解析部123は、表皮サイズ分布解析部171、表皮形状分布解析部172、表皮形状分布解析部173、および、表皮方向性解析部174を含むように構成される。
表皮サイズ分布解析部171は、表皮パターンのサイズの分布を解析する。より具体的には、表皮サイズ分布解析部171は、皮丘領域のサイズの分布を解析し、皮丘領域のサイズの均一性を表す表皮サイズ分布評価値を算出する。表皮サイズ分布解析部171は、算出した表皮サイズ分布評価値をきめ評価部124に供給する。
表皮形状分布解析部172は、表皮パターンの形状の分布を解析する。より具体的には、表皮形状分布解析部172は、皮丘領域の形状の分布を解析し、皮丘領域の形状の均一性を表す表皮形状分布評価値を算出する。表皮形状分布解析部172は、算出した表皮形状分布評価値をきめ評価部124に供給する。
表皮形状分布解析部173は、表皮形状分布解析部172とは異なる観点で、表皮パターンの形状の分布を解析する。より具体的には、表皮形状分布解析部173は、各皮丘領域と所定の参照形状とを比較し、各参照形状に近い形状を有する皮丘領域の割合を示す表皮形状分布情報を求める。表皮形状分布解析部173は、求めた表皮形状分布情報をきめ評価部124に供給する。
表皮方向性解析部174は、表皮パターンの方向性を解析する。より具体的には、表皮方向性解析部174は、皮丘領域のエッジ方向の分布を解析し、皮丘領域のエッジ方向の分布の均一性を表す表皮方向性評価値を算出する。表皮方向性解析部174は、算出した表皮方向性評価値をきめ評価部124に供給する。
なお、皮丘のサイズ、形状、エッジ方向は、加齢、健康状態、肌の手入れ等により後天的に変化する。従って、表皮サイズ分布評価値、表皮形状分布評価値、表皮形状分布情報、および、表皮方向性評価値は、肌のきめの状態の後天的性質を評価するための指標となる。
[表皮方向性解析部174の構成例]
図4は、表皮方向性解析部174の機能の構成例を示すブロック図を示している。
表皮方向性解析部174は、4方向フィルタリング部181、絶対値和演算部182、加算部183、除算部184、および、評価値算出部185を含むように構成される。
4方向フィルタリング部181は、ノイズ除去表皮画像に対して、0度、45度、90度、135度の4方向のエッジフィルタを適用する。そして、4方向フィルタリング部181は、その結果得られた4つのフィルタ出力画像を絶対値和演算部182に供給する。
絶対値和演算部182は、4つのフィルタ出力画像のそれぞれについて、画像内の画素値の絶対値和を計算する。そして、絶対値和演算部182は、4つのフィルタ出力画像の画素値の絶対値和を加算部183および除算部184に供給する。
加算部183は、各フィルタ出力画像の画素値の絶対値和を積算し、得られた積算値を除算部184に供給する。
除算部184は、各フィルタ出力画像の画素値の絶対値和を、それぞれ加算部183から供給される積算値で除算し、得られた値を評価値算出部185に供給する。
評価値算出部185は、除算部184により算出された算出値に基づいて、表皮方向性評価値を算出し、算出した表皮方向性評価値をきめ評価部124に供給する。
[きめ評価処理]
次に、図5のフローチャートを参照して、画像処理システム101により実行されるきめ評価処理について説明する。
なお、この処理は、例えば、画像処理システム101の図示せぬ入力部を介して、きめ評価処理の実行の指令が入力されたとき開始される。
ステップS1において、表皮画像撮像部111は、表皮画像を撮影する。すなわち、表皮画像撮像部111は、被評価者の評価する部位(例えば、頬、額など)の肌の表皮を撮影し、その結果得られた表皮画像を画像補正部141に供給する。
ステップS2において、表皮画像処理部121は、表皮画像処理を行う。
[表皮画像処理]
ここで、図6のフローチャートを参照して、表皮画像処理の詳細について説明する。
ステップS21において、画像補正部141は、画像の補正を行う。例えば、表皮画像の周縁部には、シェーディング歪みやレンズ歪みなどが発生していると考えられる。そこで、画像補正部141は、例えば、表皮画像に対してシェーディング補正やレンズ歪補正を行ったり、表皮画像の中央の領域を切り出したりする。
また、画像補正部141は、例えば、処理コストを下げるために、補正後の画像を縮小する。
なお、以下、特に断りのない限り、補正後の表皮画像のサイズを縦160画素×横120画素とする。
画像補正部141は、補正後の表皮画像を単一チャネル抽出部142に供給する。
ステップS22において、単一チャネル抽出部142は、補正した表皮画像から所定のチャネルの信号成分を抽出する。例えば、単一チャネル抽出部142は、補正した表皮画像からB(Blue)チャネルの信号成分を抽出する。そして、単一チャネル抽出部142は、抽出した信号成分からなる単一チャネル表皮画像をノイズ除去部143に供給する。
なお、表皮画像撮像部111として分光カメラが用いられる場合、この処理を省略することが可能である。
ステップS23において、ノイズ除去部143は、単一チャネル表皮画像のノイズを除去する。例えば、ノイズ除去部143は、単一チャネル表皮画像に対して平滑化フィルタを適用する。
より具体的には、ノイズ除去部143は、例えば、ランダムノイズや、皮丘、皮溝上のテクスチャ成分を除去するために、単一チャネル表皮画像に対してエッジ保存型平滑化フィルタを適用する。このエッジ保存型平滑化フィルタには、例えば、kernelサイズが3×3画素、σspace=15、σcolor=15のバイラテラルフィルタが用いられる。
次に、ノイズ除去部143は、例えば、汗腺などの影響による高輝度領域や鏡面反射成分を除去するために、単一チャネル表皮画像に対して孤立点除去フィルタを適用する。この孤立点除フィルタには、例えば、3×3画素のメディアンフィルタが用いられる。
なお、これらのノイズ除去の処理は撮影環境や表皮画像撮像部111の性能に大きく依存するため、それらに応じて、適用するフィルタ、パラメータなどを適宜変更することが望ましい。
そして、ノイズ除去部143は、ノイズ除去後の単一チャンネル表皮画像であるノイズ除去表皮画像を、表皮パターン検出部122の2値化部151、および、後天的要素解析部123の表皮方向性解析部174に供給する。
その後、表皮画像処理は終了する。
図5に戻り、ステップS3において、表皮パターン検出部122は、表皮パターン検出処理を行う。
[表皮パターン検出処理]
ここで、図7のフローチャートを参照して、表皮パターン検出処理の詳細について説明する。
ステップS41において、2値化部151は、2値化処理を行う。具体的には、2値化部151は、一様な光源下において、表皮画像の明るい領域は手前にある皮丘、暗い領域は奥にある皮溝であるという前提のもと、皮丘、皮溝のセグメンテーションを行うために、ノイズ除去表皮画像を2値化する。
例えば、2値化部151は、シェーディングなどの外光の影響をさらに減少させるために、ノイズ除去表皮画像に対して領域適応型2値化処理を行う。例えば、2値化部151は、次式(1a)および(1b)に基づいて、近傍領域に対してガウシアンを重みとして総和をとり、そこから所定の値bin_paramを引いた値を閾値として、ノイズ除去表皮画像を2値化する。
Figure 0005733570
I(x,y)は、ノイズ除去表皮画像の座標(x,y)の画素の画素値を示し、G(x,y)は、ガウシアン関数を示し、Ibin(x,y)は、2値化表皮画像の座標(x,y)の画素の画素値を示している。また、Ibは黒の画素値を示し、Iwは白の画素値を示している。
なお、bin_paramは、表皮画像内の皮丘領域と皮溝領域を適切に分離できるように、適切な値に設定される。
2値化部151は、注目ブロックを1画素ずつずらしながら、ノイズ除去表示画像の全画素に対して2値化を行い、2値化表皮画像を生成する。そして、2値化部151は、生成した2値化表皮画像をラベリング処理部152に供給する。
ステップS42において、ラベリング処理部152は、2値化表皮画像に対して、外側から4連結または8連結によるラベリング処理を行う。ここで、ラベリング処理部152は、最も外側の白の輪郭で囲まれる領域を1つの領域として検出し、その内側に黒色の領域や、白の輪郭で囲まれる領域が存在しても無視する。
例えば、図8に示されるように、2値化表皮画像内に白の輪郭で囲まれる領域の内側に黒の領域が存在する領域A1およびA2が存在する場合、まず、4連結のラベリング処理により、領域A1と領域A2が個別に認識される。さらに、領域A1および領域A2内の黒の領域が無視された結果、3×3画素の領域R1および領域R2が、それぞれ1つの領域として認識され、ラベルが付与される。
これにより、例えば、皮丘の内側の凹み等により暗くなる領域が無視され、皮丘領域を正確に検出することが可能になる。
なお、以下、ラベリング処理によりラベルが付与された領域をラベリング領域と称する。
また、一般的な人の肌において、皮溝の間隔は0.25〜0.5mmとされる。皮丘の形状が三角形または四角形が多いことを考慮すると、皮丘の面積は0.031〜0.25mm2程度になると考えられる。
そこで、ラベリング処理部152は、表皮画像撮像部111のイメージセンサのサイズ等に基づいて、表皮画像における皮丘のサイズの適正範囲を求める。そして、ラベリング処理部152は、検出したラベリング領域の中から、求めた適正範囲内のサイズの領域を皮丘領域として検出する。
また、ラベリング処理部152は、検出した皮丘領域の数を、皮丘数Nridgeとしてカウントする。
そして、ラベリング処理部152は、皮丘領域および皮丘数Nridgeの検出結果を示す表皮パターン検出結果を、後天的要素解析部123の表皮サイズ分布解析部171、表皮形状分布分析部172、および、表皮形状分布解析部173に供給する。
図5に戻り、ステップS4において、後天的要素解析部123は、後天的要素解析処理を行う。
[後天的要素解析処理]
ここで、図9のフローチャートを参照して、後天的要素解析処理の詳細について説明する。
ステップS61において、表皮サイズ分布解析部171は、表皮パターンのサイズの分布を解析する。
具体的には、まず、表皮サイズ分布解析部171は、皮丘領域のサイズのヒストグラムを作成する。図10は、皮丘領域のサイズ(面積)のヒストグラムの例を示している。図内の横軸は、皮丘領域のサイズを示し、縦軸はヒストグラムの各ビンの度数frqnを示している。
次に、表皮サイズ分布解析部171は、次式(2)により、皮丘領域のサイズの平均値Havgを算出する。
Figure 0005733570
なお、nは各ビンの中央値を示している。
また、表皮サイズ分布解析部171は、次式(3)により、皮丘領域のサイズの分散Hvarを算出する。
Figure 0005733570
さらに、表皮サイズ分布解析部171は、図11に示される正規化カーブにより、分散Hvarを0から1の範囲内に正規化した表皮サイズ分布評価値Eevalsizeを算出する。ここで、図中、Size_th_minおよびSize_th_maxは、それぞれ正規化カーブを決定する閾値である。
表皮サイズ分布評価値Eevalsizeは、皮丘領域のサイズの分散Hvarが小さくなるほど大きくなる。すなわち、表皮サイズ分布評価値Eevalsizeは、皮丘領域のサイズのバラツキが小さくなるほど大きくなる。従って、表皮サイズ分布評価値Eevalsizeは、皮丘領域のサイズの均一性を表す指標となる。
表皮サイズ分布解析部171は、表皮サイズ分布評価値Eevalsizeをきめ評価部124に供給する。
ステップS62において、表皮形状分布解析部172は、表皮形状分布解析処理1を行う。
[表皮形状分布解析処理1]
ここで、図12のフローチャートを参照して、ステップS62の表皮形状分布解析処理1の詳細について説明する。
ステップS81において、表皮形状分布解析部172は、基準領域を選択する。すなわち、表皮形状分布解析部172は、まだ基準領域に設定していない皮丘領域を1つ選択し、基準領域に設定する。
ステップS82において、表皮形状分布解析部172は、比較領域を選択する。すなわち、表皮形状分布解析部172は、まだ基準領域との形状の比較を行っていない皮丘領域を1つ選択し、比較領域に設定する。
ステップS83において、表皮形状分布解析部172は、基準領域と比較領域の形状の相違度を算出する。
例えば、表皮形状分布解析部172は、基準領域と比較領域の形状をHuモーメント不変量により数値化し、その数値化した値に基づいて、基準領域と比較領域の形状の相違度を算出する。
ここで、Huモーメント不変量について簡単に説明する。
まず、画像の原点を中心とした画素の分散値を表す画像モーメントMpqを、次式(4)により算出する。
Figure 0005733570
画像モーメントMpqは、大きな値の画素値が原点から離れた位置に散らばるほど、大きくなる。
なお、式(4)におけるpはX軸方向に対する重みを表し、qはY軸方向に対する重みを表している。従って、pの値が大きくなればX軸方向への分散に対する重みが増し、qの値が大きくなればY軸方向への分散に対する重みが増すことになる。
次に、像内の画素値におけるX軸およびY軸方向に対する重心を考慮した分散を表す中心モーメント(重心モーメント)μpqを、次式(5)により算出する。
Figure 0005733570
ここで、xc,、ycは、次式(6a)および(6b)により表され、それぞれ形状のX軸方向、Y軸方向の重心位置を表す。
Figure 0005733570
最後に、次式(7)により、中心モーメントμpqを画像モーメントMpqにより正規化することにより、正規重心モーメントηpqを求める。
Figure 0005733570
この正規化により、分散の広がり具合がモーメントの値に影響しなくなるため、正規重心モーメントηpqは、画像内のオブジェクトの平行移動または回転移動や、画像サイズに対して不変となる。
Huモーメント不変量は、この正規重心モーメントηpqを組み合わせたものであり、次式(8a)乃至(8g)のように定義される。
Figure 0005733570
なお、Huモーメント不変量の詳細については、例えば、「M-K. Hu. "Visual pattern recognition by moment invariants", IRE Trans.action on Information Theory, 1962年2月, Volume 8、pp. 179-187」に記載されている。
表皮形状分布解析部172は、式(4)乃至式(8g)に基づいて、基準領域のHuモーメント量hA iおよび比較領域のHuモーメント量hB iを算出する。ただし、式(4)および式(5)において、画素値I(x,y)の代わりに、2値化表皮画像の画素値Ibin(x,y)が用いられる。
そして、表皮形状分布解析部172は、次式(9a)により、基準領域(領域A)と比較領域(領域B)の形状の相違度D(A,B)を算出する。
Figure 0005733570
ここで、mA i およびmB iは、次式(10)により表される量である。
Figure 0005733570
なお、式(9a)の代わりに、次式(9b)または(9c)により、相違度D(A,B)を算出するようにしてもよい。
Figure 0005733570
式(9a)乃至式(9c)のいずれの相違度D(A,B)も、基準領域と比較領域の形状が近いほど小さくなる。
ステップS84において、表皮形状分布解析部172は、相違度を積算する。すなわち、表皮形状分布解析部172は、これまでの各皮丘領域の相違度の積算値に、新たに算出した相違度を加算する。
ステップS85において、表皮形状分布解析部172は、基準領域と比較していない皮丘領域が残っているか否かを判定する。基準領域と比較していない皮丘領域が残っていると判定された場合、処理はステップS82に戻る。
その後、ステップS85において、基準領域と比較していない皮丘領域が残っていないと判定されるまで、ステップS82乃至S85の処理が繰り返し実行される。
一方、ステップS85において、基準領域と比較していない皮丘領域が残っていないと判定された場合、処理はステップS86に進む。
ステップS86において、表皮形状分布解析部172は、基準領域に設定していない皮丘領域が残っているか否かを判定する。基準領域に設定していない皮丘領域が残っていると判定された場合、処理はステップS81に戻る。
その後、ステップS86において、基準領域に設定していない皮丘領域が残っていないと判定されるまで、ステップS81乃至S86の処理が繰り返し実行される。これにより、全ての皮丘領域の組み合わせについて相違度が算出され、さらに、相違度の累積加算値が算出される。
一方、ステップS86において、基準領域に設定していない皮丘領域が残っていないと判定された場合、処理はステップS87に進む。
ステップS87において、表皮形状分布解析部172は、次式(11)により、相違度の平均Diffavgを算出する。
Figure 0005733570
なお、Ri、Rjは、それぞれラベルiおよびラベルjの皮丘領域を表す。従って、式(11)の右辺の分母は、全ての皮丘領域の組み合わせの形状の相違度の累積加算値となる。また、Ncompは、次式(12)により求められ、皮丘領域の形状の比較数を表す。
Figure 0005733570
ステップS88において、表皮形状分布解析部172は、評価値を算出する。具体的には、表皮形状分布解析部172は、図13に示される正規化カーブにより、相違度の平均Diffavgを0から1の範囲内に正規化した表皮形状分布評価値Eevalshapeを算出する。ここで、図中、Shape_th_minおよびShape_th_maxは、それぞれ正規化カーブを決定する閾値である。
表皮形状分布評価値Eevalshapeは、皮丘領域の形状の相違度の平均Diffavgが小さくなるほど大きくなる。すなわち、表皮形状分布評価値Eevalshapeは、皮丘領域の形状のバラツキが小さくなるほど大きくなる。従って、表皮形状分布評価値Eevalshapeは、皮丘領域の形状の均一性を表す指標となる。
表皮形状分布解析部172は、表皮形状分布評価値Eevalshapeをきめ評価部124に供給する。
その後、表皮形状分布解析処理1は終了する。
図9に戻り、ステップS63において、表皮形状分布解析部173は、表皮形状分布解析処理2を行う。
[表皮形状分布解析処理2]
ここで、図14のフローチャートを参照して、ステップS63の表皮形状分布解析処理2の詳細について説明する。
ステップS101において、表皮形状分布解析部173は、参照形状を選択する。
皮丘の形状は、一般的に三角形、または菱形が理想的とされている。一方、二股以上に分かれているような形状、細長い形状のものは、理想的でないと考えられる。
そこで、表皮形状分布解析部173は、例えば、図15に示されるShape0乃至Shape3を参照形状に設定する。参照形状Shape0およびShape1は、それぞれ三角形および菱形とされ、理想的な皮丘の形状に近い。一方、参照形状Shape2およびShape3は、二股に分かれた形状および細長い形状であり、理想的でない皮丘の形状に近い。
そして、表皮形状分布解析部173は、まだ皮丘領域との比較を行っていない参照形状を1つ選択する。
ステップS102において、表皮形状分布解析部173は、比較領域を選択する。すなわち、表皮形状分布解析部172は、まだ参照形状との比較を行っていない皮丘領域を1つ選択し、比較領域に設定する。
ステップS103において、表皮形状分布解析部173は、参照形状と比較領域の形状の相違度を算出する。なお、ここでの相違度の算出には、上述した図12のステップS83における、皮丘領域の基準領域と比較領域の相違度の算出と同様の方法が用いられる。
ステップS104において、表皮形状分布解析部173は、相違度を積算する。すなわち、表皮形状分布解析部173は、現在の参照形状に対する各皮丘領域の相違度のこれまでの積算値に、新たに算出した相違度を加算する。
ステップS105において、表皮形状分布解析部173は、現在の参照形状と比較していない皮丘領域が残っているか否かを判定する。現在の参照形状と比較していない皮丘領域が残っていると判定された場合、処理はステップS102に戻る。
その後、ステップS105において、現在の参照形状と比較していない皮丘領域が残っていないと判定されるまで、ステップS102乃至S105の処理が繰り返し実行される。
一方、ステップS105において、現在の参照形状と比較していない皮丘領域が残っていないと判定された場合、処理はステップS106に進む。
ステップS106において、表皮形状分布解析部173は、比較していない参照形状が残っているか否かを判定する。比較していない参照形状が残っていると判定された場合、処理はステップS101に戻る。
その後、ステップS106において、比較していない参照形状が残っていないと判定されるまで、ステップS101乃至S106の処理が繰り返し実行される。これにより、次式(13)に示されるように、各参照形状について、各皮丘領域との形状の相違度の累積加算値Diffiが算出される。
Figure 0005733570
なお、Siは、IDの値がiの参照形状を表す。
一方、ステップS106において、比較していない参照形状が残っていないと判定された場合、処理はステップS107に進む。
ステップS107において、表皮形状分布解析部173は、皮丘領域の形状の割合を算出する。具体的には、表皮形状分布解析部173は、次式(14)により、皮丘領域の形状の割合を示す表皮形状分布情報ShapeRatioiを算出する。
Figure 0005733570
ここで、NRSは参照形状の総数を表している。
従って、表皮形状分布情報ShapeRatioiは、IDの値がiの参照形状に近い形状を有する皮丘領域の割合を示す。
表皮形状分布解析部172は、表皮形状分布情報ShapeRatioiをきめ評価部124に供給する。
その後、表皮形状分布解析処理2は終了する。
図9に戻り、ステップS64において、表皮方向性解析部174は、表皮パターンの方向性を解析する。
具体的には、表皮方向性解析部174の4方向フィルタリング部181は、例えば、次式(15a)乃至(15d)に示される4方向のフィルタf0乃至f3を、式(16)に示すように、ノイズ除去表皮画像にそれぞれ適用する。
Figure 0005733570
なお、フィルタf0は0度方向(水平方向)、フィルタf1は45度方向、フィルタf2は90度方向(垂直方向)、フィルタf3は135度方向のエッジ抽出フィルタである。また、ILPFは、ノイズ除去表皮画像を表し、IHPFiは、ノイズ除去表皮画像ILPFにフィルタfiを適用することにより得られるフィルタ出力画像を表す。
4方向フィルタリング部181は、フィルタ出力画像IHPFiを絶対値和積算部182に供給する。
次に、絶対値和積算部182は、次式(17)により、各フィルタ出力画像IHPFiについて、画像内の画素値IHPFi(x,y)の絶対値和Siを算出する。
Figure 0005733570
絶対値和積算部182は、得られた絶対値和siを加算部183および除算部184に供給する。
加算部183は、絶対値和siを積算し、得られた積算値Σsiを除算部184に供給する。
除算部184は、各絶対値和siをそれぞれ積算値Σsiで除算し、得られた値si/Σsiを評価値算出部185に供給する。
そして、評価値算出部185は、次式(18)により、表皮方向性評価値Eevaldirectionを算出する。
Figure 0005733570
なお、gainはゲイン値であり、所定の値に設定される。
ここで、皮丘領域のエッジ方向が縦、横、斜め(0度、45度、90度、135度)の4方向に均一に分布している場合、si/Σsiは、それぞれ1/4となり、表皮方向性評価値Eevaldirectionは1となる。一方、皮丘領域のエッジ方向が4方向に均一に分布していない場合、si/Σsiのうち少なくとも1つが1/4とならないため、表皮方向性評価値Eevaldirectionは1よりよりも小さくなる。従って、表皮方向性評価値Eevalshapeは、皮丘領域のエッジ方向の分布の均一性を表す指標となる。
評価値算出部185は、表皮方向性評価値Eevaldirectionをきめ評価部124に供給する。
その後、後天的要素解析処理は終了する。
図5に戻り、ステップS5において、きめ評価部124は、きめ評価値を算出する。
例えば、きめ評価部124は、次式(19)により、きめ評価値eval1totalを算出する。
eval1total=Eevalsize×Eevalshape×Eevaldirection ・・・(19)
きめ評価値eval1totalは、皮丘のサイズの均一性、皮丘の形状の均一性、皮丘の方向の分布の均一性がそれぞれ高いほど、すなわち、きめが全体的に整っているほど(きめの均一性が高いほど)大きくなる。また、皮丘のサイズの均一性、皮丘の形状の均一性、皮丘の方向の分布の均一性は、加齢、健康状態、手入れの状態等により後天的に変化する。従って、きめ評価値eval1totalは、後天的に変化する肌のきめの均一性を評価する指標となる。
このきめの均一性は、きめの細かさと同様に、肌の美観に大きく影響する。すなわち、きめが細かくても、きめが全体的に整っていなければ、肌の見た目が悪くなる一方、きめが細かくなくても、きめが全体的に整っていれば、肌の見た目が良くなる。
また、きめ評価値eval1totalの代わりに、あるいは、きめ評価値eval1totalとともに、次式(20)により、きめ評価値eval2totalを算出するようにしてもよい。
eval2total=Eevalsize×Eevalshape×Eevaldirection×ShapeRatioideal ・・・(20)
ShapeRatioidealは、例えば、次式(21)により算出される。
ShapeRatioideal=ShapeRatio0×ShapeRatio1 ・・・(21)
ShapeRatio0は図15の三角形の参照形状Shape0に対するShapeRatioであり、ShapeRatio1は図15の菱形の参照形状Shape1に対するShapeRatioである。すなわち、ShapeRatioidealは、皮丘領域が理想的な形状とされる三角形または菱形の形状を有する割合を示している。
従って、eval2totalは、きめの均一性に加えて、理想的な形状の皮丘の割合が高いほど大きくなる。ゆえに、きめ評価値eval2totalは、きめ評価値eval1totalと比較して、肌のきめ状態に影響を与える後天的な要素をより詳細に評価する指標となる。
そして、きめ評価部124は、肌のきめの状態の評価結果を評価結果提示部125に供給する。このとき、きめ評価部124は、きめ評価値eval1totalおよびきめ評価値eval2totalだけでなく、それらの算出に用いた各評価値も評価結果提示部125に供給する。
ステップS6において、評価結果提示部125は、評価結果を提示する。なお、評価結果の提示方法の具体例については、本技術の第2の実施の形態で説明する。
その後、きめ評価処理は終了する。
以上のようにして、肌のきめの状態を示す後天的要素であるきめの均一性、および、皮丘の形状に基づいて、肌のきめの状態を評価することができる。その結果、より正確に肌のきめの状態を評価することができる。
<2.第2の実施の形態>
次に、図16乃至図23を参照して、本技術の第2の実施の形態について説明する。第2の実施の形態では、後天的要素だけでなく先天的要素を解析して、肌のきめの状態を評価する。
[画像処理システム201の構成例]
図16は、本技術を適用した画像処理システムの第2の実施の形態である画像処理システム201の構成例を示すブロック図である。なお、図中、図1と対応する部分には同じ符号を付してあり、処理が同じ部分については、その説明は繰り返しになるので適宜省略する。
画像処理システム201は、図1の画像処理システム101と比較して、画像処理部112の代わりに画像処理部211が設けられている点が異なる。また、画像処理部211は、画像処理部112と比較して、先天的要素解析部221が追加され、きめ評価部124および評価結果提示部125の代わりに、きめ評価部222および評価結果提示部223が設けられている点が異なる。
先天的要素解析部221は、後述するように、表皮パターン検出結果に基づいて、肌のきめの状態を示す要素のうち先天的な要素の解析を行う。先天的要素解析部221は、解析結果をきめ評価部222に供給する。
きめ評価部222は、後天的要素解析部123による解析結果、および、先天的要素解析部221による解析結果に基づいて、被評価者の肌のきめの状態を評価し、評価結果を評価結果提示部223に供給する。
評価結果提示部223は、被評価者の肌のきめの状態の評価結果を示す情報を表示部113に表示させる。
[先天的要素解析部221の構成例]
図17は、先天的要素解析部221の構成例示すブロック図である。
先天的要素解析部221は、皮丘数解析部241を含むように構成される。
皮丘数解析部241は、表皮パターン検出部122のラベリング処理部152から表皮パターン検出結果を取得する。そして、皮丘数解析部241は、表皮パターン検出結果に含まれる皮丘数Nridgeに基づいて、肌のきめの細かさを示す指標となる皮丘数評価値を算出する。皮丘数解析部241は、算出した皮丘数評価値をきめ評価部222に供給する。
なお、皮丘数Nridgeは、先天的なものであり、加齢、健康状態、肌の手入れ等による変化が小さいことが知られている。従って、皮丘数評価値は、肌のきめの状態の先天的性質を評価するための指標となる。
[きめ評価処理]
次に、図18のフローチャートを参照して、画像処理システム201により実行されるきめ評価処理について説明する。
なお、この処理は、例えば、画像処理システム201の図示せぬ入力部を介して、きめ評価処理の実行の指令が入力されたとき開始される。
ステップS201乃至S204の処理は、図5のステップS1乃至S4の処理と同様であり、その説明は繰り返しになるので省略する。
ステップS205において、先天的要素解析部221は、先天的要素解析処理を行う。
[先天的要素解析処理]
ここで、図19のフローチャートを参照して、先天的要素解析処理の詳細について説明する。
ステップS221において、先天的要素解析部221の皮丘数解析部241は、皮丘数を解析する。具体的には、皮丘数解析部241は、表皮パターン検出部122のラベリング処理部152により検出された皮丘数Nridgeを、図20に示される正規化カーブにより、0から1の範囲内に正規化した皮丘数評価値Eevalnumを算出する。ここで、図中、Num_th_minおよびNum_th_maxは、それぞれ正規化カーブを決定する閾値である。
皮丘数評価値Eevalnumは、皮丘数Nridgeが大きくなるほど大きくなる。また、皮丘数Nridgeは、表皮画像内の皮丘数(すなわち、単位面積当たりの皮丘数)を表すので、皮丘数Nridgeが大きくなるほど、肌のきめが細かいと言える。従って、皮丘数評価値Eevalnumは、肌のきめの細かさを表す指標となる。
皮丘数解析部241は、皮丘数評価値Eevalnumをきめ評価部222に供給する。
その後、先天的要素解析処理は終了する。
図18に戻り、ステップS206において、きめ評価部222は、きめ評価値を算出する。
例えば、きめ評価部222は、次式(22)により、きめ評価値eval3totalを算出する。
eval3total=αinherent×Eevalnum+(1−αinherent)×eval1total ・・・(22)
なお、αinherentは、肌のきめの状態に先天的要素が影響を及ぼす割合を示す重みであり、0〜1の範囲内で設定される。なお、この重みαinherentは、例えば、性別、人種、年齢など重みαinherentに影響を及ぼすと推定される要素に応じて、適切な値に自動設定されるようにすることが望ましい。
また、式(22)のきめ評価値eval1totalは、上述したように、式(19)に基づいて算出される。
きめ評価値eval3totalは、肌のきめの状態の後天的性質だけでなく、きめの細かさという先天的性質も評価した値になる。従って、きめ評価値eval3totalは、きめ評価値eval1totalと比較して、肌のきめの状態をより詳細に評価する指標となる。
なお、式(22)において、きめ評価値eval1totalの代わりに、式(20)のきめ評価値eval2totalを用いるようにしてもよい。
そして、きめ評価部222は、肌のきめの状態の評価結果を評価結果提示部223に供給する。このとき、きめ評価部222は、きめ評価値eval3totalだけでなく、きめ評価値eval3totalの算出に用いた各評価値も評価結果提示部223に供給する。
ステップS207において、評価結果提示部223は、評価結果を提示する。
例えば、評価結果提示部223は、図21に示される画面を表示部113に表示させる。この例では、前回と今回の皮丘のサイズの均一性、皮丘の形状の均一性、皮丘の方向の分布の均一性、並びに、きめの細かさの評価値を個々に比較して示すレーダチャートが示されている。このレーダチャートの値には、表皮サイズ分布評価値Eevalsize、表皮形状分布評価値Eevalshape、表皮方向性評価値Eevaldirection、皮丘数評価値Eevalnumが、それぞれ用いられる。
また、この例では、前回と今回の肌のきめの状態の総合判定の変化が示されている。この総合判定値は、例えば、図22に示される表を用いて、きめ評価値eval3totalに基づいて決定される。すなわち、きめ評価値eval3totalが大きくなるほど、高い評価が与えられる。
これにより、被評価者は、自分の肌の状態を瞬時に知ることができ、なおかつ、前回の評価時からの変化も知ることができる。
また、図23に示されるように、表皮形状分布情報ShapeRatioiに基づいて、皮丘の形状の分布を示す円グラフを、あわせて提示するようにしてもよい。
その後、きめ評価処理は終了する。
以上のようにして、肌のきめの状態の後天的性質と先天的性質を分けて評価することができる。また、後天的性質と先天的性質の両方に基づいて、より詳細に肌のきめの状態を評価することができる。その結果、より正確に肌のきめの状態を評価することができる。
<3.第3の実施の形態>
次に、図24乃至図29を参照して、本技術の第3の実施の形態について説明する。第3の実施の形態では、表皮だけでなく真皮の状態も解析して、肌のきめの状態を評価する。
[画像処理システム301の構成例]
図24は、本技術を適用した画像処理システムの第3の実施の形態である画像処理システム301の構成例を示すブロック図である。なお、図中、図16と対応する部分には同じ符号を付してあり、処理が同じ部分については、その説明は繰り返しになるため省略する。
画像処理システム301は、後述するように、表皮のパターンだけでなく、真皮のパターンも検出して、肌の評価を行う。
[画像処理システム301の構成例]
図24は、本技術を適用した画像処理システムの第3の実施の形態である画像処理システム301の構成例を示すブロック図である。なお、図中、図16と対応する部分には同じ符号を付してあり、処理が同じ部分については、その説明は繰り返しになるので適宜省略する。
画像処理システム301は、図16の画像処理システム201と比較して、真皮画像撮像部311が追加され、画像処理部211の代わりに画像処理部312が設けられている点が異なる。また、画像処理部312は、画像処理部211と比較して、真皮画像処理部321および真皮パターン検出部322が追加され、先天的要素解析部221、きめ評価部222および評価結果提示部223の代わりに、先天的要素解析部323、きめ評価部324および評価結果提示部325が設けられている点が異なる。
真皮画像撮像部311は、後述するように、被評価者の肌の真皮を撮影し、その結果得られた真皮画像を画像処理部312の真皮画像処理部321に供給する。
真皮画像処理部321は、図2に示される表皮画像処理部121と同様の構成を有している。従って、真皮画像処理部321は、真皮画像に対して画像補正、単一チャネルの抽出、および、ノイズ除去を行う。そして、真皮画像処理部321は、その結果得られたノイズ除去真皮画像を、真皮パターン検出部322および先天的要素解析部323に供給する。
真皮パターン検出部322は、図2に示される表皮パターン検出部122と同様の構成を有している。従って、真皮パターン検出部322は、ノイズ除去真皮画像に対して2値化処理およびラベリング処理を行い、真皮画像内の真皮のパターン(以下、真皮パターンと称する)を検出する。
ここで、図25を参照して、真皮パターン検出部322により検出される真皮パターンの例について説明する。
図25は、人の肌の皮膚組織の断面を示す模式図である。
皮膚組織は、大別して表皮351と真皮352とからなる。表皮351は、角質層361、透明層362、顆粒層363、有棘層364、基底層365、および、基底膜366から構成される。一方、真皮352は、乳頭層371、乳頭下層372、および、網状層(不図示)から構成される。
表皮351と真皮352とでは、構成する組織が異なり、例えば、真皮352には、コラーゲンや弾性繊維等の表皮351には存在しない組織が存在する。従って、表皮351と真皮352とでは、光学特性が異なる。例えば、表皮351は、可視光の赤や近赤外線よりも長波長の帯域の光に対する透過性が高い一方、真皮352は、同じ波長帯の光に対する透過性が低い。
真皮画像撮像部311は、後述するように、この表皮351と真皮352の光学特性の違いを利用して、真皮352を撮影する。そして、真皮パターン検出部322は、基底膜366により表皮組織と接する組織である乳頭層371により主に構成される凹凸状の隆起パターンの領域(以下、乳頭層領域と称する)を真皮パターンとして検出する。
また、真皮パターン検出部322は、真皮画像内の乳頭層領域の数(以下、真皮パターン数と称する)をカウントする。そして、真皮パターン検出部322は、乳頭層領域および真皮パターン数の検出結果を示す真皮パターン検出結果を先天的要素解析部323に供給する。
先天的要素解析部323は、後述するように、表皮パターン検出結果および真皮パターン検出結果に基づいて、肌のきめの状態を示す要素のうち先天的な要素の解析を行う。先天的要素解析部323は、解析結果をきめ評価部324に供給する。
きめ評価部324は、後天的要素解析部123による解析結果、および、先天的要素解析部323による解析結果に基づいて、被評価者の肌のきめの状態を評価し、評価結果を評価結果提示部325に供給する。
評価結果提示部325は、被評価者の肌のきめの状態の評価結果を示す情報を表示部113に表示させる。
[真皮画像撮像部311の構成例]
図26は、真皮画像撮像部311の構成例を示している。
真皮画像撮像部311は、照射光学系として、光源401及び光学レンズ402、および、照射部偏光板403を備える。光源401には、例えば、LED等、任意の光源を用いることができる。ただし、光源401としては、表皮を透過して真皮で散乱される近赤外線等の長波長光を発する光源を用いることが好ましい。これにより、表皮下の組織における散乱や複屈折等の光学特性を利用して組織のパターンを得ることが可能となる。
また、真皮画像撮像部311は、結像光学系として、受光素子である撮像素子(例えば、CCDイメージセンサ、CMOSイメージセンサ等)404、結像レンズ群405、および、受光部偏光板406を備える。さらに、上記照射光学系と結像光学系の間の光路には、ハーフミラー407が配されており、上記照射光学系と結像光学系とは互いに直交して配置されている。
真皮画像撮像部311において、光源401からの照射光は、照射部偏光板403により振動方向が一方向に制限されて皮膚に照射される。また、結像光学系には受光部偏光板406が配置されているが、これは振動方向が照射部偏光板403とは直交するように構成されている。したがって、表皮組織での単純な反射光は、振動方向が受光部偏光板406とは直交することになり、受光部偏光板406によって遮蔽される。
照射光学系から皮膚に照射された照射光は、皮膚深層組織(例えば真皮組織)にまで達し、様々な組織により散乱や複屈折が生じ、それにより偏光が解消される。これらは、後方散乱光としてハーフミラー407を透過して上記結像光学系へと導かれるが、上記の通り偏光が解消されているため受光部偏光板406を透過し、撮像素子404まで到達する。
これにより、表皮組織での反射・散乱光と、複屈折組織(真皮組織)を経由した位相の異なる光を分離し、真皮の凹凸隆起状のパターンを撮影することができる。
そして、撮像素子404は、得られた真皮画像を真皮画像処理部321に供給する。
[先天的要素解析部323の構成例]
図27は、先天的要素解析部323の構成例を示すブロック図である。なお、図中、図17と対応する部分には同じ符号を付してあり、処理が同じ部分については、その説明は繰り返しになるので適宜省略する。
先天的要素解析部323は、図17の先天的要素解析部221と比較して、真皮パターン数解析部421、真皮サイズ分布解析部422、真皮形状分布解析部423、および、真皮方向性解析部424が追加されている点が異なる。
真皮パターン数解析部421は、真皮パターン検出結果に基づいて、皮丘数解析部241と同様の処理を行う。すなわち、真皮パターン数解析部421は、真皮パターン検出結果に含まれる真皮パターン数に基づいて、肌のきめの細かさを示す指標となる真皮パターン数評価値を算出する。真皮パターン数解析部421は、算出した真皮パターン数評価値をきめ評価部324に供給する。
真皮サイズ分布解析部422は、真皮パターン検出結果に基づいて、図3の後天的要素解析部123の表皮サイズ分布解析部171と同様の処理を行うことにより、真皮パターンのサイズの分布を解析する。より具体的には、真皮サイズ分布解析部422は、乳頭層領域のサイズの分布を解析し、乳頭層領域のサイズの均一性を表す真皮サイズ分布評価値を算出する。真皮サイズ分布解析部422は、算出した真皮サイズ分布評価値をきめ評価部324に供給する。
真皮形状分布解析部423は、真皮パターン検出結果に基づいて、図3の後天的要素解析部123の表皮形状分布解析部172と同様の処理を行うことにより、真皮パターンの形状の分布を解析する。より具体的には、真皮形状分布解析部423は、乳頭層領域の形状の分布を解析し、乳頭層領域の形状の均一性を表す真皮形状分布評価値を算出する。真皮形状分布解析部423は、算出した真皮形状分布評価値をきめ評価部324に供給する。
真皮方向性解析部424は、ノイズ除去真皮画像に基づいて、図3の後天的要素解析部123の表皮方向性解析部174と同様の処理を行うことにより、真皮パターンの方向性を解析する。より具体的には、真皮方向性解析部424は、乳頭層領域のエッジ方向の分布を解析し、乳頭層領域のエッジ方向の分布の均一性を表す真皮方向性評価値を算出する。真皮方向性解析部424は、算出した真皮方向性評価値をきめ評価部124に供給する。
なお、乳頭層等により形成される真皮パターンは、先天的に備わる要素が多く、加齢、健康状態、肌の手入れ等による変化が少ないことが知られている。従って、真皮パターン数評価値、真皮サイズ分布評価値、真皮形状分布評価値、および、真皮方向性評価値は、肌のきめの状態の先天的性質を評価するための指標となる。
[きめ評価処理]
次に、図28のフローチャートを参照して、画像処理システム301により実行されるきめ評価処理について説明する。
なお、この処理は、例えば、画像処理システム301の図示せぬ入力部を介して、きめ評価処理の実行の指令が入力されたとき開始される。
ステップS301において、図5のステップS1の処理と同様に、表皮画像が撮影される。
ステップS302において、真皮画像撮像部311は、真皮画像を撮影する。すなわち、真皮画像撮像部311は、図26を参照して上述したように、被評価者の肌の真皮を撮影し、その結果得られた真皮画像を真皮画像処理部321に供給する。
なお、表皮画像と真皮画像の撮影間隔は、できるだけ短い時間に設定するとともに、表皮画像と真皮画像の撮影範囲をほぼ一致するように設定することが望ましい。また、表皮画像と真皮画像の撮影順を逆にしてもよい。
ステップS303乃至S305において、図5のステップS2乃至S4と同様の処理が行われる。これらの処理により、表皮サイズ分布評価値Eevalsize、表皮形状分布評価値Eevalshape、表皮形状分布情報ShapeRatioi、表皮方向性評価値Eevaldirection、および、皮丘数Nridgeが求められ、きめ評価部324に供給される。
ステップS306において、真皮画像処理部321は、真皮画像処理を実行する。すなわち、真皮画像処理部321は、上述した図5のステップS2において表皮画像処理部121が表皮画像に対して行うのと同様の処理を、真皮画像に対して行う。そして、真皮画像処理部321は、その結果得られたノイズ除去真皮画像を、真皮パターン検出部322および先天的要素解析部323に供給する。
ステップS307において、真皮パターン検出部322は、真皮パターン検出処理を実行する。すなわち、真皮パターン検出部322は、上述した図5のステップS3において表皮パターン検出部122がノイズ除去表皮画像に対して行うのと同様の処理を、ノイズ除去真皮画像に対して行う。
これにより、真皮パターン検出部322は、ノイズ除去真皮画像から複数の乳頭層領域を検出する。また、真皮パターン検出部322は、真皮画像内の乳頭層領域の数である真皮パターン数Ndermisをカウントする。真皮パターン検出部322は、乳頭層領域および真皮パターン数Ndermisの検出結果を示す真皮パターン検出結果を先天的要素解析部323に供給する。
ステップS308において、先天的要素解析部323は、先天的要素解析処理を行う。
[先天的要素解析処理]
ここで、図29のフローチャートを参照して、先天的要素解析処理の詳細について説明する。
ステップS331において、上述した図19のステップS221の処理と同様に、皮丘数が解析される。そして、皮丘数解析部241は、皮丘数評価値Eevalnumをきめ評価部324に供給する。
ステップS332において、真皮パターン数解析部421は、真皮パターン数を解析する。具体的には、真皮パターン数解析部421は、図19のステップS221において、皮丘数解析部241が皮丘数評価値Eevalnumを算出する場合と同様の処理により、真皮パターン数Ndermisを用いて、真皮パターン数評価値Devalnumを算出する。
従って、真皮パターン数評価値Devalnumは、皮丘数評価値Eevalnumと同様に、真皮パターン数Ndermisが大きくなるほど大きくなる。また、真皮パターン数Ndermisは、真皮画像内の真皮パターン数(すなわち、単位面積当たりの真皮パターン数)を表すので、真皮パターン数Ndermisが大きくなるほど、肌のきめが細かいと言える。従って、真皮パターン数評価値Devalnumは、肌のきめの細かさを表す指標となる。
真皮パターン数解析部421は、真皮パターン数評価値Devalnumをきめ評価部324に供給する。
ステップS333において、真皮サイズ分布解析部422は、真皮パターンのサイズの分布を解析する。具体的には、真皮サイズ分布解析部422は、図9のステップS61において、表皮サイズ分布解析部171が、表皮サイズ分布評価値Eevalsizeを算出する場合と同様の処理により、乳頭層領域の検出結果に基づいて、真皮サイズ分布評価値Devalsizeを算出する。
従って、真皮サイズ分布評価値Devalsizeは、表皮サイズ分布評価値Eevalsizeと同様に、乳頭層領域のサイズの分散が小さくなるほど大きくなる。すなわち、真皮サイズ分布評価値Devalsizeは、乳頭層領域のサイズのバラツキが小さくなるほど大きくなる。従って、真皮サイズ分布評価値Devalsizeは、乳頭層領域のサイズの均一性を表す指標となる。
真皮サイズ分布解析部422は、真皮サイズ分布評価値Devalsizeをきめ評価部324に供給する。
ステップS334において、真皮形状分布解析部423は、真皮形状分布解析処理を実行する。具体的には、真皮形状分布解析部423は、図12の表皮形状分布解析処理1において、表皮形状分布解析部172が、表皮形状分布評価値Eevalshapeを算出する場合と同様の処理により、乳頭層領域の検出結果に基づいて、真皮形状分布評価値Devalshapeを算出する。
従って、真皮形状分布評価値Devalshapeは、表皮形状分布評価値Eevalshapeと同様に、乳頭層領域の形状のバラツキが小さくなるほど大きくなる。従って、真皮形状分布評価値Devalshapeは、乳頭層領域の形状の均一性を表す指標となる。
真皮形状分布解析部423は、真皮形状分布評価値Devalshapeをきめ評価部324に供給する。
ステップS335において、真皮方向性解析部424は、真皮パターンの方向性を解析する。具体的には、真皮方向性解析部424は、図9のステップS64において、表皮方向性解析部174が表皮方向性評価値Eevaldirectionを算出する場合と同様の処理により、ノイズ除去真皮画像に基づいて、真皮方向性評価値Devaldirectionを算出する。
従って、真皮方向性評価値Devaldirectionは、表皮方向性評価値Eevaldirectionと同様に、乳頭層領域のエッジ方向が、縦、横、斜め(0度、45度、90度、135度)の4方向に均一に分布しているほど大きくなる。従って、真皮方向性評価値Devaldirectionは、乳頭層領域のエッジ方向の分布の均一性を表す指標となる。
真皮方向性解析部424は、真皮方向性評価値Devaldirectionをきめ評価部324に供給する。
図28に戻り、ステップS309において、きめ評価部324は、きめ評価値を算出する。
例えば、きめ評価部324は、次式(23)により、きめ評価値eval4totalを算出する。
eval4total=αinherent×Eevalnum×Devalnum×Devalsize×Devalshape×Devaldirection
+(1−αinherent)×eval1total ・・・(23)
なお、αinherentおよびeval1totalは、上述した式(22)と同じものである。
きめ評価値eval4totalは、式(22)のきめ評価値eval3totalと比較して、表皮の状態だけでなく、真皮の状態も評価した値になる。従って、きめ評価値eval4totalは、きめ評価値eval3totalと比較して、肌のきめの状態をより詳細に評価する指標となる。
なお、式(23)において、きめ評価値eval1totalの代わりに、式(20)のきめ評価値eval2totalを用いるようにしてもよい。
そして、きめ評価部324は、肌のきめの状態の評価結果を評価結果提示部223に供給する。このとき、きめ評価部324は、きめ評価値eval4totalだけでなく、きめ評価値eval4totalの算出に用いた各評価値も評価結果提示部325に供給する。
ステップS307において、図18のステップS207の処理と同様に、評価結果が提示される。
その後、きめ評価処理は終了する。
以上のようにして、表皮の状態に加えて、真皮の状態に基づいて、より詳細に肌のきめの状態を評価することができる。その結果、より正確に肌のきめの状態を評価することができる。
<4.変形例>
以下、本技術の実施の形態の変形例について説明する。
[変形例1]
皮丘領域または乳頭層領域の形状の相違度(あるいは、類似度)を算出する方法は、図12等を参照して上述した方法に限定されるものではなく、任意の方法を採用することができる。例えば、以下に説明するように、DPマッチングを用いて、形状の類似度を算出するようにすることが可能である。
まず、領域Aに対し輪郭抽出、細線化、ベクトル化を行い、次式(24)および(25)に示されるベクトル特徴量Aを求める。
A={a1, a2, ・・・, am} ・・・(24)
ai=(xis, yis, xie, yie) ・・・(25)
なお、xisおよびyisは、ベクトルaiの始点の座標を示し、xieおよびyieは、ベクトルaiの終点の座標を示している。
また、領域Aと比較する領域Bに対しても同様の処理を行い、次式(26)および(27)に示されるベクトル特徴量Bを求める。
B={b1, b2, ・・・, bm} ・・・(26)
bj=(xjs, yjs, xje, yje) ・・・(27)
なお、xjsおよびyjsは、ベクトルbjの始点の座標を示し、xjeおよびyjeは、ベクトルbjの終点の座標を示している。
次に、領域Aの1成分ベクトルaiと領域Bの1成分ベクトルbjとの間の類似度h(ai, bj)を、次式(28)および(29)により算出する。
Figure 0005733570
そして、例えば、次式(30)により、領域Aと領域Bの類似度S(A,B)を算出する。
Figure 0005733570
例えば、この類似度S(A,B)を、上述した式(9a)乃至(9c)により算出される相違度D(A,B)の代わりに用いることが可能である。
[変形例2]
図14の表皮形状分布解析処理2における皮丘領域の形状の分類処理は、上述した方法に限定されるものではない。例えば、参照形状を用いて、SVM(Support Vector Machine)などを用いて学習ベースの形状分類を行うようにしてもよい。あるいは、例えば、参照形状を用いずに、K-Means法などのクラスタリングの手法を用いて形状分類を行うようにしてもよい。
[変形例3]
皮丘領域または乳頭層領域のエッジ方向の分析処理は、上述した方法に限定されるものではない。例えば、ノイズ除去表皮画像またはノイズ除去真皮画像に対して、高速フーリエ変換(FFT)を施し、そのスペクトル画像から角度毎のヒストグラムを求め、ヒストグラムの形状に基づいて、皮丘領域または乳頭層領域のエッジ方向の分布を解析するようにしてもよい。
[変形例4]
図26の真皮画像撮像部311の構成例は、その一例であり、他の構成のものを用いるようにしてもよい。例えば、指紋認証などの生体認証に用いられるマイクロレンズアレイ(MLA)を用いた撮像装置により、真皮画像を撮影するようにしてもよい。
[変形例5]
図21乃至図23を参照して上述した評価結果の提示方法は、その一例であり、他の方法により評価結果を提示するようにすることも可能である。なお、画像以外にも、音声等を用いて評価結果を提示するようにしてもよい。
[変形例6]
きめ評価値eval1total乃至eval4totalは、必ずしも各式に示される評価値を全て用いて算出する必要はなく、目的や用途等に応じて、用いる評価値を選択するようにしてもよい。例えば、式(19)において、表皮サイズ分布評価値Eevalsize、表皮形状分布評価値Eevalshape、および、表皮方向性評価値Eevaldirectionのうち1つまたは2つを用いて、きめ評価値eval1totalを算出するようにしてもよい。
また、きめ評価値の算出に用いる評価値の選択に応じて、例えば、図3の後天的要素解析部123や、図27の先天的要素解析部323の構成要素を削除することも可能である。
[変形例7]
図11、図13、図20の正規化カーブの形状は、その一例であり、各図の正規化カーブと同様の単調増加または単調減少を示す異なる形状を有するカーブを用いることが可能である。
なお、本技術は、例えば、美容や健康指標として肌の状態を評価したり、診断したりするシステムや装置に適用できる。また、本技術は、人以外の生体の肌の状態を評価したり、診断したりする場合にも適用することが可能である。
[コンピュータの構成例]
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図30は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)601,ROM(Read Only Memory)602,RAM(Random Access Memory)603は、バス604により相互に接続されている。
バス604には、さらに、入出力インタフェース605が接続されている。入出力インタフェース605には、入力部606、出力部607、記憶部608、通信部609、及びドライブ610が接続されている。
入力部606は、キーボード、マウス、マイクロフォンなどよりなる。出力部607は、ディスプレイ、スピーカなどよりなる。記憶部608は、ハードディスクや不揮発性のメモリなどよりなる。通信部609は、ネットワークインタフェースなどよりなる。ドライブ610は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア611を駆動する。
以上のように構成されるコンピュータでは、CPU601が、例えば、記憶部608に記憶されているプログラムを、入出力インタフェース605及びバス604を介して、RAM603にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU601)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア611に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア611をドライブ610に装着することにより、入出力インタフェース605を介して、記憶部608にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部609で受信し、記憶部608にインストールすることができる。その他、プログラムは、ROM602や記憶部608に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
また、例えば、本技術は以下のような構成も取ることができる。
(1)
肌の表皮を撮影した表皮画像における表皮のパターンである表皮パターンを検出する表皮パターン検出部と、
前記表皮パターンの形状の均一性を解析する解析部と、
前記表皮パターンの形状の均一性に基づいて、肌のきめの状態を評価する評価部と
を含む画像処理装置。
(2)
前記解析部は、前記表皮パターンのサイズの均一性および前記表皮パターンのエッジ方向の分布の均一性のうち少なくとも1つをさらに解析し、
前記評価部は、さらに、前記表皮パターンのサイズの均一性および前記表皮パターンのエッジ方向の分布の均一性のうち少なくとも1つに基づいて、肌のきめの状態を評価する
前記(1)に記載の画像処理装置。
(3)
前記解析部は、前記表皮パターンが所定の形状を有する割合をさらに解析し、
前記評価部は、さらに前記表皮パターンが所定の形状を有する割合に基づいて、肌のきめの状態を評価する
前記(1)または(2)に記載の画像処理装置。
(4)
前記表皮パターンは、皮丘または皮溝により表皮に形成されるパターンである
前記(1)乃至(3)のいずれかに記載の画像処理装置。
(5)
肌のきめの状態を評価する画像処理装置が、
肌の表皮を撮影した表皮画像における表皮のパターンである表皮パターンを検出し、
前記表皮パターンの形状の均一性を解析し、
前記表皮パターンの形状の均一性に基づいて、肌のきめの状態を評価する
ステップを含む画像処理方法。
(6)
肌の表皮を撮影した表皮画像における表皮のパターンである表皮パターンを検出し、
前記表皮パターンの形状の均一性を解析し、
前記表皮パターンの形状の均一性に基づいて、肌のきめの状態を評価する
ステップを含む処理をコンピュータに実行させるためのプログラム。
(7)
肌の表皮を撮影した表皮画像における表皮のパターンである表皮パターンを検出する表皮パターン検出部と、
検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち後天的な要素を解析する後天的要素解析部と、
検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち先天的な要素を解析する先天的要素解析部と、
前記後天的要素の解析結果および前記先天的要素の解析結果に基づいて、肌のきめの状態を評価する評価部と
を含む画像処理装置。
(8)
前記後天的要素解析部は、前記後天的要素として、前記表皮パターンの形状の均一性、前記表皮パターンのサイズの均一性、および、前記表皮パターンのエッジ方向の分布の均一性のうち少なくとも1つを解析し、
前記先天的要素解析部は、前記先天的要素として、単位面積当たりの前記表皮パターンの数を解析する
前記(8)に記載の画像処理装置。
(9)
前記評価部は、前記後天的要素の解析結果に基づく評価値と、前記先天的要素の解析結果に基づく評価値とを重みを付けて加算することにより、肌のきめの状態を示す評価値を算出する
前記(7)または(8)に記載の画像処理装置。
(10)
前記表皮パターンは、皮丘または皮溝により表皮に形成されるパターンである
前記(7)乃至(9)のいずれかに記載の画像処理装置。
(11)
肌のきめの状態を評価する画像処理装置が、
肌の表皮を撮影した表皮画像における表皮のパターンである表皮パターンを検出し、
検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち後天的な要素を解析し、
検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち先天的な要素を解析し、
前記後天的要素の解析結果および前記先天的要素の解析結果に基づいて、肌のきめの状態を評価する
ステップを含む画像処理方法。
(12)
肌の表皮を撮影した表皮画像における表皮のパターンである表皮パターンを検出し、
検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち後天的な要素を解析し、
検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち先天的な要素を解析し、
前記後天的要素の解析結果および前記先天的要素の解析結果に基づいて、肌のきめの状態を評価する
ステップを含む処理をコンピュータに実行させるためのプログラム。
(13)
肌の表皮を撮影した表皮画像における表皮のパターンである表皮パターンを検出する表皮パターン検出部と、
肌の真皮を撮影した真皮画像における真皮のパターンである真皮パターンを検出する真皮パターン検出部と、
検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち後天的な要素を解析する後天的要素解析部と、
検出された前記真皮パターンに基づいて、肌のきめの状態を示す要素のうち先天的な要素を解析する先天的要素解析部と、
前記後天的要素の解析結果および前記先天的要素の解析結果に基づいて、肌のきめの状態を評価する評価部と
を含む画像処理装置。
(14)
前記後天的要素解析部は、前記後天的要素として、前記表皮パターンの形状の均一性、前記表皮パターンのサイズの均一性、および、前記表皮パターンのエッジ方向の分布の均一性のうち少なくとも1つを解析し、
前記先天的要素解析部は、前記先天的要素として、前記真皮パターンの形状の均一性、前記真皮パターンのサイズの均一性、前記真皮パターンのエッジ方向の分布の均一性、および、単位面積当たりの前記真皮パターンの数のうち少なくとも1つを解析する
前記(13)に記載の画像処理装置。
(15)
前記先天的要素解析部は、さらに、検出された前記表皮パターンに基づいて、前記先天的要素として、単位面積当たりの前記表皮パターンの数を解析する
前記(13)または(14)に記載の画像処理装置。
(16)
前記評価部は、前記後天的要素の解析結果に基づく評価値と、前記先天的要素の解析結果に基づく評価値とを重みを付けて加算することにより、肌のきめの状態を示す評価値を算出する
前記(13)乃至(15)に記載の画像処理装置。
(17)
前記表皮パターンは、皮丘または皮溝により表皮に形成されるパターンであり、
前記真皮パターンは、乳頭層により真皮に形成されるパターンである
前記(13)乃至(16)のいずれかに記載の画像処理装置。
(18)
肌のきめの状態を評価する画像処理装置が、
肌の表皮を撮影した表皮画像における表皮のパターンである表皮パターンを検出し、
肌の真皮を撮影した真皮画像における真皮のパターンである真皮パターンを検出し、
検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち後天的な要素を解析し、
検出された前記真皮パターンに基づいて、肌のきめの状態を示す要素のうち先天的な要素を解析し、
前記後天的要素の解析結果および前記先天的要素の解析結果に基づいて、肌のきめの状態を評価する
ステップを含む画像処理方法。
(19)
肌の表皮を撮影した表皮画像における表皮のパターンである表皮パターンを検出し、
肌の真皮を撮影した真皮画像における真皮のパターンである真皮パターンを検出し、
検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち後天的な要素を解析し、
検出された前記真皮パターンに基づいて、肌のきめの状態を示す要素のうち先天的な要素を解析し、
前記後天的要素の解析結果および前記先天的要素の解析結果に基づいて、肌のきめの状態を評価する
ステップを含む処理をコンピュータに実行させるためのプログラム。
(20)
前記(6)、前記(12)、または、前記(19)に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
101 画像処理システム, 111 表皮画像撮像部, 112 画像処理部, 113 表示部, 121 表皮画像処理部, 122 表皮パターン検出部, 123 後天的要素解析部, 124 きめ評価部, 125 評価結果提示部, 141 画像補正部, 142 単一チャネル抽出部, 143 ノイズ除去部, 151 2値化部, 152 ラベリング処理部, 171 表皮サイズ分布解析部, 172 表皮形状分布解析部, 173 表皮形状分布解析部, 174 表皮方向性解析部, 201 画像処理システム, 211 画像処理部, 221 先天的要素解析部, 222 きめ評価部, 223 評価結果提示部, 241 皮丘数解析部, 301 画像処理システム, 321 真皮画像処理部, 322 真皮パターン検出部, 323 先天的要素解析部, 324 きめ評価部, 325 評価結果提示部, 421 真皮パターン数解析部, 422 真皮サイズ分布解析部, 423 真皮形状分布解析部, 424 真皮方向性解析部

Claims (14)

  1. 肌の表皮を撮影した表皮画像における表皮のパターンである表皮パターンを検出する表皮パターン検出部と、
    検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち後天的な要素を解析する後天的要素解析部と、
    検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち先天的な要素を解析する先天的要素解析部と、
    前記後天的要素の解析結果および前記先天的要素の解析結果に基づいて、肌のきめの状態を評価する評価部と
    を含む画像処理装置。
  2. 前記後天的要素解析部は、前記後天的要素として、前記表皮パターンの形状の均一性、前記表皮パターンのサイズの均一性、および、前記表皮パターンのエッジ方向の分布の均一性のうち少なくとも1つを解析し、
    前記先天的要素解析部は、前記先天的要素として、単位面積当たりの前記表皮パターンの数を解析する
    請求項に記載の画像処理装置。
  3. 前記評価部は、前記後天的要素の解析結果に基づく評価値と、前記先天的要素の解析結果に基づく評価値とを重みを付けて加算することにより、肌のきめの状態を示す評価値を算出する
    請求項1または2に記載の画像処理装置。
  4. 前記表皮パターンは、皮丘または皮溝により表皮に形成されるパターンである
    請求項1乃至3のいずれかに記載の画像処理装置。
  5. 肌のきめの状態を評価する画像処理装置が、
    肌の表皮を撮影した表皮画像における表皮のパターンである表皮パターンを検出し、
    検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち後天的な要素を解析し、
    検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち先天的な要素を解析し、
    前記後天的要素の解析結果および前記先天的要素の解析結果に基づいて、肌のきめの状態を評価する
    ステップを含む画像処理方法。
  6. 肌の表皮を撮影した表皮画像における表皮のパターンである表皮パターンを検出し、
    検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち後天的な要素を解析し、
    検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち先天的な要素を解析し、
    前記後天的要素の解析結果および前記先天的要素の解析結果に基づいて、肌のきめの状態を評価する
    ステップを含む処理をコンピュータに実行させるためのプログラム。
  7. 肌の表皮を撮影した表皮画像における表皮のパターンである表皮パターンを検出する表皮パターン検出部と、
    肌の真皮を撮影した真皮画像における真皮のパターンである真皮パターンを検出する真皮パターン検出部と、
    検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち後天的な要素を解析する後天的要素解析部と、
    検出された前記真皮パターンに基づいて、肌のきめの状態を示す要素のうち先天的な要素を解析する先天的要素解析部と、
    前記後天的要素の解析結果および前記先天的要素の解析結果に基づいて、肌のきめの状態を評価する評価部と
    を含む画像処理装置。
  8. 前記後天的要素解析部は、前記後天的要素として、前記表皮パターンの形状の均一性、前記表皮パターンのサイズの均一性、および、前記表皮パターンのエッジ方向の分布の均一性のうち少なくとも1つを解析し、
    前記先天的要素解析部は、前記先天的要素として、前記真皮パターンの形状の均一性、前記真皮パターンのサイズの均一性、前記真皮パターンのエッジ方向の分布の均一性、および、単位面積当たりの前記真皮パターンの数のうち少なくとも1つを解析する
    請求項に記載の画像処理装置。
  9. 前記先天的要素解析部は、さらに、検出された前記表皮パターンに基づいて、前記先天的要素として、単位面積当たりの前記表皮パターンの数を解析する
    請求項7または8に記載の画像処理装置。
  10. 前記評価部は、前記後天的要素の解析結果に基づく評価値と、前記先天的要素の解析結果に基づく評価値とを重みを付けて加算することにより、肌のきめの状態を示す評価値を算出する
    請求項7乃至9のいずれかに記載の画像処理装置。
  11. 前記表皮パターンは、皮丘または皮溝により表皮に形成されるパターンであり、
    前記真皮パターンは、乳頭層により真皮に形成されるパターンである
    請求項7乃至10のいずれかに記載の画像処理装置。
  12. 肌のきめの状態を評価する画像処理装置が、
    肌の表皮を撮影した表皮画像における表皮のパターンである表皮パターンを検出し、
    肌の真皮を撮影した真皮画像における真皮のパターンである真皮パターンを検出し、
    検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち後天的な要素を解析し、
    検出された前記真皮パターンに基づいて、肌のきめの状態を示す要素のうち先天的な要素を解析し、
    前記後天的要素の解析結果および前記先天的要素の解析結果に基づいて、肌のきめの状態を評価する
    ステップを含む画像処理方法。
  13. 肌の表皮を撮影した表皮画像における表皮のパターンである表皮パターンを検出し、
    肌の真皮を撮影した真皮画像における真皮のパターンである真皮パターンを検出し、
    検出された前記表皮パターンに基づいて、肌のきめの状態を示す要素のうち後天的な要素を解析し、
    検出された前記真皮パターンに基づいて、肌のきめの状態を示す要素のうち先天的な要素を解析し、
    前記後天的要素の解析結果および前記先天的要素の解析結果に基づいて、肌のきめの状態を評価する
    ステップを含む処理をコンピュータに実行させるためのプログラム。
  14. 請求項6または、請求項13に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2011115182A 2011-05-23 2011-05-23 画像処理装置、画像処理方法、プログラム、および、記録媒体 Active JP5733570B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2011115182A JP5733570B2 (ja) 2011-05-23 2011-05-23 画像処理装置、画像処理方法、プログラム、および、記録媒体
US13/462,949 US9122906B2 (en) 2011-05-23 2012-05-03 Image processing device, image processing method, program, and recording medium for detection of epidermis pattern
EP12167894.0A EP2544150B1 (en) 2011-05-23 2012-05-14 Image processing device, image processing method, program, and recording medium
CN201210161380.8A CN102846309B (zh) 2011-05-23 2012-05-16 图像处理设备和图像处理方法
US14/718,647 US9639932B2 (en) 2011-05-23 2015-05-21 Image processing device, image processing method, program, and recording medium for detection of epidermis pattern
US15/469,764 US9990563B2 (en) 2011-05-23 2017-03-27 Image processing device, image processing method, program, and recording medium for detection of epidermis pattern

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011115182A JP5733570B2 (ja) 2011-05-23 2011-05-23 画像処理装置、画像処理方法、プログラム、および、記録媒体

Publications (2)

Publication Number Publication Date
JP2012239768A JP2012239768A (ja) 2012-12-10
JP5733570B2 true JP5733570B2 (ja) 2015-06-10

Family

ID=46456326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011115182A Active JP5733570B2 (ja) 2011-05-23 2011-05-23 画像処理装置、画像処理方法、プログラム、および、記録媒体

Country Status (4)

Country Link
US (3) US9122906B2 (ja)
EP (1) EP2544150B1 (ja)
JP (1) JP5733570B2 (ja)
CN (1) CN102846309B (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9641729B2 (en) * 2012-04-26 2017-05-02 Futurewei Technologies, Inc. System and method for encoder-integrated media denoising
JP2014120005A (ja) * 2012-12-17 2014-06-30 Shiseido Co Ltd 肌形状生成装置、肌形状生成方法、及び肌形状生成プログラム
US20150109214A1 (en) * 2013-10-22 2015-04-23 Weidong Shi Methods and Apparatuses of touch-fingerprinting Display
CN105814608B (zh) * 2013-12-27 2017-03-15 京瓷办公信息系统株式会社 图像处理装置和特定图形检测方法
TW201540264A (zh) 2014-04-18 2015-11-01 Sony Corp 資訊處理裝置、資訊處理方法、及程式
TWI669103B (zh) 2014-11-14 2019-08-21 日商新力股份有限公司 資訊處理裝置、資訊處理方法及程式
TWI701018B (zh) 2015-01-29 2020-08-11 日商新力股份有限公司 資訊處理裝置、資訊處理方法、及程式
JP6566240B2 (ja) 2015-04-16 2019-08-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN106355132B (zh) * 2015-07-17 2019-07-30 科沃斯机器人股份有限公司 人脸静态皮肤区域自动识别检测方法及其系统
CN105225242A (zh) * 2015-09-30 2016-01-06 联想(北京)有限公司 一种状态检测方法及电子设备
JP6550343B2 (ja) * 2016-02-10 2019-07-24 株式会社ファンケル 肌理評価方法
CN106264463A (zh) * 2016-08-05 2017-01-04 深圳美立知科技有限公司 一种皮肤敏感度分析方法及装置
US10511777B2 (en) 2016-11-08 2019-12-17 Thomas Nichols Personal care device with camera
US11122206B2 (en) 2016-11-08 2021-09-14 Preh Holding, Llc Personal care device with camera
CN109034399A (zh) * 2017-06-09 2018-12-18 丽宝大数据股份有限公司 保养评估方法及其电子装置
CN107981842B (zh) * 2017-11-20 2019-02-05 珠海伊斯佳科技股份有限公司 一种用于转录皮肤纹理的复膜套件及其使用方法和应用
US10733742B2 (en) * 2018-09-26 2020-08-04 International Business Machines Corporation Image labeling
WO2020189754A1 (ja) * 2019-03-20 2020-09-24 学校法人慶應義塾 推定方法、推定モデルの生成方法、プログラム、及び推定装置
CN110309699B (zh) * 2019-03-22 2021-06-18 浙江工业大学 一种基于oct的皮下汗孔图自动提取方法
USD1000624S1 (en) 2019-12-27 2023-10-03 Thomas Nichols Personal care device with camera
CN112215776B (zh) * 2020-10-20 2024-05-07 咪咕文化科技有限公司 人像磨皮方法、电子设备和计算机可读存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2944309B2 (ja) * 1992-06-03 1999-09-06 ポーラ化成工業株式会社 皮膚表面形態特徴検出方法
JP3604530B2 (ja) * 1997-03-11 2004-12-22 ポーラ化成工業株式会社 皮膚の状態の鑑別方法
JPH1128193A (ja) * 1997-07-11 1999-02-02 Kao Corp 肌状態の表示方法
US6466686B2 (en) * 1998-01-07 2002-10-15 International Business Machines Corporation System and method for transforming fingerprints to improve recognition
JP2001170028A (ja) * 1999-12-16 2001-06-26 Lion Corp 皮膚のキメ粗さの測定方法およびキメ粗さ評価用キット
JP2003052642A (ja) * 2001-08-13 2003-02-25 Shiseido Co Ltd 皮膚の表皮−真皮界面の検出装置
JP2003070749A (ja) * 2001-09-07 2003-03-11 Scalar Corp 診断システム、肌の診断方法、及びそれに用いられる情報処理装置、並びにプログラム、記録媒体
CN1186618C (zh) * 2002-07-07 2005-01-26 叶可 肤色比较的方法和设备
JP2004337317A (ja) * 2003-05-14 2004-12-02 Kao Corp 毛穴目立ち評価方法及び評価システム
US7514253B2 (en) 2003-05-16 2009-04-07 Glycofi, Inc. URA5 gene and methods for stable genetic integration in yeast
JP2006061170A (ja) * 2004-07-30 2006-03-09 Pola Chem Ind Inc 皮膚の鑑別法
JP4739746B2 (ja) * 2004-12-27 2011-08-03 株式会社ディー・ディー・エス 肌評価方法及び肌評価装置
JP4579046B2 (ja) * 2005-04-28 2010-11-10 株式会社資生堂 肌状態解析方法、肌状態解析装置、肌状態解析プログラム、及び該プログラムが記録された記録媒体
US20090054744A1 (en) 2005-04-28 2009-02-26 Naomi Kitamura Skin state analyzing method, skin state analyzing apparatus, and computer-readable medium storing skin state analyzing program
CN1961820B (zh) * 2005-11-08 2011-03-16 株式会社资生堂 肌肤状态分析方法以及肌肤状态分析装置
JP4909686B2 (ja) * 2006-09-08 2012-04-04 学校法人東京理科大学 表皮組織定量化装置及びプログラム
US20080304736A1 (en) * 2007-02-20 2008-12-11 Masahiro Nakagawa Method of estimating a visual evaluation value of skin beauty
EP2005886B1 (en) * 2007-06-19 2011-09-14 Biocompatibles UK Limited Method and apparatus for measuring skin texture
JP5263991B2 (ja) * 2008-05-23 2013-08-14 ポーラ化成工業株式会社 肌のキメ及び/又はシワの鑑別法及び鑑別装置、肌の鑑別プログラム、並びに皮膚外用剤の選択方法

Also Published As

Publication number Publication date
JP2012239768A (ja) 2012-12-10
US20170200060A1 (en) 2017-07-13
CN102846309A (zh) 2013-01-02
US9122906B2 (en) 2015-09-01
EP2544150A2 (en) 2013-01-09
EP2544150A3 (en) 2014-07-23
US20120300996A1 (en) 2012-11-29
CN102846309B (zh) 2015-10-28
US9990563B2 (en) 2018-06-05
US9639932B2 (en) 2017-05-02
US20150254847A1 (en) 2015-09-10
EP2544150B1 (en) 2016-08-10

Similar Documents

Publication Publication Date Title
JP5733570B2 (ja) 画像処理装置、画像処理方法、プログラム、および、記録媒体
US11769265B2 (en) Skin assessment using image fusion
JP6107537B2 (ja) 撮像システムおよびその画像処理方法、画像処理装置およびその画像処理方法、並びに、プログラム
US10531825B2 (en) Thresholding methods for lesion segmentation in dermoscopy images
US20230190180A1 (en) Enhancing pigmentation in dermoscopy images
Ramlakhan et al. A mobile automated skin lesion classification system
JP4831267B2 (ja) 情報処理装置、情報処理方法、プログラム及び電子装置
KR101315646B1 (ko) 가이디드 가버 필터를 이용한 지정맥 패턴 추출 방법 및 장치
JP2013506525A (ja) フォトプレチスモグラフィーを実行するための方法及びシステム
CN112884666B (zh) 图像处理方法、装置及计算机存储介质
US20210038144A1 (en) Skin evaluation device, skin evaluation system, skin evaluation method, and non-transitory computer-readable recording medium storing program for skin evaluation
CN101241550B (zh) 一种虹膜图像质量判断方法
JP6817782B2 (ja) 脈拍検出装置及び脈拍検出方法
Bandara et al. Super-efficient spatially adaptive contrast enhancement algorithm for superficial vein imaging
EP3038051B1 (en) Diagnostic apparatus and image processing method in the same apparatus
Devadoss et al. Performance improvement using an automation system for recognition of multiple parametric features based on human footprint
He et al. Remote photoplethysmography heart rate variability detection using signal to noise ratio bandpass filtering
CN114081464A (zh) 心率检测方法、装置和电子设备
Rosado et al. A prototype for a mobile-based system of skin lesion analysis using supervised classification
JP7074817B2 (ja) バイタルデータ測定装置及びバイタルデータ測定方法並びにコンピュータプログラム
Montalvo et al. An image-processing toolkit for remote photoplethysmography
JP2016122325A (ja) 診断支援装置並びに当該診断支援装置における画像処理方法及びそのプログラム
Condominas Guàrdia Mobile phone based imaging system for selected tele-healthcare applications
Condominas Mobile phone based imaging system for selected tele-healthcare applications
Lupu Real-time acquisition of quality verified nonstandardized color images for skin lesions risk assessment–a preliminary study

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140502

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150401

R151 Written notification of patent or utility model registration

Ref document number: 5733570

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250