JP6299594B2 - 画像処理装置、画像処理方法、プログラムおよび画像処理システム - Google Patents

画像処理装置、画像処理方法、プログラムおよび画像処理システム Download PDF

Info

Publication number
JP6299594B2
JP6299594B2 JP2014530497A JP2014530497A JP6299594B2 JP 6299594 B2 JP6299594 B2 JP 6299594B2 JP 2014530497 A JP2014530497 A JP 2014530497A JP 2014530497 A JP2014530497 A JP 2014530497A JP 6299594 B2 JP6299594 B2 JP 6299594B2
Authority
JP
Japan
Prior art keywords
feature
image
skin
feature portion
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014530497A
Other languages
English (en)
Other versions
JPWO2014027522A1 (ja
Inventor
雄介 中村
雄介 中村
信一郎 五味
信一郎 五味
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2014027522A1 publication Critical patent/JPWO2014027522A1/ja
Application granted granted Critical
Publication of JP6299594B2 publication Critical patent/JP6299594B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Dermatology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

この技術は、画像処理装置、画像処理方法、プログラムおよび画像処理システムに関し、肌画像から特徴部分を精度よく検出できるようにする。
従来、肌についてのカンセリング等では、ユーザの肌について種々の測定を行い、測定結果に基づいて種々のアドバイスが行われている。例えば、毛穴のサイズを測定して、毛穴のサイズに応じて化粧品を選択したり、毛穴を小さくする治療等における治療効果の確認が行われている。
毛穴の測定は、例えば特許文献１では、原画像から平滑画像を減算して、減算後の画像に対して二値化を行うことで毛穴を示す領域と他の領域に分割して、毛穴を示す領域の数やサイズ等が測定されている。
特開平７−５５４４７号公報
ところで、原画像から平滑化画像を減算した画像には、毛穴を検出する上で阻害要因となるエッジ成分やキメ成分などが含まれることが予想される。したがって、減算後の画像に対して二値化を行った場合に、毛穴を示す領域とエッジ成分やキメ成分を示す領域を区別できず、肌における特徴部分である毛穴を精度よく検出することができないおそれがある。
また、肌についての測定では、特徴部分として毛穴に限らずニキビ等の吹出物の検出も行えるようにすれば、種々のアドバイス等を肌の状態に応じてより的確に行うことが可能となる。
そこで、この技術では肌画像から特徴部分を精度よく検出できる画像処理装置、画像処理方法、プログラムおよび画像処理システムを提供することを目的とする。
この技術の第１の側面は、肌画像における注目画素の画素値に対する前記注目画素を囲む周辺画素の画素値の変化方向を示す極性と、周辺とは異なる類似した画素値の画像領域を示すスケールを、特徴量として算出する特徴量算出部と、前記特徴量算出部で算出された特徴量に基づき、前記肌画像の特徴部分を抽出する特徴部分抽出部と、第１の肌画像として過去画像、第２の肌画像として現在画像を用いて、前記第１の肌画像から前記特徴部分抽出部で抽出した前記特徴部分と前記第２の肌画像から前記特徴部分抽出部で抽出した前記特徴部分における対応する特徴部分の数が所定数よりも多い場合、前記第１と第２の肌画像において対応する特徴部分が一致するように前記肌画像の位置合わせを行い、対応している特徴部分の数が所定数以下である場合、前記第２の肌画像において前記対応する特徴部分の位置が、前記第１の肌画像において対応する特徴部分の位置となるように撮像範囲の移動アドバイスを提示する画像位置合わせ部とを備える画像処理装置にある。
この技術においては、例えば光源と撮像部に対して設けられた偏光フィルタを直交関係とすることで肌の表面反射が除外されている肌画像に対して、輝度情報分離処理が行われて肌の構造成分を示すグローバル輝度情報が取得される。このグローバル輝度情報を用いて特徴量の算出が行われる。特徴量としては、例えば肌画像の階調に関する極性と、周辺とは異なる類似した画素値の画像領域を示すスケールが算出される。また、類似した画素値の画像領域と周辺との信号差を示す強度を特徴量としてさらに算出してもよい。このような特徴量に基づき、肌画像の特徴部分例えば毛穴、吹出物、シミ、毛穴のつまりの少なくとも何れかが抽出される。また、予め設定された抽出条件を満たす特徴量である特徴部分の抽出結果に基づき統計量の算出が行われて、特徴部分の数と大きさと色の濃さの少なくとも何れかに関する情報が生成される。
さらに、メラニンの解析を行うメラニン解析部が設けられて、肌画像に基づいて算出された特徴量と、肌画像のメラニン解析結果を用いて特徴部分の抽出が行われる。例えば、白色光を用いて撮像された肌画像に基づいて算出された特徴量と、赤色光と近赤外光、または紫外光を用いて撮像された肌画像等のメラニン解析結果を用いて特徴部分の抽出が行われる。また、特徴部分が一致するように例えば過去の肌画像と現在の肌画像の位置合わせを行う画像位置合わせ部が設けられて、強度変化の極性を示す第２特徴量を用いた特徴部分のマッチングによって、過去の肌画像と現在の肌画像において対応する特徴部分が一致するように肌画像の位置合わせが行われる。また、対応する特徴部分の数が所定数以下である場合、現在の肌画像において対応する特徴部分の位置が、過去の肌画像において対応する特徴部分の位置となるように撮像範囲を移動させるためのアドバイスの提示が行われる。
この技術の第２の側面は、肌画像における注目画素の画素値に対する前記注目画素を囲む周辺画素の画素値の変化方向を示す極性と、周辺とは異なる類似した画素値の画像領域を示すスケールを、特徴量として算出する工程と、前記特徴量算出部で算出された特徴量に基づき、前記肌画像の特徴部分を抽出する工程と、第１の肌画像として過去画像、第２の肌画像として現在画像を用いて、前記第１の肌画像から前記特徴部分抽出部で抽出した前記特徴部分と前記第２の肌画像から前記特徴部分抽出部で抽出した前記特徴部分における対応する特徴部分の数が所定数よりも多い場合、前記第１と第２の肌画像において対応する特徴部分が一致するように前記肌画像の位置合わせを行い、対応している特徴部分の数が所定数以下である場合、前記第２の肌画像において前記対応する特徴部分の位置が、前記第１の肌画像において対応する特徴部分の位置となるように撮像範囲の移動アドバイスを提示する工程とを含む画像処理方法にある。
この技術の第３の側面は、肌画像の処理をコンピュータで実行させるプログラムであって、前記肌画像における注目画素の画素値に対する前記注目画素を囲む周辺画素の画素値の変化方向を示す極性と、周辺とは異なる類似した画素値の画像領域を示すスケールを、特徴量として算出する手順と、前記算出された特徴量に基づき、前記肌画像の特徴部分を抽出する手順と、第１の肌画像として過去画像、第２の肌画像として現在画像を用いて、前記第１の肌画像から前記特徴部分抽出部で抽出した前記特徴部分と前記第２の肌画像から前記特徴部分抽出部で抽出した前記特徴部分における対応する特徴部分の数が所定数よりも多い場合、前記第１と第２の肌画像において対応する特徴部分が一致するように前記肌画像の位置合わせを行い、対応している特徴部分の数が所定数以下である場合、前記第２の肌画像において前記対応する特徴部分の位置が、前記第１の肌画像において対応する特徴部分の位置となるように撮像範囲の移動アドバイスを提示する手順とを前記コンピュータで実行させるプログラムにある。
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
この技術の第４の側面は、撮像装置と情報処理装置を用いて構成される画像処理システムにおいて、前記撮像装置には、肌画像を生成する撮像部を設け、前記撮像装置または情報処理装置の何れかに、前記肌画像における注目画素の画素値に対する前記注目画素を囲む周辺画素の画素値の変化方向を示す極性と、周辺とは異なる類似した画素値の画像領域を示すスケールを、特徴量として算出する特徴量算出部と、前記特徴量算出部で算出された特徴量に基づき、前記肌画像の特徴部分を抽出する特徴部分抽出部と、第１の肌画像として過去画像、第２の肌画像として現在画像を用いて、前記第１の肌画像から前記特徴部分抽出部で抽出した前記特徴部分と前記第２の肌画像から前記特徴部分抽出部で抽出した前記特徴部分における対応する特徴部分の数が所定数よりも多い場合、前記第１と第２の肌画像において対応する特徴部分が一致するように前記肌画像の位置合わせを行い、対応している特徴部分の数が所定数以下である場合、前記第２の肌画像において前記対応する特徴部分の位置が、前記第１の肌画像において対応する特徴部分の位置となるように撮像範囲の移動アドバイスを提示する画像位置合わせ部と、前記特徴部分の抽出結果を提示する提示部とを設けた画像処理システムにある。
この技術によれば、肌画像の階調に関する極性と、周辺とは異なる類似した画素値の画像領域を示すスケールを、特徴量として算出して、この特徴量に基づき肌画像の特徴部分が抽出される。したがって、肌の毛穴や吹出物等を特徴部分として精度よく検出することができるようになり、種々のアドバイス等を肌の状態に応じてより的確に行うことが可能となる。なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また付加的な効果があってもよい。
画像処理システムの構成を例示した図である。 撮像装置の構成を簡略化して示した図である。 付属装置の光源を例示した図である。 撮像時の撮像装置の位置を示した図である。 画像処理装置の第１の実施の形態の構成を示す図である。 関数Ｃを例示した図である。 ブレンド比ＢＲs，ＢＲMを例示した図である。 特徴部分解析部の構成を示す図である。 特徴部分の抽出動作を示すフローチャートである。 検出する特徴部分と光源および特徴部分の抽出条件の関係を示す図である。 提示部の動作を例示した図である。 付属装置の光源を例示した図である。 画像処理装置の第２の実施の形態の構成を示す図である。 メラニン解析部の構成を示す図である。 メラニン分布Ｍｘをメラニン指数ＩＤMxに変換する変換特性を示す図である。 特徴部分の抽出動作を示すフローチャートである。 画像処理装置の第３の実施の形態の構成を示す図である。 特徴部分解析部の構成を示す図である。 第３の実施の形態の動作を示すフローチャートである。 提示部の動作を例示した図である。 特徴部分のペアが所定数以下である場合のアドバイスを例示した図である。
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理システム
２．第１の実施の形態
２−１．第１の実施の形態の構成
２−２．第１の実施の形態の動作
３．第２の実施の形態
３−１．第２の実施の形態の構成
３−２．第２の実施の形態の動作
４．第３の実施の形態
４−１．第３の実施の形態の構成
４−２．第３の実施の形態の動作
＜１．画像処理システム＞
図１は、本技術の画像処理システムの構成を例示している。画像処理システム１０は、撮像機能を有する機器（以下「撮像装置」という）１１や情報処理装置１５，１６等を用いて構成されている。撮像装置１１と情報処理装置（例えばパーソナルコンピュータ装置等）１５は、有線または無線の伝送路を介して直接接続可能とされている。また、撮像装置１１と情報処理装置（例えばサーバ装置等）１６は、公衆通信網のネットワーク等を介して接続可能とされている。
撮像装置１１は、肌の撮像画像を生成する撮像部１１２を備えている。撮像装置１１または情報処理装置１５，１６の何れかには、肌の特徴部分を検出する画像処理装置２０が設けられている。画像処理装置２０は、特徴量算出部と特徴部分抽出部を有している。特徴量算出部は、肌の撮像画像（以下「肌画像」という）から階調に関する極性と、周辺とは異なる類似した画素値をもつ画素領域を表すスケールを、特徴量として算出する。特徴部分抽出部は、算出された特徴量に基づき肌の特徴部分の抽出を行う。さらに、撮像装置１１または情報処理装置１５，１６の何れかには、肌の特徴部分の抽出結果を提示する提示部５０が設けられている。なお、画像処理装置２０で肌の特徴部分の検出に用いる肌画像は、撮像部１１２から出力される肌画像に限らず、撮像部１１２で生成されて記録媒体等に記憶されている肌画像でもよい。
＜２．第１の実施の形態＞
第１の実施の形態では、画像処理装置２０によって肌画像から毛穴等の特徴部分を検出する場合について説明する。
図２は、肌を撮像する撮像装置の構成を簡略化して示している。なお、図２の（Ａ）は撮像装置１１の正面図、図２の（Ｂ）は撮像装置１１の側面図である。撮像装置１１の鏡胴１１１の先端には、付属装置１２が設けられている。また、付属装置１２は、鏡胴１１１と一体に構成されていてもよく、鏡胴１１１に対して着脱可能に構成されていてもよい。付属装置１２には、図３の（Ａ）に示すように、照明部を構成する複数の光源１２１（例えばＬＥＤ（Light Emitting Diode）1〜ＬＥＤn）がリング状に配されている。光源としては白色ＬＥＤが好ましい。肌表面反射成分を除外して内部反射成分の肌画像を得る場合、図３の（Ｂ）に示すように、所定の偏光面の偏光フィルタを設けた白色ＬＥＤ１２１-1と、所定の偏光面に対して例えば偏光面が直交している偏光フィルタが設けた白色ＬＥＤ１２１-2を設ける。さらに、光源として図３の（Ｃ）に示すように近紫外光ＬＥＤ１２１-vを用いることで、特徴部分として毛穴のつまりを検出してもよい。
付属装置１２が設けられた撮像装置１１は、例えば図４に示すように、肌に密着されて肌画像の撮像を行う。また、偏光フィルタが設けられた光源を用いる場合、撮像部１１２までの光路上に、所定の偏光面に対して偏光面が直交している偏光フィルタ１１３を設ける。このように偏光フィルタを設けることで、白色ＬＥＤ１２１-1を点灯させて撮像を行うと、肌表面反射成分をカットした画像を得ることができ、白色ＬＥＤ１２１-2を点灯させて撮像を行うと肌表面反射成分がカットされていない画像を得ることができる。
［２−１．第１の実施の形態の構成］
図５は、画像処理装置の第１の実施の形態の構成を示している。画像処理装置２０は、前処理部２１、輝度情報分離部２２、特徴部分解析部２４を有している。
前処理部２１は、肌画像を取得して前処理を行う。前処理部２１は、取得した肌画像の輝度情報に対して、より陰影を際立たせるためにコントラスト強調処理を適用する。コントラスト強調処理の方法としては、例えばヒストグラムイコライゼーション処理を用いる。また、ノイズが目立つ場合にはコントラスト強調の前にノイズ除去を行ってもよく、シェーディングが目立つ場合にはコントラスト強調の前にシェーディング補正を行ってもよい。
輝度情報分離部２２は、前処理部２１で求めた輝度情報をグローバル輝度情報とローカル輝度情報に分離する。グローバル輝度情報とは画像に含まれる照明成分や、肌の構造成分を示す情報である。また、ローカル輝度情報は、肌理などの肌の細かな模様を示す情報である。
輝度情報の分離は、例えば、入力輝度情報に対して低域通過処理を行いグローバル輝度情報を分離してもよく、特開２００９−９８９２５号公報に開示された分離方法を用いてもよい。この分離方法では、取得した輝度情報（入力輝度情報）ｆin Wに対して低域通過フィルタ処理を行い、輝度情報ｆG'を生成する（式（１）参照）。また、入力輝度情報ｆin Wと輝度情報ｆG'との差分における小振幅成分のみをローカル輝度情報ｆL Wとする。この際、エッジ強度が高い部分で単純な低域通過フィルタ処理を行うと、強いエッジがローカル輝度情報に含まれる。したがって、高振幅の成分を抑制する関数Ｃを用いて小振幅成分のみを抽出してローカル輝度情報ｆL Wを生成する（式（２）参照）。さらに、入力輝度情報ｆin Wとローカル輝度情報ｆL Wとの差分を算出してグローバル輝度情報ｆG Wを生成する（式（３）参照）。
Figure 0006299594
図６は関数Ｃを例示している。関数Ｃでは、振幅が「ｉ＿ｍｉｎ〜ｉ＿ｍａｘ」の範囲に含まれない信号に対して、振幅を抑制する処理が行われる。なお、図６の（Ａ）乃至（Ｄ）は、振幅の抑制の特性が相違した関数Ｃを例示している。
さらに、他の分離方法としては、通過周波数帯域の異なる複数の低域通過フィルタを用いて、入力輝度情報とフィルタ処理後の各輝度情報との差分に対してそれぞれ関数Ｃを用いて振幅の制限を行う。この振幅制限後の輝度情報を統合したローカル輝度情報を用いて、グローバル輝度情報を生成することもできる。
例えば、通過周波数帯域の異なる３つの低域通過フィルタを用いて、入力輝度情報ｆin Wの低域通過フィルタ処理を行い、輝度情報ｆG'を生成する（式（４）参照）。なお、式（４）（５）において、Ｓ，Ｍ，Ｌは、低域通過フィルタのタップ数を示しており、この順番に低域通過フィルタの帯域が狭帯域となる。次に、関数Ｃを用いて、入力輝度情報ｆin Wと輝度情報ｆGj Wとの差分から小振幅成分のみを抽出して輝度情報ｆLj Wを生成する（式（５）参照）。さらにエッジ強度に応じたブレンド比ＢＲs，ＢＲMを用いて輝度情報ｆLj Wの統合を行い、ローカル輝度情報ｆL Wを生成する（式（６）参照）。このようにして生成したローカル輝度情報ｆL Wを用いて式（３）からグローバル輝度情報ｆG Wを生成してもよい。
Figure 0006299594
図７は、ブレンド比ＢＲs，ＢＲMを例示している。エッジ強度が強い場合、ブレンド比ＢＲsとブレンド比ＢＲMの両方の比率が高くなっている。エッジ強度が中間の場合には、ブレンド比ＢＲsよりもブレンド比ＢＲMの比率が高くなっている。エッジ強度が弱い場合には、ブレンド比ＢＲsとブレンド比ＢＲMの両方の比率が低くなっている。
なお、輝度情報の分離は、上記の方法に限定されるものではなく、例えばバイラテラルフィルタなどの既知のエッジ保存型平滑化フィルタを低域通過フィルタとして適用してもよい。
特徴部分解析部２４は、肌画像から特徴量を算出して、算出された特徴量に基づき肌の特徴部分の解析を行う。図８は、特徴部分解析部２４の構成を示している。特徴部分解析部２４は、特徴量算出部２４１と特徴部分抽出部２４３と統計量算出部２４４を有している。
特徴量算出部２４１は、特徴量を算出する。特徴量算出部２４１は、例えば輝度情報分離部２２で生成されたグローバル輝度情報を用いて特徴量を算出する。特徴量算出部２４１は、特徴量として肌画像の階調に関する極性、および周辺とは異なる類似した画素値をもつ画素領域を表すスケールを算出する。さらに、特徴量算出部２４１は、特徴量として類似した画素値の画像領域と周辺との信号差を示す強度をさらに算出してもよい。
次に、特徴量の算出について説明する。特徴点の算出は、画像の特徴抽出手法を利用して行う。画像の特徴抽出手法では、ＳＵＲＦ（Speeded Up Robust Feature）やＳＩＦＴ（Scale Invariant Feature Transform）等の手法が知られている。
例えばＳＵＲＦ（Speeded Up Robust Feature）では、画像中の特徴点（白丸、黒丸）を次のように選ぶ。具体的には、Hessian行列の行列値が極大となる点を、ガウス関数の標準偏差σを変えて探索して、画像中の特徴点を検出する。Hessian行列の行列値の算出では、高速化のために近似フィルタを用いた式（７）の演算が行われる。なお、式（７）において、Dxx，Dyy，Dxyは、box filterを用いて算出したHessian行列の成分であるガウス２次導関数による画像の畳込みを示している。また、フィルタサイズはガウシアンの標準偏差に相当しており、例えば９×９のフィルタサイズはσ＝１．２に相当している。
Figure 0006299594
特徴量算出部２４１は、周辺とは異なる類似した画素値をもつ画素領域を表すスケール、すなわち式（７）で算出された行列値が極大となるスケールを特徴量として算出する。また、特徴量算出部２４１は、肌画像の階調に関する極性すなわち特徴量を算出した特徴点のラプラシアンの値を特徴量とする。さらに、特徴量算出部２４１は、類似した画素値の画像領域と周辺との信号差を示す強度、例えば式（７）で算出された行列値の極大値を特徴量に含めてもよい。なお、特徴量算出部２４１は、上述の他の特徴抽出手法を用いて特徴量の算出を行うようにしてもよい。
特徴部分抽出部２４３は、特徴量算出部２４１で求めた特徴量に基づき特徴部分を抽出する。特徴部分抽出部２４３は、例えば特徴部分として毛穴部分を抽出する場合、ラプラシアンが「１」であることを抽出条件とする。ラプラシアンは肌画像の階調に関する極性を示しており、ラプラシアンが「１」の場合、黒画素が白画素に囲まれている特徴を示しており、毛穴の特徴と合致するからである。また、特徴部分抽出部２４３は、周辺とは異なる類似した画素値をもつ画素領域を表すスケールを限定する。毛穴の大きさは０．１ｍｍから０．３ｍｍ程度であることが知られている。したがって、特徴部分抽出部２４３は、特徴量算出部２４１で求めた特徴量のスケールが毛穴の大きさに相当することを抽出条件とする。
また、特徴部分抽出部２４３は、強度を限定してもよい。例えば、目立つ毛穴の領域と思われる特徴には、他の領域に対してある程度の信号の強度（コントラスト差分）が必要である。したがって、特徴部分抽出部２４３は、目立つ毛穴等を抽出できる強度（行列値）を抽出条件とする。
特徴部分抽出部２４３は、上述のように設定した抽出条件を全て満たす特徴点を肌の特徴部分として抽出することで、肌画像から毛穴の領域だけを抽出することが可能となる。なお、後述するように抽出条件を変更して、吹出物等を肌の特徴部分として抽出してもよい。
統計量算出部２４４は、特徴部分抽出部２４３で抽出した特徴部分に対して、統計量を算出する。例えば特徴部分として毛穴を抽出した場合、統計量算出部２４４は、抽出した特徴部分の数を計測して毛穴の数を算出する。また、統計量算出部２４４は、抽出した特徴部分のスケールの平均値を算出して、この平均値から毛穴の大きさの統計量を求める。さらに、統計量算出部２４４は、抽出した特徴部分の強さ（例えばHessian値）の平均値を算出して毛穴の濃さとする。また、統計量算出部２４４は、平均値に限らず最大値や分散等も算出してもよい。また、毛穴の大きさや色の階級分けを行い、階級毎に階級値を算出してもよい。また、統計量算出部２４４は、毛穴に限らず吹出物等についても同様に統計量の算出を行ってもよい。さらに、統計量算出部２４４は、メラニン指数の高い領域の割合を求めるようにしてもよい。
撮像装置１１や情報処理装置１５等に設けられた提示部５０では、特徴部分解析部２４の解析結果をユーザに提示する。例えば、提示部５０は、特徴部分解析部２４で算出された統計量等を画面上に表示する。
［２−２．第１の実施の形態の動作］
次に、画像処理装置の第１の実施の形態の動作について説明する。図９は、特徴部分の抽出動作を示すフローチャートである。ステップＳＴ１で画像処理装置２０は特徴量を取得する。画像処理装置２０は、グローバル輝度情報を用いて算出された特徴量、例えば肌画像の階調に関する極性、周辺とは異なる類似した画素値をもつ画素領域を表すスケール、および強度（コントラスト差分）を示す特徴量を取得してステップＳＴ２に進む。
ステップＳＴ２で画像処理装置２０は、所定の極性であるか判別する。画像処理装置２０は、特徴量が抽出する特徴部分の極性を示す場合、例えばラプラシアンが「１」で毛穴の特徴と合致する場合にステップＳＴ３に進む。また、画像処理装置２０は、特徴量が特徴部分の極性を示していない場合にステップＳＴ７に進む。
ステップＳＴ３で画像処理装置２０は、所定のスケールであるか判別する。画像処理装置２０は、特徴量が抽出する特徴部分のスケールを示す場合、例えば特徴量で示されているスケールが毛穴に対応したスケールである場合にステップＳＴ４に進む。また、画像処理装置２０は、特徴量が所定のスケールを示していない場合にステップＳＴ７に進む。
ステップＳＴ４で画像処理装置２０は、所定の強度であるか判別する。画像処理装置２０は、特徴量が抽出する特徴部分の強度を示す場合、例えば特徴量で示された強度が毛穴部分と肌部分のコントラスト差分に相当する強度以上である場合にステップＳＴ５に進む。また、画像処理装置２０は、特徴量が所定の強度を示していない場合、例えば特徴量で示された強度が毛穴部分と肌部分のコントラスト差分よりも小さい場合にステップＳＴ７に進む。
ステップＳＴ５で画像処理装置２０は、特徴部分と判定する。画像処理装置２０は、例えばステップＳＴ２からステップＳＴ４で毛穴の抽出条件を満たす場合、毛穴を示す特徴部分と判定してステップＳＴ６に進む。
ステップＳＴ６で画像処理装置２０は、特徴部分の抽出処理が完了したか判別する。画像処理装置２０は、特徴部分であるか否か判定されていない特徴量の領域が残っている場合はステップＳＴ７に進み、残っていない場合は特徴部分の抽出動作を終了する。
ステップＳＴ７で画像処理装置２０は新たな特徴量を取得する。画像処理装置２０は、特徴部分であるか否か判定されていない特徴量を取得してステップＳＴ２に戻る。
なお、特徴部分の抽出動作において、極性やスケール，強度の判定順序は、図９に示す順序に限らず他の順序であってもよい。また、強度の判定を行うことなく特徴部分の抽出を行うこともできる。
画像処理装置２０は、このような処理を行うことで、肌画像から毛穴部分を精度よく抽出する。また、特徴部分の抽出結果を提示部５０に提示する場合、ユーザに分かりやすい形で提示する。
さらに、特徴部分として吹出物や毛穴のつまりを検出する場合、光源の波長や特徴点の抽出条件を切り替えることで、毛穴だけでなく吹出物や毛穴のつまり等を検出することができる。図１０は、抽出する特徴部分と光源および抽出条件の関係を示している。例えば、毛穴を検出する場合、白色光源を用いる。抽出条件は、輝度の高い画素に囲まれている特徴を示す極性、およびスケールの範囲を約０．１〜０．３ｍｍ程度に設定する。吹出物を検出する場合、白色光源を用いる。抽出条件は、輝度の低い画素に囲まれている特徴を示す極性、およびスケールの範囲を約０．５〜１．０ｍｍ程度に設定する。毛穴のつまりを検出する場合、近紫外光源を用いる。皮脂の部分は近紫外光によって緑色に発光し、ニキビ菌によって生じるポルフェリンの部分は近紫外光によってオレンジ色に発光することが知られている。したがって、抽出条件では、肌画像をグレースケールとしたときに輝度の低い画素に囲まれている特徴を示す極性、近紫外光によって緑色やオレンジ色を示す極性、スケールの範囲を約０．２〜０．５ｍｍ程度に設定する。
図１１は、提示部の動作を例示している。図１１の（Ａ）は、例えば肌画像に対して毛穴を大きさ別にプロットした様子を示しており、図１１の（Ｂ）は、毛穴の大きさの分布（ヒストグラム）を大きさ別に表示している。図１１の（Ｃ）は、撮像画像に対して毛穴を濃さ別にプロットした様子を示している。また、図１１の（Ｄ）は、毛穴の濃さの分布（ヒストグラム）を濃さ別に表示している。このように、提示部５０では、ユーザに分かりやすい形で特徴部分の抽出結果を提示する。
＜３．第２の実施の形態＞
ところで、シミと毛穴のスケールや輝度が類似していると、シミと毛穴を区別することが困難である。そこで、第２の実施の形態では、シミの部分に多く存在するメラニンについての解析を行い、この解析結果を利用してシミと毛穴の判別を行う場合について説明する。メラニンの解析を行う場合、撮像装置１１では、メラニンの解析を容易に行うことができるように、光源の波長を切り替えて撮像を行う。例えば図１２に示すように、付属装置１２に赤色ＬＥＤ１２１-rと近赤外ＬＥＤ１２１-irをさらに設けて、撮像装置１１は、照明に用いる光源を切り替えて肌の撮像を行う。また、メラニンの解析では、紫外線を照射して撮像された撮像画像を用いてメラニンの解析を行ってもよく、肌の分光反射率を用いてメラニンの解析を行うようにしてもよい。以下、赤色光と近赤外光を切り替えて撮像を行うことにより得られた画像を用いてメラニンの解析を行う場合について説明する。
［３−１．第２の実施の形態の構成］
図１３は、画像処理装置の第２の実施の形態の構成を示している。画像処理装置２０は、前処理部２１、輝度情報分離部２２、メラニン解析部２３、特徴部分解析部２４を有している。
前処理部２１は、白色光源を用いて撮像された肌画像を取得して前処理を行う。前処理部２１は、取得した肌画像の輝度情報に対して、第１の実施の形態と同様に、陰影を際立たせるためにコントラスト強調処理を適用する。また、ノイズが目立つ場合にはコントラスト強調の前にノイズ除去を行ってもよく、シェーディングが目立つ場合にはコントラスト強調の前にシェーディング補正を行ってもよい。なお、輝度情報としては、白色の光源を用いた肌画像ではＢ（青）チャンネル信号、赤色の光源を用いた肌画像と近赤外の光源を用いた肌画像ではＲ（赤）チャンネル信号を用いることが望ましい。
輝度情報分離部２２は、前処理部２１で求めた輝度情報をグローバル輝度情報とローカル輝度情報に分離する。輝度情報分離部２２は、第１の実施の形態と同様にして、画像に含まれる照明成分や肌の構造成分を示す情報であるグローバル輝度情報と、肌理などの肌の細かな模様を示すローカル輝度情報の分離を行う。
メラニン解析部２３は、赤色の光源を用いて撮像された肌画像と近赤外の光源を用いて撮像された肌画像をそれぞれ取得して、取得した肌画像に基づきメラニンの解析を行う。図１４は、メラニン解析部２３の構成を示している。メラニン解析部２３はメラニン分布算出部２３１とメラニン指数算出部２３２を有している。
メラニン分布算出部２３１は、キャリブレーションを行うために用いられる標準拡散反射板に赤色光を照射して得られた撮像画像から輝度情報（赤色成分）ｆstd Rの平均値Ａｖｇstd Rを算出する（式（８）参照）。同様に、標準拡散反射板に近赤外光を照射して得られた撮像画像から輝度情報（近赤外成分）ｆstd IRの平均値Ａｖｇstd IRを算出する（式（９）参照）。
Figure 0006299594
次に、肌に対して赤色光を照射して得られた撮像画像の入力輝度情報（赤色成分）ｆin Rと、肌に対して近赤外光を照射して得られた撮像画像の入力輝度情報（近赤外成分）ｆin IR、および標準拡散反射板を用いたときの平均値Ａｖｇstd R，Ａｖｇstd IRから、メラニン分布Ｍｘを算出する（式（１０）参照）。
Figure 0006299594
なお、式（１０）において「ｋ」は式の傾きを表すパラメータ、「ｑ」は式の切片を表すパラメータである。
メラニン指数算出部２３２は、メラニン分布算出部２３１で算出したメラニン分布を正規化して、メラニン指数を算出する。
メラニン指数算出部２３２は、入力輝度情報（赤色成分）ｆin Rの平均値Ａｖｇin Rと入力輝度情報（近赤外成分）ｆin IRの平均値Ａｖｇin IRを算出する（式（１１），（１２）参照）。
Figure 0006299594
次に、入力輝度情報（赤色成分）ｆin Rの平均値Ａｖｇin Rと入力輝度情報（近赤外成分）ｆin IRの平均値Ａｖｇin IR、および標準拡散反射板を用いたときの平均値Ａｖｇstd R，Ａｖｇstd IRを用いて、平均のメラニン量Ｍｘavgを算出する（式（１３））。
Figure 0006299594
なお、式（１３）において「ｋ」は式の傾きを表すパラメータ、「ｑ」は式の切片を表すパラメータである。
次に、平均のメラニン量Ｍｘavgを用いて閾値Ｍｘ_th1，Ｍｘ_th2を設定する（式（１４），（１５））。
Figure 0006299594
なお、式（１４），（１５）において、「ｅ」はメラニン指数を「０」〜「１」の範囲とするメラニン分布Ｍｘを規定するパラメータである。なお、閾値の設定方法は上記の方法に限定されるものではなく、例えば固定値に設定してもよい。
メラニン指数算出部２３２は、閾値Ｍｘ_th1，Ｍｘ_th2を設定して、図１５に示す変換特性でメラニン分布Ｍｘをメラニン指数ＩＤMxに変換する。
特徴部分解析部２４は、肌画像から特徴量を算出して、算出された特徴量に基づき肌の特徴部分の抽出を行う。特徴部分解析部２４は、第１の実施の形態と同様に特徴量算出部２４１と特徴部分抽出部２４３と統計量算出部２４４を有している。
特徴量算出部２４１は、特徴量を算出する。特徴量算出部２４１は、例えば輝度情報分離部２２で生成されたグローバル輝度情報を用いて特徴量を算出する。特徴量算出部２４１は、特徴量として肌画像の階調に関する極性、および周辺とは異なる類似した画素値をもつ画素領域を表すスケールを算出する。さらに、特徴量算出部２４１は、特徴量として類似した画素値の画像領域と周辺との信号差を示す強度をさらに算出してもよい。
特徴部分抽出部２４３は、特徴量算出部２４１で求めた特徴量に基づき特徴部分を抽出する。特徴部分抽出部２４３は、例えば特徴部分として毛穴部分を抽出する場合、ラプラシアンが「１」であることを抽出条件とする。ラプラシアンは肌画像の階調に関する極性を示しており、ラプラシアンが「１」の場合、黒画素が白画素に囲まれている特徴を示しており、毛穴の特徴と合致するからである。また、特徴部分抽出部２４３は、周辺とは異なる類似した画素値をもつ画素領域を表すスケールを限定する。毛穴の大きさは０．１ｍｍから０．３ｍｍ程度であることが知られている。したがって、特徴部分抽出部２４３は、特徴量算出部２４１で求めた特徴量のスケールが毛穴の大きさに相当することを抽出条件とする。
また、特徴部分抽出部２４３は、強度を限定してもよい。例えば、目立つ毛穴の領域と思われる特徴には、他の領域に対してある程度の信号の強度（コントラスト差分）が必要である。したがって、特徴部分抽出部２４３は、目立つ毛穴等を抽出できる強度（行列値）を抽出条件とする。
ところで、ラプラシアンが「１」の場合、黒画素が白画素に囲まれている特徴を示しており、この特徴は毛穴だけでなくシミの特徴と合致する。また、シミの大きさ色が毛穴に類似していると、特徴部分が毛穴とシミの何れであるか判別できない。そこで、特徴部分抽出部２４３は、抽出された特徴部分についてのメラニン指数ＩＤMxに基づき、毛穴の領域とシミの領域の何れであるか判定する。例えばメラニン指数ＩＤMxが所定値よりも大きい場合はシミの領域、所定値以下の場合は毛穴の領域と判別する。
統計量算出部２４４は、特徴部分抽出部２４３で抽出した特徴部分に対して、統計量を算出する。例えば特徴部分として毛穴をシミと区別して抽出した場合、統計量算出部２４４は、抽出した特徴部分の数を計測して毛穴の数を算出する。また、統計量算出部２４４は、毛穴の特徴部分のスケールの平均値を算出して、この平均値から毛穴の大きさの統計量を求める。さらに、統計量算出部２４４は、抽出した特徴部分の強さ（例えばHessian値）の平均値を算出して毛穴の濃さとする。さらに、統計量算出部２４４は、メラニン指数の高い領域の割合を求めるようにしてもよい。
撮像装置１１や情報処理装置１５等に設けられた提示部５０では、特徴部分解析部２４の解析結果をユーザに提示する。例えば、提示部５０は、特徴部分解析部２４で算出された統計量等を画面上に表示する。
［３−２．第２の実施の形態の動作］
次に、画像処理装置の第２の実施の形態の動作について説明する。図１６は、特徴部分の抽出動作を示すフローチャートである。ステップＳＴ１１で画像処理装置２０は特徴量を取得する。画像処理装置２０は、輝度情報を用いて算出された特徴量、例えば肌画像の階調に関する極性、周辺とは異なる類似した画素値をもつ画素領域を表すスケール、および強度（コントラスト差分）を示す特徴量を取得してステップＳＴ１２に進む。
ステップＳＴ１２で画像処理装置２０は、所定の極性であるか判別する。画像処理装置２０は、特徴量が抽出する特徴部分の極性を示す場合、例えばラプラシアンが「１」で毛穴やシミの特徴と合致する場合にステップＳＴ１３に進む。また、画像処理装置２０は、特徴量が特徴部分の極性を示していない場合にステップＳＴ１８に進む。
ステップＳＴ１３で画像処理装置２０は、所定のスケールであるか判別する。画像処理装置２０は、特徴量が抽出する特徴部分のスケールを示す場合、例えば特徴量で示されているスケールが毛穴に対応したスケールである場合にステップＳＴ１４に進む。また、画像処理装置２０は、特徴量が所定のスケールを示していない場合にステップＳＴ１８に進む。
ステップＳＴ１４で画像処理装置２０は、所定の強度であるか判別する。画像処理装置２０は、特徴量が抽出する特徴部分の強度を示す場合、例えば特徴量で示された強度が毛穴部分と肌部分のコントラスト差分に相当する強度以上である場合にステップＳＴ１５に進む。また、画像処理装置２０は、特徴量が所定の強度を示していない場合、例えば特徴量で示された強度が毛穴部分と肌部分のコントラスト差分よりも小さい場合にステップＳＴ１８に進む。
ステップＳＴ１５で画像処理装置２０は、メラニン指数が所定値以下であるか判別する。画像処理装置２０は、特徴部分のメラニン指数が所定値以下である場合にステップＳＴ１６に進み、メラニン指数が所定値より大きい場合にステップＳＴ１８に進む。
ステップＳＴ１６で画像処理装置２０は、特徴部分と判別する。画像処理装置２０は、例えばステップＳＴ１２からステップＳＴ１４で毛穴（シミ）の抽出条件を満たしており、ステップＳＴ１５でメラニン指数が所定値以下である場合には毛穴を示す特徴部分と判定してステップＳＴ１７に進む。なお、メラニン指数が所定値よりも大きい場合にはシミを示す特徴部分と判別してステップＳＴ１８に進むようにしてもよい。
ステップＳＴ１７で画像処理装置２０は、特徴部分の抽出処理が完了したか判別する。画像処理装置２０は、特徴部分であるか否か判定されていない特徴量の領域が残っている場合はステップＳＴ１８に進み、残っていない場合は特徴部分の抽出動作を終了する。
ステップＳＴ１８で画像処理装置２０は新たな特徴量を取得する。画像処理装置２０は、特徴部分であるか否か判定されていない特徴量を取得してステップＳＴ１２に戻る。
なお、特徴部分の抽出動作において、極性やスケール，強度の判定順序は、図１６に示す順序に限らず他の順序であってもよい。また、強度の判定を行うことなく特徴部分の抽出を行うこともできる。
画像処理装置２０は、このような処理を行うことで、毛穴とシミを区分することが可能となり毛穴を精度よく抽出する。また、特徴部分の抽出結果を提示部５０に提示する場合、第１の実施の形態に加えて、メラニン指数の高い領域に対して色を変えて表示してもよく、統計量算出部２４４で求めたメラニン指数の高い領域の割合を示してもよい。
このような第２の実施の形態によれば、メラニン解析結果を利用して毛穴とシミを区分することが可能となり毛穴を精度よく抽出できるようになる。また、毛穴とシミを区分することが可能となることから、毛穴やシミの状態を精度よく提示することができる。
＜４．第３の実施の形態＞
第１の実施の形態と第２の実施の形態では、肌の特徴部分を検出する処理について説明したが、肌の観察では、時間の経過と共に肌の特徴部分がどのように変化したか判別できることが望ましい。例えば、毛穴を小さくする治療や吹出物等を無くする治療等が行われた場合、毛穴や吹出物等がどのように変化しているか比較できることが望ましい。そこで、第３の実施の形態では、時間の異なる複数の肌画像間で、対応する特徴部分が同じ位置となるように画像の位置合わせを容易に行うことができる画像処理装置について説明する。
［４−１．第３の実施の形態の構成］
図１７は、画像処理装置の第３の実施の形態の構成を示している。画像処理装置２０は、前処理部２１、輝度情報分離部２２、特徴部分解析部２４を有している。
前処理部２１は、肌画像を取得して前処理を行う。前処理部２１は、取得した肌画像の輝度情報に対して、第１の実施の形態と同様に、陰影を際立たせるためにコントラスト強調処理を適用する。また、ノイズが目立つ場合にはコントラスト強調の前にノイズ除去を行ってもよく、シェーディングが目立つ場合にはコントラスト強調の前にシェーディング補正を行ってもよい。
輝度情報分離部２２は、前処理部２１で求めた輝度情報をグローバル輝度情報とローカル輝度情報に分離する。輝度情報分離部２２は、第１の実施の形態と同様にして、画像に含まれる照明成分や肌の構造成分を示す情報であるグローバル輝度情報と、肌理などの肌の細かな模様を示すローカル輝度情報の分離を行う。
特徴部分解析部２４は、肌画像から特徴量を算出して、算出された特徴量に基づき肌の特徴部分の解析を行う。特徴部分解析部２４は、図１８に示すように、特徴量算出部２４１、位置合わせ部２４２、特徴部分抽出部２４３、統計量算出部２４４を有している。
特徴量算出部２４１は、特徴量を算出する。特徴量算出部２４１は、例えば輝度情報分離部２２で生成されたグローバル輝度情報を用いて特徴量を算出する。特徴量算出部２４１は、特徴量として肌画像の階調に関する極性、および周辺とは異なる類似した画素値をもつ画素領域を表すスケールを算出する。さらに、特徴量算出部２４１は、特徴量として類似した画素値の画像領域と周辺との信号差を示す強度をさらに算出してもよい。
また、特徴量算出部２４１は、過去の肌画像と現在の肌画像の位置合わせを行うために、特徴部分のマッチングに用いる第２特徴量を算出する。特徴量算出部２４１は、第２特徴量として例えば強度変化の極性を示す特徴量を算出する。
次に、強度変化の極性を示す第２特徴量の算出について例示する。特徴量算出部２４１は、特徴部分毎にオリエンテーション（＝基準角度）を求める。例えば、特徴部分（ｘ，ｙ，ｓ））を中心とした半径６ｓの範囲でＨａａｒＷａｖｅｌｅｔｓ（４ｓ）のフィルタ処理を行い、ｘ方向とｙ方向の応答（ｄｘ，ｄｙ）を求めて勾配方向θと強度ｍを算出する（式（１６）（１７）参照）。なお、「ｓ」はスケールを示している。
Figure 0006299594
次に、勾配方向の分解能に応じたヒストグラムを作成する。例えば、分解能を「ビン幅＝６０度」に設定した場合、６方向を階級としたヒストグラムを作成することになる。各階級では、階級に含まれる勾配方向の強度を加算して階級値とする。このように作成されたヒストグラムにおいて、階級値が最大となる方向をオリエンテーションとする。
次に、特徴部分を中心とした正方領域例えば「２０ｓ×２０ｓ」の領域を「４×４」のサブ領域に分割して、オリエンテーションの角度だけ回転する。その後、サブ領域を４分割して同じサイズのＨａａｒＷａｖｅｌｅｔｓ（２ｓ）を作成することにより勾配ベクトルを求める。この勾配ベクトルのｘ方向成分，ｙ方向成分である「ｄｘ」,「ｄｙ」から４次元ベクトル（Σｄｘ，Σｄｙ，Σ｜ｄｘ｜，Σ｜ｄｙ｜）を算出する。この４次元ベクトルは、ｘ方向の勾配が大きく、その絶対値も大きいときは正の勾配方向となる。また、負の勾配方向のときは、ｘ方向の勾配が小さく、その絶対値は大きくなる。このように、４次元ベクトルは、強度変化の極性を示す情報となる。したがって、１６個のサブ領域から４次元ベクトルを求めて、６４個の特徴量を第２特徴量として用いる。
また、特徴量算出部２４１は、その後に撮像される肌画像との位置合わせを行うことができるように、グローバル輝度情報とこの情報から算出した第２特徴量を記憶する。
情報記憶部２５は、グローバル輝度情報とこの情報から算出した第２特徴量を記憶する。なお、情報記憶部２５には、肌画像、前処理後の肌画像、またはグローバル輝度情報を記憶して、上述のような処理を特徴量算出部２４１等で行い、第２特徴量を算出して位置合わせ部２４２に出力するようにしてもよい。
位置合わせ部２４２は、過去の肌画像と現在の肌画像の特徴部分のマッチングを行い、対応している特徴部分のペアを検出する。マッチング方法としては、例えば最近傍の線形探索なとの方法を用いればよい。
また、位置合わせ部２４２は、対応している特徴部分のペアが所定数よりも多く見つかった場合には、射影変換等を行い、新たな肌画像と過去の肌画像の位置合わせを行う。例えば特徴部分のペアからホモグラフィー行列を求めて射影変換を行うことで、新たな肌画像を過去の肌画像の位置に合わせる。また、位置合わせ部２４２は、マッチングによって見つかった特徴部分のペアが所定数以下である場合、ペアとなっている特徴点部分の位置に基づき特徴部分のペアがより多く見つかる方向に撮像範囲を移動するようにアドバイスの提示を行う。例えば新たな肌画像において対応している特徴部分の位置が、過去の肌画像における位置よりも画面左に偏っていたら、対応している特徴部分の位置が、過去の肌画像と現在の肌画像において類似した位置となるように、撮像範囲を左にずらすアドバイスを提示する。
特徴部分抽出部２４３は、特徴量算出部２４１で求めた特徴量に基づき特徴部分を抽出する。特徴部分抽出部２４３は、例えば特徴部分として毛穴部分を抽出する場合、ラプラシアンが「１」であることを抽出条件とする。ラプラシアンは肌画像の階調に関する極性を示しており、ラプラシアンが「１」の場合、黒画素が白画素に囲まれている特徴を示しており、毛穴の特徴と合致するからである。また、特徴部分抽出部２４３は、周辺とは異なる類似した画素値をもつ画素領域を表すスケールを限定する。毛穴の大きさは０．１ｍｍから０．３ｍｍ程度であることが知られている。したがって、特徴部分抽出部２４３は、特徴量算出部２４１で求めた特徴量のスケールが毛穴の大きさに相当することを抽出条件とする。
また、特徴部分抽出部２４３は、強度を限定してもよい。例えば、目立つ毛穴の領域と思われる特徴には、他の領域に対してある程度の信号の強度（コントラスト差分）が必要である。したがって、特徴部分抽出部２４３は、目立つ毛穴等を抽出できる強度（行列値）を抽出条件とする。
特徴部分抽出部２４３は、上述のように設定した抽出条件を全て満たす特徴点を肌の特徴部分として抽出することで、肌画像から毛穴の領域だけを抽出することが可能となる。なお、後述するように抽出条件を変更して、吹出物等を肌の特徴部分として抽出してもよい。
このように、特徴部分抽出部２４３は、肌画像の階調に関する極性やスケールで特徴点を抽出することで、肌の毛穴や吹出物等の特徴部分を抽出する。
統計量算出部２４４は、特徴部分抽出部２４３で抽出した特徴部分に対して、統計量を算出する。例えば特徴部分として毛穴を抽出した場合、統計量算出部２４４は、抽出した特徴部分の数を計測して毛穴の数を算出する。また、統計量算出部２４４は、抽出した特徴部分のスケールの平均値を算出して、この平均値から毛穴の大きさの統計量を求める。さらに、統計量算出部２４４は、抽出した特徴部分の強さ（例えばHessian値）の平均値を算出して毛穴の濃さとする。
撮像装置１１や情報処理装置１５等に設けられた提示部５０では、特徴部分解析部２４の解析結果をユーザに提示する。例えば、提示部５０は、特徴部分解析部２４で算出された統計量等を画面上に表示する。
［４−２．第３の実施の形態の動作］
次に、画像処理装置の第３の実施の形態の動作について説明する。図１９は、第３の実施の形態の動作を示すフローチャートである。ステップＳＴ２１で画像処理装置２０は肌画像を取得する。画像処理装置２０は、撮像装置１１で生成された肌画像を取得してステップＳＴ２２に進む。
ステップＳＴ２２で画像処理装置２０は、前処理を行う。画像処理装置２０は、取得した肌画像の輝度情報に対して、より陰影を際立たせるためにコントラスト強調処理等を行いステップＳＴ２３に進む。
ステップＳＴ２３で画像処理装置２０は、輝度情報を分離する。画像処理装置２０は、前処理が行われた輝度情報をグローバル輝度情報とローカル輝度情報に分離してステップＳＴ２４に進む。
ステップＳＴ２４で画像処理装置２０は特徴量を算出する。画像処理装置２０は、グローバル輝度情報を用いて、肌画像の階調に関する極性、および周辺とは異なる類似した画素値をもつ画素領域を表すスケールを特徴量として算出してステップＳＴ２５に進む。また、画像処理装置２０は、類似した画素値の画像領域と周辺との信号差を示す強度をさらに算出してもよい。
ステップＳＴ２５で画像処理装置２０は、特徴部分のペアが所定数より多いか判別する。画像処理装置２０は、過去の肌画像から検出されている特徴部分と現在の肌画像における対応する特徴部分のペアが所定数より多いか判別して、所定数以下である場合はステップＳＴ２６に進み、所定数より多い場合はステップＳＴ２７に進む。
ステップＳＴ２６で画像処理装置２０は、アドバイスを提示する。画像処理装置２０は、特徴部分のペアの位置が過去の肌画像と撮像装置１１で生成された肌画像で略同じ位置となるように、例えば撮像範囲の移動方向のアドバイスを提示部５０で提示させてステップＳＴ２１に戻る。
ステップＳＴ２７で画像処理装置２０は、ホモグラフィー行列を算出する。画像処理装置２０は、過去の肌画像と撮像装置１１で生成された肌画像の位置を一致させるため、過去の肌画像と撮像装置１１で生成された肌画像との位置の対応関係を示すホモグラフィー行列を算出してステップＳＴ２８に進む。
ステップＳＴ２８で画像処理装置２０は位置合わせを行う。画像処理装置２０は、算出したホモグラフィー行列を用いて射影変換を行い、過去の肌画像と撮像装置１１で生成された肌画像の位置を一致させて処理を終了する。
画像処理装置２０は、このような処理を行い、過去の肌画像と撮像装置１１で生成された肌画像とで、対応する特徴部分を容易に比較できるように画像の位置合わせを行って検出結果を提示する。
図２０は、提示部の動作を例示している。図２０の（Ａ）は、過去の肌画像に対して例えば毛穴を大きさ別にプロットした様子を示しており、図２０の（Ｂ）は、過去の肌画像における毛穴の大きさの分布（ヒストグラム）を大きさ別に表示している。図２０の（Ｃ）は、撮像装置１１で新たに生成された肌画像に対して例えば毛穴を大きさ別にプロットした様子を示しており、図２０の（Ｄ）は、新たに生成された肌画像における毛穴の大きさの分布（ヒストグラム）を大きさ別に表示している。また、前回からの変化をユーザに提示してよい。例えば、図２０では、前回と比べて毛穴の数が全体的に小さくなっていることを示すメッセージを表示している。なお、実施の形態では、毛穴の大きさについて比較したが、毛穴の数や毛穴の濃さで比較してもよく、それら全てで比較してもよい。
このように、過去の肌画像と現在の肌画像の位置合わせが行われて、特徴部分の検出結果が表示されることから、特徴部分の時間変化を容易に確認できるようになる。
図２１は、特徴部分のペアが所定数以下である場合のアドバイスを例示している。アドバイスの提示では、例えば過去の肌画像の検出結果と新たな肌画像の検出結果が表示されて、さらに、肌画像が略同じ位置となるように撮像範囲の移動方向のアドバイスが行われる。したがって、過去の肌画像と現在の肌画像の位置合わせを容易に行うことができる。
このような第３の実施の形態によれば、過去の肌の状態と現在の肌の状態を容易に比較することができるので、種々のアドバイス等に対してどのように効果が得られているかを容易かつ精度よく確認することが可能となる。
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 肌画像の階調に関する極性と、周辺とは異なる類似した画素値の画像領域を示すスケールを、特徴量として算出する特徴量算出部と、
前記特徴量算出部で算出された特徴量に基づき、前記肌画像の特徴部分を抽出する特徴部分抽出部と
を備える画像処理装置。
（２） 前記肌画像に対して輝度情報分離処理を行い、グローバル輝度情報を取得する輝度情報分離部を備え、
前記特徴量算出部は、前記輝度情報分離部で取得した前記グローバル輝度情報を用いて前記特徴量の算出を行う（１）に記載の画像処理装置。
（３） 前記特徴量算出部は、前記類似した画素値の画像領域と周辺との信号差を示す強度を、前記特徴量として算出する（１）または（２）に記載の画像処理装置。
（４） メラニンの解析を行うメラニン解析部をさらに備え、
前記特徴部分抽出部は、前記特徴量算出部で算出された特徴量と前記メラニン解析部で得られた解析結果を用いて特徴部分の抽出を行う（１）乃至（３）の何れかに記載の画像処理装置。
（５） 特徴部分が一致するように第１と第２の肌画像の位置合わせを行う画像位置合わせ部をさらに備え、
前記特徴量算出部は、強度変化の極性を示す第２特徴量の算出を行い、
前記画像位置合わせ部は、前記第２特徴量を用いて特徴部分のマッチングを行い、前記第１と第２の肌画像において対応する特徴部分が一致するように前記肌画像の位置合わせを行う（１）乃至（４）の何れかに記載の画像処理装置。
（６） 前記第１の肌画像として過去画像、前記第２の肌画像として現在画像を用い、
前記画像位置合わせ部は、対応する特徴部分の数が所定数以下である場合、前記第２の肌画像において前記対応する特徴部分の位置が、前記第１の肌画像において対応する特徴部分の位置となるように撮像範囲の移動アドバイスを提示する（５）に記載の画像処理装置。
（７） 前記特徴部分抽出部は、前記特徴部分として毛穴、吹出物、シミ、毛穴のつまりの少なくとも何れかを抽出する（１）乃至（６）の何れかに記載の画像処理装置。
（８） 前記特徴部分抽出部は、白色光を用いて撮像された肌画像から前記特徴量算出部で算出された特徴量に基づき、毛穴、吹出物、シミの少なくとも何れかを抽出し、近紫外光を用いて撮像された肌画像から前記特徴量算出部で算出された特徴量に基づき、毛穴のつまりを抽出する（７）に記載の画像処理装置。
（９） 予め設定された抽出条件を満たす特徴量である特徴部分の抽出結果に基づき統計量の算出を行い、特徴部分の数と大きさと色の濃さの少なくとも何れかに関する情報を生成する統計量算出部を有する（１）乃至（８）の何れかに記載の画像処理装置。
（１０） 前記肌画像は、光源と撮像部に対して設けられた偏光フィルタを直交関係とすることで肌の表面反射が除外されている画像である（１）乃至（９）の何れかに記載の画像処理装置。
この技術の画像処理装置、画像処理方法、プログラムおよび画像処理システムでは、肌画像の階調に関する極性と、周辺とは異なる類似した画素値の画像領域を示すスケールが、特徴量として算出されて、この特徴量に基づき肌画像の特徴部分が抽出される。このため、肌の毛穴や吹出物等を特徴部分として精度よく検出することができるようになり、種々のアドバイス等を肌の状態に応じてより的確に行うことが可能となる。したがって、肌の撮像機能を有する電子機器、例えばデジタルカメラや携帯端末装置、ネットワーク等を介して種々のサービスの提供を行う情報処理装置等に適している。
１０・・・画像処理システム
１１・・・撮像装置
１２・・・付属装置
１５，１６・・・情報処理装置
２０・・・画像処理装置
２１・・・前処理部
２２・・・輝度情報分離部
２３・・・メラニン解析部
２４・・・特徴部分解析部
２５・・・情報記憶部
５０・・・提示部
１１１・・・鏡胴
１１２・・・撮像部
１１３・・・偏光フィルタ
１２１・・・光源
２３１・・・メラニン分布算出部
２３２・・・メラニン指数算出部
２４１・・・特徴量算出部
２４２・・・位置合わせ部
２４３・・・特徴部分抽出部
２４４・・・統計量算出部

Claims (12)

  1. 肌画像における注目画素の画素値に対する前記注目画素を囲む周辺画素の画素値の変化方向を示す極性と、周辺とは異なる類似した画素値の画像領域を示すスケールを、特徴量として算出する特徴量算出部と、
    前記特徴量算出部で算出された特徴量に基づき、前記肌画像の特徴部分を抽出する特徴部分抽出部と、
    第１の肌画像として過去画像、第２の肌画像として現在画像を用いて、前記第１の肌画像から前記特徴部分抽出部で抽出した前記特徴部分と前記第２の肌画像から前記特徴部分抽出部で抽出した前記特徴部分における対応する特徴部分の数が所定数よりも多い場合、前記第１と第２の肌画像において対応する特徴部分が一致するように前記肌画像の位置合わせを行い、対応している特徴部分の数が所定数以下である場合、前記第２の肌画像において前記対応する特徴部分の位置が、前記第１の肌画像において対応する特徴部分の位置となるように撮像範囲の移動アドバイスを提示する画像位置合わせ部と
    を備える画像処理装置。
  2. 前記肌画像に対して輝度情報分離処理を行い、グローバル輝度情報を取得する輝度情報分離部を備え、
    前記特徴量算出部は、前記輝度情報分離部で取得した前記グローバル輝度情報を用いて前記特徴量の算出を行う
    請求項１記載の画像処理装置。
  3. 前記特徴量算出部は、前記類似した画素値の画像領域と周辺との信号差を示す強度を、前記特徴量としてさらに算出する
    請求項１記載の画像処理装置。
  4. メラニンの解析を行うメラニン解析部をさらに備え、
    前記特徴部分抽出部は、前記特徴量算出部で算出された特徴量と前記メラニン解析部で得られた解析結果を用いて特徴部分の抽出を行う
    請求項１記載の画像処理装置。
  5. 前記特徴量算出部は、前記肌画像に対して特徴量抽出を行うことにより得られた特徴ベクトルを第２特徴量として、
    前記画像位置合わせ部は、前記第１の肌画像における前記特徴部分と前記第２の肌画像における前記特徴部分における対応する特徴部分の検出を前記第２特徴量を用いて行う
    請求項１記載の画像処理装置。
  6. 前記特徴部分抽出部は、前記特徴部分として毛穴、吹出物、シミ、毛穴のつまりの少なくとも何れかを抽出する
    請求項１記載の画像処理装置。
  7. 前記特徴部分抽出部は、白色光を用いて撮像された肌画像から前記特徴量算出部で算出された特徴量に基づき、毛穴、吹出物、シミの少なくとも何れかを抽出し、近紫外光を用いて撮像された肌画像から前記特徴量算出部で算出された特徴量に基づき、毛穴のつまりを抽出する
    請求項６記載の画像処理装置。
  8. 予め設定された抽出条件を満たす特徴量である特徴部分の抽出結果に基づき統計量の算出を行い、特徴部分の数と大きさと色の濃さの少なくとも何れかに関する情報を生成する統計量算出部を有する
    請求項１記載の画像処理装置。
  9. 前記肌画像は、光源と撮像部に対して設けられた偏光フィルタを直交関係とすることで肌の表面反射が除外されている画像である
    請求項１記載の画像処理装置。
  10. 肌画像における注目画素の画素値に対する前記注目画素を囲む周辺画素の画素値の変化方向を示す極性と、周辺とは異なる類似した画素値の画像領域を示すスケールを、特徴量として算出する工程と、
    前記特徴量算出部で算出された特徴量に基づき、前記肌画像の特徴部分を抽出する工程と、
    第１の肌画像として過去画像、第２の肌画像として現在画像を用いて、前記第１の肌画像から前記特徴部分抽出部で抽出した前記特徴部分と前記第２の肌画像から前記特徴部分抽出部で抽出した前記特徴部分における対応する特徴部分の数が所定数よりも多い場合、前記第１と第２の肌画像において対応する特徴部分が一致するように前記肌画像の位置合わせを行い、対応している特徴部分の数が所定数以下である場合、前記第２の肌画像において前記対応する特徴部分の位置が、前記第１の肌画像において対応する特徴部分の位置となるように撮像範囲の移動アドバイスを提示する工程と
    を含む画像処理方法。
  11. 肌画像の処理をコンピュータで実行させるプログラムであって、
    前記肌画像における注目画素の画素値に対する前記注目画素を囲む周辺画素の画素値の変化方向を示す極性と、周辺とは異なる類似した画素値の画像領域を示すスケールを、特徴量として算出する手順と、
    前記算出された特徴量に基づき、前記肌画像の特徴部分を抽出する手順と、
    第１の肌画像として過去画像、第２の肌画像として現在画像を用いて、前記第１の肌画像から前記特徴部分抽出部で抽出した前記特徴部分と前記第２の肌画像から前記特徴部分抽出部で抽出した前記特徴部分における対応する特徴部分の数が所定数よりも多い場合、前記第１と第２の肌画像において対応する特徴部分が一致するように前記肌画像の位置合わせを行い、対応している特徴部分の数が所定数以下である場合、前記第２の肌画像において前記対応する特徴部分の位置が、前記第１の肌画像において対応する特徴部分の位置となるように撮像範囲の移動アドバイスを提示する手順と
    を前記コンピュータで実行させるプログラム。
  12. 撮像装置と情報処理装置を用いて構成される画像処理システムにおいて、
    前記撮像装置には、肌画像を生成する撮像部を設け、
    前記撮像装置または情報処理装置の何れかに、
    前記肌画像における注目画素の画素値に対する前記注目画素を囲む周辺画素の画素値の変化方向を示す極性と、周辺とは異なる類似した画素値の画像領域を示すスケールを、特徴量として算出する特徴量算出部と、
    前記特徴量算出部で算出された特徴量に基づき、前記肌画像の特徴部分を抽出する特徴部分抽出部と、
    第１の肌画像として過去画像、第２の肌画像として現在画像を用いて、前記第１の肌画像から前記特徴部分抽出部で抽出した前記特徴部分と前記第２の肌画像から前記特徴部分抽出部で抽出した前記特徴部分における対応する特徴部分の数が所定数よりも多い場合、前記第１と第２の肌画像において対応する特徴部分が一致するように前記肌画像の位置合わせを行い、対応している特徴部分の数が所定数以下である場合、前記第２の肌画像において前記対応する特徴部分の位置が、前記第１の肌画像において対応する特徴部分の位置となるように撮像範囲の移動アドバイスを提示する画像位置合わせ部と、
    前記特徴部分の抽出結果を提示する提示部と
    を設けた画像処理システム。
JP2014530497A 2012-08-17 2013-07-02 画像処理装置、画像処理方法、プログラムおよび画像処理システム Active JP6299594B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012180861 2012-08-17
JP2012180861 2012-08-17
PCT/JP2013/068140 WO2014027522A1 (ja) 2012-08-17 2013-07-02 画像処理装置、画像処理方法、プログラムおよび画像処理システム

Publications (2)

Publication Number Publication Date
JPWO2014027522A1 JPWO2014027522A1 (ja) 2016-07-25
JP6299594B2 true JP6299594B2 (ja) 2018-03-28

Family

ID=50685532

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014530497A Active JP6299594B2 (ja) 2012-08-17 2013-07-02 画像処理装置、画像処理方法、プログラムおよび画像処理システム

Country Status (4)

Country Link
US (1) US9697618B2 (ja)
JP (1) JP6299594B2 (ja)
CN (1) CN104540445B (ja)
WO (1) WO2014027522A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9727969B2 (en) * 2012-08-17 2017-08-08 Sony Corporation Image processing device, image processing method, program, and image processing system
GB201321748D0 (en) * 2013-12-09 2014-01-22 Ucb Pharma Sa Therapeutic agents
TW201540264A (zh) 2014-04-18 2015-11-01 Sony Corp 資訊處理裝置、資訊處理方法、及程式
JP6003963B2 (ja) 2014-11-07 2016-10-05 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP6003964B2 (ja) * 2014-11-07 2016-10-05 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
US9881368B2 (en) 2014-11-07 2018-01-30 Casio Computer Co., Ltd. Disease diagnostic apparatus, image processing method in the same apparatus, and medium storing program associated with the same method
TWI662356B (zh) * 2014-11-12 2019-06-11 日商新力股份有限公司 Information processing device, information processing method and computer program product
TWI701018B (zh) * 2015-01-29 2020-08-11 日商新力股份有限公司 資訊處理裝置、資訊處理方法、及程式
US20160366316A1 (en) * 2015-06-12 2016-12-15 Htc Corporation Skin analysis device and image capturing module thereof
JP6756524B2 (ja) * 2015-06-16 2020-09-16 株式会社シーボン 美容施術効果の解析方法
CN105787929B (zh) * 2016-02-15 2018-11-27 天津大学 基于斑点检测的皮肤疹点提取方法
JP6650819B2 (ja) * 2016-04-15 2020-02-19 株式会社 資生堂 色ムラ部位の評価方法、色ムラ部位評価装置及び色ムラ部位評価プログラム
CN106264463A (zh) * 2016-08-05 2017-01-04 深圳美立知科技有限公司 一种皮肤敏感度分析方法及装置
TWI657799B (zh) * 2016-09-29 2019-05-01 麗寶大數據股份有限公司 電子裝置與其提供膚質檢測資訊的方法
WO2018117020A1 (ja) * 2016-12-20 2018-06-28 株式会社資生堂 塗布制御装置、塗布制御方法、プログラムおよび記録媒体
EP3384829A1 (en) * 2017-04-05 2018-10-10 Koninklijke Philips N.V. Skin gloss measurement for quantitative estimation of skin gloss
CN108784647B (zh) * 2017-04-27 2021-07-27 立特克科技股份有限公司 皮肤检测装置与其检测方法
JP6898150B2 (ja) * 2017-05-23 2021-07-07 花王株式会社 毛穴検出方法及び毛穴検出装置
CN109064438A (zh) * 2017-06-09 2018-12-21 丽宝大数据股份有限公司 皮肤状态检测方法、电子装置与皮肤状态检测系统
CN110013102B (zh) * 2017-12-22 2021-12-10 卡西欧计算机株式会社 图像处理装置、图像处理方法以及记录介质
CN109978810B (zh) * 2017-12-26 2024-03-12 南通罗伯特医疗科技有限公司 痣的检测方法、系统、设备及存储介质
CN112533534A (zh) * 2018-08-21 2021-03-19 宝洁公司 用于识别毛孔颜色的方法
KR102411108B1 (ko) * 2019-03-20 2022-06-22 가부시키가이샤 코세 추정 방법, 추정 모델의 생성 방법, 프로그램, 및 추정 장치
CN110298815B (zh) * 2019-03-27 2023-04-14 天津财经大学 一种皮肤毛孔检测与评价的方法
WO2020218180A1 (ja) * 2019-04-24 2020-10-29 ソニー株式会社 画像処理装置、方法及び電子機器
US11961608B2 (en) * 2019-11-11 2024-04-16 Healthy.Io Ltd. Image processing systems and methods for caring for skin features
US20210196186A1 (en) * 2019-12-30 2021-07-01 L'oreal Acne detection using image analysis
JP7436708B2 (ja) 2020-05-08 2024-02-22 ザ プロクター アンド ギャンブル カンパニー 樹状毛穴を識別するための方法
CN112274110B (zh) * 2020-10-10 2023-06-16 苏州万微光电科技有限公司 一种基于皮肤荧光图像的毛孔检测系统、装置及方法
CN115358930B (zh) * 2022-10-19 2023-02-03 成都菁蓉联创科技有限公司 一种基于多无人机实时图像拼接方法及目标检测方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3219550B2 (ja) * 1993-06-30 2001-10-15 株式会社資生堂 肌の表面状態の解析システム
JPH1176173A (ja) * 1997-09-12 1999-03-23 Kenji Hashimoto 肌診断器具
IL124616A0 (en) * 1998-05-24 1998-12-06 Romedix Ltd Apparatus and method for measurement and temporal comparison of skin surface images
JP2003070749A (ja) * 2001-09-07 2003-03-11 Scalar Corp 診断システム、肌の診断方法、及びそれに用いられる情報処理装置、並びにプログラム、記録媒体
JP3919722B2 (ja) * 2003-09-11 2007-05-30 花王株式会社 肌形状計測方法及び肌形状計測装置
JP4548076B2 (ja) * 2003-10-02 2010-09-22 パナソニック電工株式会社 光式生体情報測定装置
US20090054744A1 (en) 2005-04-28 2009-02-26 Naomi Kitamura Skin state analyzing method, skin state analyzing apparatus, and computer-readable medium storing skin state analyzing program
JP4579046B2 (ja) * 2005-04-28 2010-11-10 株式会社資生堂 肌状態解析方法、肌状態解析装置、肌状態解析プログラム、及び該プログラムが記録された記録媒体
JP2007061307A (ja) * 2005-08-30 2007-03-15 Shiseido Co Ltd シミの分類方法
JP5080060B2 (ja) * 2005-11-08 2012-11-21 株式会社 資生堂 肌状態解析方法、肌状態解析装置、肌状態解析プログラム、及び該プログラムが記録された記録媒体
JP4725298B2 (ja) * 2005-11-11 2011-07-13 パナソニック電工株式会社 画像による外観検査方法
SG10201914077TA (en) * 2007-01-05 2020-03-30 Myskin Inc System, device and method for dermal imaging
JP2008293325A (ja) * 2007-05-25 2008-12-04 Noritsu Koki Co Ltd 顔画像解析システム
JP2009098925A (ja) 2007-10-17 2009-05-07 Sony Corp 画像処理装置、画像処理方法、および、プログラム
JP5528692B2 (ja) 2008-11-17 2014-06-25 株式会社 資生堂 シワ評価方法、シワ評価装置、シワ評価プログラム、及び該プログラムが記録された記録媒体
JP5405994B2 (ja) 2009-12-03 2014-02-05 花王株式会社 画像処理装置、画像処理方法、画像処理システム、肌評価方法
JP5426475B2 (ja) * 2010-05-21 2014-02-26 株式会社 資生堂 肌の色ムラ解析装置、肌の色ムラ解析方法、及び肌の色ムラ解析プログラム
WO2012012576A1 (en) * 2010-07-20 2012-01-26 Lockheed Martin Corporation Image analysis systems using non-linear data processing techniques and methods using same

Also Published As

Publication number Publication date
CN104540445A (zh) 2015-04-22
US9697618B2 (en) 2017-07-04
CN104540445B (zh) 2017-05-17
WO2014027522A1 (ja) 2014-02-20
US20150213619A1 (en) 2015-07-30
JPWO2014027522A1 (ja) 2016-07-25

Similar Documents

Publication Publication Date Title
JP6299594B2 (ja) 画像処理装置、画像処理方法、プログラムおよび画像処理システム
Ramlakhan et al. A mobile automated skin lesion classification system
JP6483826B2 (ja) 画像解析装置、画像解析方法、画像解析システム、画像解析プログラム、および記録媒体
JP6045417B2 (ja) 画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理装置の作動方法
CN107958453B (zh) 乳腺图像病变区域的检测方法、装置及计算机存储介质
US9053537B2 (en) Classifier for use in generating a diffuse image
WO2023103467A1 (zh) 图像处理方法、装置及设备
JP2017515106A (ja) 液体キャニスタ内の血液成分量の推定方法
Zhou et al. Feature-preserving artifact removal from dermoscopy images
JP5914688B2 (ja) デジタル画像に関する色解析
Qu et al. Detect digital image splicing with visual cues
Raffei et al. A low lighting or contrast ratio visible iris recognition using iso-contrast limited adaptive histogram equalization
JP6342810B2 (ja) 画像処理
CN102860814B (zh) 一种oct合成眼底图视盘中心定位方法及设备
US10748284B2 (en) Image processing device, operation method of image processing device, and computer-readable recording medium
US20220215538A1 (en) Automated or partially automated anatomical surface assessment methods, devices and systems
Paulsen et al. Introduction to medical image analysis
KR20160018033A (ko) 흑색종의 병변 판단 장치 및 방법
Rosado et al. 12 From Dermoscopy to Mobile Teledermatology
JP2006227973A (ja) 物体追跡方法および物体追跡装置ならびにプログラム
JP5860970B2 (ja) 固有画像の生成を改良するための後処理
JPWO2018011928A1 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
Reza et al. Automatic detection of optic disc in fundus images by curve operator
EP3023936B1 (en) Diagnostic apparatus and image processing method in the same apparatus
CN113128372A (zh) 基于图像处理的黑头识别方法、黑头识别装置及终端设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160621

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180212

R151 Written notification of patent or utility model registration

Ref document number: 6299594

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151