JP6406606B2 - 光沢判定装置および光沢判定方法 - Google Patents

光沢判定装置および光沢判定方法 Download PDF

Info

Publication number
JP6406606B2
JP6406606B2 JP2014205645A JP2014205645A JP6406606B2 JP 6406606 B2 JP6406606 B2 JP 6406606B2 JP 2014205645 A JP2014205645 A JP 2014205645A JP 2014205645 A JP2014205645 A JP 2014205645A JP 6406606 B2 JP6406606 B2 JP 6406606B2
Authority
JP
Japan
Prior art keywords
image
polarization
gloss
parallel
skin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014205645A
Other languages
English (en)
Other versions
JP2016075561A (ja
Inventor
智史 山梨
智史 山梨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2014205645A priority Critical patent/JP6406606B2/ja
Priority to CN201510507118.8A priority patent/CN105488782B/zh
Priority to US14/860,069 priority patent/US9953237B2/en
Publication of JP2016075561A publication Critical patent/JP2016075561A/ja
Application granted granted Critical
Publication of JP6406606B2 publication Critical patent/JP6406606B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10052Images from lightfield camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Dermatology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、顔等の光沢状態を判定する光沢判定装置および光沢判定方法に関する。
物体の表面には、その表面の状態と照明の具合との兼ね合いにより、光沢が生じることがある。顔の場合、強い光沢は、「テカり」等と呼ばれる。
例えば、顔を撮影した画像から皺の有無等の肌状態を判定する場合、光沢の影響を考慮しないと、判定精度が低下することがある。また、逆に、肌に生じている光沢から、皮脂の度合い等の肌状態を判定することも可能である。したがって、光沢の強さや分布等の光沢の状態(以下「光沢状態」という)を判定することは、肌状態判定等を行う上で有益である。
そこで、対象物の光沢状態を判定する技術が、例えば、特許文献1〜特許文献3に記載されている。
特許文献1に記載の技術は、光沢状態の判定の対象となる物体(以下「対象物」という)を撮影した画像において、各画素の輝度値を算出する。そして、特許文献1に記載の技術は、周辺の主要な成分に対して輝度値が大幅に大きい領域を、光沢の度合いが高い領域(以下「光沢領域」という)と判定する。
また、特許文献2に記載の技術は、対象物を撮影した画像に、輝度値が所定の閾値以上である画素が存在する場合、当該画像に光沢領域が含まれていると判定する。
また、特許文献3に記載の技術は、対象物の表面に自然光を入射させたときの光の反射率である全反射率と、対象物の表面にP偏光を入射させたときのS偏光成分の光の反射率である1/4値拡散反射率とを、それぞれ測定する。そして、特許文献3に記載の技術は、全反射率から、1/4値拡散反射率を4倍した値を差し引いた値に基づいて、光沢の強さを判定する。
特開2005−327009号公報 特開2010−273737号公報 特開2004−215991号公報
しかしながら、特許文献1および特許文献2に記載の技術では、白色人種の肌等、表面の色が明るい対象物の場合、光沢領域を精度良くすることが難しい。また、特許文献3に記載の技術では、対象物の表面の向きに合わせてP偏光の入射方向を設定しなければならず、手間が掛かる。特に、特許文献3に記載の技術では、顔のように部分毎に表面の向きが異なる場合、部分毎にP偏光の入射方向を切り替えて反射率の測定を行わなければならず、膨大な手間および時間を要する。したがって、対象物の光沢状態を、簡単に精度良く判定することができる技術が望まれる。
本発明の目的は、対象物の光沢状態を、簡単に精度良く判定することができる光沢判定装置および光沢判定方法を提供することである。
本開示の光沢判定装置は、偏光が照射された対象物を、前記偏光の偏波方向と同一の方向の偏波成分を通過させる偏光フィルタを介して撮影して得られる平行偏光画像と、偏光が照射された前記対象物を、前記偏光の偏波方向と直交する方向の偏波成分を通過させる偏光フィルタを介して撮影して得られる直交偏光画像と、を取得する画像取得部と、前記平行偏光画像と前記直交偏光画像との間の輝度の差分を示す差分画像を生成する差分画像生成部と、前記差分画像に基づいて、前記対象物の光沢状態を判定する光沢判定部と、を有する。
本開示の光沢判定方法は、偏光が照射された対象物を、前記偏光の偏波方向と同一の方向の偏波成分を通過させる偏光フィルタを介して撮影して得られる平行偏光画像と、偏光が照射された前記対象物を、前記偏光の偏波方向と直交する方向の偏波成分を通過させる偏光フィルタを介して撮影して得られる直交偏光画像と、を取得するステップと、前記平行偏光画像と前記直交偏光画像との間の輝度の差分を示す差分画像を生成するステップと、前記差分画像に基づいて、前記対象物の光沢状態を判定するステップと、を有する。
本開示によれば、対象物の光沢状態を、簡単に精度良く判定することができる。
本発明の一実施の形態に係る光沢判定装置の外観および使用状態の一例を示す図 本実施の形態に係る光沢判定装置の構成の一例を示すブロック図 本実施の形態に係る光沢判定装置の動作の一例を示すフローチャート 本実施の形態における平行偏光画像の一例を示す図 本実施の形態における直交偏光画像の一例を示す図 本実施の形態における差分画像の一例を示す図 本実施の形態における2値化差分画像の一例を示す図 平行偏光画像を2値化した結果を示す参考図
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。なお、本実施の形態、本発明に係る光沢判定装置を、ユーザの顔の肌状態を判定する装置に適用した場合の具体的態様の一例である。
<外観および使用状態>
図1は、本発明の一実施の形態に係る光沢判定装置100の外観および使用状態の一例を示す図である。
図1に示すように、光沢判定装置100は、例えば、卓上に立てて置くことが可能なタブレット型端末である。光沢判定装置100は、板状の筐体110の主面に、偏光フィルタ付きライト120、偏光フィルタ付きカメラ130、タッチパネル付きディスプレイ140、を配置している。ユーザ200は、タッチパネル付きディスプレイ140に数十センチメートル離隔して対向する位置等の所定位置に、顔210が位置するように、タッチパネル付きディスプレイ140の位置および自身の位置を調整して、光沢判定装置100を使用する。
偏光フィルタ付きライト120は、例えば、複数のLED(Light Emitting Diode)を内蔵した発光部と、水平方向の偏光成分を通過させる偏光フィルタと、を有する。偏光フィルタ付きライト120は、顔210が上記所定位置にある状態において、偏波方向が水平な偏光(以下、単に「偏光」という)を、顔210に照射する。なお、偏光フィルタは、取り外し可能であってもよい。
偏光フィルタ付きカメラ130は、例えば、デジタルカメラと、回転角度が調整可能な偏光フィルタと、を有する。偏光フィルタ付きカメラ130は、顔210が上記所定位置にある状態において、顔210を撮影する。なお、偏光フィルタは、通過する偏波成分の方向を、水平方向と、垂直方向との間で、切り替えることができる。すなわち、偏光フィルタ付きカメラ130は、対象物を、水平方向の偏波成分を通過させる偏光フィルタを介して撮影すると共に、垂直方向の偏波成分を通過させる偏光フィルタを介して撮影することができる。なお、偏光フィルタは、取り外し可能であってもよい。
タッチパネル付きディスプレイ120は、例えば、人の顔の大きさより一回り大きい液晶ディスプレイを有する。タッチパネル付きディスプレイ120は、ユーザ200からの操作の受け付け、および、ユーザ200に対する情報の表示を行う。
物体の表面における光の反射は、鏡面反射(表面反射)と拡散反射(内部反射)とに分類される。物体の表面に生じる光沢は、主に、かかる表面における光の鏡面反射に起因している。
偏光が物体の表面に入射するとき、鏡面反射ではその偏光性が維持されるが、拡散反射ではその偏光性は維持されない。したがって、偏光の偏光性が維持されているか否かによって、物体の表面からの光が、主に鏡面反射によるものであるのか、それとも主に拡散反射によるものであるのかを、判定することができる。
そこで、光沢判定装置100は、偏光フィルタ付きカメラ130を用いて、反射光の、偏光と同一の偏波方向の成分の輝度と、偏光の偏波方向と直交する偏波方向の成分の輝度とを、それぞれ抽出する。そして、光沢判定装置100は、光沢判定装置100は、抽出結果の差分が大きい部分を、鏡面反射の度合いが高い部分、つまり、物体の表面の光沢の度合いが高い部分であると判定する。
なお、本実施の形態において、偏波方向が同一とは、厳密に同一である場合のみならず、45度未満の偏波方向の角度差を含む概念とする。また、偏波方向が直交しているとは、厳密に直交している場合のみならず、直交する方向から45度未満の角度差を含む概念とする。
<装置の構成>
次に、光沢判定装置100の構成について説明する。
図2は、光沢判定装置100の構成の一例を示すブロック図である。
図2において、光沢判定装置100は、照明部310、撮影部320、画像取得部330、差分画像生成部340、光沢判定部350、肌状態判定部360、および判定結果提示部370を有する。
照明部310は、上述の偏光フィルタ付きライト120(図1参照)を含む。照明部310は、顔210の光沢状態の判定を行う際に、光沢状態判定の対象物である顔210に対して偏光を照射し、撮影部320に対して、光沢状態判定のための画像撮影(以降、「判定用撮影」という)を行うことを指示する。
撮影部320は、上述の偏光フィルタ付きカメラ130を含む。撮影部320は、判定用撮影を行うことを指示されたとき、まず、偏光フィルタが通過させる偏波成分の偏波方向が、顔210を照射する偏光の偏波方向と同一の方向(本実施の形態では、水平方向)となるようにして、撮影する。そして、撮影部320は、偏光フィルタが通過させる偏波成分の偏波方向が、顔210を照射する偏光の偏波方向と直交する方向(本実施の形態では、垂直方向)となるようにして、撮影する。なお、これらの撮影順序は、逆でもよい。そして、撮影部320は、撮影された2つの画像を、画像取得部330へ出力する。
なお、照明部310および撮影部320の動作は、画像取得部330により制御されてもよい。
画像取得部330は、入力された2つの画像を、平行偏光画像および直交偏光画像として取得する。そして、画像取得部330は、取得された2つの画像を、差分画像生成部340および肌状態判定部360へ出力する。また、画像取得部330は、取得された平行偏光画像を、肌状態判定部360へ出力する。
ここで、平行偏光画像とは、偏光が照射された顔210を、当該偏光の偏波方向と同一の方向(本実施の形態では、水平方向)の偏波成分を通過させる偏光フィルタを介して撮影して得られる画像である。また、直交偏光画像とは、偏光が照射された顔210を、当該偏光の偏波方向と直交する方向(本実施の形態では、垂直方向)の偏波成分を通過させる偏光フィルタを介して撮影して得られる画像である。
差分画像生成部340は、入力された平行偏光画像と直交偏光画像との間の輝度の差分を示す差分画像を生成する。より具体的には、差分画像生成部340は、平行偏光画像の基準画素の輝度値から、直交偏光画像の基準画素に対応する参照画素の輝度値を差し引いた値に基づいて、差分画像の基準画素に対応する対応画素の画素値を決定する。そして、差分画像生成部340は、生成した差分画像を、光沢判定部350へ出力する。
光沢判定部350は、入力された差分画像に基づいて、顔210の光沢状態を判定し、判定結果を、肌状態判定部360へ出力する。光沢判定部350は、2値化部351および領域検出部352を有する。
2値化部351は、差分画像を2値化して得られる、2値化差分画像を生成する。より具体的には、2値化部351は、差分画像の各画素値を所定の閾値(以下「2値化閾値」という)と比較して、各画素値を、平行偏光画像と直交偏光画像との間の輝度値の差分の絶対値が小さいことを示す「0」と、平行偏光画像と直交偏光画像との間の輝度値の差分の絶対値が大きいことを示す「1」のいずれかに変換する。そして、2値化部351は、生成された2値化差分画像を、領域検出部352へ出力する。
領域検出部352は、入力された2値化差分画像のうち、平行偏光画像と直交偏光画像との間の輝度値の差分が大きい領域(本実施の形態では、画素値が「1」の領域)を、光沢領域として検出する。そして、検出された光沢領域を示す情報(光沢状態の判定結果)を、肌状態判定部360へ出力する。
肌状態判定部360は、入力された平行偏光画像に対して、画像の陰影のエッジの強さを閾値と比較することにより皺を検出する。そして、肌状態判定部360は、検出された皺の領域を示す情報(肌状態の判定結果)と、入力された平行偏光画像とを、判定結果提示部370へ出力する。但し、肌状態判定部360は、入力された光沢状態の判定結果が示す光沢領域については、上記閾値を、他の領域よりも低くする。すなわち、肌状態判定部360は、光沢の度合いが高い領域では、皺が検出され易くなるようにする。
判定結果提示部370は、タッチパネル付きディスプレイ140を含む。判定結果提示部370は、入力された肌状態の判定結果(肌の状態に関する情報)を、ユーザ200に対して提示する。例えば、判定結果提示部370は、皺の領域を示す皺領域画像を生成し、平行偏光画像に重畳して表示する。
なお、光沢判定装置100は、図示しないが、例えば、CPU(Central Processing Unit)、制御プログラムを格納したROM(Read Only Memory)等の記憶媒体、RAM(Random Access Memory)等の作業用メモリ、および通信回路を有する。この場合、上記した各部の機能は、CPUが制御プログラムを実行することにより実現される。
このような構成を有する光沢判定装置100は、平行偏光画像と前記直交偏光画像との間の輝度の差分に基づいて、顔210の光沢状態を判定し、更に、光沢状態の判定結果に基づいて、肌状態に関する情報を提示することができる。
<装置の動作>
次に、光沢判定装置100の動作について説明する。
図3は、光沢判定装置100の動作の一例を示すフローチャートである。以下に説明する動作は、例えば、ユーザにより、肌状態判定の処理の開始を指示する所定の操作が行われる毎に開始される。
ステップS1100において、画像取得部330は、照明部310および撮影部320を用いて、平行偏光画像および直交偏光画像を取得する。
図4は、平行偏光画像の一例を示す図である。また、図5は、直交偏光画像の一例を示す図である。
平行偏光画像は、照明部310の偏光の偏波方向に、撮影部320の偏光フィルタが通過させる光の偏波方向を一致させて、撮影された画像である。したがって、図4に示すように、平行偏光画像410では、鏡面反射が強い部分で、輝度が高くなる。
しかしながら、拡散反射の反射光にも、同一の偏波方向の成分が存在しており、更に、肌の色が明るい場合にも輝度は高くなる。また、周囲から到来する環境光にも、偏光と同一の偏波成分が含まれる。このため、平行偏光画像410の各部の輝度は、必ずしも、拡散反射の度合いを反映しているとはいえない。言い換えると、平行偏光画像410の各部分は、鏡面反射の度合い、拡散反射の度合い、肌の色の明るさ、および環境光に応じた輝度となる。
一方、直交偏光画像は、照明部310の偏光の偏波方向に、撮影部320の偏光フィルタが通過させる光の偏波方向を直交させて、撮影された画像である。したがって、図5に示すように、直交偏光画像420では、鏡面反射の影響をほぼ受けず、拡散反射の度合い、肌の色の明るさ、および環境光のみに応じた輝度となる。
画像取得部330は、できるだけ短い時間間隔で平行偏光画像および直交偏光画像が撮影されるように、照明部310および撮影部320を制御することが望ましい。顔の位置や向きがずれると、顔の各部の位置が平行偏光画像と直交偏光画像との間でずれ、光沢状態の判定精度が低下するからである。なお、画像取得部330は、平行偏光画像および直交偏光画像のそれぞれから、顔の目尻や口角等の顔部品の位置をパターンマッチング等により検出し、検出された顔部品の位置に基づいて、顔の各部の位置のずれが少なくなるように、平行偏光画像あるいは直交偏光画像を移動、回転、拡大縮小、あるいは変形させてもよい。
図3のステップS1200において、差分画像生成部340は、平行偏光画像と直交偏光画像との間の輝度の差分を示す差分画像を生成する。
図6は、差分画像の一例を示す図である。ここでは、図4の平行偏光画像410および図5の直交偏光画像420から生成される差分画像を示す。
上述の通り、平行偏光画像410の各部分の輝度は、鏡面反射の度合い、拡散反射の度合い、肌の色の明るさ、および環境光に基づいているのに対し、直交偏光画像420の各部分の輝度は、拡散反射の度合い、肌の色の明るさ、および環境光のみに基づいている。したがって、図6に示すように、差分画像430は、主に、平行偏光画像410の各部分の輝度のうち、鏡面反射の成分を抽出して示す画像となる。
なお、差分画像生成部340は、差分画像を算出する際に、平行偏光画像の輝度値および直交偏光画像の輝度値に、所定の重み付けを行ってもよい。
図3のステップS1300において、2値化部351は、差分画像を、2値化閾値を用いて2値化して、2値化差分画像を生成する。
図7は、2値化差分画像の一例を示す図である。ここでは、図5の差分画像430から生成される2値化差分画像を示す。
図7に示すように、2値化差分画像440では、差分画像430の画素値(輝度値)が2値化閾値以上の領域、つまり、平行偏光画像と直交偏光画像との間の輝度の差が大きい領域で、値「1」(図中、白領域で示す)となる。また、それ以外の領域、つまり、平行偏光画像と直交偏光画像との間の輝度の差が小さい領域で、値「0」(図中、黒領域で示す)となる。
図3のステップS1400において、領域検出部352は、2値化差分画像から、光沢領域(本実施の形態では、画素値が「1」の領域)を、光沢領域として検出する。
ステップS1500において、肌状態判定部360は、光沢領域に基づいて、顔210の肌状態を判定する。
そして、ステップS1600において、判定結果提示部370は、肌状態の判定結果をユーザ200に提示する。例えば、判定結果提示部370は、上述の皺領域画像を平行偏光画像に重畳した、判定結果画像を表示する。
このような動作により、光沢判定装置100は、平行偏光画像と前記直交偏光画像との間の輝度の差分に基づいて、顔210の光沢状態を判定し、更に、光沢状態の判定結果に基づいて、肌状態に関する情報を提示することができる。
図8は、比較のために、図4に示す平行偏光画像410を2値化した場合の結果を示す図である。図8に示すように、平行偏光画像410を2値化した2値化平行偏光画像460は、図7に示す2値化差分画像440に比べると、より多くの領域で、画素値が高くなることが分かる。これは、拡散反射および肌の色の明るさといった、鏡面反射以外の輝度成分を除去することができていないためである。
<本実施の形態の効果>
以上のように、本実施の形態に係る光沢判定装置100は、顔210の平行偏光画像および直交偏光画像を取得し、平行偏光画像と直交偏光画像との間の輝度の差分を示す差分画像を生成し、かかる差分画像に基づいて顔210の光沢状態を判定する。
これにより、光沢判定装置100は、顔210を撮影した画像から、鏡面反射による成分を高精度に抽出することができ、顔210の光沢状態を精度良く判定することができる。また、光沢判定装置100は、1回の照射における2つの画像の撮影と、画像データ処理のみによって、かかる判定を行うことができる。すなわち、光沢判定装置100は、上述の高精度の光沢状態判定を、従来技術に比べて極めて簡単に実現することができる。
<本実施の形態の変形例>
なお、光沢判定装置100の構成の一部は、ネットワーク上のサーバ等の外部装置に配置され、他の部分と離隔していてもよい。この場合、光沢判定装置100は、かかる外部装置と通信を行うための通信部を備える必要がある。
また、照明部310、撮影部320、肌状態判定部360、および判定結果提示部370の一部または全部が、他の装置で実現される場合、光沢判定装置100は、当該部分を、必ずしも有さなくてもよい。また、光沢判定装置100は、光沢領域を判定しない場合、必ずしも、2値化部351および領域検出部352を有さなくてもよい。
(その他の変形例)
なお、平行偏光画像および直交偏光画像の取得手法は、上述の例に限定されない。例えば、光沢判定装置は、照明部において照明光の偏波方向を切り替え、偏光フィルタの角度が固定された撮影部において、各偏波方向の照明光にて撮影を行うように、構成されていてもよい。また、この場合において、顔の頬付近等、表面の向きがほぼ一定であるような部分を対象物とする場合、照明部は、対象物に対してP波偏光およびS波偏光を入射させるように構成されていてもよい。
また、光沢判定装置は、肌状態を提示するのではなく、判定された光沢状態に基づいて、その光沢状態が所望の状態となるように、照明を制御する照明制御部、を有してもよい。例えば、光沢判定装置は、個別に調光することが可能な複数の光源を備え、光源の点灯パターンを切り替えながら、各点灯パターンでの光沢領域の面積を取得する。そして、光沢判定装置は、光沢領域の面積が最小となる点灯パターンで照明を行った状態で、再度、偏光フィルタを用いずに、顔を撮影する。
また、光沢判定装置は、エッジ検出による皺検出処理以外の各種肌状態判定処理に、判定された光沢状態を活用してもよい。例えば、光沢判定装置は、光沢の度合いが高い領域を、皮脂の分泌の度合いが高い領域と判定する。
このように、光沢判定装置は、光沢状態の影響を受ける各種処理、あるいは、光沢状態と密接な関連を有する状態を推定する各種処理の精度を、高精度に判定された光沢状態に基づいて行うことによって向上させることができる。
また、判定の対象となる光沢状態は、上述の例に限定されない。例えば、光沢判定装置は、光沢状態として、差分画像そのものや、差分画像における領域毎の画素値の代表値を、判定してもよい。例えば、光沢判定装置は、撮影画像から唇領域を検出し、検出された唇領域における、平行偏光画像と直交偏光画像との間の輝度値の平均値を、光沢状態として検出してもよい。なお、この例の場合、光沢判定装置は、例えば、リップクリームの艶の効果の度合いを判定することができる。
また、光沢判定装置は、2値化閾値を、他の各種情報を入力し、入力された情報に応じて変更してもよい。例えば、光沢判定装置は、室温や湿度の測定値が乾燥し易い環境を示すとき、2値化閾値を下げて、光沢領域が検出され易くする。
また、偏光の偏波方向、照明手法、撮影手法、および肌状態判定結果の提示手法は、上述の例に限定されない。例えば、光沢判定装置は、通過させる偏波方向成分が互いに直交する偏光フィルタをそれぞれ備えた2つのカメラを近接して備え、これらのカメラで同時に撮影を行うことにより、平行偏光画像および直交偏光画像を同時に取得してもよい。また、光沢判定装置は、平行偏光画像および直交偏光画像を撮影するカメラとは別に、他の用途に用いられる画像を撮影するカメラを備えていてもよい。
また、光沢状態の判定の対象物は、人の顔に限定されない。例えば、光沢判定装置は、工業製品の光沢状態判定に用いられてもよい。
<本開示のまとめ>
本開示の光沢判定装置は、偏光が照射された対象物を、前記偏光の偏波方向と同一の方向の偏波成分を通過させる偏光フィルタを介して撮影して得られる平行偏光画像と、偏光が照射された前記対象物を、前記偏光の偏波方向と直交する方向の偏波成分を通過させる偏光フィルタを介して撮影して得られる直交偏光画像と、を取得する画像取得部と、前記平行偏光画像と前記直交偏光画像との間の輝度の差分を示す差分画像を生成する差分画像生成部と、前記差分画像に基づいて、前記対象物の光沢状態を判定する光沢判定部と、を有する。
なお、上記光沢判定装置において、前記差分画像生成部は、前記平行偏光画像の基準画素の輝度値から、前記直交偏光画像の前記基準画素に対応する参照画素の輝度値を差し引いた値に基づいて、前記差分画像の前記基準画素に対応する対応画素の画素値を決定し、前記光沢判定部は、前記差分画像を2値化して得られる、2値化差分画像を生成する2値化部と、前記2値化差分画像に基づいて、前記対象物の光沢の度合いが高い光沢領域を検出する領域検出部と、を有してもよい。
また、上記光沢判定装置において、前記2値化部は、前記光沢領域が所定の条件を満たすように、前記2値化差分画像を生成するための閾値を調整してもよい。
また、上記光沢判定装置において、前記平行偏光画像の撮影に用いられた前記偏光、および、前記直交偏光画像の撮影に用いられた前記偏光は、前記対象物を同一の位置から照射する光であり、前記平行偏光画像および前記直交偏光画像は、前記対象物を同一の位置から撮影して得られた画像であってもよい。
また、上記光沢判定装置において、前記対象物は、人の顔の肌であり、前記光沢状態と、前記平行偏光画像および前記直交偏光画像が撮影された前記位置と同一の位置から前記対象物を撮影して得られる画像と、に基づいて、前記肌の状態を判定する肌状態判定部と、判定された前記肌の状態に関する情報を提示する判定結果提示部と、を有してもよい。
また、上記光沢判定装置は、前記平行偏光画像および前記直交偏光画像が撮影された前記位置と同一の位置から前記対象物が撮影される際に用いられる、前記対象物に対する照明を、前記光沢状態に基づいて制御する照明制御部、を有してもよい。
本開示の光沢判定方法は、偏光が照射された対象物を、前記偏光の偏波方向と同一の方向の偏波成分を通過させる偏光フィルタを介して撮影して得られる平行偏光画像と、偏光が照射された前記対象物を、前記偏光の偏波方向と直交する方向の偏波成分を通過させる偏光フィルタを介して撮影して得られる直交偏光画像と、を取得するステップと、前記平行偏光画像と前記直交偏光画像との間の輝度の差分を示す差分画像を生成するステップと、前記差分画像に基づいて、前記対象物の光沢状態を判定するステップと、を有する。
本発明は、対象物の光沢状態を、簡単に精度良く判定することができる光沢判定装置および光沢判定方法として有用である。
100 光沢判定装置
110 筐体
120 偏光フィルタ付きライト
130 偏光フィルタ付きカメラ
140 タッチパネル付きディスプレイ
310 照明部
320 撮影部
330 画像取得部
340 差分画像生成部
350 光沢判定部
351 2値化部
352 領域検出部
360 肌状態判定部
370 判定結果提示部

Claims (4)

  1. 偏光が照射された人の顔の肌を、前記偏光の偏波方向と同一の方向の偏波成分を通過させる偏光フィルタを介して撮影して得られる平行偏光画像と、偏光が照射された前記人の顔の肌を、前記偏光の偏波方向と直交する方向の偏波成分を通過させる偏光フィルタを介して撮影して得られる直交偏光画像と、を取得する画像取得部と、
    前記平行偏光画像と前記直交偏光画像との間の輝度の差分を示す差分画像を生成する差分画像生成部と、
    前記差分画像を2値化して得られる、2値化差分画像を生成する2値化部と、
    前記2値化差分画像に基づいて、前記人の顔の肌における光沢の度合いが高い光沢領域を検出する領域検出部と、
    前記光沢領域の方が他の領域よりも低くなっている皺検出用の閾値を用いて、前記平行偏光画像から顔の皺の画像を検出する肌状態判定部と、
    前記検出した顔の皺の画像を前記平行偏光画像に重畳して表示する判定結果提示部と、
    を有する、
    光沢判定装置。
  2. 前記平行偏光画像の撮影に用いられた前記偏光、および、前記直交偏光画像の撮影に用いられた前記偏光は、前記人の顔の肌を同一の位置から照射する光であり、
    前記平行偏光画像および前記直交偏光画像は、前記人の顔の肌を同一の位置から撮影して得られた画像である、
    請求項1に記載の光沢判定装置。
  3. 前記平行偏光画像および前記直交偏光画像が撮影された前記位置と同一の位置から前記人の顔の肌が撮影される際に用いられる、前記人の顔の肌に対する照明を、光沢状態に基づいて制御する照明制御部、を有する、
    請求項に記載の光沢判定装置。
  4. 偏光が照射された人の顔の肌を、前記偏光の偏波方向と同一の方向の偏波成分を通過させる偏光フィルタを介して撮影して得られる平行偏光画像と、偏光が照射された前記人の顔の肌を、前記偏光の偏波方向と直交する方向の偏波成分を通過させる偏光フィルタを介して撮影して得られる直交偏光画像と、を取得するステップと、
    前記平行偏光画像と前記直交偏光画像との間の輝度の差分を示す差分画像を生成するステップと、
    前記差分画像を2値化して得られる、2値化差分画像を生成するステップと、
    前記2値化差分画像に基づいて、前記人の顔の肌における光沢の度合いが高い光沢領域を検出するステップと、
    前記光沢領域の方が他の領域よりも低くなっている皺検出用の閾値を用いて、前記平行偏光画像から顔の皺の画像を検出するステップと、
    前記検出した顔の皺の画像を前記平行偏光画像に重畳して表示するステップと、
    を有する、
    光沢判定方法。
JP2014205645A 2014-10-06 2014-10-06 光沢判定装置および光沢判定方法 Active JP6406606B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014205645A JP6406606B2 (ja) 2014-10-06 2014-10-06 光沢判定装置および光沢判定方法
CN201510507118.8A CN105488782B (zh) 2014-10-06 2015-08-18 光泽判定装置以及光泽判定方法
US14/860,069 US9953237B2 (en) 2014-10-06 2015-09-21 Gloss determination device and gloss determination method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014205645A JP6406606B2 (ja) 2014-10-06 2014-10-06 光沢判定装置および光沢判定方法

Publications (2)

Publication Number Publication Date
JP2016075561A JP2016075561A (ja) 2016-05-12
JP6406606B2 true JP6406606B2 (ja) 2018-10-17

Family

ID=55633023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014205645A Active JP6406606B2 (ja) 2014-10-06 2014-10-06 光沢判定装置および光沢判定方法

Country Status (3)

Country Link
US (1) US9953237B2 (ja)
JP (1) JP6406606B2 (ja)
CN (1) CN105488782B (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101718517B1 (ko) * 2015-04-03 2017-04-05 재단법인대구경북과학기술원 피부 헬스케어를 위한 모바일 다중 분광 이미징 디바이스, 사용자 모바일 기기 연결, 이미지 분석 방법
WO2017056821A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報取得装置と情報取得方法
KR102370800B1 (ko) * 2016-05-16 2022-03-07 (주)아모레퍼시픽 피부 미백 지수의 생성 방법
US20200305784A1 (en) * 2016-06-27 2020-10-01 Koninklijke Philips N.V Device and method for skin gloss detection
RU2657377C2 (ru) * 2016-11-11 2018-06-13 Самсунг Электроникс Ко., Лтд. Интеллектуальная насадка на смартфон для определения чистоты, влажности и фотовозраста кожи
EP3384829A1 (en) * 2017-04-05 2018-10-10 Koninklijke Philips N.V. Skin gloss measurement for quantitative estimation of skin gloss
US10509940B2 (en) * 2017-09-28 2019-12-17 Apple Inc. Electronic device including sequential operation of light source subsets while acquiring biometric image data and related methods
JP2019082390A (ja) * 2017-10-30 2019-05-30 富士ゼロックス株式会社 表面特性取得装置
US11452455B2 (en) * 2018-05-02 2022-09-27 Canfield Scientific, Incorporated Skin reflectance and oiliness measurement
DE102018222122A1 (de) 2018-12-18 2020-06-18 Henkel Ag & Co. Kgaa Verfahren zum bestimmen von glanz eines abschnitts einer haut eines benutzers
US11558556B2 (en) * 2020-07-09 2023-01-17 Samsung Electronics Co., Ltd. Electronic device for acquiring image by using light-emitting module having polarizing filter and method for controlling same
CN113011303B (zh) * 2021-03-12 2023-04-18 支付宝(杭州)信息技术有限公司 一种基于偏振图像的面部特征确定方法及装置
CN113411507B (zh) * 2021-05-10 2023-01-06 深圳数联天下智能科技有限公司 测肤图像的获取方法、装置、设备及存储介质
CN118251897A (zh) * 2021-11-22 2024-06-25 索尼集团公司 图像处理装置、图像处理方法和程序

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0566381A (ja) * 1991-09-09 1993-03-19 Olympus Optical Co Ltd 光沢検出装置
JPH0771945A (ja) * 1992-08-07 1995-03-17 Kao Corp 表面性状測定方法及びその装置
US5552890A (en) * 1994-04-19 1996-09-03 Tricor Systems, Inc. Gloss measurement system
JP2001174412A (ja) * 1999-12-22 2001-06-29 Hokkaido ご飯外観の数値評価方法
FR2810737B1 (fr) * 2000-06-23 2003-04-18 Oreal Appareil et procede d'examen d'une surface
JP4105554B2 (ja) 2003-01-16 2008-06-25 株式会社資生堂 皮膚の透明感評価方法
US7336810B2 (en) * 2003-06-11 2008-02-26 KOSé CORPORATION Skin evaluation method and image simulation method
JP4056443B2 (ja) * 2003-08-21 2008-03-05 Necフィールディング株式会社 健康診断システムおよびプログラム
JP4396387B2 (ja) 2004-05-13 2010-01-13 オムロン株式会社 画像補正装置
JP4201197B2 (ja) * 2004-08-05 2008-12-24 ジヤトコ株式会社 無段変速機用ベルトの検査方法及び無段変速機用ベルトの検査装置
JP4797593B2 (ja) * 2005-03-10 2011-10-19 富士ゼロックス株式会社 光沢測定装置及びプログラム
JP4689662B2 (ja) * 2005-03-10 2011-05-25 富士フイルム株式会社 撮影システム
US20120321759A1 (en) * 2007-01-05 2012-12-20 Myskin, Inc. Characterization of food materials by optomagnetic fingerprinting
US20140233810A1 (en) * 2007-06-11 2014-08-21 Lumidigm, Inc. Dermatoglyphic hand sensor
WO2009157129A1 (ja) * 2008-06-26 2009-12-30 パナソニック株式会社 画像処理装置、画像分割プログラムおよび画像合成方法
EP2223650A1 (en) * 2009-02-25 2010-09-01 The Provost, Fellows and Scholars of the College of the Holy and Undivided Trinity of Queen Elizabeth near Dublin Method and apparatus for imaging tissue topography
JP5398354B2 (ja) 2009-05-26 2014-01-29 株式会社マンダム 皮膚の表面状態の評価方法
JP2011122990A (ja) * 2009-12-14 2011-06-23 Hitachi High-Technologies Corp 欠陥検査装置及び欠陥検査方法
US10126111B2 (en) * 2011-08-21 2018-11-13 Mobileodt Ltd. Associating optical coherence tomography (OCT) data with visual imagery of a sample
US8971593B2 (en) * 2011-10-12 2015-03-03 Lumidigm, Inc. Methods and systems for performing biometric functions
JP5873983B2 (ja) * 2013-01-29 2016-03-01 パナソニックIpマネジメント株式会社 撮像システム
WO2014121152A1 (en) * 2013-02-01 2014-08-07 Farkas Daniel Method and system for characterizing tissue in three dimensions using multimode optical measurements
JP6345176B2 (ja) * 2013-06-28 2018-06-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 肌の官能評価装置および肌の評価方法
US9307159B2 (en) * 2014-03-04 2016-04-05 Panasonic Intellectual Property Management Co., Ltd. Polarization image processing apparatus

Also Published As

Publication number Publication date
CN105488782B (zh) 2020-07-28
US9953237B2 (en) 2018-04-24
US20160098614A1 (en) 2016-04-07
CN105488782A (zh) 2016-04-13
JP2016075561A (ja) 2016-05-12

Similar Documents

Publication Publication Date Title
JP6406606B2 (ja) 光沢判定装置および光沢判定方法
JP6240609B2 (ja) 視覚ベースの対話式投影システム
US20180122063A1 (en) Estimation of food volume and carbs
US11069057B2 (en) Skin diagnostic device and skin diagnostic method
JP6305941B2 (ja) オブジェクト向上のためのライティング・システムおよび方法
US10423946B2 (en) POS terminal device, commodity recognition method, and non-transitory computer readable medium storing program
US9787907B2 (en) Substance detection device
TWI701018B (zh) 資訊處理裝置、資訊處理方法、及程式
WO2014125831A1 (ja) 電子ミラー装置
JP2020516879A (ja) 皮膚光沢の定量的推定のための皮膚光沢測定
US10650225B2 (en) Image processing apparatus which determines category to which object in image belongs, method therefor, and object discrimination apparatus
WO2017168473A1 (ja) 文字図形認識装置、文字図形認識方法、及び文字図形認識プログラム
JP2014067193A (ja) 画像処理装置および画像処理方法
JP7477456B2 (ja) 制御されていない環境において歯のシェードを評価する方法及びシステム
JP2020516877A (ja) ブルースター角度を用いる皮膚光沢測定
JP6801434B2 (ja) 生体画像処理装置、生体画像処理方法および生体画像処理プログラム
US11558556B2 (en) Electronic device for acquiring image by using light-emitting module having polarizing filter and method for controlling same
WO2020230445A1 (ja) 画像処理装置、画像処理方法、及び、コンピュータプログラム
JP2015126281A (ja) プロジェクタ、情報処理方法及びプログラム
Nau et al. Skinscan: Low-cost 3d-scanning for dermatologic diagnosis and documentation
JP7241293B2 (ja) 撮影方法および撮影装置
WO2020240989A1 (ja) 撮像装置、撮像制御方法および撮像制御プログラム
JP4852454B2 (ja) 目傾き検出装置及びプログラム
JP2017182672A (ja) 情報処理方法および情報処理装置、プログラム
Goyal et al. Automatic Segmented Area Structured Lighting

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170421

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180907

R151 Written notification of patent or utility model registration

Ref document number: 6406606

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151