JP5426475B2 - Skin color unevenness analysis apparatus, skin color unevenness analysis method, and skin color unevenness analysis program - Google Patents

Skin color unevenness analysis apparatus, skin color unevenness analysis method, and skin color unevenness analysis program Download PDF

Info

Publication number
JP5426475B2
JP5426475B2 JP2010117466A JP2010117466A JP5426475B2 JP 5426475 B2 JP5426475 B2 JP 5426475B2 JP 2010117466 A JP2010117466 A JP 2010117466A JP 2010117466 A JP2010117466 A JP 2010117466A JP 5426475 B2 JP5426475 B2 JP 5426475B2
Authority
JP
Japan
Prior art keywords
color unevenness
skin
component
image
density
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010117466A
Other languages
Japanese (ja)
Other versions
JP2011240086A (en
Inventor
久美子 菊地
勇二 舛田
豊信 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shiseido Co Ltd
Original Assignee
Shiseido Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shiseido Co Ltd filed Critical Shiseido Co Ltd
Priority to JP2010117466A priority Critical patent/JP5426475B2/en
Publication of JP2011240086A publication Critical patent/JP2011240086A/en
Application granted granted Critical
Publication of JP5426475B2 publication Critical patent/JP5426475B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、肌の色ムラ解析装置、肌の色ムラ解析方法、及び肌の色ムラ解析プログラムに関する。   The present invention relates to a skin color unevenness analysis apparatus, a skin color unevenness analysis method, and a skin color unevenness analysis program.

現代における肌の悩み、肌に対するニーズは多様化しており、例えばシミ、そばかす、くすみ、頬の赤み、にきび跡等の肌全体に生じる色ムラは、肌の印象に影響を及ぼすものとしてその解明が望まれている。このような肌の色ムラは、主にメラニン色素、ヘモグロビン色素等の色素成分の局所的な分布に影響され、色ムラを解析するためには、それぞれの色素情報を個別に抽出し、その分布状態を解析する必要がある。   Today's skin troubles and skin needs are diversifying. For example, color unevenness that occurs throughout the skin, such as spots, freckles, dullness, cheek redness, and acne scars, can be clarified as affecting the skin impression. It is desired. Such skin color unevenness is mainly influenced by the local distribution of pigment components such as melanin pigment and hemoglobin pigment. In order to analyze color unevenness, each pigment information is extracted individually and its distribution The state needs to be analyzed.

従来では、撮影した肌画像から独立成分分析によりメラニン、ヘモグロビン成分画像を抽出し、抽出した各画像を段階的に複数の空間周波数帯域に分解し、分解した画像の画素強度の度数分布からパラメータを算出する方法が提案されている(例えば、特許文献1参照)。   Conventionally, melanin and hemoglobin component images are extracted from the photographed skin image by independent component analysis, and each extracted image is stepwise decomposed into a plurality of spatial frequency bands, and parameters are calculated from the frequency distribution of the pixel intensity of the decomposed image. A calculation method has been proposed (see, for example, Patent Document 1).

特開2005−293214号公報JP 2005-293214 A

しかしながら、上述した特許文献1の手法では、段階的に複数の空間周波数帯域により画像を分解しているため、色ムラの要因となるシミ、頬の赤み、にきび跡等の複数の症状に応じた色ムラサイズの解析を行うことができない。また独立成分分析により算出しているメラニン成分とヘモグロビン成分は、画像のRGB値から肌の内部反射光のメラニン成分とヘモグロビン成分を計算しているため、あくまでも見かけ上の量であって実際の量に基づいていないという問題があった。更に、画素強度の度数分布から算出しているパラメータは、シミュレーションを行うためのパラメータであり、実際に色ムラを数値化、又は計測することにより、色ムラを解析することができなかった。   However, in the method of Patent Document 1 described above, since the image is decomposed step by step in a plurality of spatial frequency bands, it corresponds to a plurality of symptoms such as stains, redness of cheeks, and acne marks that cause color unevenness. The color unevenness size cannot be analyzed. In addition, the melanin component and hemoglobin component calculated by independent component analysis are the apparent amount and the actual amount because the melanin component and hemoglobin component of the internal reflected light of the skin are calculated from the RGB values of the image. There was a problem that it was not based on. Furthermore, the parameter calculated from the frequency distribution of the pixel intensity is a parameter for performing a simulation, and the color unevenness cannot be analyzed by actually quantifying or measuring the color unevenness.

本発明は、上記の課題に鑑みてなされたものであり、肌の色ムラを所定の色ムラサイズの色素成分ごとに数値化して解析する肌の色ムラ解析装置、肌の色ムラ解析方法、及び肌の色ムラ解析プログラムを提供することを目的とする。   The present invention has been made in view of the above-described problems, and the skin color unevenness analysis apparatus, the skin color unevenness analysis method, which analyzes and quantifies the skin color unevenness for each pigment component of a predetermined color unevenness size, Another object of the present invention is to provide a skin color unevenness analysis program.

本発明は、上記目的を達成するために、頬の肌全体に分布している色素成分の分布状態から前記肌の色ムラを解析する肌の色ムラ解析装置であって、前記頬の肌全体が撮影された画像を所定の周波数によって所定の色ムラサイズごとに分解する周波数解析手段と、前記周波数解析手段により分解された所定の色ムラサイズの画像ごとに前記肌の色情報を取得し、取得した前記肌の色情報に基づき前記色素成分ごとの分布状態を算出する色素成分算出手段と、前記色素成分算出手段により得られる色素成分の分布状態に基づき、前記所定の色ムラサイズの前記色素成分ごとに前記肌の色ムラを数値化して解析する色ムラ解析手段とを有することを特徴とする。   In order to achieve the above object, the present invention is a skin color unevenness analyzing apparatus for analyzing the skin color unevenness from a distribution state of pigment components distributed over the entire cheek skin, wherein the entire cheek skin Frequency analysis means for decomposing the captured image for each predetermined color unevenness size by a predetermined frequency, and obtaining the skin color information for each image of the predetermined color unevenness size decomposed by the frequency analysis means, Based on the acquired skin color information, a pigment component calculation unit that calculates a distribution state for each pigment component, and based on the pigment component distribution state obtained by the pigment component calculation unit, the pigment having the predetermined color unevenness size Color unevenness analysis means for digitizing and analyzing the color unevenness of the skin for each component is characterized.

また、本発明は、頬の肌全体に分布している色素成分の分布状態から前記肌の色ムラを解析する肌の色ムラ解析装置により実行される肌の色ムラ解析方法であって、前記頬の肌全体が撮影された画像を所定の周波数によって所定の色ムラサイズごとに分解する周波数解析手順と、前記周波数解析手順により分解された所定の色ムラサイズの画像ごとに前記肌の色情報を取得し、取得した前記肌の色情報に基づき前記色素成分ごとの分布状態を算出する色素成分算出手順と、前記色素成分算出手順により得られる色素成分の分布状態に基づき、前記所定の色ムラサイズの前記色素成分ごとに前記肌の色ムラを数値化して解析する色ムラ解析手順とを有することを特徴とする。   Further, the present invention is a skin color unevenness analysis method executed by a skin color unevenness analysis apparatus that analyzes the skin color unevenness from a distribution state of pigment components distributed over the entire cheek skin, A frequency analysis procedure for decomposing an image of the entire cheek skin photographed for each predetermined color unevenness size at a predetermined frequency, and the skin color information for each image of the predetermined color unevenness size decomposed by the frequency analysis procedure And calculating the distribution state of each pigment component based on the acquired skin color information, and the predetermined color unevenness based on the distribution state of the pigment component obtained by the pigment component calculation procedure. And a color unevenness analysis procedure for digitizing and analyzing the color unevenness of the skin for each pigment component of size.

また、本発明は、頬の肌全体に分布している色素成分の分布状態から前記肌の色ムラを解析する肌の色ムラ解析プログラムであって、コンピュータを、前記頬の肌全体が撮影された画像を所定の周波数によって所定の色ムラサイズごとに分解する周波数解析手段、前記周波数解析手段により分解された所定の色ムラサイズの画像ごとに前記肌の色情報を取得し、取得した前記肌の色情報に基づき前記色素成分ごとの分布状態を算出する色素成分算出手段、前記色素成分算出手段により得られる色素成分の分布状態に基づき、前記所定の色ムラサイズの前記色素成分ごとに前記肌の色ムラを数値化して解析する色ムラ解析手段として機能させる。   Further, the present invention is a skin color unevenness analysis program for analyzing the skin color unevenness from a distribution state of a pigment component distributed over the entire cheek skin, and the computer captures the entire cheek skin. Frequency analysis means for decomposing the image for each predetermined color unevenness size at a predetermined frequency, acquiring the skin color information for each image of the predetermined color unevenness size decomposed by the frequency analysis means, and acquiring the obtained skin A dye component calculating unit that calculates a distribution state for each of the dye components based on color information of the color component, and the skin for each of the dye components having the predetermined color unevenness size based on a distribution state of the dye component obtained by the dye component calculating unit. It functions as a color unevenness analyzing means for digitizing and analyzing the color unevenness.

本発明によれば、肌の色ムラを所定の色ムラサイズの色素成分ごとに数値化して解析することが可能となる。   According to the present invention, it is possible to digitize and analyze skin color unevenness for each pigment component having a predetermined color unevenness size.

本実施形態における肌の色ムラ解析装置の機能構成の一例を示す図である。It is a figure which shows an example of a function structure of the skin color nonuniformity analyzer in this embodiment. 本実施形態における肌の色ムラ解析処理が実現可能なハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions which can implement | achieve the skin color nonuniformity analysis process in this embodiment. 本実施形態における肌の色ムラ解析処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the skin color nonuniformity analysis processing procedure in this embodiment. 肌の色ムラ解析処理手順を更に具体例に説明するための図である。It is a figure for demonstrating the skin color nonuniformity analysis processing procedure further as a specific example. 周波数解析処理の具体例を説明するための図である。It is a figure for demonstrating the specific example of a frequency analysis process. 色彩解析した例について説明するための図である。It is a figure for demonstrating the example which color-analyzed. 色彩解析した色ムラを色ムラスコアによって比較した図である。It is the figure which compared the color nonuniformity which carried out color analysis by the color nonuniformity score. 色ムラ指標と視感評価値との相関関係を説明するための図である。It is a figure for demonstrating the correlation of a color nonuniformity parameter | index and a visual evaluation value. 色ムラの数値化を説明するための図である。It is a figure for demonstrating digitization of a color nonuniformity. 所定の色ムラサイズに分解された画像から色素成分ごとに色ムラが数値化された色ムラ指標と官能評価値との相関関係を説明するための図である。It is a figure for demonstrating the correlation with the color nonuniformity parameter | index and the sensory evaluation value in which color nonuniformity was digitized for every pigment | dye component from the image decomposed | disassembled into the predetermined color nonuniformity size. 色ムラ可視化方法を説明するための図である。It is a figure for demonstrating the color nonuniformity visualization method. 中周波画像からメラニン成分の色ムラを可視化する例を示す図である。It is a figure which shows the example which visualizes the color nonuniformity of a melanin component from a medium frequency image. 低周波画像からメラニン成分の色ムラを可視化する例を示す図である。It is a figure which shows the example which visualizes the color nonuniformity of a melanin component from a low frequency image. 中周波画像からヘモグロビン成分の色ムラを可視化する例を示す図である。It is a figure which shows the example which visualizes the color nonuniformity of a hemoglobin component from a medium frequency image. 低周波画像からヘモグロビン成分の色ムラを可視化する例を示す図である。It is a figure which shows the example which visualizes the color nonuniformity of a hemoglobin component from a low frequency image.

以下、本発明の実施の形態について詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail.

<肌の色ムラ解析装置:機能構成例>
図1は、本実施形態における肌の色ムラ解析装置の機能構成の一例を示している。図1に示すように、本実施形態における肌の色ムラ解析装置10は、入力手段11と、出力手段12と、記録手段13と、画像取得手段14と、周波数解析手段15と、色素成分算出手段16と、色ムラ解析手段17と、画像生成手段18と、制御手段19とを有するように構成される。
<Skin color unevenness analyzer: functional configuration example>
FIG. 1 shows an example of the functional configuration of a skin color unevenness analysis apparatus according to this embodiment. As shown in FIG. 1, the skin color unevenness analysis apparatus 10 according to this embodiment includes an input unit 11, an output unit 12, a recording unit 13, an image acquisition unit 14, a frequency analysis unit 15, and a pigment component calculation. Means 16, color unevenness analysis means 17, image generation means 18, and control means 19 are included.

肌の色ムラ解析装置10は、頬の肌全体が撮影された画像を所定の周波数によって所定の色ムラサイズごとに分解し、所定の色ムラサイズに分解された画像ごとに肌の色情報を取得し、取得した肌の色情報に基づき、色素成分ごとの色素成分の分布状態を算出し、算出された色素成分の分布状態に基づき、所定の色ムラサイズの色素成分ごとに肌の色ムラを数値化して解析する。   The skin color unevenness analyzer 10 decomposes an image of the entire cheek skin imaged for each predetermined color unevenness size at a predetermined frequency, and obtains skin color information for each image decomposed into a predetermined color unevenness size. Obtaining and calculating the distribution state of the pigment component for each pigment component based on the acquired skin color information, and based on the calculated distribution state of the pigment component, the skin color unevenness for each pigment component of a predetermined color irregularity size Is numerically analyzed.

入力手段11は、例えばキーボードや、マウス等のポインティングデバイス等からなり、ユーザ等からの画像取得指示や、周波数解析指示、色素成分算出指示、色ムラ解析指示等の各種指示の開始、終了等の入力を受け付ける。   The input unit 11 includes, for example, a keyboard, a pointing device such as a mouse, and the like, and starts and ends various instructions such as an image acquisition instruction, a frequency analysis instruction, a pigment component calculation instruction, and a color unevenness analysis instruction from a user or the like. Accept input.

出力手段12は、例えばディスプレイ等からなり、入力手段11により入力された内容や、入力内容に基づいて実行された内容等の表示、出力を行う。例えば、出力手段12は、画像生成手段18により生成された色素成分ごとの濃度ヒストグラムの表示や、色ムラ解析手段17により可視化された肌の色ムラを表示する。   The output unit 12 includes, for example, a display, and displays and outputs the content input by the input unit 11 and the content executed based on the input content. For example, the output unit 12 displays the density histogram for each pigment component generated by the image generation unit 18 and the skin color unevenness visualized by the color unevenness analysis unit 17.

記録手段13は、画像取得手段14により取得された画像や、周波数解析手段15により分解された画像、色素成分算出手段16により算出された色素成分の分布状態、色ムラ解析手段17によって数値化された色ムラ等の各種データを記録する。また、記録手段13は、必要に応じて記録されている各種データを読み出すことができる。   The recording unit 13 is quantified by the image acquired by the image acquisition unit 14, the image decomposed by the frequency analysis unit 15, the distribution state of the pigment component calculated by the pigment component calculation unit 16, and the color unevenness analysis unit 17. Various data such as uneven color are recorded. The recording means 13 can read out various data recorded as necessary.

画像取得手段14は、例えば拡散照明ボックスとデジタルカメラから構成されるSIAシステム(Skin Image Analyzer)等によって解析対象者のシミ、そばかす、くすみ等の肌の悩みが集中する頬部位における肌(地肌)を撮影した画像を取得する。   The image acquisition means 14 is a skin (skin) on the cheek site where skin troubles such as a stain, freckles, and dullness of the analysis subject are concentrated by an SIA system (Skin Image Analyzer) composed of a diffuse lighting box and a digital camera, for example. Acquire an image taken of.

ここで、撮影される画像は、例えば拡散光を照射することによって肌表面の反射や影の影響等が抑えられるため、皮膚の「色」を計測して、肌の色情報を取得するために用いられる。また、撮影された画像は、肌の色みや肌の色ムラの視感判定に用いることが可能なため、後述するように画像から抽出された部分について、撮影された画像と対応づけながら症状を特定することが可能となる。   Here, since the image to be photographed can suppress the influence of reflection and shadow on the skin surface by irradiating diffuse light, for example, in order to measure skin “color” and acquire skin color information Used. In addition, since the captured image can be used for the visual judgment of skin color and skin color unevenness, as described later, the symptom is associated with the captured image with respect to the portion extracted from the image. It becomes possible to specify.

周波数解析手段15は、画像取得手段14によって取得された頬の肌全体を撮影した画像を所定の周波数からなるバンドパスフィルターによって所定の色ムラサイズごとに分解する。ここで、所定の周波数とは、例えば半値幅が約10.0〜40.0mm程度の低周波や、例えば半値幅が約2.0〜10.0mm程度の中周波、例えば半値幅が約1.0〜2.0mm程度の高周波等を示す。   The frequency analysis unit 15 decomposes the image of the entire cheek skin acquired by the image acquisition unit 14 for each predetermined color unevenness size by a bandpass filter having a predetermined frequency. Here, the predetermined frequency is, for example, a low frequency with a half width of about 10.0 to 40.0 mm, or a medium frequency with a half width of about 2.0 to 10.0 mm, for example, a half width of about 1. A high frequency of about 0 to 2.0 mm is shown.

周波数解析手段15は、撮影された肌画像から、上述のように予め設定された低周波により例えば肌のシミ、頬の赤み等による比較的大きめの大サイズの色ムラが抽出された低周波画像を分解して取得し、予め設定された中周波により例えば肌のにきび、シミそばかす等による比較的小さな中サイズの色ムラが抽出された中周波画像を分解して取得し、予め設定された高周波により例えば毛穴等の小サイズの色ムラが抽出された高周波画像を分解して取得する。   The frequency analysis means 15 is a low-frequency image in which a relatively large and large-sized color unevenness due to, for example, a skin stain or a cheek redness is extracted from the photographed skin image by a preset low frequency as described above. Is obtained by disassembling and obtaining a medium frequency image from which relatively small medium-sized color irregularities such as acne on a skin, freckles, etc. are extracted by using a predetermined medium frequency, Thus, for example, a high-frequency image from which small-sized color unevenness such as pores is extracted is decomposed and acquired.

これにより、周波数解析手段15は、色ムラを形成する複数の症状に合わせて、撮影された肌画像を分解し、所定サイズの色ムラが抽出された画像を取得することが可能となる。   As a result, the frequency analysis unit 15 can decompose the photographed skin image in accordance with a plurality of symptoms that form color unevenness, and obtain an image from which color unevenness of a predetermined size is extracted.

色素成分算出手段16は、周波数解析手段15により分解された所定の色ムラサイズの画像ごとに解析対象者の肌の色情報を取得し、取得した肌の色情報に基づき色素成分ごとの分布状態を算出する。ここで、肌の色情報とは、例えば撮影されたRGB表色系RGB値や、RGB表色系から変換されたXYZ表色系XYZ値等を示す。また、色素成分とは、例えばメラニン成分又はヘモグロビン成分等を示す。   The pigment component calculation means 16 acquires the skin color information of the person to be analyzed for each image of the predetermined color unevenness size decomposed by the frequency analysis means 15, and the distribution state for each pigment component based on the acquired skin color information. Is calculated. Here, the skin color information indicates, for example, a photographed RGB color system RGB value, an XYZ color system XYZ value converted from the RGB color system, and the like. Moreover, a pigment | dye component shows a melanin component or a hemoglobin component, for example.

具体的には、色素成分算出手段16は、本出願人の特許第3798550号公報の手法を用いて、皮膚の分光反射率からメラニン成分とヘモグロビン成分の含有量を算出する。   Specifically, the pigment component calculation means 16 calculates the contents of the melanin component and the hemoglobin component from the spectral reflectance of the skin using the technique of Japanese Patent No. 3798550 of the present applicant.

例えば、色素成分算出手段16は、皮膚の反射スペクトル、ランベルト−ベールの法則における透過率を皮膚の反射率に置き換えた吸光度モデル及び皮膚の構成成分の吸光係数スペクトルを用いて重回帰分析を行うことにより、皮膚中のメラニン成分、ヘモグロビン成分等の量を求める。   For example, the pigment component calculation means 16 performs multiple regression analysis using the skin reflection spectrum, the absorbance model in which the transmittance in the Lambert-Beer law is replaced with the skin reflectance, and the absorbance coefficient spectrum of the skin component. Thus, the amount of melanin component, hemoglobin component, etc. in the skin is determined.

また、色素成分算出手段16は、本出願人の特許第3727807号公報の手法を用いて、分光反射率と対応する画像のRGB値等から、メラニン成分量とヘモグロビン成分量を算出し、画像計測からメラニン成分の分布及びヘモグロビン成分の分布を測定する。   Further, the pigment component calculation means 16 calculates the melanin component amount and the hemoglobin component amount from the RGB values of the image corresponding to the spectral reflectance using the method of Japanese Patent No. 3727807 of the present applicant, and performs image measurement. The distribution of the melanin component and the distribution of the hemoglobin component are measured.

例えば、色素成分算出手段16は、皮膚の測色値と皮膚中の成分量のデータを重回帰分析して重回帰式を予め求め、重回帰式を用いて皮膚の測色値から皮膚中の成分であるメラニン成分、ヘモグロビン成分等からなる群より選択された少なくとも一つの物質の量を求める。   For example, the pigment component calculation means 16 obtains a multiple regression equation in advance by performing multiple regression analysis on the skin colorimetric value and the data of the component amount in the skin, and uses the multiple regression equation to calculate the skin colorimetric value from the skin colorimetric value. An amount of at least one substance selected from the group consisting of a melanin component, a hemoglobin component, and the like, which are components, is obtained.

なお、色素成分算出手段16は、上述した手法を用いて算出した色素成分の濃さ及びその分布状態を示す画像を色素成分ごとに生成することもできる。   Note that the pigment component calculation unit 16 can also generate an image showing the pigment component density calculated using the above-described method and its distribution state for each pigment component.

色ムラ解析手段17は、色素成分算出手段16によって算出された色素成分の分布状態に基づき、所定の色ムラサイズの色素成分ごとに肌の色ムラを数値化して解析する。   Based on the distribution state of the pigment component calculated by the pigment component calculation unit 16, the color variation analysis unit 17 digitizes and analyzes the skin color variation for each pigment component having a predetermined color variation size.

例えば、色ムラ解析手段17は、色素成分算出手段16により得られる色素成分の分布状態から色素成分の濃度平均値より値の高い濃度領域を積算することにより肌の色ムラを数値化して解析する。   For example, the color unevenness analysis means 17 quantifies and analyzes the skin color unevenness by integrating density regions having a value higher than the average density value of the pigment component from the distribution state of the pigment component obtained by the pigment component calculation means 16. .

より具体的には、色ムラ解析手段17は、色素成分算出手段16により得られる色素成分の分布状態から色素成分の濃度平均値を基準として、濃度平均値以上の濃度値と、濃度平均値以上の濃度値のそれぞれの画素数とを乗算し、乗算された値を積算して数値化する。   More specifically, the color unevenness analysis means 17 uses the dye component distribution state obtained by the dye component calculation means 16 as a reference, based on the density average value of the dye component, and a density value equal to or higher than the density average value. Are multiplied by the number of pixels of each of the density values, and the multiplied values are integrated and digitized.

また、色素成分算出手段16により算出された色素成分の分布状態を色素成分ごとの濃度ヒストグラムとした場合に、メラニン成分の色ムラを、メラニン濃度m、画像の全画素に占めるメラニン濃度mの画素数の割合f(m)、画像の画素ごとの濃度の平均値Amとして、以下の式により算出してメラニン成分の色ムラ指標としても良い。   Further, when the distribution state of the pigment component calculated by the pigment component calculation means 16 is a density histogram for each pigment component, the color unevenness of the melanin component is the pixel of the melanin concentration m that occupies all the pixels of the image. The number ratio f (m) and the average value Am of the density of each pixel of the image may be calculated by the following formula to be a color unevenness index of the melanin component.


同様に、ヘモグロビン成分の色ムラを、ヘモグロビン濃度h、画像の全画素に占めるヘモグロビン濃度mの画素数の割合f(h)、画像の画素ごとの濃度の平均値Ahとして、以下の式により算出してヘモグロビン成分の色ムラ指標としても良い。

Similarly, the color unevenness of the hemoglobin component is calculated by the following formula as a hemoglobin density h, a ratio f (h) of the number of pixels of the hemoglobin density m in all pixels of the image, and an average value Ah of the density for each pixel of the image. Then, the color unevenness index of the hemoglobin component may be used.


これにより、色ムラ解析手段17は、解析対象者の頬部位における色ムラを、複数の症状に応じた色ムラサイズごとに、数値化されたメラニン成分の色ムラ指標、ヘモグロビン成分の色ムラ指標から解析することが可能となる。

As a result, the color unevenness analyzing means 17 quantifies the color unevenness in the cheek region of the analysis subject for each color unevenness size corresponding to a plurality of symptoms, and the color unevenness index of the melanin component and the color unevenness index of the hemoglobin component. It becomes possible to analyze from.

また、色ムラ解析手段17は、色素成分算出手段16により得られる色素成分の分布状態から色素成分の濃度平均値を基準とし、色素成分の濃度平均値から所定値以上の濃度領域を可視化することもできる。   Further, the color unevenness analyzing means 17 visualizes a density region of a predetermined value or more from the density average value of the dye component based on the density average value of the dye component from the distribution state of the dye component obtained by the dye component calculating means 16. You can also.

より具体的には、色ムラ解析手段17は、色素成分算出手段16により算出された色素成分の分布状態を色素成分の濃度ヒストグラムとした場合に、濃度ヒストグラムのピーク値+0.1以上の値を可視化すると良い。これにより、色ムラ解析手段17は、色ムラサイズごとに数値化した色ムラを人が知覚する「色ムラ」に対応させながら表示することが可能となる。   More specifically, the color unevenness analyzing means 17 is a value equal to or higher than the peak value of the density histogram +0.1 or more when the distribution state of the dye component calculated by the dye component calculating means 16 is the dye component density histogram. Should be visualized. Thereby, the color unevenness analyzing means 17 can display the color unevenness quantified for each color unevenness size in correspondence with the “color unevenness” perceived by a person.

画像生成手段18は、色素成分算出手段16によって算出された色素の分布状態を色素成分ごとに濃度ヒストグラムとして生成する。   The image generation unit 18 generates the distribution state of the pigment calculated by the pigment component calculation unit 16 as a density histogram for each pigment component.

制御手段19は、色ムラ解析装置10の各構成部全体の制御を行う。例えば、制御手段19は、ユーザ等による入力手段11からの指示等に基づいて、画像取得手段14により解析対象者の頬部位から肌の画像を取得し、周波数解析手段15により所定の色ムラサイズの画像を分解し、色素成分算出手段16により色素の分布状態を算出し、色ムラ解析手段17により色素成分ごとに肌の色ムラを解析する等の各制御を行う。   The control means 19 controls the entire components of the color unevenness analyzer 10. For example, the control unit 19 acquires an image of the skin from the cheek site of the person to be analyzed by the image acquisition unit 14 based on an instruction from the input unit 11 by the user or the like, and the predetermined color unevenness size by the frequency analysis unit 15. The pigment component calculation means 16 calculates the pigment distribution state, and the color unevenness analysis means 17 performs various controls such as analyzing the skin color unevenness for each pigment component.

<色ムラ解析装置:ハードウェア構成>
上述した肌の色ムラ解析装置10では、各機能をコンピュータに実行させることができる肌の色ムラ解析プログラム等の実行プログラムを生成し、例えば汎用のパーソナルコンピュータ、サーバ等に実行プログラムをインストールすることにより、本発明における肌の色ムラ解析処理等を実行することができる。
<Color unevenness analyzer: Hardware configuration>
In the skin color unevenness analysis apparatus 10 described above, an execution program such as a skin color unevenness analysis program that can cause a computer to execute each function is generated, and the execution program is installed in, for example, a general-purpose personal computer or server. Thus, the skin color unevenness analysis process or the like in the present invention can be executed.

ここで、本実施形態における肌の色ムラ解析処理が実行可能なコンピュータのハードウェア構成例について説明する。図2は、本実施形態における肌の色ムラ解析処理が実現可能なハードウェア構成の一例を示している。   Here, an example of a hardware configuration of a computer capable of executing the skin color unevenness analysis process in the present embodiment will be described. FIG. 2 shows an example of a hardware configuration capable of realizing skin color unevenness analysis processing in the present embodiment.

図2のコンピュータ本体には、入力装置21と、出力装置22と、ドライブ装置23と、補助記憶装置24と、メモリ装置25と、各種制御を行うCPU(Central Processing Unit)26と、ネットワーク接続装置27とを有するように構成され、これらはシステムバスBで相互に接続されている。   2 includes an input device 21, an output device 22, a drive device 23, an auxiliary storage device 24, a memory device 25, a CPU (Central Processing Unit) 26 that performs various controls, and a network connection device. 27, and these are connected to each other by a system bus B.

入力装置21は、ユーザ等が操作するキーボード、マウス等のポインティングデバイスを有しており、ユーザ等からのプログラムの実行等、各種操作信号を入力する。また、入力装置21は、例えば拡散照明ボックスとデジタルカメラ等を用いて撮影された解析対象者の肌の画像を入力する入力ユニットを有している。   The input device 21 has a pointing device such as a keyboard and a mouse operated by a user or the like, and inputs various operation signals such as execution of a program from the user or the like. The input device 21 has an input unit that inputs an image of the skin of the person to be analyzed photographed using, for example, a diffuse lighting box and a digital camera.

出力装置22は、本発明の処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、CPU26が有する制御プログラムにより実行経過や結果等を表示することができる。   The output device 22 has a display for displaying various windows, data, and the like necessary for operating the computer main body for performing the processing of the present invention, and displays the execution progress and results by the control program of the CPU 26. Can do.

ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えば、USB(Universal Serial Bus)メモリやCD−ROM等の可搬型の記録媒体28等により提供される。プログラムを記録した記録媒体28は、ドライブ装置23にセット可能であり、記録媒体28に含まれる実行プログラムが、記録媒体28からドライブ装置23を介して補助記憶装置24にインストールされる。   Here, the execution program installed in the computer main body in the present invention is provided by a portable recording medium 28 such as a USB (Universal Serial Bus) memory or a CD-ROM, for example. The recording medium 28 on which the program is recorded can be set in the drive device 23, and the execution program included in the recording medium 28 is installed in the auxiliary storage device 24 from the recording medium 28 via the drive device 23.

補助記憶装置24は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を記憶し、必要に応じて入出力を行うことができる。   The auxiliary storage device 24 is a storage means such as a hard disk, and stores an execution program according to the present invention, a control program provided in a computer, and the like, and can perform input / output as necessary.

メモリ装置25は、CPU26により補助記憶装置24から読み出された実行プログラム等を格納する。なお、メモリ装置25は、ROM(Read Only Memory)やRAM(Random Access Memory)等からなる。   The memory device 25 stores an execution program read from the auxiliary storage device 24 by the CPU 26. The memory device 25 includes a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.

CPU26は、OS(Operating System)等の制御プログラム、及びメモリ装置25に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、肌の色ムラ解析処理等の各処理を実現することができる。   The CPU 26 controls processing of the entire computer, such as various operations and input / output of data with each hardware component, based on a control program such as an OS (Operating System) and an execution program stored in the memory device 25. Thus, each process such as a skin color unevenness analysis process can be realized.

なお、プログラム実行中に必要な各種情報等は、補助記憶装置24から取得することができ、また実行結果等を格納することもできる。   Various information necessary during the execution of the program can be acquired from the auxiliary storage device 24, and the execution result and the like can also be stored.

ネットワーク接続装置27は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末装置等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末装置等に提供したりすることができる。   The network connection device 27 obtains an execution program from another terminal device connected to the communication network by connecting to the communication network or the like, or an execution result obtained by executing the program or the present invention. The execution program itself can be provided to other terminal devices.

上述したハードウェア構成により、本発明における肌の色ムラ解析処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における肌の色ムラ解析処理を容易に実現することができる。   With the hardware configuration described above, the skin color unevenness analysis processing according to the present invention can be executed. In addition, by installing the program, the skin color unevenness analysis process according to the present invention can be easily realized by a general-purpose personal computer or the like.

<本実施形態における肌の色ムラ解析処理手順>
次に、本実施形態における肌の色ムラ解析処理手順について説明する。図3は、本実施形態における肌の色ムラ解析処理手順の一例を示すフローチャートである。
<Skin Color Unevenness Analysis Processing Procedure in Present Embodiment>
Next, the skin color unevenness analysis processing procedure in this embodiment will be described. FIG. 3 is a flowchart showing an example of a skin color unevenness analysis processing procedure in the present embodiment.

図3に示す肌の色ムラ解析処理において、画像取得手段14は、例えば拡散照明ボックスとデジタルカメラ等を用いて撮影された解析対象者の頬部位における肌(地肌)の画像を取得する(S10)。   In the skin color unevenness analysis process shown in FIG. 3, the image acquisition unit 14 acquires an image of the skin (skin) on the cheek site of the person to be analyzed photographed using, for example, a diffuse lighting box and a digital camera (S10). ).

ここで、画像取得手段14は、例えば解析対象者の頬部位における約65mm×65mm程度の肌(地肌)の画像を取得する。なお、画像取得手段14は、肌の画像を取得する際に、解析対象者の目の下のくま、目の回りのシワ、ほうれい線等を除外して取得すると良い。   Here, the image acquisition unit 14 acquires, for example, an image of skin (background) of about 65 mm × 65 mm in the cheek region of the analysis target person. In addition, when acquiring the skin image, the image acquisition unit 14 may acquire the skin under the eyes of the person to be analyzed, the wrinkles around the eyes, the frying lines, and the like.

次に、周波数解析手段15は、画像取得手段14により取得された肌の画像を所定の周波数からなるバンドパスフィルターによって所定の色ムラサイズごとに分解する(S11)。   Next, the frequency analysis unit 15 decomposes the skin image acquired by the image acquisition unit 14 for each predetermined color unevenness size by a bandpass filter having a predetermined frequency (S11).

次に、色素成分算出手段16は、周波数解析手段15により分解された所定の色ムラサイズの画像ごとに解析対象者の肌の色情報を取得し、取得した肌の色情報に基づき、色素成分ごとの分布状態を算出する(S12)。   Next, the pigment component calculation unit 16 acquires the skin color information of the person to be analyzed for each image of the predetermined color unevenness size decomposed by the frequency analysis unit 15, and based on the acquired skin color information, the pigment component Each distribution state is calculated (S12).

次に、色ムラ解析手段17は、色素成分算出手段16によって算出された色素成分の分布状態に基づき、所定サイズの色素成分ごとに肌の色ムラを数値化して解析する(S13)。   Next, the color unevenness analysis means 17 digitizes and analyzes the skin color unevenness for each pigment component of a predetermined size based on the distribution state of the pigment component calculated by the pigment component calculation means 16 (S13).

最後に、色ムラ解析手段17は、解析結果に基づいて、肌の色ムラを可視化する(S14)。なお、画面生成手段18は、色素成分算出手段16によって算出された色素の分布状態を色素成分ごとに濃度ヒストグラムとして画面に出力しても良い。   Finally, the color unevenness analyzing means 17 visualizes the color unevenness of the skin based on the analysis result (S14). The screen generation unit 18 may output the pigment distribution state calculated by the pigment component calculation unit 16 to the screen as a density histogram for each pigment component.

<肌の色ムラ解析処理手順の具体例>
次に、上述した肌の色ムラ解析処理手順について更に具体的に説明する。図4は、肌の色ムラ解析処理手順を更に具体的に説明するための図である。
<Specific example of skin color unevenness analysis processing procedure>
Next, the above-described skin color unevenness analysis processing procedure will be described more specifically. FIG. 4 is a diagram for more specifically explaining the skin color unevenness analysis processing procedure.

図4に示すように、まず、画像取得手段14は、例えば拡散照明ボックスとデジタルカメラ等を用いて撮影された解析対象者の頬部位における肌(地肌)の画像を取得する。   As shown in FIG. 4, first, the image acquisition unit 14 acquires an image of the skin (skin) on the cheek site of the person to be analyzed photographed using, for example, a diffuse lighting box and a digital camera.

ここで、取得される肌の画像は、例えば解析対象者の目の下から口元まで、また解析対象者の鼻の横から耳元までの広い範囲の頬部位を対象とする約65mm×65mm程度の画像とし、撮影した肌の画像から解析対象者の目の下のくま、目の回りのシワ、ほうれい線等を除外した画像を取得すると良い
次に、周波数解析手段15は、画像取得手段14により取得された画像を元画像として、元画像から所定の色ムラサイズの画像に分解する。周波数解析手段15は、例えばバンドパスフィルターによる周波数解析により、元画像を半値幅が約10.0〜40.0mm程度の低周波画像、半値幅が約2.0〜10.0mm程度の中周波画像、半値幅が約1.0〜2.0mm程度の高周波画像に分解する。
Here, the acquired skin image is, for example, an image of about 65 mm × 65 mm covering a wide cheek region from the bottom of the eye of the analysis subject to the mouth and from the side of the nose of the analysis subject to the ear. Then, it is preferable to acquire an image excluding the bear under the eyes of the analysis target, wrinkles around the eyes, and frying lines from the photographed skin image. Next, the frequency analysis unit 15 is acquired by the image acquisition unit 14. Using the image as an original image, the original image is decomposed into an image having a predetermined color unevenness size. The frequency analysis means 15 is a low-frequency image having a half-value width of about 10.0 to 40.0 mm and a medium frequency having a half-value width of about 2.0 to 10.0 mm, for example, by frequency analysis using a bandpass filter. The image is decomposed into a high-frequency image having a half width of about 1.0 to 2.0 mm.

次に、色素成分算出手段16は、周波数解析手段15により分解した画像から解析対象者の肌の色情報を取得し、上述した重回帰分析等の手法によりメラニン成分、ヘモグロビン成分等の成分量を算出して色素成分ごとの成分画像を生成する。   Next, the pigment component calculation means 16 acquires the skin color information of the person to be analyzed from the image decomposed by the frequency analysis means 15, and calculates the amount of components such as the melanin component and the hemoglobin component by the method such as the multiple regression analysis described above. Calculation is performed to generate a component image for each pigment component.

例えば、色素成分算出手段16は、比較的大きな大サイズの色ムラを形成するシミや頬の赤み等を抽出する低周波画像からそれぞれメラニン成分画像とヘモグロビン成分画像を生成する。また、色素成分算出手段16は、比較的小さめの中サイズの色ムラを形成するシミ、そばかすやにきび等を抽出する中周波画像からそれぞれメラニン成分画像とヘモグロビン成分画像を生成する。   For example, the pigment component calculation means 16 generates a melanin component image and a hemoglobin component image from low-frequency images that extract spots that form relatively large large-sized color irregularities, cheek redness, and the like, respectively. Further, the pigment component calculation means 16 generates a melanin component image and a hemoglobin component image from medium frequency images from which spots, freckles, acne and the like that form relatively small medium-sized color unevenness are extracted.

次に、色素成分算出手段16は、色ムラサイズごとに生成されたメラニン成分画像及びヘモグロビン成分画像からメラニン成分及びヘモグロビン成分の濃度及びその分布状態を算出する。図4に示す画像には、色素成分算出手段16により算出された各色素成分の濃度及びその分布状態が示されている。   Next, the pigment component calculation means 16 calculates the concentration and distribution state of the melanin component and the hemoglobin component from the melanin component image and the hemoglobin component image generated for each color unevenness size. The image shown in FIG. 4 shows the concentration of each dye component calculated by the dye component calculating means 16 and its distribution state.

次に、色ムラ解析手段17は、色素成分算出手段16によって算出された色素成分の分布状態に基づき、肌の色ムラを所定の色ムラサイズの色素成分ごとに数値化する。これにより、色ムラ解析手段17は、比較的大きな大サイズの色ムラを形成している大きなシミ、頬の赤み、また比較的小さめの中サイズの色ムラを形成している小さなシミ、そばかす、にきび等のそれぞれに対して関与するメラニン成分の色ムラ、及びヘモグロビン成分の色ムラを数値化することが可能となる。   Next, the color unevenness analysis unit 17 digitizes the skin color unevenness for each pigment component having a predetermined color unevenness size based on the distribution state of the pigment component calculated by the pigment component calculation unit 16. As a result, the color unevenness analyzing means 17 has a large stain that forms a relatively large large-sized color unevenness, a redness of the cheek, a small stain that forms a relatively small medium-sized color unevenness, freckles, It is possible to quantify the color unevenness of the melanin component and the color unevenness of the hemoglobin component involved in each of acne and the like.

なお、小サイズの色ムラを形成するきめ、毛穴等を抽出する高周波画像については、後述するように、肌全体の色ムラ指標に対する小サイズの色ムラの寄与率が低いため、本実施形態では色ムラを数値化するときの対象としていないが、本発明においてはこれに限定されない。   Note that the high-frequency image for extracting textures, pores, and the like that form small-size color unevenness has a low contribution ratio of small-size color unevenness to the color unevenness index of the entire skin, as described later. Although this is not a target for digitizing color unevenness, the present invention is not limited to this.

<周波数解析処理>
次に、上述した周波数解析処理について具体例を説明する。図5は、周波数解析処理の具体例を説明するための図である。
<Frequency analysis processing>
Next, a specific example of the above-described frequency analysis process will be described. FIG. 5 is a diagram for explaining a specific example of the frequency analysis processing.

図5(A)は、解析対象者の頬部位から取得される肌(地肌)の画像を示している。また、図5(B)は、頬部位から取得された約65.0mm×65.0mm程度の肌(地肌)の画像を示している。   FIG. 5A shows an image of the skin (skin) acquired from the cheek site of the person to be analyzed. FIG. 5B shows an image of skin (background) of about 65.0 mm × 65.0 mm acquired from the cheek region.

また、図5(C)には、図5(B)の画像から半値幅が約1.0〜2.0mm程度の高周波用フィルターにより分解された画像が示されている。図5(C)に示す画像では、小サイズの色ムラとなるきめ、毛穴等が抽出されている。   FIG. 5C shows an image obtained by disassembling the image shown in FIG. 5B with a high frequency filter having a half width of about 1.0 to 2.0 mm. In the image shown in FIG. 5C, texture, pores, and the like that are small-sized color unevenness are extracted.

また、図5(D)には、図5(B)の画像から半値幅が約2.0〜10.0mm程度の中周波用フィルターにより分解された画像が示されている。図5(D)に示す画像では、中サイズの色ムラとなる比較的小さめのシミ、にきび等が抽出されている。   Further, FIG. 5D shows an image that is decomposed from the image of FIG. 5B by a medium frequency filter having a half width of about 2.0 to 10.0 mm. In the image shown in FIG. 5D, relatively small spots, acne, and the like, which are medium-sized color unevenness, are extracted.

図5(E)には、図5(B)の画像から半値幅が約10.0〜40.0mm程度の低周波用フィルターにより分解された画像が示されている。図5(D)に示す画像では、大サイズの色ムラとなる比較的大きな頬の赤み、シミ、肝斑等が抽出されている。   FIG. 5 (E) shows an image decomposed from the image of FIG. 5 (B) by a low frequency filter having a half width of about 10.0 to 40.0 mm. In the image shown in FIG. 5D, relatively large cheek redness, spots, liver spots, and the like, which are large-sized color irregularities, are extracted.

上述したように、本実施形態では、周波数解析手段15により所定の周波数によって撮影された肌の画像が分解され、所定サイズの色ムラが抽出された画像を得ることが可能となる。   As described above, in the present embodiment, it is possible to obtain an image in which color unevenness of a predetermined size is extracted by decomposing a skin image photographed at a predetermined frequency by the frequency analysis unit 15.

<色彩解析した例>
ここで、上述した所定の色ムラサイズに分解された画像を色彩解析した例について説明する。図6は、色彩解析した例を説明するための図である。なお、図6には、上述した所定サイズに分解された色ムラを、画像領域における皮膚のベース色(地肌の画像平均値)との色差(ΔEab*)により色付け(色彩解析)したものが示されている。
<Example of color analysis>
Here, an example in which color analysis is performed on the image decomposed into the predetermined color unevenness size described above will be described. FIG. 6 is a diagram for explaining an example of color analysis. FIG. 6 shows the color unevenness separated into the predetermined size described above, which is colored (color analysis) by a color difference (ΔEab *) from the skin base color (background image average value) in the image region. Has been.

図6(A)は、解析対象者の頬部位から取得される地肌の画像を示している。また、図6(B)は、頬部位から取得された約65.0mm×65.0mm程度の肌(地肌)の画像を示している。   FIG. 6A shows an image of the background acquired from the cheek region of the analysis target person. FIG. 6B shows an image of skin (background) of about 65.0 mm × 65.0 mm acquired from the cheek region.

また、図6(C)は、上述した小サイズの色ムラに分解した画像を色彩解析したものであり、抽出されたきめ、毛穴等において皮膚のベース色との色差が生じた部分に色付けがなされている。   FIG. 6C is a color analysis of the above-described image that has been decomposed into small-sized color unevenness, and coloring is applied to the extracted texture, pores, and the like where a color difference from the base color of the skin occurs. Has been made.

また、図6(D)は、上述した中サイズの色ムラに分解した画像を色彩解析したものであり、抽出された比較的小さめのシミ、にきび等において皮膚のベース色との色差が生じた部分に色付けがなされている。   FIG. 6D is a color analysis of the above-described image that has been decomposed into medium-sized color unevenness, and a color difference from the base color of the skin occurs in the extracted relatively small spots, acne, and the like. The parts are colored.

また、図6(E)は、上述した大サイズの色ムラに分解した画像を色彩解析したものであり、抽出された比較的大きな頬の赤み、シミ等において皮膚のベース色との色差が生じた部分に色付けがなされている。   FIG. 6E is a color analysis of the above-described image that has been decomposed into large-sized color unevenness, and a color difference from the base color of the skin occurs in the extracted relatively large cheek redness and spots. The colored parts are colored.

<色彩解析の色ムラスコア>
次に、上記図6に示す方法により色彩解析した各サイズの色ムラを、色ムラスコアを用いて比較した例について説明する。
<Color unevenness score for color analysis>
Next, an example will be described in which color unevenness of each size subjected to color analysis by the method shown in FIG. 6 is compared using a color unevenness score.

図7は、色彩解析した各サイズの色ムラを、色ムラスコアを用いて比較した図である。なお、色ムラスコアは、色彩解析した色ムラから以下に示す算出式により算出されたものである。色ムラスコア=Σ(画像平均値との色差(ΔEab)×画素数(%))
また、図7に示す各サイズの色ムラスコアは、20代の25名の画像と、50代の25名の画像を対象として、各サイズに分解した色ムラの色彩解析を行い、その色彩解析した各サイズの色ムラについての平均値を示している。
FIG. 7 is a diagram in which color unevenness of each size subjected to color analysis is compared using a color unevenness score. Note that the color unevenness score is calculated from the color unevenness subjected to the color analysis by the following calculation formula. Color unevenness score = Σ (color difference from average image value (ΔEab) × number of pixels (%))
Further, the color unevenness score of each size shown in FIG. 7 was subjected to color analysis of color unevenness decomposed into each size for images of 25 people in their 20s and images of 25 people in their 50s. The average value about the color nonuniformity of each size is shown.

図7に示すように、きめ、毛穴等の小サイズの色ムラ、シミ、にきび跡等の中サイズの色ムラ、頬の赤み、シミ等の大サイズの色ムラのそれぞれの色ムラスコアを比較すると、20代及び50代共に小サイズの色ムラスコア値は他のサイズの色ムラスコアに比べて低いことが分かる。   As shown in FIG. 7, when comparing the color unevenness scores of small-sized color unevenness such as texture, pores, medium-sized color unevenness such as spots and acne marks, cheek redness, and large-sized color unevenness such as spots. It can be seen that the color unevenness score value of the small size is lower than the color unevenness scores of other sizes in both the 20s and 50s.

なお、中サイズの色ムラは、20代と比較して50代の色ムラスコア値が高く、大サイズの色ムラは、20代と50代の色ムラスコア値が同程度となった。   The medium size color unevenness had a higher color unevenness score value in the 50s than the 20s, and the large size color unevenness had the same color unevenness score values in the 20s and 50s.

<色ムラ指標と視感評価値との相関関係>
次に、上述した色ムラスコアから算出した色ムラ指標と、対象画像の色ムラとを視感評価により評価した視感評価値との相関関係について説明する。図8は、色ムラ指標と視感評価値との相関関係を説明するための図である。
<Correlation between color unevenness index and visual evaluation value>
Next, a correlation between the color unevenness index calculated from the color unevenness score and the visual evaluation value obtained by evaluating the color unevenness of the target image by visual evaluation will be described. FIG. 8 is a diagram for explaining the correlation between the color unevenness index and the visual evaluation value.

ここで、色ムラスコアから算出した色ムラ指標は、上述した小サイズの色ムラスコア、中サイズの色ムラスコア、大サイズの色ムラスコアと、視感評価値とを重回帰分析して重回帰式を算出し、得たものである。具体的には、色ムラ指標=0.0008×小サイズスコア+0.04×中サイズスコア+0.03×大サイズスコアの算出式を得た。   Here, the color unevenness index calculated from the color unevenness score is calculated as a multiple regression equation by performing multiple regression analysis on the above-described small size color unevenness score, medium size color unevenness score, large size color unevenness score, and visual evaluation value. And obtained. Specifically, a calculation formula of color unevenness index = 0.0008 × small size score + 0.04 × medium size score + 0.03 × large size score was obtained.

図8(A)は、上述のように算出された色ムラ指標と視感評価値との相関関係を示している。算出された色ムラ指標は、視感評価値と重相関係数0.81で対応しており、視感評価値と高い相関関係にあることが分かる。   FIG. 8A shows the correlation between the color unevenness index calculated as described above and the visual evaluation value. The calculated color unevenness index corresponds to the visual evaluation value with a multiple correlation coefficient of 0.81, and it can be seen that there is a high correlation with the visual evaluation value.

また、図8(B)は、上述のように算出された色ムラ指標への各サイズの色ムラスコアの寄与率を示したものである。図8(B)に示すように、シミ、にきび跡等の中サイズの色ムラ、頬の赤み、シミ等の大サイズの色ムラと比較して、きめ、毛穴等の小サイズの色ムラは、肌全体の「色ムラ」への寄与率が非常に低い。また、中サイズの色ムラの方が、大サイズよりも寄与率が高くなっている。   FIG. 8B shows the contribution ratio of the color unevenness score of each size to the color unevenness index calculated as described above. As shown in FIG. 8B, compared to large-sized color unevenness such as spots and acne scars, large-sized color unevenness such as redness of cheeks and spots, small-sized color unevenness such as texture and pores The contribution rate to “color unevenness” of the entire skin is very low. Further, the medium size color unevenness has a higher contribution rate than the large size.

すなわち、所定の色ムラサイズに分解された画像を色彩解析して色ムラスコアを算出し、視感評価値との重回帰分析に基づいて色ムラサイズごとに「色ムラ」への寄与率を算出したところ、「色ムラ」への寄与率は、中サイズと大サイズの色ムラが高いことが分かった。   That is, color analysis is performed on an image that has been decomposed into a predetermined color unevenness size to calculate a color unevenness score, and a contribution rate to “color unevenness” is calculated for each color unevenness size based on multiple regression analysis with visual evaluation values. As a result, it has been found that the contribution to “color unevenness” is high for medium-size and large-size color unevenness.

そこで、本実施形態においては、色ムラを数値化して解析するときに、中サイズと大サイズの色ムラについて解析対象とする。なお、本発明において、これに限定されるものではなく、上述した小サイズ、中サイズ、大サイズのいずれか1つ又は複数のサイズを組み合わせて色ムラ解析を行っても良い。   Therefore, in the present embodiment, when the color unevenness is digitized and analyzed, the medium-size and large-size color unevenness are analyzed. In the present invention, the present invention is not limited to this, and color unevenness analysis may be performed by combining any one or more of the above-described small size, medium size, and large size.

<色ムラ数値化方法>
次に、本実施形態の色ムラ解析手段17による色ムラ数値化方法について説明する。図9は、色ムラの数値化を説明するための図である。
<Color unevenness quantification method>
Next, a method for digitizing color unevenness by the color unevenness analyzing means 17 of the present embodiment will be described. FIG. 9 is a diagram for explaining the digitization of color unevenness.

なお、図9に示すヒストグラムは、色素成分算出手段16により算出された色素成分ごとの分布状態を、画像生成手段18により色ムラサイズごとに各色素成分の濃度ヒストグラムとして生成されたものである。   The histogram shown in FIG. 9 is the distribution state for each pigment component calculated by the pigment component calculation means 16 generated as a density histogram for each pigment component for each color unevenness size by the image generation means 18.

図9(A)は、中周波画像の解析領域におけるメラニン成分の濃度ヒストグラムを示している。また、図9(B)は、低周波画像の解析領域におけるメラニン成分の濃度ヒストグラムを示している。   FIG. 9A shows a density histogram of melanin components in the analysis region of the medium frequency image. FIG. 9B shows a density histogram of the melanin component in the analysis region of the low frequency image.

ここで、図9(A)及び図9(B)のヒストグラムは、画像解析領域におけるメラニン成分の濃度値に対する画像中の画素数の割合(%)を示している。また、図9(A)及び図9(B)に示すヒストグラムA〜Hは、評価者4名の官能評価により、色ムラの「シミのムラ」レベルについて、「なし〜あり(レベル0〜レベル3)」までの4段階評価された肌画像A〜Hから生成されたものである。   Here, the histograms of FIGS. 9A and 9B indicate the ratio (%) of the number of pixels in the image to the density value of the melanin component in the image analysis region. Further, histograms A to H shown in FIG. 9A and FIG. 9B show “no-exist” (level 0 to level) for the “spot unevenness” level of color unevenness based on the sensory evaluation of four evaluators. 3) "is generated from the skin images A to H evaluated in four stages.

図9(A)及び図9(B)に示すように、官能評価により「シミのムラ」レベルなし(レベル0)とされた肌画像A、Eのヒストグラムと、「シミのムラ」レベルあり(レベル3)とされた肌画像B〜D、F〜Hのヒストグラムとでは、ヒストグラムの形状が異なっている。   As shown in FIG. 9A and FIG. 9B, the histograms of skin images A and E that have no “stain unevenness” level (level 0) by sensory evaluation and a “spot unevenness” level ( The histogram shapes of the skin images B to D and F to H defined as level 3) are different.

すなわち、レベル0とされた肌画像A、Eのヒストグラムでは、メラニン成分の狭い範囲の濃度に画素が集中しているのに対し、レベル3とされた肌画像B〜D、F〜Hのヒストグラムでは、メラニン成分の広い範囲の濃度に画素が分散している。   That is, in the histograms of skin images A and E set to level 0, the pixels are concentrated in a narrow range of densities of melanin components, whereas the histograms of skin images B to D and F to H set to level 3 are used. Then, the pixels are dispersed in a wide range of densities of the melanin component.

また、図9(C)は、中周波画像の解析領域におけるヘモグロビン成分の濃度ヒストグラムを示している。また、図9(D)は、低周波画像の解析領域におけるヘモグロビン成分の濃度ヒストグラムを示している。   FIG. 9C shows a density histogram of hemoglobin components in the analysis region of the medium frequency image. FIG. 9D shows a density histogram of hemoglobin components in the analysis region of the low-frequency image.

図9(C)及び図9(D)のヒストグラムは、画像の解析領域におけるヘモグロビン成分の濃度値に対する画像中の画素数の割合(%)を示している。また、図9(C)及び図9(D)に示すヒストグラムa〜hは、色ムラの「赤み」レベルについて、「なし〜あり(レベル0〜レベル3)」までの4段階評価された肌画像a〜hから生成されたものである。   The histograms in FIGS. 9C and 9D show the ratio (%) of the number of pixels in the image to the density value of the hemoglobin component in the analysis region of the image. Further, the histograms a to h shown in FIG. 9C and FIG. 9D show the skin evaluated for four levels from “None to Yes (level 0 to level 3)” for the “redness” level of color unevenness. It is generated from images a to h.

上述したメラニン成分と同様に、図9(C)及び図9(D)に示すように、官能評価により「赤み」レベルなし(レベル0)とされた肌画像a、eのヒストグラムと、「赤み」レベルあり(レベル3)とされた肌画像b〜d、f〜hのヒストグラムとでは、ヒストグラムの形状が異なっている。   Similarly to the melanin component described above, as shown in FIGS. 9C and 9D, the histograms of the skin images a and e that have no “redness” level (level 0) by sensory evaluation, and “redness” The shape of the histogram is different from the histograms of the skin images b to d and f to h that have a level (level 3).

すなわち、レベル0とされた肌画像a、eのヒストグラムでは、ヘモグロビン成分量の狭い範囲の濃度に画素が集中しているのに対し、レベル3とされた肌画像b〜d、f〜hのヒストグラムでは、ヘモグロビン成分量の広い範囲の濃度に画素が分散している。   That is, in the histograms of the skin images a and e set to level 0, the pixels are concentrated in a narrow range of densities of the hemoglobin component amount, whereas the skin images b to d and f to h set to level 3 are concentrated. In the histogram, the pixels are dispersed over a wide range of densities of the hemoglobin component amount.

本実施形態の色ムラ解析手段17は、上述した色素成分の濃度ヒストグラムの特徴を踏まえ、以下にように、色ムラを数値化する。   The color unevenness analyzing means 17 of the present embodiment digitizes the color unevenness as follows based on the characteristics of the density histogram of the pigment component described above.

ここで、図9(E)は、メラニン成分、ヘモグロビン成分等の色素成分の濃度値に対するその濃度値の画素数の割合(%)を示している。   Here, FIG. 9E shows the ratio (%) of the number of pixels of the density value to the density value of the pigment component such as the melanin component and the hemoglobin component.

人が知覚する「色ムラ」を生じさせる各色素成分のムラとは、地肌(画像解析領域中の平均値)よりもコントラストが高い部分において発生している。そこで、本実施形態の色ムラ解析手段17は、画像解析領域における色素成分の濃度平均値より値の高い濃度領域を積算することにより各色素成分の色ムラを数値化する。   The unevenness of each pigment component that causes “color unevenness” perceived by humans occurs in a portion where the contrast is higher than the background (the average value in the image analysis region). Therefore, the color unevenness analyzing means 17 of the present embodiment digitizes the color unevenness of each dye component by integrating the density regions having a value higher than the average density value of the dye component in the image analysis region.

例えば、画像解析領域を画素数により表す場合には、色素成分の濃度平均値を基準とし、濃度平均値以上の濃度値と、濃度平均値以上の濃度値のそれぞれの画素数を乗算して、乗算された値を積算することにより数値化しても良い。   For example, when the image analysis area is represented by the number of pixels, the density average value of the pigment component is used as a reference, and the density value equal to or higher than the density average value is multiplied by the number of pixels of the density value equal to or higher than the density average value. You may digitize by integrating | accumulating the multiplied value.

また、図9(E)に示すように、色素成分ごとの濃度ヒストグラムが生成された場合に、メラニン成分の色ムラを、メラニン濃度m、画像の全画素に占めるメラニン濃度mの画素数の割合f(m)、画像の画素ごとの濃度の平均値Amとして、以下の式により数値化して、メラニン成分の色ムラ指標とする。   Further, as shown in FIG. 9E, when a density histogram for each pigment component is generated, the color unevenness of the melanin component is represented by the melanin concentration m and the ratio of the number of pixels of the melanin concentration m to all the pixels of the image. As f (m), the average value Am of the density for each pixel of the image, it is converted into a numerical value by the following formula and used as a color unevenness index of the melanin component.


同様に、ヘモグロビン成分による色ムラは、ヘモグロビン濃度h、画像の全画素に占めるヘモグロビン濃度hの画素数の割合f(h)、画像の画素ごとの濃度の平均値Ahとして、以下の式により数値化して、ヘモグロビン成分の色ムラ指標とする。

Similarly, the color unevenness due to the hemoglobin component is expressed by the following formula as a hemoglobin density h, a ratio f (h) of the number of pixels of the hemoglobin density h in all pixels of the image, and an average value Ah of the density for each pixel of the image. To be used as a color unevenness index of the hemoglobin component.


なお、上述した式において、白斑等による色ムラを数値化する場合には、∞を−∞として、数値化することが可能である。

In the above-described formula, when color unevenness due to vitiligo or the like is digitized, it can be digitized with ∞ being −∞.

<色ムラ指標と官能評価値との相関関係>
次に、本実施形態の色ムラ解析手段17により、所定の色ムラサイズに分解された画像から色素成分ごとに色ムラが数値化された色ムラ指標と、官能評価値との相関関係について説明する。
<Correlation between color unevenness index and sensory evaluation value>
Next, a correlation between a color unevenness index in which color unevenness is digitized for each pigment component from an image decomposed into a predetermined color unevenness size by the color unevenness analysis unit 17 of the present embodiment and a sensory evaluation value will be described. To do.

図10は、所定の色ムラサイズに分解された画像から色素成分ごとに色ムラが数値化された色ムラ指標と官能評価値との相関関係を説明するための図である。   FIG. 10 is a diagram for explaining a correlation between a color unevenness index in which color unevenness is digitized for each pigment component from an image decomposed into a predetermined color unevenness size and a sensory evaluation value.

ここでは、日本人女性20代〜60代の96名の顔画像を対象として、本実施形態の色ムラ解析手段17により、所定の色ムラサイズごとに分解された画像から色素成分ごとに色ムラを数値化したときのムラ指標(色ムラ指標)と、評価者6名により官能評価を実施したときの平均値との相関関係を示している。   Here, for the face images of 96 Japanese women in their 20s to 60s, the color unevenness is analyzed for each pigment component from the image separated for each predetermined color unevenness size by the color unevenness analyzing means 17 of the present embodiment. 4 shows the correlation between the unevenness index (color unevenness index) when quantified and the average value when sensory evaluation is performed by six evaluators.

なお、官能評価は、所定の色ムラサイズに分解された画像の各色素成分の色ムラ(メラニン成分の茶色の色ムラ、ヘモグロビン成分の赤みの色ムラ)について5段階評価(目立つ〜目立たない)したものである。   The sensory evaluation is a five-level evaluation (conspicuous to inconspicuous) for the color unevenness of each pigment component (brown color unevenness of the melanin component and redness unevenness of the hemoglobin component) of the image decomposed into a predetermined color unevenness size. It is a thing.

図10(A)は、中周波メラニン成分画像から算出されたメラニン成分のムラ指標(色ムラ指標)と官能評価値との相関関係を示したものである。また、図10(B)は、低周波メラニン成分画像から算出されたムラ指標(色ムラ指標)と官能評価値との相関関係を示したものである。   FIG. 10A shows the correlation between the melanin component unevenness index (color unevenness index) calculated from the medium frequency melanin component image and the sensory evaluation value. FIG. 10B shows the correlation between the unevenness index (color unevenness index) calculated from the low-frequency melanin component image and the sensory evaluation value.

図10(A)に示すように、中周波メラニン成分画像の色ムラ指標と官能評価値との相関関係は、相関係数r=0.69、P<0.001であり、色ムラ指標と官能評価値には有意な相関が見られた。   As shown in FIG. 10A, the correlation between the color unevenness index of the medium frequency melanin component image and the sensory evaluation value is a correlation coefficient r = 0.69, P <0.001, and the color unevenness index and There was a significant correlation between the sensory evaluation values.

また、図10(B)に示すように、低周波メラニン成分画像の色ムラ指標と官能評価値との相関関係は、相関係数r=0.42、P<0.001であり、色ムラ指標と官能評価値には有意な相関が見られた。   Further, as shown in FIG. 10B, the correlation between the color unevenness index of the low frequency melanin component image and the sensory evaluation value is the correlation coefficient r = 0.42, P <0.001, and the color unevenness. There was a significant correlation between the index and the sensory evaluation value.

次に、図10(C)は、中周波ヘモグロビン成分画像から算出されたヘモグロビン成分のムラ指標(色ムラ指標)と官能評価値との相関関係を示したものである。また、図10(D)は、低周波ヘモグロビン成分画像から算出されたムラ指標(色ムラ指標)と官能評価値との相関関係を示したものである。   Next, FIG. 10C shows the correlation between the hemoglobin component unevenness index (color unevenness index) calculated from the medium frequency hemoglobin component image and the sensory evaluation value. FIG. 10D shows the correlation between the unevenness index (color unevenness index) calculated from the low-frequency hemoglobin component image and the sensory evaluation value.

図10(C)に示すように、中周波ヘモグロビン成分画像の色ムラ指標と官能評価値との相関関係は、相関係数r=0.31、P<0.01であり、色ムラ指標と官能評価値には有意な相関が見られた。また、図10(D)に示すように、低周波ヘモグロビン成分画像の色ムラ指標と官能評価値との相関関係は、相関係数r=0.52、P<0.001であり、色ムラ指標と官能評価値には有意な相関が見られた。   As shown in FIG. 10C, the correlation between the color unevenness index of the medium frequency hemoglobin component image and the sensory evaluation value is a correlation coefficient r = 0.31 and P <0.01, and the color unevenness index and There was a significant correlation between the sensory evaluation values. Further, as shown in FIG. 10D, the correlation between the color unevenness index and the sensory evaluation value of the low-frequency hemoglobin component image has a correlation coefficient r = 0.52 and P <0.001. There was a significant correlation between the index and the sensory evaluation value.

上述したように、本実施形態の色ムラ解析手段17により、所定の色ムラサイズの色素成分ごとに数値化された色ムラ指標は、人が知覚する「色ムラ」と良く対応していることが分かる。   As described above, the color unevenness index quantified for each pigment component having a predetermined color unevenness size by the color unevenness analyzing unit 17 of the present embodiment corresponds well to “color unevenness” perceived by humans. I understand.

<色ムラ可視化方法>
次に、本実施形態の色ムラ解析手段17による色ムラ可視化方法について説明する。図11は、色ムラ可視化方法を説明するための図である。
<Color unevenness visualization method>
Next, a color unevenness visualization method by the color unevenness analysis unit 17 of the present embodiment will be described. FIG. 11 is a diagram for explaining the color unevenness visualization method.

なお、図11に示すヒストグラムは、図9と同様に、色素成分算出手段16により算出された色素成分ごとの分布状態を、画像生成手段18により色ムラサイズごとに各色素成分の濃度ヒストグラムとして生成されたものである。   11, the distribution state for each pigment component calculated by the pigment component calculation unit 16 is generated as the density histogram of each pigment component for each color unevenness size by the image generation unit 18, as in FIG. It has been done.

図11(A)は、中周波画像の解析領域におけるメラニン成分の濃度ヒストグラムを示し、図11(B)は、低周波画像の解析領域におけるメラニン成分の濃度ヒストグラムを示している。   FIG. 11A shows the density histogram of the melanin component in the analysis area of the medium frequency image, and FIG. 11B shows the density histogram of the melanin component in the analysis area of the low frequency image.

また、図11(C)は、中周波画像の解析領域におけるヘモグロビン成分の濃度ヒストグラムを示し、図11(D)は、低周波画像の解析領域におけるヘモグロビン成分の濃度ヒストグラムを示している。   FIG. 11C shows the density histogram of the hemoglobin component in the analysis region of the medium frequency image, and FIG. 11D shows the density histogram of the hemoglobin component in the analysis region of the low frequency image.

図11(A)〜図11(D)に示すように、レベル0(色ムラなし)とされた画像J、画像L、画像N、画像Pのヒストグラムでは、ピーク値±0.1の範囲に画素が集中しており、メラニン成分及びヘモグロビン成分の濃度のとりうる値が狭い。   As shown in FIGS. 11A to 11D, in the histograms of the images J, L, N, and P set to level 0 (no color unevenness), the peak value is within a range of ± 0.1. The pixels are concentrated, and the possible values of the concentration of the melanin component and the hemoglobin component are narrow.

一方、レベル3(色ムラあり)とされた画像K、画像M、画像O、画像Qヒストグラムでは、ピーク値±0.1以外の範囲に対しても画素が分布しており、メラニン成分及びヘモグロビン成分の濃度のとりうる値の幅は広い。   On the other hand, in the image K, image M, image O, and image Q histograms set to level 3 (with color unevenness), the pixels are distributed in ranges other than the peak value ± 0.1, and the melanin component and hemoglobin There is a wide range of possible values for component concentrations.

上述したヒストグラムの特徴を踏まえ、本実施形態の色ムラ可視化方法では、人が知覚する「色ムラ」を最適に表示するため、ヒストグラムにおけるピーク値から所定値以上(例えばピーク値+0.1以上)の濃度を持つ領域に色づけを行うことにより可視化する。以下に具体例を示す。   Based on the characteristics of the histogram described above, the color unevenness visualization method according to the present embodiment optimally displays “color unevenness” perceived by humans, so that the peak value in the histogram is not less than a predetermined value (for example, peak value +0.1 or more). It visualizes by coloring the area with the density of. Specific examples are shown below.

<色ムラ可視化の具体例>
上述した、本実施形態の色ムラ解析手段17による色ムラ可視化の具体例について説明する。図12は、中周波画像からメラニン成分の色ムラを可視化する例を示す図であり、図13は、低周波画像からメラニン成分の色ムラを可視化する例を示す図である。
<Specific examples of color unevenness visualization>
A specific example of the above-described color unevenness visualization by the color unevenness analyzing unit 17 of the present embodiment will be described. FIG. 12 is a diagram illustrating an example of visualizing the color unevenness of the melanin component from the medium frequency image, and FIG. 13 is a diagram illustrating an example of visualizing the color unevenness of the melanin component from the low frequency image.

また、図14は、中周波画像からヘモグロビン成分の色ムラを可視化する例を示す図であり、図15は、低周波画像からヘモグロビン成分の色ムラを可視化する例を示す図である。   FIG. 14 is a diagram illustrating an example of visualizing the color unevenness of the hemoglobin component from the medium frequency image, and FIG. 15 is a diagram illustrating an example of visualizing the color unevenness of the hemoglobin component from the low frequency image.

ここで、図12(A)は、図12(B)に示すシミレベル0(色ムラなし)と評価された元画像(パネルNo.001)と、シミレベル3(色ムラあり)と評価された元画像(パネルNo.002)とをそれぞれ中周波で分解した中周波画像からメラニン濃度ヒストグラムを生成したものである。   Here, FIG. 12A shows an original image (panel No. 001) evaluated as a stain level 0 (no color unevenness) and an original evaluated as a stain level 3 (with color unevenness) shown in FIG. A melanin density histogram is generated from an intermediate frequency image obtained by decomposing an image (panel No. 002) at an intermediate frequency.

図12(A)に示すように、図12(B)のシミレベル0と評価された画像(パネルNo.001)のメラニン濃度ヒストグラムは、ピーク値±0.1の範囲に画素が集中している。一方、図12(B)のシミレベル3と評価された画像(パネルNo.002)のメラニン濃度ヒストグラムは、ピーク値±0.1以上の範囲に画素が分散している。   As shown in FIG. 12A, in the melanin density histogram of the image (panel No. 001) evaluated as the spot level 0 in FIG. 12B, the pixels are concentrated in the range of the peak value ± 0.1. . On the other hand, in the melanin density histogram of the image (panel No. 002) evaluated as the stain level 3 in FIG. 12B, the pixels are dispersed in the range of the peak value ± 0.1 or more.

本実施形態の色ムラ解析手段17は、図12(B)に示すシミレベル3の中周波画像に対して、図12(A)に示すシミレベル3のヒストグラムのピーク値から例えば0.1以上の濃度を持つ領域に色付けを行い、可視化する。   The color unevenness analyzing means 17 of the present embodiment has, for example, a density of 0.1 or more from the peak value of the histogram of the stain level 3 shown in FIG. 12A for the medium frequency image of the stain level 3 shown in FIG. Color and visualize the area with.

ここで、図12(C)は、図12(A)に示す濃度ヒストグラム解析により得られるメラニン成分の濃度に対応した色ムラ表示例の一例を示す図である。まず、色ムラを表示するために、濃度ヒストグラムを解析して、メラニン成分の濃度平均値を算出し、濃度平均値=Amと設定する。   Here, FIG. 12C is a diagram showing an example of a color unevenness display example corresponding to the concentration of the melanin component obtained by the density histogram analysis shown in FIG. First, in order to display color unevenness, the density histogram is analyzed, the density average value of the melanin component is calculated, and the density average value = Am is set.

また、図12(C)に示すように、人が知覚可能なメラニン濃度値を例えば0.10以上として、濃度平均値Am+0.10〜濃度平均値Am+0.15のメラニン濃度値に対応する色、濃度平均値Am+0.15〜濃度平均値Am+0.20のメラニン濃度値に対応する色等、濃度値を0.05ステップずつに分けてそれぞれの濃度値に対応する色を設定する。   Further, as shown in FIG. 12C, the color corresponding to the melanin density value of density average value Am + 0.10 to density average value Am + 0.15, assuming that the melanin density value perceptible to humans is 0.10 or more, The color corresponding to each density value is set by dividing the density value into 0.05 steps, such as the color corresponding to the melanin density value of density average value Am + 0.15 to density average value Am + 0.20.

色ムラ解析手段17は、このように設定された色ムラ表示例に基づいて、濃度ヒストグラムの濃度値に対応する画像の画素に対して色付けを行う。これにより、例えば図12(B)に示すようなシミレベル3の中周波画像に対してメラニン成分の色ムラの可視化を行う。   Based on the color unevenness display example set in this way, the color unevenness analyzing means 17 colors the pixels of the image corresponding to the density value of the density histogram. Thereby, for example, the color unevenness of the melanin component is visualized on the medium frequency image of the stain level 3 as shown in FIG.

同様に、図13には、低周波画像に対してメラニン成分の色ムラの可視化を行った例、図14には、中周波画像に対してヘモグロビン成分の色ムラの可視化を行った例、図15の低周波画像に対してヘモグロビン成分の色ムラの可視化を行った例を示す。   Similarly, FIG. 13 shows an example in which color unevenness of a melanin component is visualized on a low-frequency image, FIG. 14 shows an example in which color unevenness of a hemoglobin component is visualized on an intermediate-frequency image, The example which visualized the color nonuniformity of a hemoglobin component with respect to 15 low frequency images is shown.

なお、上述した図12〜15に示す色ムラ可視化画像は、濃度ステップを模様等により設定して識別可能に表示させることもできる。   Note that the color unevenness visualization images shown in FIGS. 12 to 15 described above can be displayed in an identifiable manner by setting the density step with a pattern or the like.

上述したように、本実施形態によれば、肌の色ムラを所定の色ムラサイズの色素成分ごとに数値化して解析することが可能となる。すなわち、解析対象者の頬部位における色ムラを、複数の症状に応じた色ムラサイズごとに、数値化されたメラニン成分の色ムラ指標、ヘモグロビン成分の色ムラ指標から解析することが可能となる。   As described above, according to this embodiment, it is possible to digitize and analyze skin color unevenness for each pigment component having a predetermined color unevenness size. That is, it is possible to analyze the color unevenness in the cheek region of the analysis target person from the color unevenness index of the melanin component and the color unevenness index of the hemoglobin component for each color unevenness size corresponding to a plurality of symptoms. .

また、本実施形態によれば、所定の色ムラサイズごとに、数値化した色素成分ごとの色ムラを人が知覚する「色ムラ」と対応させながら最適に表示させることも可能となる。   In addition, according to the present embodiment, it is possible to optimally display the color unevenness for each pigment component that corresponds to the color unevenness perceived by a person for each predetermined color unevenness size.

以上、本発明者によってなされた発明を好適な実施例に基づき具体的に説明したが、本
発明は上記実施例で説明したものに限定されるものではなく、その要旨を逸脱しない範囲
で種々変更可能である。
The invention made by the present inventor has been specifically described based on the preferred embodiments. However, the present invention is not limited to that described in the above embodiments, and various modifications can be made without departing from the scope of the invention. Is possible.

10 肌の色ムラ解析装置
11 入力手段
12 出力手段
13 記録手段
14 画像取得手段
15 周波数解析手段
16 色素成分算出手段
17 色ムラ解析手段
18 画像生成手段
19 制御手段
21 入力装置
22 出力装置
23 ドライブ装置
24 補助記憶装置
25 メモリ装置
26 CPU
27 ネットワーク接続装置
28 記録媒体
DESCRIPTION OF SYMBOLS 10 Skin color nonuniformity analyzer 11 Input means 12 Output means 13 Recording means 14 Image acquisition means 15 Frequency analysis means 16 Dye component calculation means 17 Color unevenness analysis means 18 Image generation means 19 Control means 21 Input device 22 Output device 23 Drive device 24 Auxiliary storage device 25 Memory device 26 CPU
27 Network connection device 28 Recording medium

Claims (21)

頬の肌全体に分布している色素成分の分布状態から前記肌の色ムラを解析する肌の色ムラ解析装置であって、
前記頬の肌全体が撮影された画像を所定の周波数によって所定の色ムラサイズごとに分解する周波数解析手段と、
前記周波数解析手段により分解された所定の色ムラサイズの画像ごとに前記肌の色情報を取得し、取得した前記肌の色情報に基づき前記色素成分ごとの分布状態を算出する色素成分算出手段と、
前記色素成分算出手段により得られる色素成分の分布状態に基づき、前記所定の色ムラサイズの前記色素成分ごとに前記肌の色ムラを数値化して解析する色ムラ解析手段とを有することを特徴とする肌の色ムラ解析装置。
A skin color unevenness analysis device that analyzes the skin color unevenness from a distribution state of pigment components distributed over the entire cheek skin,
A frequency analysis means for decomposing an image of the entire cheek skin by a predetermined frequency for each predetermined color unevenness size;
A pigment component calculating unit that acquires the skin color information for each image of a predetermined color unevenness size decomposed by the frequency analyzing unit, and calculates a distribution state for each pigment component based on the acquired skin color information; ,
Color unevenness analysis means for digitizing and analyzing the color unevenness of the skin for each of the dye components of the predetermined color unevenness size based on the distribution state of the dye component obtained by the dye component calculating means, Skin color unevenness analyzer.
前記色ムラ解析手段は、前記色素成分算出手段により得られる色素成分の分布状態から前記色素成分の濃度平均値より値の高い濃度領域を積算して前記数値化を行うことを特徴とする請求項1に記載の肌の色ムラ解析装置。   The color unevenness analyzing means integrates density regions having a value higher than an average density value of the dye component from the distribution state of the dye component obtained by the dye component calculating means, and performs the digitization. The skin color unevenness analysis apparatus according to 1. 前記色ムラ解析手段は、前記色素成分算出手段により得られる色素成分の分布状態から前記色素成分の濃度平均値を基準とし、前記濃度平均値から所定値以上の濃度領域を可視化することを特徴とする請求項1又は2に記載の肌の色ムラ解析装置。   The color unevenness analyzing means is characterized by visualizing a density region of a predetermined value or more from the density average value based on the density average value of the dye component from the distribution state of the dye component obtained by the dye component calculating means. The color unevenness analysis apparatus for skin according to claim 1 or 2. 前記色ムラ解析手段は、前記色素成分算出手段により得られる色素成分の分布状態から前記色素成分の濃度平均値を基準とし、前記濃度平均値以上の濃度値と、前記濃度平均値以上の濃度値のそれぞれの画素数とを乗算し、乗算された値を積算して前記数値化を行うことを特徴とする請求項1乃至3のいずれか一項に記載の肌の色ムラ解析装置。   The color unevenness analyzing means is based on the density average value of the dye component from the distribution state of the dye component obtained by the dye component calculating means, and has a density value equal to or higher than the density average value and a density value equal to or higher than the density average value. The skin color unevenness analysis apparatus according to any one of claims 1 to 3, wherein the numerical value is obtained by multiplying the number of each of the pixels and adding the multiplied values. 前記周波数解析手段は、予め設定された低周波により前記撮影された画像から前記肌のシミ、頬の赤みによる色ムラサイズの画像に分解し、予め設定された中周波により前記撮影された画像から前記肌のにきび、シミそばかすによる色ムラサイズの画像に分解することを特徴とする請求項1乃至4のいずれか一項に記載の肌の色ムラ解析装置。   The frequency analyzing means decomposes the image captured at a low frequency set in advance into an image of uneven color size due to the skin spots and redness of the cheeks, and from the image captured at a preset medium frequency. The skin color unevenness analysis apparatus according to any one of claims 1 to 4, wherein the skin color unevenness analysis apparatus is decomposed into an image having a color unevenness size caused by acne and freckles on the skin. 前記色素成分は、メラニン成分又はヘモグロビン成分であることを特徴とする請求項1乃至5のいずれか一項に記載の肌の色ムラ解析装置。   The skin color unevenness analysis apparatus according to claim 1, wherein the pigment component is a melanin component or a hemoglobin component. 前記色素成分算出手段によって算出された色素成分の分布状態を前記色素成分の濃度ヒストグラムとして生成する画像生成手段を有することを特徴とする請求項1乃至6のいずれか一項に記載の肌の色ムラ解析装置。   7. The skin color according to claim 1, further comprising an image generation unit configured to generate a distribution state of the pigment component calculated by the pigment component calculation unit as a density histogram of the pigment component. Unevenness analysis device. 頬の肌全体に分布している色素成分の分布状態から前記肌の色ムラを解析する肌の色ムラ解析装置により実行される肌の色ムラ解析方法であって、
前記頬の肌全体が撮影された画像を所定の周波数によって所定の色ムラサイズごとに分解する周波数解析手順と、
前記周波数解析手順により分解された所定の色ムラサイズの画像ごとに前記肌の色情報を取得し、取得した前記肌の色情報に基づき前記色素成分ごとの分布状態を算出する色素成分算出手順と、
前記色素成分算出手順により得られる色素成分の分布状態に基づき、前記所定の色ムラサイズの前記色素成分ごとに前記肌の色ムラを数値化して解析する色ムラ解析手順とを有することを特徴とする肌の色ムラ解析方法。
A skin color unevenness analysis method executed by a skin color unevenness analysis device that analyzes the skin color unevenness from a distribution state of a pigment component distributed over the entire cheek skin,
A frequency analysis procedure for decomposing an image of the entire cheek skin by a predetermined frequency for each predetermined color unevenness size;
A pigment component calculation procedure for acquiring the skin color information for each image of a predetermined color unevenness size decomposed by the frequency analysis procedure, and calculating a distribution state for each pigment component based on the acquired skin color information; ,
A color unevenness analysis procedure for quantifying and analyzing the color unevenness of the skin for each of the pigment components of the predetermined color unevenness size based on a distribution state of the colorant component obtained by the colorant component calculation procedure, Skin color unevenness analysis method.
前記色ムラ解析手順は、前記色素成分算出手順により得られる色素成分の分布状態から前記色素成分の濃度平均値より値の高い濃度領域を積算して前記数値化を行うことを特徴とする請求項8に記載の肌の色ムラ解析方法。   The color unevenness analysis procedure performs the quantification by integrating density regions having a value higher than the concentration average value of the pigment component from the distribution state of the pigment component obtained by the pigment component calculation procedure. The skin color unevenness analysis method according to 8. 前記色ムラ解析手順は、前記色素成分算出手段により得られる色素成分の分布状態から前記色素成分の濃度平均値を基準とし、前記濃度平均値から所定値以上の濃度領域を可視化することを特徴とする請求項8又は9に記載の肌の色ムラ解析方法。   The color unevenness analysis procedure is characterized by visualizing a density region of a predetermined value or more from the density average value based on the density average value of the dye component from the distribution state of the dye component obtained by the dye component calculating means. The skin color nonuniformity analysis method according to claim 8 or 9. 前記色ムラ解析手順は、前記色素成分算出手順により得られる色素成分の分布状態から前記色素成分の濃度平均値を基準とし、前記濃度平均値以上の濃度値と、前記濃度平均値以上の濃度値のそれぞれの画素数とを乗算し、乗算された値を積算して前記数値化を行うことを特徴とする請求項8乃至10のいずれか一項に記載の肌の色ムラ解析方法。   The color unevenness analysis procedure is based on the density average value of the pigment component from the distribution state of the pigment component obtained by the pigment component calculation procedure, and the density value equal to or higher than the density average value and the density value equal to or higher than the density average value. The skin color unevenness analysis method according to any one of claims 8 to 10, wherein the numerical value is obtained by multiplying each of the pixel numbers and integrating the multiplied values. 前記周波数解析手順は、予め設定された低周波により前記撮影された画像から前記肌のシミ、頬の赤みによる色ムラサイズの画像に分解し、予め設定された中周波により前記撮影された画像から前記肌のにきび、シミそばかすによる色ムラサイズの画像に分解することを特徴とする請求項8乃至11のいずれか一項に記載の肌の色ムラ解析方法。   The frequency analysis procedure is performed by decomposing the photographed image with a low frequency set in advance into an image with uneven color size due to the skin spots and redness of the cheeks, and from the image taken with a preset medium frequency. The skin color unevenness analysis method according to any one of claims 8 to 11, wherein the skin color accrual and stain freckles are decomposed into an image having a color unevenness size. 前記色素成分は、メラニン成分又はヘモグロビン成分であることを特徴とする請求項8乃至12のいずれか一項に記載の肌の色ムラ解析方法。   The skin color unevenness analysis method according to any one of claims 8 to 12, wherein the pigment component is a melanin component or a hemoglobin component. 前記色素成分算出手順によって算出された色素成分の分布状態を前記色素成分の濃度ヒストグラムとして生成する画像生成手順を有することを特徴とする請求項8乃至13のいずれか一項に記載の肌の色ムラ解析方法。   The skin color according to claim 8, further comprising an image generation procedure for generating a distribution state of the pigment component calculated by the pigment component calculation procedure as a density histogram of the pigment component. Unevenness analysis method. 頬の肌全体に分布している色素成分の分布状態から前記肌の色ムラを解析する肌の色ムラ解析プログラムであって、
コンピュータを、
前記頬の肌全体が撮影された画像を所定の周波数によって所定の色ムラサイズごとに分解する周波数解析手段、
前記周波数解析手段により分解された所定の色ムラサイズの画像ごとに前記肌の色情報を取得し、取得した前記肌の色情報に基づき前記色素成分ごとの分布状態を算出する色素成分算出手段、
前記色素成分算出手段により得られる色素成分の分布状態に基づき、前記所定の色ムラサイズの前記色素成分ごとに前記肌の色ムラを数値化して解析する色ムラ解析手段として機能させる肌の色ムラ解析プログラム。
A skin color unevenness analysis program for analyzing the skin color unevenness from the distribution state of the pigment component distributed over the entire cheek skin,
Computer
A frequency analysis means for decomposing an image of the entire cheek skin by a predetermined frequency for each predetermined color unevenness size;
A pigment component calculation unit that acquires the skin color information for each image having a predetermined color unevenness size resolved by the frequency analysis unit, and calculates a distribution state for each pigment component based on the acquired skin color information;
Skin color unevenness that functions as color unevenness analysis means that digitizes and analyzes the skin color unevenness for each of the colorant components of the predetermined color unevenness size based on the distribution state of the colorant component obtained by the colorant component calculating means Analysis program.
前記色ムラ解析手段は、前記色素成分算出手段により得られる色素成分の分布状態から前記色素成分の濃度平均値より値の高い濃度領域を積算して前記数値化を行うことを特徴とする請求項15に記載の肌の色ムラ解析プログラム。   The color unevenness analyzing means integrates density regions having a value higher than an average density value of the dye component from the distribution state of the dye component obtained by the dye component calculating means, and performs the digitization. 15. A skin color unevenness analysis program according to 15. 前記色ムラ解析手段は、前記色素成分算出手段により得られる色素成分の分布状態から前記色素成分の濃度平均値を基準とし、前記濃度平均値から所定値以上の濃度領域を可視化することを特徴とする請求項15又は16に記載の肌の色ムラ解析プログラム。   The color unevenness analyzing means is characterized by visualizing a density region of a predetermined value or more from the density average value based on the density average value of the dye component from the distribution state of the dye component obtained by the dye component calculating means. The skin color unevenness analysis program according to claim 15 or 16. 前記色ムラ解析手段は、前記色素成分算出手段により得られる色素成分の分布状態から前記色素成分の濃度平均値を基準とし、前記濃度平均値以上の濃度値と、前記濃度平均値以上の濃度値のそれぞれの画素数とを乗算し、乗算された値を積算して前記数値化を行うことを特徴とする請求項15乃至17のいずれか一項に記載の肌の色ムラ解析プログラム。   The color unevenness analyzing means is based on the density average value of the dye component from the distribution state of the dye component obtained by the dye component calculating means, and has a density value equal to or higher than the density average value and a density value equal to or higher than the density average value. The skin color unevenness analysis program according to any one of claims 15 to 17, wherein the numerical value is obtained by multiplying the number of each of the pixels and summing the multiplied values. 前記周波数解析手段は、予め設定された低周波により前記撮影された画像から前記肌のシミ、頬の赤みによる色ムラサイズの画像に分解し、予め設定された中周波により前記撮影された画像から前記肌のにきび、シミそばかすによる色ムラサイズの画像に分解することを特徴とする請求項15乃至18のいずれか一項に記載の肌の色ムラ解析プログラム。   The frequency analyzing means decomposes the image captured at a low frequency set in advance into an image of uneven color size due to the skin spots and redness of the cheeks, and from the image captured at a preset medium frequency. 19. The non-uniform skin color analysis program according to claim 15, wherein the non-uniform skin color image is decomposed into an image of non-uniform color size due to the acne and freckles on the skin. 前記色素成分は、メラニン成分又はヘモグロビン成分であることを特徴とする請求項15乃至19のいずれか一項に記載の肌の色ムラ解析プログラム。   The skin color unevenness analysis program according to any one of claims 15 to 19, wherein the pigment component is a melanin component or a hemoglobin component. 前記色素成分算出手段によって算出された色素成分の分布状態を前記色素成分の濃度ヒストグラムとして生成する画像生成手段を有することを特徴とする請求項15乃至20のいずれか一項に記載の肌の色ムラ解析プログラム。   The skin color according to any one of claims 15 to 20, further comprising image generation means for generating a distribution state of the dye component calculated by the dye component calculation means as a density histogram of the dye component. Unevenness analysis program.
JP2010117466A 2010-05-21 2010-05-21 Skin color unevenness analysis apparatus, skin color unevenness analysis method, and skin color unevenness analysis program Active JP5426475B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010117466A JP5426475B2 (en) 2010-05-21 2010-05-21 Skin color unevenness analysis apparatus, skin color unevenness analysis method, and skin color unevenness analysis program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010117466A JP5426475B2 (en) 2010-05-21 2010-05-21 Skin color unevenness analysis apparatus, skin color unevenness analysis method, and skin color unevenness analysis program

Publications (2)

Publication Number Publication Date
JP2011240086A JP2011240086A (en) 2011-12-01
JP5426475B2 true JP5426475B2 (en) 2014-02-26

Family

ID=45407368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010117466A Active JP5426475B2 (en) 2010-05-21 2010-05-21 Skin color unevenness analysis apparatus, skin color unevenness analysis method, and skin color unevenness analysis program

Country Status (1)

Country Link
JP (1) JP5426475B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9697618B2 (en) * 2012-08-17 2017-07-04 Sony Corporation Image processing apparatus, image processing method, program, and image processing system
JP5946785B2 (en) * 2013-03-13 2016-07-06 富士フイルム株式会社 Visual effect evaluation device, method and program, and image pickup device
JP6214914B2 (en) 2013-04-26 2017-10-18 株式会社 資生堂 Skin dullness evaluation apparatus, skin dullness evaluation method, and skin dullness evaluation program
JP6346789B2 (en) * 2013-05-24 2018-06-20 花王株式会社 Facial image analysis method and facial image analysis apparatus
JP2017023474A (en) * 2015-07-23 2017-02-02 株式会社インテグラル Skin pore analysis apparatus, skin pore analysis method and program for use in device
JP6650819B2 (en) * 2016-04-15 2020-02-19 株式会社 資生堂 Method for evaluating uneven color portion, apparatus for evaluating uneven color portion, and program for evaluating uneven color portion
JP7083478B2 (en) * 2016-10-06 2022-06-13 御木本製薬株式会社 Skin evaluation method
JP7455753B2 (en) * 2018-10-16 2024-03-26 株式会社 資生堂 Skin evaluation method and skin evaluation device
JP7412767B2 (en) * 2020-07-20 2024-01-15 日本メナード化粧品株式会社 Skin color unevenness evaluation device, skin color unevenness evaluation method, and skin color unevenness evaluation program
CN112221021B (en) * 2020-11-02 2023-02-07 中南大学湘雅三医院 Intelligent laser speckle removing control system for dermatology department

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3219551B2 (en) * 1993-06-30 2001-10-15 株式会社資生堂 Surface condition analysis system
JP4088081B2 (en) * 2002-02-15 2008-05-21 株式会社コーセー Evaluation method of skin condition
JP2006031195A (en) * 2004-07-13 2006-02-02 Atlus Co Ltd Image processing program, image processor and automatic photographing device
JP4761924B2 (en) * 2004-10-22 2011-08-31 株式会社 資生堂 Skin condition diagnosis system and beauty counseling system
JP4739746B2 (en) * 2004-12-27 2011-08-03 株式会社ディー・ディー・エス Skin evaluation method and skin evaluation apparatus
FR2891641B1 (en) * 2005-10-04 2007-12-21 Lvmh Rech METHOD AND APPARATUS FOR CHARACTERIZING SKIN IMPERFECTIONS AND METHOD OF ASSESSING THE ANTI-AGING EFFECT OF A COSMETIC PRODUCT
JP4725298B2 (en) * 2005-11-11 2011-07-13 パナソニック電工株式会社 Visual inspection method using images
JP5146667B2 (en) * 2008-06-13 2013-02-20 花王株式会社 Evaluation method of skin smoothness
JP4692786B2 (en) * 2009-01-09 2011-06-01 花王株式会社 How to analyze skin texture

Also Published As

Publication number Publication date
JP2011240086A (en) 2011-12-01

Similar Documents

Publication Publication Date Title
JP5426475B2 (en) Skin color unevenness analysis apparatus, skin color unevenness analysis method, and skin color unevenness analysis program
US11154200B2 (en) Skin assessment using image fusion
JP6214914B2 (en) Skin dullness evaluation apparatus, skin dullness evaluation method, and skin dullness evaluation program
JP5885344B2 (en) Method for characterizing skin or skin tone
US11317851B2 (en) Skin spot evaluation apparatus, skin spot evaluation method and program
JP6086573B2 (en) Method and apparatus for characterizing pigmented spots and its application in methods for evaluating the coloring or depigmenting effect of cosmetic, skin or pharmaceutical products
US8290257B2 (en) Method and apparatus for simulation of facial skin aging and de-aging
KR101713086B1 (en) Transparency evaluation device, transparency evaluation method and transparency evaluation program
US20080304736A1 (en) Method of estimating a visual evaluation value of skin beauty
EP3959724A1 (en) Apparatus and method for visualizing cosmetic skin attributes
JP2022529676A (en) Equipment and methods for determining cosmetic skin attributes
JP5405994B2 (en) Image processing apparatus, image processing method, image processing system, and skin evaluation method
JP6473401B2 (en) Skin gloss evaluation apparatus, gloss evaluation method, and gloss evaluation program
JP2013212177A (en) Image analysis method, image analyzer, and image analysis program
JP2007252891A (en) Estimation method of evaluation value by visual recognition of beauty of skin
JP2009082338A (en) Skin discrimination method using entropy
JP6650819B2 (en) Method for evaluating uneven color portion, apparatus for evaluating uneven color portion, and program for evaluating uneven color portion
JP2017192767A (en) Image analysis method, image analysis device, and image analysis program
JP5399874B2 (en) Image processing apparatus and image processing method
JP2007252892A (en) Estimation method of evaluation value by visual recognition of three-dimensional shape of skin surface
JP6918584B2 (en) Pore clogging evaluation method and pore clogging evaluation device
JP6550343B2 (en) Texture evaluation method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130502

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131128

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5426475

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250