WO2018216680A1 - 皮膚疾患の診断のための爪甲色素線条または皮膚の色相の解析方法、診断装置およびコンピュータプログラム - Google Patents

皮膚疾患の診断のための爪甲色素線条または皮膚の色相の解析方法、診断装置およびコンピュータプログラム Download PDF

Info

Publication number
WO2018216680A1
WO2018216680A1 PCT/JP2018/019623 JP2018019623W WO2018216680A1 WO 2018216680 A1 WO2018216680 A1 WO 2018216680A1 JP 2018019623 W JP2018019623 W JP 2018019623W WO 2018216680 A1 WO2018216680 A1 WO 2018216680A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
skin
value
nail
color
Prior art date
Application number
PCT/JP2018/019623
Other languages
English (en)
French (fr)
Inventor
孝之 宗田
中村 厚
弘志 古賀
Original Assignee
学校法人早稲田大学
国立大学法人信州大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 学校法人早稲田大学, 国立大学法人信州大学 filed Critical 学校法人早稲田大学
Priority to JP2019520258A priority Critical patent/JP7267545B2/ja
Priority to US16/616,250 priority patent/US11200673B2/en
Publication of WO2018216680A1 publication Critical patent/WO2018216680A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/449Nail evaluation, e.g. for nail disorder diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485Automatic selection of region of interest
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control

Definitions

  • the present invention relates to a nail plate pigment streak or skin hue analysis method for diagnosing skin diseases, a diagnosis device using the analysis method, and a computer program that causes a computer to function as the diagnosis device.
  • the nail plate pigment streak is a state of black or brown linear or belt-like pigmentation in the vertical direction from the base of the nail plate.
  • the nail plate pigment streak appears on the surface of the base of the nail plate, and as the nail extends, the linear pigmentation gradually moves to the tip of the nail.
  • Typical lesions that cause the disease include pigmented nevus with increased melanin. After pigmented nevus occurs in the nail mother, nail plate pigment streaks appear on the nail.
  • a benign skin tumor malignant skin tumor such as nail melanoma (nail melanoma) or Bowen's disease occurs in the nail mother, nail plate pigment streaks on the nail, before the skin pigment changes Appears as a change due to early-stage symptoms.
  • skin diseases such as lichen planus and linear lichen, endocrine abnormalities such as Addison's disease and Cushing's syndrome, metabolic abnormalities such as porphyria and malnutrition, systemic diseases such as Poetz-Jäger syndrome and pregnancy, bacteria and fungi Nail crust pigment streaks on the nail after infectious disease, internal use of drugs such as anti-cancer drugs, radiation therapy to the fingers and ultraviolet therapy, and lesions in the vicinity of the nail mother due to repeated external stimulation appear.
  • autoimmune skin diseases such as lupus erythematosus exhibit reddish skin symptoms.
  • Nail malignant melanoma also called nail melanoma
  • the malignant melanoma can be diagnosed not only from the nail plate but also from the skin color if the pathological condition of the malignant melanoma progresses, it has been required to realize an analysis method for diagnosing the malignant melanoma by the skin.
  • the present inventors regard the RGB variable value of each pixel in the dermoscopy image of the nail plate pigment streak as a three-dimensional vector in the RGB space, and determine the diagnostic index DI from the latitude and longitude variables. (Discrimination Index) value is determined and a diagnostic device is developed that objectively and non-invasively diagnoses whether the nail plate pigment streak is due to a malignant tumor or a benign tumor by distinguishing the diagnostic index DI value from the threshold. (For example, Non-Patent Document 1 and Patent Document 1).
  • the diagnostic index DI is latent in the color digital image to be input such as a difference in nail plate region extracted for analysis and a JPEG image. It was considered that it was influenced by variations in color balance caused by the photographing device.
  • RGB variables of an input color image such as a JPEG image depends on the photographing device because the dermoscope illumination device differs for each model and the photographing camera has a manufacturer's own image processing engine. There seems to be a possibility.
  • the present invention has been made in view of such circumstances, and by correcting the hue of the dermoscopy image by standardizing the color balance, the nail plate pigment streak is caused by a malignant tumor without depending on the examiner or imaging device.
  • the present invention provides an analysis method or a diagnostic method and a diagnostic apparatus that can analyze or diagnose the above, and a computer program that causes a computer to function as the diagnostic apparatus.
  • the present invention uses an image reading step of reading a color image of a test site of a subject's nail plate pigment streak or skin as a digital color image, and uses pixel size conversion to convert the entire size of the digital color image.
  • An image size conversion step for converting the image into a predetermined size an image processing step including a ROI extraction step for extracting a region of interest (ROI) necessary for diagnosis from the digital color image, and the digital color image Diagnosis of nail malignant tumor, malignant melanoma, etc., including a color adaptation conversion step for adjusting the color balance of the data by chromatic adaptation conversion and a diagnostic index calculation step for obtaining a diagnostic index using the image after chromatic adaptation conversion
  • ROI region of interest
  • the analysis method of the nail plate pigment streak and the skin hue may further include a step of discriminating the presence or absence of a disease using the diagnostic index as a threshold value.
  • the method of analyzing the nail plate pigment streak and the skin hue is a method of determining the time course of the nail plate pigment streak or the skin hue using the data of follow-up of the diagnostic index in the same subject to diagnose the outcome. May include a step of analyzing.
  • the chromatic adaptation conversion step is expressed in an XYZ conversion step of converting a linear RGB color space obtained by degamma processing into an XYZ color space, and the XYZ color space.
  • the chromatic adaptation conversion step calculates the average chromaticity coordinates after the XYZ conversion step, and averages the XYZ parameters for pixels in the entire target region. And the step of considering the average value of Y obtained as an average luminance signal of Y and the step of setting arbitrary first reference value and second reference value, the value of the average luminance signal of Y being the first reference value In the case where the value is equal to or greater than the value, an average value of X, Y, and Z in the entire target region is calculated for all the target pixels, and the value of the Y average luminance signal is smaller than the first reference value. Calculates the average value of X, Y, and Z for pixels whose Y value is greater than the second reference value, and for pixels whose Y value is less than or equal to the second reference value, When the coordinate conversion step is not performed There is.
  • the nail malignant tumor, the malignant melanoma of the skin part, or the autoimmune skin disease are respectively in the initial stage of the nail malignant tumor, skin It may be some malignant melanoma or autoimmune skin disease.
  • the nail malignant tumor is selected from nail malignant melanoma or Bowen disease
  • the autoimmune skin disease is lupus erythematosus, dermatomyositis and scleroderma It may be collagen disease including symptom.
  • the present invention provides an image reading step for reading a color image of a test site of a nail plate pigment streak or skin of a subject as a digital color image, and the entire size of the digital color image is set to a predetermined size using pixel size conversion.
  • ROI region of interest
  • Diagnosis of nail malignant tumor, skin cancer such as malignant melanoma including chromatic adaptation conversion step for performing balance adjustment by chromatic adaptation conversion and a diagnostic index calculation step for obtaining a diagnostic index using the image after chromatic adaptation conversion
  • a diagnostic method for diagnosing the skin of the subject or for diagnosing an autoimmune skin disease is provided.
  • the diagnostic method may further include a step of identifying the presence or absence of a disease using the diagnostic index as a threshold value.
  • the diagnosis method may include a step of analyzing a change over time in the nail plate pigment streak or the hue of the skin using the observation data of the diagnostic index in the same subject in order to diagnose the outcome.
  • the chromatic adaptation conversion step includes an XYZ conversion step of converting a linear RGB color space obtained by degamma processing into an XYZ color space, and an XYZ parameter of each pixel in the image expressed in the XYZ color space.
  • the chromatic adaptation conversion step obtains the average value of Y obtained by averaging the XYZ parameters for the pixels in the entire target area as the step of obtaining the average chromaticity coordinates after the XYZ conversion step.
  • An average value of X, Y, and Z is calculated for pixels larger than the value, and the coordinate conversion step may not be performed for pixels whose Y value is less than or equal to the second reference value. .
  • the nail malignant tumor, the skin malignant melanoma, or the autoimmune skin disease are an initial nail malignant tumor and a skin malignant melanoma, respectively. Or it may be an autoimmune skin disease.
  • the nail malignant tumor is selected from nail malignant melanoma or Bowen's disease
  • the autoimmune skin disease includes collagen disease including lupus erythematosus, dermatomyositis and scleroderma It may be.
  • the diagnosis may be a discrimination of the presence or absence of a malignant tumor in the subject.
  • the diagnosis method uses time-lapse data of the nail plate pigment streak or the skin using the data of follow-up of the diagnostic index in the same subject in order to diagnose the outcome. It may include a step of analyzing the change.
  • the present invention provides an image reading means for reading a color image of a test site of a nail plate pigment line or skin of a subject as a digital color image, and the entire size of the digital color image is set to a predetermined size using pixel size conversion.
  • ROI region of interest
  • a diagnostic apparatus for performing diagnosis with autoimmune skin disease or autoimmune skin disease is provided.
  • the diagnostic device for diagnosing nail malignant tumors, skin cancers such as malignant melanoma, or autoimmune skin disease according to the present invention, further distinguishes the diagnostic index as a threshold value By doing so, a diagnostic means for diagnosing whether the nail plate pigmentary line is due to a malignant tumor or a benign nevi may be provided.
  • a diagnostic apparatus for diagnosing nail malignant tumor, skin cancer such as malignant melanoma, or autoimmune skin disease according to the present invention is used in the same subject to diagnose the outcome.
  • a diagnostic means for analyzing and diagnosing the temporal change of the nail plate pigment streak or the hue of the skin using the data of follow-up of the diagnostic index may be provided.
  • the chromatic adaptation conversion unit includes an XYZ conversion unit that converts the linear RGB color space obtained by the degamma processing unit to an XYZ color space, and an XYZ parameter of each pixel in the image expressed in the XYZ color space.
  • XYZ conversion unit that converts the linear RGB color space obtained by the degamma processing unit to an XYZ color space
  • XYZ parameter of each pixel in the image expressed in the XYZ color space There is a case in which coordinate conversion means for converting the average chromaticity coordinates obtained from the above into reference coordinates and RGB conversion means for performing gamma processing after converting the XYZ color space to the linear RGB color space.
  • the chromatic adaptation conversion means is obtained by averaging the XYZ parameters for the pixels in the entire target area as means for obtaining the average chromaticity coordinates after converting a linear RGB color space to an XYZ color space.
  • an average value of X, Y, Z in the entire target region is calculated for all of the target pixels, and if the value of the Y average luminance signal is smaller than the first reference value, Y
  • an average value of X, Y and Z is calculated, and for pixels whose Y value is less than or equal to the second reference value, average chromaticity Coordinates may not be converted to reference coordinates.
  • the nail malignant tumor may be selected from nail malignant melanoma or Bowen disease
  • the autoimmune skin disease may be a collagen disease including lupus erythematosus, dermatomyositis and scleroderma.
  • the present invention provides a computer program that causes a computer to function as the above-described skin disease diagnosis apparatus.
  • the computer program further includes a computer program for differentiating the presence or absence of a malignant tumor for differential diagnosis and / or a computer program for analyzing temporal changes in the same subject in order to diagnose the outcome of the subject.
  • the diagnosis index DI does not greatly differ depending on the imaging device or the examiner. Even inexperienced examiners can diagnose whether nail plate pigment streaks are due to malignant or benign tumors.
  • FIG. 4 is a schematic diagram schematically showing standardization of color balance by chromatic adaptation conversion. It is a flowchart which shows the procedure of a color adaptation conversion algorithm same as the above.
  • FIG. 2 is a block diagram schematically showing an example in which a computer program is installed and the computer functions as a nail plate pigment streak and skin disease diagnosis apparatus of the present invention.
  • the original drawing of the nail plate pigment streak shows a color photograph
  • (a) is a nail malignant melanoma
  • (b) and (c) are JPEG images before standardization of the color balance of benign nevi
  • (D), (e), and (f) are respectively extracted from the images of (a), (b), and (c) by the inspector A, and the nail plate pigment streak according to the present invention is extracted.
  • 4 shows a color image obtained by standardizing the color balance by the analysis method. It is a figure which shows as a comparative example the result of having calculated the diagnostic parameter
  • Nail plate pigment streak is associated with lichen planus after malignant skin tumors such as pigmented nevus with increased melanin, benign skin tumor, malignant melanoma of the nail (nail melanoma) and Bowen's disease occur in the nail Skin diseases such as linear lichen, endocrine abnormalities such as Addison's disease, Cushing syndrome, metabolic disorders such as porphyria and malnutrition, systemic diseases such as Poetz-Jäger syndrome and pregnancy, bacterial and fungal infections, It also appears on the nail even after taking lesions in the nail mother or near the nail mother by internal use of drugs such as cancer drugs, radiation therapy to the fingers or ultraviolet therapy, and repeated external stimulation.
  • malignant skin tumors such as pigmented nevus with increased melanin, benign skin tumor, malignant melanoma of the nail (nail melanoma) and Bowen's disease occur in the nail Skin diseases such as linear lichen, endocrine abnormalities such as Addison's disease, Cushing syndrome,
  • an autoimmune skin disease is included as an object of the analysis method of the present invention, and the autoimmune skin disease can be, for example, a collagen disease including lupus erythematosus, dermatomyositis, and scleroderma.
  • the “subject” means a subject as long as the nail plate pigment streak and the skin hue analysis method of the present invention are used, that is, a nail plate pigment streak resulting from a malignant tumor or the like. It is not limited to the patient who has, and the healthy person who has a benign nail plate pigment streak is also included. Moreover, any of males or females and adults, children, elderly people, or elderly people are included.
  • the ROI in the present embodiment is a region of the nail plate or skin image to be analyzed by processing such as chromatic adaptation conversion when the image is analyzed in the present embodiment.
  • the image reading means reads a color image of the nail plate pigment line or the test site of the skin as a digital color image.
  • FIG. 2 shows an apparatus for acquiring the color image and a state of taking a photograph.
  • a melanoma 2 exists in the nail 1 to be imaged.
  • the melanoma 2 includes a nail malignant tumor, and can be an nail malignant tumor at an early stage as a diagnosis target of the present embodiment.
  • the nail malignant tumor is selected from nail malignant melanoma or Bowen's disease.
  • a dermoscope 3 is pressed against the surface of the nail 1 and a digital image 4 attached to the dermoscope 3 is used to obtain a color image in JPEG format.
  • a transparent gel (not shown) to the surface of the nail 1.
  • illumination light can be effectively taken into the nail plate and a clear image can be obtained.
  • a printed color photograph may be taken with the digital camera 4 to obtain a digital color image.
  • the color image can be read through, for example, an SD card in which the color image is recorded as a digital color image.
  • the image processing means converts the image size of the digital color image (image resizing) and extracts the ROI from the nail plate or skin image.
  • the size of one pixel is adjusted by the image size conversion means, the number of pixels on the short side of the image is set to a predetermined value, and the entire size of the image is set to a predetermined size using pixel size conversion.
  • An image size conversion step for conversion may be included. By this image size conversion, the vertical and horizontal sizes of the digital color image to be processed can be set to a predetermined size.
  • the RGB variable of the pixel whose size has been changed is interpolated using, for example, a bicubic method.
  • the image processing step can further include an ROI extraction step of extracting an ROI necessary for diagnosis from the digital color image by the ROI extraction means.
  • an ROI extraction step when extracting the ROI of the nail plate, only the pixels belonging to the nail plate that are visible on the image are left for analysis. At this time, bubbles, halation, cracks, scratches, etc. contained in the transparent gel on the nail plate are excluded. Also excludes areas of Hutchinson's symptoms.
  • color balance is standardized by chromatic adaptation conversion of RGB variables included in the nail plate or skin ROI.
  • Standardization of color balance by chromatic adaptation conversion refers to the average color of a given pixel in a digital color image obtained under various conditions such as the spectral distribution of illumination light that varies depending on the device used in the inspection. This refers to adjusting the degree coordinates so that the appearance of white is constant by converting the degree coordinates into chromaticity coordinates as a reference, which are set in advance.
  • the color balance of the RGB variables included in the JPEG image is determined not only by the state of the photograph but also by the correlated color temperature that varies depending on the device used in the inspection.
  • the correlated color temperature can be determined using chromaticity coordinates (xbar, ybar) calculated from tristimulus variables (Xbar, Ybar, Zbar) averaged using a given JPEG image.
  • the XYZ variable can be obtained from the RGB variable of each pixel by an operation as described later. Therefore, the color balance of the RGB variable depends on the chromaticity coordinates (xbar, ybar) of a given JPEG image.
  • FIG. 3 is a schematic diagram schematically showing standardization of color balance by chromatic adaptation conversion.
  • “R”, “G”, and “B” indicate the vicinity of red, green, and blue boundaries in the xy chromaticity coordinates, respectively.
  • Corresponding tristimulus variables (X s, Y s, Z s) 5YR8 / 4 is and spectral data of the standard light source D 65, the reflection spectrum of the white race under the standard light source D 65 based on JIS Z 8726, It can be determined using the color matching function of the CIE 1931 standard color system.
  • the specific value of (X s , Y s , Z s ) 5YR8 / 4 is shown in equation (8).
  • the subscript “5YR8 / 4” is the Munsell symbol corresponding to the color sample.
  • the subscript “s” means standard.
  • RGB variable before calculating the diagnostic index DI, using a transformation matrix for transforming analyzed chromaticity coordinates (xbar, ybar) the reference coordinates (x s, y s) to 5YR8 / 4 Re-evaluated.
  • black circle indicates chromaticity coordinates (xbar, ybar)
  • x indicates reference coordinates (x s , y s ) 5YR8 / 4 .
  • the reference coordinates can be appropriately changed depending on the race of the subject, for example. For example, when used for diagnosis on the skin, particularly for diagnosis of autoimmune skin diseases such as collagen disease, it is preferable to change the reference coordinates depending on the race. In this case, if Munsell symbols are used, the reference coordinates can be set without depending on the standards of each country such as JIS.
  • Steps S104 to S113 are chromatic adaptation conversion steps in which chromatic adaptation conversion means adjusts the color balance of the digital color image data.
  • the chromatic adaptation conversion step includes an XYZ conversion step of converting a linear RGB color space obtained by degamma processing into an XYZ color space by an XYZ conversion unit, and a coordinate conversion unit of each pixel in the image expressed in the XYZ color space.
  • a coordinate conversion step of converting the average chromaticity coordinates obtained from the XYZ parameters into reference coordinates, and an RGB conversion step of performing gamma processing after converting the XYZ color space into a linear RGB color space by the RGB conversion means can be included.
  • step S104 conversion to a linear RGB color space is performed by degamma processing.
  • the 8-bit RGB integer variable in the pixel of the target nail plate image is returned to the R′G′B ′ real variable based on Expression (1).
  • the R′G′B ′ variable is converted back to the corresponding linearized R s G s B s variable using degamma correction.
  • the R s G s B s variable is a variable in the standard linear color space sRGB.
  • the R component degamma correction processing is shown in Equation (2). Similar processing is performed for the G component and the B component.
  • the R s G s B s variable in the sRGB color space is converted into the corresponding tristimulus variable, that is, the XYZ variable in the XYZ color space based on the equation (3) by the XYZ conversion means. Is done. Equation (3) it is derived assuming a white point D 65.
  • the tristimulus variables are averaged over the pixel of interest, resulting in (Xbar, Ybar, Zbar) D65 .
  • Ybar is regarded as a Y average luminance signal, and subsequent processing is determined based on the value of Ybar.
  • step S111 the coordinate conversion means executes a chromatic adaptation conversion algorithm using the reference coordinates as a reference point based on Expression (4).
  • FIG. 4 shows a flowchart of the chromatic adaptation conversion algorithm.
  • the transformation matrix M is expressed by Equation (5).
  • ( ⁇ SD , ⁇ SD , ⁇ SD ) and ( ⁇ D65 , ⁇ D65 , ⁇ D65 ) are obtained by the equation (6).
  • (X s , Y s , Z s ) The specific value of 5YR8 / 4 is shown in equation (8).
  • the transformation matrix M A is given by equation (7) and the Bradford transformation matrix shown in FIG.
  • step S107 when the value of the average luminance signal ybar is the first reference value Y 0 or more, that is, when it is ybar ⁇ Y 0, the process proceeds to step S108, for all the pixels of the target, X in the entire target region , Y, Z average values Xbar, Ybar, Zbar are calculated, and the process proceeds to the coordinate conversion step of step S111 described above. If the value of the average luminance signal ybar is smaller than the first reference value Y 0, that is, when it is ybar ⁇ Y 0, the process proceeds to step S109, determines the processing by the magnitude of the value of Y with further pixels .
  • step S110 the pixels satisfying Y> Y 1 during the target region X, Y, Z Average values Xbar, Ybar, and Zbar are calculated, and the process proceeds to the coordinate conversion step in step S111.
  • the chromatic adaptation conversion step is a step of obtaining an average chromaticity coordinate after the XYZ conversion step and regarding the average value of Y obtained by averaging the XYZ parameters for the pixels in the entire target region as an average luminance signal of Y.
  • an arbitrary first reference value Y 0 and a second reference value Y 1 are set, and if the value of the average luminance signal of Y is equal to or greater than the first reference value Y 0 (Yes in step S107) conditions), X in all the entire target region for the pixel of interest, Y, if the average value of Z (step S108), the value of average luminance signal Y is smaller than the first reference value Y 0 is (No condition at step S107), for larger pixels than the value a second reference value Y 1 of the Y (Yes condition in step S109), X, Y, and calculates the average value of Z, the Y The value is the second reference value Y For pixels that are 1 or less (No in step S109), the coordinate conversion step is not performed.
  • the value of the first reference value Y 0 and the second reference value Y 1 is arbitrarily set, for example, the actual images obtained from a subject as described in the Examples below, the first reference value Y 0 the value is set to 0.18, the value of the second reference value Y 1 may be 0.2.
  • the luminance signal of the pixel that is not subject to calculation is a relatively small value.
  • the first reference value Y 0 and the second reference value Y 1 is preferably determined by considering a sufficient number of cases.
  • the XYZ variable which is the tristimulus variable of the pixel of the ROI image of the nail plate or skin obtained by the RGB conversion means, is calculated based on Equation (9) as R s G s B s. Convert to variable and convert to linear RGB color space.
  • step S113 conversion to the sRGB color space is performed. That is, after performing gamma correction according to Equation (10), the corresponding RGB integer variable is calculated using Equation (11). Expressions (10) and (11) show only the R component. Similar processing is performed for the G component and the B component.
  • the diagnostic index can be obtained by the diagnostic index calculation means using the image after chromatic adaptation conversion obtained according to the above flow.
  • the calculation method of the nonpatent literature 1 and the patent document 1 which the present inventors developed can be used for the calculation method of a diagnostic parameter
  • the diagnosing step by diagnosing the diagnostic index DI value calculated by the above method as a threshold value, it is possible to diagnose whether the nail plate pigmentary line is a malignant tumor or a benign nevi. If the value of the diagnostic index DI is larger than the threshold with the threshold as a boundary, it can be determined that the initial nail melanoma is smaller, and if it is smaller than the threshold, benign nevi is determined.
  • the skin disease diagnosis apparatus can include the above-described image reading means, image processing means, diagnostic index calculation means, and diagnostic means.
  • FIG. 5 is a block diagram schematically showing an example of installing a computer program and causing the computer to function as the skin disease diagnosis apparatus of the present invention.
  • the diagnostic device 11 is realized, for example, by installing a computer program (software) 15 in a storage device 14 including, for example, an HDD (hard disk drive) in a computer 12 having a CPU (central processing unit) 13.
  • the function of the diagnostic device 11 is realized by the cooperation of the hardware resources of the computer 12 and the software of the computer program 15.
  • the computer program includes a computer program for differentiating the presence or absence of a malignant tumor, and / or a computer program for diagnosing the outcome of the subject by analyzing time-lapse data obtained from the follow-up of the same subject. It can also be included.
  • the source code of the computer program 15 may be recorded on a recording medium (not shown) readable by the computer 12.
  • the portable recording medium which recorded the computer program for diagnosing a nail plate pigment streak and a skin disease using the said analysis method can be provided.
  • the recording medium include a magnetic tape, a magnetic disk such as FD and HDD, an optical disk such as CD-ROM, MO, and DVD, and a recording medium using a semiconductor memory such as a USB memory.
  • the CPU 13 executes various arithmetic processes based on the computer program 15.
  • the computer program 15 may be taken into the storage device 14 from the above portable recording medium, or may be taken into the storage device 14 from a computer network such as a LAN (Local Area Network) or the Internet.
  • the CPU 13 and the storage device 14 are connected to each other by a bus 20, for example.
  • An input interface 17, a buffer unit 18, and an output interface 19 are further connected to the bus 20.
  • the input interface 17 functions as a kind of interface for inputting an image to the diagnostic apparatus 11, and is connected to the external memory 21.
  • the external memory 21 is, for example, a CF card, SD card, smart media, USB memory, or the like, and may be a memory mounted on an external device (not shown).
  • the buffer unit 18 is constituted by a RAM, for example, and stores an image input from the input interface 17. The stored image is used for processing in the processing system unit 16 described later in the storage device 14 connected to the buffer unit 18 via the bus 20.
  • the output interface 19 is connected to an output device 22 such as a display. Via this output interface 19, an image captured by the diagnostic device 11, a calculation result by the computer program 15, and the like are displayed on the output device 22.
  • the progression of nail melanoma is relatively slow, it is useful to follow the nail plate pigment streak.
  • the nail plate pigment streak disappeared during follow-up, although it was strongly speculated that the nail plate pigment streak was due to a malignant tumor, and it was revealed that it was not a nail plate pigment streak due to a malignant tumor It is also experienced. Therefore, in order to avoid such unnecessary treatment for the subject, in the present invention, the progress of the diagnostic index DI value calculated based on the present embodiment on the data obtained by the follow-up observation of the same subject. The observational data can be used to analyze for diagnosis of outcome.
  • the diagnostic device 11 is configured to create a graph having a time on the horizontal axis and a diagnostic index DI value on the vertical axis by the computer program 15, and display the graph on the output device 22 via the output interface 19. can do.
  • the examiner can analyze the follow-up observation of the nail plate pigment streak or the hue of the skin by looking at the graph displayed on the output device 22.
  • the output device 22 is arranged outside the diagnostic device 11. However, the output device 22 may be included in the diagnostic device 11 and integrally provided.
  • the processing system unit 16 is arranged in the storage device 14 and uses, for example, an image stored in the buffer unit 18 by arithmetic processing based on the computer program 15 to resize the image or extract the ROI of the nail plate or skin, Standardization of color balance by chromatic adaptation conversion can be performed. Extraction of the ROI of the nail plate or skin may be automatically performed using a means having an automatic extraction function using a known image recognition technique such as contour extraction or pattern recognition. Alternatively, an image is displayed on the output device 22 and extracted manually (manually) using an input device (not shown) such as a mouse via the GUI of the computer program 15, or automatically as described above. The extracted one may be manually corrected while viewing the image on the screen of the output device 22.
  • malignant tumors such as malignant melanoma (nail melanoma) and Bowen's disease occur in the nail mother, skin diseases such as lichen planus and linear lichen, endocrine abnormalities such as Addison's disease and Cushing syndrome, porphyria And metabolic disorders such as malnutrition, systematic diseases such as Poetz-Jäger syndrome and pregnancy, bacterial and fungal infections, internal use of drugs such as anticancer drugs, finger radiation therapy and UV therapy, repeated external stimulation May include lesions after the lesion is applied to the nail mother or the vicinity of the nail mother.
  • malignant tumors such as nail melanoma (nail melanoma) and Bowen's disease are preferable, and nail melanoma (nail melanoma) is more preferable.
  • a blind test was conducted.
  • the examiner extracts the nail plate from 31 JPEG images including 6 JPEG images of nail melanoma and 25 benign pigment striatum JPEG images according to the protocol described below. Based on the image of the nail plate extracted by each one, the respective diagnostic index DI values were calculated.
  • the color image of the nail plate pigment streak is a dermoscope (Derma 9500, manufactured by Derma Medical Co., Ltd.) and a digital camera (Coolpix E990, manufactured by Nico, or PowerShot A620, manufactured by Canon) or a dermoscope Images were taken using a digital video camera recorder (HDR-HC3, Sony) attached to (Dermlite II Fluid, 3Gen). As the transparent gel, KY jelly manufactured by Johnson & Johnson was used.
  • the following contents were presented to the examiner as a guideline (protocol) for extracting the nail plate.
  • the number of pixels along the short side of the JPEG image is set to 205 by resizing the size of one pixel.
  • the RGB variable of the resized pixel is interpolated using the bicubic method.
  • Only pixels belonging to the nail plate that are visible on the image are left for analysis. However, air bubbles, halation, cracks (scratches) and scratches in the gel on the nail plate are excluded.
  • the area of Hutchinson's sign is not included in the analysis.
  • step S102 extraction of the nail plate was performed manually as described above.
  • the first value of the reference value Y 0 at step S107 is 0.18
  • the value of the second reference value Y 1 at step S108 was 0.2.
  • FIG. 6 shows a black and white view of a color photograph of the nail plate pigment streak
  • (a) is a nail malignant melanoma
  • (b) and (c) are JPEG images before standardization of benign nevi color balance. is there.
  • the nail plate part is extracted by the examiner A from the images of (a), (b), and (c), respectively, and the nail plate pigment line according to the present embodiment 3 shows a color image obtained by standardizing the color balance by the strip analysis method.
  • the image in (a) has a whitish color
  • the image in (b) has a bluish color.
  • the hues of (d) and (e) differed greatly from the hues of (a) and (b), respectively, but the hue of (f) was close to the hue of (c).
  • the hues of (d), (e) and (f) were close to those seen with the naked eye.
  • FIG. 7 shows, as a comparative example, the result of calculating the diagnostic index DI value without standardizing the color balance by the nail plate pigment line analysis method according to this embodiment.
  • the diagnostic index DI value calculated by the examiners A, B, C, D, and E is 31 each.
  • “x” is the result of calculating the diagnostic index DI value from the image of the nail malignant melanoma
  • “white circle” is the result of calculating the diagnostic index DI value from the image of benign nevi.
  • the image with higher color diversity tended to increase the diagnostic index DI value.
  • the specificity when the threshold value is fixed so that the highest specificity is obtained when the sensitivity is fixed to 100%.
  • Sensitivity is the probability of correctly diagnosing early nail melanoma as positive
  • specificity is the probability of correctly diagnosing benign nevi.
  • the “threshold value” is a boundary value for diagnosing a lesion having an index value higher than that as positive and diagnosing a lesion having an index value less than that as negative.
  • Sensitivity, specificity and threshold were determined by ROC analysis (Receiver Operating Characteristic Analysis).
  • DI th 100, 92
  • the upper and lower solid lines respectively represent the threshold value giving the highest specificity obtained when the sensitivity is fixed at 100%, and the second highest specificity. It represents the threshold value that gives the degree. That is, the value of the diagnostic index DI differs depending on the examiner, the threshold value used as a reference when diagnosing whether the nail plate pigment streak is due to malignant tumor or benign nevus, and the diagnostic result based on it, The results differed depending on the examiner.
  • FIG. 8 shows the result of calculating the diagnostic index DI value after standardizing the color balance by the nail plate pigment line analysis method according to the present embodiment.
  • “x” is the result of calculating the diagnostic index DI value from the image of the nail malignant melanoma
  • “white circle” is the result of calculating the diagnostic index DI value from the image of benign nevi.
  • Table 1 shows two kinds of values of the threshold values DI th (100, 96) and DI th (100, 92) for each inspector A, B, C, D, and E.
  • each examiner A, B, C, D, and E has different thresholds, but each examiner A achieves a diagnostic result with a sensitivity of 100% and a specificity of 96%. It was possible to obtain a band of the threshold value DI th common to B, C, D and E, ie 0.0922 ⁇ DI th ⁇ 0.0947.
  • a broken line indicates a threshold band common to each examiner A, B, C, D, and E. According to the analysis method of this embodiment, this common threshold band can be applied without depending on the examiner and the imaging device.
  • the correct diagnosis rate was 96.8%.
  • the “correct diagnosis rate” is the probability of correctly diagnosing initial nail melanoma as positive and correctly diagnosing benign nevi.
  • the JPEG image or the like depends on the difference in the nail plate region extracted for analysis with respect to the diagnostic index DI and the model of the dermoscope 3 or the digital camera 4. It is possible to suppress the influence due to the variation in color balance of each model that is latent in the input color digital image. Therefore, according to the analysis method of this embodiment, even an inexperienced examiner can diagnose whether the subject's nail plate pigment streak is due to a malignant tumor.
  • this invention can carry out various deformation
  • an example of the computer 12 is shown as the diagnostic device 11, but the processing can also be performed by a tablet terminal, a smartphone, or the like. Further, the configuration of the computer 12 as the diagnostic device 11 is not limited to the configuration of FIG.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Dermatology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

色バランスの標準化によりダーモスコピー画像の色合いのばらつきを補正し、撮影デバイスや検査者に依存することなく、爪甲色素線条が悪性腫瘍によるか良性母斑によるかを診断することができる解析方法と診断装置、および、コンピュータを当該診断装置として機能させるコンピュータプログラムを提供する。 被験者の爪甲色素線条または皮膚の被験部位のカラー画像をディジタルカラー画像として読み込む画像読込ステップと、ディジタルカラー画像の全体のサイズを画素サイズ変換を用いて所定の大きさに変換する画像サイズ変換ステップ、および、前記ディジタルカラー画像より診断に必要な関心領域(ROI:Region of Interest)を抽出するROI抽出ステップを含む画像加工ステップと、ディジタルカラー画像のデータの色バランス調整を色順応変換によって行う色順応変換ステップと、色順応変換後の画像を用いて診断指標DI値を求める診断指標算出ステップとを含む構成とした。

Description

皮膚疾患の診断のための爪甲色素線条または皮膚の色相の解析方法、診断装置およびコンピュータプログラム
 本発明は、皮膚疾患の診断のための爪甲色素線条または皮膚の色相の解析方法、当該解析方法を使用した診断装置、および、コンピュータを当該診断装置として機能させるコンピュータプログラムに関する。
 爪甲色素線条は、爪の甲の根元から縦方向に、黒色や褐色の線状、または帯状の色素沈着が生じた状態であり、爪母や爪母付近に何らかの病変があると、まず爪の甲の根元の表面に爪甲色素線条が現れ、爪が伸びるのに伴って、その直線状の色素沈着が次第に爪の先端へと移行する。原因となる代表的病変としては、メラニンが増加した色素性母斑があり、爪母に色素性母斑が生じた後に、爪に爪甲色素線条が現れる。また、良性の皮膚腫瘍、爪部悪性黒色腫(爪部メラノーマ)やボーエン病など悪性の皮膚腫瘍が爪母に生じた後にも、爪に爪甲色素線条が、皮膚の色素が変化する前の早期段階の症状による変化として現れる。また、扁平苔癬、線状苔癬等の皮膚疾患、アジソン病、クッシング症候群等の内分泌異常、ポルフィリン症や栄養失調等の代謝異常、ポイツ・イエーガー症候群や妊娠などの全身疾患、細菌や真菌の感染症、抗がん剤等の薬剤の内服、手指への放射線治療や紫外線療法、外的刺激の反復により爪母や爪母付近に病変を及ぼした後にも、爪に爪甲色素線条が現れる。さらに、エリテマトーデス等の自己免疫性の皮膚疾患は、赤色を帯びた皮膚の症状を示す。
 爪部悪性黒色腫は爪部メラノーマとも呼ばれ、爪母に存在するメラノサイトががん化して発症する。爪部悪性黒色腫の初期段階で診断できれば、例えば5年後の生存率を高めたり、10年以内の再発を防ぐことが期待される。メラノサイトががん化していない場合には、良性母斑とみなされる。爪部悪性黒色腫であるか良性母斑であるかは、爪甲色素線条のパターンから診断できると考えられている。しかしながら、ダーモスコープを用いて爪甲色素線条を目視したり、爪甲色素線条のカラー画像であるダーモスコピー画像を見ることにより、爪甲色素線条が悪性腫瘍(爪部悪性黒色腫)によるか、または、良性腫瘍(良性母斑)によるかを診断するには、臨床における鑑別基準が確立されていないため、検査者が相当の経験を積む必要がある。そのため、爪甲色素線条が悪性腫瘍または良性腫瘍によるかを非侵襲で且つ客観的に診断する爪甲色素線条の解析方法や爪甲色素線条が関連する疾患の診断方法の実現が、臨床現場から強く要求されていた。さらに、悪性黒色腫の病態が進展すれば、爪甲だけではなく皮膚の色からも悪性黒色腫が診断できるため、悪性黒色腫を皮膚により診断するための解析方法の実現も要求されていた。
 本発明者らは、このような要求に対し、爪甲色素線条のダーモスコピー画像内における各画素のRGB変数値を、RGB空間の3次元ベクトルとみなし、その緯度変数と経度変数から診断指標DI(Discrimination Index)値を求め、当該診断指標DI値を閾値を境界として区別することにより、爪甲色素線条が悪性腫瘍または良性腫瘍によるかを非侵襲で且つ客観的に診断する診断装置を開発した(例えば、非特許文献1および特許文献1)。
Koga, H., Yoshikawa, S., Sekiguchi, A., et al., Automated evaluation system of dermoscopic images of longitudinal melanonychia: Proposition of a discrimination index for detecting early nail apparatus melanoma, J. Dermatol. 2014; 41: 867-871.
特許第5600426号公報
 非特許文献1および特許文献1に記載の診断装置では、診断指標DIが、解析のために抽出された爪甲部の領域の相違、および、JPEG画像等の入力されるカラーディジタル画像に潜在する、撮影デバイスに起因する色バランスのばらつきに影響されることが考えられた。
 抽出される爪甲部の領域の違いについては、選択および抽出のルールを予め定めたとしても、検査者による相違は避けられない。
 JPEG画像等の入力されるカラー画像のRGB変数の色バランスは、ダーモスコープの照明装置が機種ごとに異なり、撮影用カメラは製造者独自の画像処理エンジンを有することから、それらの撮影デバイスに依存する可能性があると考えられる。
 以上のことから、診断指標DIを計算する対象のJPEG画像に含まれるRGB変数について、何らかの方法の使用による標準化を行うことが好ましいと考えられる。
 本発明は、このような事情に鑑みてなされたものであり、色バランスの標準化によりダーモスコピー画像の色合いを補正し、検査者や撮影デバイスに依存することなく、爪甲色素線条が悪性腫瘍によるかを解析、または、診断することができる解析方法または診断方法と診断装置、および、コンピュータを当該診断装置として機能させるコンピュータプログラムを提供する。
 本発明はかかる課題を解決するため、被験者の爪甲色素線条または皮膚の被験部位のカラー画像をディジタルカラー画像として読み込む画像読込ステップと、前記ディジタルカラー画像の全体のサイズを画素サイズ変換を用いて所定の大きさに変換する画像サイズ変換ステップ、および、前記ディジタルカラー画像より診断に必要な関心領域(ROI:Region of Interest)を抽出するROI抽出ステップを含む画像加工ステップと、前記ディジタルカラー画像のデータの色バランス調整を色順応変換によって行う色順応変換ステップと、色順応変換後の画像を用いて診断指標を求める診断指標算出ステップとを含む、爪部悪性腫瘍の診断、悪性黒色腫等の皮膚がんの皮膚での診断、または自己免疫性皮膚疾患の診断を行うための、または、これらの診断用のデータを取得するための、爪甲色素線条および皮膚の色相の解析方法を提供する。
 前記爪甲色素線条および皮膚の色相の解析方法は、さらに、前記診断指標を閾値として疾患の有無を鑑別するステップを含む場合がある。
 前記爪甲色素線条および皮膚の色相の解析方法は、転帰を診断するために同一被験者における前記診断指標の経過観察のデータを用いて前記爪甲色素線条または前記皮膚の色相の経時変化を解析するステップを含む場合がある。
 前記爪甲色素線条および皮膚の色相の解析方法において、色順応変換ステップは、デガンマ処理によって得られる線形RGB色空間をXYZ色空間へ変換するXYZ変換ステップと、前記XYZ色空間で表現された画像内における各画素のXYZパラメータから求めた平均色度座標を基準座標に変換する座標変換ステップと、XYZ色空間を線形RGB色空間へ変換した後にガンマ処理を行うRGB変換ステップとを含む場合がある。
 前記爪甲色素線条および皮膚の色相の解析方法において、前記色順応変換ステップは、前記XYZ変換ステップ後に前記平均色度座標を求めるステップとして、対象領域全体の画素について、前記XYZパラメータを平均化して得たYの平均値をYの平均輝度信号とみなすステップと、任意の第1基準値および第2基準値を設定するステップとを含み、前記Yの平均輝度信号の値が前記第1基準値以上である場合には、対象の画素の全てについて対象領域全体でのX、Y、Zの平均値を算出し、前記Yの平均輝度信号の値が前記第1基準値よりも小さい場合には、Yの値が前記第2基準値よりも大きい画素に対しては、X、Y、Zの平均値を算出し、Yの値が前記第2基準値以下である画素に対しては、前記座標変換ステップを行わない場合がある。
 本発明に係る爪甲色素線条および皮膚の色相の解析方法において、前記爪部悪性腫瘍、前記皮膚部の悪性黒色腫または前記自己免疫性皮膚疾患が、それぞれ初期段階の爪部悪性腫瘍、皮膚部の悪性黒色腫または自己免疫性皮膚疾患である場合がある。
 本発明に係る爪甲色素線条および皮膚の色相の解析方法において、前記爪部悪性腫瘍は爪部悪性黒色腫またはボーエン病から選択され、前記自己免疫性皮膚疾患がエリテマトーデス、皮膚筋炎および強皮症を含む膠原病である場合がある。
 また、本発明は、被験者の爪甲色素線条または皮膚の被験部位のカラー画像をディジタルカラー画像として読み込む画像読込ステップと、前記ディジタルカラー画像の全体のサイズを画素サイズ変換を用いて所定の大きさに変換する画像サイズ変換ステップ、および、前記ディジタルカラー画像より診断に必要な関心領域(ROI:Region of Interest)を抽出するROI抽出ステップを含む画像加工ステップと、前記ディジタルカラー画像のデータの色バランス調整を色順応変換によって行う色順応変換ステップと、色順応変換後の画像を用いて診断指標を求める診断指標算出ステップとを含む、爪部悪性腫瘍の診断、悪性黒色腫等の皮膚がんの皮膚での診断、または自己免疫性皮膚疾患の診断を行うための診断方法を提供する。
 前記診断方法において、さらに、前記診断指標を閾値として疾患の有無を鑑別するステップを含む場合がある。
 前記診断方法において、転帰を診断するために同一被験者における前記診断指標の経過観察のデータを用いて前記爪甲色素線条または皮膚の色相の経時変化を解析するステップを含む場合がある。
 前記診断方法において、前記色順応変換ステップは、デガンマ処理によって得られる線形RGB色空間をXYZ色空間へ変換するXYZ変換ステップと、前記XYZ色空間で表現された画像内における各画素のXYZパラメータから求めた平均色度座標を基準座標に変換する座標変換ステップと、XYZ色空間を線形RGB色空間へ変換した後にガンマ処理を行うRGB変換ステップとを含む場合がある。
 前記診断方法において、前記色順応変換ステップは、前記XYZ変換ステップ後に前記平均色度座標を求めるステップとして、対象領域全体の画素について、前記XYZパラメータを平均化して得たYの平均値をYの平均輝度信号とみなすステップと、任意の第1基準値および第2基準値を設定するステップとを含み、前記Yの平均輝度信号の値が前記第1基準値以上である場合には、対象の画素の全てについて対象領域全体でのX、Y、Zの平均値を算出し、前記Yの平均輝度信号の値が前記第1基準値よりも小さい場合には、Yの値が前記第2基準値よりも大きい画素に対しては、X、Y、Zの平均値を算出し、Yの値が前記第2基準値以下である画素に対しては、前記座標変換ステップを行わない場合がある。
 本発明に係る被験者の皮膚疾患の診断方法において、前記爪部悪性腫瘍、前記皮膚部の悪性黒色腫または前記自己免疫性皮膚疾患が、それぞれ初期段階の爪部悪性腫瘍、皮膚部の悪性黒色腫または自己免疫性皮膚疾患である場合がある。
 本発明に係る被験者の皮膚疾患の診断方法において、前記爪部悪性腫瘍は爪部悪性黒色腫またはボーエン病から選択され、前記自己免疫性皮膚疾患がエリテマトーデス、皮膚筋炎および強皮症を含む膠原病である場合がある。
 また、本発明の解析方法または診断方法において、診断が被験者の悪性腫瘍の有無の鑑別である場合がある。
 また、本発明の解析方法または診断方法において、前記診断方法は、転帰を診断するために同一被験者における前記診断指標の経過観察のデータを用いて前記爪甲色素線条または前記皮膚の色相の経時変化を解析するステップを含む場合がある。
 本発明は、被験者の爪甲色素線条または皮膚の被験部位のカラー画像をディジタルカラー画像として読み込む画像読込手段と、前記ディジタルカラー画像の全体のサイズを画素サイズ変換を用いて所定の大きさに変換する画像サイズ変換手段、および、前記ディジタルカラー画像より診断に必要な関心領域(ROI:Region of Interest)を抽出するROI抽出手段を備える画像加工手段と、前記ディジタルカラー画像のデータの色バランス調整を色順応変換によって行う色順応変換手段と、色順応変換後の画像を用いて診断指標を求める診断指標算出手段とを備える、爪部悪性腫瘍の診断、悪性黒色腫等の皮膚がんの皮膚での診断、または自己免疫性皮膚疾患の診断を行うための診断装置を提供する。
 本発明に係る爪部悪性腫瘍の診断、悪性黒色腫等の皮膚がんの皮膚での診断、または自己免疫性皮膚疾患の診断を行うための診断装置は、さらに、前記診断指標を閾値として区別することにより、爪甲色素線状が悪性腫瘍か良性母斑によるかを診断する診断手段を備える場合がある。
 本発明に係る爪部悪性腫瘍の診断、悪性黒色腫等の皮膚がんの皮膚での診断、または自己免疫性皮膚疾患の診断を行うための診断装置は、転帰を診断するために同一被験者における前記診断指標の経過観察のデータを用いて前記爪甲色素線条または皮膚の色相の経時変化を解析し、診断する診断手段を備える場合がある。
 前記診断装置において、前記色順応変換手段は、デガンマ処理手段によって得られる線形RGB色空間をXYZ色空間へ変換するXYZ変換手段と、前記XYZ色空間で表現された画像内における各画素のXYZパラメータから求めた平均色度座標を基準座標に変換する座標変換手段と、XYZ色空間を線形RGB色空間へ変換した後にガンマ処理を行うRGB変換手段とを備える場合がある。
 前記診断装置において、前記色順応変換手段は、線形RGB色空間をXYZ色空間へ変換した後に前記平均色度座標を求める手段として、対象領域全体の画素について、前記XYZパラメータを平均化して得たYの平均値をYの平均輝度信号とみなす手段と、任意の第1基準値および第2基準値を設定する手段とを備え、前記Yの平均輝度信号の値が前記第1基準値以上である場合には、対象の画素の全てについて対象領域全体でのX、Y、Zの平均値を算出し、前記Yの平均輝度信号の値が前記第1基準値よりも小さい場合には、Yの値が前記第2基準値よりも大きい画素に対しては、X、Y、Zの平均値を算出し、Yの値が前記第2基準値以下である画素に対しては、平均色度座標を基準座標に変換しない場合がある。
 前記爪部悪性腫瘍は爪部悪性黒色腫またはボーエン病から選択され、前記自己免疫性皮膚疾患がエリテマトーデス、皮膚筋炎および強皮症を含む膠原病である場合がある。
 本発明は、コンピュータを、上記の皮膚疾患の診断装置として機能させるコンピュータプログラムを提供する。
 前記コンピュータプログラムは、さらに、鑑別診断のために悪性腫瘍の有無を鑑別するためのコンピュータプログラム、及び/又は、被験者の転帰を診断するために、同一被験者における経時変化を解析するコンピュータプログラムを含む場合がある。
 本発明の皮膚疾患を診断するための解析方法と診断装置、および、コンピュータを当該診断装置として機能させるコンピュータプログラムによれば、診断指標DIが撮影デバイスや検査者に依存して大きく相違することなく、経験の浅い検査者でも爪甲色素線条が悪性腫瘍によるか良性腫瘍によるかを診断することができる。
本発明に係る爪甲色素線条および皮膚の色相の解析方法の手順を示すフロー図である。 同上、ダーモスコープおよびディジタルカメラを用いて爪甲色素線条を撮影する一例を示す概略図である。 同上、色順応変換による色バランスの標準化について模式的に示した略図である。 同上、色順応変換アルゴリズムの手順を示すフロー図である。 同上、コンピュータプログラムをインストールして、コンピュータを本発明の爪甲色素線条および皮膚疾患の診断装置として機能させる一例を概略的に示すブロック図である。 爪甲色素線条の原図がカラー写真の図を示すものであり、(a)は爪部悪性黒色腫、(b)および(c)は良性母斑の色バランス標準化前のJPEG画像であり、(d)、(e)および(f)は、それぞれ、(a)、(b)および(c)の画像から、検査者Aにより爪甲部が抽出され、本発明に係る爪甲色素線条の解析方法により色バランスの標準化を行って得られたカラー画像を示すものである。 本発明に係る爪甲色素線条の解析方法による色バランスの標準化を行わずに診断指標DI値を算出した結果を比較例として示す図である。 本発明に係る爪甲色素線条の解析方法による色バランスの標準化を行った後に診断指標DI値を算出した結果を示す図である。
 以下、図面を参照して、本発明の爪甲色素線条および皮膚の色相の解析方法と診断装置、および、コンピュータを当該診断装置として機能させるコンピュータプログラムの好ましい実施形態について説明する。
 爪甲色素線条は、メラニンが増加した色素性母斑、良性の皮膚腫瘍、爪部悪性黒色腫(爪部メラノーマ)やボーエン病など悪性の皮膚腫瘍が爪母に生じた後、扁平苔癬、線状苔癬等の皮膚疾患、アジソン病、クッシング症候群等の内分泌異常、ポルフィリン症や栄養失調等の代謝異常、ポイツ・イエーガー症候群や妊娠などの全身疾患、細菌や真菌の感染症、抗がん剤等の薬剤の内服、手指への放射線治療や紫外線療法、外的刺激の反復により爪母や爪母付近に病変を及ぼした後にも、爪に現れる。また、爪甲悪性腫瘍の病態が進展すると、爪甲だけでなく皮膚の色にも変化が現れる。その他、本発明の解析方法の対象として自己免疫性皮膚疾患が含まれ、当該自己免疫性皮膚疾患は、例えばエリテマトーデス、皮膚筋炎および強皮症を含む膠原病とすることができる。
 本明細書において、「被験者」とは、本発明の爪甲色素線条および皮膚の色相の解析方法を用いる限りその対象となる者をいい、すなわち、悪性腫瘍等に起因する爪甲色素線条を有する患者に限定されず、良性の爪甲色素線条を有する健常者も含まれる。また、男性又は女性、及び、成人、小児、高齢者又は老齢者のいずれも含まれる。
 そこで、本発明の爪甲色素線条および皮膚の色相の解析方法の例としては、図1に示すフロー図に従って実行される。尚、本実施形態におけるROIは、本実施形態で画像を解析する際に、色順応変換等の処理をして解析対象とする爪甲部または皮膚の画像の領域である。
 ステップS101の画像読込ステップで、画像読込手段により、爪甲色素線状または皮膚の被験部位のカラー画像をディジタルカラー画像として読み込む。図2に、当該カラー画像を取得するための装置および写真撮影の様子を示す。撮影対象の爪1の中には黒色腫2が存在する。黒色腫2には、爪部悪性腫瘍が含まれ、本実施形態の診断対象としては、初期段階の爪部悪性腫瘍とすることができる。また、爪部悪性腫瘍は、爪部悪性黒色腫またはボーエン病から選択される。爪1の表面にダーモスコープ3を押し当てて、ダーモスコープ3に取付けられたディジタルカメラ4を用いて、JPEG形式のカラー画像を取得する。爪1の表面には図示しない透明のジェルを塗布することが好ましい。透明ジェルを塗布することで、照明光を有効に爪甲に取り入れることができ、鮮明な画像が得られるためである。また、プリントされたカラー写真をディジタルカメラ4で撮影し、ディジタルカラー画像を取得してもよい。ディジタルカメラ4を使用して撮影した場合、カラー画像は、カラー画像がディジタルカラー画像として記録された、例えばSDカード等を介して読み込むことができる。
 ステップS102の画像加工ステップで、画像加工手段により、ディジタルカラー画像の画像サイズ変換(画像のリサイズ)および爪甲部または皮膚の画像よりROIの抽出が行われる。画像加工ステップは、画像サイズ変換手段により、一画素の大きさを調整して、画像の短辺の画素数を所定値にし、画像の全体のサイズを画素サイズ変換を用いて所定の大きさに変換する画像サイズ変換ステップを含んでもよい。この画像サイズ変換により、処理を行うディジタルカラー画像の縦横のサイズを所定の大きさに設定することができる。大きさを変更された画素のRGB変数は、例えばバイキュービック法を用いて補間される。画像加工ステップはさらに、ROI抽出手段により、ディジタルカラー画像より診断に必要なROIを抽出するROI抽出ステップを含むことができる。ROI抽出ステップでは、爪甲部のROIを抽出する場合には、画像上に見えている爪甲に属する画素だけを解析用途に残す。この際、爪甲上の透明ジェルに含まれる気泡や、ハレーション、かけ(割れ)、ひっかきキズ等を除く。また、ハッチンソン徴候の領域も除く。
 その後、ステップS102で画像サイズ変換および爪甲部または皮膚のROIの抽出が行われた画像を用いて、爪甲部または皮膚のROIに含まれるRGB変数の色順応変換による色バランスの標準化を行う。色順応変換による色バランスの標準化とは、検査で使用される装置に依存して変化する照明光の分光分布等の種々の条件の下で得られたディジタルカラー画像において、所定の画素の平均色度座標を、予め設定した基準となる色度座標に変換することで標準に合わせ、白色の見え方が一定になるように調整することをいう。まず、当該標準化の概略について説明する。JPEG画像に含まれるRGB変数の色バランスは、写真の状態だけでなく、検査で使用される装置に依存して変化する相関色温度によって決定される。相関色温度は、与えられたJPEG画像を用いて平均化された三刺激変数(Xbar、Ybar、Zbar)から計算される色度座標(xbar、ybar)を使用して求めることができる。ここで、XYZ変数は、後述するような操作で、各画素のRGB変数から得ることができる。したがって、RGB変数の色バランスは、与えられたJPEG画像の色度座標(xbar、ybar)に依存する。
 標準色域を備えるディジタルカメラでは、信号処理は国際標準IEC 61966-2-1に従う(International standard, IEC 61966-2-1: Multimedia systems and equipment-Colour measurement and management-Part 2-1: Colour management-Default RGB colour spaces-sRGB, 1999)。この国際標準では、規定の色管理デフォルトのRGB空間であるsRGBが定義される。その白色点は、(Xn、Yn、ZnD65を介して算出される(xn、ynD65=(0.3127、0.3290)の色度座標によって定義される。ここで、標準光源のD65のスペクトルデータおよびCIE 1931標準表色系のカラーマッチング関数が使用され、波長はλ=380~780nmの範囲において5nm間隔とされる。また、xn+yn+zn=1である。
 本実施形態において、RGBの色バランスの標準化は、診断指標DI値を算出する前に、色順応変換に基づいて行われる。図3は、色順応変換による色バランスの標準化について模式的に示した略図である。図中、「R」、「G」および「B」はそれぞれ、xy色度座標における赤色、緑色および青色の境界付近を示す。爪甲は、基本的にメラニン色素を含まないため人種に依存しない。したがって、例えば、標準光源D65の下での白色人種の肌反射スペクトル(JIS Z 8726)を使用して計算された(xs、ys5YR8/4=(0.3744、0.3631)を標準色度座標として基準座標に設定することができる。対応する三刺激変数(Xs、Ys、Zs5YR8/4は、標準光源D65のスペクトルデータ、JIS Z 8726に基づく標準光源D65の下での白色人種の反射スペクトル、および、CIE 1931標準表色系のカラーマッチング関数を使用して求めることができる。具体的な(Xs、Ys、Zs5YR8/4の値は式(8)に示す。下付き文字「5YR8/4」は、色見本に対応するマンセル記号である。下付き文字「s」は標準を意味する。各JPEG画像において、RGB変数は、診断指標DIを計算する前に、解析対象の色度座標(xbar、ybar)を基準座標(xs、ys5YR8/4に変換する変換行列を使用して再評価される。図3中、「黒丸」は色度座標(xbar、ybar)、「×」は基準座標(xs、ys5YR8/4を示す。尚、基準座標は例えば被験者の人種等によって適宜変更することができる。例えば、皮膚での診断、特に膠原病等の自己免疫性皮膚疾患の診断に使用する場合には、基準座標を人種によって変更することが好ましい。この場合、マンセル記号を用いれば、JIS等の各国の規格に依存することなく基準座標を設定できる。
 図1に示すフロー図に戻って説明する。ステップS103では、R=G=B=0の画素を排除する。
 ステップS104~S113は、色順応変換手段により、ディジタルカラー画像のデータの色バランス調整を行う色順応変換ステップである。色順応変換ステップは、XYZ変換手段により、デガンマ処理によって得られる線形RGB色空間をXYZ色空間へ変換するXYZ変換ステップと、座標変換手段により、XYZ色空間で表現された画像内における各画素のXYZパラメータから求めた平均色度座標を基準座標に変換する座標変換ステップと、RGB変換手段によりXYZ色空間を線形RGB色空間へ変換した後にガンマ処理を行うRGB変換ステップとを含むことができる。
 ステップS104では、デガンマ処理によって線形RGB色空間への変換が行われる。まず、対象とする爪甲部の画像の画素における8ビットのRGB整数変数を、式(1)に基づきR’G’B’実変数に戻す。R’G’B’変数は、デガンマ補正を使用して、対応する線形化したR変数に逆変換される。R変数は標準線形色空間sRGB内の変数である。R成分のデガンマ補正の処理について式(2)に示す。G成分およびB成分についても同様の処理が行われる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
 ステップS105のXYZ変換ステップでは、XYZ変換手段により、sRGB色空間内のR変数が、式(3)に基づき、対応する三刺激変数、すなわちXYZ色空間内のXYZ変数に変換される。式(3)は、白色点D65を仮定して導かれる。三刺激変数は対象の画素について平均化され、(Xbar、Ybar、Zbar)D65が得られる。ステップS106に示すように、YbarをYの平均輝度信号とみなし、Ybarの値によって以後の処理を決定する。
Figure JPOXMLDOC01-appb-M000003
 先にステップS111の座標変換ステップについて説明する。ステップS111では、座標変換手段により、式(4)に基づき、基準座標を基準点とした色順応変換アルゴリズムが実行される。図4に色順応変換アルゴリズムのフロー図を示す。ここで、変換行列Mは式(5)で表される。(ρSD、γSD、βSD)および(ρD65、γD65、βD65)は、式(6)により求める。(Xs、Ys、Zs5YR8/4の具体的な値を式(8)に示す。変換行列Mは、式(7)および図4に示すブラッドフォード変換行列により与えられると仮定する。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
 ステップS107に戻って説明する。ステップS107では、平均輝度信号Ybarの値が第1基準値Y以上である場合、すなわちYbar≧Yである場合に、ステップS108に進み、対象の画素の全てについて、対象領域全体でのX、Y、Zの平均値Xbar、Ybar、Zbarが算出され、上記のステップS111の座標変換ステップによる処理に進められる。平均輝度信号Ybarの値が第1基準値Yよりも小さい場合、すなわちYbar<Yである場合には、ステップS109に進み、さらに各画素が持つYの値の大きさにより処理を決定する。すなわち、Yの値が第2基準値Yよりも大きい場合、すなわちY>Yである場合、上記のステップS110に進み、対象領域中においてY>Yを満たす画素のX、Y、Zの平均値Xbar、Ybar、Zbarが算出され、上記のステップS111の座標変換ステップによる処理に進められる。Yの値が第2基準値Y以下である画素、すなわちY≦Yである画素は、ステップS111の座標変換処理は行わず、直接(X、Y、Z)5YR8/4=(X、Y、Z)D65とされ、ステップS112に進められる。
 すなわち、色順応変換ステップは、XYZ変換ステップ後に平均色度座標を求めるステップとして、対象領域全体の画素について、XYZパラメータを平均化して得たYの平均値をYの平均輝度信号とみなすステップと、任意の第1基準値Yおよび第2基準値Yを設定するステップとを含み、Yの平均輝度信号の値が第1基準値Y以上である場合には(ステップS107でYesの条件)、対象の画素の全てについて対象領域全体でのX、Y、Zの平均値を算出し(ステップS108)、Yの平均輝度信号の値が第1基準値Yよりも小さい場合には(ステップS107でNoの条件)、Yの値が第2基準値Yよりも大きい画素に対しては(ステップS109でYesの条件)、X、Y、Zの平均値を算出し、Yの値が第2基準値Y以下である画素に対しては(ステップS109でNoの条件)、座標変換ステップを行わない。
 第1基準値Yおよび第2基準値Yの値は任意に設定することができるが、例えば、下記の実施例に記載する被験者から得た実際の画像により、第1基準値Yの値は0.18とし、第2基準値Yの値は0.2とすることができる。爪甲の場合、黒色に近くて暗い画素は、ノイズが大きいため色順応変換を行うことによりノイズ成分を増大させてしまうことがある。したがって、爪甲の場合には、計算対象外となる画素の輝度信号は比較的小さい値となる。このように輝度信号が所定の値以下の画素を排除することで、計算対象の情報量を減らして解析の演算速度を向上することができる。さらに、診断のために必要な色を十分に引き出すことができる。これら第1基準値Yおよび第2基準値Yは、十分な数の症例を検討して決定することが好ましい。
 ステップS112のRGB変換ステップにおいて、RGB変換手段により、得られた爪甲部または皮膚のROIの画像の画素の三刺激変数であるXYZ変数を、式(9)に基づき、R変数に変換し、線形RGB色空間への変換を行う。さらに、ステップS113において、sRGB色空間への変換を行う。すなわち、式(10)によりガンマ補正を行った後、対応するRGB整数変数が、式(11)を用いて計算される。式(10)および式(11)はR成分のみ示している。G成分およびB成分についても同様の処理が行われる。
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
 数式(2)のデガンマ補正および数式(10)のガンマ補正に関しては、例えば以下の文献を参照できる。
 International standard, IEC 61966-2-1: Multimedia systems and equipment-Colour measurement and management-Part 2-1: Colour management-Default RGB colour spaces-sRGB, 1999.
 数式(3)の線形RGB色空間からXYZ色空間への変換、および、数式(9)のXYZ色空間から線形RGB色空間への変換に関しては、例えば以下の文献を参照できる。
1.International standard, IEC 61966-2-1: Multimedia systems and equipment-Colour measurement and management-Part 2-1: Colour management-Default RGB colour spaces-sRGB, 1999.
2.International recommendation, ITU-R BT. 709-7: Parameter values for the HDTV standards for production and international programme exchange, 2002.
 ステップS114の診断指標算出ステップにおいて、診断指標算出手段により、上記のフローに従って得られた色順応変換後の画像を用いて診断指標を求めることができる。診断指標の算出方法は、本発明者らが開発した非特許文献1および特許文献1に記載の算出方法を用いることができる。簡潔に説明すると、爪甲色素線条のダーモスコピー画像内における各画素のRGB変数値を、RGB空間の3次元ベクトルとみなし、その緯度変数θと経度変数φから、式(12)を用いて診断指標DI値を求める。
Figure JPOXMLDOC01-appb-M000012
 診断ステップにおいて、診断手段により、上記方法で算出した診断指標DI値を閾値として区別することで、爪甲色素線状が悪性腫瘍か良性母斑かを診断することができる。診断指標DIの値が、閾値を境界として、閾値よりも大きければ初期の爪部悪性黒色腫、閾値よりも小さければ良性母斑と判断することができる。
 本実施形態に係る皮膚疾患の診断装置は、上記の画像読込手段と、画像加工手段と、診断指標算出手段と、診断手段とを備えることができる。
 図5は、コンピュータプログラムをインストールして、コンピュータを本発明の皮膚疾患の診断装置として機能させる一例を概略的に示すブロック図である。当該診断装置11は、例えばCPU(中央演算装置)13を有するコンピュータ12において、例えばHDD(ハードディスク駆動装置)からなる記憶装置14に、コンピュータプログラム(ソフトウェア)15をインストールすることによって実現される。診断装置11の機能は、コンピュータ12のハードウェア資源とコンピュータプログラム15のソフトウェアとが協働して実現される。前記コンピュータプログラムには、悪性腫瘍の有無を鑑別するためのコンピュータプログラム、及び/又は、同一被験者の経過観察から得られる経時変化のデータを解析し、その被験者の転帰を診断するためのコンピュータプログラムを含めることもできる。
 コンピュータプログラム15のソースコードを、コンピュータ12で読み取り可能な記録媒体(図示せず)に記録する構成とすることもできる。これにより、上記解析方法を用いて爪甲色素線条および皮膚疾患の診断を行うためのコンピュータプログラムを記録した、持ち運び自在な記録媒体を提供することができる。記録媒体としては、例えば、磁気テープ、または、FDやHDD等の磁気ディスク、CD-ROMやMO、DVD等の光ディスク、USBメモリ等の半導体メモリを用いた記録媒体等が挙げられる。
 CPU13は、コンピュータプログラム15に基づき様々な演算処理を実行する。コンピュータプログラム15は、上記の可搬性の記録媒体から記憶装置14に取り込まれてもよく、LAN(Local Area Network)やインターネットといったコンピュータネットワークから記憶装置14に取り込まれてもよい。CPU13と記憶装置14とは例えばバス20で相互に接続される。バス20には、さらに入力インターフェース17、バッファ部18および出力インターフェース19が接続される。
 入力インターフェース17は、画像を診断装置11に入力する一種のインターフェースとして機能するものであり、外部メモリ21に接続される。外部メモリ21は、例えばCFカードやSDカード、スマートメディア、USBメモリ等であり、その他、図示しない外部機器に搭載されるメモリ等であってもよい。
 バッファ部18は例えばRAMにより構成され、入力インターフェース17から入力された画像を格納する。格納された画像は、バス20を介してバッファ部18と接続された記憶装置14内の後述する処理システム部16での処理に使用される。
 出力インターフェース19は、例えばディスプレイ等の出力装置22に接続される。この出力インターフェース19を介して、診断装置11に取り込まれた画像や、コンピュータプログラム15による演算結果等が、出力装置22に表示される。
 また、例えば爪部メラノーマは進行が比較的遅いため、爪甲色素線条の経過観察を行うことが有用である。特に、小児被験者において、爪甲色素線条が悪性腫瘍によると強く推測されたにも関わらず、経過観察で爪甲色素線条が消失し、悪性腫瘍による爪甲色素線条ではなかったと判明することも経験される。そこで、このような被験者に対して本来不必要な施術を回避するために、本発明では、同一被験者の経過観察によって取得したデータに対して、本実施形態に基づき算出した診断指標DI値の経過観察のデータを用いて、転帰の診断のための解析を行うことができる。診断装置11では、コンピュータプログラム15により、例えば、横軸に時間、縦軸に診断指標DI値をとるグラフを作成し、出力インターフェース19を介して、出力装置22に当該グラフを表示するように構成することができる。検査者は、出力装置22に表示されたグラフを見て、爪甲色素線条または皮膚の色相の経過観察の解析を行うことができる。
 尚、図5では、出力装置22を診断装置11の外部に配置しているが、これを診断装置11に含め、一体として設けてもよい。
 処理システム部16は、記憶装置14内に配置され、例えばコンピュータプログラム15に基づく演算処理により、バッファ部18に格納された画像を用いて、画像のリサイズや爪甲部または皮膚のROIの抽出、色順応変換による色バランスの標準化等を行うことができる。爪甲部または皮膚のROIの抽出は、輪郭抽出やパターン認識といった周知の画像認識技術を利用した自動抽出機能を備える手段を用いて自動で行ってもよい。または、画像を出力装置22に表示し、コンピュータプログラム15のGUIを介して、マウス等の入力装置(図示せず)を用いて手動(マニュアル)で抽出したり、あるいは上記のようにして自動で抽出したものを、出力装置22の画面上で画像を見ながら手動で修正してもよい。
 上記爪部悪性腫瘍の診断のための、若しくは、爪部悪性腫瘍の診断用のデータ取得のための爪甲色素線条の解析または爪部悪性腫瘍の診断の対象疾患の例としては、爪部悪性黒色腫(爪部メラノーマ)やボーエン病など悪性の腫瘍が爪母に生じた後の病変、扁平苔癬、線状苔癬等の皮膚疾患、アジソン病、クッシング症候群等の内分泌異常、ポルフィリン症や栄養失調等の代謝異常、ポイツ・イエーガー症候群や妊娠などの全身疾患、細菌や真菌の感染症、抗がん剤等の薬剤の内服、手指への放射線治療や紫外線療法、外的刺激の反復により爪母や爪母付近に病変を及ぼした後の病変等が挙げられる。これらの中で、爪部悪性黒色腫(爪部メラノーマ)やボーエン病など悪性の腫瘍が好ましく、爪部悪性黒色腫(爪部メラノーマ)がより好ましい。
 本明細書において言及される全ての文献はその全体が引用により本明細書に取り込まれる。ここに記述される実施例は本発明の実施形態を例示するものであり、本発明の範囲を限定するものとして解釈されるべきではない。
 抽出された爪甲部の領域の相違に対する診断指標DIの診断性能の相違を評価するために、盲検試験を実施した。A、B、C、DおよびEの5人の検査者が盲検試験を実施した。検査者は、それぞれ後述するプロトコルに従って、6枚の爪部悪性黒色腫のJPEG画像と25枚の良性の爪甲色素線条のJPEG画像とを含む31枚のJPEG画像から爪甲部を抽出し、各自が抽出した爪甲部の画像に基づき、それぞれの診断指標DI値の計算を行った。
 爪甲色素線条のカラー画像は、ダーモスコープ(Derma 9500、デルマ医療(資)製)に、ディジタルカメラ(Coolpix E990、Nicon社製、またはPowerShot A620、Canon社製)を取付けたもの、または、ダーモスコープ(Dermlite II Fluid、3Gen社製)にディジタルビデオカメラレコーダ(HDR-HC3、Sony社製)を取付けたものを使用して撮影した。透明ジェルは、Johnson & Johnson社製のK-Y jellyを使用した。
 爪甲部を抽出するガイドライン(プロトコル)として、以下の内容を検査者に提示した。
(1)JPEG画像の短辺に沿う画素数を、一画素の大きさをリサイズして205に設定する。リサイズされた画素のRGB変数は、バイキュービック法を用いて補間する。
(2)画像上に見えている爪甲に属する画素だけを解析用途に残す。ただし、爪甲上のジェルに含まれる気泡、ハレーション、かけ(割れ)やひっかきキズは除く。
(3)ハッチンソン徴候の領域も解析には含めない。
 ステップS102において、爪甲部の抽出は、上述した手動(マニュアル)により行った。ステップS107において第1基準値Yの値は0.18とし、ステップS108において第2基準値Yの値は0.2とした。
 図6は爪甲色素線条のカラー写真の白黒図を示すものであり、(a)は爪部悪性黒色腫、(b)および(c)は良性母斑の色バランス標準化前のJPEG画像である。(d)、(e)および(f)は、それぞれ、(a)、(b)および(c)の画像から、検査者Aにより爪甲部が抽出され、本実施形態に係る爪甲色素線条の解析方法により色バランスの標準化を行って得られたカラー画像を示すものである。(a)の画像は白みがかった色をしており、(b)の画像は青みがかった色をしている。(d)および(e)の色合いは、それぞれ(a)および(b)の色合いと大きく異なるが、(f)の色合いは(c)の色合いに近い結果となった。(d)、(e)および(f)の色合いは、肉眼で見た色合いに近かった。
 図7に本実施形態に係る爪甲色素線条の解析方法による色バランスの標準化を行わずに診断指標DI値を算出した結果を比較例として示す。検査者A、B、C、DおよびEによって算出された診断指標DI値は、それぞれ31個である。図中、「×」が爪部悪性黒色腫の画像から診断指標DI値を算出した結果、「白丸」が良性母斑の画像から診断指標DI値を算出した結果である。色の多様性が高い画像ほど、診断指標DI値が大きくなる傾向を有していた。比較例において、各検査者A、B、C、DおよびEに対して、感度が100%となるように固定したときに最も高い特異度が得られるように閾値を固定した場合の特異度を求めたところ、特異度はそれぞれ、88%、92%、92%、84%、88%であった。「感度」は初期の爪部悪性黒色腫を陽性と正しく診断する確率、「特異度」は良性母斑を陰性と正しく診断する確率である。「閾値」はそれ以上の指標値をもつ病巣を陽性と診断し、かつ、それ未満の指標値を持つ病巣を陰性と診断する境界値である。感度、特異度および閾値、は、ROC解析(Receiver Operating Characteristic Analysis)により求めた。ここで、DIth(100, 92)との記載は、その閾値において診断性能が感度100%、特異度92%であることを意味する。図7では、各検査者A、B、C、DおよびEにおいて、上と下の実線が、それぞれ、感度を100%に固定したときに得られる最も高い特異度を与える閾値と、二番目に高い特異度を与える閾値とを表している。すなわち、診断指標DIの値が検査者に依存して相違し、爪甲色素線条が悪性腫瘍によるか良性母斑によるかを診断する際の基準となる閾値、および、それに基づく診断成績が、検査者によって異なる結果となった。
 図8に本実施形態に係る爪甲色素線条の解析方法による色バランスの標準化を行った後に診断指標DI値を算出した結果を示す。図中、「×」が爪部悪性黒色腫の画像から診断指標DI値を算出した結果、「白丸」が良性母斑の画像から診断指標DI値を算出した結果である。また、表1に、各検査者A、B、C、DおよびEにおけるそれぞれの閾値DIth(100, 96)とDIth(100, 92)の2種類の値を示す。
 図8と表1から分かるように、各検査者A、B、C、DおよびEにおいて2種類の閾値が異なるものの、感度100%かつ特異度96%なる診断成績を実現する各検査者A、B、C、DおよびEに共通の閾値DIthのバンド、すなわち0.0922<DIth≦0.0947を得ることができた。図8では、破線が各検査者A、B、C、DおよびEに共通の閾値バンドを示す。本実施形態の解析方法によれば、検査者および撮影デバイスに依存することなく、この共通の閾値バンドを適用することができる。本実施例において、正診率は96.8%であった。「正診率」は初期の爪部悪性黒色腫を陽性と正しく診断し、且つ、良性母斑を陰性と正しく診断する確率である。
 本実施例の特異度および正診率は、比較例の特異度および正診率よりも高い結果となった。この結果から、色の多様性の相違が、爪甲色素線条から初期の爪部悪性黒色腫を診断する際に最も重要な特徴の一つであるといえる。
 また、本実施形態の解析方法によれば、診断指標DIに対する、解析のために抽出された爪甲部の領域の相違、および、ダーモスコープ3やディジタルカメラ4の機種に依存してJPEG画像等の入力されるカラーディジタル画像に潜在する機種ごとの色バランスのばらつきによる影響を抑えられることができる。したがって、本実施形態の解析方法によれば、経験の浅い検査者でも被験者の爪甲色素線条が悪性腫瘍によるかを診断することができる。
Figure JPOXMLDOC01-appb-T000013
 以上、本発明を実施形態および実施例に基づいて説明したが、本発明は種々の変形実施をすることができる。例えば、本実施形態では、診断装置11としてコンピュータ12の例を示したが、タブレット端末やスマートフォン等で処理を行うこともできる。また、診断装置11としてのコンピュータ12の構成は、図5の構成に限定されるものではない。
 11 診断装置
 15 コンピュータプログラム
 Y 第1基準値
 Y 第2基準値

Claims (14)

  1.  被験者の爪甲色素線条または皮膚の被験部位のカラー画像をディジタルカラー画像として読み込む画像読込ステップと、
     前記ディジタルカラー画像の全体のサイズを画素サイズ変換を用いて所定の大きさに変換する画像サイズ変換ステップ、および、前記ディジタルカラー画像より診断に必要な関心領域(ROI:Region of Interest)を抽出するROI抽出ステップを含む画像加工ステップと、
     前記ディジタルカラー画像のデータの色バランス調整を色順応変換によって行う色順応変換ステップと、
     色順応変換後の画像を用いて診断指標を求める診断指標算出ステップとを含む、爪部悪性腫瘍の診断、悪性黒色腫を含む皮膚がんの皮膚での診断、または自己免疫性皮膚疾患の診断を行うための爪甲色素線条および皮膚の色相の解析方法。
  2.  被験者の爪甲色素線条および皮膚の色相の解析方法であって、さらに、前記診断指標を閾値として疾患の有無を鑑別するステップを含む、請求項1に記載の爪甲色素線条および皮膚部の解析方法。
  3.  被験者の爪甲色素線条および皮膚の色相の解析方法であって、被験者の転帰を診断するために同一被験者における前記診断指標の経過観察のデータを用いて前記爪甲色素線条または前記皮膚の色相の経時変化を解析するステップを含む、請求項1に記載の爪甲色素線条および皮膚の色相の解析方法。
  4.  前記色順応変換ステップは、
     デガンマ処理によって得られる線形RGB色空間をXYZ色空間へ変換するXYZ変換ステップと、
     前記XYZ色空間で表現された画像内における各画素のXYZパラメータから求めた平均色度座標を基準座標に変換する座標変換ステップと、
     XYZ色空間を線形RGB色空間へ変換した後にガンマ処理を行うRGB変換ステップとを含む請求項1~3のいずれか1項に記載の爪甲色素線条および皮膚の色相の解析方法。
  5.  前記色順応変換ステップは、
     前記XYZ変換ステップ後に前記平均色度座標を求めるステップとして、
     対象領域全体の画素について、前記XYZパラメータを平均化して得たYの平均値をYの平均輝度信号とみなすステップと、任意の第1基準値および第2基準値を設定するステップとを含み、
     前記Yの平均輝度信号の値が前記第1基準値以上である場合には、対象の画素の全てについて対象領域全体でのX、Y、Zの平均値を算出し、
     前記Yの平均輝度信号の値が前記第1基準値よりも小さい場合には、
     Yの値が前記第2基準値よりも大きい画素に対しては、X、Y、Zの平均値を算出し、
     Yの値が前記第2基準値以下である画素に対しては、前記座標変換ステップを行わない、請求項4に記載の爪甲色素線条および皮膚の色相の解析方法。
  6.  前記爪部悪性腫瘍、前記皮膚部の悪性黒色腫または前記自己免疫性皮膚疾患が、それぞれ初期段階の爪部悪性腫瘍、皮膚部の悪性黒色腫または自己免疫性皮膚疾患である請求項1~5のいずれか1項に記載の爪甲色素線条および皮膚の色相の解析方法。
  7.  前記爪部悪性腫瘍が爪部悪性黒色腫またはボーエン病から選択され、前記自己免疫性皮膚疾患がエリテマトーデス、皮膚筋炎および強皮症を含む膠原病である請求項1~6のいずれか1項に記載の爪甲色素線条および皮膚の色相の解析方法。
  8.  被験者の爪甲色素線条または皮膚の被験部位のカラー画像をディジタルカラー画像として読み込む画像読込手段と、
     前記ディジタルカラー画像の全体のサイズを画素サイズ変換を用いて所定の大きさに変換する画像サイズ変換手段、および、前記ディジタルカラー画像より診断に必要な関心領域(ROI:Region of Interest)を抽出するROI抽出手段を備える画像加工手段と、
     前記ディジタルカラー画像のデータの色バランス調整を色順応変換によって行う色順応変換手段と、
     色順応変換後の画像を用いて診断指標を求める診断指標算出手段とを備える、爪部悪性腫瘍の診断、悪性黒色腫を含む皮膚がんの皮膚での診断、または自己免疫性皮膚疾患の診断を行うための診断装置。
  9.  さらに、前記診断指標を閾値として区別することにより、爪甲色素線状が悪性腫瘍か良性母斑腫瘍によるかを診断する診断手段を備える請求項8に記載の診断装置。
  10.  さらに、同一被験者における前記診断指標の経過観察のデータを用いて前記爪甲色素線条または前記皮膚の色相の経時変化を解析し、前記被験者の転帰を診断する診断手段を備える請求項8に記載の診断装置。
  11.  前記色順応変換手段は、
     デガンマ処理手段によって得られる線形RGB色空間をXYZ色空間へ変換するXYZ変換手段と、
     前記XYZ色空間で表現された画像内における各画素のXYZパラメータから求めた平均色度座標を基準座標に変換する座標変換手段と、
     XYZ色空間を線形RGB色空間へ変換した後にガンマ処理を行うRGB変換手段とを備える請求項8~10のいずれか1項に記載の診断装置。
  12.  前記色順応変換手段は、
     線形RGB色空間をXYZ色空間へ変換した後に前記平均色度座標を求める手段として、
     対象領域全体の画素について、前記XYZパラメータを平均化して得たYの平均値をYの平均輝度信号とみなす手段と、任意の第1基準値および第2基準値を設定する手段とを備え、
     前記Yの平均輝度信号の値が前記第1基準値以上である場合には、対象の画素の全てについて対象領域全体でのX、Y、Zの平均値を算出し、
     前記Yの平均輝度信号の値が前記第1基準値よりも小さい場合には、
     Yの値が前記第2基準値よりも大きい画素に対しては、X、Y、Zの平均値を算出し、
     Yの値が前記第2基準値以下である画素に対しては、平均色度座標を基準座標に変換しない、請求項11に記載の診断装置。
  13.  前記爪部悪性腫瘍が爪部悪性黒色腫またはボーエン病から選択され、前記自己免疫性皮膚疾患がエリテマトーデス、皮膚筋炎および強皮症を含む膠原病である請求項8~12のいずれか1項に記載の診断装置。
  14.  コンピュータを、請求項8~13のいずれか1項に記載の爪甲色素線状および皮膚疾患の診断装置として機能させるコンピュータプログラム。
PCT/JP2018/019623 2017-05-25 2018-05-22 皮膚疾患の診断のための爪甲色素線条または皮膚の色相の解析方法、診断装置およびコンピュータプログラム WO2018216680A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019520258A JP7267545B2 (ja) 2017-05-25 2018-05-22 皮膚疾患の診断のための爪甲色素線条または皮膚の色相の解析方法、診断装置およびコンピュータプログラム
US16/616,250 US11200673B2 (en) 2017-05-25 2018-05-22 Method for analyzing longitudinal pigmented band on nail plate or skin color hue for diagnosing skin disease, and diagnostic device and computer program therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017103524 2017-05-25
JP2017-103524 2017-05-25

Publications (1)

Publication Number Publication Date
WO2018216680A1 true WO2018216680A1 (ja) 2018-11-29

Family

ID=64395610

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/019623 WO2018216680A1 (ja) 2017-05-25 2018-05-22 皮膚疾患の診断のための爪甲色素線条または皮膚の色相の解析方法、診断装置およびコンピュータプログラム

Country Status (3)

Country Link
US (1) US11200673B2 (ja)
JP (1) JP7267545B2 (ja)
WO (1) WO2018216680A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022254707A1 (ja) * 2021-06-04 2022-12-08 株式会社ヒューマン・エンジニアリング 判定装置、判定方法およびプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11350070B2 (en) * 2018-06-04 2022-05-31 Michael Scott Brown Systems, methods and computer programs for colorimetric mapping
CN114224289B (zh) * 2021-12-16 2023-08-22 苏州体素信息科技有限公司 基于深度学习的银屑病甲图像处理方法及系统
CN114431836A (zh) * 2022-04-11 2022-05-06 中南大学湘雅医院 基于人工智能的甲黑线良恶性预测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012168181A (ja) * 2005-08-18 2012-09-06 Qualcomm Inc 色分類および皮膚色検出のための画像処理のためのシステム、方法、および装置
JP2013520274A (ja) * 2010-02-26 2013-06-06 アモーレパシフィック コーポレイション 皮膚色相測定システム及び方法
JP2016112270A (ja) * 2014-12-17 2016-06-23 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP2016174671A (ja) * 2015-03-19 2016-10-06 株式会社ヒューマン・エンジニアリング 判定装置および判定プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100499130B1 (ko) 2001-11-27 2005-07-04 삼성전자주식회사 조명 변화에 강건한 영상 검색 방법 및 장치
JP5253284B2 (ja) * 2009-04-22 2013-07-31 三鷹光器株式会社 爪甲色素線条鑑別閾値の導出方法
US8062493B2 (en) 2009-07-22 2011-11-22 Empire Technology Development Llc Electrophoretic deposition
JP5600426B2 (ja) * 2009-12-24 2014-10-01 三鷹光器株式会社 爪甲色素線条の鑑別装置
KR101536693B1 (ko) * 2013-11-25 2015-07-14 한국광기술원 다파장 영상구현 및 영상분석을 통한 흑색종판별방법 및 흑색종판별시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012168181A (ja) * 2005-08-18 2012-09-06 Qualcomm Inc 色分類および皮膚色検出のための画像処理のためのシステム、方法、および装置
JP2013520274A (ja) * 2010-02-26 2013-06-06 アモーレパシフィック コーポレイション 皮膚色相測定システム及び方法
JP2016112270A (ja) * 2014-12-17 2016-06-23 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP2016174671A (ja) * 2015-03-19 2016-10-06 株式会社ヒューマン・エンジニアリング 判定装置および判定プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022254707A1 (ja) * 2021-06-04 2022-12-08 株式会社ヒューマン・エンジニアリング 判定装置、判定方法およびプログラム

Also Published As

Publication number Publication date
US20200311939A1 (en) 2020-10-01
JP7267545B2 (ja) 2023-05-02
JPWO2018216680A1 (ja) 2020-05-21
US11200673B2 (en) 2021-12-14

Similar Documents

Publication Publication Date Title
WO2018216680A1 (ja) 皮膚疾患の診断のための爪甲色素線条または皮膚の色相の解析方法、診断装置およびコンピュータプログラム
Zhou et al. Color retinal image enhancement based on luminosity and contrast adjustment
Ganz et al. Automatic segmentation of polyps in colonoscopic narrow-band imaging data
US11612350B2 (en) Enhancing pigmentation in dermoscopy images
Tomie et al. Blue laser imaging-bright improves endoscopic recognition of superficial esophageal squamous cell carcinoma
US9486146B2 (en) Detecting tumorous breast tissue in a thermal image
CA2923257C (en) Software interface tool for breast cancer screening
KR101887760B1 (ko) 열화상카메라를 이용한 유방암 진단 장치 및 방법
CN102724909A (zh) 医用图像处理装置和医用图像处理方法
Haddad et al. Image analysis model for skin disease detection: framework
WO2010123050A1 (ja) 爪甲色素線条鑑別閾値の導出方法
Sultana et al. Preliminary work on dermatoscopic lesion segmentation
Fujii et al. Extraction of acne lesion in acne patients from multispectral images
US20160100789A1 (en) Computer-aided diagnosis system and computer-aided diagnosis method
Barata et al. 1 Toward a Robust Analysis of Dermoscopy Images Acquired under Different
CN106370618B (zh) 一种双波长光谱差异度指数人体舌质舌苔分离方法
US20180040124A1 (en) Disease diagnostic apparatus, image processing method in the same apparatus, and medium storing program associated with the same method
Sultana et al. Automatic segmentation of infantile hemangiomas
Alizadeh et al. Effects of improved adaptive gamma correction method on wireless capsule endoscopy images: Illumination compensation and edge detection
KR101566618B1 (ko) 충혈도 산출 방법 및 장치
Attar et al. Wireless Micro-Ball endoscopic image enhancement using histogram information
WO2022254707A1 (ja) 判定装置、判定方法およびプログラム
Patil et al. Screening of damage regions in retinopathy using segmentation-color space selection
Santos et al. Iris recognition: Preliminary assessment about the discriminating capacity of visible wavelength data
TWI796156B (zh) 以波段用於超頻譜檢測物件影像之方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18806370

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019520258

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18806370

Country of ref document: EP

Kind code of ref document: A1