JPWO2018216680A1 - 皮膚疾患の診断のための爪甲色素線条または皮膚の色相の解析方法、診断装置およびコンピュータプログラム - Google Patents

皮膚疾患の診断のための爪甲色素線条または皮膚の色相の解析方法、診断装置およびコンピュータプログラム Download PDF

Info

Publication number
JPWO2018216680A1
JPWO2018216680A1 JP2019520258A JP2019520258A JPWO2018216680A1 JP WO2018216680 A1 JPWO2018216680 A1 JP WO2018216680A1 JP 2019520258 A JP2019520258 A JP 2019520258A JP 2019520258 A JP2019520258 A JP 2019520258A JP WO2018216680 A1 JPWO2018216680 A1 JP WO2018216680A1
Authority
JP
Japan
Prior art keywords
nail
skin
image
value
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019520258A
Other languages
English (en)
Other versions
JP7267545B2 (ja
Inventor
孝之 宗田
孝之 宗田
中村 厚
厚 中村
弘志 古賀
弘志 古賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waseda University
Shinshu University NUC
Original Assignee
Waseda University
Shinshu University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waseda University, Shinshu University NUC filed Critical Waseda University
Publication of JPWO2018216680A1 publication Critical patent/JPWO2018216680A1/ja
Application granted granted Critical
Publication of JP7267545B2 publication Critical patent/JP7267545B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/449Nail evaluation, e.g. for nail disorder diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485Automatic selection of region of interest
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Dermatology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

色バランスの標準化によりダーモスコピー画像の色合いのばらつきを補正し、撮影デバイスや検査者に依存することなく、爪甲色素線条が悪性腫瘍によるか良性母斑によるかを診断することができる解析方法と診断装置、および、コンピュータを当該診断装置として機能させるコンピュータプログラムを提供する。被験者の爪甲色素線条または皮膚の被験部位のカラー画像をディジタルカラー画像として読み込む画像読込ステップと、ディジタルカラー画像の全体のサイズを画素サイズ変換を用いて所定の大きさに変換する画像サイズ変換ステップ、および、前記ディジタルカラー画像より診断に必要な関心領域(ROI:Region of Interest)を抽出するROI抽出ステップを含む画像加工ステップと、ディジタルカラー画像のデータの色バランス調整を色順応変換によって行う色順応変換ステップと、色順応変換後の画像を用いて診断指標DI値を求める診断指標算出ステップとを含む構成とした。

Description

本発明は、皮膚疾患の診断のための爪甲色素線条または皮膚の色相の解析方法、当該解析方法を使用した診断装置、および、コンピュータを当該診断装置として機能させるコンピュータプログラムに関する。
爪甲色素線条は、爪の甲の根元から縦方向に、黒色や褐色の線状、または帯状の色素沈着が生じた状態であり、爪母や爪母付近に何らかの病変があると、まず爪の甲の根元の表面に爪甲色素線条が現れ、爪が伸びるのに伴って、その直線状の色素沈着が次第に爪の先端へと移行する。原因となる代表的病変としては、メラニンが増加した色素性母斑があり、爪母に色素性母斑が生じた後に、爪に爪甲色素線条が現れる。また、良性の皮膚腫瘍、爪部悪性黒色腫(爪部メラノーマ)やボーエン病など悪性の皮膚腫瘍が爪母に生じた後にも、爪に爪甲色素線条が、皮膚の色素が変化する前の早期段階の症状による変化として現れる。また、扁平苔癬、線状苔癬等の皮膚疾患、アジソン病、クッシング症候群等の内分泌異常、ポルフィリン症や栄養失調等の代謝異常、ポイツ・イエーガー症候群や妊娠などの全身疾患、細菌や真菌の感染症、抗がん剤等の薬剤の内服、手指への放射線治療や紫外線療法、外的刺激の反復により爪母や爪母付近に病変を及ぼした後にも、爪に爪甲色素線条が現れる。さらに、エリテマトーデス等の自己免疫性の皮膚疾患は、赤色を帯びた皮膚の症状を示す。
爪部悪性黒色腫は爪部メラノーマとも呼ばれ、爪母に存在するメラノサイトががん化して発症する。爪部悪性黒色腫の初期段階で診断できれば、例えば5年後の生存率を高めたり、10年以内の再発を防ぐことが期待される。メラノサイトががん化していない場合には、良性母斑とみなされる。爪部悪性黒色腫であるか良性母斑であるかは、爪甲色素線条のパターンから診断できると考えられている。しかしながら、ダーモスコープを用いて爪甲色素線条を目視したり、爪甲色素線条のカラー画像であるダーモスコピー画像を見ることにより、爪甲色素線条が悪性腫瘍(爪部悪性黒色腫)によるか、または、良性腫瘍(良性母斑)によるかを診断するには、臨床における鑑別基準が確立されていないため、検査者が相当の経験を積む必要がある。そのため、爪甲色素線条が悪性腫瘍または良性腫瘍によるかを非侵襲で且つ客観的に診断する爪甲色素線条の解析方法や爪甲色素線条が関連する疾患の診断方法の実現が、臨床現場から強く要求されていた。さらに、悪性黒色腫の病態が進展すれば、爪甲だけではなく皮膚の色からも悪性黒色腫が診断できるため、悪性黒色腫を皮膚により診断するための解析方法の実現も要求されていた。
本発明者らは、このような要求に対し、爪甲色素線条のダーモスコピー画像内における各画素のRGB変数値を、RGB空間の3次元ベクトルとみなし、その緯度変数と経度変数から診断指標DI(Discrimination Index)値を求め、当該診断指標DI値を閾値を境界として区別することにより、爪甲色素線条が悪性腫瘍または良性腫瘍によるかを非侵襲で且つ客観的に診断する診断装置を開発した(例えば、非特許文献1および特許文献1)。
Koga, H., Yoshikawa, S., Sekiguchi, A., et al., Automated evaluation system of dermoscopic images of longitudinal melanonychia: Proposition of a discrimination index for detecting early nail apparatus melanoma, J. Dermatol. 2014; 41: 867-871.
特許第5600426号公報
非特許文献1および特許文献1に記載の診断装置では、診断指標DIが、解析のために抽出された爪甲部の領域の相違、および、JPEG画像等の入力されるカラーディジタル画像に潜在する、撮影デバイスに起因する色バランスのばらつきに影響されることが考えられた。
抽出される爪甲部の領域の違いについては、選択および抽出のルールを予め定めたとしても、検査者による相違は避けられない。
JPEG画像等の入力されるカラー画像のRGB変数の色バランスは、ダーモスコープの照明装置が機種ごとに異なり、撮影用カメラは製造者独自の画像処理エンジンを有することから、それらの撮影デバイスに依存する可能性があると考えられる。
以上のことから、診断指標DIを計算する対象のJPEG画像に含まれるRGB変数について、何らかの方法の使用による標準化を行うことが好ましいと考えられる。
本発明は、このような事情に鑑みてなされたものであり、色バランスの標準化によりダーモスコピー画像の色合いを補正し、検査者や撮影デバイスに依存することなく、爪甲色素線条が悪性腫瘍によるかを解析、または、診断することができる解析方法または診断方法と診断装置、および、コンピュータを当該診断装置として機能させるコンピュータプログラムを提供する。
本発明はかかる課題を解決するため、被験者の爪甲色素線条または皮膚の被験部位のカラー画像をディジタルカラー画像として読み込む画像読込ステップと、前記ディジタルカラー画像の全体のサイズを画素サイズ変換を用いて所定の大きさに変換する画像サイズ変換ステップ、および、前記ディジタルカラー画像より診断に必要な関心領域(ROI:Region of Interest)を抽出するROI抽出ステップを含む画像加工ステップと、前記ディジタルカラー画像のデータの色バランス調整を色順応変換によって行う色順応変換ステップと、色順応変換後の画像を用いて診断指標を求める診断指標算出ステップとを含む、爪部悪性腫瘍の診断、悪性黒色腫等の皮膚がんの皮膚での診断、または自己免疫性皮膚疾患の診断を行うための、または、これらの診断用のデータを取得するための、爪甲色素線条および皮膚の色相の解析方法を提供する。
前記爪甲色素線条および皮膚の色相の解析方法は、さらに、前記診断指標を閾値として疾患の有無を鑑別するステップを含む場合がある。
前記爪甲色素線条および皮膚の色相の解析方法は、転帰を診断するために同一被験者における前記診断指標の経過観察のデータを用いて前記爪甲色素線条または前記皮膚の色相の経時変化を解析するステップを含む場合がある。
前記爪甲色素線条および皮膚の色相の解析方法において、色順応変換ステップは、デガンマ処理によって得られる線形RGB色空間をXYZ色空間へ変換するXYZ変換ステップと、前記XYZ色空間で表現された画像内における各画素のXYZパラメータから求めた平均色度座標を基準座標に変換する座標変換ステップと、XYZ色空間を線形RGB色空間へ変換した後にガンマ処理を行うRGB変換ステップとを含む場合がある。
前記爪甲色素線条および皮膚の色相の解析方法において、前記色順応変換ステップは、前記XYZ変換ステップ後に前記平均色度座標を求めるステップとして、対象領域全体の画素について、前記XYZパラメータを平均化して得たYの平均値をYの平均輝度信号とみなすステップと、任意の第1基準値および第2基準値を設定するステップとを含み、前記Yの平均輝度信号の値が前記第1基準値以上である場合には、対象の画素の全てについて対象領域全体でのX、Y、Zの平均値を算出し、前記Yの平均輝度信号の値が前記第1基準値よりも小さい場合には、Yの値が前記第2基準値よりも大きい画素に対しては、X、Y、Zの平均値を算出し、Yの値が前記第2基準値以下である画素に対しては、前記座標変換ステップを行わない場合がある。
本発明に係る爪甲色素線条および皮膚の色相の解析方法において、前記爪部悪性腫瘍、前記皮膚部の悪性黒色腫または前記自己免疫性皮膚疾患が、それぞれ初期段階の爪部悪性腫瘍、皮膚部の悪性黒色腫または自己免疫性皮膚疾患である場合がある。
本発明に係る爪甲色素線条および皮膚の色相の解析方法において、前記爪部悪性腫瘍は爪部悪性黒色腫またはボーエン病から選択され、前記自己免疫性皮膚疾患がエリテマトーデス、皮膚筋炎および強皮症を含む膠原病である場合がある。
また、本発明は、被験者の爪甲色素線条または皮膚の被験部位のカラー画像をディジタルカラー画像として読み込む画像読込ステップと、前記ディジタルカラー画像の全体のサイズを画素サイズ変換を用いて所定の大きさに変換する画像サイズ変換ステップ、および、前記ディジタルカラー画像より診断に必要な関心領域(ROI:Region of Interest)を抽出するROI抽出ステップを含む画像加工ステップと、前記ディジタルカラー画像のデータの色バランス調整を色順応変換によって行う色順応変換ステップと、色順応変換後の画像を用いて診断指標を求める診断指標算出ステップとを含む、爪部悪性腫瘍の診断、悪性黒色腫等の皮膚がんの皮膚での診断、または自己免疫性皮膚疾患の診断を行うための診断方法を提供する。
前記診断方法において、さらに、前記診断指標を閾値として疾患の有無を鑑別するステップを含む場合がある。
前記診断方法において、転帰を診断するために同一被験者における前記診断指標の経過観察のデータを用いて前記爪甲色素線条または皮膚の色相の経時変化を解析するステップを含む場合がある。
前記診断方法において、前記色順応変換ステップは、デガンマ処理によって得られる線形RGB色空間をXYZ色空間へ変換するXYZ変換ステップと、前記XYZ色空間で表現された画像内における各画素のXYZパラメータから求めた平均色度座標を基準座標に変換する座標変換ステップと、XYZ色空間を線形RGB色空間へ変換した後にガンマ処理を行うRGB変換ステップとを含む場合がある。
前記診断方法において、前記色順応変換ステップは、前記XYZ変換ステップ後に前記平均色度座標を求めるステップとして、対象領域全体の画素について、前記XYZパラメータを平均化して得たYの平均値をYの平均輝度信号とみなすステップと、任意の第1基準値および第2基準値を設定するステップとを含み、前記Yの平均輝度信号の値が前記第1基準値以上である場合には、対象の画素の全てについて対象領域全体でのX、Y、Zの平均値を算出し、前記Yの平均輝度信号の値が前記第1基準値よりも小さい場合には、Yの値が前記第2基準値よりも大きい画素に対しては、X、Y、Zの平均値を算出し、Yの値が前記第2基準値以下である画素に対しては、前記座標変換ステップを行わない場合がある。
本発明に係る被験者の皮膚疾患の診断方法において、前記爪部悪性腫瘍、前記皮膚部の悪性黒色腫または前記自己免疫性皮膚疾患が、それぞれ初期段階の爪部悪性腫瘍、皮膚部の悪性黒色腫または自己免疫性皮膚疾患である場合がある。
本発明に係る被験者の皮膚疾患の診断方法において、前記爪部悪性腫瘍は爪部悪性黒色腫またはボーエン病から選択され、前記自己免疫性皮膚疾患がエリテマトーデス、皮膚筋炎および強皮症を含む膠原病である場合がある。
また、本発明の解析方法または診断方法において、診断が被験者の悪性腫瘍の有無の鑑別である場合がある。
また、本発明の解析方法または診断方法において、前記診断方法は、転帰を診断するために同一被験者における前記診断指標の経過観察のデータを用いて前記爪甲色素線条または前記皮膚の色相の経時変化を解析するステップを含む場合がある。
本発明は、被験者の爪甲色素線条または皮膚の被験部位のカラー画像をディジタルカラー画像として読み込む画像読込手段と、前記ディジタルカラー画像の全体のサイズを画素サイズ変換を用いて所定の大きさに変換する画像サイズ変換手段、および、前記ディジタルカラー画像より診断に必要な関心領域(ROI:Region of Interest)を抽出するROI抽出手段を備える画像加工手段と、前記ディジタルカラー画像のデータの色バランス調整を色順応変換によって行う色順応変換手段と、色順応変換後の画像を用いて診断指標を求める診断指標算出手段とを備える、爪部悪性腫瘍の診断、悪性黒色腫等の皮膚がんの皮膚での診断、または自己免疫性皮膚疾患の診断を行うための診断装置を提供する。
本発明に係る爪部悪性腫瘍の診断、悪性黒色腫等の皮膚がんの皮膚での診断、または自己免疫性皮膚疾患の診断を行うための診断装置は、さらに、前記診断指標を閾値として区別することにより、爪甲色素線状が悪性腫瘍か良性母斑によるかを診断する診断手段を備える場合がある。
本発明に係る爪部悪性腫瘍の診断、悪性黒色腫等の皮膚がんの皮膚での診断、または自己免疫性皮膚疾患の診断を行うための診断装置は、転帰を診断するために同一被験者における前記診断指標の経過観察のデータを用いて前記爪甲色素線条または皮膚の色相の経時変化を解析し、診断する診断手段を備える場合がある。
前記診断装置において、前記色順応変換手段は、デガンマ処理手段によって得られる線形RGB色空間をXYZ色空間へ変換するXYZ変換手段と、前記XYZ色空間で表現された画像内における各画素のXYZパラメータから求めた平均色度座標を基準座標に変換する座標変換手段と、XYZ色空間を線形RGB色空間へ変換した後にガンマ処理を行うRGB変換手段とを備える場合がある。
前記診断装置において、前記色順応変換手段は、線形RGB色空間をXYZ色空間へ変換した後に前記平均色度座標を求める手段として、対象領域全体の画素について、前記XYZパラメータを平均化して得たYの平均値をYの平均輝度信号とみなす手段と、任意の第1基準値および第2基準値を設定する手段とを備え、前記Yの平均輝度信号の値が前記第1基準値以上である場合には、対象の画素の全てについて対象領域全体でのX、Y、Zの平均値を算出し、前記Yの平均輝度信号の値が前記第1基準値よりも小さい場合には、Yの値が前記第2基準値よりも大きい画素に対しては、X、Y、Zの平均値を算出し、Yの値が前記第2基準値以下である画素に対しては、平均色度座標を基準座標に変換しない場合がある。
前記爪部悪性腫瘍は爪部悪性黒色腫またはボーエン病から選択され、前記自己免疫性皮膚疾患がエリテマトーデス、皮膚筋炎および強皮症を含む膠原病である場合がある。
本発明は、コンピュータを、上記の皮膚疾患の診断装置として機能させるコンピュータプログラムを提供する。
前記コンピュータプログラムは、さらに、鑑別診断のために悪性腫瘍の有無を鑑別するためのコンピュータプログラム、及び/又は、被験者の転帰を診断するために、同一被験者における経時変化を解析するコンピュータプログラムを含む場合がある。
本発明の皮膚疾患を診断するための解析方法と診断装置、および、コンピュータを当該診断装置として機能させるコンピュータプログラムによれば、診断指標DIが撮影デバイスや検査者に依存して大きく相違することなく、経験の浅い検査者でも爪甲色素線条が悪性腫瘍によるか良性腫瘍によるかを診断することができる。
本発明に係る爪甲色素線条および皮膚の色相の解析方法の手順を示すフロー図である。 同上、ダーモスコープおよびディジタルカメラを用いて爪甲色素線条を撮影する一例を示す概略図である。 同上、色順応変換による色バランスの標準化について模式的に示した略図である。 同上、色順応変換アルゴリズムの手順を示すフロー図である。 同上、コンピュータプログラムをインストールして、コンピュータを本発明の爪甲色素線条および皮膚疾患の診断装置として機能させる一例を概略的に示すブロック図である。 爪甲色素線条の原図がカラー写真の図を示すものであり、(a)は爪部悪性黒色腫、(b)および(c)は良性母斑の色バランス標準化前のJPEG画像であり、(d)、(e)および(f)は、それぞれ、(a)、(b)および(c)の画像から、検査者Aにより爪甲部が抽出され、本発明に係る爪甲色素線条の解析方法により色バランスの標準化を行って得られたカラー画像を示すものである。 本発明に係る爪甲色素線条の解析方法による色バランスの標準化を行わずに診断指標DI値を算出した結果を比較例として示す図である。 本発明に係る爪甲色素線条の解析方法による色バランスの標準化を行った後に診断指標DI値を算出した結果を示す図である。
以下、図面を参照して、本発明の爪甲色素線条および皮膚の色相の解析方法と診断装置、および、コンピュータを当該診断装置として機能させるコンピュータプログラムの好ましい実施形態について説明する。
爪甲色素線条は、メラニンが増加した色素性母斑、良性の皮膚腫瘍、爪部悪性黒色腫(爪部メラノーマ)やボーエン病など悪性の皮膚腫瘍が爪母に生じた後、扁平苔癬、線状苔癬等の皮膚疾患、アジソン病、クッシング症候群等の内分泌異常、ポルフィリン症や栄養失調等の代謝異常、ポイツ・イエーガー症候群や妊娠などの全身疾患、細菌や真菌の感染症、抗がん剤等の薬剤の内服、手指への放射線治療や紫外線療法、外的刺激の反復により爪母や爪母付近に病変を及ぼした後にも、爪に現れる。また、爪甲悪性腫瘍の病態が進展すると、爪甲だけでなく皮膚の色にも変化が現れる。その他、本発明の解析方法の対象として自己免疫性皮膚疾患が含まれ、当該自己免疫性皮膚疾患は、例えばエリテマトーデス、皮膚筋炎および強皮症を含む膠原病とすることができる。
本明細書において、「被験者」とは、本発明の爪甲色素線条および皮膚の色相の解析方法を用いる限りその対象となる者をいい、すなわち、悪性腫瘍等に起因する爪甲色素線条を有する患者に限定されず、良性の爪甲色素線条を有する健常者も含まれる。また、男性又は女性、及び、成人、小児、高齢者又は老齢者のいずれも含まれる。
そこで、本発明の爪甲色素線条および皮膚の色相の解析方法の例としては、図1に示すフロー図に従って実行される。尚、本実施形態におけるROIは、本実施形態で画像を解析する際に、色順応変換等の処理をして解析対象とする爪甲部または皮膚の画像の領域である。
ステップS101の画像読込ステップで、画像読込手段により、爪甲色素線状または皮膚の被験部位のカラー画像をディジタルカラー画像として読み込む。図2に、当該カラー画像を取得するための装置および写真撮影の様子を示す。撮影対象の爪1の中には黒色腫2が存在する。黒色腫2には、爪部悪性腫瘍が含まれ、本実施形態の診断対象としては、初期段階の爪部悪性腫瘍とすることができる。また、爪部悪性腫瘍は、爪部悪性黒色腫またはボーエン病から選択される。爪1の表面にダーモスコープ3を押し当てて、ダーモスコープ3に取付けられたディジタルカメラ4を用いて、JPEG形式のカラー画像を取得する。爪1の表面には図示しない透明のジェルを塗布することが好ましい。透明ジェルを塗布することで、照明光を有効に爪甲に取り入れることができ、鮮明な画像が得られるためである。また、プリントされたカラー写真をディジタルカメラ4で撮影し、ディジタルカラー画像を取得してもよい。ディジタルカメラ4を使用して撮影した場合、カラー画像は、カラー画像がディジタルカラー画像として記録された、例えばSDカード等を介して読み込むことができる。
ステップS102の画像加工ステップで、画像加工手段により、ディジタルカラー画像の画像サイズ変換(画像のリサイズ)および爪甲部または皮膚の画像よりROIの抽出が行われる。画像加工ステップは、画像サイズ変換手段により、一画素の大きさを調整して、画像の短辺の画素数を所定値にし、画像の全体のサイズを画素サイズ変換を用いて所定の大きさに変換する画像サイズ変換ステップを含んでもよい。この画像サイズ変換により、処理を行うディジタルカラー画像の縦横のサイズを所定の大きさに設定することができる。大きさを変更された画素のRGB変数は、例えばバイキュービック法を用いて補間される。画像加工ステップはさらに、ROI抽出手段により、ディジタルカラー画像より診断に必要なROIを抽出するROI抽出ステップを含むことができる。ROI抽出ステップでは、爪甲部のROIを抽出する場合には、画像上に見えている爪甲に属する画素だけを解析用途に残す。この際、爪甲上の透明ジェルに含まれる気泡や、ハレーション、かけ(割れ)、ひっかきキズ等を除く。また、ハッチンソン徴候の領域も除く。
その後、ステップS102で画像サイズ変換および爪甲部または皮膚のROIの抽出が行われた画像を用いて、爪甲部または皮膚のROIに含まれるRGB変数の色順応変換による色バランスの標準化を行う。色順応変換による色バランスの標準化とは、検査で使用される装置に依存して変化する照明光の分光分布等の種々の条件の下で得られたディジタルカラー画像において、所定の画素の平均色度座標を、予め設定した基準となる色度座標に変換することで標準に合わせ、白色の見え方が一定になるように調整することをいう。まず、当該標準化の概略について説明する。JPEG画像に含まれるRGB変数の色バランスは、写真の状態だけでなく、検査で使用される装置に依存して変化する相関色温度によって決定される。相関色温度は、与えられたJPEG画像を用いて平均化された三刺激変数(Xbar、Ybar、Zbar)から計算される色度座標(xbar、ybar)を使用して求めることができる。ここで、XYZ変数は、後述するような操作で、各画素のRGB変数から得ることができる。したがって、RGB変数の色バランスは、与えられたJPEG画像の色度座標(xbar、ybar)に依存する。
標準色域を備えるディジタルカメラでは、信号処理は国際標準IEC 61966−2−1に従う(International standard, IEC 61966-2-1: Multimedia systems and equipment-Colour measurement and management-Part 2-1: Colour management-Default RGB colour spaces-sRGB, 1999)。この国際標準では、規定の色管理デフォルトのRGB空間であるsRGBが定義される。その白色点は、(Xn、Yn、ZnD65を介して算出される(xn、ynD65=(0.3127、0.3290)の色度座標によって定義される。ここで、標準光源のD65のスペクトルデータおよびCIE 1931標準表色系のカラーマッチング関数が使用され、波長はλ=380〜780nmの範囲において5nm間隔とされる。また、xn+yn+zn=1である。
本実施形態において、RGBの色バランスの標準化は、診断指標DI値を算出する前に、色順応変換に基づいて行われる。図3は、色順応変換による色バランスの標準化について模式的に示した略図である。図中、「R」、「G」および「B」はそれぞれ、xy色度座標における赤色、緑色および青色の境界付近を示す。爪甲は、基本的にメラニン色素を含まないため人種に依存しない。したがって、例えば、標準光源D65の下での白色人種の肌反射スペクトル(JIS Z 8726)を使用して計算された(xs、ys5YR8/4=(0.3744、0.3631)を標準色度座標として基準座標に設定することができる。対応する三刺激変数(Xs、Ys、Zs5YR8/4は、標準光源D65のスペクトルデータ、JIS Z 8726に基づく標準光源D65の下での白色人種の反射スペクトル、および、CIE 1931標準表色系のカラーマッチング関数を使用して求めることができる。具体的な(Xs、Ys、Zs5YR8/4の値は式(8)に示す。下付き文字「5YR8/4」は、色見本に対応するマンセル記号である。下付き文字「s」は標準を意味する。各JPEG画像において、RGB変数は、診断指標DIを計算する前に、解析対象の色度座標(xbar、ybar)を基準座標(xs、ys5YR8/4に変換する変換行列を使用して再評価される。図3中、「黒丸」は色度座標(xbar、ybar)、「×」は基準座標(xs、ys5YR8/4を示す。尚、基準座標は例えば被験者の人種等によって適宜変更することができる。例えば、皮膚での診断、特に膠原病等の自己免疫性皮膚疾患の診断に使用する場合には、基準座標を人種によって変更することが好ましい。この場合、マンセル記号を用いれば、JIS等の各国の規格に依存することなく基準座標を設定できる。
図1に示すフロー図に戻って説明する。ステップS103では、R=G=B=0の画素を排除する。
ステップS104〜S113は、色順応変換手段により、ディジタルカラー画像のデータの色バランス調整を行う色順応変換ステップである。色順応変換ステップは、XYZ変換手段により、デガンマ処理によって得られる線形RGB色空間をXYZ色空間へ変換するXYZ変換ステップと、座標変換手段により、XYZ色空間で表現された画像内における各画素のXYZパラメータから求めた平均色度座標を基準座標に変換する座標変換ステップと、RGB変換手段によりXYZ色空間を線形RGB色空間へ変換した後にガンマ処理を行うRGB変換ステップとを含むことができる。
ステップS104では、デガンマ処理によって線形RGB色空間への変換が行われる。まず、対象とする爪甲部の画像の画素における8ビットのRGB整数変数を、式(1)に基づきR’G’B’実変数に戻す。R’G’B’変数は、デガンマ補正を使用して、対応する線形化したR変数に逆変換される。R変数は標準線形色空間sRGB内の変数である。R成分のデガンマ補正の処理について式(2)に示す。G成分およびB成分についても同様の処理が行われる。
Figure 2018216680
Figure 2018216680
ステップS105のXYZ変換ステップでは、XYZ変換手段により、sRGB色空間内のR変数が、式(3)に基づき、対応する三刺激変数、すなわちXYZ色空間内のXYZ変数に変換される。式(3)は、白色点D65を仮定して導かれる。三刺激変数は対象の画素について平均化され、(Xbar、Ybar、Zbar)D65が得られる。ステップS106に示すように、YbarをYの平均輝度信号とみなし、Ybarの値によって以後の処理を決定する。
Figure 2018216680
先にステップS111の座標変換ステップについて説明する。ステップS111では、座標変換手段により、式(4)に基づき、基準座標を基準点とした色順応変換アルゴリズムが実行される。図4に色順応変換アルゴリズムのフロー図を示す。ここで、変換行列Mは式(5)で表される。(ρSD、γSD、βSD)および(ρD65、γD65、βD65)は、式(6)により求める。(Xs、Ys、Zs5YR8/4の具体的な値を式(8)に示す。変換行列Mは、式(7)および図4に示すブラッドフォード変換行列により与えられると仮定する。
Figure 2018216680
Figure 2018216680
Figure 2018216680
Figure 2018216680
Figure 2018216680
ステップS107に戻って説明する。ステップS107では、平均輝度信号Ybarの値が第1基準値Y以上である場合、すなわちYbar≧Yである場合に、ステップS108に進み、対象の画素の全てについて、対象領域全体でのX、Y、Zの平均値Xbar、Ybar、Zbarが算出され、上記のステップS111の座標変換ステップによる処理に進められる。平均輝度信号Ybarの値が第1基準値Yよりも小さい場合、すなわちYbar<Yである場合には、ステップS109に進み、さらに各画素が持つYの値の大きさにより処理を決定する。すなわち、Yの値が第2基準値Yよりも大きい場合、すなわちY>Yである場合、上記のステップS110に進み、対象領域中においてY>Yを満たす画素のX、Y、Zの平均値Xbar、Ybar、Zbarが算出され、上記のステップS111の座標変換ステップによる処理に進められる。Yの値が第2基準値Y以下である画素、すなわちY≦Yである画素は、ステップS111の座標変換処理は行わず、直接(X、Y、Z)5YR8/4=(X、Y、Z)D65とされ、ステップS112に進められる。
すなわち、色順応変換ステップは、XYZ変換ステップ後に平均色度座標を求めるステップとして、対象領域全体の画素について、XYZパラメータを平均化して得たYの平均値をYの平均輝度信号とみなすステップと、任意の第1基準値Yおよび第2基準値Yを設定するステップとを含み、Yの平均輝度信号の値が第1基準値Y以上である場合には(ステップS107でYesの条件)、対象の画素の全てについて対象領域全体でのX、Y、Zの平均値を算出し(ステップS108)、Yの平均輝度信号の値が第1基準値Yよりも小さい場合には(ステップS107でNoの条件)、Yの値が第2基準値Yよりも大きい画素に対しては(ステップS109でYesの条件)、X、Y、Zの平均値を算出し、Yの値が第2基準値Y以下である画素に対しては(ステップS109でNoの条件)、座標変換ステップを行わない。
第1基準値Yおよび第2基準値Yの値は任意に設定することができるが、例えば、下記の実施例に記載する被験者から得た実際の画像により、第1基準値Yの値は0.18とし、第2基準値Yの値は0.2とすることができる。爪甲の場合、黒色に近くて暗い画素は、ノイズが大きいため色順応変換を行うことによりノイズ成分を増大させてしまうことがある。したがって、爪甲の場合には、計算対象外となる画素の輝度信号は比較的小さい値となる。このように輝度信号が所定の値以下の画素を排除することで、計算対象の情報量を減らして解析の演算速度を向上することができる。さらに、診断のために必要な色を十分に引き出すことができる。これら第1基準値Yおよび第2基準値Yは、十分な数の症例を検討して決定することが好ましい。
ステップS112のRGB変換ステップにおいて、RGB変換手段により、得られた爪甲部または皮膚のROIの画像の画素の三刺激変数であるXYZ変数を、式(9)に基づき、R変数に変換し、線形RGB色空間への変換を行う。さらに、ステップS113において、sRGB色空間への変換を行う。すなわち、式(10)によりガンマ補正を行った後、対応するRGB整数変数が、式(11)を用いて計算される。式(10)および式(11)はR成分のみ示している。G成分およびB成分についても同様の処理が行われる。
Figure 2018216680
Figure 2018216680
Figure 2018216680
数式(2)のデガンマ補正および数式(10)のガンマ補正に関しては、例えば以下の文献を参照できる。
International standard, IEC 61966-2-1: Multimedia systems and equipment-Colour measurement and management-Part 2-1: Colour management-Default RGB colour spaces-sRGB, 1999.
数式(3)の線形RGB色空間からXYZ色空間への変換、および、数式(9)のXYZ色空間から線形RGB色空間への変換に関しては、例えば以下の文献を参照できる。
1.International standard, IEC 61966-2-1: Multimedia systems and equipment-Colour measurement and management-Part 2-1: Colour management-Default RGB colour spaces-sRGB, 1999.
2.International recommendation, ITU-R BT. 709-7: Parameter values for the HDTV standards for production and international programme exchange, 2002.
ステップS114の診断指標算出ステップにおいて、診断指標算出手段により、上記のフローに従って得られた色順応変換後の画像を用いて診断指標を求めることができる。診断指標の算出方法は、本発明者らが開発した非特許文献1および特許文献1に記載の算出方法を用いることができる。簡潔に説明すると、爪甲色素線条のダーモスコピー画像内における各画素のRGB変数値を、RGB空間の3次元ベクトルとみなし、その緯度変数θと経度変数φから、式(12)を用いて診断指標DI値を求める。
Figure 2018216680
診断ステップにおいて、診断手段により、上記方法で算出した診断指標DI値を閾値として区別することで、爪甲色素線状が悪性腫瘍か良性母斑かを診断することができる。診断指標DIの値が、閾値を境界として、閾値よりも大きければ初期の爪部悪性黒色腫、閾値よりも小さければ良性母斑と判断することができる。
本実施形態に係る皮膚疾患の診断装置は、上記の画像読込手段と、画像加工手段と、診断指標算出手段と、診断手段とを備えることができる。
図5は、コンピュータプログラムをインストールして、コンピュータを本発明の皮膚疾患の診断装置として機能させる一例を概略的に示すブロック図である。当該診断装置11は、例えばCPU(中央演算装置)13を有するコンピュータ12において、例えばHDD(ハードディスク駆動装置)からなる記憶装置14に、コンピュータプログラム(ソフトウェア)15をインストールすることによって実現される。診断装置11の機能は、コンピュータ12のハードウェア資源とコンピュータプログラム15のソフトウェアとが協働して実現される。前記コンピュータプログラムには、悪性腫瘍の有無を鑑別するためのコンピュータプログラム、及び/又は、同一被験者の経過観察から得られる経時変化のデータを解析し、その被験者の転帰を診断するためのコンピュータプログラムを含めることもできる。
コンピュータプログラム15のソースコードを、コンピュータ12で読み取り可能な記録媒体(図示せず)に記録する構成とすることもできる。これにより、上記解析方法を用いて爪甲色素線条および皮膚疾患の診断を行うためのコンピュータプログラムを記録した、持ち運び自在な記録媒体を提供することができる。記録媒体としては、例えば、磁気テープ、または、FDやHDD等の磁気ディスク、CD−ROMやMO、DVD等の光ディスク、USBメモリ等の半導体メモリを用いた記録媒体等が挙げられる。
CPU13は、コンピュータプログラム15に基づき様々な演算処理を実行する。コンピュータプログラム15は、上記の可搬性の記録媒体から記憶装置14に取り込まれてもよく、LAN(Local Area Network)やインターネットといったコンピュータネットワークから記憶装置14に取り込まれてもよい。CPU13と記憶装置14とは例えばバス20で相互に接続される。バス20には、さらに入力インターフェース17、バッファ部18および出力インターフェース19が接続される。
入力インターフェース17は、画像を診断装置11に入力する一種のインターフェースとして機能するものであり、外部メモリ21に接続される。外部メモリ21は、例えばCFカードやSDカード、スマートメディア、USBメモリ等であり、その他、図示しない外部機器に搭載されるメモリ等であってもよい。
バッファ部18は例えばRAMにより構成され、入力インターフェース17から入力された画像を格納する。格納された画像は、バス20を介してバッファ部18と接続された記憶装置14内の後述する処理システム部16での処理に使用される。
出力インターフェース19は、例えばディスプレイ等の出力装置22に接続される。この出力インターフェース19を介して、診断装置11に取り込まれた画像や、コンピュータプログラム15による演算結果等が、出力装置22に表示される。
また、例えば爪部メラノーマは進行が比較的遅いため、爪甲色素線条の経過観察を行うことが有用である。特に、小児被験者において、爪甲色素線条が悪性腫瘍によると強く推測されたにも関わらず、経過観察で爪甲色素線条が消失し、悪性腫瘍による爪甲色素線条ではなかったと判明することも経験される。そこで、このような被験者に対して本来不必要な施術を回避するために、本発明では、同一被験者の経過観察によって取得したデータに対して、本実施形態に基づき算出した診断指標DI値の経過観察のデータを用いて、転帰の診断のための解析を行うことができる。診断装置11では、コンピュータプログラム15により、例えば、横軸に時間、縦軸に診断指標DI値をとるグラフを作成し、出力インターフェース19を介して、出力装置22に当該グラフを表示するように構成することができる。検査者は、出力装置22に表示されたグラフを見て、爪甲色素線条または皮膚の色相の経過観察の解析を行うことができる。
尚、図5では、出力装置22を診断装置11の外部に配置しているが、これを診断装置11に含め、一体として設けてもよい。
処理システム部16は、記憶装置14内に配置され、例えばコンピュータプログラム15に基づく演算処理により、バッファ部18に格納された画像を用いて、画像のリサイズや爪甲部または皮膚のROIの抽出、色順応変換による色バランスの標準化等を行うことができる。爪甲部または皮膚のROIの抽出は、輪郭抽出やパターン認識といった周知の画像認識技術を利用した自動抽出機能を備える手段を用いて自動で行ってもよい。または、画像を出力装置22に表示し、コンピュータプログラム15のGUIを介して、マウス等の入力装置(図示せず)を用いて手動(マニュアル)で抽出したり、あるいは上記のようにして自動で抽出したものを、出力装置22の画面上で画像を見ながら手動で修正してもよい。
上記爪部悪性腫瘍の診断のための、若しくは、爪部悪性腫瘍の診断用のデータ取得のための爪甲色素線条の解析または爪部悪性腫瘍の診断の対象疾患の例としては、爪部悪性黒色腫(爪部メラノーマ)やボーエン病など悪性の腫瘍が爪母に生じた後の病変、扁平苔癬、線状苔癬等の皮膚疾患、アジソン病、クッシング症候群等の内分泌異常、ポルフィリン症や栄養失調等の代謝異常、ポイツ・イエーガー症候群や妊娠などの全身疾患、細菌や真菌の感染症、抗がん剤等の薬剤の内服、手指への放射線治療や紫外線療法、外的刺激の反復により爪母や爪母付近に病変を及ぼした後の病変等が挙げられる。これらの中で、爪部悪性黒色腫(爪部メラノーマ)やボーエン病など悪性の腫瘍が好ましく、爪部悪性黒色腫(爪部メラノーマ)がより好ましい。
本明細書において言及される全ての文献はその全体が引用により本明細書に取り込まれる。ここに記述される実施例は本発明の実施形態を例示するものであり、本発明の範囲を限定するものとして解釈されるべきではない。
抽出された爪甲部の領域の相違に対する診断指標DIの診断性能の相違を評価するために、盲検試験を実施した。A、B、C、DおよびEの5人の検査者が盲検試験を実施した。検査者は、それぞれ後述するプロトコルに従って、6枚の爪部悪性黒色腫のJPEG画像と25枚の良性の爪甲色素線条のJPEG画像とを含む31枚のJPEG画像から爪甲部を抽出し、各自が抽出した爪甲部の画像に基づき、それぞれの診断指標DI値の計算を行った。
爪甲色素線条のカラー画像は、ダーモスコープ(Derma 9500、デルマ医療(資)製)に、ディジタルカメラ(Coolpix E990、Nicon社製、またはPowerShot A620、Canon社製)を取付けたもの、または、ダーモスコープ(Dermlite II Fluid、3Gen社製)にディジタルビデオカメラレコーダ(HDR−HC3、Sony社製)を取付けたものを使用して撮影した。透明ジェルは、Johnson & Johnson社製のK−Y jellyを使用した。
爪甲部を抽出するガイドライン(プロトコル)として、以下の内容を検査者に提示した。
(1)JPEG画像の短辺に沿う画素数を、一画素の大きさをリサイズして205に設定する。リサイズされた画素のRGB変数は、バイキュービック法を用いて補間する。
(2)画像上に見えている爪甲に属する画素だけを解析用途に残す。ただし、爪甲上のジェルに含まれる気泡、ハレーション、かけ(割れ)やひっかきキズは除く。
(3)ハッチンソン徴候の領域も解析には含めない。
ステップS102において、爪甲部の抽出は、上述した手動(マニュアル)により行った。ステップS107において第1基準値Yの値は0.18とし、ステップS108において第2基準値Yの値は0.2とした。
図6は爪甲色素線条のカラー写真の白黒図を示すものであり、(a)は爪部悪性黒色腫、(b)および(c)は良性母斑の色バランス標準化前のJPEG画像である。(d)、(e)および(f)は、それぞれ、(a)、(b)および(c)の画像から、検査者Aにより爪甲部が抽出され、本実施形態に係る爪甲色素線条の解析方法により色バランスの標準化を行って得られたカラー画像を示すものである。(a)の画像は白みがかった色をしており、(b)の画像は青みがかった色をしている。(d)および(e)の色合いは、それぞれ(a)および(b)の色合いと大きく異なるが、(f)の色合いは(c)の色合いに近い結果となった。(d)、(e)および(f)の色合いは、肉眼で見た色合いに近かった。
図7に本実施形態に係る爪甲色素線条の解析方法による色バランスの標準化を行わずに診断指標DI値を算出した結果を比較例として示す。検査者A、B、C、DおよびEによって算出された診断指標DI値は、それぞれ31個である。図中、「×」が爪部悪性黒色腫の画像から診断指標DI値を算出した結果、「白丸」が良性母斑の画像から診断指標DI値を算出した結果である。色の多様性が高い画像ほど、診断指標DI値が大きくなる傾向を有していた。比較例において、各検査者A、B、C、DおよびEに対して、感度が100%となるように固定したときに最も高い特異度が得られるように閾値を固定した場合の特異度を求めたところ、特異度はそれぞれ、88%、92%、92%、84%、88%であった。「感度」は初期の爪部悪性黒色腫を陽性と正しく診断する確率、「特異度」は良性母斑を陰性と正しく診断する確率である。「閾値」はそれ以上の指標値をもつ病巣を陽性と診断し、かつ、それ未満の指標値を持つ病巣を陰性と診断する境界値である。感度、特異度および閾値、は、ROC解析(Receiver Operating Characteristic Analysis)により求めた。ここで、DIth(100, 92)との記載は、その閾値において診断性能が感度100%、特異度92%であることを意味する。図7では、各検査者A、B、C、DおよびEにおいて、上と下の実線が、それぞれ、感度を100%に固定したときに得られる最も高い特異度を与える閾値と、二番目に高い特異度を与える閾値とを表している。すなわち、診断指標DIの値が検査者に依存して相違し、爪甲色素線条が悪性腫瘍によるか良性母斑によるかを診断する際の基準となる閾値、および、それに基づく診断成績が、検査者によって異なる結果となった。
図8に本実施形態に係る爪甲色素線条の解析方法による色バランスの標準化を行った後に診断指標DI値を算出した結果を示す。図中、「×」が爪部悪性黒色腫の画像から診断指標DI値を算出した結果、「白丸」が良性母斑の画像から診断指標DI値を算出した結果である。また、表1に、各検査者A、B、C、DおよびEにおけるそれぞれの閾値DIth(100, 96)とDIth(100, 92)の2種類の値を示す。
図8と表1から分かるように、各検査者A、B、C、DおよびEにおいて2種類の閾値が異なるものの、感度100%かつ特異度96%なる診断成績を実現する各検査者A、B、C、DおよびEに共通の閾値DIthのバンド、すなわち0.0922<DIth≦0.0947を得ることができた。図8では、破線が各検査者A、B、C、DおよびEに共通の閾値バンドを示す。本実施形態の解析方法によれば、検査者および撮影デバイスに依存することなく、この共通の閾値バンドを適用することができる。本実施例において、正診率は96.8%であった。「正診率」は初期の爪部悪性黒色腫を陽性と正しく診断し、且つ、良性母斑を陰性と正しく診断する確率である。
本実施例の特異度および正診率は、比較例の特異度および正診率よりも高い結果となった。この結果から、色の多様性の相違が、爪甲色素線条から初期の爪部悪性黒色腫を診断する際に最も重要な特徴の一つであるといえる。
また、本実施形態の解析方法によれば、診断指標DIに対する、解析のために抽出された爪甲部の領域の相違、および、ダーモスコープ3やディジタルカメラ4の機種に依存してJPEG画像等の入力されるカラーディジタル画像に潜在する機種ごとの色バランスのばらつきによる影響を抑えられることができる。したがって、本実施形態の解析方法によれば、経験の浅い検査者でも被験者の爪甲色素線条が悪性腫瘍によるかを診断することができる。
Figure 2018216680
以上、本発明を実施形態および実施例に基づいて説明したが、本発明は種々の変形実施をすることができる。例えば、本実施形態では、診断装置11としてコンピュータ12の例を示したが、タブレット端末やスマートフォン等で処理を行うこともできる。また、診断装置11としてのコンピュータ12の構成は、図5の構成に限定されるものではない。
11 診断装置
15 コンピュータプログラム
第1基準値
第2基準値

Claims (14)

  1. 被験者の爪甲色素線条または皮膚の被験部位のカラー画像をディジタルカラー画像として読み込む画像読込ステップと、
    前記ディジタルカラー画像の全体のサイズを画素サイズ変換を用いて所定の大きさに変換する画像サイズ変換ステップ、および、前記ディジタルカラー画像より診断に必要な関心領域(ROI:Region of Interest)を抽出するROI抽出ステップを含む画像加工ステップと、
    前記ディジタルカラー画像のデータの色バランス調整を色順応変換によって行う色順応変換ステップと、
    色順応変換後の画像を用いて診断指標を求める診断指標算出ステップとを含む、爪部悪性腫瘍の診断、悪性黒色腫を含む皮膚がんの皮膚での診断、または自己免疫性皮膚疾患の診断を行うための爪甲色素線条および皮膚の色相の解析方法。
  2. 被験者の爪甲色素線条および皮膚の色相の解析方法であって、さらに、前記診断指標を閾値として疾患の有無を鑑別するステップを含む、請求項1に記載の爪甲色素線条および皮膚部の解析方法。
  3. 被験者の爪甲色素線条および皮膚の色相の解析方法であって、被験者の転帰を診断するために同一被験者における前記診断指標の経過観察のデータを用いて前記爪甲色素線条または前記皮膚の色相の経時変化を解析するステップを含む、請求項1に記載の爪甲色素線条および皮膚の色相の解析方法。
  4. 前記色順応変換ステップは、
    デガンマ処理によって得られる線形RGB色空間をXYZ色空間へ変換するXYZ変換ステップと、
    前記XYZ色空間で表現された画像内における各画素のXYZパラメータから求めた平均色度座標を基準座標に変換する座標変換ステップと、
    XYZ色空間を線形RGB色空間へ変換した後にガンマ処理を行うRGB変換ステップとを含む請求項1〜3のいずれか1項に記載の爪甲色素線条および皮膚の色相の解析方法。
  5. 前記色順応変換ステップは、
    前記XYZ変換ステップ後に前記平均色度座標を求めるステップとして、
    対象領域全体の画素について、前記XYZパラメータを平均化して得たYの平均値をYの平均輝度信号とみなすステップと、任意の第1基準値および第2基準値を設定するステップとを含み、
    前記Yの平均輝度信号の値が前記第1基準値以上である場合には、対象の画素の全てについて対象領域全体でのX、Y、Zの平均値を算出し、
    前記Yの平均輝度信号の値が前記第1基準値よりも小さい場合には、
    Yの値が前記第2基準値よりも大きい画素に対しては、X、Y、Zの平均値を算出し、
    Yの値が前記第2基準値以下である画素に対しては、前記座標変換ステップを行わない、請求項4に記載の爪甲色素線条および皮膚の色相の解析方法。
  6. 前記爪部悪性腫瘍、前記皮膚部の悪性黒色腫または前記自己免疫性皮膚疾患が、それぞれ初期段階の爪部悪性腫瘍、皮膚部の悪性黒色腫または自己免疫性皮膚疾患である請求項1〜5のいずれか1項に記載の爪甲色素線条および皮膚の色相の解析方法。
  7. 前記爪部悪性腫瘍が爪部悪性黒色腫またはボーエン病から選択され、前記自己免疫性皮膚疾患がエリテマトーデス、皮膚筋炎および強皮症を含む膠原病である請求項1〜6のいずれか1項に記載の爪甲色素線条および皮膚の色相の解析方法。
  8. 被験者の爪甲色素線条または皮膚の被験部位のカラー画像をディジタルカラー画像として読み込む画像読込手段と、
    前記ディジタルカラー画像の全体のサイズを画素サイズ変換を用いて所定の大きさに変換する画像サイズ変換手段、および、前記ディジタルカラー画像より診断に必要な関心領域(ROI:Region of Interest)を抽出するROI抽出手段を備える画像加工手段と、
    前記ディジタルカラー画像のデータの色バランス調整を色順応変換によって行う色順応変換手段と、
    色順応変換後の画像を用いて診断指標を求める診断指標算出手段とを備える、爪部悪性腫瘍の診断、悪性黒色腫を含む皮膚がんの皮膚での診断、または自己免疫性皮膚疾患の診断を行うための診断装置。
  9. さらに、前記診断指標を閾値として区別することにより、爪甲色素線状が悪性腫瘍か良性母斑腫瘍によるかを診断する診断手段を備える請求項8に記載の診断装置。
  10. さらに、同一被験者における前記診断指標の経過観察のデータを用いて前記爪甲色素線条または前記皮膚の色相の経時変化を解析し、前記被験者の転帰を診断する診断手段を備える請求項8に記載の診断装置。
  11. 前記色順応変換手段は、
    デガンマ処理手段によって得られる線形RGB色空間をXYZ色空間へ変換するXYZ変換手段と、
    前記XYZ色空間で表現された画像内における各画素のXYZパラメータから求めた平均色度座標を基準座標に変換する座標変換手段と、
    XYZ色空間を線形RGB色空間へ変換した後にガンマ処理を行うRGB変換手段とを備える請求項8〜10のいずれか1項に記載の診断装置。
  12. 前記色順応変換手段は、
    線形RGB色空間をXYZ色空間へ変換した後に前記平均色度座標を求める手段として、
    対象領域全体の画素について、前記XYZパラメータを平均化して得たYの平均値をYの平均輝度信号とみなす手段と、任意の第1基準値および第2基準値を設定する手段とを備え、
    前記Yの平均輝度信号の値が前記第1基準値以上である場合には、対象の画素の全てについて対象領域全体でのX、Y、Zの平均値を算出し、
    前記Yの平均輝度信号の値が前記第1基準値よりも小さい場合には、
    Yの値が前記第2基準値よりも大きい画素に対しては、X、Y、Zの平均値を算出し、
    Yの値が前記第2基準値以下である画素に対しては、平均色度座標を基準座標に変換しない、請求項11に記載の診断装置。
  13. 前記爪部悪性腫瘍が爪部悪性黒色腫またはボーエン病から選択され、前記自己免疫性皮膚疾患がエリテマトーデス、皮膚筋炎および強皮症を含む膠原病である請求項8〜12のいずれか1項に記載の診断装置。
  14. コンピュータを、請求項8〜13のいずれか1項に記載の爪甲色素線状および皮膚疾患の診断装置として機能させるコンピュータプログラム。
JP2019520258A 2017-05-25 2018-05-22 皮膚疾患の診断のための爪甲色素線条または皮膚の色相の解析方法、診断装置およびコンピュータプログラム Active JP7267545B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017103524 2017-05-25
JP2017103524 2017-05-25
PCT/JP2018/019623 WO2018216680A1 (ja) 2017-05-25 2018-05-22 皮膚疾患の診断のための爪甲色素線条または皮膚の色相の解析方法、診断装置およびコンピュータプログラム

Publications (2)

Publication Number Publication Date
JPWO2018216680A1 true JPWO2018216680A1 (ja) 2020-05-21
JP7267545B2 JP7267545B2 (ja) 2023-05-02

Family

ID=64395610

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019520258A Active JP7267545B2 (ja) 2017-05-25 2018-05-22 皮膚疾患の診断のための爪甲色素線条または皮膚の色相の解析方法、診断装置およびコンピュータプログラム

Country Status (3)

Country Link
US (1) US11200673B2 (ja)
JP (1) JP7267545B2 (ja)
WO (1) WO2018216680A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114224289A (zh) * 2021-12-16 2022-03-25 苏州体素信息科技有限公司 基于深度学习的银屑病甲图像处理方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11350070B2 (en) * 2018-06-04 2022-05-31 Michael Scott Brown Systems, methods and computer programs for colorimetric mapping
WO2022254707A1 (ja) * 2021-06-04 2022-12-08 株式会社ヒューマン・エンジニアリング 判定装置、判定方法およびプログラム
CN114431836A (zh) * 2022-04-11 2022-05-06 中南大学湘雅医院 基于人工智能的甲黑线良恶性预测系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128526A (ja) * 2001-11-27 2007-05-24 Samsung Electronics Co Ltd 標準照明色の変換方法、標準照明色の変換プログラム、標準照明色の変換プログラムを記録したコンピュータにて読取り可能な記録媒体、色情報抽出方法、色情報抽出プログラムを記録したコンピュータにて読取り可能な記録媒体、及び色情報抽出装置
WO2011078206A1 (ja) * 2009-12-24 2011-06-30 三鷹光器株式会社 爪甲色素線条の鑑別ならびに悪性度の可視化方法
KR20150059931A (ko) * 2013-11-25 2015-06-03 한국광기술원 다파장 영상구현 및 영상분석을 통한 흑색종판별방법 및 흑색종판별시스템
JP2016112270A (ja) * 2014-12-17 2016-06-23 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP2016174671A (ja) * 2015-03-19 2016-10-06 株式会社ヒューマン・エンジニアリング 判定装置および判定プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8154612B2 (en) 2005-08-18 2012-04-10 Qualcomm Incorporated Systems, methods, and apparatus for image processing, for color classification, and for skin color detection
JP5253284B2 (ja) * 2009-04-22 2013-07-31 三鷹光器株式会社 爪甲色素線条鑑別閾値の導出方法
US8062493B2 (en) 2009-07-22 2011-11-22 Empire Technology Development Llc Electrophoretic deposition
KR101619342B1 (ko) * 2010-02-26 2016-05-11 (주)아모레퍼시픽 피부 색상 측정 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128526A (ja) * 2001-11-27 2007-05-24 Samsung Electronics Co Ltd 標準照明色の変換方法、標準照明色の変換プログラム、標準照明色の変換プログラムを記録したコンピュータにて読取り可能な記録媒体、色情報抽出方法、色情報抽出プログラムを記録したコンピュータにて読取り可能な記録媒体、及び色情報抽出装置
WO2011078206A1 (ja) * 2009-12-24 2011-06-30 三鷹光器株式会社 爪甲色素線条の鑑別ならびに悪性度の可視化方法
KR20150059931A (ko) * 2013-11-25 2015-06-03 한국광기술원 다파장 영상구현 및 영상분석을 통한 흑색종판별방법 및 흑색종판별시스템
JP2016112270A (ja) * 2014-12-17 2016-06-23 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP2016174671A (ja) * 2015-03-19 2016-10-06 株式会社ヒューマン・エンジニアリング 判定装置および判定プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
本山 比佐夫 他7名: ""第6回メラノーマ研究会/黒色腫ダーモスコピー像の色検出/悪性黒色腫のダーモスコピー画像における特有", SKIN CANCER, vol. 20, no. 2, JPN6022020838, 2005, pages 190 - 196, ISSN: 0004786423 *
長谷川 稔: ""解説/皮膚から見た膠原病"", アレルギー, vol. 64(1), JPN6022020837, 2015, pages 32 - 37, ISSN: 0004786424 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114224289A (zh) * 2021-12-16 2022-03-25 苏州体素信息科技有限公司 基于深度学习的银屑病甲图像处理方法及系统
CN114224289B (zh) * 2021-12-16 2023-08-22 苏州体素信息科技有限公司 基于深度学习的银屑病甲图像处理方法及系统

Also Published As

Publication number Publication date
WO2018216680A1 (ja) 2018-11-29
US11200673B2 (en) 2021-12-14
US20200311939A1 (en) 2020-10-01
JP7267545B2 (ja) 2023-05-02

Similar Documents

Publication Publication Date Title
JP7267545B2 (ja) 皮膚疾患の診断のための爪甲色素線条または皮膚の色相の解析方法、診断装置およびコンピュータプログラム
Zhou et al. Color retinal image enhancement based on luminosity and contrast adjustment
JP5885344B2 (ja) 皮膚又は外皮の色調を特徴付けるための方法
US8027533B2 (en) Method of automated image color calibration
Tomie et al. Blue laser imaging‐bright improves endoscopic recognition of superficial esophageal squamous cell carcinoma
US9418414B2 (en) Image measurement apparatus, image measurement method and image measurement system
JP2009508648A (ja) デジタル画像を用いて人の皮膚状態を分析するためのシステム及び方法
JP5165732B2 (ja) マルチスペクトル画像処理方法、画像処理装置、及び画像処理システム
CN102724909B (zh) 医用图像处理装置和医用图像处理方法
KR101887760B1 (ko) 열화상카메라를 이용한 유방암 진단 장치 및 방법
US10521893B2 (en) Image processing apparatus, imaging system and image processing method
JP2006084425A (ja) マルチスペクトル画像処理方法及びマルチスペクトル皮膚画像による診断方法
JP2007252891A (ja) 肌の美しさの目視評価値の推定方法
JP5253284B2 (ja) 爪甲色素線条鑑別閾値の導出方法
Fujii et al. Extraction of acne lesion in acne patients from multispectral images
Sharma et al. System for Disease detection by analyzing fingernails Color and Texture
US20160100789A1 (en) Computer-aided diagnosis system and computer-aided diagnosis method
Barata et al. 1 Toward a Robust Analysis of Dermoscopy Images Acquired under Different
JP6266948B2 (ja) 黄疸測定システム
CN106370618B (zh) 一种双波长光谱差异度指数人体舌质舌苔分离方法
EP3023936B1 (en) Diagnostic apparatus and image processing method in the same apparatus
KR101801810B1 (ko) 망색 진단 자동화를 위한 색데이터 처리 시스템 및 방법
KR101566618B1 (ko) 충혈도 산출 방법 및 장치
WO2022254707A1 (ja) 判定装置、判定方法およびプログラム
Patil et al. Screening of damage regions in retinopathy using segmentation-color space selection

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210423

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230404

R150 Certificate of patent or registration of utility model

Ref document number: 7267545

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150