JP7044120B2 - 識別装置、識別器学習方法、識別方法及びプログラム - Google Patents
識別装置、識別器学習方法、識別方法及びプログラム Download PDFInfo
- Publication number
- JP7044120B2 JP7044120B2 JP2020019275A JP2020019275A JP7044120B2 JP 7044120 B2 JP7044120 B2 JP 7044120B2 JP 2020019275 A JP2020019275 A JP 2020019275A JP 2020019275 A JP2020019275 A JP 2020019275A JP 7044120 B2 JP7044120 B2 JP 7044120B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- classifier
- affected area
- keratin plug
- plug
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/1032—Determining colour for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/445—Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Mathematical Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dermatology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Description
白色光を含む第1照射光が照射された皮膚又は粘膜に含まれる患部から反射した反射光である第1受光光を受光して撮像することにより得られた第1画像データと、前記患部に照射した場合に前記患部が蛍光反応を示すような光を含む第2照射光が照射された前記患部における蛍光反応によって発生した光を含む光である第2受光光を受光して撮像することにより得られた第2画像データとに基づいて学習された識別器であって、角栓を含む患部が写されている第2画像データを識別対象とする角栓有用識別器と、角栓が無い患部が写されている第2の画像データを識別対象とする角栓無用識別器と、を含む識別器と、
前記第1画像データを取得する第1画像データ取得手段と、
前記第2画像データを取得する第2画像データ取得手段と、
前記第2画像データに基づき、前記患部の角栓の有無を判定する角栓有無判定手段と、
前記第2画像データが前記角栓有無判定手段により角栓有と判定された場合は前記角栓有用識別器による識別結果に基づいて前記患部が悪性であるか否かを識別し、前記第2画像データが前記角栓有無判定手段により角栓無と判定された場合は前記角栓無用識別器による識別結果に基づいて前記患部が悪性であるか否かを識別する最終識別手段と、
を備える。
本発明の実施形態1に係る識別装置100は、図1に示すように、まず患部に、第1照射光としての白色光(可視光の各波長の光が均等に混じった光。)を照射した場合と、患部に照射した場合に患部が蛍光反応を示すような第2照射光(例えば、波長が320nm~440nm、好ましくは、405nmの光。)を照射した場合とで、高速連写でそれぞれについて可視光による撮影を行う。そして、識別装置100は、この連写撮影により得られた、白色光を照射した場合の白色光照射可視光撮影画像データ(以下「白色光画像データ」という)及び紫外光を照射した場合の紫外光照射可視光撮影画像データ(以下「紫外光画像データ」という)を、それぞれの画像データ用に学習した識別器で識別する。そして、識別装置100は、この2つの識別結果に基づいて最終的な識別結果を得る。なお、高速連写とは、連写基準時間(例えば1秒)以下の時間間隔での連続した撮影のことをいう。
上述の実施形態1では、白色光画像データと紫外光画像データとをそれぞれ別々の識別器に入力して患部の識別を行った。しかし、白色光画像データと紫外光画像データとをまとめて1つの識別器に入力することも考えられる。このような変形例1について説明する。
紫外光画像データにおいて、角栓を判別する際に重要な成分はRG2chである。そこで、白色画像データ(RGB3ch)と紫外光画像データのうちRG2chとをまとめて1つの識別器に入力することも考えられる。このような変形例2について説明する。
紫外光画像データを用いることで、角栓の有無を比較的簡単に判定できることは上述した。このことを利用して、学習データを後述する角栓有用の学習データと角栓無用の学習データに分類し、この分類された学習データを用いて、角栓有用の識別器と角栓無用の識別器とをそれぞれ学習させることも考えられる。このような変形例3について以下に説明する。
変形例3では、学習データを角栓有用の学習データと角栓無用の学習データとに分類し、分類した学習データのそれぞれを用いて、専用の識別器(角栓有用の識別器及び角栓無用の識別器)をそれぞれ学習させた。しかし、学習データの分類の仕方は角栓の有無による分類に限定されない。例えば、変形例3の変形例として、学習データを顔及び頭皮用の学習データと体全体用の学習データとに分類し、分類した学習データのそれぞれを用いて、専用の識別器(顔及び頭皮用の識別器及び体全体用の識別器)をそれぞれ学習させる実施形態も考えられる。
なお、上述の実施形態及び変形例では、CNNによる識別器を実現するプログラムを制御部10が実行することにより、制御部10は、第1白色光画像識別器13、第1紫外光画像識別器14、統合画像識別器16、第2白色光画像識別器17、第2紫外光画像識別器18、としても機能することとしていたが、これに限られない。識別装置100,101,102,103は、制御部10とは別のデバイス(例えば、GPU(Graphics Processing Unit)や、専用のIC(Integrated Circuit)等)を備え、当該デバイスにより、第1白色光画像識別器13、第1紫外光画像識別器14、統合画像識別器16、第2白色光画像識別器17、第2紫外光画像識別器18、の機能を実現してもよい。
白色光を含む第1照射光が照射された皮膚又は粘膜に含まれる患部から反射した反射光である第1受光光を受光して撮像することにより得られた第1画像データを取得する第1画像データ取得手段と、
前記患部に照射した場合に前記患部が蛍光反応を示すような光を含む第2照射光が照射された前記患部における蛍光反応によって発生した光を含む光である第2受光光を受光して撮像することにより得られた第2画像データを取得する第2画像データ取得手段と、
前記第1画像データ及び前記第2画像データに基づいて、前記患部を識別する最終識別手段と、
を備える識別装置。
前記第1画像データ取得手段は、前記第1受光光を受光して撮像することにより得られた画像を、色空間の全ての色要素を用いて、前記第1画像データとして取得し、
前記第2画像データ取得手段は、前記第2受光光を受光して撮像することにより得られた画像を、前記色空間の一部の色要素を用いて、前記第2画像データとして取得する、
付記1に記載の識別装置。
前記第1画像データ取得手段は、前記第1受光光を受光して撮像することにより得られた画像のR値、G値及びB値を、前記第1画像データとして取得し、
前記第2画像データ取得手段は、前記第2受光光を受光して撮像することにより得られた画像のR値及びG値を、前記第2画像データとして取得する、
付記2に記載の識別装置。
前記最終識別手段は、前記第1画像データと前記第2画像データとを統合した統合画像データが入力されると前記患部を識別した結果を出力する識別器を用いて前記患部を識別する、
付記1から3のいずれか1つに記載の識別装置。
前記取得された第1画像データに基づいて、前記患部が悪性であるか否かを識別する第1識別手段と、
前記取得された第2画像データに基づいて、前記患部が悪性であるか否かを識別する第2識別手段と、をさらに備え、
前記最終識別手段は、前記第1識別手段による識別結果及び前記第2識別手段による識別結果に基づいて、前記患部を識別する、
付記1から3のいずれか1つに記載の識別装置。
前記第2画像データに基づき、前記患部の角栓の有無を判定する角栓有無判定手段と、
前記角栓有無判定手段により角栓有と判定された前記第2画像データと、前記第1画像データと、に基づいて、前記患部を識別する角栓有用識別手段と、
前記角栓有無判定手段により角栓無と判定された前記第2画像データと、前記第1画像データと、に基づいて、前記患部を識別する角栓無用識別手段と、をさらに備え、
前記最終識別手段は、
前記第2画像データが前記角栓有無判定手段により角栓有と判定された場合は前記角栓有用識別手段による識別結果に基づいて前記患部を識別し、
前記第2画像データが前記角栓有無判定手段により角栓無と判定された場合は前記角栓無用識別手段による識別結果に基づいて前記患部を識別する、
付記1から3のいずれか1つに記載の識別装置。
前記角栓有無判定手段は、前記第2画像データに含まれるR値及びG値の最大値が角栓判定閾値以上か否かにより、前記患部の角栓の有無を判定する、
付記6に記載の識別装置。
前記第1画像データの撮像タイミングと前記第2画像データの撮像タイミングとの時間差は、連写基準時間以下である、
付記1から7のいずれか1つに記載の識別装置。
識別装置における識別器学習方法であって、
白色光を含む第1照射光が照射された皮膚又は粘膜に含まれる患部から反射した反射光である第1受光光を受光して撮像することにより得られた第1画像データを取得する第1画像データ取得ステップと、
前記患部に照射した場合に前記患部が蛍光反応を示すような光を含む第2照射光が照射された前記患部における蛍光反応によって発生した光を含む光である第2受光光を受光して撮像することにより得られた第2画像データを取得する第2画像データ取得ステップと、
前記第1画像データ及び前記第2画像データに基づいて、前記患部を識別する識別器を学習する学習ステップと、
を備える識別器学習方法。
前記第1画像データの撮像タイミングと前記第2画像データの撮像タイミングとの時間差は、連写基準時間以下である、
付記9に記載の識別器学習方法。
前記第1画像データ取得ステップでは、前記第1受光光を受光して撮像することにより得られた画像を、色空間の全ての色要素を用いて、前記第1画像データとして取得し、
前記第2画像データ取得ステップでは、前記第2受光光を受光して撮像することにより得られた画像を、前記色空間の一部の色要素を用いて、前記第2画像データとして取得する、
付記9又は10に記載の識別器学習方法。
前記第2画像データに基づき、前記患部の角栓の有無を判定する角栓有無判定ステップをさらに備え、
前記学習ステップでは、
前記角栓有無判定ステップで角栓有と判定された前記第2画像データと、前記第1画像データと、に基づいて、角栓有と判定された前記患部を識別する角栓有用識別器を学習し、
前記角栓有無判定ステップで角栓無と判定された前記第2画像データと、前記第1画像データと、に基づいて、角栓無と判定された前記患部を識別する角栓無用識別器を学習する、
付記9から11のいずれか1つに記載の識別器学習方法。
前記角栓有無判定ステップでは、前記第2画像データに含まれるR値及びG値の最大値が角栓判定閾値以上か否かにより、前記患部の角栓の有無を判定する、
付記12に記載の識別器学習方法。
複数の候補識別器のそれぞれに対して、また、複数の前記候補識別器の組合せに対して、それぞれ識別結果の正しさを評価した値である評価値を取得する検証ステップと、
前記検証ステップで取得した前記候補識別器のそれぞれの評価値及び前記候補識別器の組合せの評価値に基づいて、前記候補識別器のそれぞれ及び前記候補識別器の組合せの中から、前記患部を識別する識別器として採用する採用識別器を決定する決定ステップと、
をさらに備え、
前記学習ステップでは、前記決定ステップで決定された採用識別器を学習する、
付記9から13のいずれか1つに記載の識別器学習方法。
前記検証ステップでは、前記第1画像データに基づいて前記患部を識別する第1識別器の評価値である第1評価値と、前記第2画像データに基づいて前記患部を識別する第2識別器の評価値である第2評価値と、前記第1識別器の出力値と前記第2識別器の出力値との平均値に基づく前記患部の識別の評価値である第3評価値と、を取得し、
前記決定ステップでは、前記第1評価値、前記第2評価値及び前記第3評価値のうちの最大値に基づいて、前記採用識別器を決定する、
付記14に記載の識別器学習方法。
識別装置における識別方法であって、
白色光を含む第1照射光が照射された皮膚又は粘膜に含まれる患部から反射した反射光である第1受光光を受光して撮像することにより得られた第1画像データを取得する第1画像データ取得ステップと、
前記患部に照射した場合に前記患部が蛍光反応を示すような光を含む第2照射光が照射された前記患部における蛍光反応によって発生した光を含む光である第2受光光を受光して撮像することにより得られた第2画像データを取得する第2画像データ取得ステップと、
前記第1画像データ及び前記第2画像データに基づいて、前記患部を識別する最終識別ステップと、
を備える識別方法。
識別装置のコンピュータに、
白色光を含む第1照射光が照射された皮膚又は粘膜に含まれる患部から反射した反射光である第1受光光を受光して撮像することにより得られた第1画像データを取得する第1画像データ取得ステップ、
前記患部に照射した場合に前記患部が蛍光反応を示すような光を含む第2照射光が照射された前記患部における蛍光反応によって発生した光を含む光である第2受光光を受光して撮像することにより得られた第2画像データを取得する第2画像データ取得ステップ、及び、
前記第1画像データ及び前記第2画像データに基づいて、前記患部を識別する最終識別ステップ、
を実行させるためのプログラム。
Claims (12)
- 白色光を含む第1照射光が照射された皮膚又は粘膜に含まれる患部から反射した反射光である第1受光光を受光して撮像することにより得られた第1画像データと、前記患部に照射した場合に前記患部が蛍光反応を示すような光を含む第2照射光が照射された前記患部における蛍光反応によって発生した光を含む光である第2受光光を受光して撮像することにより得られた第2画像データとに基づいて学習された識別器であって、角栓を含む患部が写されている第2画像データを識別対象とする角栓有用識別器と、角栓が無い患部が写されている第2の画像データを識別対象とする角栓無用識別器と、を含む識別器と、
前記第1画像データを取得する第1画像データ取得手段と、
前記第2画像データを取得する第2画像データ取得手段と、
前記第2画像データに基づき、前記患部の角栓の有無を判定する角栓有無判定手段と、
前記第2画像データが前記角栓有無判定手段により角栓有と判定された場合は前記角栓有用識別器による識別結果に基づいて前記患部が悪性であるか否かを識別し、前記第2画像データが前記角栓有無判定手段により角栓無と判定された場合は前記角栓無用識別器による識別結果に基づいて前記患部が悪性であるか否かを識別する最終識別手段と、
を備えることを特徴とする識別装置。 - 前記第1画像データ取得手段は、前記第1受光光を受光して撮像することにより得られた画像を、色空間の全ての色要素を用いて、前記第1画像データとして取得し、
前記第2画像データ取得手段は、前記第2受光光を受光して撮像することにより得られた画像を、前記色空間の一部の色要素を用いて、前記第2画像データとして取得することを特徴とする、
請求項1に記載の識別装置。 - 前記第1画像データ取得手段は、前記第1受光光を受光して撮像することにより得られた画像のR値、G値及びB値を、前記第1画像データとして取得し、
前記第2画像データ取得手段は、前記第2受光光を受光して撮像することにより得られた画像のR値及びG値を、前記第2画像データとして取得することを特徴とする、
請求項2に記載の識別装置。 - 前記角栓有無判定手段は、前記第2画像データに含まれるR値及びG値の最大値が角栓判定閾値以上か否かにより、前記患部の角栓の有無を判定することを特徴とする、
請求項3に記載の識別装置。 - 前記識別器は、前記第1画像データと前記第2画像データとを統合した統合画像データが入力されると前記患部を識別した結果を出力するように学習されていることを特徴とする、
請求項1から4のいずれか1項に記載の識別装置。 - 前記第1画像データの撮像タイミングと前記第2画像データの撮像タイミングとの時間差は、連写基準時間以下であることを特徴とする、
請求項1から5のいずれか1項に記載の識別装置。 - 識別装置における識別器学習方法であって、
白色光を含む第1照射光が照射された皮膚又は粘膜に含まれる患部から反射した反射光である第1受光光を受光して撮像することにより得られた第1画像データを取得する第1画像データ取得ステップと、
前記患部に照射した場合に前記患部が蛍光反応を示すような光を含む第2照射光が照射された前記患部における蛍光反応によって発生した光を含む光である第2受光光を受光して撮像することにより得られた第2画像データを取得する第2画像データ取得ステップと、
前記第2画像データに基づき、前記患部の角栓の有無を判定する角栓有無判定ステップと、
前記角栓有無判定ステップで角栓有と判定された前記第2画像データと前記第1画像データとに基づいて、前記識別器に含まれる角栓有と判定された前記患部が悪性であるか否かを識別する角栓有用識別器を学習し、前記角栓有無判定ステップで角栓無と判定された前記第2画像データと前記第1画像データとに基づいて、前記識別器に含まれる角栓無と判定された前記患部が悪性であるか否かを識別する角栓無用識別器を学習する学習ステップと、
を含むことを特徴とする識別器学習方法。 - 前記角栓有無判定ステップでは、前記第2画像データに含まれるR値及びG値の最大値が角栓判定閾値以上か否かにより、前記患部の角栓の有無を判定することを特徴とする、
請求項7に記載の識別器学習方法。 - 前記第1画像データの撮像タイミングと前記第2画像データの撮像タイミングとの時間差は、連写基準時間以下であることを特徴とする、
請求項7又は8に記載の識別器学習方法。 - 前記第1画像データ取得ステップでは、前記第1受光光を受光して撮像することにより得られた画像を、色空間の全ての色要素を用いて、前記第1画像データとして取得し、
前記第2画像データ取得ステップでは、前記第2受光光を受光して撮像することにより得られた画像を、前記色空間の一部の色要素を用いて、前記第2画像データとして取得することを特徴とする、
請求項7から9のいずれか1項に記載の識別器学習方法。 - 識別装置における識別方法であって、
前記識別装置は、白色光を含む第1照射光が照射された皮膚又は粘膜に含まれる患部から反射した反射光である第1受光光を受光して撮像することにより得られた第1画像データと、前記患部に照射した場合に前記患部が蛍光反応を示すような光を含む第2照射光が照射された前記患部における蛍光反応によって発生した光を含む光である第2受光光を受光して撮像することにより得られた第2画像データとに基づいて学習された識別器であって、角栓を含む患部が写されている第2画像データを識別対象とする角栓有用識別器と、角栓が無い患部が写されている第2の画像データを識別対象とする角栓無用識別器と、を含む識別器を備え、
前記第1画像データを取得する第1画像データ取得ステップと、
前記第2画像データを取得する第2画像データ取得ステップと、
前記第2画像データに基づき、前記患部の角栓の有無を判定する角栓有無判定ステップと、
前記第2画像データが前記角栓有無判定ステップにて角栓有と判定された場合は前記角栓有用識別器による識別結果に基づいて前記患部が悪性であるか否かを識別し、前記第2画像データが前記角栓有無判定ステップにて角栓無と判定された場合は前記角栓無用識別器による識別結果に基づいて前記患部が悪性であるか否かを識別する最終識別ステップと、
を含むことを特徴とする識別方法。 - 識別装置のコンピュータが実行するプログラムであって、
前記識別装置は、白色光を含む第1照射光が照射された皮膚又は粘膜に含まれる患部から反射した反射光である第1受光光を受光して撮像することにより得られた第1画像データと、前記患部に照射した場合に前記患部が蛍光反応を示すような光を含む第2照射光が照射された前記患部における蛍光反応によって発生した光を含む光である第2受光光を受光して撮像することにより得られた第2画像データとに基づいて学習された識別器であって、角栓を含む患部が写されている第2画像データを識別対象とする角栓有用識別器と、角栓が無い患部が写されている第2の画像データを識別対象とする角栓無用識別器と、を含む識別器を備え、
前記コンピュータを、
前記第2画像データに基づき、前記患部の角栓の有無を判定する角栓有無判定手段、
前記第2画像データが前記角栓有無判定手段により角栓有と判定された場合は前記角栓有用識別器による識別結果に基づいて前記患部が悪性であるか否かを識別し、前記第2画像データが前記角栓有無判定手段により角栓無と判定された場合は前記角栓無用識別器による識別結果に基づいて前記患部が悪性であるか否かを識別する最終識別手段、
として機能させるためのプログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020019275A JP7044120B2 (ja) | 2020-02-07 | 2020-02-07 | 識別装置、識別器学習方法、識別方法及びプログラム |
US16/823,919 US11295443B2 (en) | 2020-02-07 | 2020-03-19 | Identification apparatus, identifier training method, identification method, and recording medium |
EP20165331.8A EP3862923A1 (en) | 2020-02-07 | 2020-03-24 | Identification apparatus, identifier training method, identification method, and program |
AU2020202082A AU2020202082B2 (en) | 2020-02-07 | 2020-03-24 | Identification apparatus, identifier training method, identification method, and program |
CN202010285002.5A CN113256549B (zh) | 2020-02-07 | 2020-04-13 | 识别装置、识别器学习方法、识别方法以及程序 |
JP2021205861A JP7331913B2 (ja) | 2020-02-07 | 2021-12-20 | 識別装置、識別器学習方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020019275A JP7044120B2 (ja) | 2020-02-07 | 2020-02-07 | 識別装置、識別器学習方法、識別方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021205861A Division JP7331913B2 (ja) | 2020-02-07 | 2021-12-20 | 識別装置、識別器学習方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021125056A JP2021125056A (ja) | 2021-08-30 |
JP7044120B2 true JP7044120B2 (ja) | 2022-03-30 |
Family
ID=69960468
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020019275A Active JP7044120B2 (ja) | 2020-02-07 | 2020-02-07 | 識別装置、識別器学習方法、識別方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11295443B2 (ja) |
EP (1) | EP3862923A1 (ja) |
JP (1) | JP7044120B2 (ja) |
CN (1) | CN113256549B (ja) |
AU (1) | AU2020202082B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW202423377A (zh) * | 2022-08-10 | 2024-06-16 | 日商獅子股份有限公司 | 圖像處理裝置、模型生成裝置、皮膚狀態測定系統、圖像處理方法、模型生成方法、判定方法以及教師資料生成方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011033612A (ja) | 2009-07-10 | 2011-02-17 | Nireco Corp | 農産物検査装置 |
WO2016185617A1 (ja) | 2015-05-21 | 2016-11-24 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP2018152106A (ja) | 2018-05-02 | 2018-09-27 | 株式会社日立国際電気 | 水上侵入検知システムおよびその方法 |
JP2018190128A (ja) | 2017-05-01 | 2018-11-29 | 日本電信電話株式会社 | 設定装置、分析システム、設定方法および設定プログラム |
WO2020008834A1 (ja) | 2018-07-05 | 2020-01-09 | 富士フイルム株式会社 | 画像処理装置、方法及び内視鏡システム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6008889A (en) | 1997-04-16 | 1999-12-28 | Zeng; Haishan | Spectrometer system for diagnosis of skin disease |
AU760402B2 (en) * | 1998-12-23 | 2003-05-15 | Medispectra, Inc. | Optical methods and systems for cervical screening |
JP2004215738A (ja) | 2003-01-10 | 2004-08-05 | Pentax Corp | 画像処理装置 |
US8406858B2 (en) | 2005-04-29 | 2013-03-26 | The Regents Of The University Of Colorado, A Body Corporate | Multi-excitation diagnostic system and methods for classification of tissue |
JP5018653B2 (ja) * | 2008-06-04 | 2012-09-05 | 株式会社豊田中央研究所 | 画像識別装置 |
EP3466335B1 (en) * | 2011-12-21 | 2024-07-31 | Catherine M. Shachaf | Fluorescence imaging autofocus method |
JP6017219B2 (ja) * | 2012-08-01 | 2016-10-26 | オリンパス株式会社 | 蛍光観察装置および蛍光観察システム |
CN103815875B (zh) * | 2013-10-28 | 2015-06-03 | 重庆西南医院 | 一种用于烧伤皮肤坏死深度和面积诊断的近红外光谱成像系统 |
JP6164238B2 (ja) | 2015-03-18 | 2017-07-19 | カシオ計算機株式会社 | 診断装置並びに当該診断装置における画像処理方法及びそのプログラム |
US11164670B2 (en) * | 2015-03-18 | 2021-11-02 | Canfield Scientific, Incorporated | Methods and apparatus for identifying skin features of interest |
JP6528608B2 (ja) | 2015-08-28 | 2019-06-12 | カシオ計算機株式会社 | 診断装置、及び診断装置における学習処理方法、並びにプログラム |
US11266331B2 (en) * | 2016-05-16 | 2022-03-08 | Sony Corporation | Optical apparatus and information processing method |
TWI639137B (zh) | 2017-04-27 | 2018-10-21 | 立特克科技股份有限公司 | 皮膚檢測裝置及其檢測方法 |
JP6918584B2 (ja) * | 2017-06-08 | 2021-08-11 | 花王株式会社 | 毛穴詰まり評価方法及び毛穴詰まり評価装置 |
CN109363634A (zh) * | 2018-10-08 | 2019-02-22 | 蔡义文 | 皮肤的测评方法、装置、手机、计算机设备及存储介质 |
-
2020
- 2020-02-07 JP JP2020019275A patent/JP7044120B2/ja active Active
- 2020-03-19 US US16/823,919 patent/US11295443B2/en active Active
- 2020-03-24 EP EP20165331.8A patent/EP3862923A1/en active Pending
- 2020-03-24 AU AU2020202082A patent/AU2020202082B2/en active Active
- 2020-04-13 CN CN202010285002.5A patent/CN113256549B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011033612A (ja) | 2009-07-10 | 2011-02-17 | Nireco Corp | 農産物検査装置 |
WO2016185617A1 (ja) | 2015-05-21 | 2016-11-24 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP2018190128A (ja) | 2017-05-01 | 2018-11-29 | 日本電信電話株式会社 | 設定装置、分析システム、設定方法および設定プログラム |
JP2018152106A (ja) | 2018-05-02 | 2018-09-27 | 株式会社日立国際電気 | 水上侵入検知システムおよびその方法 |
WO2020008834A1 (ja) | 2018-07-05 | 2020-01-09 | 富士フイルム株式会社 | 画像処理装置、方法及び内視鏡システム |
Also Published As
Publication number | Publication date |
---|---|
US11295443B2 (en) | 2022-04-05 |
US20210248738A1 (en) | 2021-08-12 |
AU2020202082B2 (en) | 2022-01-13 |
CN113256549A (zh) | 2021-08-13 |
JP2021125056A (ja) | 2021-08-30 |
EP3862923A1 (en) | 2021-08-11 |
AU2020202082A1 (en) | 2021-08-26 |
CN113256549B (zh) | 2024-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11699102B2 (en) | System and method for multiclass classification of images using a programmable light source | |
US11937973B2 (en) | Systems and media for automatically diagnosing thyroid nodules | |
Zikic et al. | Context-sensitive classification forests for segmentation of brain tumor tissues | |
Raciti et al. | Clinical validation of artificial intelligence–augmented pathology diagnosis demonstrates significant gains in diagnostic accuracy in prostate cancer detection | |
JP2022502150A (ja) | 胃内視鏡イメージのディープラーニングを利用して胃病変を診断する装置及び方法 | |
Jeng et al. | Multiclass classification of autofluorescence images of oral cavity lesions based on quantitative analysis | |
WO2019157078A1 (en) | Systems and methods for analysis and remote interpretation of optical histologic images | |
WO2019130924A1 (ja) | 画像処理装置、内視鏡システム、画像処理方法、及びプログラム | |
US10748279B2 (en) | Image processing apparatus, image processing method, and computer readable recording medium | |
WO2020054543A1 (ja) | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム | |
Nakai et al. | Enhanced deep bottleneck transformer model for skin lesion classification | |
JP7044120B2 (ja) | 識別装置、識別器学習方法、識別方法及びプログラム | |
Javid et al. | Marking early lesions in labial colored dental images using a transfer learning approach | |
Hossain et al. | Cavit: Early stage dental caries detection from smartphone-image using vision transformer | |
JP7331913B2 (ja) | 識別装置、識別器学習方法及びプログラム | |
Sridhar et al. | Lung Segment Anything Model (LuSAM): A Prompt-integrated Framework for Automated Lung Segmentation on ICU Chest X-Ray Images | |
Meyer-Veit et al. | Hyperspectral endoscopy using deep learning for laryngeal cancer segmentation | |
Goswami et al. | Classification of Oral Cancer Into Pre-Cancerous Stages From White Light Images Using LightGBM Algorithm | |
Priya et al. | State-of-art technologies, challenges, and emerging trends of computer vision in dental images | |
JP7520362B2 (ja) | 判別装置、判別端末装置、判別装置の制御方法及び制御プログラム、並びに判別システム | |
US12105771B2 (en) | Apparatus and method for generating training data | |
JP2024019863A (ja) | 健康情報評価システム及び健康情報評価方法 | |
Devindi et al. | Multimodal Deep Convolutional Neural Network Pipeline for AI-Assisted Early Detection of Oral Cancer | |
Adhikari et al. | PiXelNet: A DL-Based method for Diagnosing Lung Cancer using the Histopathological images | |
Bhavishya et al. | Artificial Intelligence in Maxillofacial Radiology by Leaps and Bounds. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201102 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201102 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7044120 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |