JP7083037B2 - 学習装置及び学習方法 - Google Patents

学習装置及び学習方法 Download PDF

Info

Publication number
JP7083037B2
JP7083037B2 JP2020548221A JP2020548221A JP7083037B2 JP 7083037 B2 JP7083037 B2 JP 7083037B2 JP 2020548221 A JP2020548221 A JP 2020548221A JP 2020548221 A JP2020548221 A JP 2020548221A JP 7083037 B2 JP7083037 B2 JP 7083037B2
Authority
JP
Japan
Prior art keywords
image
region
mask data
loss value
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020548221A
Other languages
English (en)
Other versions
JPWO2020059446A1 (ja
Inventor
正明 大酒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020059446A1 publication Critical patent/JPWO2020059446A1/ja
Application granted granted Critical
Publication of JP7083037B2 publication Critical patent/JP7083037B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Description

本発明は学習装置及び学習方法に係り、特に入力画像から所望の注目領域を識別するための技術に関する。
近年、機械学習の分野では、多層ニューラルネットワークを利用する深層学習が注目を集めている。深層学習によれば、ニューラルネットワークは多様な特徴表現を半自動的に獲得できるので、設計者は特徴量の抽出法を考案する必要が無い。特に画像の認識においては、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）が注目されている（非特許文献１）。
また、ＣＮＮを利用してピクセル単位で領域を分離する手法も知られている（非特許文献２）。
ＣＮＮにおいて、入力画像内の注目領域をピクセル単位、もしくはいくつかのピクセルを一塊にした単位で領域分類（セグメンテーション）するためには、入力画像の注目領域とそれ以外でピクセル単位、もしくはいくつかのピクセルを一塊にした単位でアノテーションを行ったマスクデータを作成し、これをＣＮＮに教師データとして与える必要がある。
しかし、ピクセル単位、もしくはいくつかのピクセルを一塊にした単位で分類を行う学習は、学習時のパラメータ変動が大きく、過学習に陥りやすい。
過学習とは、教師データに対しては学習されているが、教師データに合わせすぎる結果、未知データに対しては適合できていない状態（汎化できていない状態）をいう。
この過学習の防止のためには大量の教師データが必要であるが、入力画像の注目領域とそれ以外でピクセル単位、もしくはいくつかのピクセルを一塊にした単位でアノテーションを行ったマスクデータを大量に作成する必要がある。
従来、教師データを生成する装置が提案されている（特許文献１、２）。
特許文献１に記載のデータ処理装置は、教師データを生成する対象となる物体の種別が何であるかを目視により判断し、手動でラベリングを行う代わりに、認識処理部により入力画像から物体の種別を自動的に認識し、その認識結果を入力画像に付加することで、教師データを生成している。
また、特許文献２に記載の教師データ生成装置は、入力画像から抽出されたオブジェクトの形状及びその他の外観要因の少なくともいずれか１つ以上の画像固有成分を記憶するデータベースと，このデータベースに記憶されている画像固有成分を変更して一又は複数種類の別の画像固有成分を生成する変更部と，この別の画像固有成分を用いて少なくとも部分的に入力画像に対応する再構成画像を生成し機械学習に適用する再構成部と、を備えている。
特開２０１８－９６８３４号公報 特許第６３３００９２号公報
A. Krizhevsky, I. Sutskever, and G. Hinton. ImageNet classification with deep convolutional neural networks. In NIPS, 2012 Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation. Computer Vision and Pattern Recognition. IEEE, 2015:34-3440.
特許文献１に記載の発明は、物体のラベリングを自動化することができ、大量の教師データを用意するための労力を軽減することができるが、入力画像からピクセル単位、もしくはいくつかのピクセルを一塊にした単位で領域分類（セグメンテーション）を行うための学習用の教師データを生成するものではない。
また、特許文献２に記載の発明は、一の入力画像から様々なバリエーションの教師データを生成するものであり、特許文献１と同様にセグメンテーションを行うための学習用の教師データを生成するものではない。
本発明はこのような事情に鑑みてなされたもので、教師データの作成が容易であり、かつ過学習を防止することができる学習装置及び学習方法を提供することを目的とする。
上記目的を達成するために本発明の一の態様に係る学習装置は、学習用の第１画像と第１画像に含まれる注目領域よりも広い領域を特定する座標情報とが関連付けられた第１画像セットと、学習用の第２画像と第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた第２画像セットとを記憶する記憶部と、入力画像から特徴マップを出力するニューラルネットワークと、入力画像として、第１画像を入力し、ニューラルネットワークから出力される第１特徴マップと第１画像に関連付けられた座標情報を元に作成した第１マスクデータとを比較し、第１損失値を計算する第１損失値算出部と、入力画像として、第２画像を入力し、ニューラルネットワークから出力される第２特徴マップと第２画像に関連付けられた第２マスクデータとを比較し、第２損失値を計算する第２損失値算出部と、第１損失値及び第２損失値に基づいてニューラルネットワークのパラメータを更新させるパラメータ制御部と、を備える。
本発明の一の態様によれば、第１画像セットの作成に当り、学習用の第１画像と第１画像に含まれる注目領域よりも広い領域を特定する座標情報との関連付けを行うが、注目領域よりも広い領域を特定する座標情報の入力は、注目領域を特定する第２マスクデータを手動で入力する場合（例えば、注目領域をピクセル単位で塗りつぶす作業）に比べて簡単である。即ち、第１画像セットと第２画像セットとを学習データとすることで、第２画像セットのみを学習データとする場合に比べて、学習データ（特に教師データ）を準備するための労力を大幅に軽減することができる。また、注目領域よりも広い領域を特定する座標情報を元に作成した第１マスクデータは、第２マスクデータのように注目領域を正確に示すものではないため、第１マスクデータを使用した学習により、少ないデータ量の画像セットであっても過学習を防止することができ、更に第２マスクデータを使用した学習により、入力画像から注目領域を正確に認識できる学習が可能である。
本発明の他の態様に係る学習装置において、第１画像に関連付けられた座標情報を元に第１マスクデータを作成するマスクデータ作成部を有し、マスクデータ作成部は、第１画像をニューラルネットワークに入力する前に、第１画像に対応する第１マスクデータを作成することが好ましい。
本発明の更に他の態様に係る学習装置において、座標情報は、注目領域を含む四角領域を特定する情報であり、第１マスクデータは、四角領域をマスクしたマスクデータである。
本発明の更に他の態様に係る学習装置において、四角領域内に四角領域よりも小さい領域を設定し、第１損失値算出部は、四角領域内かつ四角領域よりも小さい領域外は損失値の計算に含めないことが好ましい。四角領域内かつ四角領域よりも小さい領域外（特に四角領域の隅の領域）は、背景領域（注目領域ではない領域）である場合が多いからである。
本発明の更に他の態様に係る学習装置において、四角領域内に四角領域よりも小さい領域を設定し、第１損失値算出部は、四角領域よりも小さい領域内は損失値の計算に含めないことが好ましい。
本発明の更に他の態様に係る学習装置において、座標情報は、注目領域を含む楕円領域を特定する情報であり、第１マスクデータは、楕円領域をマスクしたマスクデータである。
本発明の更に他の態様に係る学習装置において、楕円領域内に楕円領域よりも小さい領域を設定し、第１損失値算出部は、楕円領域内かつ楕円領域よりも小さい領域外は損失値の計算に含めないことが好ましい。
本発明の更に他の態様に係る学習装置において、楕円領域内に楕円領域よりも小さい領域を設定し、第１損失値算出部は、楕円領域よりも小さい領域内は損失値の計算に含めないことが好ましい。
本発明の更に他の態様に係る学習装置において、第１損失値算出部は、第１画像よりもサイズが小さい第１特徴マップと第２画像よりもサイズが小さい第１マスクデータとを比較し、第１損失値を計算し、第２損失値算出部は、第２画像よりもサイズが小さい第２特徴マップと第２画像よりもサイズが小さい第２マスクデータとを比較し、第２損失値を計算することが好ましい。第１特徴マップ及び第２特徴マップのサイズは、プーリング処理等により元の第１画像及び第２画像のサイズよりも小さくなるが、第１画像及び第２画像と同じサイズに戻さなくても損失値の計算はできるからである。
本発明の更に他の態様に係る学習装置は、学習用の第１画像と第１画像に含まれる注目領域よりも広い領域を特定する第１マスクデータとが関連付けられた第１画像セットと、学習用の第２画像と第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた第２画像セットとを記憶する記憶部と、入力画像から特徴マップを出力するニューラルネットワークと、入力画像として、第１画像を入力し、ニューラルネットワークから出力される第１特徴マップと第１画像に関連付けられた第１マスクデータとを比較し、第１損失値を計算する第１損失値算出部と、入力画像として、第２画像を入力し、ニューラルネットワークから出力される第２特徴マップと第２画像に関連付けられた第２マスクデータとを比較し、第２損失値を計算する第２損失値算出部と、第１損失値及び第２損失値に基づいてニューラルネットワークのパラメータを更新させるパラメータ制御部と、を備える。
本発明の更に他の態様に係る学習装置において、第１マスクデータ及び第２マスクデータは、少なくとも１回はプーリング処理されたマスクデータであることが好ましい。第１マスクデータ及び第２マスクデータのサイズを、第１特徴マップ及び第２特徴マップのサイズと合わせるためである。
本発明の更に他の態様に係る学習装置において、ニューラルネットワークは、少なくとも１つのプーリング層を有し、第１マスクデータ及び第２マスクデータは、プーリング層に対応するプーリング処理がされたマスクデータであることが好ましい。
本発明の更に他の態様に係る学習装置において、第１画像セットには、ボケ又はブレを含む第１画像が存在することが好ましい。ボケ又はブレを含む第１画像を使用することで、更に過学習を防止可能にする。
本発明の更に他の態様に係る学習装置において、第１画像セットを構成する第１画像及び第２画像セットを構成する第２画像は、それぞれ医用画像であることが好ましい。医用画像には、内視鏡画像、Ｘ線画像、ＣＴ（Computed Tomography）画像、ＭＲＩ（Magnetic Resonance Imaging）画像などが含まれる。
本発明の更に他の態様に係る学習装置において、第１画像セットを構成する第１画像は、動画から抽出した画像であることが好ましい。第１画像を多数取得することができ、また、動画にはボケ又はブレを有する画像が含まれるからである。
本発明の更に他の態様に係る学習装置において、第１画像セットを構成する第１画像及び第２画像セットを構成する第２画像は、それぞれ内視鏡装置で撮像された画像である。
本発明の更に他の態様に係る学習装置において、第２マスクデータは、第２画像に含まれる病変領域をマスクしたマスクデータであることが好ましい。
本発明の更に他の態様に係る学習方法は、学習用の第１画像と第１画像に含まれる注目領域よりも広い領域を特定する座標情報とが関連付けられた第１画像セットと、学習用の第２画像と第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた第２画像セットとを準備するステップと、ニューラルネットワークの入力画像として、第１画像を入力し、ニューラルネットワークから出力される第１特徴マップと第１画像に関連付けられた座標情報を元に作成した第１マスクデータとを比較し、第１損失値を計算するステップと、ニューラルネットワークの入力画像として、第２画像を入力し、ニューラルネットワークから出力される第２特徴マップと第２画像に関連付けられた第２マスクデータとを比較し、第２損失値を計算するステップと、第１損失値及び第２損失値に基づいてニューラルネットワークのパラメータを更新させるステップと、を含む。
本発明の更に他の態様に係る学習方法は、学習用の第１画像と第１画像に含まれる注目領域よりも広い領域を特定する第１マスクデータとが関連付けられた第１画像セットと、学習用の第２画像と第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた第２画像セットとを準備するステップと、ニューラルネットワークの入力画像として、第１画像を入力し、ニューラルネットワークから出力される第１特徴マップと第１画像に関連付けられた第１マスクデータとを比較し、第１損失値を計算するステップと、ニューラルネットワークの入力画像として、第２画像を入力し、ニューラルネットワークから出力される第２特徴マップと第２画像に関連付けられた第２マスクデータとを比較し、第２損失値を計算するステップと、第１損失値及び第２損失値に基づいてニューラルネットワークのパラメータを更新させるステップと、を含む。
本発明によれば、第１画像セット及び第２画像セットを学習データとすることで、第２画像の注目領域とそれ以外の領域とでピクセル単位、もしくはいくつかのピクセルを一塊にした単位でアノテーションを行ったマスクデータが付帯する第２画像セットを大量に作成する必要がなく、第２画像セットのみを学習データとする場合に比べて、学習データを準備するための労力を大幅に軽減することができ、かつ過学習を防止することができる。
図１は、本発明に係る学習装置のハードウエア構成の一例を示すブロック図である。 図２は、第１データベース１４に記憶される第１画像セットの一例を示す図である。 図３は、内視鏡装置により撮像された画像（第１画像）及び四角領域Ｂを示す図である。 図４は、図２に示した座標情報から作成される第１マスクデータを説明するために用いた図である。 図５は、第２データベース１６に記憶される第２画像セットの一例を示す図である。 図６は、本発明に係る学習装置１０の実施形態を示すブロック図である。 図７は、内視鏡装置により撮像された画像（第１画像）及び楕円領域Ｅを示す図である。 図８は、第１マスクデータの他の実施形態を説明するために用いた図である。 図９は、第１マスクデータの更に他の実施形態を説明するために用いた図である。 図１０は、ＣＮＮでのプーリング処理を経る毎に入力画像のサイズに対して特徴マップのサイズが徐々に小さくなる様子を示す模式図である。 図１１は、本発明に係る画像学習方法の実施形態を示すフローチャートである。
以下、添付図面に従って本発明に係る学習装置及び方法の好ましい実施形態について説明する。
［学習装置のハードウエア構成］
図１は、本発明に係る学習装置のハードウエア構成の一例を示すブロック図である。
図１に示す学習装置１０は、入力画像内の注目領域をピクセル単位、もしくはいくつかのピクセルを一塊にした単位で領域分類（セグメンテーション）するための認識器として機能するための学習を行うものであり、パーソナルコンピュータ又はワークステーションにより構成することができる。
本例の学習装置１０は、主として通信部１２と、大容量のストレージもしくは第１データベース１４、第２データベース１６と、操作部１８と、ＣＰＵ（Central Processing Unit）２０と、ＲＡＭ(Random Access Memory)２２と、ＲＯＭ(Read Only Memory)２４と、表示部２６とから構成されている。
通信部１２は、有線又は無線により外部装置との通信処理を行い、外部装置との間で情報のやり取りを行う部分である。
記憶部として機能する第１データベース１４及び第２データベース１６は、それぞれ学習用の第１画像セット及び第２画像セットを記憶している。
第１画像セットは、学習用の第１画像と第１画像に含まれる注目領域よりも広い領域を特定する座標情報とが関連付けられた学習データの集合であり、また、第２画像セットは、学習用の第２画像と第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた学習データの集合である。
図２は、第１データベース１４に記憶される第１画像セットの一例を示す図であり、学習装置１０の入力画像として、内視鏡装置で撮像された第１画像（医用画像）を使用する場合に関して示している。
図２に示すように第１画像セットは、学習装置１０の学習時における入力画像である第１画像（図２の上段に示した画像）と、第１画像に対する教師データとして機能するマスクデータの作成に使用する座標情報（図２の下段に示した座標情報）とが対となって記憶された学習データの集合である。
ここで、座標情報は、図３に示すように第１画像に含まれる病変領域等の注目領域Ａよりも広い四角領域Ｂを特定する座標情報である。本例の座標情報は、注目領域Ａを含む四角領域Ｂの左辺を示す座標（left=ｗ)、上辺を示す座標（top=ｘ）、右辺を示す座標（right=ｙ）、及び下辺を示す座標（bottom=ｚ）を有している。
第１画像に関連付けられた座標情報は、図４の下段に示すマスクデータ（第１マスクデータ）を作成するために使用される。第１マスクデータは、注目領域を含む四角領域を、ピクセル単位、もしくはいくつかのピクセルを一塊にした単位でマスクしたマスクデータであり、例えば、四角領域内のピクセルには、「１」を割り当て、背景領域（四角領域以外の領域）のピクセルには、「０」を割り当てることで２値の画像データとすることができる。
第１画像に含まれる注目領域Ａよりも広い領域を特定する座標情報の入力は、例えば、第１画像を表示部２６に表示させ、ユーザが、操作部１８（マウス等のポインティングデバイス）を操作して、注目領域Ａを囲む矩形枠（図３参照）を表示部２６に表示させ、その矩形枠の位置及びサイズを確定させることで行うことできる。
図５は、第２データベース１６に記憶される第２画像セットの一例を示す図であり、学習装置１０の入力画像として、内視鏡装置で撮像された第２画像（医用画像）を使用する場合に関して示している。
図５に示すように第２画像セットは、学習装置１０の学習時における入力画像である第２画像（図５の上段に示した画像）と、第２画像に対する教師データとして機能するマスクデータ（図５の下段に示した第２マスクデータ）とが対となって記憶された学習データの集合である。
第２マスクデータは、第２画像に含まれる注目領域（例えば、病変領域）をピクセル単位、もしくはいくつかのピクセルを一塊にした単位でマスクしたマスクデータである。
第２画像に含まれる注目領域Ａを特定する第２マスクデータの作成は、例えば、第２画像を表示部２６に表示させ、ユーザが、操作部１８（マウス等のポインティングデバイス）を操作して、注目領域Ａの輪郭を、ピクセル単位、もしくはいくつかのピクセルを一塊にした単位で描画し、又は注目領域Ａをピクセル単位、もしくはいくつかのピクセルを一塊にした単位で塗り潰すことで行うことができる。
ユーザによる座標情報の入力は、第２マスクデータの作成に比べて簡単である。したがって、第１データベース１４に記憶させる第１画像セットは、第２データベース１６に記憶させる第２画像セットに比べて容易に作成することができ、これにより大量の第２画像セットを準備する場合に比べてユーザの労力を大幅に軽減することができる。
また、座標情報により作成される第１マスクデータは、注目領域をピクセル単位で正確に特定するものではないため、第１画像セットを使用する学習は、過学習に陥り難い利点がある。更に、過学習を防止するために、第１画像セットには、ボケ又はブレを含む第１画像が存在することが好ましい。
更にまた、第１画像セットには、ボケ又はブレを含む第１画像が存在してもよいため、例えば、内視鏡スコープが移動中に撮像される動画から抽出した画像であってもよい。動画から第１画像を抽出することで、第１画像は、第２画像に比べて多く集めることができる。
尚、本例では、第１データベース１４及び第２データベース１６は、学習装置１０が備えているが、外部に設けられたものでもよい。この場合、通信部１２を介して外部のデータベースから学習用の第１画像セット及び第２画像セットを取得することができる。
操作部１８は、コンピュータに有線接続又は無線接続されるキーボード及びマウス等が用いられ、機械学習に当たって各種の操作入力を受け付ける。
ＣＰＵ２０は、ＲＯＭ２４又は図示しないハードディスク装置等に記憶された各種のプログラム（機械学習に使用する学習用プログラムを含む）を読み出し、各種の処理を実行する。ＲＡＭ２２は、ＣＰＵ２０の作業領域として使用され、読み出されたプログラムや各種のデータを一時的に記憶する記憶部として用いられる。
表示部２６は、コンピュータに接続可能な液晶モニタ等の各種モニタが用いられ、操作部１８とともに、ユーザインターフェースの一部として使用される。
上記構成の学習装置１０は、操作部１８により指示入力によりＣＰＵ２０が、ＲＯＭ２４やハードディスク装置等に記憶されている学習用プログラムを読み出し、学習用プログラムを実行することにより、後述するように学習装置として機能する。
［学習装置の実施形態］
図６は、本発明に係る学習装置１０の実施形態を示すブロック図であり、図１に示した学習装置１０の主要な機能を示す機能ブロック図である。
図６に示す学習装置１０は、第１データベース１４に保存された第１画像セットと、第２データベース１６に保存された第２画像セットとを用いて学習することにより、入力画像から注目領域の領域分類（セグメンテーション）を行う学習モデルを生成する。本例では、学習モデルの一つである畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）を構築する。
図６に示す学習装置１０は、主としてＣＮＮ３２と、損失値算出部３４と、パラメータ制御部３６と、マスクデータ作成部３８とから構成される。
ＣＮＮ３２は、例えば、内視鏡装置で撮像された画像（医用画像）を入力画像とするとき、その入力画像に写っている病変領域等の注目領域を認識する認識器に対応する部分であり、複数のレイヤ構造を有し、複数の重みパラメータを保持している。重みパラメータは、畳み込み層での畳み込み演算に使用されるカーネルと呼ばれるフィルタのフィルタ係数などである。
ＣＮＮ３２は、重みパラメータが初期値から最適値に更新されることで、未学習モデルから学習済みモデルに変化しうる。
このＣＮＮ３２は、入力層３２Ａと、畳み込み層とプーリング層から構成された複数セットを有する中間層３２Ｂと、出力層３２Ｃとを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。
入力層３２Ａには、学習対象である入力画像３１が入力される。
中間層３２Ｂは、畳み込み層とプーリング層とを１セットとする複数セットを有し、入力層３２Ａから入力した画像から特徴を抽出する部分である。畳み込み層は、前の層で近くにあるノードにフィルタ処理し（フィルタを使用した畳み込み演算を行い）、「特徴マップ」を取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。「畳み込み層」は、画像からのエッジ抽出等の特徴抽出の役割を担い、「プーリング層」は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。
尚、中間層３２Ｂには、畳み込み層とプーリング層とを１セットとする場合に限らず、畳み込み層が連続する場合や活性化関数による活性化プロセス、正規化層も含まれ得る。
出力層３２Ｃは、中間層３２Ｂにより抽出された特徴を示す特徴マップを出力する部分である。また、出力層３２Ｃは、学習済みＣＮＮ３２では、例えば、入力画像に写っている病変領域等の注目領域をピクセル単位、もしくはいくつかのピクセルを一塊にした単位で領域分類（セグメンテーション）した認識結果を出力する。
学習前のＣＮＮ３２の各畳み込み層に適用されるフィルタの係数やオフセット値は、任意の初期値がセットされる。
第１損失値算出部及び第２損失値算出部として機能する損失値算出部３４は、ＣＮＮ３２の出力層３２Ｃから出力される特徴マップと、入力画像（第１画像又は第２画像）に対する教師データであるマスクデータ（第１マスクデータ又は第２マスクデータ）とを比較し、両者間の誤差（損失関数の値である損失値）を計算する。損失値の計算方法は、例えばソフトマックスクロスエントロピー、シグモイドなどが考えられる。
パラメータ制御部３６は、損失値算出部３４により算出された損失値（第１損失値、第２損失値）を元に、誤差逆伝播法によりＣＮＮ３２の重みパラメータを調整する。
このパラメータの調整処理を繰り返し行い、ＣＮＮ３２の出力と教師データであるマスクデータとの差が小さくなるまで繰り返し学習を行う。
マスクデータ作成部３８は、第１データベース１４に保存された第１画像セットの中から学習に使用する１又は複数（１バッチ）の学習データを取得し、取得した学習データを用いて学習を行う場合、学習データを構成する第１画像をＣＮＮ３２に入力する前に、ＣＮＮ３２に入力する第１画像に関連付けられた座標情報３７を元に第１マスクデータを作成する。
本例の座標情報３７は、図３に示すように注目領域Ａを含む四角領域の４辺（左辺、上辺、右辺、下辺）を示す座標情報であり、マスクデータ作成部３８は、これらの４辺の座標情報に基づいて四角領域をマスクした（四角領域と背景領域とを領域分類した）第１マスクデータを作成する。この第１マスクデータは、入力画像である第１画像に対する教師データである。尚、四角領域を特定するための座標情報は、四角領域の４辺を示す座標情報に限らず、例えば、四角領域の対角の２つの頂点を示す座標でもよい。
上記構成の学習装置１０は、第１データベース１４に記憶された第１画像セットと、第２データベース１６に記憶された第２画像セットとを使用して学習を行うが、第１画像セットに含まれる学習データと、第２画像セットに含まれる学習データとを交互に使用し、又は適当に混在させて使用して学習する場合、あるいは最初に第１画像セットに含まれる学習データを使用して学習し、その後、第２画像セットに含まれる学習データを使用して学習する場合が考えられる。
いま、ＣＮＮ３２が、第１データベース１４に記憶された第１画像セットに含まれる学習データに基づいて学習を行う場合、マスクデータ作成部３８は、第１データベース１４から取得した学習データを構成する第１画像を、入力画像３１としてＣＮＮ３２（入力層３２Ａ）に入力する前に、その第１画像に関連付けられた座標情報３７を元に第１マスクデータを作成し、これをマスクデータ３５とする。
その後、第１画像をＣＮＮ３２に入力し、ＣＮＮ３２の出力層３２Ｃからの出力である特徴マップが、損失値算出部３４に加えられる。
損失値算出部３４には、マスクデータ作成部３８により作成された第１マスクデータが加えられており、第１損失値算出部として機能する損失値算出部３４は、入力する特徴マップ（第１特徴マップ）と第１マスクデータとを比較し、損失値（第１損失値）を計算する。
パラメータ制御部３６は、損失値算出部３４により算出された第１損失値を元に、誤差逆伝播法によりＣＮＮ３２の重みパラメータを調整する。誤差逆伝播法では、誤差を最終レイヤから順に逆伝播させ、各レイヤにおいて確率的勾配降下法を行い、誤差が収束するまでパラメータの更新を繰り返す。
次に、ＣＮＮ３２が、第２データベース１６に記憶された第２画像セットに含まれる学習データに基づいて学習を行う場合、第２データベース１６から取得した学習データを構成する第２画像を、入力画像３１としてＣＮＮ３２（入力層３２Ａ）に入力する。そして、ＣＮＮ３２の出力層３２Ｃからの出力である特徴マップが、損失値算出部３４に加えられる。
損失値算出部３４には、ＣＮＮ３２に入力された第２画像に関連付けられた第２マスクデータが加えられており、第２損失値算出部として機能する損失値算出部３４は、入力する特徴マップ（第２特徴マップ）と第２マスクデータとに基づいて損失値（第２損失値）を算出する。
パラメータ制御部３６は、損失値算出部３４により算出された第２損失値を元に、誤差逆伝播法によりＣＮＮ３２の重みパラメータを調整する。
学習装置１０は、以上の第１画像セットの学習データを使用した学習と、第２画像セットの学習データを使用した学習とを繰り返すことで、ＣＮＮ３２が学習済みモデルとなり、未知の入力画像に対して注目領域をピクセル単位、もしくはいくつかのピクセルを一塊にした単位で領域分類する認識結果を出力する。
この学習装置１０によれば、学習データとして、第２画像セットだけでなく、第１画像セットを使用することで、大量の第２画像セットを使用しなくても過学習に陥ることがなく、大量の第２画像セットを使用する場合と同等の認識結果を出力する学習モデルを生成することができる。
また、第１画像セットの学習データは、第１画像に含まれる注目領域よりも広い領域を特定する座標情報を指定することで作成することができ、画像に含まれる注目領域を特定するマスクデータ（第２マスクデータ）を教師データとして作成する必要がある、第２画像セットの学習データに比べて簡単に作成することができる。
また、この学習装置１０は、第１画像と座標情報のセット（第１画像セット）を受け取るが、第１画像とマスクデータ（第１マスクデータ）のセットを受け取る構成としても良い。
［第１画像セットの他の実施形態］
図２に示した第１画像セットの学習データは、第１画像に関連付けて、第１画像に含まれる注目領域Ａよりも広い四角領域を特定する座標情報を有するが、これに限らず、例えば注目領域よりも広い楕円領域を特定する座標情報でもよい。
図７は、内視鏡装置により撮像された画像（第１画像）及び楕円領域Ｅを示す図である。楕円領域Ｅは、第１画像に含まれる注目領域Ａを含む領域であり、注目領域Ａよりも広い。
楕円領域Ｅは、その長軸方向と注目領域Ａの最も長い方向と一致するように方向を決定することが好ましい。
楕円領域Ｅを特定する座標情報としては、図７に示すように楕円領域Ｅの長軸の両端（ａ，ｂ）の座標情報、及び短軸の両端（ｃ，ｄ）の座標情報が考えられる。
［第１マスクデータの他の実施形態］
図４に示した第１マスクデータは、図２に示した座標情報により特定される四角領域をマスクしたマスクデータであるが、四角領域内に四角領域よりも小さい領域を設定し、四角領域内かつ四角領域よりも小さい領域外の領域は、第１損失値算出部として機能する損失値算出部３４での損失値の計算に含めないマスクデータとすることができる。
図８に示すように注目領域Ａを含む四角領域Ｂ内に、四角領域Ｂよりも小さい領域Ｃを設定する。この領域Ｃも注目領域Ａを含む領域である。
そして、四角領域Ｂ内かつ四角領域Ｂよりも小さい領域Ｃ外の領域Ｄ（図８上で、四角領域Ｂの四隅の領域）は、損失値算出部３４での損失値の計算に含めないようにする。
例えば、四角領域Ｂよりも小さい領域Ｃ内のピクセルには、「１」を割り当て、背景領域（四角領域Ｂの外側の領域）のピクセルには、「０」を割り当て、四角領域Ｂ内かつ四角領域Ｂよりも小さい領域Ｃ外の領域Ｄのピクセルには、「－１」を割り当てることで、３値の画像データとすることができる。
損失値算出部３４は、「－１」が割り当てられた領域Ｄ内のピクセルについては、損失値の計算に含めないようにする。
尚、四角領域Ｂ内かつ四角領域Ｂよりも小さい領域Ｃを、注目領域Ａを含む円領域又は楕円領域とする場合には、領域Ｃを特定する座標情報は、円領域又は楕円領域を示す情報とすることができ、また、四角領域Ｂの四隅をカットした八角形の領域とする場合には、八角形の領域を示す情報とすることができる。
また、第１マスクデータとして、楕円領域Ｅをマスクするマスクデータの場合（図７）、図９に示すように楕円領域Ｅ内に楕円領域Ｅよりも小さい領域Ｆを設定する。そして、楕円領域Ｅ内かつ楕円領域Ｅよりも小さい領域Ｆ外は、第１損失値算出部として機能する損失値算出部３４での損失値の計算に含めないマスクデータとすることができる。
例えば、楕円領域Ｅよりも小さい領域Ｆ内のピクセルには、「１」を割り当て、背景領域（楕円領域Ｅの外側の領域）のピクセルには、「０」を割り当て、楕円領域Ｅ内かつ楕円領域Ｅよりも小さい領域Ｆ外の領域Ｇのピクセルには、「－１」を割り当てることで、３値の画像データとすることができる。
損失値算出部３４は、「－１」が割り当てられた領域Ｇ内のピクセルについては、損失値の計算に含めないようにする。
尚、楕円領域Ｅ内かつ楕円領域Ｅよりも小さい領域Ｆを、注目領域Ａを含む他の楕円領域又は円領域とする場合には、領域Ｇを特定する座標情報は、他の楕円領域又は円領域を示す情報とすることができる。
更に、図８を用いて説明した第１マスクデータは、四角領域Ｂよりも小さい領域Ｃと、四角領域Ｂの外側の領域と、四角領域Ｂ内かつ四角領域Ｂよりも小さい領域Ｃ外の領域Ｄとを領域分類するマスクデータであるが、第１マスクデータとして、四角領域Ｂ内に四角領域Ｂよりも小さい領域Ｃを設定し、四角領域Ｂよりも小さい領域Ｃは、損失値算出部３４での損失値の計算に含めないマスクデータとすることができる。この場合、図８を用いて説明した第１マスクデータの「－１」が割り当てられた領域と、「１」が割り当てられた領域とが逆転することになる。
同様に、図９を用いて説明した第１マスクデータは、楕円領域Ｅよりも小さい領域Ｆと、楕円領域Ｅの外側の領域（背景領域）と、楕円領域Ｅ内かつ楕円領域Ｅよりも小さい領域Ｆ外の領域Ｇとを領域分類するマスクデータであるが、第１マスクデータとして、楕円領域Ｅ内に楕円領域Ｅよりも小さい領域Ｆを設定し、楕円領域Ｅよりも小さい領域Ｆは、損失値算出部３４での損失値の計算に含めないマスクデータとすることができる。
［学習装置の変形例］
本実施形態の学習装置１０は、ＣＮＮ３２の出力が、入力画像のサイズになるようにデコンボリューション処理や拡大処理を行うが、学習装置の変形例では、拡大処理等を行わず、１回以上のプーリング処理により入力画像のサイズよりも小さくなった特徴マップをそのまま出力する。
図１０は、ＣＮＮでのプーリング処理を経る毎に入力画像のサイズに対して特徴マップのサイズが徐々に小さくなる様子を示す模式図である。
学習装置の変形例では、ＣＮＮの出力層から出力される特徴マップ（入力画像のサイズになるように拡大処理されていない特徴マップ）と同じサイズの第１マスクデータ及び第２マスクデータを作成する。
この場合、入力画像と同じサイズの第１マスクデータ、又は第２マスクデータに対して、ＣＮＮのプーリング処理と同じ処理（少なくとも１回のプーリング処理）を施すことで、ＣＮＮの出力層から出力される特徴マップと同じサイズの第１マスクデータ、又は第２マスクデータにすることができる。
損失値算出部３４は、ＣＮＮから出力される拡大処理されていない特徴マップと、少なくとも１回のプーリング処理により縮小された第１マスクデータ、又は第２マスクデータとに基づいて損失値を算出することができる。
［学習方法］
図１１は、本発明に係る画像学習方法の実施形態を示すフローチャートであり、図６に示した学習装置１０の各部の処理手順に関して示している。
第１データベース１４及び第２データベース１６には、それぞれ学習用の第１画像セット及び第２画像セットが格納される（画像セットを準備するステップＳ１０）。
第１画像セットの学習データを使用して学習する場合には、ステップＳ１２に遷移し、第２画像セットの学習データを使用して学習する場合には、ステップＳ２２に遷移する。尚、第１画像セットの学習データを使用するか、又は第２画像セットの学習データを使用するかは、予めプログラムにより決定されているものとする。
ステップＳ１２では、第１画像セットから１又は１バッチの学習データを取得する。第１画像セットから取得した学習データには、学習時の入力画像となる第１画像と、教師データとなる第１マスクデータを作成するための座標情報とを含む（図２参照）。
図６に示した学習装置１０のマスクデータ作成部３８は、ステップＳ１２で取得した座標情報を元に第１マスクデータを作成する（ステップＳ１３）。
続いて、ステップＳ１２で取得した第１画像を、ＣＮＮ３２の入力画像３１として入力し、ＣＮＮ３２から出力される特徴マップを取得する（ステップＳ１４）。
損失値算出部３４は、ステップＳ１４で取得した特徴マップとステップＳ１３で作成した第１マスクデータとを比較し、損失値（第１損失値）を計算する（ステップＳ１６）。
パラメータ制御部３６は、損失値算出部３４により算出された第１損失値を元に、誤差逆伝播法によりＣＮＮ３２の重みパラメータを調整（更新）する（ステップＳ１８）。ステップＳ１４からステップＳ１８の処理は、誤差が収束するまで実行し、パラメータの更新を繰り返す。
続いて、第１画像セット及び第２画像セットを使用した所望の学習が終了したか否かを判別し（ステップＳ２０）、終了していないと判別されると（「No」の場合）、ステップＳ１２又はステップＳ２２に遷移する。
そして、第２画像セットの学習データを使用して学習する場合には、ステップＳ２２に進む。
ステップＳ２２では、第２画像セットから１又は１バッチの学習データを取得する。第２画像セットから取得した学習データには、学習時の入力画像となる第２画像と、教師データとなる第２マスクデータとを含む（図５参照）。
次に、ステップＳ２２で取得した第２画像を、ＣＮＮ３２の入力画像３１として入力し、ＣＮＮ３２から出力される特徴マップを取得する（ステップＳ２４）。
損失値算出部３４は、ステップＳ２４で取得した特徴マップとステップＳ２２で取得した第２マスクデータとを比較し、損失値（第２損失値）を計算する（ステップＳ２６）。
パラメータ制御部３６は、損失値算出部３４により算出された第２損失値を元に、誤差逆伝播法によりＣＮＮ３２の重みパラメータを調整（更新）する（ステップＳ２８）。ステップＳ２４からステップＳ２８の処理は、誤差が収束するまで実行し、パラメータの更新を繰り返す。
その後、ステップＳ２０において、第１画像セット及び第２画像セットを使用した所望の学習が終了したと判別されると（「Yes」の場合）、本学習方法による処理が終了する。
［その他］
本実施形態の学習装置１０の各種制御を実行するハードウエア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
１つの制御部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウエア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
また、これらの各種のプロセッサのハードウエア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１０ 学習装置
１２ 通信部
１４ 第１データベース
１６ 第２データベース
１８ 操作部
２０ ＣＰＵ
２２ ＲＡＭ
２４ ＲＯＭ
２６ 表示部
３１ 入力画像
３２Ａ 入力層
３２Ｂ 中間層
３２Ｃ 出力層
３４ 損失値算出部
３５ マスクデータ
３６ パラメータ制御部
３７ 座標情報
３８ マスクデータ作成部
Ｓ１０～Ｓ２８ ステップ

Claims (19)

  1. 学習用の第１画像と前記第１画像に含まれる注目領域よりも広い領域を特定する座標情報とが関連付けられた第１画像セットと、学習用の第２画像と前記第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた第２画像セットとを記憶する記憶部と、
    入力画像から特徴マップを出力するニューラルネットワークと、
    前記入力画像として、前記第１画像を入力し、前記ニューラルネットワークから出力される第１特徴マップと前記第１画像に関連付けられた前記座標情報を元に作成した第１マスクデータとを比較し、第１損失値を計算する第１損失値算出部と、
    前記入力画像として、前記第２画像を入力し、前記ニューラルネットワークから出力される第２特徴マップと前記第２画像に関連付けられた前記第２マスクデータとを比較し、第２損失値を計算する第２損失値算出部と、
    前記第１損失値及び前記第２損失値に基づいて前記ニューラルネットワークのパラメータを更新させるパラメータ制御部と、
    を備えた学習装置。
  2. 前記第１画像に関連付けられた前記座標情報を元に前記第１マスクデータを作成するマスクデータ作成部を有し、
    前記マスクデータ作成部は、前記第１画像を前記ニューラルネットワークに入力する前に、当該第１画像に対応する前記第１マスクデータを作成する請求項１に記載の学習装置。
  3. 前記座標情報は、前記注目領域を含む四角領域を特定する情報であり、前記第１マスクデータは、前記四角領域をマスクしたマスクデータである請求項１又は２に記載の学習装置。
  4. 前記四角領域内に前記四角領域よりも小さい領域を設定し、
    前記第１損失値算出部は、前記四角領域内かつ前記四角領域よりも小さい領域外は損失値の計算に含めない請求項３に記載の学習装置。
  5. 前記四角領域内に前記四角領域よりも小さい領域を設定し、
    前記第１損失値算出部は、前記四角領域よりも小さい領域は損失値の計算に含めない請求項３に記載の学習装置。
  6. 前記座標情報は、前記注目領域を含む楕円領域を特定する情報であり、前記第１マスクデータは、前記楕円領域をマスクしたマスクデータである請求項１又は２に記載の学習装置。
  7. 前記楕円領域内に前記楕円領域よりも小さい領域を設定し、
    前記第１損失値算出部は、前記楕円領域内かつ前記楕円領域よりも小さい領域外は損失値の計算に含めない請求項６に記載の学習装置。
  8. 前記楕円領域内に前記楕円領域よりも小さい領域を設定し、
    前記第１損失値算出部は、前記楕円領域よりも小さい領域内は損失値の計算に含めない請求項６に記載の学習装置。
  9. 前記第１損失値算出部は、前記第１画像よりもサイズが小さい前記第１特徴マップと前記第１画像よりもサイズが小さい前記第１マスクデータとを比較し、前記第１損失値を計算し、
    前記第２損失値算出部は、前記第２画像よりもサイズが小さい前記第２特徴マップと前記第２画像よりもサイズが小さい前記第２マスクデータとを比較し、前記第２損失値を計算する請求項１から８のいずれか１項に記載の学習装置。
  10. 学習用の第１画像と前記第１画像に含まれる注目領域よりも広い領域を特定する第１マスクデータとが関連付けられた第１画像セットと、学習用の第２画像と前記第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた第２画像セットとを記憶する記憶部と、
    入力画像から特徴マップを出力するニューラルネットワークと、
    前記入力画像として、前記第１画像を入力し、前記ニューラルネットワークから出力される第１特徴マップと前記第１画像に関連付けられた前記第１マスクデータとを比較し、第１損失値を計算する第１損失値算出部と、
    前記入力画像として、前記第２画像を入力し、前記ニューラルネットワークから出力される第２特徴マップと前記第２画像に関連付けられた前記第２マスクデータとを比較し、第２損失値を計算する第２損失値算出部と、
    前記第１損失値及び前記第２損失値に基づいて前記ニューラルネットワークのパラメータを更新させるパラメータ制御部と、
    を備えた学習装置。
  11. 前記第１マスクデータ及び前記第２マスクデータは、少なくとも１回はプーリング処理されたマスクデータである請求項１から１０のいずれか１項に記載の学習装置。
  12. 前記ニューラルネットワークは、少なくとも１つのプーリング層を有し、
    前記第１マスクデータ及び前記第２マスクデータは、前記プーリング層に対応するプーリング処理がされたマスクデータである請求項１１に記載の学習装置。
  13. 前記第１画像セットには、ボケ又はブレを含む前記第１画像が存在する請求項１から１１のいずれか１項に記載の学習装置。
  14. 前記第１画像セットを構成する前記第１画像及び前記第２画像セットを構成する前記第２画像は、それぞれ医用画像である請求項１から１２のいずれか１項に記載の学習装置。
  15. 前記第１画像セットを構成する前記第１画像は、動画から抽出した画像である請求項１から１３のいずれか１項に記載の学習装置。
  16. 前記第１画像セットを構成する前記第１画像及び前記第２画像セットを構成する前記第２画像は、それぞれ内視鏡装置で撮像された画像である請求項１から１５のいずれか１項に記載の学習装置。
  17. 前記第２マスクデータは、前記第２画像に含まれる病変領域をマスクしたマスクデータである請求項１から１６のいずれか１項に記載の学習装置。
  18. 学習用の第１画像と前記第１画像に含まれる注目領域よりも広い領域を特定する座標情報とが関連付けられた第１画像セットと、学習用の第２画像と前記第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた第２画像セットとを準備するステップと、
    ニューラルネットワークの入力画像として、前記第１画像を入力し、前記ニューラルネットワークから出力される第１特徴マップと前記第１画像に関連付けられた前記座標情報を元に作成した第１マスクデータとを比較し、第１損失値を計算するステップと、
    前記ニューラルネットワークの入力画像として、前記第２画像を入力し、前記ニューラルネットワークから出力される第２特徴マップと前記第２画像に関連付けられた前記第２マスクデータとを比較し、第２損失値を計算するステップと、
    前記第１損失値及び前記第２損失値に基づいて前記ニューラルネットワークのパラメータを更新させるステップと、
    を含む学習方法。
  19. 学習用の第１画像と前記第１画像に含まれる注目領域よりも広い領域を特定する第１マスクデータとが関連付けられた第１画像セットと、学習用の第２画像と前記第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた第２画像セットとを準備するステップと、
    ニューラルネットワークの入力画像として、前記第１画像を入力し、前記ニューラルネットワークから出力される第１特徴マップと前記第１画像に関連付けられた前記第１マスクデータとを比較し、第１損失値を計算するステップと、
    前記ニューラルネットワークの入力画像として、前記第２画像を入力し、前記ニューラルネットワークから出力される第２特徴マップと前記第２画像に関連付けられた前記第２マスクデータとを比較し、第２損失値を計算するステップと、
    前記第１損失値及び前記第２損失値に基づいて前記ニューラルネットワークのパラメータを更新させるステップと、
    を含む学習方法。
JP2020548221A 2018-09-20 2019-08-28 学習装置及び学習方法 Active JP7083037B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018176317 2018-09-20
JP2018176317 2018-09-20
PCT/JP2019/033599 WO2020059446A1 (ja) 2018-09-20 2019-08-28 学習装置及び学習方法

Publications (2)

Publication Number Publication Date
JPWO2020059446A1 JPWO2020059446A1 (ja) 2021-09-09
JP7083037B2 true JP7083037B2 (ja) 2022-06-09

Family

ID=69888750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020548221A Active JP7083037B2 (ja) 2018-09-20 2019-08-28 学習装置及び学習方法

Country Status (2)

Country Link
JP (1) JP7083037B2 (ja)
WO (1) WO2020059446A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709456A (zh) * 2020-05-22 2020-09-25 五邑大学 酒瓶表面缺陷检测方法、电子装置及存储介质
CN112288097B (zh) * 2020-10-29 2024-04-02 平安科技（深圳）有限公司 联邦学习数据处理方法、装置、计算机设备及存储介质
EP4293615A1 (en) * 2021-02-10 2023-12-20 FUJIFILM Corporation Learning device, learning method, trained model, and program
CN113255700B (zh) * 2021-06-10 2021-11-02 展讯通信（上海）有限公司 图像的特征图的处理方法及装置、存储介质、终端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170109881A1 (en) 2015-10-14 2017-04-20 The Regents Of The University Of California Automated segmentation of organ chambers using deep learning methods from medical imaging
WO2017106645A1 (en) 2015-12-18 2017-06-22 The Regents Of The University Of California Interpretation and quantification of emergency features on head computed tomography

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170109881A1 (en) 2015-10-14 2017-04-20 The Regents Of The University Of California Automated segmentation of organ chambers using deep learning methods from medical imaging
WO2017106645A1 (en) 2015-12-18 2017-06-22 The Regents Of The University Of California Interpretation and quantification of emergency features on head computed tomography

Also Published As

Publication number Publication date
WO2020059446A1 (ja) 2020-03-26
JPWO2020059446A1 (ja) 2021-09-09
US20210216823A1 (en) 2021-07-15

Similar Documents

Publication Publication Date Title
JP7083037B2 (ja) 学習装置及び学習方法
US11200638B2 (en) Image style transform methods and apparatuses, devices and storage media
JP6843086B2 (ja) 画像処理システム、画像においてマルチラベル意味エッジ検出を行う方法、および、非一時的コンピューター可読記憶媒体
JP6505124B2 (ja) 適応性放射線治療における自動輪郭抽出システム及び方法
CN113728335A (zh) 用于3d图像的分类和可视化的方法和系统
JP7019815B2 (ja) 学習装置
CN112602099A (zh) 基于深度学习的配准
US20210201017A1 (en) Learning apparatus, operation program of learning apparatus, and operation method of learning apparatus
US9984311B2 (en) Method and system for image segmentation using a directed graph
CN111316290B (zh) 用于通过对特征本体的深度学习来进行交互式表示学习迁移的系统和方法
Zhao et al. Versatile framework for medical image processing and analysis with application to automatic bone age assessment
Cuadros Linares et al. Mandible and skull segmentation in cone beam computed tomography using super-voxels and graph clustering
CN110570394B (zh) 医学图像分割方法、装置、设备及存储介质
Wiestler et al. Deep learning for medical image analysis: a brief introduction
CN111105421A (zh) 一种脑白质高信号分割方法、装置、设备及存储介质
JP6622150B2 (ja) 情報処理装置および情報処理方法
CN110335254B (zh) 眼底图像区域化深度学习方法、装置和设备及存储介质
CN117058554A (zh) 电力设备目标检测方法、模型训练方法和装置
US12009105B2 (en) Learning apparatus and learning method for training neural network
Khan et al. A Computer-Aided Diagnostic System to Identify Diabetic Retinopathy, Utilizing a Modified Compact Convolutional Transformer and Low-Resolution Images to Reduce Computation Time. Biomedicines. 2023. No. 11. Art. 1566
Bennai et al. Towards a generic Multi-agent approach for medical image segmentation
JP2004062505A (ja) 画像処理装置
US11721022B2 (en) Apparatus and method for automated analyses of ultrasound images
Felsberg et al. Computer Analysis of Images and Patterns: 17th International Conference, CAIP 2017, Ystad, Sweden, August 22-24, 2017, Proceedings, Part II
US20230306608A1 (en) Image processing apparatus, method and program, and learning apparatus, method and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210507

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220530

R150 Certificate of patent or registration of utility model

Ref document number: 7083037

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150