JP7019815B2 - 学習装置 - Google Patents

学習装置 Download PDF

Info

Publication number
JP7019815B2
JP7019815B2 JP2020532265A JP2020532265A JP7019815B2 JP 7019815 B2 JP7019815 B2 JP 7019815B2 JP 2020532265 A JP2020532265 A JP 2020532265A JP 2020532265 A JP2020532265 A JP 2020532265A JP 7019815 B2 JP7019815 B2 JP 7019815B2
Authority
JP
Japan
Prior art keywords
feature amount
input layer
layer
input
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020532265A
Other languages
English (en)
Other versions
JPWO2020022027A1 (ja
Inventor
正明 大酒
誠 大関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020022027A1 publication Critical patent/JPWO2020022027A1/ja
Application granted granted Critical
Publication of JP7019815B2 publication Critical patent/JP7019815B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/32Normalisation of the pattern dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Description

本発明は学習装置に関し、特に階層型ネットワークを用いた機械学習を行う学習装置に関する。
機械学習の分野では階層型ネットワークを用いて学習を行うことが知られている。階層型ネットワークは一般に特徴抽出や認識等を行う複数の層から構成されるが、具体的なネットワーク構成や学習方法には種々の態様が存在する。
例えば特許文献1には、異なるカテゴリに属する複数のデータ(画像と画像に対するキャプション)を入力して関係を学習させる技術が記載されている。画像とキャプションは異なる入力層に入力される。
特開2017-199149号公報
機械学習では、同一のカテゴリに属する複数のデータ(データ群)を異なる条件で取得して学習に供する場合がある。例えば、異なる撮像装置、撮影日時、被写体、露出等で画像を取得する場合がある。このようにして取得したデータを学習する際は、異なる条件で取得したことを適切に考慮することが好ましい。しかしながら上述した特許文献1では異なるカテゴリに属するデータ群を入力しており、同一のカテゴリに属し取得条件が異なるデータを入力して学習するものではなかった。
このように、従来の技術では同一のカテゴリに属し異なる条件で取得されたデータを適切に学習することが困難であった。
本発明はこのような事情に鑑みてなされたもので、同一のカテゴリに属し異なる条件で取得されたデータを適切に学習することができる学習装置を提供することを目的とする。
上述した目的を達成するため、本発明の第1の態様に係る学習装置は、第1の条件で取得された複数のデータで構成される第1のデータ群から選出された第1のデータを入力して特徴量を出力する第1の入力層と、第1の入力層とは独立した第2の入力層であって、第1のデータ群を構成するデータと同一のカテゴリに属し第1の条件とは異なる第2の条件で取得された複数のデータで構成される第2のデータ群から選出された第2のデータを入力して特徴量を出力する第2の入力層と、第1の入力層及び第2の入力層に対して共通の中間層であって、第1の入力層が出力する特徴量または第2の入力層が出力する特徴量を入力して他の特徴量を算出する中間層と、を含む階層型ネットワークを備える学習装置であって、第1の入力層から出力される特徴量に基づく第1の特徴量を中間層に入力し中間層で第1の中間特徴量を算出する第1の中間特徴量算出処理と、第2の入力層から出力される特徴量に基づく第2の特徴量を中間層に入力し中間層で第2の中間特徴量を算出する第2の中間特徴量算出処理と、をそれぞれ少なくとも1回実行する。
第1の態様では、独立した第1,第2の入力層に第1,第2のデータをそれぞれ入力し、第1,第2の入力層でそれぞれ特徴量を算出することで、第1,第2の入力層の一方における特徴量算出が他方の入力層における特徴量算出の影響を受けないようにしている。また第1の態様では、入力層における特徴抽出に加えて、さらに第1,第2の入力層に共通な中間層において第1の中間特徴量算出処理と第2の中間特徴量算出処理とをそれぞれ少なくとも1回実行するので、入力層で第1,第2のデータから算出した特徴量を中間層における中間特徴量算出に反映することができる。また、階層型ネットワークはパラメータが多いため過学習になりがちであるが、大量にデータを与えることで過学習を回避できる。第1の態様に係る学習装置では、中間層は第1,第2のデータを合わせた大量のデータで学習できるため過学習になりにくく、一方、入力層は第1,第2の入力層に独立しておりそれぞれの入力層のパラメータは少なくなるため、少量のデータでも過学習になりにくい。
第1の態様によれば、このようにして同一のカテゴリに属し異なる条件で取得されたデータを適切に学習することができる。
なお第1の態様及び以下の各態様において、「第1,第2の入力層から出力される特徴量に基づく第1,第2の特徴量」については、第1,第2の入力層から出力される特徴量をそのまま第1,第2の特徴量として入力してもよいし、第1,第2の入力層から出力される特徴量に何らかの処理を施した特徴量を第1,第2の特徴量として入力してもよい。また、「同一のカテゴリに属し」とは、画像と画像、テキストとテキスト、音声と音声のような組み合わせを意味し、「第1の条件と第2の条件が異なる」には「同じ条件で取得されたデータを2つに分ける」ことは含まれない。
第1の態様及び以下の各態様において、第1,第2の入力層、及び中間層は1つの層で構成されていてもよいし、複数の層から構成されていてもよい。また、第1,第2の入力層を構成する層の数は同じでもよいし、違っていてもよい。階層型ネットワークは、第1,第2の入力層、中間層の他に出力層、認識層等を含んでいてもよい。
また第1の態様及び以下の各態様において、第1,第2の入力層から出力される特徴量が第1,第2のデータの特徴を適切に表現できるように、学習の結果(例えば、認識結果と正解データとの誤差、損失等)を考慮して第1,第2の入力層の層数や各層におけるパラメータを調整することが好ましい。また、中間層についても、同様に学習の結果を考慮して中間層の層数や各層におけるパラメータを調整することが好ましい。
第2の態様に係る学習装置は第1の態様において、第1の中間特徴量算出処理を少なくとも2回実行し、第1の中間特徴量算出処理が終了してから他の第1の中間特徴量算出処理が始まるまでの期間に第2の中間特徴量算出処理を実行する。第1の中間特徴量算出処理を多数回連続して行いその後に第2の中間特徴量算出処理を行う場合、中間層で算出される特徴量が第1のデータの影響を強く受けてしまい第2のデータに対する学習(特徴量の算出)が適切に行われない可能性がある(逆の場合も同様である)。このため第2の態様では、第1の中間特徴量算出処理が終了してから他の第1の中間特徴量算出処理が始まるまでの期間に第2の中間特徴量算出処理を実行しており、これにより第2の中間特徴量算出処理の際に算出される特徴量が第1のデータの影響を過度に受けることを避け、第1,第2のデータに対して適切に学習を行うことができる。
第3の態様に係る学習装置は第1または第2の態様において、第1の中間特徴量算出処理を少なくとも2回実行し、少なくとも2回の第1の中間特徴量算出処理が終了してから第2の中間特徴量算出処理を実行する。第3の態様では、第2の態様について上述したのと同様に第2の中間特徴量算出処理の際に算出される特徴量が第1のデータの影響を過度に受けることを避け、第1,第2のデータに対して適切に学習を行うことができる。
第4の態様に係る学習装置は第1から第3の態様のいずれか1つにおいて、階層型ネットワークは畳み込みニューラルネットワークである。第4の態様は階層型ネットワークの具体的態様の一例を規定するものである。
第5の態様に係る学習装置は第1から第4の態様のいずれか1つにおいて、第1の入力層及び/または第2の入力層は畳み込み演算によって特徴量を算出する。第5の態様は第1,第2の入力層における特徴量算出の具体的手法の一態様を規定するものである。
第6の態様に係る学習装置は第1から第5の態様のいずれか1つにおいて、第1の入力層及び/または第2の入力層はプーリング処理によって特徴量を算出する。第6の態様は第1,第2の入力層における特徴量算出の具体的手法の一態様を規定するものである。
第7の態様に係る学習装置は第1から第6の態様のいずれか1つにおいて、第1の入力層及び/または第2の入力層はバッチノーマライゼーション処理によって特徴量を算出する。第7の態様は第1,第2の入力層における特徴量算出の具体的手法の一態様を規定するものである。
第8の態様に係る学習装置は第1から第7の態様のいずれか1つにおいて、中間層は畳み込み演算によって特徴量を算出する。第8の態様は特徴量算出の具体的手法の一態様を規定するものである。
第9の態様に係る学習装置は第1から第8の態様のいずれか1つにおいて、中間層はプーリング処理によって特徴量を算出する。第9の態様は特徴量算出の具体的手法の一態様を規定するものである。
第10の態様に係る学習装置は第1から第9の態様のいずれか1つにおいて、中間層はバッチノーマライゼーション処理によって特徴量を算出する。第10の態様は特徴量算出の具体的手法の一態様を規定するものである。
第11の態様に係る学習装置は第1から第10の態様のいずれか1つにおいて、第1の入力層は第1の条件で取得された第1の画像データを第1のデータとして入力し、第2の入力層は第1の条件とは異なる第2の条件で取得された第2の画像データを第2のデータとして入力する。第11の態様は第1,第2の入力データの具体的態様の一例を規定するもので、異なる条件で取得された画像データ(同一のカテゴリに属するデータの一例)であっても、第1,第2の入力層に入力し第1,第2の中間特徴量算出処理を行うことで適切に学習することができる。
第12の態様に係る学習装置は第11の態様において、第1の条件と第2の条件とでは、撮像装置、観察光の波長バランス、解像度、及び画像に施す画像処理のうち少なくとも1つが異なる。第12の態様は第1の条件と第2の条件との相違の一態様を規定するものである。なお、第12の態様において「撮像装置が異なる」とは、「モダリティは同じで、機種、型番、性能等が異なる」ことを意味するものとする。例えば、内視鏡装置とCT装置ではモダリティが異なる。また、「観察光の波長バランスが異なる」とは、観察光の波長帯域及び/または観察光における各波長帯域の強度の相対関係が異なることを意味する。また、「画像に施す画像処理が異なる」には、例えば特定の波長成分の影響を強調または低減する処理、あるいは特定の対象や領域を強調または目立たなくする処理が含まれるが、これらに限定されるものではない。
第13の態様に係る学習装置は第12の態様において、第1の入力層は第1の観察光により取得された第1の医用画像のデータを第1の画像データとして入力し、第2の入力層は第1の観察光と波長バランスが異なる第2の観察光により取得された第2の医用画像のデータを第2の画像データとして入力する。「撮影された画像で被写体のどのような構造が明確に(あるいは不明確に)映るか」は撮影に用いる観察光の波長バランスに依存するため、診断や診察の場面では波長バランスが異なる複数の観察光により画像を取得する場合があるが、第13の態様ではそのような場合でも画像の学習を適切に行うことができる。なお第13の態様及び以下の各態様において、「医用画像」は「医療画像」ともいう。
第14の態様に係る学習装置は第13の態様において、第1の入力層は白色光を第1の観察光として取得された第1の医用画像のデータを第1の画像データとして入力し、第2の入力層は狭帯域光を第2の観察光として取得された第2の医用画像のデータを第2の画像データとして入力する。医用画像を取得する場合、ユーザの目視による確認等のため白色光を観察光とする画像を取得することが多い。一方、狭帯域光の場合、波長により被検体の細部や深部等、白色光画像と異なる構造を観察できるが、目視観察には適していないため白色光画像と比べて取得される画像の数が少ない。第14の態様では、このような場合でも適切に学習を行うことができる。なお、第14の態様において「狭帯域光」は青色光、紫色光等短波長の観察光でもよいし、赤色光、赤外光等長波長の観察光でもよい。
第15の態様に係る学習装置は第13の態様において、第1の入力層は第1の狭帯域光を第1の観察光として取得された第1の医用画像のデータを第1の画像データとして入力し、第2の入力層は第1の狭帯域光とは異なる第2の狭帯域光を第2の観察光として取得された第2の医用画像のデータを第2の画像データとして入力する。医用画像を取得する場合、画像の利用目的によっては観察光として複数の狭帯域光を用いて画像を取得することがあるが、第15の態様によればそのような場合でも適切に学習を行うことができる。なお「第1の狭帯域光とは異なる第2の狭帯域光」とは、第1の狭帯域光と第2の狭帯域光とで観察光の波長帯域及び/または観察光の強度が異なることを意味する。
上述した目的を達成するため、本発明の第16の態様に係る学習方法は第1の条件で取得された複数のデータで構成される第1のデータ群から選出された第1のデータを入力して特徴量を出力する第1の入力層と、第1の入力層とは独立した第2の入力層であって、第1のデータ群を構成するデータと同一のカテゴリに属し第1の条件とは異なる第2の条件で取得された複数のデータで構成される第2のデータ群から選出された第2のデータを入力して特徴量を出力する第2の入力層と、第1の入力層及び第2の入力層に対して共通の中間層であって、第1の入力層が出力する特徴量または第2の入力層が出力する特徴量を入力して他の特徴量を算出する中間層と、を含む階層型ネットワークを備える学習装置の学習方法であって、第1の入力層から出力される特徴量に基づく第1の特徴量を中間層に入力し中間層で第1の中間特徴量を算出する第1の中間特徴量算出工程と、第2の入力層から出力される特徴量に基づく第2の特徴量を中間層に入力し中間層で第2の中間特徴量を算出する第2の中間特徴量算出工程と、をそれぞれ少なくとも1回実行する。第16の態様によれば、第1の態様と同様に、同一のカテゴリに属し異なる条件で取得されたデータを適切に学習することができる。
なお、第16の態様に係る学習方法に対し、第2から第15の態様と同様の構成をさらに含めてもよい。また、それら態様の学習方法を学習装置に実行させるプログラム、並びにそのプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。
以上説明したように、本発明の学習装置によれば、同一のカテゴリに属し異なる条件で取得されたデータを適切に学習することができる。
図1は、第1の実施形態に係る学習システムの構成を示す図である。 図2は、階層型ネットワークの構成の例を示す図である。 図3は、階層型ネットワークの構成の他の例を示す図である。 図4は、階層型ネットワークの構成のさらに他の例を示す図である。 図5は、第1,第2のデータを用いた学習の様子を示す図である。 図6は、中間層に入力する特徴量を切り替える様子を示す図である。 図7は、中間層における畳み込みの様子を示す図である。 図8は、第1,第2の中間特徴量算出処理のパターンを示す図である。 図9は、第1,第2の中間特徴量算出処理の他のパターンを示す図である。
以下、添付図面を参照しつつ、本発明に係る学習装置及び学習方法の実施形態について詳細に説明する。
<第1の実施形態>
<学習システムの構成>
図1は、第1の実施形態に係る学習システム10(学習装置)の構成を示すブロック図である。学習システム10は、被検体内に挿入される内視鏡で撮像された画像に基づく学習処理、認識処理を行う学習認識装置100(学習装置)と、通常光(白色光)を観察光として取得した複数の内視鏡画像を記録する第1の画像データベース201と、特殊光(狭帯域光)を観察光として取得した複数の内視鏡画像を記録する第2の画像データベース202とを備える。なお、以下の説明では通常光(白色光)を観察光として得られた画像を「通常光画像」(または「白色光画像」)といい、特殊光(狭帯域光)を観察光として得られた画像を「特殊光画像」(または「狭帯域光画像」)という。第1の画像データベース201,第2の画像データベース202に記録される内視鏡画像は、医用画像(医療画像ともいう)の一例である。
<第1,第2の画像データベース>
<通常光画像及び特殊光画像>
第1の画像データベース201及び第2の画像データベース202は、ハードディスク等の記録媒体により構成される。第1の画像データベース201には通常光を観察光(第1の観察光)として撮影された複数の通常光画像(第1のデータ群、第1のデータ、第1の画像データ、第1の医用画像)が記録され、第2の画像データベース202には特殊光を観察光(第2の観察光)として撮影された複数の特殊光画像(第2のデータ群、第2のデータ、第2の画像データ、第2の医用画像)が記録される。すなわち、第1の画像データベース201に記録された複数の通常光画像は本発明における「第1の条件で取得された複数のデータ」の一態様であり、第2の画像データベース202に記録された複数の特殊光画像は本発明における「第1の条件とは異なる第2の条件で取得された複数のデータ」の一態様である。特殊光画像を撮影する特殊光(狭帯域光)は例えば青色狭帯域光とすることができるが、赤色狭帯域光等他の波長でもよい。また、上述の例では第1,第2の観察光が白色光と狭帯域光である場合について説明しているが、波長帯域及び/または強度が異なる第1,第2の狭帯域光を観察光として取得された内視鏡画像等の医用画像を用いてもよい。
このように、通常光画像の取得条件(第1の条件)と特殊光画像の取得条件(第2の条件)は観察光の波長バランスが異なるが、この他、通常光画像の取得条件と特殊光画像の取得条件とで撮像装置、解像度、及び画像に施す画像処理が異なっていてもよい。すなわち、第1の条件と第2の条件とで撮像装置、観察光の波長バランス、解像度、及び画像に施す画像処理のうち少なくとも1つが異なっていてよい。「撮像装置が異なる」には光学系の特性やプロセッサの性能が異なる内視鏡を用いていることが含まれるが、これに限定されるものではない。また、「画像に施す画像処理が異なる」には、注目領域等特定の領域を強調または目立たなくする処理、特定の波長成分の影響を強調または低減する処理の有無及び/または程度が異なることが含まれるが、これに限定されるものではない。
<データ取得条件によるデータ数の違い>
内視鏡を用いた観察や検査を行う場合、ユーザは通常光(白色光)を観察光として取得された画像をモニタに表示させて確認するケースが多い。観察や検査の目的、状況(例えば、通常光では病変の構造が観察しづらい)により狭帯域光等の特殊光を観察光として画像をケースもあるが、通常光と比較すると観察光としての使用頻度が低く、そのため特殊光画像は通常光画像よりも著しく数が少ない場合が多い。機械学習により画像の学習及び/または認識を行う場合、特殊光画像についても学習及び/または認識を行う必要があるが、データ数が少ないと通常光画像と比較して学習及び/または認識の精度が低下するおそれがある。このような状況に鑑み、第1の実施形態では後述する階層型ネットワークの構成及び中間特徴量算出処理を採用してデータ数に差がある状況でも適切に学習及び/または認識できるようにしている。
<内視鏡画像の正解データ>
第1の画像データベース201及び第2の画像データベース202は、上述した内視鏡画像に加え、注目領域(ROI:Region of Interest)を識別するための「正解データ」を画像と対応させて記憶する。具体的には、第1の画像データベース201は複数の通常光画像にそれぞれ対応する複数の正解データを記憶し、第2の画像データベース202は複数の特殊光画像にそれぞれ対応する複数の正解データを記憶する。正解データは、内視鏡画像に対して医師が指定した注目領域や鑑別結果であることが好ましい。
<学習認識装置の構成>
画像取得部110は、外部サーバ、データベース等とネットワークを介して通信する装置等により構成され、学習や認識に用いる内視鏡画像や正解データを第1の画像データベース201、第2の画像データベース202から取得する。画像取得部110は、図示せぬネットワークで学習システム10と接続された内視鏡システム、病院内サーバ等からも内視鏡画像を取得することができる。操作部120は図示せぬキーボード、マウス等の入力デバイスを備え、ユーザはこれらデバイスを介して画像取得、学習や認識等の処理に必要な操作を行うことができる。制御部130は記録部150に記録された各種プログラムを読み込み、操作部120から入力される指令に従って、学習システム10全体の動作を制御する。また制御部130は、後述する誤差算出部164が算出した誤差(損失)をCNN162(CNN:Convolutional Neural Network、畳み込みニューラルネットワーク)に逆伝搬することにより、CNN162の重みパラメータを更新する。
表示部140はモニタ142(表示装置)を備え、内視鏡画像、学習結果、認識結果、処理条件設定画面等を表示する。記録部150は図示せぬROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスク等で構成され、画像取得部110が取得したデータ、処理部160での学習結果や認識結果等を記録する。また、記録部150は内視鏡画像(医用画像)の学習、認識を行うためのプログラム(本発明の学習方法を学習システム10に実行させるプログラムを含む)を記録する。処理部160は、階層型ネットワークであるCNN162、及びCNN162の出力(認識結果)と上述した「正解データ」とに基づいて損失(誤差)を算出する誤差算出部164を備える。
<CNNの層構成>
図2はCNN162の層構成の例を示す図である。図2の例において、CNN162は第1の入力層301(第1の入力層)と、第2の入力層302(第2の入力層)と、2つの中間層303(中間層)と、認識処理層304とを含む。第1の入力層301は第1の画像データベース201に記憶された通常光画像(第1のデータ群)から選出された画像(第1のデータ)を入力して特徴量を出力する。第2の入力層302は第1の入力層301とは独立した入力層であり、第2の画像データベース202に記憶された特殊光画像(第2のデータ群)から選出された画像(第2のデータ)を入力して特徴量を出力する。中間層303は第1の入力層301及び第2の入力層302に対して共通の中間層であり、第1の入力層301が出力する特徴量または第2の入力層が出力する特徴量を入力して他の特徴量(第1,第2の中間特徴量)を算出する。これらの層は複数の「ノード」が「エッジ」で結ばれた構造となっており、複数の重みパラメータを保持している。重みパラメータの値は、学習が進むにつれて変化していく。
<入力層及び中間層における処理>
第1の入力層301、第2の入力層302、及び中間層303は、畳み込み演算、プーリング処理、及びバッチノーマライゼーション処理によって特徴量を算出する。畳み込み演算はフィルタを使用した畳み込み演算により特徴マップを取得する処理であり、画像からのエッジ抽出等の特徴抽出の役割を担う。このフィルタを用いた畳み込み演算により、1つのフィルタに対して1チャンネル(1枚)の「特徴マップ」が生成される。「特徴マップ」のサイズは、畳み込みによりダウンスケーリングされ、各層で畳み込みが行われるにつれて小さくなって行く。最終的には、入力した画像と同じサイズの1枚の「特徴マップ」が得られる。プーリング処理は畳み込み演算により出力された特徴マップを縮小(または拡大)して新たな特徴マップとする処理であり、抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。バッチノーマライゼーション処理は学習を行う際のミニバッチを単位としてデータの分布を正規化する処理であり、学習を速く進行させる、初期値への依存性を下げる、過学習を抑制する等の役割を担う。第1の入力層301、第2の入力層302、及び中間層303は、これらの処理を行う1または複数の層により構成することができる。なお、層の構成は畳み込み演算、プーリング処理、バッチノーマライゼーション処理を行う層を1つずつ含む場合に限らず、いずれかの層(例えば、畳み込み演算を行う層)が複数含まれていてもよい。
これら第1の入力層301、第2の入力層302、及び中間層303の層のうち、入力側に近い層では低次の特徴抽出(エッジの抽出等)が行われ、出力側に近づくにつれて高次の特徴抽出(対象物の形状、構造等に関する特徴の抽出)が行われる。また、中間層303では第1の入力層301及び第2の入力層302で抽出した特徴量に基づく対象物(注目領域)のセグメンテーションが行われるようになる。
<認識処理層における処理>
認識処理層304は、中間層303から出力された特徴量に基づき、入力された画像(通常光画像、特殊光画像)に映っている注目領域の位置検出を行ってその結果を出力する層である。認識処理層304は、中間層303から得られる「特徴マップ」により、画像に写っている注目領域の位置を画素レベルで把握する。即ち、内視鏡画像の画素ごとに注目領域に属するか否かを検出し、その検出結果を出力することができる。
認識処理層304は、病変に関する鑑別を実行して鑑別結果を出力するものでもよい。例えば、認識処理層304は、内視鏡画像を「腫瘍性」、「非腫瘍性」、「その他」の3つのカテゴリに分類し、鑑別結果として「腫瘍性」、「非腫瘍性」及び「その他」に対応する3つのスコア(3つのスコアの合計は100%)として出力してもよいし、3つのスコアから明確に分類できる場合には分類結果を出力してもよい。なお鑑別結果を出力する場合、認識処理層304が最後の1層または複数の層として全結合層を有することが好ましい。
<CNNの層構成(他の例)>
図3はCNN162の層構成の他の例を示す図である。図3の例では、CNN162は第1の入力層301(第1の入力層)を2つと、第2の入力層302(第2の入力層)を2つと、中間層303(中間層)を2つと、認識処理層304とを含んでいる。このように、第1の入力層301、第2の入力層302、中間層303が複数含まれていてもよい。
図4はCNN162の層構成のさらに他の例を示す図である。図4の例では、CNN162は第1の入力層301(第1の入力層)を2つと、第2の入力層302(第2の入力層)を1つと、中間層303(中間層)を2つと、認識処理層304とを含んでいる。図4の例のように第1の入力層301と第2の入力層302との数が違っていてもよく、入力したデータの特徴量が適切に抽出されるように第1,第2の入力層の数を設定することができる。なお図3,4の例に関し、各層の層構成や処理(畳み込み演算、プーリング処理、及びバッチノーマライゼーション処理)の内容は図2の例について上述したのと同様である。図2~図4に例示する構成のCNN162を用いた学習方法の具体的な手順については、詳細を後述する。
<各種のプロセッサによる機能の実現>
上述した画像取得部110、制御部130、処理部160(CNN162、誤差算出部164)の機能は、各種のプロセッサ(processor)を用いて実現できる。各種のプロセッサには、例えばソフトウェア(プログラム)を実行して各種の機能を実現する汎用的なプロセッサであるCPU(Central Processing Unit)が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)も含まれる。さらに、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
各部の機能は1つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ、またはCPUとGPUの組み合わせ)で実現されてもよい。また、複数の機能を1つのプロセッサで実現してもよい。複数の機能を1つのプロセッサで構成する例としては、第1に、コンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第2に、システムオンチップ(System On a Chip:SoC)などに代表されるように、システム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを1つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
上述したプロセッサあるいは電気回路がソフトウェア(プログラム)を実行する際は、実行するソフトウェアのプロセッサ(コンピュータ)読み取り可能なコードをROM(Read Only Memory)等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る学習方法を実行するためのプログラムを含む。ROMではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばRAM(Random Access Memory)が一時的記憶領域として用いられ、また例えば不図示のEEPROM(Electronically Erasable and Programmable Read Only Memory)に記憶されたデータを参照することもできる。これらのROM,RAM,EEPROM等は、記録部150に備えられたものを用いることができる。
<学習方法>
上述した構成の学習システム10では、第1の入力層301から出力される特徴量に基づく第1の特徴量を中間層303に入力し中間層303で第1の中間特徴量を算出する第1の中間特徴量算出処理と、第2の入力層302から出力される特徴量に基づく第2の特徴量を中間層303に入力し中間層303で第2の中間特徴量を算出する第2の中間特徴量算出処理と、をそれぞれ少なくとも1回実行する。
<第1の中間特徴量算出処理>
第1の中間特徴量算出処理では、第1の画像データベース201に記録されている複数の通常光画像から選出された複数の画像(第1のデータ)でミニバッチを構成し、第1の入力層301に入力する。中間層303には上述のように第1の入力層301及び第2の入力層302が接続されているので、学習の際には第1の入力層301の出力と第2の入力層302の出力とを切り替えて入力する。図5は出力を切り替える様子を示す図であり、同図の(a)部分は第1の入力層301からの出力を中間層303へ入力する状態を示している。なお、図5において下向き矢印は第1の入力層301、第2の入力層302から中間層303を経て認識処理層304に至る方向に情報が伝達されること(学習方向)を意味し、学習方向とは逆の上向き矢印は認識処理層304から中間層303を経て第1の入力層301、第2の入力層302に情報が伝達されること(後述する誤差逆伝搬)を意味する。
図5の(a)部分に示す状態で、第1の入力層301から出力される特徴量に基づく第1の特徴量を中間層303へ入力して、中間層303で第1の中間特徴量を算出する(第1の中間特徴量算出処理、第1の中間特徴量算出工程)。図6は中間層303に入力する特徴量を切り替える様子を示す図であり、同図の(a)部分は第1の特徴量を中間層303へ入力する状態(第1の入力層301に含まれる層を構成するノード301Aからの出力を、中間層303を構成するノード303Aに入力している)を示している。入力の際、第1の入力層301から出力される特徴量を第1の特徴量としてそのまま中間層303へ入力してもよいし、適宜重みを乗じた特徴量を第1の特徴量として中間層303へ入力してもよい(図7を参照)。なお、図中の実線は上述した出力の切り替えによりノードからデータが出力または入力されている状態を示し、図中の点線はノードからデータが出力または入力されていない状態を示す。ノード301A,303Aは概念的に示したものであり、数は特に限定されない。これらの点については図7でも同様である。
図7は第1の入力層301及び第2の入力層302から中間層303に特徴量を入力する際の畳み込み(Convolution)の様子を示す図である。図7の(a)部分は、第1の入力層301のノードX 11 、X 12 、X 13 の出力に対しそれぞれ重みパラメータW 11 、W 12 、W 13 を乗じて中間層303のノードY 11 に入力する様子を示している(同図に示す状態では、ノードX 10 からはノードY 11 に入力されていない)。同図ではノードX 11 、X 12 、X 13 とノードY 11 との入力関係を示しているが、中間層303の他のノードY 10 、Y 12 、Y 13 についても同様の関係が成立する。
<認識結果の出力>
中間層303で算出した第1の中間特徴量を認識処理層304に入力し、認識処理層304は認識結果を出力する。
<誤差逆伝搬による重みパラメータの更新>
誤差算出部164は認識処理層304が出力する認識結果と第1のデータに対する正解とを比較して損失(誤差)を計算し、損失が小さくなるように、図5の(a)部分に示すように、第1の入力層301及び中間層303における重みパラメータを出力側の層から入力側の層に向けて更新していく(誤差逆伝搬)。
<第2の中間特徴量算出処理>
第2の中間特徴量算出処理(第2の中間特徴量算出工程)は、第1の中間特徴量算出処理と同様に行うことができるので、第1の中間特徴量算出処理との相違を中心に説明する。第2の中間特徴量算出処理では、第2の画像データベース202に記録されている複数の特殊光画像から選出された複数の画像(第2のデータ)でミニバッチを構成し、第2の入力層302に入力する。この際、図5の(b)部分に示すように出力を切り替え、第2の入力層302からの出力を中間層303へ入力する。図6の(b)部分は、第2の特徴量を中間層303へ入力する様子(第2の入力層302を構成するノード302Aからの出力を、中間層303を構成するノード303Aに入力)を示す図である。図5の(b)部分に示す状態で、第2の入力層302から出力される特徴量に基づく第2の特徴量を中間層303へ入力して、中間層303で第2の中間特徴量を算出する(第2の中間特徴量算出処理、第2の中間特徴量算出工程)。図6の(b)部分は第2の特徴量を中間層303へ入力する状態を示している。
図7の(b)部分は、同図の(a)部分と同様に、第2の入力層302のノードX 21 、X 22 、X 23 の出力に対しそれぞれ重みパラメータW 21 、W 22 、W 23 を乗じて中間層303のノードY 11 に入力する様子を示している(同図に示す状態では、ノードX 20 からはノードY 11 に入力されていない)。同図ではノードX 21 、X 22 、X 23 とノードY 11 との入力関係を示しているが、中間層303の他のノードY 10 、Y 12 、Y 13 についても同様の関係が成立する。
中間層303で算出した第2の中間特徴量を認識処理層304に入力し、認識処理層304は認識結果を出力する。誤差算出部164は、上述した通常光画像(第1のデータ)の場合と同様に誤差逆伝搬により重みパラメータを更新する(図5の(b)部分を参照)。
<学習パターンの例>
学習システム10では、第1、第2の中間特徴量算出処理(中間特徴量算出工程)をそれぞれ少なくとも1回実行する。以下、処理の回数及び順番の例について説明する。
(第1の例)
第1の例では、第1の入力層301における特徴量抽出処理及びこれに続く第1の中間特徴量算出処理(第1の中間特徴量算出工程)を少なくとも2回実行し、第1の中間特徴量算出処理が1回終了してから他の第1の中間特徴量算出処理が始まるまでの期間に第2の入力層302における特徴量抽出処理及びこれに続く第2の中間特徴量算出処理(第2の中間特徴量算出工程)を実行する。例えば、図8の(a)部分に示す順番で処理を繰り返す。図中「第1」、「第2」とあるのはそれぞれ「第1の入力層301における特徴量抽出処理及びこれに続く第1の中間特徴量算出処理」、「第2の入力層302における特徴量抽出処理及びこれに続く第2の中間特徴量算出処理」を意味し、ミニバッチ単位で1回、2回…と数える。
(第2の例)
第2の例では、第1の入力層301における特徴量抽出処理及びこれに続く第1の中間特徴量算出処理を少なくとも2回実行し、少なくとも2回の第1の中間特徴量算出処理が終了してから第2の入力層302における特徴量抽出処理及びこれに続く第2の中間特徴量算出処理を実行する。例えば、図8の(b)部分に示す順番で処理を繰り返す。図8の(b)部分中、「第1」、「第2」とあるのは同図の(a)部分と同じ意味である。この場合、図8の(c)部分に示すように第2の中間特徴量算出処理を2回続けて行ってもよい。また、第1の入力層301における特徴量抽出処理及びこれに続く第1の中間特徴量算出処理を複数回継続して行い、第1の中間特徴量算出処理が終了してから第2の入力層302における特徴量抽出処理及びこれに続く第2の中間特徴量算出処理を行ってもよい(図9を参照)。なお、図8,9に示すパターンは例示であり、他にも様々なパターンで学習を行うことができる。
<第1の実施形態の効果>
第1の実施形態に係る学習システム10では、第1の入力層301及びこれと独立した第2の入力層302に第1,第2のデータをそれぞれ入力し、各入力層でそれぞれ特徴量を算出することで、一方の入力層における特徴量算出が他方の入力層における特徴量算出の影響を受けないようにしている。また学習システム10では、入力層での特徴抽出に加えて、第1の入力層301及び第2の入力層302に共通な中間層303において第1の中間特徴量算出処理と第2の中間特徴量算出処理とをそれぞれ少なくとも1回実行するので、入力層で算出した特徴量を中間層303における中間特徴量算出に反映することができる。また、階層型ネットワークはパラメータが多いため過学習になりがちであるが、第1の実施形態に係る学習システム10では、中間層303は第1,第2のデータを合わせた大量のデータで学習できるため過学習になりにくく、一方、入力層は第1,第2の入力層に独立しておりそれぞれの入力層のパラメータは少なくなるため、少量のデータでも過学習になりにくい。これにより学習システム10では、同一のカテゴリに属し異なる条件で取得されたデータ(通常光画像と特殊光画像等)を適切に学習することができる。
<合成ミニバッチによる学習>
なお、上述した学習パターンでは第1,第2のデータについてミニバッチ単位で別個に特徴量算出を行っているが、中間層303への入力直前に第1,第2のミニバッチを1つのミニバッチに合成してもよい。具体的には、第1の画像データベース201に記録されている複数の通常光画像から選出された複数の画像(第1のデータ)でミニバッチ(第1のミニバッチ)を構成し、第1の入力層301に入力して特徴量を算出する。また、第2の画像データベース202に記録されている複数の特殊光画像から選出された複数の画像(第2のデータ)でミニバッチ(第2のミニバッチ)を構成し、第2の入力層302に入力して特徴量を算出する。これらの特徴量について中間層303への入力直前に第1,第2のミニバッチを1つのミニバッチに合成して中間層303に入力してもよい。
<認識処理>
認識(推論)処理においては、第1の入力層301または第2の入力層302を取り外した構成にして認識を行ってもよい。例えば、図5の(a)部分のように第2の入力層302を取り外して第1の入力層301のみが接続されている状態で、第1,第2のデータに対して認識を行うことができる(この場合、第1、第2のデータはいずれも第1の入力層301に入力する)。また、図5の(b)部分のように第1の入力層301を取り外して第2の入力層302のみが接続されている状態で、第1,第2のデータに対して認識を行うことができる(この場合、第1、第2のデータはいずれも第2の入力層302に入力する)。
<第1狭帯域光画像及び第2狭帯域光画像による学習>
上述した例では、通常光画像(白色光画像)及び特殊光画像(例えば、青色特殊光画像)を用いた学習について説明したが、観察光の波長バランスが異なる複数の狭帯域光画像を用いて学習を行ってもよい。第1の入力層は第1の狭帯域光を第1の観察光として取得された第1の医用画像のデータを第1の画像データとして入力し、第2の入力層は第1の狭帯域光とは異なる第2の狭帯域光を第2の観察光として取得された第2の医用画像のデータを第2の画像データとして入力してもよい。この場合、狭帯域光の組み合わせとしては複数の青色狭帯域光、青色狭帯域光と紫色狭帯域光、複数の赤色狭帯域光等を用いることができる。
<その他のデータを用いた学習>
第1の実施形態では異なる観察光で取得された内視鏡画像を用いた学習について説明したが、本発明に係る学習装置及び学習方法ではCT装置(Computed Tomography)、MRI(Magnetic Resonance Imaging)装置等の内視鏡画像以外の他の医用画像を用いる場合でも同様に学習することができる。また、医用画像以外の画像(例えば、人物、動物、風景等他の画像)を用いる場合でも同様に学習することができる。さらに、入力するデータが画像でなく文章、音声等の場合も同様に学習することができる。
以上で本発明の実施形態に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
10 学習システム
100 学習認識装置
110 画像取得部
120 操作部
130 制御部
140 表示部
142 モニタ
150 記録部
160 処理部
162 CNN
164 誤差算出部
201 第1の画像データベース
202 第2の画像データベース
301 第1の入力層
301A ノード
302 第2の入力層
302A ノード
303 中間層
303A ノード
304 認識処理層
11 重みパラメータ
12 重みパラメータ
13 重みパラメータ
21 重みパラメータ
22 重みパラメータ
23 重みパラメータ
10 ノード
11 ノード
12 ノード
13 ノード
20 ノード
21 ノード
22 ノード
23 ノード
10 ノード
11 ノード
12 ノード
13 ノード

Claims (13)

  1. 第1の条件で取得された複数のデータで構成される第1のデータ群から選出された第1のデータを入力して特徴量を出力する第1の入力層と、
    前記第1の入力層とは独立した第2の入力層であって、前記第1のデータ群を構成するデータと同一のカテゴリに属し前記第1の条件とは異なる第2の条件で取得された複数のデータで構成される第2のデータ群から選出された第2のデータを入力して特徴量を出力する第2の入力層と、
    前記第1の入力層及び前記第2の入力層に対して共通の中間層であって、前記第1の入力層が出力する前記特徴量または前記第2の入力層が出力する前記特徴量を入力して他の特徴量を算出する中間層と、
    を含む階層型ネットワークを備える学習装置であって、
    前記第1の入力層から出力される前記特徴量に基づく第1の特徴量を前記中間層に入力し前記中間層で第1の中間特徴量を算出する第1の中間特徴量算出処理と、前記第2の入力層から出力される前記特徴量に基づく第2の特徴量を前記中間層に入力し前記中間層で第2の中間特徴量を算出する第2の中間特徴量算出処理と、をそれぞれ少なくとも1回実行し、
    前記第1の中間特徴量算出処理を少なくとも2回実行し、前記第1の中間特徴量算出処理が終了してから他の前記第1の中間特徴量算出処理が始まるまでの期間に前記第2の中間特徴量算出処理を実行する学習装置。
  2. 第1の条件で取得された複数のデータで構成される第1のデータ群から選出された第1のデータを入力して特徴量を出力する第1の入力層と、
    前記第1の入力層とは独立した第2の入力層であって、前記第1のデータ群を構成するデータと同一のカテゴリに属し前記第1の条件とは異なる第2の条件で取得された複数のデータで構成される第2のデータ群から選出された第2のデータを入力して特徴量を出力する第2の入力層と、
    前記第1の入力層及び前記第2の入力層に対して共通の中間層であって、前記第1の入力層が出力する前記特徴量または前記第2の入力層が出力する前記特徴量を入力して他の特徴量を算出する中間層と、
    を含む階層型ネットワークを備える学習装置であって、
    前記第1の入力層から出力される前記特徴量に基づく第1の特徴量を前記中間層に入力し前記中間層で第1の中間特徴量を算出する第1の中間特徴量算出処理と、前記第2の入力層から出力される前記特徴量に基づく第2の特徴量を前記中間層に入力し前記中間層で第2の中間特徴量を算出する第2の中間特徴量算出処理と、をそれぞれ少なくとも1回実行し、
    前記第1の中間特徴量算出処理を少なくとも2回実行し、前記少なくとも2回の前記第1の中間特徴量算出処理が終了してから前記第2の中間特徴量算出処理を実行する学習装置。
  3. 前記階層型ネットワークは畳み込みニューラルネットワークである請求項1または2に記載の学習装置。
  4. 前記第1の入力層及び/または前記第2の入力層は畳み込み演算によって前記特徴量を算出する請求項1から3のいずれか1項に記載の学習装置。
  5. 前記第1の入力層及び/または前記第2の入力層はプーリング処理によって前記特徴量を算出する請求項1から3のいずれか1項に記載の学習装置。
  6. 前記第1の入力層及び/または前記第2の入力層はバッチノーマライゼーション処理によって前記特徴量を算出する請求項1から3のいずれか1項に記載の学習装置。
  7. 前記中間層は畳み込み演算によって前記特徴量を算出する請求項1から6のいずれか1項に記載の学習装置。
  8. 前記中間層はプーリング処理によって前記特徴量を算出する請求項1から6のいずれか1項に記載の学習装置。
  9. 前記中間層はバッチノーマライゼーション処理によって前記特徴量を算出する請求項1から6のいずれか1項に記載の学習装置。
  10. 前記第1の入力層は前記第1の条件で取得された第1の画像データを前記第1のデータとして入力し、
    前記第2の入力層は前記第1の条件とは異なる前記第2の条件で取得された第2の画像データを前記第2のデータとして入力する請求項1から9のいずれか1項に記載の学習装置。
  11. 第1の条件で取得された複数のデータで構成される第1のデータ群から選出された第1のデータを入力して特徴量を出力する第1の入力層と、
    前記第1の入力層とは独立した第2の入力層であって、前記第1のデータ群を構成するデータと同一のカテゴリに属し前記第1の条件とは異なる第2の条件で取得された複数のデータで構成される第2のデータ群から選出された第2のデータを入力して特徴量を出力する第2の入力層と、
    前記第1の入力層及び前記第2の入力層に対して共通の中間層であって、前記第1の入力層が出力する前記特徴量または前記第2の入力層が出力する前記特徴量を入力して他の特徴量を算出する中間層と、
    を含む階層型ネットワークを備える学習装置であって、
    前記第1の入力層から出力される前記特徴量に基づく第1の特徴量を前記中間層に入力し前記中間層で第1の中間特徴量を算出する第1の中間特徴量算出処理と、前記第2の入力層から出力される前記特徴量に基づく第2の特徴量を前記中間層に入力し前記中間層で第2の中間特徴量を算出する第2の中間特徴量算出処理と、をそれぞれ少なくとも1回実行し、
    前記第1の入力層は前記第1の条件で取得された第1の画像データを前記第1のデータとして入力し、
    前記第2の入力層は前記第1の条件とは異なる前記第2の条件で取得された第2の画像データを前記第2のデータとして入力し、
    前記第1の条件と前記第2の条件とでは、撮像装置、観察光の波長バランス、解像度、及び画像に施す画像処理のうち少なくとも1つが異なり、
    前記第1の入力層は第1の観察光により取得された第1の医用画像のデータを前記第1の画像データとして入力し、
    前記第2の入力層は前記第1の観察光と波長バランスが異なる第2の観察光により取得された第2の医用画像のデータを前記第2の画像データとして入力する学習装置。
  12. 前記第1の入力層は白色光を前記第1の観察光として取得された前記第1の医用画像のデータを前記第1の画像データとして入力し、
    前記第2の入力層は狭帯域光を前記第2の観察光として取得された前記第2の医用画像のデータを前記第2の画像データとして入力する請求項11に記載の学習装置。
  13. 前記第1の入力層は第1の狭帯域光を前記第1の観察光として取得された前記第1の医用画像のデータを前記第1の画像データとして入力し、
    前記第2の入力層は前記第1の狭帯域光とは異なる第2の狭帯域光を前記第2の観察光として取得された前記第2の医用画像のデータを前記第2の画像データとして入力する請求項11に記載の学習装置。
JP2020532265A 2018-07-26 2019-07-04 学習装置 Active JP7019815B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018140434 2018-07-26
JP2018140434 2018-07-26
PCT/JP2019/026688 WO2020022027A1 (ja) 2018-07-26 2019-07-04 学習装置及び学習方法

Publications (2)

Publication Number Publication Date
JPWO2020022027A1 JPWO2020022027A1 (ja) 2021-08-05
JP7019815B2 true JP7019815B2 (ja) 2022-02-15

Family

ID=69181632

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020532265A Active JP7019815B2 (ja) 2018-07-26 2019-07-04 学習装置

Country Status (3)

Country Link
US (1) US20210133473A1 (ja)
JP (1) JP7019815B2 (ja)
WO (1) WO2020022027A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021166749A1 (ja) * 2020-02-18 2021-08-26
JP7256765B2 (ja) * 2020-02-28 2023-04-12 株式会社日立製作所 医用撮像装置、医用画像処理装置、及び、画像処理プログラム
JPWO2022044425A1 (ja) * 2020-08-28 2022-03-03
US20220180152A1 (en) * 2020-12-09 2022-06-09 Electronics And Telecommunications Research Institute Information processing apparatus and method for analyzing errors of neural network processing device therein
GB2605158B (en) 2021-03-24 2023-05-17 Sony Interactive Entertainment Inc Image rendering method and apparatus
GB2605154B (en) * 2021-03-24 2023-05-24 Sony Interactive Entertainment Inc Image rendering method and apparatus
WO2022249572A1 (ja) * 2021-05-26 2022-12-01 ソニーグループ株式会社 画像処理装置、画像処理方法及び記録媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016067780A (ja) 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
WO2017158575A1 (en) 2016-03-17 2017-09-21 Imagia Cybernetics Inc. Method and system for processing a task with robustness to missing input information

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6236296B2 (ja) * 2013-11-14 2017-11-22 株式会社デンソーアイティーラボラトリ 学習装置、学習プログラム、及び学習方法
JP6656357B2 (ja) * 2016-04-04 2020-03-04 オリンパス株式会社 学習方法、画像認識装置およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016067780A (ja) 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
WO2017158575A1 (en) 2016-03-17 2017-09-21 Imagia Cybernetics Inc. Method and system for processing a task with robustness to missing input information

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
伊東隼人、森 悠一、三澤将史、小田昌宏、工藤進英、森 健策,畳み込みニューラルネットワークを利用した超拡大大腸内視鏡画像における腫瘍・非腫瘍の分類,電子情報通信学会技術研究報告,日本,一般社団法人電子情報通信学会,2017年09月18日,Vol.117,No.220,pp.17-21,ISSN 0913-5685

Also Published As

Publication number Publication date
US20210133473A1 (en) 2021-05-06
WO2020022027A1 (ja) 2020-01-30
JPWO2020022027A1 (ja) 2021-08-05

Similar Documents

Publication Publication Date Title
JP7019815B2 (ja) 学習装置
Tabassum et al. CDED-Net: Joint segmentation of optic disc and optic cup for glaucoma screening
Chan et al. Texture-map-based branch-collaborative network for oral cancer detection
US8538117B2 (en) Accurate pelvic fracture detection for X-ray and CT images
EP2357612A2 (en) Method for quantifying and imaging features of a tumor
JP7278202B2 (ja) 画像学習装置、画像学習方法、ニューラルネットワーク、及び画像分類装置
KR102458324B1 (ko) 학습 모델을 이용한 데이터 처리 방법
WO2020031851A1 (ja) 画像処理方法及び画像処理装置
JP7083037B2 (ja) 学習装置及び学習方法
JPWO2020003991A1 (ja) 医療画像学習装置、方法及びプログラム
CN113450305B (zh) 医疗图像的处理方法、系统、设备及可读存储介质
Javidi et al. Retinal image assessment using bi-level adaptive morphological component analysis
US11263494B2 (en) Classification device, classification method, program, and information recording medium
AU2021425940A1 (en) System and method of using right and left eardrum otoscopy images for automated otoscopy image analysis to diagnose ear pathology
KR102288727B1 (ko) 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 장치 및 방법
Chen et al. Detection of Various Dental Conditions on Dental Panoramic Radiography Using Faster R-CNN
WO2022044425A1 (ja) 学習装置、学習方法、プログラム、学習済みモデル、及び内視鏡システム
Syed et al. A diagnosis model for detection and classification of diabetic retinopathy using deep learning
Alsaih et al. Retinal fluids segmentation using volumetric deep neural networks on optical coherence tomography scans
Singh et al. Preprocessing of Medical Images using Deep Learning: A Comprehensive Review
Sousa et al. Learning to segment the lung volume from CT scans based on semi-automatic ground-truth
CN112598603A (zh) 一种基于卷积神经网络的口腔龋病图像智能识别方法
Kodumuru et al. Diabetic Retinopathy Screening Using CNN (ResNet 18)
Tabassum et al. A Deep Learning Framework for Skull Stripping in Brain MRI
Perumprath et al. Deep Learning for Segmentation of Brain Tumors using MR Images based on U-Net Architecture

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210127

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220202

R150 Certificate of patent or registration of utility model

Ref document number: 7019815

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150