JP7019815B2 - 学習装置 - Google Patents

学習装置 Download PDF

Info

Publication number
JP7019815B2
JP7019815B2 JP2020532265A JP2020532265A JP7019815B2 JP 7019815 B2 JP7019815 B2 JP 7019815B2 JP 2020532265 A JP2020532265 A JP 2020532265A JP 2020532265 A JP2020532265 A JP 2020532265A JP 7019815 B2 JP7019815 B2 JP 7019815B2
Authority
JP
Japan
Prior art keywords
feature amount
input layer
layer
input
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020532265A
Other languages
English (en)
Other versions
JPWO2020022027A1 (ja
Inventor
正明 大酒
誠 大関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020022027A1 publication Critical patent/JPWO2020022027A1/ja
Application granted granted Critical
Publication of JP7019815B2 publication Critical patent/JP7019815B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Description

本発明は学習装置に関し、特に階層型ネットワークを用いた機械学習を行う学習装置に関する。
機械学習の分野では階層型ネットワークを用いて学習を行うことが知られている。階層型ネットワークは一般に特徴抽出や認識等を行う複数の層から構成されるが、具体的なネットワーク構成や学習方法には種々の態様が存在する。
例えば特許文献１には、異なるカテゴリに属する複数のデータ（画像と画像に対するキャプション）を入力して関係を学習させる技術が記載されている。画像とキャプションは異なる入力層に入力される。
特開２０１７－１９９１４９号公報
機械学習では、同一のカテゴリに属する複数のデータ（データ群）を異なる条件で取得して学習に供する場合がある。例えば、異なる撮像装置、撮影日時、被写体、露出等で画像を取得する場合がある。このようにして取得したデータを学習する際は、異なる条件で取得したことを適切に考慮することが好ましい。しかしながら上述した特許文献１では異なるカテゴリに属するデータ群を入力しており、同一のカテゴリに属し取得条件が異なるデータを入力して学習するものではなかった。
このように、従来の技術では同一のカテゴリに属し異なる条件で取得されたデータを適切に学習することが困難であった。
本発明はこのような事情に鑑みてなされたもので、同一のカテゴリに属し異なる条件で取得されたデータを適切に学習することができる学習装置を提供することを目的とする。
上述した目的を達成するため、本発明の第１の態様に係る学習装置は、第１の条件で取得された複数のデータで構成される第１のデータ群から選出された第１のデータを入力して特徴量を出力する第１の入力層と、第１の入力層とは独立した第２の入力層であって、第１のデータ群を構成するデータと同一のカテゴリに属し第１の条件とは異なる第２の条件で取得された複数のデータで構成される第２のデータ群から選出された第２のデータを入力して特徴量を出力する第２の入力層と、第１の入力層及び第２の入力層に対して共通の中間層であって、第１の入力層が出力する特徴量または第２の入力層が出力する特徴量を入力して他の特徴量を算出する中間層と、を含む階層型ネットワークを備える学習装置であって、第１の入力層から出力される特徴量に基づく第１の特徴量を中間層に入力し中間層で第１の中間特徴量を算出する第１の中間特徴量算出処理と、第２の入力層から出力される特徴量に基づく第２の特徴量を中間層に入力し中間層で第２の中間特徴量を算出する第２の中間特徴量算出処理と、をそれぞれ少なくとも１回実行する。
第１の態様では、独立した第１，第２の入力層に第１，第２のデータをそれぞれ入力し、第１，第２の入力層でそれぞれ特徴量を算出することで、第１，第２の入力層の一方における特徴量算出が他方の入力層における特徴量算出の影響を受けないようにしている。また第１の態様では、入力層における特徴抽出に加えて、さらに第１，第２の入力層に共通な中間層において第１の中間特徴量算出処理と第２の中間特徴量算出処理とをそれぞれ少なくとも１回実行するので、入力層で第１，第２のデータから算出した特徴量を中間層における中間特徴量算出に反映することができる。また、階層型ネットワークはパラメータが多いため過学習になりがちであるが、大量にデータを与えることで過学習を回避できる。第１の態様に係る学習装置では、中間層は第１，第２のデータを合わせた大量のデータで学習できるため過学習になりにくく、一方、入力層は第１，第２の入力層に独立しておりそれぞれの入力層のパラメータは少なくなるため、少量のデータでも過学習になりにくい。
第１の態様によれば、このようにして同一のカテゴリに属し異なる条件で取得されたデータを適切に学習することができる。
なお第１の態様及び以下の各態様において、「第１，第２の入力層から出力される特徴量に基づく第１，第２の特徴量」については、第１，第２の入力層から出力される特徴量をそのまま第１，第２の特徴量として入力してもよいし、第１，第２の入力層から出力される特徴量に何らかの処理を施した特徴量を第１，第２の特徴量として入力してもよい。また、「同一のカテゴリに属し」とは、画像と画像、テキストとテキスト、音声と音声のような組み合わせを意味し、「第１の条件と第２の条件が異なる」には「同じ条件で取得されたデータを２つに分ける」ことは含まれない。
第１の態様及び以下の各態様において、第１，第２の入力層、及び中間層は１つの層で構成されていてもよいし、複数の層から構成されていてもよい。また、第１，第２の入力層を構成する層の数は同じでもよいし、違っていてもよい。階層型ネットワークは、第１，第２の入力層、中間層の他に出力層、認識層等を含んでいてもよい。
また第１の態様及び以下の各態様において、第１，第２の入力層から出力される特徴量が第１，第２のデータの特徴を適切に表現できるように、学習の結果（例えば、認識結果と正解データとの誤差、損失等）を考慮して第１，第２の入力層の層数や各層におけるパラメータを調整することが好ましい。また、中間層についても、同様に学習の結果を考慮して中間層の層数や各層におけるパラメータを調整することが好ましい。
第２の態様に係る学習装置は第１の態様において、第１の中間特徴量算出処理を少なくとも２回実行し、第１の中間特徴量算出処理が終了してから他の第１の中間特徴量算出処理が始まるまでの期間に第２の中間特徴量算出処理を実行する。第１の中間特徴量算出処理を多数回連続して行いその後に第２の中間特徴量算出処理を行う場合、中間層で算出される特徴量が第１のデータの影響を強く受けてしまい第２のデータに対する学習（特徴量の算出）が適切に行われない可能性がある（逆の場合も同様である）。このため第２の態様では、第１の中間特徴量算出処理が終了してから他の第１の中間特徴量算出処理が始まるまでの期間に第２の中間特徴量算出処理を実行しており、これにより第２の中間特徴量算出処理の際に算出される特徴量が第１のデータの影響を過度に受けることを避け、第１，第２のデータに対して適切に学習を行うことができる。
第３の態様に係る学習装置は第１または第２の態様において、第１の中間特徴量算出処理を少なくとも２回実行し、少なくとも２回の第１の中間特徴量算出処理が終了してから第２の中間特徴量算出処理を実行する。第３の態様では、第２の態様について上述したのと同様に第２の中間特徴量算出処理の際に算出される特徴量が第１のデータの影響を過度に受けることを避け、第１，第２のデータに対して適切に学習を行うことができる。
第４の態様に係る学習装置は第１から第３の態様のいずれか１つにおいて、階層型ネットワークは畳み込みニューラルネットワークである。第４の態様は階層型ネットワークの具体的態様の一例を規定するものである。
第５の態様に係る学習装置は第１から第４の態様のいずれか１つにおいて、第１の入力層及び／または第２の入力層は畳み込み演算によって特徴量を算出する。第５の態様は第１，第２の入力層における特徴量算出の具体的手法の一態様を規定するものである。
第６の態様に係る学習装置は第１から第５の態様のいずれか１つにおいて、第１の入力層及び／または第２の入力層はプーリング処理によって特徴量を算出する。第６の態様は第１，第２の入力層における特徴量算出の具体的手法の一態様を規定するものである。
第７の態様に係る学習装置は第１から第６の態様のいずれか１つにおいて、第１の入力層及び／または第２の入力層はバッチノーマライゼーション処理によって特徴量を算出する。第７の態様は第１，第２の入力層における特徴量算出の具体的手法の一態様を規定するものである。
第８の態様に係る学習装置は第１から第７の態様のいずれか１つにおいて、中間層は畳み込み演算によって特徴量を算出する。第８の態様は特徴量算出の具体的手法の一態様を規定するものである。
第９の態様に係る学習装置は第１から第８の態様のいずれか１つにおいて、中間層はプーリング処理によって特徴量を算出する。第９の態様は特徴量算出の具体的手法の一態様を規定するものである。
第１０の態様に係る学習装置は第１から第９の態様のいずれか１つにおいて、中間層はバッチノーマライゼーション処理によって特徴量を算出する。第１０の態様は特徴量算出の具体的手法の一態様を規定するものである。
第１１の態様に係る学習装置は第１から第１０の態様のいずれか１つにおいて、第１の入力層は第１の条件で取得された第１の画像データを第１のデータとして入力し、第２の入力層は第１の条件とは異なる第２の条件で取得された第２の画像データを第２のデータとして入力する。第１１の態様は第１，第２の入力データの具体的態様の一例を規定するもので、異なる条件で取得された画像データ（同一のカテゴリに属するデータの一例）であっても、第１,第２の入力層に入力し第１，第２の中間特徴量算出処理を行うことで適切に学習することができる。
第１２の態様に係る学習装置は第１１の態様において、第１の条件と第２の条件とでは、撮像装置、観察光の波長バランス、解像度、及び画像に施す画像処理のうち少なくとも１つが異なる。第１２の態様は第１の条件と第２の条件との相違の一態様を規定するものである。なお、第１２の態様において「撮像装置が異なる」とは、「モダリティは同じで、機種、型番、性能等が異なる」ことを意味するものとする。例えば、内視鏡装置とＣＴ装置ではモダリティが異なる。また、「観察光の波長バランスが異なる」とは、観察光の波長帯域及び／または観察光における各波長帯域の強度の相対関係が異なることを意味する。また、「画像に施す画像処理が異なる」には、例えば特定の波長成分の影響を強調または低減する処理、あるいは特定の対象や領域を強調または目立たなくする処理が含まれるが、これらに限定されるものではない。
第１３の態様に係る学習装置は第１２の態様において、第１の入力層は第１の観察光により取得された第１の医用画像のデータを第１の画像データとして入力し、第２の入力層は第１の観察光と波長バランスが異なる第２の観察光により取得された第２の医用画像のデータを第２の画像データとして入力する。「撮影された画像で被写体のどのような構造が明確に（あるいは不明確に）映るか」は撮影に用いる観察光の波長バランスに依存するため、診断や診察の場面では波長バランスが異なる複数の観察光により画像を取得する場合があるが、第１３の態様ではそのような場合でも画像の学習を適切に行うことができる。なお第１３の態様及び以下の各態様において、「医用画像」は「医療画像」ともいう。
第１４の態様に係る学習装置は第１３の態様において、第１の入力層は白色光を第１の観察光として取得された第１の医用画像のデータを第１の画像データとして入力し、第２の入力層は狭帯域光を第２の観察光として取得された第２の医用画像のデータを第２の画像データとして入力する。医用画像を取得する場合、ユーザの目視による確認等のため白色光を観察光とする画像を取得することが多い。一方、狭帯域光の場合、波長により被検体の細部や深部等、白色光画像と異なる構造を観察できるが、目視観察には適していないため白色光画像と比べて取得される画像の数が少ない。第１４の態様では、このような場合でも適切に学習を行うことができる。なお、第１４の態様において「狭帯域光」は青色光、紫色光等短波長の観察光でもよいし、赤色光、赤外光等長波長の観察光でもよい。
第１５の態様に係る学習装置は第１３の態様において、第１の入力層は第１の狭帯域光を第１の観察光として取得された第１の医用画像のデータを第１の画像データとして入力し、第２の入力層は第１の狭帯域光とは異なる第２の狭帯域光を第２の観察光として取得された第２の医用画像のデータを第２の画像データとして入力する。医用画像を取得する場合、画像の利用目的によっては観察光として複数の狭帯域光を用いて画像を取得することがあるが、第１５の態様によればそのような場合でも適切に学習を行うことができる。なお「第１の狭帯域光とは異なる第２の狭帯域光」とは、第１の狭帯域光と第２の狭帯域光とで観察光の波長帯域及び／または観察光の強度が異なることを意味する。
上述した目的を達成するため、本発明の第１６の態様に係る学習方法は第１の条件で取得された複数のデータで構成される第１のデータ群から選出された第１のデータを入力して特徴量を出力する第１の入力層と、第１の入力層とは独立した第２の入力層であって、第１のデータ群を構成するデータと同一のカテゴリに属し第１の条件とは異なる第２の条件で取得された複数のデータで構成される第２のデータ群から選出された第２のデータを入力して特徴量を出力する第２の入力層と、第１の入力層及び第２の入力層に対して共通の中間層であって、第１の入力層が出力する特徴量または第２の入力層が出力する特徴量を入力して他の特徴量を算出する中間層と、を含む階層型ネットワークを備える学習装置の学習方法であって、第１の入力層から出力される特徴量に基づく第１の特徴量を中間層に入力し中間層で第１の中間特徴量を算出する第１の中間特徴量算出工程と、第２の入力層から出力される特徴量に基づく第２の特徴量を中間層に入力し中間層で第２の中間特徴量を算出する第２の中間特徴量算出工程と、をそれぞれ少なくとも１回実行する。第１６の態様によれば、第１の態様と同様に、同一のカテゴリに属し異なる条件で取得されたデータを適切に学習することができる。
なお、第１６の態様に係る学習方法に対し、第２から第１５の態様と同様の構成をさらに含めてもよい。また、それら態様の学習方法を学習装置に実行させるプログラム、並びにそのプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。
以上説明したように、本発明の学習装置によれば、同一のカテゴリに属し異なる条件で取得されたデータを適切に学習することができる。
図１は、第１の実施形態に係る学習システムの構成を示す図である。 図２は、階層型ネットワークの構成の例を示す図である。 図３は、階層型ネットワークの構成の他の例を示す図である。 図４は、階層型ネットワークの構成のさらに他の例を示す図である。 図５は、第１，第２のデータを用いた学習の様子を示す図である。 図６は、中間層に入力する特徴量を切り替える様子を示す図である。 図７は、中間層における畳み込みの様子を示す図である。 図８は、第１，第２の中間特徴量算出処理のパターンを示す図である。 図９は、第１，第２の中間特徴量算出処理の他のパターンを示す図である。
以下、添付図面を参照しつつ、本発明に係る学習装置及び学習方法の実施形態について詳細に説明する。
＜第１の実施形態＞
＜学習システムの構成＞
図１は、第１の実施形態に係る学習システム１０（学習装置）の構成を示すブロック図である。学習システム１０は、被検体内に挿入される内視鏡で撮像された画像に基づく学習処理、認識処理を行う学習認識装置１００（学習装置）と、通常光（白色光）を観察光として取得した複数の内視鏡画像を記録する第１の画像データベース２０１と、特殊光（狭帯域光）を観察光として取得した複数の内視鏡画像を記録する第２の画像データベース２０２とを備える。なお、以下の説明では通常光（白色光）を観察光として得られた画像を「通常光画像」（または「白色光画像」）といい、特殊光（狭帯域光）を観察光として得られた画像を「特殊光画像」（または「狭帯域光画像」）という。第１の画像データベース２０１，第２の画像データベース２０２に記録される内視鏡画像は、医用画像（医療画像ともいう）の一例である。
＜第１，第２の画像データベース＞
＜通常光画像及び特殊光画像＞
第１の画像データベース２０１及び第２の画像データベース２０２は、ハードディスク等の記録媒体により構成される。第１の画像データベース２０１には通常光を観察光（第１の観察光）として撮影された複数の通常光画像（第１のデータ群、第１のデータ、第１の画像データ、第１の医用画像）が記録され、第２の画像データベース２０２には特殊光を観察光（第２の観察光）として撮影された複数の特殊光画像（第２のデータ群、第２のデータ、第２の画像データ、第２の医用画像）が記録される。すなわち、第１の画像データベース２０１に記録された複数の通常光画像は本発明における「第１の条件で取得された複数のデータ」の一態様であり、第２の画像データベース２０２に記録された複数の特殊光画像は本発明における「第１の条件とは異なる第２の条件で取得された複数のデータ」の一態様である。特殊光画像を撮影する特殊光（狭帯域光）は例えば青色狭帯域光とすることができるが、赤色狭帯域光等他の波長でもよい。また、上述の例では第１，第２の観察光が白色光と狭帯域光である場合について説明しているが、波長帯域及び／または強度が異なる第１，第２の狭帯域光を観察光として取得された内視鏡画像等の医用画像を用いてもよい。
このように、通常光画像の取得条件（第１の条件）と特殊光画像の取得条件（第２の条件）は観察光の波長バランスが異なるが、この他、通常光画像の取得条件と特殊光画像の取得条件とで撮像装置、解像度、及び画像に施す画像処理が異なっていてもよい。すなわち、第１の条件と第２の条件とで撮像装置、観察光の波長バランス、解像度、及び画像に施す画像処理のうち少なくとも１つが異なっていてよい。「撮像装置が異なる」には光学系の特性やプロセッサの性能が異なる内視鏡を用いていることが含まれるが、これに限定されるものではない。また、「画像に施す画像処理が異なる」には、注目領域等特定の領域を強調または目立たなくする処理、特定の波長成分の影響を強調または低減する処理の有無及び／または程度が異なることが含まれるが、これに限定されるものではない。
＜データ取得条件によるデータ数の違い＞
内視鏡を用いた観察や検査を行う場合、ユーザは通常光（白色光）を観察光として取得された画像をモニタに表示させて確認するケースが多い。観察や検査の目的、状況（例えば、通常光では病変の構造が観察しづらい）により狭帯域光等の特殊光を観察光として画像をケースもあるが、通常光と比較すると観察光としての使用頻度が低く、そのため特殊光画像は通常光画像よりも著しく数が少ない場合が多い。機械学習により画像の学習及び／または認識を行う場合、特殊光画像についても学習及び／または認識を行う必要があるが、データ数が少ないと通常光画像と比較して学習及び／または認識の精度が低下するおそれがある。このような状況に鑑み、第１の実施形態では後述する階層型ネットワークの構成及び中間特徴量算出処理を採用してデータ数に差がある状況でも適切に学習及び／または認識できるようにしている。
＜内視鏡画像の正解データ＞
第１の画像データベース２０１及び第２の画像データベース２０２は、上述した内視鏡画像に加え、注目領域（ＲＯＩ：Region of Interest）を識別するための「正解データ」を画像と対応させて記憶する。具体的には、第１の画像データベース２０１は複数の通常光画像にそれぞれ対応する複数の正解データを記憶し、第２の画像データベース２０２は複数の特殊光画像にそれぞれ対応する複数の正解データを記憶する。正解データは、内視鏡画像に対して医師が指定した注目領域や鑑別結果であることが好ましい。
＜学習認識装置の構成＞
画像取得部１１０は、外部サーバ、データベース等とネットワークを介して通信する装置等により構成され、学習や認識に用いる内視鏡画像や正解データを第１の画像データベース２０１、第２の画像データベース２０２から取得する。画像取得部１１０は、図示せぬネットワークで学習システム１０と接続された内視鏡システム、病院内サーバ等からも内視鏡画像を取得することができる。操作部１２０は図示せぬキーボード、マウス等の入力デバイスを備え、ユーザはこれらデバイスを介して画像取得、学習や認識等の処理に必要な操作を行うことができる。制御部１３０は記録部１５０に記録された各種プログラムを読み込み、操作部１２０から入力される指令に従って、学習システム１０全体の動作を制御する。また制御部１３０は、後述する誤差算出部１６４が算出した誤差（損失）をＣＮＮ１６２（ＣＮＮ：Convolutional Neural Network、畳み込みニューラルネットワーク）に逆伝搬することにより、ＣＮＮ１６２の重みパラメータを更新する。
表示部１４０はモニタ１４２（表示装置）を備え、内視鏡画像、学習結果、認識結果、処理条件設定画面等を表示する。記録部１５０は図示せぬＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等で構成され、画像取得部１１０が取得したデータ、処理部１６０での学習結果や認識結果等を記録する。また、記録部１５０は内視鏡画像（医用画像）の学習、認識を行うためのプログラム（本発明の学習方法を学習システム１０に実行させるプログラムを含む）を記録する。処理部１６０は、階層型ネットワークであるＣＮＮ１６２、及びＣＮＮ１６２の出力（認識結果）と上述した「正解データ」とに基づいて損失（誤差）を算出する誤差算出部１６４を備える。
＜ＣＮＮの層構成＞
図２はＣＮＮ１６２の層構成の例を示す図である。図２の例において、ＣＮＮ１６２は第１の入力層３０１（第１の入力層）と、第２の入力層３０２（第２の入力層）と、２つの中間層３０３（中間層）と、認識処理層３０４とを含む。第１の入力層３０１は第１の画像データベース２０１に記憶された通常光画像（第１のデータ群）から選出された画像（第１のデータ）を入力して特徴量を出力する。第２の入力層３０２は第１の入力層３０１とは独立した入力層であり、第２の画像データベース２０２に記憶された特殊光画像（第２のデータ群）から選出された画像（第２のデータ）を入力して特徴量を出力する。中間層３０３は第１の入力層３０１及び第２の入力層３０２に対して共通の中間層であり、第１の入力層３０１が出力する特徴量または第２の入力層が出力する特徴量を入力して他の特徴量（第１，第２の中間特徴量）を算出する。これらの層は複数の「ノード」が「エッジ」で結ばれた構造となっており、複数の重みパラメータを保持している。重みパラメータの値は、学習が進むにつれて変化していく。
＜入力層及び中間層における処理＞
第１の入力層３０１、第２の入力層３０２、及び中間層３０３は、畳み込み演算、プーリング処理、及びバッチノーマライゼーション処理によって特徴量を算出する。畳み込み演算はフィルタを使用した畳み込み演算により特徴マップを取得する処理であり、画像からのエッジ抽出等の特徴抽出の役割を担う。このフィルタを用いた畳み込み演算により、１つのフィルタに対して１チャンネル(１枚)の「特徴マップ」が生成される。「特徴マップ」のサイズは、畳み込みによりダウンスケーリングされ、各層で畳み込みが行われるにつれて小さくなって行く。最終的には、入力した画像と同じサイズの１枚の「特徴マップ」が得られる。プーリング処理は畳み込み演算により出力された特徴マップを縮小（または拡大）して新たな特徴マップとする処理であり、抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。バッチノーマライゼーション処理は学習を行う際のミニバッチを単位としてデータの分布を正規化する処理であり、学習を速く進行させる、初期値への依存性を下げる、過学習を抑制する等の役割を担う。第１の入力層３０１、第２の入力層３０２、及び中間層３０３は、これらの処理を行う１または複数の層により構成することができる。なお、層の構成は畳み込み演算、プーリング処理、バッチノーマライゼーション処理を行う層を１つずつ含む場合に限らず、いずれかの層（例えば、畳み込み演算を行う層）が複数含まれていてもよい。
これら第１の入力層３０１、第２の入力層３０２、及び中間層３０３の層のうち、入力側に近い層では低次の特徴抽出（エッジの抽出等）が行われ、出力側に近づくにつれて高次の特徴抽出（対象物の形状、構造等に関する特徴の抽出）が行われる。また、中間層３０３では第１の入力層３０１及び第２の入力層３０２で抽出した特徴量に基づく対象物（注目領域）のセグメンテーションが行われるようになる。
＜認識処理層における処理＞
認識処理層３０４は、中間層３０３から出力された特徴量に基づき、入力された画像（通常光画像、特殊光画像）に映っている注目領域の位置検出を行ってその結果を出力する層である。認識処理層３０４は、中間層３０３から得られる「特徴マップ」により、画像に写っている注目領域の位置を画素レベルで把握する。即ち、内視鏡画像の画素ごとに注目領域に属するか否かを検出し、その検出結果を出力することができる。
認識処理層３０４は、病変に関する鑑別を実行して鑑別結果を出力するものでもよい。例えば、認識処理層３０４は、内視鏡画像を「腫瘍性」、「非腫瘍性」、「その他」の３つのカテゴリに分類し、鑑別結果として「腫瘍性」、「非腫瘍性」及び「その他」に対応する３つのスコア（３つのスコアの合計は１００％）として出力してもよいし、３つのスコアから明確に分類できる場合には分類結果を出力してもよい。なお鑑別結果を出力する場合、認識処理層３０４が最後の１層または複数の層として全結合層を有することが好ましい。
＜ＣＮＮの層構成（他の例）＞
図３はＣＮＮ１６２の層構成の他の例を示す図である。図３の例では、ＣＮＮ１６２は第１の入力層３０１（第１の入力層）を２つと、第２の入力層３０２（第２の入力層）を２つと、中間層３０３（中間層）を２つと、認識処理層３０４とを含んでいる。このように、第１の入力層３０１、第２の入力層３０２、中間層３０３が複数含まれていてもよい。
図４はＣＮＮ１６２の層構成のさらに他の例を示す図である。図４の例では、ＣＮＮ１６２は第１の入力層３０１（第１の入力層）を２つと、第２の入力層３０２（第２の入力層）を１つと、中間層３０３（中間層）を２つと、認識処理層３０４とを含んでいる。図４の例のように第１の入力層３０１と第２の入力層３０２との数が違っていてもよく、入力したデータの特徴量が適切に抽出されるように第１，第２の入力層の数を設定することができる。なお図３，４の例に関し、各層の層構成や処理（畳み込み演算、プーリング処理、及びバッチノーマライゼーション処理）の内容は図２の例について上述したのと同様である。図２～図４に例示する構成のＣＮＮ１６２を用いた学習方法の具体的な手順については、詳細を後述する。
＜各種のプロセッサによる機能の実現＞
上述した画像取得部１１０、制御部１３０、処理部１６０（ＣＮＮ１６２、誤差算出部１６４）の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、コンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On a Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る学習方法を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。これらのＲＯＭ，ＲＡＭ，ＥＥＰＲＯＭ等は、記録部１５０に備えられたものを用いることができる。
＜学習方法＞
上述した構成の学習システム１０では、第１の入力層３０１から出力される特徴量に基づく第１の特徴量を中間層３０３に入力し中間層３０３で第１の中間特徴量を算出する第１の中間特徴量算出処理と、第２の入力層３０２から出力される特徴量に基づく第２の特徴量を中間層３０３に入力し中間層３０３で第２の中間特徴量を算出する第２の中間特徴量算出処理と、をそれぞれ少なくとも１回実行する。
＜第１の中間特徴量算出処理＞
第１の中間特徴量算出処理では、第１の画像データベース２０１に記録されている複数の通常光画像から選出された複数の画像（第１のデータ）でミニバッチを構成し、第１の入力層３０１に入力する。中間層３０３には上述のように第１の入力層３０１及び第２の入力層３０２が接続されているので、学習の際には第１の入力層３０１の出力と第２の入力層３０２の出力とを切り替えて入力する。図５は出力を切り替える様子を示す図であり、同図の（ａ）部分は第１の入力層３０１からの出力を中間層３０３へ入力する状態を示している。なお、図５において下向き矢印は第１の入力層３０１、第２の入力層３０２から中間層３０３を経て認識処理層３０４に至る方向に情報が伝達されること（学習方向）を意味し、学習方向とは逆の上向き矢印は認識処理層３０４から中間層３０３を経て第１の入力層３０１、第２の入力層３０２に情報が伝達されること（後述する誤差逆伝搬）を意味する。
図５の（ａ）部分に示す状態で、第１の入力層３０１から出力される特徴量に基づく第１の特徴量を中間層３０３へ入力して、中間層３０３で第１の中間特徴量を算出する（第１の中間特徴量算出処理、第１の中間特徴量算出工程）。図６は中間層３０３に入力する特徴量を切り替える様子を示す図であり、同図の（ａ）部分は第１の特徴量を中間層３０３へ入力する状態（第１の入力層３０１に含まれる層を構成するノード３０１Ａからの出力を、中間層３０３を構成するノード３０３Ａに入力している）を示している。入力の際、第１の入力層３０１から出力される特徴量を第１の特徴量としてそのまま中間層３０３へ入力してもよいし、適宜重みを乗じた特徴量を第１の特徴量として中間層３０３へ入力してもよい（図７を参照）。なお、図中の実線は上述した出力の切り替えによりノードからデータが出力または入力されている状態を示し、図中の点線はノードからデータが出力または入力されていない状態を示す。ノード３０１Ａ，３０３Ａは概念的に示したものであり、数は特に限定されない。これらの点については図７でも同様である。
図７は第１の入力層３０１及び第２の入力層３０２から中間層３０３に特徴量を入力する際の畳み込み（Convolution）の様子を示す図である。図７の（ａ）部分は、第１の入力層３０１のノードＸ １１ 、Ｘ １２ 、Ｘ １３ の出力に対しそれぞれ重みパラメータＷ １１ 、Ｗ １２ 、Ｗ １３ を乗じて中間層３０３のノードＹ １１ に入力する様子を示している（同図に示す状態では、ノードＸ １０ からはノードＹ １１ に入力されていない）。同図ではノードＸ １１ 、Ｘ １２ 、Ｘ １３ とノードＹ １１ との入力関係を示しているが、中間層３０３の他のノードＹ １０ 、Ｙ １２ 、Ｙ １３ についても同様の関係が成立する。
＜認識結果の出力＞
中間層３０３で算出した第１の中間特徴量を認識処理層３０４に入力し、認識処理層３０４は認識結果を出力する。
＜誤差逆伝搬による重みパラメータの更新＞
誤差算出部１６４は認識処理層３０４が出力する認識結果と第１のデータに対する正解とを比較して損失（誤差）を計算し、損失が小さくなるように、図５の（ａ）部分に示すように、第１の入力層３０１及び中間層３０３における重みパラメータを出力側の層から入力側の層に向けて更新していく（誤差逆伝搬）。
＜第２の中間特徴量算出処理＞
第２の中間特徴量算出処理（第２の中間特徴量算出工程）は、第１の中間特徴量算出処理と同様に行うことができるので、第１の中間特徴量算出処理との相違を中心に説明する。第２の中間特徴量算出処理では、第２の画像データベース２０２に記録されている複数の特殊光画像から選出された複数の画像（第２のデータ）でミニバッチを構成し、第２の入力層３０２に入力する。この際、図５の（ｂ）部分に示すように出力を切り替え、第２の入力層３０２からの出力を中間層３０３へ入力する。図６の（ｂ）部分は、第２の特徴量を中間層３０３へ入力する様子（第２の入力層３０２を構成するノード３０２Ａからの出力を、中間層３０３を構成するノード３０３Ａに入力）を示す図である。図５の（ｂ）部分に示す状態で、第２の入力層３０２から出力される特徴量に基づく第２の特徴量を中間層３０３へ入力して、中間層３０３で第２の中間特徴量を算出する（第２の中間特徴量算出処理、第２の中間特徴量算出工程）。図６の（ｂ）部分は第２の特徴量を中間層３０３へ入力する状態を示している。
図７の（ｂ）部分は、同図の（ａ）部分と同様に、第２の入力層３０２のノードＸ ２１ 、Ｘ ２２ 、Ｘ ２３ の出力に対しそれぞれ重みパラメータＷ ２１ 、Ｗ ２２ 、Ｗ ２３ を乗じて中間層３０３のノードＹ １１ に入力する様子を示している（同図に示す状態では、ノードＸ ２０ からはノードＹ １１ に入力されていない）。同図ではノードＸ ２１ 、Ｘ ２２ 、Ｘ ２３ とノードＹ １１ との入力関係を示しているが、中間層３０３の他のノードＹ １０ 、Ｙ １２ 、Ｙ １３ についても同様の関係が成立する。
中間層３０３で算出した第２の中間特徴量を認識処理層３０４に入力し、認識処理層３０４は認識結果を出力する。誤差算出部１６４は、上述した通常光画像（第１のデータ）の場合と同様に誤差逆伝搬により重みパラメータを更新する（図５の（ｂ）部分を参照）。
＜学習パターンの例＞
学習システム１０では、第１、第２の中間特徴量算出処理（中間特徴量算出工程）をそれぞれ少なくとも１回実行する。以下、処理の回数及び順番の例について説明する。
（第１の例）
第１の例では、第１の入力層３０１における特徴量抽出処理及びこれに続く第１の中間特徴量算出処理（第１の中間特徴量算出工程）を少なくとも２回実行し、第１の中間特徴量算出処理が１回終了してから他の第１の中間特徴量算出処理が始まるまでの期間に第２の入力層３０２における特徴量抽出処理及びこれに続く第２の中間特徴量算出処理（第２の中間特徴量算出工程）を実行する。例えば、図８の（ａ）部分に示す順番で処理を繰り返す。図中「第１」、「第２」とあるのはそれぞれ「第１の入力層３０１における特徴量抽出処理及びこれに続く第１の中間特徴量算出処理」、「第２の入力層３０２における特徴量抽出処理及びこれに続く第２の中間特徴量算出処理」を意味し、ミニバッチ単位で１回、２回…と数える。
（第２の例）
第２の例では、第１の入力層３０１における特徴量抽出処理及びこれに続く第１の中間特徴量算出処理を少なくとも２回実行し、少なくとも２回の第１の中間特徴量算出処理が終了してから第２の入力層３０２における特徴量抽出処理及びこれに続く第２の中間特徴量算出処理を実行する。例えば、図８の（ｂ）部分に示す順番で処理を繰り返す。図８の（ｂ）部分中、「第１」、「第２」とあるのは同図の（ａ）部分と同じ意味である。この場合、図８の（ｃ）部分に示すように第２の中間特徴量算出処理を２回続けて行ってもよい。また、第１の入力層３０１における特徴量抽出処理及びこれに続く第１の中間特徴量算出処理を複数回継続して行い、第１の中間特徴量算出処理が終了してから第２の入力層３０２における特徴量抽出処理及びこれに続く第２の中間特徴量算出処理を行ってもよい（図９を参照）。なお、図８，９に示すパターンは例示であり、他にも様々なパターンで学習を行うことができる。
＜第１の実施形態の効果＞
第１の実施形態に係る学習システム１０では、第１の入力層３０１及びこれと独立した第２の入力層３０２に第１，第２のデータをそれぞれ入力し、各入力層でそれぞれ特徴量を算出することで、一方の入力層における特徴量算出が他方の入力層における特徴量算出の影響を受けないようにしている。また学習システム１０では、入力層での特徴抽出に加えて、第１の入力層３０１及び第２の入力層３０２に共通な中間層３０３において第１の中間特徴量算出処理と第２の中間特徴量算出処理とをそれぞれ少なくとも１回実行するので、入力層で算出した特徴量を中間層３０３における中間特徴量算出に反映することができる。また、階層型ネットワークはパラメータが多いため過学習になりがちであるが、第１の実施形態に係る学習システム１０では、中間層３０３は第１，第２のデータを合わせた大量のデータで学習できるため過学習になりにくく、一方、入力層は第１，第２の入力層に独立しておりそれぞれの入力層のパラメータは少なくなるため、少量のデータでも過学習になりにくい。これにより学習システム１０では、同一のカテゴリに属し異なる条件で取得されたデータ（通常光画像と特殊光画像等）を適切に学習することができる。
＜合成ミニバッチによる学習＞
なお、上述した学習パターンでは第１，第２のデータについてミニバッチ単位で別個に特徴量算出を行っているが、中間層３０３への入力直前に第１，第２のミニバッチを１つのミニバッチに合成してもよい。具体的には、第１の画像データベース２０１に記録されている複数の通常光画像から選出された複数の画像（第１のデータ）でミニバッチ（第１のミニバッチ）を構成し、第１の入力層３０１に入力して特徴量を算出する。また、第２の画像データベース２０２に記録されている複数の特殊光画像から選出された複数の画像（第２のデータ）でミニバッチ（第２のミニバッチ）を構成し、第２の入力層３０２に入力して特徴量を算出する。これらの特徴量について中間層３０３への入力直前に第１，第２のミニバッチを１つのミニバッチに合成して中間層３０３に入力してもよい。
＜認識処理＞
認識（推論）処理においては、第１の入力層３０１または第２の入力層３０２を取り外した構成にして認識を行ってもよい。例えば、図５の（ａ）部分のように第２の入力層３０２を取り外して第１の入力層３０１のみが接続されている状態で、第１，第２のデータに対して認識を行うことができる（この場合、第１、第２のデータはいずれも第１の入力層３０１に入力する）。また、図５の（ｂ）部分のように第１の入力層３０１を取り外して第２の入力層３０２のみが接続されている状態で、第１，第２のデータに対して認識を行うことができる（この場合、第１、第２のデータはいずれも第２の入力層３０２に入力する）。
＜第１狭帯域光画像及び第２狭帯域光画像による学習＞
上述した例では、通常光画像（白色光画像）及び特殊光画像（例えば、青色特殊光画像）を用いた学習について説明したが、観察光の波長バランスが異なる複数の狭帯域光画像を用いて学習を行ってもよい。第１の入力層は第１の狭帯域光を第１の観察光として取得された第１の医用画像のデータを第１の画像データとして入力し、第２の入力層は第１の狭帯域光とは異なる第２の狭帯域光を第２の観察光として取得された第２の医用画像のデータを第２の画像データとして入力してもよい。この場合、狭帯域光の組み合わせとしては複数の青色狭帯域光、青色狭帯域光と紫色狭帯域光、複数の赤色狭帯域光等を用いることができる。
＜その他のデータを用いた学習＞
第１の実施形態では異なる観察光で取得された内視鏡画像を用いた学習について説明したが、本発明に係る学習装置及び学習方法ではＣＴ装置（Computed Tomography）、ＭＲＩ（Magnetic Resonance Imaging）装置等の内視鏡画像以外の他の医用画像を用いる場合でも同様に学習することができる。また、医用画像以外の画像（例えば、人物、動物、風景等他の画像）を用いる場合でも同様に学習することができる。さらに、入力するデータが画像でなく文章、音声等の場合も同様に学習することができる。
以上で本発明の実施形態に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
１０ 学習システム
１００ 学習認識装置
１１０ 画像取得部
１２０ 操作部
１３０ 制御部
１４０ 表示部
１４２ モニタ
１５０ 記録部
１６０ 処理部
１６２ ＣＮＮ
１６４ 誤差算出部
２０１ 第１の画像データベース
２０２ 第２の画像データベース
３０１ 第１の入力層
３０１Ａ ノード
３０２ 第２の入力層
３０２Ａ ノード
３０３ 中間層
３０３Ａ ノード
３０４ 認識処理層
Ｗ １１ 重みパラメータ
Ｗ １２ 重みパラメータ
Ｗ １３ 重みパラメータ
Ｗ ２１ 重みパラメータ
Ｗ ２２ 重みパラメータ
Ｗ ２３ 重みパラメータ
Ｘ １０ ノード
Ｘ １１ ノード
Ｘ １２ ノード
Ｘ １３ ノード
Ｘ ２０ ノード
Ｘ ２１ ノード
Ｘ ２２ ノード
Ｘ ２３ ノード
Ｙ １０ ノード
Ｙ １１ ノード
Ｙ １２ ノード
Ｙ １３ ノード

Claims (13)

  1. 第１の条件で取得された複数のデータで構成される第１のデータ群から選出された第１のデータを入力して特徴量を出力する第１の入力層と、
    前記第１の入力層とは独立した第２の入力層であって、前記第１のデータ群を構成するデータと同一のカテゴリに属し前記第１の条件とは異なる第２の条件で取得された複数のデータで構成される第２のデータ群から選出された第２のデータを入力して特徴量を出力する第２の入力層と、
    前記第１の入力層及び前記第２の入力層に対して共通の中間層であって、前記第１の入力層が出力する前記特徴量または前記第２の入力層が出力する前記特徴量を入力して他の特徴量を算出する中間層と、
    を含む階層型ネットワークを備える学習装置であって、
    前記第１の入力層から出力される前記特徴量に基づく第１の特徴量を前記中間層に入力し前記中間層で第１の中間特徴量を算出する第１の中間特徴量算出処理と、前記第２の入力層から出力される前記特徴量に基づく第２の特徴量を前記中間層に入力し前記中間層で第２の中間特徴量を算出する第２の中間特徴量算出処理と、をそれぞれ少なくとも１回実行し、
    前記第１の中間特徴量算出処理を少なくとも２回実行し、前記第１の中間特徴量算出処理が終了してから他の前記第１の中間特徴量算出処理が始まるまでの期間に前記第２の中間特徴量算出処理を実行する学習装置。
  2. 第１の条件で取得された複数のデータで構成される第１のデータ群から選出された第１のデータを入力して特徴量を出力する第１の入力層と、
    前記第１の入力層とは独立した第２の入力層であって、前記第１のデータ群を構成するデータと同一のカテゴリに属し前記第１の条件とは異なる第２の条件で取得された複数のデータで構成される第２のデータ群から選出された第２のデータを入力して特徴量を出力する第２の入力層と、
    前記第１の入力層及び前記第２の入力層に対して共通の中間層であって、前記第１の入力層が出力する前記特徴量または前記第２の入力層が出力する前記特徴量を入力して他の特徴量を算出する中間層と、
    を含む階層型ネットワークを備える学習装置であって、
    前記第１の入力層から出力される前記特徴量に基づく第１の特徴量を前記中間層に入力し前記中間層で第１の中間特徴量を算出する第１の中間特徴量算出処理と、前記第２の入力層から出力される前記特徴量に基づく第２の特徴量を前記中間層に入力し前記中間層で第２の中間特徴量を算出する第２の中間特徴量算出処理と、をそれぞれ少なくとも１回実行し、
    前記第１の中間特徴量算出処理を少なくとも２回実行し、前記少なくとも２回の前記第１の中間特徴量算出処理が終了してから前記第２の中間特徴量算出処理を実行する学習装置。
  3. 前記階層型ネットワークは畳み込みニューラルネットワークである請求項１または２に記載の学習装置。
  4. 前記第１の入力層及び／または前記第２の入力層は畳み込み演算によって前記特徴量を算出する請求項１から３のいずれか１項に記載の学習装置。
  5. 前記第１の入力層及び／または前記第２の入力層はプーリング処理によって前記特徴量を算出する請求項１から３のいずれか１項に記載の学習装置。
  6. 前記第１の入力層及び／または前記第２の入力層はバッチノーマライゼーション処理によって前記特徴量を算出する請求項１から３のいずれか１項に記載の学習装置。
  7. 前記中間層は畳み込み演算によって前記特徴量を算出する請求項１から６のいずれか１項に記載の学習装置。
  8. 前記中間層はプーリング処理によって前記特徴量を算出する請求項１から６のいずれか１項に記載の学習装置。
  9. 前記中間層はバッチノーマライゼーション処理によって前記特徴量を算出する請求項１から６のいずれか１項に記載の学習装置。
  10. 前記第１の入力層は前記第１の条件で取得された第１の画像データを前記第１のデータとして入力し、
    前記第２の入力層は前記第１の条件とは異なる前記第２の条件で取得された第２の画像データを前記第２のデータとして入力する請求項１から９のいずれか１項に記載の学習装置。
  11. 第１の条件で取得された複数のデータで構成される第１のデータ群から選出された第１のデータを入力して特徴量を出力する第１の入力層と、
    前記第１の入力層とは独立した第２の入力層であって、前記第１のデータ群を構成するデータと同一のカテゴリに属し前記第１の条件とは異なる第２の条件で取得された複数のデータで構成される第２のデータ群から選出された第２のデータを入力して特徴量を出力する第２の入力層と、
    前記第１の入力層及び前記第２の入力層に対して共通の中間層であって、前記第１の入力層が出力する前記特徴量または前記第２の入力層が出力する前記特徴量を入力して他の特徴量を算出する中間層と、
    を含む階層型ネットワークを備える学習装置であって、
    前記第１の入力層から出力される前記特徴量に基づく第１の特徴量を前記中間層に入力し前記中間層で第１の中間特徴量を算出する第１の中間特徴量算出処理と、前記第２の入力層から出力される前記特徴量に基づく第２の特徴量を前記中間層に入力し前記中間層で第２の中間特徴量を算出する第２の中間特徴量算出処理と、をそれぞれ少なくとも１回実行し、
    前記第１の入力層は前記第１の条件で取得された第１の画像データを前記第１のデータとして入力し、
    前記第２の入力層は前記第１の条件とは異なる前記第２の条件で取得された第２の画像データを前記第２のデータとして入力し、
    前記第１の条件と前記第２の条件とでは、撮像装置、観察光の波長バランス、解像度、及び画像に施す画像処理のうち少なくとも１つが異なり、
    前記第１の入力層は第１の観察光により取得された第１の医用画像のデータを前記第１の画像データとして入力し、
    前記第２の入力層は前記第１の観察光と波長バランスが異なる第２の観察光により取得された第２の医用画像のデータを前記第２の画像データとして入力する学習装置。
  12. 前記第１の入力層は白色光を前記第１の観察光として取得された前記第１の医用画像のデータを前記第１の画像データとして入力し、
    前記第２の入力層は狭帯域光を前記第２の観察光として取得された前記第２の医用画像のデータを前記第２の画像データとして入力する請求項１１に記載の学習装置。
  13. 前記第１の入力層は第１の狭帯域光を前記第１の観察光として取得された前記第１の医用画像のデータを前記第１の画像データとして入力し、
    前記第２の入力層は前記第１の狭帯域光とは異なる第２の狭帯域光を前記第２の観察光として取得された前記第２の医用画像のデータを前記第２の画像データとして入力する請求項１１に記載の学習装置。
JP2020532265A 2018-07-26 2019-07-04 学習装置 Active JP7019815B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018140434 2018-07-26
JP2018140434 2018-07-26
PCT/JP2019/026688 WO2020022027A1 (ja) 2018-07-26 2019-07-04 学習装置及び学習方法

Publications (2)

Publication Number Publication Date
JPWO2020022027A1 JPWO2020022027A1 (ja) 2021-08-05
JP7019815B2 true JP7019815B2 (ja) 2022-02-15

Family

ID=69181632

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020532265A Active JP7019815B2 (ja) 2018-07-26 2019-07-04 学習装置

Country Status (2)

Country Link
JP (1) JP7019815B2 (ja)
WO (1) WO2020022027A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115087386A (zh) 2020-02-18 2022-09-20 索尼奥林巴斯医疗解决方案公司 学习装置和医疗图像处理装置
JP7256765B2 (ja) * 2020-02-28 2023-04-12 株式会社日立製作所 医用撮像装置、医用画像処理装置、及び、画像処理プログラム
WO2022044425A1 (ja) * 2020-08-28 2022-03-03 富士フイルム株式会社 学習装置、学習方法、プログラム、学習済みモデル、及び内視鏡システム
US20240249827A1 (en) * 2021-05-26 2024-07-25 Sony Group Corporation Image processing device, image processing method, and recording medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016067780A (ja) 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
WO2017158575A1 (en) 2016-03-17 2017-09-21 Imagia Cybernetics Inc. Method and system for processing a task with robustness to missing input information

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016067780A (ja) 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
WO2017158575A1 (en) 2016-03-17 2017-09-21 Imagia Cybernetics Inc. Method and system for processing a task with robustness to missing input information

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
伊東隼人、森 悠一、三澤将史、小田昌宏、工藤進英、森 健策，畳み込みニューラルネットワークを利用した超拡大大腸内視鏡画像における腫瘍・非腫瘍の分類，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2017年09月18日，Ｖｏｌ．１１７，Ｎｏ．２２０，ｐｐ．１７－２１，ISSN 0913-5685

Also Published As

Publication number Publication date
WO2020022027A1 (ja) 2020-01-30
US20210133473A1 (en) 2021-05-06
JPWO2020022027A1 (ja) 2021-08-05

Similar Documents

Publication Publication Date Title
JP7019815B2 (ja) 学習装置
Chan et al. Texture-map-based branch-collaborative network for oral cancer detection
JP7278202B2 (ja) 画像学習装置、画像学習方法、ニューラルネットワーク、及び画像分類装置
EP2357612A2 (en) Method for quantifying and imaging features of a tumor
Odstrcilik et al. Thickness related textural properties of retinal nerve fiber layer in color fundus images
JP7083037B2 (ja) 学習装置及び学習方法
CN113450305B (zh) 医疗图像的处理方法、系统、设备及可读存储介质
JPWO2020031851A1 (ja) 画像処理方法及び画像処理装置
JPWO2020003991A1 (ja) 医療画像学習装置、方法及びプログラム
CN115004222A (zh) Oct数据的神经网络处理以生成对地图状萎缩生长率的预测
JP6345332B1 (ja) 分類装置、分類方法、プログラム、ならびに、情報記録媒体
Javidi et al. Retinal image assessment using bi-level adaptive morphological component analysis
KR102288727B1 (ko) 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 장치 및 방법
US20230180999A1 (en) Learning apparatus, learning method, program, trained model, and endoscope system
Chen et al. Detection of various dental conditions on dental panoramic radiography using Faster R-CNN
EP4287926A1 (en) System and method of using right and left eardrum otoscopy images for automated otoscopy image analysis to diagnose ear pathology
Syed et al. A diagnosis model for detection and classification of diabetic retinopathy using deep learning
Auzine et al. Endoscopic image analysis using deep convolutional gan and traditional data augmentation
Alsaih et al. Retinal fluids segmentation using volumetric deep neural networks on optical coherence tomography scans
Singh et al. Preprocessing of Medical Images using Deep Learning: A Comprehensive Review
WO2022115777A2 (en) System and methods of predicting parkinson's disease based on retinal images using machine learning
US12124960B2 (en) Learning apparatus and learning method
Shourie et al. Multi-class Classification of Skin Diseases using Pre-trained DenseNet Architecture on Dermoscopy Images
CN112598603A (zh) 一种基于卷积神经网络的口腔龋病图像智能识别方法
US20240104731A1 (en) System for Integrated Analysis of Multi-Spectral Imaging and Optical Coherence Tomography Imaging

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210127

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220202

R150 Certificate of patent or registration of utility model

Ref document number: 7019815

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150