JPWO2019167882A1 - 機械学習装置および方法 - Google Patents

機械学習装置および方法 Download PDF

Info

Publication number
JPWO2019167882A1
JPWO2019167882A1 JP2020503491A JP2020503491A JPWO2019167882A1 JP WO2019167882 A1 JPWO2019167882 A1 JP WO2019167882A1 JP 2020503491 A JP2020503491 A JP 2020503491A JP 2020503491 A JP2020503491 A JP 2020503491A JP WO2019167882 A1 JPWO2019167882 A1 JP WO2019167882A1
Authority
JP
Japan
Prior art keywords
learning
data
unit
machine
learning data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020503491A
Other languages
English (en)
Other versions
JP6952185B2 (ja
Inventor
ディーパック ケシュワニ
ディーパック ケシュワニ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019167882A1 publication Critical patent/JPWO2019167882A1/ja
Application granted granted Critical
Publication of JP6952185B2 publication Critical patent/JP6952185B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/441—AI-based methods, deep learning or artificial neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

学習用のボリュームデータから機械学習に適した分割データを用意することの可能な機械学習装置および方法を提供する。機械学習部（１５）は、予測マスクPjにおける各臓器O(j, i)の検出精度を、損失関数Lossを用いて算出する。ただし、体積比A(k)i<Thとなる臓器O(k)iの検出精度は算出しないものとする。すなわち、予測マスクPkにおいて、体積比が一定程度小さい臓器O(k)iの検出精度は無視する。機械学習部（１５）は、損失関数Lossに応じて、ニューラルネットワーク（１６）の各結合荷重を出力層側から入力層側へ変化させていく。

Description

本発明は機械学習装置および方法に関し、特に、画像の構造の分類（セグメンテーション）を行う機械学習済みモデルを構築するための機械学習装置および方法に関する。
従来、ＣＴ（Computed Tomography）画像など３次元の医用画像データ（ボリュームデータ）から、特定の臓器の解剖学的な特徴点を機械学習で検出することによって、ボリュームデータに含まれる臓器を検出する技術が存在する。
例えば特許文献１では、教師あり機械学習アルゴリズムを用いて、ボリュームデータに含まれる解剖学的な特徴点を抽出し、身体における解剖学的な特徴点の３次元的な位置関係を示すモデルと、抽出した特徴点とを比較することで、抽出した特徴点を最適化して、部位検出を行う。また、１つの絶対位置において、複数の臓器が描出される場合、１枚のＣＴ画像に複数部位の位置情報を付与する。これにより、例えば、ＣＴ画像をシリーズに分割する場合、位置情報に基づいて部位ごとにＣＴ画像をシリーズに分割することが可能になる。
特開2017-202321号公報
近年、機械学習などによって、ボリュームデータから複数の臓器を同時に抽出する判別器の開発が行われ始めている。すなわち、判別器にボリュームデータを入力すると、そのボリュームデータを構成するボクセルのそれぞれに、「胃」、「肺」、「気管支」、「肝臓」、「肝臓門脈」などのラベルが付いたデータが出力される。このような同時ラベリングの機能は、多種多様なアプリケーションの前処理として有用である。
このような同時に２以上の臓器のラベル付けをする判別器は、元のボリュームデータとそのボリュームデータに含まれる各臓器のボクセルを医師などが手動でラベリングしたもののセットを正解データとして多数準備し、それらを機械学習させることで学習済みモデルが完成する。
ここで、学習用のボリュームデータは容量が非常に大きく、機械学習で使うメモリサイズの都合上、分割されて機械学習処理に入力される場合がある。
３次元ＣＴ画像データの場合は、アキシャル方向について、メモリサイズの制限内のある枚数でデータが分割される。この分割されたデータが学習用のデータである。ここで、分割されたデータが、ラベルを付けた臓器の一部しか含んでいないような場合、機械学習に悪影響を及ぼす可能性がある。
本発明はこのような問題点に鑑みてなされたもので、学習用のボリュームデータから機械学習に適した分割データを用意することの可能な機械学習装置および方法を提供することを目的とする。
本発明の第１態様に係る機械学習装置は、断層画像のボリュームデータとボリュームデータにおける領域のラベリングとを含む学習データの入力を受け付ける学習データ入力部と、学習データ入力部が入力を受け付けた学習データを分割することで、分割学習データを作成する分割部と、分割部の作成した分割学習データと学習データとから、学習対象から除外する領域である学習除外対象領域を判別する学習除外対象領域判別部と、分割部の作成した分割学習データに基づいて、学習除外対象領域判別部が判別した学習除外対象領域以外の領域のラベリングを機械学習する機械学習部と、を備える。
本発明の第２態様に係る機械学習装置において、学習除外対象領域判別部は、分割部の作成した分割学習データでラベリングされた領域の体積と学習データでラベリングされた領域の体積とを比較し、体積が閾値以下となるか否かに応じて学習除外対象領域を判別する。
本発明の第３態様に係る機械学習装置は、学習除外対象領域判別部が判別した学習除外対象領域以外の検出精度を算出する検出精度算出部を備え、機械学習部は、分割部の作成した分割学習データと検出精度算出部が算出した検出精度とに基づいて、学習除外対象領域以外の領域のラベリングを機械学習する。
本発明の第４態様に係る機械学習装置において、検出精度算出部は、各領域の予測ラベルと正解ラベルとの間のIoU(Intersection over Union)の平均に基づいて検出精度を算出する。
本発明の第５態様に係る機械学習装置において、分割部は、学習除外対象領域の全体が含まれるよう学習データを再分割する。
本発明の第６態様に係る機械学習装置において、分割部は、互いに重なりを有する分割学習データを作成する。
本発明の第７態様に係る機械学習装置において、断層画像は３次元医用断層画像であり、領域は臓器を含む。
本発明の第８態様に係る機械学習方法では、コンピュータが、断層画像のボリュームデータとボリュームデータにおける領域のラベリングとを含む学習データの入力を受け付けるステップと、学習データを分割することで、分割学習データを作成するステップと、分割学習データと学習データとから、学習対象から除外する領域である学習除外対象領域を判別するステップと、分割学習データに基づいて、学習除外対象領域以外の領域のラベリングを機械学習するステップと、を実行する。
上記の機械学習方法をコンピュータに実行させるための機械学習プログラムおよび上記の機械学習プログラムによって機械学習された機械学習済みモデルも本発明に含まれる。
この発明によると、分割学習データから学習除外対象領域を判別し、学習除外対象領域以外の領域のラベリングを機械学習するため、臓器の一部しか含まないような分割データからも、精度の高い機械学習を行うことができる。
機械学習装置の概略構成図 分割学習データの概念説明図 臓器のラベリング領域が切り取られた分割正解データの概念説明図 分割学習データDjごとに行われるバックプロパゲーションの概念説明図 機械学習処理のフローチャート 学習データの再分割の概念説明図
図１は本発明の好ましい実施形態に係る機械学習装置１の概略構成図である。機械学習装置１は、元学習データ入力部１１、元学習データ分割部１２、学習除外対象判別部１３、分割学習データ出力部１４、機械学習部１５を備える。機械学習装置１は、ＧＰＵ（Graphics Processing Unit）などのプロセッサを備えるコンピュータで構成され、上記の各部は、プロセッサで実行されるプログラムにより実現される。機械学習装置１はニューラルネットワーク１６を含んでいてもよいし、含んでいなくてもよい。
元学習データ入力部１１は、多数のアキシャル断層画像（マルチスライス画像）からなるボリュームデータＶと、そのボリュームデータに含まれる各ボクセルに対し、医師などが手動で、「肺」、「気管支」、「血管」、「空気充填パターン」「その他（バックグラウンド）」などの正解のラベルを付すこと（ラベリング）で、画像内の各画素が解剖学的構造の種類（クラス）に分類された正解(Ground Truth)マスクＧとの組（元学習データ）の入力を受け付ける。
元学習データ分割部１２は、元学習データ入力部１１が入力を受け付けた元学習データを、予め決められた単位でアキシャル方向に分割（クロップ）することで、分割ボリュームデータＶ１、Ｖ２、Ｖ３・・、ＶＮと分割正解マスクＧ１、Ｇ２、Ｇ３・・、ＧＮとの組からなるＮ個の分割学習データＤ１、Ｄ２、Ｄ３・・、ＤＮを作成する（図２参照）。この分割学習データＤ１、Ｄ２、Ｄ３・・の分割単位は、ニューラルネットワーク１６のメモリや演算装置などのハードウェア上の制限に依存する。すなわち、ニューラルネットワーク１６が一度に受け入れ可能なデータ量に依存する。
異なる２つの分割学習データは、互いに重複する部分を含んでもよい。また、アキシャル方向だけでなくサジタル方向やコロナル方向に元学習データを分割してもよい。
学習除外対象判別部１３は、ボリュームデータＶから、各臓器Oi(iは１以上の整数)の全体の体積Viを算出するとともに、分割正解マスクGjに含まれるn(j)個の臓器O(j, i)（i=1〜n(j)）ごとの体積V(j, i)を算出する。O(j, i)はOiと同一の臓器のラベルが付与されている。ただし、分割の位置によっては、O(j, i)とOiとが完全に一致するとは限らない。
例えば図３に示すように、分割正解マスクG1で「肝臓」のラベルの付された領域O(1,1)は、正解マスクＧで「肝臓」のラベルの付された領域O1の一部が切り取られたような形となっている。
学習除外対象判別部１３は、分割正解マスクGjにおける臓器O(j, i)と正解マスクＧにおける臓器Oiとの間の体積比A(j, i)=V(j, i)/Vi(<1)を算出する。
学習除外対象判別部１３は、分割正解マスクGjにおける臓器Oiの体積比A(j, i)=V(j, i)/Viに基づいて、分割学習データDjに、臓器Oiの全体が含まれているか、または臓器Oiの一部のみが含まれているかを判別する。
具体的には、学習除外対象判別部１３は、A(j, i)が所定の閾値Th（例えばTh=0.9等、実質的に1かその近傍の値）を下回るか否かを判別する。学習除外対象判別部１３は、A(k,i)<Thとなる添え字kを有する分割学習データDkを、臓器Oiの学習除外対象と判別する。以下、分割学習データDkにおいてA(k,i)<Thとなる臓器Oiを、O(k,i)で表す。
なお、体積比の代わりに、サジタル方向またはコロナル方向の断層画像Djから、Djに含まれる臓器Oiの面積比を算出し、この面積比に基づいて、分割学習データに臓器Oiの一部のみが含まれているか否かを判別してもよい。
分割学習データ出力部１４は、学習除外対象判別部１３による判別を経た分割学習データDjを、機械学習部１５に出力する。
機械学習部１５は、分割学習データ出力部１４から出力された分割学習データDjに基づいて、ニューラルネットワーク１６に機械学習を行わせる。
ニューラルネットワーク１６は畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）などによって構成される多層の分類器である。
機械学習部１５によるニューラルネットワーク１６の機械学習はバックプロパゲーション（誤差伝播法）を用いる。バックプロパゲーションは、入力データに対しての教師データを、ニューラルネットワーク１６から得られる実際の出力データと照らし合わせ、その誤差を基に各結合荷重を出力層側から入力層側へ変化させていく手法である。
具体的には、図４に示すように、まずニューラルネットワーク１６は、何らかの機械学習により得られた学習済みモデルに従って、分割学習データDjに含まれる分割ボリュームデータVjの各ボクセル（２次元データの場合はピクセル）に、「肺」、「気管支」、「血管」、「空気充填パターン」、「その他（バックグラウンド）」などのラベルを付すことで、分割ボリュームデータVj内の構造物を分類する。これにより、分割学習データDjごとに、各臓器のラベリングを付したボクセルの集合である予測マスクPjが得られる。
機械学習部１５は、分割正解マスクGjを教師データとして予測マスクPjと照らし合わせ、それらの誤差を基に、ニューラルネットワーク１６のバックプロパゲーションを行う。つまり、ニューラルネットワーク１６のバックプロパゲーションは、分割学習データDjごとに行われる。
ただし、機械学習部１５は、分割学習データDkに対応する予測マスクPkに学習除外対象の臓器O(k,i)が含まれる場合、臓器O(k,i)のラベリングのバックプロパゲーションは行わない。以下ではこの詳細を説明する。
図５は分割学習データDjを用いた機械学習処理のフローチャートである。この機械学習処理を機械学習装置１のプロセッサに実行させるためのプログラムは、機械学習装置１のＲＡＭ（Random Access Memory）などのコンピュータ読取可能な有形記憶媒体に記憶されている。このプログラムが格納される媒体は、ハードディスク、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、各種半導体メモリ等の、非一時的かつコンピュータ読取可能な記録媒体であってもよい。
まず、Ｓ１（分割学習データ作成ステップ）において、元学習データ分割部１２は、元学習データ入力部１１が受け付けた元学習データから、Ｎ個の分割学習データＤ１、Ｄ２・・、ＤＮを作成する。Ｎは２以上の整数である。なお図２はＮ＝４の場合を示している。学習データの分割の単位はメモリ容量やＧＰＵの処理能力に依存し、分割学習データが処理できる最大の量未満の任意量を分割の単位とする。
Ｓ２（体積算出ステップ）において、学習除外対象判別部１３は、分割正解マスクGjと正解マスクＧとから、各臓器O(j, i)の体積比A(j, i)=V(j, i)/Viを算出する。
Ｓ３（除外対象特定ステップ）において、学習除外対象判別部１３は、A(j, i)が所定の閾値Th未満であるか否かを判断する。学習除外対象判別部１３は、j=kの場合、A(k)i<Thとなるのであれば、分割学習データDkにおける学習除外対象は臓器O(k,i)であると判別する。
Ｓ４（予測マスク作成ステップ）において、ニューラルネットワーク１６は、分割学習データDjの分割ボリュームデータVjを入力し、n(j)個の各臓器O(j, i)の予測マスクPjを作成する。ここで、j=1,2,…,Nである。
Ｓ５（損失算出ステップ）では、機械学習部１５は、予測マスクPjにおける各臓器O(j, i)の検出精度を、損失関数Lossを用いて算出する。ただし、j=kの場合、臓器O(k)iの検出精度は算出しないものとする。すなわち、予測マスクPkにおいて、体積比が一定程度小さい臓器O(k)iの検出精度は無視する。
具体的には、予測マスクPjにおいて、学習除外対象である臓器O(k,i)を除く、n(j)種類の臓器O(j, i)ごとの検出精度acc(j, i)を算出し、その平均値を分割学習データDjに対応する損失関数Loss(j)とする。
Loss(j)=Avg(acc(j, i)) (i=1,2,..,n(j)、ただしi≠n(k)。またacc(k,i)=0とする) acc(j,i)は、予測マスクPjにおける各臓器O(j, i)のIoU(Intersection over Union)である。すなわちIoUは、予測マスクPjにおける臓器O(j, i)の集合Pr(i)と、分割正解マスクGjにおける臓器O(j, i)の集合Htとの和集合(union)のボクセル数で、Pr(i)とHtとの積集合(intersection)のボクセル数を割った値である。分割ボリュームデータVjで各臓器O(j, i)の検出精度が上がるほどacc(j,i)は１に近づく。ただし、検出精度が低い臓器が多ければ、他の臓器の検出精度が高くても損失関数Lossは１に近づかない。もっとも、体積比が閾値未満の臓器の検出精度については、そもそも損失関数Lossの値に反映されない。
なお検出精度の算出式は上記に限られない。一般的には、
Figure 2019167882
で表すことができる。f1は
Figure 2019167882
をパラメータとする関数、f2は
Figure 2019167882
をパラメータとする関数である。例えば、このIoUを定数倍（１００倍など）した値や、Dice係数をacc(i)としてもよい。
Ｓ６（バックプロパゲーションステップ）では、機械学習部１５は、損失関数Lossに応じて、ニューラルネットワーク１６の各結合荷重を出力層側から入力層側へ変化させていく。
Ｓ７（分割学習データ作成ステップ）では、元学習データ分割部１２は、分割学習データDkを再作成する。この際、元学習データ分割部１２は、臓器O(k,i)の全体が分割学習データDkに含まれるように、元学習データを分割しなおす。ただしこの再分割の単位もハードウェア資源上の制約を受ける。そして、処理はＳ２に戻り、分割学習データDkについて、臓器O(k,i)を含む各臓器の予測マスクPkが作成される。
図６は分割学習データDkの再作成の一例である。ここでは、一旦作成された分割学習データD2が、アキシャル（体軸）方向に沿った頭部に向けてシフトされる。こうすれば、学習除外対象の臓器O(k,i)についても、シフト後の分割学習データD2に基づいて、精度の高い機械学習が可能となる。なお上記のＳ２〜Ｓ７は任意の回数繰り返すことができる。したがって、どの臓器Oiもいずれかの分割学習データに含まれるように分割をやり直し、さらに、分割の都度損失関数に基づいたバックプロパゲーションをすればよい。
従って、どの臓器もその体積に関係なく検出精度を高めるバックプロパゲーションを行うことができる。ただし、分割学習データに、臓器の体積が閾値よりも小さいものが含まれていれば、その臓器の検出精度は損失関数に反映されない。このため、元学習データが分割されることで切り取られた臓器の一部の検出精度が損失関数に反映され、バックプロパゲーションに悪影響を与えることを防ぐことができる。
また、学習データの分割で切り取られた臓器については、学習データの再分割により、検出精度の算出およびバックプロパゲーションの対象とすることができる。
１ 機械学習装置
１１ 元学習データ入力部
１２ 元学習データ分割部
１３ 学習除外対象判別部
１４ 分割学習データ出力部
１５ 機械学習部
１６ ニューラルネットワーク
例えば図３に示すように、分割正解マスクG1で「肝臓」のラベルの付された臓器O(1,1)は、正解マスクＧで「肝臓」のラベルの付された臓器O1の一部が切り取られたような形となっている。
なお、体積比の代わりに、サジタル方向またはコロナル方向の分割学習データDjから、Djに含まれる臓器Oiの面積比を算出し、この面積比に基づいて、分割学習データに臓器Oiの一部のみが含まれているか否かを判別してもよい。
Ｓ３（除外対象特定ステップ）において、学習除外対象判別部１３は、A(j, i)が所定の閾値Th未満であるか否かを判断する。学習除外対象判別部１３は、j=kの場合、A(k,i)<Thとなるのであれば、分割学習データDkにおける学習除外対象は臓器O(k,i)であると判別する。
Ｓ５（損失算出ステップ）では、機械学習部１５は、予測マスクPjにおける各臓器O(j, i)の検出精度を、損失関数Lossを用いて算出する。ただし、j=kの場合、臓器O(k,i)の検出精度は算出しないものとする。すなわち、予測マスクPkにおいて、体積比が一定程度小さい臓器O(k,i)の検出精度は無視する。

Claims (11)

  1. 断層画像のボリュームデータと前記ボリュームデータにおける領域のラベリングとを含む学習データの入力を受け付ける学習データ入力部と、
    前記学習データ入力部が入力を受け付けた学習データを分割することで、分割学習データを作成する分割部と、
    前記分割部の作成した分割学習データと前記学習データとから、学習対象から除外する領域である学習除外対象領域を判別する学習除外対象領域判別部と、
    前記分割部の作成した分割学習データに基づいて、前記学習除外対象領域判別部が判別した学習除外対象領域以外の領域のラベリングを機械学習する機械学習部と、
    を備える機械学習装置。
  2. 前記学習除外対象領域判別部は、前記分割部の作成した分割学習データでラベリングされた領域の体積と前記学習データでラベリングされた領域の体積とを比較し、前記体積が閾値以下となるか否かに応じて学習除外対象領域を判別する請求項１に記載の機械学習装置。
  3. 前記学習除外対象領域判別部が判別した学習除外対象領域以外の検出精度を算出する検出精度算出部を備え、
    前記機械学習部は、前記分割部の作成した分割学習データと前記検出精度算出部が算出した検出精度とに基づいて、前記学習除外対象領域以外の領域のラベリングを機械学習する請求項１または２に記載の機械学習装置。
  4. 前記検出精度算出部は、各領域の予測ラベルと正解ラベルとの間のIoU(Intersection over Union)の平均に基づいて検出精度を算出する請求項３に記載の機械学習装置。
  5. 前記分割部は、前記学習除外対象領域の全体が含まれるよう前記学習データを再分割する請求項１〜４のいずれか１項に記載の機械学習装置。
  6. 前記分割部は、互いに重なりを有する分割学習データを作成する請求項１〜５のいずれか１項に記載の機械学習装置。
  7. 前記断層画像は３次元医用断層画像であり、前記領域は臓器を含む請求項１〜６のいずれか１項に記載の機械学習装置。
  8. コンピュータが、
    断層画像のボリュームデータと前記ボリュームデータにおける領域のラベリングとを含む学習データの入力を受け付けるステップと、
    前記学習データを分割することで、分割学習データを作成するステップと、
    前記分割学習データと前記学習データとから、学習対象から除外する領域である学習除外対象領域を判別するステップと、
    前記分割学習データに基づいて、前記学習除外対象領域以外の領域のラベリングを機械学習するステップと、
    を実行する機械学習方法。
  9. 請求項８に記載の機械学習方法をコンピュータに実行させるための機械学習プログラム。
  10. 請求項９に記載の機械学習プログラムによって機械学習された機械学習済みモデル。
  11. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項９に記載の機械学習プログラムをコンピュータに実行させる記録媒体。
JP2020503491A 2018-02-27 2019-02-25 機械学習装置および方法 Active JP6952185B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018033451 2018-02-27
JP2018033451 2018-02-27
PCT/JP2019/007048 WO2019167882A1 (ja) 2018-02-27 2019-02-25 機械学習装置および方法

Publications (2)

Publication Number Publication Date
JPWO2019167882A1 true JPWO2019167882A1 (ja) 2021-03-04
JP6952185B2 JP6952185B2 (ja) 2021-10-20

Family

ID=67805382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020503491A Active JP6952185B2 (ja) 2018-02-27 2019-02-25 機械学習装置および方法

Country Status (3)

Country Link
US (1) US11494586B2 (ja)
JP (1) JP6952185B2 (ja)
WO (1) WO2019167882A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019176806A1 (ja) * 2018-03-16 2019-09-19 富士フイルム株式会社 機械学習装置および方法
JP7252158B2 (ja) * 2020-03-13 2023-04-04 富士フイルム株式会社 学習方法、学習装置、画像解析装置、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004097535A (ja) * 2002-09-10 2004-04-02 Toshiba Corp 医用３次元画像データの領域分割方法
JP2006325629A (ja) * 2005-05-23 2006-12-07 Ge Medical Systems Global Technology Co Llc ３次元関心領域設定方法，画像取得装置およびプログラム
JP2010119850A (ja) * 2008-11-22 2010-06-03 General Electric Co <Ge> 統計モデルを用いた医療画像自動セグメンテーションシステム、装置並びにプロセッサ
JP2013506478A (ja) * 2009-09-30 2013-02-28 インペリアル イノベ−ションズ リミテッド 医用画像処理方法および装置
JP2015530193A (ja) * 2012-09-27 2015-10-15 シーメンス プロダクト ライフサイクル マネージメント ソフトウェアー インコーポレイテッドＳｉｅｍｅｎｓ Ｐｒｏｄｕｃｔ Ｌｉｆｅｃｙｃｌｅ Ｍａｎａｇｅｍｅｎｔ Ｓｏｆｔｗａｒｅ Ｉｎｃ． ３ｄコンピュータ断層撮影のための複数の骨のセグメンテーション
JP2018011958A (ja) * 2016-07-21 2018-01-25 東芝メディカルシステムズ株式会社 医用画像処理装置及び医用画像処理プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9959486B2 (en) * 2014-10-20 2018-05-01 Siemens Healthcare Gmbh Voxel-level machine learning with or without cloud-based support in medical imaging
WO2017195797A1 (ja) 2016-05-09 2017-11-16 東芝メディカルシステムズ株式会社 医用画像診断装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004097535A (ja) * 2002-09-10 2004-04-02 Toshiba Corp 医用３次元画像データの領域分割方法
JP2006325629A (ja) * 2005-05-23 2006-12-07 Ge Medical Systems Global Technology Co Llc ３次元関心領域設定方法，画像取得装置およびプログラム
JP2010119850A (ja) * 2008-11-22 2010-06-03 General Electric Co <Ge> 統計モデルを用いた医療画像自動セグメンテーションシステム、装置並びにプロセッサ
JP2013506478A (ja) * 2009-09-30 2013-02-28 インペリアル イノベ−ションズ リミテッド 医用画像処理方法および装置
JP2015530193A (ja) * 2012-09-27 2015-10-15 シーメンス プロダクト ライフサイクル マネージメント ソフトウェアー インコーポレイテッドＳｉｅｍｅｎｓ Ｐｒｏｄｕｃｔ Ｌｉｆｅｃｙｃｌｅ Ｍａｎａｇｅｍｅｎｔ Ｓｏｆｔｗａｒｅ Ｉｎｃ． ３ｄコンピュータ断層撮影のための複数の骨のセグメンテーション
JP2018011958A (ja) * 2016-07-21 2018-01-25 東芝メディカルシステムズ株式会社 医用画像処理装置及び医用画像処理プログラム

Also Published As

Publication number Publication date
WO2019167882A1 (ja) 2019-09-06
JP6952185B2 (ja) 2021-10-20
US11494586B2 (en) 2022-11-08
US20200387751A1 (en) 2020-12-10

Similar Documents

Publication Publication Date Title
US20200380688A1 (en) System and method for n-dimensional image segmentation using convolutional neural networks
US10867384B2 (en) System and method for automatically detecting a target object from a 3D image
CN111784700B (zh) 肺叶分割、模型训练、模型构建与分割方法、系统及设备
Li et al. Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images
US20080310716A1 (en) Editing of pre-segmented images using seeds derived from contours
Wang Segmentation of multiple structures in chest radiographs using multi-task fully convolutional networks
US20230230241A1 (en) System and method for detecting lung abnormalities
CN113744183A (zh) 肺结节检测方法及系统
JP6952185B2 (ja) 機械学習装置および方法
JPWO2019176806A1 (ja) 機械学習装置および方法
CN111681204B (zh) 基于图神经网络的ct肋骨骨折病灶关系建模方法及装置
CN115546570A (zh) 一种基于三维深度网络的血管图像分割方法及系统
Albuquerque et al. Object detection for automatic cancer cell counting in zebrafish xenografts
Iyer et al. A novel approach to vertebral compression fracture detection using imitation learning and patch based convolutional neural network
Tan et al. Automatic liver segmentation using 3D convolutional neural networks with a hybrid loss function
Dang et al. Two-layer Ensemble of Deep Learning Models for Medical Image Segmentation
Tahoces et al. Deep learning method for aortic root detection
Wen et al. Squeeze-and-excitation encoder-decoder network for kidney and kidney tumor segmentation in CT images
CN116596830A (zh) 检测临床工作流程中的机器学习模型的鲁棒性
EP3896649A1 (en) Medical image synthesis of abnormality patterns associated with covid-19
EP4057296A1 (en) Machine learning for automatic detection of intracranial hemorrhages with uncertainty measures from ct images
KR20230040484A (ko) 흉부 의료 영상 객체 검출 시스템 및 그 방법
CN115546089A (zh) 医学图像分割方法、病理图像处理方法、装置、设备
Sorour et al. A Deep Learning System for Detecting Cardiomegaly Disease Based on CXR Image
US20230298736A1 (en) Multi-view matching across coronary angiogram images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200901

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210927

R150 Certificate of patent or registration of utility model

Ref document number: 6952185

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150