WO2019167883A1 - 機械学習装置および方法 - Google Patents

機械学習装置および方法 Download PDF

Info

Publication number
WO2019167883A1
WO2019167883A1 PCT/JP2019/007049 JP2019007049W WO2019167883A1 WO 2019167883 A1 WO2019167883 A1 WO 2019167883A1 JP 2019007049 W JP2019007049 W JP 2019007049W WO 2019167883 A1 WO2019167883 A1 WO 2019167883A1
Authority
WO
WIPO (PCT)
Prior art keywords
volume data
probability
machine learning
neural network
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/007049
Other languages
English (en)
French (fr)
Inventor
ディーパック ケシュワニ
嘉郎 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2020503492A priority Critical patent/JP7022195B2/ja
Publication of WO2019167883A1 publication Critical patent/WO2019167883A1/ja
Priority to US16/996,871 priority patent/US12159411B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Definitions

  • the machine learning method provides a second volume that differs from the first volume data by a first learned model that is constructed by the first neural network and that can classify the first volume data. Based on the step of calculating the probability indicating the probability of classification of the data, the step of setting the correction probability correcting the probability indicating the probability of the classification of the second volume data, and the second volume data and the correction probability, Causing machine learning to obtain a second learned model different from the first learned model to a second neural network different from the first neural network.
  • the slice thickness ⁇ of the second slice images Ithin-1, Ithin-2,... is thinner than the slice thickness ⁇ of the first slice image Itick of the learning data. That is, ⁇ > ⁇ .
  • the first neural network 13 is a two-dimensional convolutional neural network
  • the second neural network 18 is a three-dimensional convolutional neural network
  • the first volume data is a pseudo two-dimensional image
  • the second volume data is a three-dimensional image.
  • the dimensions of the first neural network 13 and the second neural network 18 are not limited to the above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

ラベル付けが混在する学習データを用いて、ボリュームデータに複数のラベルを一挙に精度良く付するラベリングの機械学習が可能な機械学習装置および方法を提供する。確率算出部（１４）は、学習済みの教師モデル（１３ａ）による、第２スライス画像の各ボクセルに対するクラスCiへのラベリングの確からしさを示す値（ソフトラベル）を算出する。検出部（１５）は、第２スライス画像のボクセルに対し、領域拡張法などの公知の手法により、「気管支」および「血管」を検出し、「気管支」および「血管」のラベリングを行う。修正確率設定部（１６）は、検出部（１５）の検出した「気管支」または「血管」のハードラベルによってソフトラベルを置き換える。蒸留部（１７）は、修正確率設定部（１６）による修正後のソフトラベルを用いて、教師モデル（１３ａ）から生徒モデル（１８ａ）の蒸留（distillation）を行う。これにより、学習済みの生徒モデル（１８ａ）が得られる。

Description

機械学習装置および方法
　本発明は機械学習装置および方法に関し、特に、画像の構造の分類（セグメンテーション）を行う機械学習モデルを構築するための機械学習装置および方法に関する。
　従来、ＣＴ（Computed Tomography）画像など３次元の医用画像データ（ボリュームデータ）に対して、各画素値が複数のラベルのいずれかに属するかを決定する学習済みモデルを用いて、それよりも規模の小さい学習モデルを機械学習させる“蒸留”（distillation）という技術が存在する。蒸留（distillation）は、softmax関数を用いて分類の確率（ソフトターゲットあるいはソフトラベルと呼ばれる値）を算出し、ソフトターゲットを用いて、学習済みモデルとは異なる別の学習モデルのニューラルネットワークの重みを更新するものである。
特開2017-182320号公報
Geoffrey Hinton, Oriol Vinyals, Jeff Dean, "Distilling the Knowledge in a Neural Network" 、インターネット<URL https://arxiv.org/abs/1503.02531>
　肺の所見分類においては、「正常」、「網状」、「蜂窩」、「すりガラス」、「穏やかなLow attenuation area (LAA)」、「中程度のLAA」、「高度のLAA」、「牽引性気管支拡張」、「点状影」など３０を超える画像パターンがある。これらを機械学習するための正解ラベルを作成する場合、２次元のスライス画像で対象領域を囲む程度のことは容易であるが、３次元のスライス画像で正解ラベルを作成することは困難である。
　そこで２次元画像を入力してニューラルネットワークを学習させて学習モデルを構築し、この学習モデルを３次元画像のスライスごとに適用することが考えられる。しかし、分類対象の構造物が血管や気管支など３次元である場合、それらの見え方が異なる場合には、学習モデルは高い精度でこれを分類することはできない。例えば、スライスに垂直に走行する血管は、点状影として分類される。一方、血管や気管支を３次元的にラベリングすることは、疾患パターンへのラベリングよりも容易である。
　本発明は、分類対象の構造物に応じてより精度の高く効率的な蒸留（distillation）を可能とする機械学習装置および方法を提供することを目的とする。
　本発明の第１の態様に係る機械学習装置は、第１のニューラルネットワークで構築された、第１ボリュームデータの分類が可能な第１の学習済みモデルによって、第１ボリュームデータと異なる第２ボリュームデータの分類の確からしさを示す確率を算出する確率算出部と、第２ボリュームデータの分類の確からしさを示す確率を修正した修正確率を設定する修正確率設定部と、第２ボリュームデータと修正確率とに基づいて、第１の学習済みモデルと異なる第２の学習済みモデルを得るための機械学習を、第１のニューラルネットワークと異なる第２のニューラルネットワークにさせる機械学習部と、を備える。
　本発明の第２の態様に係る機械学習装置において、第１ボリュームデータは２次元データであり、第２ボリュームデータは３次元データである。
　本発明の第３の態様に係る機械学習装置において、第１ボリュームデータは２次元医用断層画像であり、第２ボリュームデータは第１ボリュームデータよりもスライス厚の薄い複数の２次元医用断層画像を含む３次元医用断層画像である。
　本発明の第４の態様に係る機械学習装置において、第１のニューラルネットワークは２次元畳み込みニューラルネットワークであり、第２のニューラルネットワークは３次元畳み込みニューラルネットワークである。
　本発明の第５の態様に係る機械学習装置において、第１ボリュームデータは３次元データであり、第２ボリュームデータは４次元データである。
　本発明の第６の態様に係る機械学習装置において、修正確率設定部は、確率算出部から算出された第２ボリュームデータの分類確率に対し、第２ボリュームデータから手動または自動のラベリングにより得られる少なくとも１つの領域抽出の結果に基づき、修正確率を設定する。
　本発明の第７の態様に係る機械学習装置において、修正確率設定部は、領域拡張法により判別された分類に基づいて修正確率を設定する。
　本発明の第８の態様に係る機械学習方法は、第１のニューラルネットワークで構築された、第１ボリュームデータの分類が可能な第１の学習済みモデルによって、第１ボリュームデータと異なる第２ボリュームデータの分類の確からしさを示す確率を算出するステップと、第２ボリュームデータの分類の確からしさを示す確率を修正した修正確率を設定するステップと、第２ボリュームデータと修正確率とに基づいて、第１の学習済みモデルと異なる第２の学習済みモデルを得るための機械学習を、第１のニューラルネットワークと異なる第２のニューラルネットワークにさせるステップと、を含む。
　上記の機械学習方法をコンピュータに実行させるための機械学習プログラムおよびこの機械学習プログラムによって機械学習された機械学習済みモデルも本発明に含まれる。更に、非一時的かつコンピュータ読取可能な記録媒体であって、記録媒体に格納された指令がコンピュータによって読み取られた場合に上記の機械学習プログラムをコンピュータに実行させる記録媒体も本発明に含まれる。
　この発明によると、従来の領域拡張法などで得られた正確な分類（ハードラベル）によって確率（ソフトラベル）を修正して蒸留（distillation）を行えば、より高い精度で学習済みモデルから別のモデルを学習させることができる。
機械学習装置の概略構成図 スライス画像の一例を示す図 機械学習処理のフローチャート
　図１は本発明の好ましい実施形態に係る機械学習装置１の概略構成図である。機械学習装置１は、学習データ入力部１１、機械学習部１２、第１ニューラルネットワーク１３、確率算出部１４、修正確率設定部１６、および第２ニューラルネットワーク１８を備える。
　学習データ入力部１１は、１枚のアキシャル断層画像（第１スライス画像Ithick）からなる第１ボリュームデータと、その第１ボリュームデータに含まれる各ボクセルに対し、医師などが手動で、「肺実質」、「気管支」、「血管」、「腫瘤」、「その他」などの正解のラベルを付すこと（ラベリング）で、画像内の各画素がn種類の解剖学的構造（クラスCi,1≦i≦n）に分類された正解マスクとの組（学習データ）の入力を受け付ける。
　第１ニューラルネットワーク１３は２次元畳み込みニューラルネットワークである。機械学習部１２は、学習データ入力部１１から入力された学習データに基づいて、第１ニューラルネットワーク１３を機械学習させることで、スライス画像にラベリングを行う学習済みモデル（教師モデル１３ａ）を得る。
　また、第１ニューラルネットワーク１３の学習で得られた教師モデル１３ａは、学習データ入力部１１から入力された多数のアキシャル断層画像（マルチスライス画像）からなる第２ボリュームデータの各々のスライス画像（第２スライス画像Ithin-1,Ithin-2,…）のボクセルに対しラベリングを行う。マルチスライス画像は平面画像と撮影時間とからなる動画であってもよい。
　図２に示すように、この第２スライス画像Ithin-1,Ithin-2,…のスライス厚βは、学習データの第１スライス画像Ithickのスライス厚αよりも薄いものとする。すなわちα＞βである。
　第１スライス画像Ithickのスライス厚αや第２スライス画像Ithin-1,Ithin-2,…のスライス厚βを無視すれば、これらは疑似的な２次元画像データとして扱うことができる。このため、第１ニューラルネットワーク１３により、第１スライス画像Ithickや第２スライス画像Ithin-1,Ithin-2,…の各ボクセルに対し、ラベリングを行うことが可能である。第１スライス画像Ithickと正解マスクとの組から、教師モデル１３ａが得られる。
　教師モデル１３ａは、第２スライス画像Ithin-1,Ithin-2,…の各々のボクセルへの、肺実質、気管支、血管、腫瘤、その他などのクラスCiへのラベリングを行う。
　確率算出部１４は、学習済みの教師モデル１３ａによる、第２スライス画像の各ボクセルに対するクラスCiへのラベリングの確からしさを示す値pi（ソフトラベル）を算出する。
　これは非特許文献１に記載のように、教師モデル１３ａのsoftmax層を用いれば、第２スライス画像の各ボクセルに対するソフトラベルすなわち各クラスCiの温度付き確率piは以下の式（温度付きsoftmax関数）で求めることができる。viはロジット（logit）である。なおTは通常１であるが、より大きい値とすることでより各モデルの出力分布がよりソフトとなる。
Figure JPOXMLDOC01-appb-M000001
　例えば、クラスCiの添え字i=1～5は、「肺実質」、「気管支」、「血管」、「腫瘤」、「それ以外」に対応するものとすると、第２スライス画像Ithin-1の座標(x1,y1,z1)のボクセルB1に対し、教師モデル１３ａのsoftmax層を用いた各クラスCiの温度付き確率pi(B1)は
　　p1(B1)(=ボクセルB1に対する肺実質のソフトラベル)=0.8
　　p2(B1)(=ボクセルB1に対する気管支のソフトラベル)=0.03
　　p3(B1)(=ボクセルB1に対する血管のソフトラベル)=0.05
　　p4(B1)(=ボクセルB1に対する腫瘤のソフトラベル)=0.05
　　p5(B1)(=ボクセルB1に対するそれ以外のソフトラベル)=0.07
　などと算出される。ただし、気管支や血管のように、アキシャル方向に延びる解剖学的構造は、教師モデル１３ａによる検出は精度が高いとは言えない。これは、α＞βであり、第１スライス画像にある気管支や血管の特徴を示す情報が、個々の第２スライス画像では失われている可能性があるからである。
　検出部１５は、第２スライス画像のボクセルに対し、領域拡張法などの公知の手法により、「気管支」および「血管」を検出し、「気管支」および「血管」のラベリングを行う。これらのラベリングは確率的な確からしさが０または１のハードラベルである。あるいは、検出部１５は、医師などの手動操作に基づいて、第２スライス画像のボクセルに対する「気管支」および「血管」のラベリングを検出することで、確率的な確からしさが０または１のハードラベルを各ボクセルに付与してもよい。
　例えば、領域拡張法による「気管支」の検出は、気管支内部の空気領域に対応する画素値を有する連続した領域を抽出する手法（特に、所定の条件を満たす程度に画素値が近似する、近接した画素を連結する手法）が挙げられる。この画素の連結はアキシャル方向についても行われるため、第２スライス画像から比較的精度の高い気管支の抽出が可能である。
　また例えば、「血管」の検出は、領域拡張法による他、ヘッセ行列等に基づく線フィルタにより血管らしい領域を抽出し、未分類の血管の領域に連結することによって未分類の血管の領域を拡張させる手法が挙げられる。
　「気管支」および「血管」の他の検出方法としては、グラフカット法やレベルセット法等の公知の手法がある。
　なお検出部１５は、公知の方法で、第２スライス画像から「気管支」および「血管」以外の解剖学的構造を検出してもよい。例えば、検出部１５は、領域拡張法を用いて心内腔領域を検出してもよい。検出部１５は、自動検出、手動操作、あるいはそれらの組み合わせにより、第２スライス画像から「気管支」や「血管」などの解剖学的構造を検出することができる。
　修正確率設定部１６は、第２スライス画像のボクセルにおいて検出部１５が検出した「気管支」または「血管」のハードラベルによって、上記ボクセルのソフトラベルを置き換える。
　例えば、上述の第２スライス画像Ithin-1の座標(x1,y1,z1)とは異なる座標(xk,yk,zk)のボクセルBkについて、検出部１５により「気管支」のハードラベル「１」が付与された場合は、ボクセルBkのソフトラベルは以下のように書き換えられる。
　　p1(Bk)(=ボクセルBkに対する肺実質のソフトラベル)=0.8→0.0
　　p2(Bk)(=ボクセルBkに対する気管支のソフトラベル)=0.35→1
　　p3(Bk)(=ボクセルBkに対する血管のソフトラベル)=0.05→0.0
　　p4(Bk)(=ボクセルBkに対する腫瘤のソフトラベル)=0.0
　　p5(Bk)(=ボクセルBkに対する腫瘤のソフトラベル)=0.0
　あるいは、上述の座標(x1,y1,z1)および(xk,yk,zk)とは異なる座標(xm,ym,zm)のボクセルBmについて、検出部１５により「血管」のハードラベル「１」が付与された場合は、ボクセルBmのソフトラベルは以下のように書き換えられる。
　　p1(Bm)(=ボクセルBmに対する肺実質のソフトラベル)=0.2→0.0
　　p2(Bm)(=ボクセルBmに対する気管支のソフトラベル)=0.1→0.0
　　p3(Bm)(=ボクセルBmに対する血管のソフトラベル)=0.4→1
　　p4(Bm)(=ボクセルBmに対する腫瘤のソフトラベル)=0.1→0.0
　　p5(Bm)(=ボクセルBmに対する腫瘤のソフトラベル)=0.3→0.0
　なお検出部１５によって「気管支」または「血管」のハードラベルが検出されないボクセルについては、ソフトラベルの書き換えは生じない。
　第２ニューラルネットワーク１８は３次元畳み込みニューラルネットワークである。
　蒸留部１７は、修正確率設定部１６による修正後のソフトラベルと、修正のされなかったソフトラベルとを用いて、教師モデル１３ａから、第２ニューラルネットワーク１８の未学習の生徒モデル１８ａの蒸留（distillation）を行うことで、学習済みの生徒モデル１８ａを得る。蒸留（distillation）は、例えば非特許文献１に記載の手法に従えばよい。
　すなわち、まず確率算出部１４は、生徒モデル１８ａによる、第２スライス画像の各ボクセルに対するクラスCiへのラベリングの確からしさを示す値qi（ソフトラベル）を算出する。
　これは非特許文献１に記載のように、第２ニューラルネットワーク１８のsoftmax層を用いて、第２スライス画像の各ボクセルに対するソフトラベルすなわち各クラスCiの温度付き確率qiを求める。qiは以下の式（温度付きsoftmax関数）で求められる。ziはlogitである。
Figure JPOXMLDOC01-appb-M000002
　蒸留部１７による蒸留（distillation）とは、ziに対する交差エントロピーＣの勾配
Figure JPOXMLDOC01-appb-M000003
を最小化することである。蒸留（distillation）により、生徒モデル１８ａのqiの出力分布が、教師モデル１３ａのpiの出力分布に近づく。なおTは通常１であるが、より大きい値とすることでより各モデルの出力分布がよりソフトとなる。
　典型的には、蒸留（distillation）は、大きくて複雑なニューラルネットワーク（教師）の学んだ知識を蒸留し、小さくて軽量なモデル（生徒）の学習に利用するものであるが、上述の数１および数２を用いることで、２次元ニューラルネットワークの教師モデル１３ａから３次元ニューラルネットワークの生徒モデル１８ａに適用することも可能である。
　図３は機械学習装置１の実行する機械学習処理のフローチャートである。
　Ｓ１（教師モデル学習ステップ）において、機械学習部１２は、学習データ入力部１１から入力された第１スライス画像と正解マスクの組からなる学習データに基づいて、第１ニューラルネットワーク１３を機械学習させることで、第２スライス画像にラベリングを行うことが可能な学習済みの教師モデル１３ａを得る。
　Ｓ２（ソフトラベル算出ステップ）において、確率算出部１４は、学習済みの教師モデル１３ａによる、第２スライス画像の各ボクセルに対するクラスCiへのラベリングの確からしさを示すソフトラベルpiを算出する。
　Ｓ３（ハードラベル検出ステップ）において、検出部１５は、第２スライス画像のボクセルに対し、領域拡張法などの公知の手法により、「気管支」および「血管」を検出し、「気管支」および「血管」のラベリングを行う。
　Ｓ４（ソフトラベル修正ステップ）において、修正確率設定部１６は、検出部１５の検出した「気管支」または「血管」のハードラベルによってソフトラベルpiを修正する。
　Ｓ５（蒸留ステップ）において、蒸留部１７は、修正確率設定部１６による修正後のソフトラベルと、修正のされなかったソフトラベルとを用いて、教師モデル１３ａから生徒モデル１８ａの蒸留（distillation）を行う。これにより、教師モデル１３ａから、学習済みの生徒モデル１８ａが得られる。
　教師モデル１３ａは第１スライス画像により学習されたモデルであるため、教師モデル１３ａにより得られた第２スライス画像の「気管支」および「血管」のソフトラベルの確からしさは、精度が高いとは言えない。これに対し、検出部１５に得られた「気管支」および「血管」のハードラベルは、従来の領域拡張法などで正確に抽出できる。これを利用し、第２スライス画像の「気管支」および「血管」のソフトラベルをハードラベルで修正して蒸留（distillation）を行えば、より高い精度で教師モデル１３ａから生徒モデル１８ａを学習させることができる。
　なお、上記では、第１ニューラルネットワーク１３は２次元畳み込みニューラルネットワーク、第２ニューラルネットワーク１８は３次元畳み込みニューラルネットワークであり、第１ボリュームデータは疑似的２次元画像、第２ボリュームデータは３次元画像であったが、第１ニューラルネットワーク１３および第２ニューラルネットワーク１８の次元は上記に限られない。
　例えば、第１ニューラルネットワーク１３は３次元ニューラルネットワーク、第２ニューラルネットワーク１８は２次元ニューラルネットワークであり、第１ボリュームデータは疑似的３次元画像、第２ボリュームデータは２次元画像であってもよい。疑似的３次元画像は平面画像と撮影時間とからなる動画の１コマであってもよい。
　あるいは、第１ニューラルネットワーク１３は３次元ニューラルネットワーク、第２ニューラルネットワーク１８は４次元ニューラルネットワークであり、第１ボリュームデータは３次元画像、第２ボリュームデータは４次元画像であってもよい。４次元画像は立体画像と撮影時刻とからなる動画であってもよい。
　また、教師モデル１３ａと生徒モデル１８ａは異なるニューラルネットワークで構築されたモデルであればよく、それぞれのニューラルネットワークの次元は同じであってもよいし異なってもよい。たとえば、教師モデル１３ａと生徒モデル１８ａは異なる２次元ニューラルネットワーク、３次元ニューラルネットワーク、あるいは４次元ニューラルネットワークで構築されてもよい。
１１　学習データ入力部
１２　機械学習部
１３　第１ニューラルネットワーク
１３ａ　教師モデル
１４　確率算出部
１５　検出部
１６　修正確率設定部
１７　蒸留部
１８　第２ニューラルネットワーク
１８ａ　生徒モデル

Claims (11)

  1. 　第１のニューラルネットワークで構築された、第１ボリュームデータの分類が可能な第１の学習済みモデルによって、前記第１ボリュームデータと異なる第２ボリュームデータの分類の確からしさを示す確率を算出する確率算出部と、
    　前記第２ボリュームデータの分類の確からしさを示す確率を修正した修正確率を設定する修正確率設定部と、
    　前記第２ボリュームデータと前記修正確率とに基づいて、前記第１の学習済みモデルと異なる第２の学習済みモデルを得るための機械学習を、前記第１のニューラルネットワークと異なる第２のニューラルネットワークにさせる機械学習部と、
    　を備える機械学習装置。
  2. 　前記第１ボリュームデータは２次元データであり、前記第２ボリュームデータは３次元データである請求項１に記載の機械学習装置。
  3. 　前記第１ボリュームデータは２次元医用断層画像であり、
    　前記第２ボリュームデータは前記第１ボリュームデータよりもスライス厚の薄い複数の２次元医用断層画像を含む３次元医用断層画像である請求項２に記載の機械学習装置。
  4. 　前記第１のニューラルネットワークは２次元畳み込みニューラルネットワークであり、前記第２のニューラルネットワークは３次元畳み込みニューラルネットワークである請求項２または３に記載の機械学習装置。
  5. 　前記第１ボリュームデータは３次元データであり、前記第２ボリュームデータは４次元データである請求項１に記載の機械学習装置。
  6. 　前記修正確率設定部は、前記確率算出部から算出された前記第２ボリュームデータの分類確率に対し、前記第２ボリュームデータから手動または自動のラベリングにより得られる少なくとも１つの領域抽出の結果に基づき、修正確率を設定する請求項１～５のいずれか１項に記載の機械学習装置。
  7. 　前記修正確率設定部は、領域拡張法により判別された分類に基づいて修正確率を設定する請求項６に記載の機械学習装置。
  8. 　第１のニューラルネットワークで構築された、第１ボリュームデータの分類が可能な第１の学習済みモデルによって、前記第１ボリュームデータと異なる第２ボリュームデータの分類の確からしさを示す確率を算出するステップと、
    　前記第２ボリュームデータの分類の確からしさを示す確率を修正した修正確率を設定するステップと、
    　前記第２ボリュームデータと前記修正確率とに基づいて、前記第１の学習済みモデルと異なる第２の学習済みモデルを得るための機械学習を、前記第１のニューラルネットワークと異なる第２のニューラルネットワークにさせるステップと、
    　を含む機械学習方法。
  9. 　請求項８に記載の機械学習方法をコンピュータに実行させるための機械学習プログラム。
  10. 　請求項９に記載の機械学習プログラムによって機械学習された機械学習済みモデル。
  11. 　非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項９に記載の機械学習プログラムをコンピュータに実行させる記録媒体。
PCT/JP2019/007049 2018-02-28 2019-02-25 機械学習装置および方法 Ceased WO2019167883A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020503492A JP7022195B2 (ja) 2018-02-28 2019-02-25 機械学習装置、方法およびプログラム並びに記録媒体
US16/996,871 US12159411B2 (en) 2018-02-28 2020-08-18 Machine learning device and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018035354 2018-02-28
JP2018-035354 2018-02-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/996,871 Continuation US12159411B2 (en) 2018-02-28 2020-08-18 Machine learning device and method

Publications (1)

Publication Number Publication Date
WO2019167883A1 true WO2019167883A1 (ja) 2019-09-06

Family

ID=67806314

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/007049 Ceased WO2019167883A1 (ja) 2018-02-28 2019-02-25 機械学習装置および方法

Country Status (3)

Country Link
US (1) US12159411B2 (ja)
JP (1) JP7022195B2 (ja)
WO (1) WO2019167883A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784595A (zh) * 2020-06-10 2020-10-16 北京科技大学 一种基于历史记录的动态标签平滑加权损失方法及装置
CN112825143A (zh) * 2019-11-20 2021-05-21 北京眼神智能科技有限公司 深度卷积神经网络压缩方法、装置、存储介质及设备
JP2021111380A (ja) * 2020-01-03 2021-08-02 ネイバー コーポレーションNAVER Corporation 入力映像に含まれた客体の３次元ポーズの推定のためのデータを生成する方法、コンピュータシステムおよび推論モデルを構築する方法
JP2022002023A (ja) * 2020-06-22 2022-01-06 パナソニックＩｐマネジメント株式会社 学習装置、学習方法及びプログラム
JP2022010572A (ja) * 2020-06-29 2022-01-17 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
US20220199258A1 (en) * 2019-09-26 2022-06-23 Lunit Inc. Training method for specializing artificial interlligence model in institution for deployment, and apparatus for training artificial intelligence model
JP2022549806A (ja) * 2019-09-23 2022-11-29 プレサーゲン プロプライアトリー リミテッド 非集中型人工知能（ａｉ）／機械学習トレーニングシステム
WO2023276750A1 (ja) * 2021-06-29 2023-01-05 富士フイルム株式会社 学習方法、画像処理方法、学習装置、画像処理装置、学習プログラム、及び画像処理プログラム
JP2023510697A (ja) * 2020-01-09 2023-03-15 インターナショナル・ビジネス・マシーンズ・コーポレーション 不確実性にガイドされたイメージのクラス化のための半教師ありニューラル・ネットワークのトレーニング
CN116894995A (zh) * 2023-06-28 2023-10-17 湖南大学 用于图像掩码预训练的知识蒸馏方法及装置
JP2024537971A (ja) * 2021-09-25 2024-10-18 メディカル・エーアイ・カンパニー・リミテッド 医療データに基づくディープラーニングモデルの学習及び推論方法、プログラム及び装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830288A (zh) * 2018-04-25 2018-11-16 北京市商汤科技开发有限公司 图像处理方法、神经网络的训练方法、装置、设备及介质
US11037030B1 (en) * 2018-10-29 2021-06-15 Hrl Laboratories, Llc System and method for direct learning from raw tomographic data
US12541691B2 (en) * 2020-12-11 2026-02-03 International Business Machines Corporation Mixup data augmentation for knowledge distillation framework
MX2023006968A (es) * 2020-12-15 2023-06-23 Mars Inc Sistemas y metodos para evaluar imagenes de radiologia de mascotas.
CN116801795A (zh) * 2020-12-15 2023-09-22 马斯公司 用于评估宠物放射学图像的系统和方法
CN113239985B (zh) * 2021-04-25 2022-12-13 北京航空航天大学 一种面向分布式小规模医疗数据集的分类检测方法
CN112949786B (zh) * 2021-05-17 2021-08-06 腾讯科技（深圳）有限公司 数据分类识别方法、装置、设备及可读存储介质
CN113822389B (zh) * 2021-11-24 2022-02-22 紫东信息科技(苏州)有限公司 一种基于内窥镜图片的消化道疾病分类系统
CN118334277B (zh) * 2024-06-17 2024-10-18 浙江有鹿机器人科技有限公司 一种基于困难体素挖掘的自蒸馏占用网格生成方法及设备
CN119830954B (zh) * 2025-03-14 2025-06-20 杭州电子科技大学 一种基于Logit交叉校正的多维知识蒸馏方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015112487A (ja) * 2013-12-06 2015-06-22 株式会社東芝 医用画像における構造物をセグメンテーションする医用画像処理装置、医用画像をセグメンテーションするための方法及び医用画像をセグメンテーションするコンピュータプログラムを記憶する記憶媒体
JP2017512091A (ja) * 2014-02-27 2017-05-18 インパック メディカル システムズ、 インク．Ｉｍｐａｃ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ Ｉｎｃ． 適応性放射線治療における自動輪郭抽出システム及び方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017182320A (ja) 2016-03-29 2017-10-05 株式会社メガチップス 機械学習装置
US9947102B2 (en) * 2016-08-26 2018-04-17 Elekta, Inc. Image segmentation using neural network method
US9934364B1 (en) * 2017-02-28 2018-04-03 Anixa Diagnostics Corporation Methods for using artificial neural network analysis on flow cytometry data for cancer diagnosis
EP3392832A1 (en) * 2017-04-21 2018-10-24 General Electric Company Automated organ risk segmentation machine learning methods and systems
CN107492099B (zh) * 2017-08-28 2021-08-20 京东方科技集团股份有限公司 医学图像分析方法、医学图像分析系统以及存储介质
CN107730503B (zh) * 2017-09-12 2020-05-26 北京航空航天大学 三维特征嵌入的图像对象部件级语义分割方法与装置
EP3462373A1 (en) * 2017-10-02 2019-04-03 Promaton Holding B.V. Automated classification and taxonomy of 3d teeth data using deep learning methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015112487A (ja) * 2013-12-06 2015-06-22 株式会社東芝 医用画像における構造物をセグメンテーションする医用画像処理装置、医用画像をセグメンテーションするための方法及び医用画像をセグメンテーションするコンピュータプログラムを記憶する記憶媒体
JP2017512091A (ja) * 2014-02-27 2017-05-18 インパック メディカル システムズ、 インク．Ｉｍｐａｃ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ Ｉｎｃ． 適応性放射線治療における自動輪郭抽出システム及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHRISTODOULIDIS, STERGIOS: "Multisource Transfer Learning With Convolutional Neural Networks for Lung Pattern Analysis", IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS, vol. 21, no. 1, 7 December 2016 (2016-12-07), pages 76 - 84, XP011640073, doi:10.1109/JBHI.2016.2636929 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022549806A (ja) * 2019-09-23 2022-11-29 プレサーゲン プロプライアトリー リミテッド 非集中型人工知能（ａｉ）／機械学習トレーニングシステム
JP7622046B2 (ja) 2019-09-23 2025-01-27 プレサーゲン プロプライアトリー リミテッド 非集中型人工知能（ａｉ）／機械学習トレーニングシステム
US20220199258A1 (en) * 2019-09-26 2022-06-23 Lunit Inc. Training method for specializing artificial interlligence model in institution for deployment, and apparatus for training artificial intelligence model
CN112825143A (zh) * 2019-11-20 2021-05-21 北京眼神智能科技有限公司 深度卷积神经网络压缩方法、装置、存储介质及设备
JP2021111380A (ja) * 2020-01-03 2021-08-02 ネイバー コーポレーションNAVER Corporation 入力映像に含まれた客体の３次元ポーズの推定のためのデータを生成する方法、コンピュータシステムおよび推論モデルを構築する方法
US11610331B2 (en) 2020-01-03 2023-03-21 Line Corporation Method and apparatus for generating data for estimating three-dimensional (3D) pose of object included in input image, and prediction model for estimating 3D pose of object
JP7178396B2 (ja) 2020-01-03 2022-11-25 ネイバー コーポレーション 入力映像に含まれた客体の３次元ポーズの推定のためのデータを生成する方法およびコンピュータシステム
JP2023510697A (ja) * 2020-01-09 2023-03-15 インターナショナル・ビジネス・マシーンズ・コーポレーション 不確実性にガイドされたイメージのクラス化のための半教師ありニューラル・ネットワークのトレーニング
JP7597469B2 (ja) 2020-01-09 2024-12-10 インターナショナル・ビジネス・マシーンズ・コーポレーション 不確実性にガイドされたイメージのクラス化のための半教師ありニューラル・ネットワークのトレーニング
CN111784595A (zh) * 2020-06-10 2020-10-16 北京科技大学 一种基于历史记录的动态标签平滑加权损失方法及装置
CN111784595B (zh) * 2020-06-10 2023-08-29 北京科技大学 一种基于历史记录的动态标签平滑加权损失方法及装置
JP7475105B2 (ja) 2020-06-22 2024-04-26 パナソニックオートモーティブシステムズ株式会社 学習装置、学習方法及びプログラム
JP2022002023A (ja) * 2020-06-22 2022-01-06 パナソニックＩｐマネジメント株式会社 学習装置、学習方法及びプログラム
JP2022010572A (ja) * 2020-06-29 2022-01-17 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
JP7483528B2 (ja) 2020-06-29 2024-05-15 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
WO2023276750A1 (ja) * 2021-06-29 2023-01-05 富士フイルム株式会社 学習方法、画像処理方法、学習装置、画像処理装置、学習プログラム、及び画像処理プログラム
JPWO2023276750A1 (ja) * 2021-06-29 2023-01-05
JP2024537971A (ja) * 2021-09-25 2024-10-18 メディカル・エーアイ・カンパニー・リミテッド 医療データに基づくディープラーニングモデルの学習及び推論方法、プログラム及び装置
JP7847205B2 (ja) 2021-09-25 2026-04-16 メディカル・エーアイ・カンパニー・リミテッド 医療データに基づくディープラーニングモデルの学習及び推論方法、プログラム及び装置
CN116894995A (zh) * 2023-06-28 2023-10-17 湖南大学 用于图像掩码预训练的知识蒸馏方法及装置

Also Published As

Publication number Publication date
US20200380313A1 (en) 2020-12-03
JP7022195B2 (ja) 2022-02-17
JPWO2019167883A1 (ja) 2021-02-25
US12159411B2 (en) 2024-12-03

Similar Documents

Publication Publication Date Title
JP7022195B2 (ja) 機械学習装置、方法およびプログラム並びに記録媒体
Yun et al. Improvement of fully automated airway segmentation on volumetric computed tomographic images using a 2.5 dimensional convolutional neural net
CN111325739B (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
CN111225614B (zh) 诊断辅助装置及信息处理方法
EP3872755B1 (en) Method for providing airway information
Al Arif et al. Shape-aware deep convolutional neural network for vertebrae segmentation
JP7101809B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20210248716A1 (en) Systems and methods for consistent presentation of medical images using deep neural networks
US12079989B2 (en) Identifying boundaries of lesions within image data
WO2019176806A1 (ja) 機械学習装置および方法
CN114037663A (zh) 一种血管分割方法、装置及计算机可读介质
JP2018175226A (ja) 医用画像分類装置、方法およびプログラム
Shabani et al. Self-supervised region-aware segmentation of COVID-19 CT images using 3D GAN and contrastive learning
CN111563910B (zh) 眼底图像分割方法及设备
WO2018088055A1 (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
US20040264755A1 (en) Method, apparatus and program for image processing, and abnormal shadow detection
CN113409306A (zh) 一种检测装置、训练方法、训练装置、设备和介质
Wen et al. A novel lesion segmentation algorithm based on U-Net network for Tuberculosis CT image
Van Rikxoort et al. Automatic segmentation of the pulmonary lobes from fissures, airways, and lung borders: evaluation of robustness against missing data
CN114387257B (zh) 肺部影像中肺叶区域的分割方法、系统、装置和介质
CN106934785B (zh) 一种用于机器人虚拟训练系统中肝脏模型的医学图像分割方法
Yang et al. Airway segmentation based on topological structure enhancement using multi-task learning
CN116205844A (zh) 一种基于扩张残差网络的全自动心脏磁共振成像分割方法
Jin et al. How many models/atlases are needed as priors for capturing anatomic population variations?
CN115132328B (zh) 信息可视化方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19761142

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020503492

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19761142

Country of ref document: EP

Kind code of ref document: A1