JPWO2019167883A1 - 機械学習装置および方法 - Google Patents

機械学習装置および方法 Download PDF

Info

Publication number
JPWO2019167883A1
JPWO2019167883A1 JP2020503492A JP2020503492A JPWO2019167883A1 JP WO2019167883 A1 JPWO2019167883 A1 JP WO2019167883A1 JP 2020503492 A JP2020503492 A JP 2020503492A JP 2020503492 A JP2020503492 A JP 2020503492A JP WO2019167883 A1 JPWO2019167883 A1 JP WO2019167883A1
Authority
JP
Japan
Prior art keywords
volume data
machine learning
neural network
probability
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020503492A
Other languages
English (en)
Other versions
JP7022195B2 (ja
Inventor
ディーパック ケシュワニ
ディーパック ケシュワニ
嘉郎 北村
嘉郎 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019167883A1 publication Critical patent/JPWO2019167883A1/ja
Application granted granted Critical
Publication of JP7022195B2 publication Critical patent/JP7022195B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Physics (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

ラベル付けが混在する学習データを用いて、ボリュームデータに複数のラベルを一挙に精度良く付するラベリングの機械学習が可能な機械学習装置および方法を提供する。確率算出部（１４）は、学習済みの教師モデル（１３ａ）による、第２スライス画像の各ボクセルに対するクラスCiへのラベリングの確からしさを示す値（ソフトラベル）を算出する。検出部（１５）は、第２スライス画像のボクセルに対し、領域拡張法などの公知の手法により、「気管支」および「血管」を検出し、「気管支」および「血管」のラベリングを行う。修正確率設定部（１６）は、検出部（１５）の検出した「気管支」または「血管」のハードラベルによってソフトラベルを置き換える。蒸留部（１７）は、修正確率設定部（１６）による修正後のソフトラベルを用いて、教師モデル（１３ａ）から生徒モデル（１８ａ）の蒸留（distillation）を行う。これにより、学習済みの生徒モデル（１８ａ）が得られる。

Description

本発明は機械学習装置および方法に関し、特に、画像の構造の分類（セグメンテーション）を行う機械学習モデルを構築するための機械学習装置および方法に関する。
従来、ＣＴ（Computed Tomography）画像など３次元の医用画像データ（ボリュームデータ）に対して、各画素値が複数のラベルのいずれかに属するかを決定する学習済みモデルを用いて、それよりも規模の小さい学習モデルを機械学習させる“蒸留”（distillation）という技術が存在する。蒸留（distillation）は、softmax関数を用いて分類の確率（ソフトターゲットあるいはソフトラベルと呼ばれる値）を算出し、ソフトターゲットを用いて、学習済みモデルとは異なる別の学習モデルのニューラルネットワークの重みを更新するものである。
特開2017-182320号公報
Geoffrey Hinton, Oriol Vinyals, Jeff Dean, "Distilling the Knowledge in a Neural Network" 、インターネット<URL https://arxiv.org/abs/1503.02531>
肺の所見分類においては、「正常」、「網状」、「蜂窩」、「すりガラス」、「穏やかなLow attenuation area (LAA)」、「中程度のLAA」、「高度のLAA」、「牽引性気管支拡張」、「点状影」など３０を超える画像パターンがある。これらを機械学習するための正解ラベルを作成する場合、２次元のスライス画像で対象領域を囲む程度のことは容易であるが、３次元のスライス画像で正解ラベルを作成することは困難である。
そこで２次元画像を入力してニューラルネットワークを学習させて学習モデルを構築し、この学習モデルを３次元画像のスライスごとに適用することが考えられる。しかし、分類対象の構造物が血管や気管支など３次元である場合、それらの見え方が異なる場合には、学習モデルは高い精度でこれを分類することはできない。例えば、スライスに垂直に走行する血管は、点状影として分類される。一方、血管や気管支を３次元的にラベリングすることは、疾患パターンへのラベリングよりも容易である。
本発明は、分類対象の構造物に応じてより精度の高く効率的な蒸留（distillation）を可能とする機械学習装置および方法を提供することを目的とする。
本発明の第１の態様に係る機械学習装置は、第１のニューラルネットワークで構築された、第１ボリュームデータの分類が可能な第１の学習済みモデルによって、第１ボリュームデータと異なる第２ボリュームデータの分類の確からしさを示す確率を算出する確率算出部と、第２ボリュームデータの分類の確からしさを示す確率を修正した修正確率を設定する修正確率設定部と、第２ボリュームデータと修正確率とに基づいて、第１の学習済みモデルと異なる第２の学習済みモデルを得るための機械学習を、第１のニューラルネットワークと異なる第２のニューラルネットワークにさせる機械学習部と、を備える。
本発明の第２の態様に係る機械学習装置において、第１ボリュームデータは２次元データであり、第２ボリュームデータは３次元データである。
本発明の第３の態様に係る機械学習装置において、第１ボリュームデータは２次元医用断層画像であり、第２ボリュームデータは第１ボリュームデータよりもスライス厚の薄い複数の２次元医用断層画像を含む３次元医用断層画像である。
本発明の第４の態様に係る機械学習装置において、第１のニューラルネットワークは２次元畳み込みニューラルネットワークであり、第２のニューラルネットワークは３次元畳み込みニューラルネットワークである。
本発明の第５の態様に係る機械学習装置において、第１ボリュームデータは３次元データであり、第２ボリュームデータは４次元データである。
本発明の第６の態様に係る機械学習装置において、修正確率設定部は、確率算出部から算出された第２ボリュームデータの分類確率に対し、第２ボリュームデータから手動または自動のラベリングにより得られる少なくとも１つの領域抽出の結果に基づき、修正確率を設定する。
本発明の第７の態様に係る機械学習装置において、修正確率設定部は、領域拡張法により判別された分類に基づいて修正確率を設定する。
本発明の第８の態様に係る機械学習方法は、第１のニューラルネットワークで構築された、第１ボリュームデータの分類が可能な第１の学習済みモデルによって、第１ボリュームデータと異なる第２ボリュームデータの分類の確からしさを示す確率を算出するステップと、第２ボリュームデータの分類の確からしさを示す確率を修正した修正確率を設定するステップと、第２ボリュームデータと修正確率とに基づいて、第１の学習済みモデルと異なる第２の学習済みモデルを得るための機械学習を、第１のニューラルネットワークと異なる第２のニューラルネットワークにさせるステップと、を含む。
上記の機械学習方法をコンピュータに実行させるための機械学習プログラムおよびこの機械学習プログラムによって機械学習された機械学習済みモデルも本発明に含まれる。更に、非一時的かつコンピュータ読取可能な記録媒体であって、記録媒体に格納された指令がコンピュータによって読み取られた場合に上記の機械学習プログラムをコンピュータに実行させる記録媒体も本発明に含まれる。
この発明によると、従来の領域拡張法などで得られた正確な分類（ハードラベル）によって確率（ソフトラベル）を修正して蒸留（distillation）を行えば、より高い精度で学習済みモデルから別のモデルを学習させることができる。
機械学習装置の概略構成図 スライス画像の一例を示す図 機械学習処理のフローチャート
図１は本発明の好ましい実施形態に係る機械学習装置１の概略構成図である。機械学習装置１は、学習データ入力部１１、機械学習部１２、第１ニューラルネットワーク１３、確率算出部１４、修正確率設定部１６、および第２ニューラルネットワーク１８を備える。
学習データ入力部１１は、１枚のアキシャル断層画像（第１スライス画像Ithick）からなる第１ボリュームデータと、その第１ボリュームデータに含まれる各ボクセルに対し、医師などが手動で、「肺実質」、「気管支」、「血管」、「腫瘤」、「その他」などの正解のラベルを付すこと（ラベリング）で、画像内の各画素がn種類の解剖学的構造（クラスCi,1≦i≦n）に分類された正解マスクとの組（学習データ）の入力を受け付ける。
第１ニューラルネットワーク１３は２次元畳み込みニューラルネットワークである。機械学習部１２は、学習データ入力部１１から入力された学習データに基づいて、第１ニューラルネットワーク１３を機械学習させることで、スライス画像にラベリングを行う学習済みモデル（教師モデル１３ａ）を得る。
また、第１ニューラルネットワーク１３の学習で得られた教師モデル１３ａは、学習データ入力部１１から入力された多数のアキシャル断層画像（マルチスライス画像）からなる第２ボリュームデータの各々のスライス画像（第２スライス画像Ithin-1,Ithin-2,…）のボクセルに対しラベリングを行う。マルチスライス画像は平面画像と撮影時間とからなる動画であってもよい。
図２に示すように、この第２スライス画像Ithin-1,Ithin-2,…のスライス厚βは、学習データの第１スライス画像Ithickのスライス厚αよりも薄いものとする。すなわちα＞βである。
第１スライス画像Ithickのスライス厚αや第２スライス画像Ithin-1,Ithin-2,…のスライス厚βを無視すれば、これらは疑似的な２次元画像データとして扱うことができる。このため、第１ニューラルネットワーク１３により、第１スライス画像Ithickや第２スライス画像Ithin-1,Ithin-2,…の各ボクセルに対し、ラベリングを行うことが可能である。第１スライス画像Ithickと正解マスクとの組から、教師モデル１３ａが得られる。
教師モデル１３ａは、第２スライス画像Ithin-1,Ithin-2,…の各々のボクセルへの、肺実質、気管支、血管、腫瘤、その他などのクラスCiへのラベリングを行う。
確率算出部１４は、学習済みの教師モデル１３ａによる、第２スライス画像の各ボクセルに対するクラスCiへのラベリングの確からしさを示す値pi（ソフトラベル）を算出する。
これは非特許文献１に記載のように、教師モデル１３ａのsoftmax層を用いれば、第２スライス画像の各ボクセルに対するソフトラベルすなわち各クラスCiの温度付き確率piは以下の式（温度付きsoftmax関数）で求めることができる。viはロジット（logit）である。なおTは通常１であるが、より大きい値とすることでより各モデルの出力分布がよりソフトとなる。
Figure 2019167883
例えば、クラスCiの添え字i=1〜5は、「肺実質」、「気管支」、「血管」、「腫瘤」、「それ以外」に対応するものとすると、第２スライス画像Ithin-1の座標(x1,y1,z1)のボクセルB1に対し、教師モデル１３ａのsoftmax層を用いた各クラスCiの温度付き確率pi(B1)は
p1(B1)(=ボクセルB1に対する肺実質のソフトラベル)=0.8
p2(B1)(=ボクセルB1に対する気管支のソフトラベル)=0.03
p3(B1)(=ボクセルB1に対する血管のソフトラベル)=0.05
p4(B1)(=ボクセルB1に対する腫瘤のソフトラベル)=0.05
p5(B1)(=ボクセルB1に対するそれ以外のソフトラベル)=0.07
などと算出される。ただし、気管支や血管のように、アキシャル方向に延びる解剖学的構造は、教師モデル１３ａによる検出は精度が高いとは言えない。これは、α＞βであり、第１スライス画像にある気管支や血管の特徴を示す情報が、個々の第２スライス画像では失われている可能性があるからである。
検出部１５は、第２スライス画像のボクセルに対し、領域拡張法などの公知の手法により、「気管支」および「血管」を検出し、「気管支」および「血管」のラベリングを行う。これらのラベリングは確率的な確からしさが０または１のハードラベルである。あるいは、検出部１５は、医師などの手動操作に基づいて、第２スライス画像のボクセルに対する「気管支」および「血管」のラベリングを検出することで、確率的な確からしさが０または１のハードラベルを各ボクセルに付与してもよい。
例えば、領域拡張法による「気管支」の検出は、気管支内部の空気領域に対応する画素値を有する連続した領域を抽出する手法（特に、所定の条件を満たす程度に画素値が近似する、近接した画素を連結する手法）が挙げられる。この画素の連結はアキシャル方向についても行われるため、第２スライス画像から比較的精度の高い気管支の抽出が可能である。
また例えば、「血管」の検出は、領域拡張法による他、ヘッセ行列等に基づく線フィルタにより血管らしい領域を抽出し、未分類の血管の領域に連結することによって未分類の血管の領域を拡張させる手法が挙げられる。
「気管支」および「血管」の他の検出方法としては、グラフカット法やレベルセット法等の公知の手法がある。
なお検出部１５は、公知の方法で、第２スライス画像から「気管支」および「血管」以外の解剖学的構造を検出してもよい。例えば、検出部１５は、領域拡張法を用いて心内腔領域を検出してもよい。検出部１５は、自動検出、手動操作、あるいはそれらの組み合わせにより、第２スライス画像から「気管支」や「血管」などの解剖学的構造を検出することができる。
修正確率設定部１６は、第２スライス画像のボクセルにおいて検出部１５が検出した「気管支」または「血管」のハードラベルによって、上記ボクセルのソフトラベルを置き換える。
例えば、上述の第２スライス画像Ithin-1の座標(x1,y1,z1)とは異なる座標(xk,yk,zk)のボクセルBkについて、検出部１５により「気管支」のハードラベル「１」が付与された場合は、ボクセルBkのソフトラベルは以下のように書き換えられる。
p1(Bk)(=ボクセルBkに対する肺実質のソフトラベル)=0.8→0.0
p2(Bk)(=ボクセルBkに対する気管支のソフトラベル)=0.35→1
p3(Bk)(=ボクセルBkに対する血管のソフトラベル)=0.05→0.0
p4(Bk)(=ボクセルBkに対する腫瘤のソフトラベル)=0.0
p5(Bk)(=ボクセルBkに対する腫瘤のソフトラベル)=0.0
あるいは、上述の座標(x1,y1,z1)および(xk,yk,zk)とは異なる座標(xm,ym,zm)のボクセルBmについて、検出部１５により「血管」のハードラベル「１」が付与された場合は、ボクセルBmのソフトラベルは以下のように書き換えられる。
p1(Bm)(=ボクセルBmに対する肺実質のソフトラベル)=0.2→0.0
p2(Bm)(=ボクセルBmに対する気管支のソフトラベル)=0.1→0.0
p3(Bm)(=ボクセルBmに対する血管のソフトラベル)=0.4→1
p4(Bm)(=ボクセルBmに対する腫瘤のソフトラベル)=0.1→0.0
p5(Bm)(=ボクセルBmに対する腫瘤のソフトラベル)=0.3→0.0
なお検出部１５によって「気管支」または「血管」のハードラベルが検出されないボクセルについては、ソフトラベルの書き換えは生じない。
第２ニューラルネットワーク１８は３次元畳み込みニューラルネットワークである。
蒸留部１７は、修正確率設定部１６による修正後のソフトラベルと、修正のされなかったソフトラベルとを用いて、教師モデル１３ａから、第２ニューラルネットワーク１８の未学習の生徒モデル１８ａの蒸留（distillation）を行うことで、学習済みの生徒モデル１８ａを得る。蒸留（distillation）は、例えば非特許文献１に記載の手法に従えばよい。
すなわち、まず確率算出部１４は、生徒モデル１８ａによる、第２スライス画像の各ボクセルに対するクラスCiへのラベリングの確からしさを示す値qi（ソフトラベル）を算出する。
これは非特許文献１に記載のように、第２ニューラルネットワーク１８のsoftmax層を用いて、第２スライス画像の各ボクセルに対するソフトラベルすなわち各クラスCiの温度付き確率qiを求める。qiは以下の式（温度付きsoftmax関数）で求められる。ziはlogitである。
Figure 2019167883
蒸留部１７による蒸留（distillation）とは、ziに対する交差エントロピーＣの勾配
Figure 2019167883
を最小化することである。蒸留（distillation）により、生徒モデル１８ａのqiの出力分布が、教師モデル１３ａのpiの出力分布に近づく。なおTは通常１であるが、より大きい値とすることでより各モデルの出力分布がよりソフトとなる。
典型的には、蒸留（distillation）は、大きくて複雑なニューラルネットワーク（教師）の学んだ知識を蒸留し、小さくて軽量なモデル（生徒）の学習に利用するものであるが、上述の数１および数２を用いることで、２次元ニューラルネットワークの教師モデル１３ａから３次元ニューラルネットワークの生徒モデル１８ａに適用することも可能である。
図３は機械学習装置１の実行する機械学習処理のフローチャートである。
Ｓ１（教師モデル学習ステップ）において、機械学習部１２は、学習データ入力部１１から入力された第１スライス画像と正解マスクの組からなる学習データに基づいて、第１ニューラルネットワーク１３を機械学習させることで、第２スライス画像にラベリングを行うことが可能な学習済みの教師モデル１３ａを得る。
Ｓ２（ソフトラベル算出ステップ）において、確率算出部１４は、学習済みの教師モデル１３ａによる、第２スライス画像の各ボクセルに対するクラスCiへのラベリングの確からしさを示すソフトラベルpiを算出する。
Ｓ３（ハードラベル検出ステップ）において、検出部１５は、第２スライス画像のボクセルに対し、領域拡張法などの公知の手法により、「気管支」および「血管」を検出し、「気管支」および「血管」のラベリングを行う。
Ｓ４（ソフトラベル修正ステップ）において、修正確率設定部１６は、検出部１５の検出した「気管支」または「血管」のハードラベルによってソフトラベルpiを修正する。
Ｓ５（蒸留ステップ）において、蒸留部１７は、修正確率設定部１６による修正後のソフトラベルと、修正のされなかったソフトラベルとを用いて、教師モデル１３ａから生徒モデル１８ａの蒸留（distillation）を行う。これにより、教師モデル１３ａから、学習済みの生徒モデル１８ａが得られる。
教師モデル１３ａは第１スライス画像により学習されたモデルであるため、教師モデル１３ａにより得られた第２スライス画像の「気管支」および「血管」のソフトラベルの確からしさは、精度が高いとは言えない。これに対し、検出部１５に得られた「気管支」および「血管」のハードラベルは、従来の領域拡張法などで正確に抽出できる。これを利用し、第２スライス画像の「気管支」および「血管」のソフトラベルをハードラベルで修正して蒸留（distillation）を行えば、より高い精度で教師モデル１３ａから生徒モデル１８ａを学習させることができる。
なお、上記では、第１ニューラルネットワーク１３は２次元畳み込みニューラルネットワーク、第２ニューラルネットワーク１８は３次元畳み込みニューラルネットワークであり、第１ボリュームデータは疑似的２次元画像、第２ボリュームデータは３次元画像であったが、第１ニューラルネットワーク１３および第２ニューラルネットワーク１８の次元は上記に限られない。
例えば、第１ニューラルネットワーク１３は３次元ニューラルネットワーク、第２ニューラルネットワーク１８は２次元ニューラルネットワークであり、第１ボリュームデータは疑似的３次元画像、第２ボリュームデータは２次元画像であってもよい。疑似的３次元画像は平面画像と撮影時間とからなる動画の１コマであってもよい。
あるいは、第１ニューラルネットワーク１３は３次元ニューラルネットワーク、第２ニューラルネットワーク１８は４次元ニューラルネットワークであり、第１ボリュームデータは３次元画像、第２ボリュームデータは４次元画像であってもよい。４次元画像は立体画像と撮影時刻とからなる動画であってもよい。
また、教師モデル１３ａと生徒モデル１８ａは異なるニューラルネットワークで構築されたモデルであればよく、それぞれのニューラルネットワークの次元は同じであってもよいし異なってもよい。たとえば、教師モデル１３ａと生徒モデル１８ａは異なる２次元ニューラルネットワーク、３次元ニューラルネットワーク、あるいは４次元ニューラルネットワークで構築されてもよい。
１１ 学習データ入力部
１２ 機械学習部
１３ 第１ニューラルネットワーク
１３ａ 教師モデル
１４ 確率算出部
１５ 検出部
１６ 修正確率設定部
１７ 蒸留部
１８ 第２ニューラルネットワーク
１８ａ 生徒モデル

Claims (11)

  1. 第１のニューラルネットワークで構築された、第１ボリュームデータの分類が可能な第１の学習済みモデルによって、前記第１ボリュームデータと異なる第２ボリュームデータの分類の確からしさを示す確率を算出する確率算出部と、
    前記第２ボリュームデータの分類の確からしさを示す確率を修正した修正確率を設定する修正確率設定部と、
    前記第２ボリュームデータと前記修正確率とに基づいて、前記第１の学習済みモデルと異なる第２の学習済みモデルを得るための機械学習を、前記第１のニューラルネットワークと異なる第２のニューラルネットワークにさせる機械学習部と、
    を備える機械学習装置。
  2. 前記第１ボリュームデータは２次元データであり、前記第２ボリュームデータは３次元データである請求項１に記載の機械学習装置。
  3. 前記第１ボリュームデータは２次元医用断層画像であり、
    前記第２ボリュームデータは前記第１ボリュームデータよりもスライス厚の薄い複数の２次元医用断層画像を含む３次元医用断層画像である請求項２に記載の機械学習装置。
  4. 前記第１のニューラルネットワークは２次元畳み込みニューラルネットワークであり、前記第２のニューラルネットワークは３次元畳み込みニューラルネットワークである請求項２または３に記載の機械学習装置。
  5. 前記第１ボリュームデータは３次元データであり、前記第２ボリュームデータは４次元データである請求項１に記載の機械学習装置。
  6. 前記修正確率設定部は、前記確率算出部から算出された前記第２ボリュームデータの分類確率に対し、前記第２ボリュームデータから手動または自動のラベリングにより得られる少なくとも１つの領域抽出の結果に基づき、修正確率を設定する請求項１〜５のいずれか１項に記載の機械学習装置。
  7. 前記修正確率設定部は、領域拡張法により判別された分類に基づいて修正確率を設定する請求項６に記載の機械学習装置。
  8. 第１のニューラルネットワークで構築された、第１ボリュームデータの分類が可能な第１の学習済みモデルによって、前記第１ボリュームデータと異なる第２ボリュームデータの分類の確からしさを示す確率を算出するステップと、
    前記第２ボリュームデータの分類の確からしさを示す確率を修正した修正確率を設定するステップと、
    前記第２ボリュームデータと前記修正確率とに基づいて、前記第１の学習済みモデルと異なる第２の学習済みモデルを得るための機械学習を、前記第１のニューラルネットワークと異なる第２のニューラルネットワークにさせるステップと、
    を含む機械学習方法。
  9. 請求項８に記載の機械学習方法をコンピュータに実行させるための機械学習プログラム。
  10. 請求項９に記載の機械学習プログラムによって機械学習された機械学習済みモデル。
  11. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項９に記載の機械学習プログラムをコンピュータに実行させる記録媒体。
JP2020503492A 2018-02-28 2019-02-25 機械学習装置、方法およびプログラム並びに記録媒体 Active JP7022195B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018035354 2018-02-28
JP2018035354 2018-02-28
PCT/JP2019/007049 WO2019167883A1 (ja) 2018-02-28 2019-02-25 機械学習装置および方法

Publications (2)

Publication Number Publication Date
JPWO2019167883A1 true JPWO2019167883A1 (ja) 2021-02-25
JP7022195B2 JP7022195B2 (ja) 2022-02-17

Family

ID=67806314

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020503492A Active JP7022195B2 (ja) 2018-02-28 2019-02-25 機械学習装置、方法およびプログラム並びに記録媒体

Country Status (3)

Country Link
US (1) US20200380313A1 (ja)
JP (1) JP7022195B2 (ja)
WO (1) WO2019167883A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949786A (zh) * 2021-05-17 2021-06-11 腾讯科技（深圳）有限公司 数据分类识别方法、装置、设备及可读存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830288A (zh) * 2018-04-25 2018-11-16 北京市商汤科技开发有限公司 图像处理方法、神经网络的训练方法、装置、设备及介质
US11037030B1 (en) * 2018-10-29 2021-06-15 Hrl Laboratories, Llc System and method for direct learning from raw tomographic data
CN112825143A (zh) * 2019-11-20 2021-05-21 北京眼神智能科技有限公司 深度卷积神经网络压缩方法、装置、存储介质及设备
KR20210087680A (ko) 2020-01-03 2021-07-13 네이버 주식회사 입력 영상에 포함된 객체의 3차원 포즈를 추정하기 위한 데이터를 생성하는 방법 및 장치와 3차원 포즈 추정을 위한 추론 모델
US11386298B2 (en) * 2020-01-09 2022-07-12 International Business Machines Corporation Uncertainty guided semi-supervised neural network training for image classification
CN111784595B (zh) * 2020-06-10 2023-08-29 北京科技大学 一种基于历史记录的动态标签平滑加权损失方法及装置
JP7475105B2 (ja) 2020-06-22 2024-04-26 パナソニックオートモーティブシステムズ株式会社 学習装置、学習方法及びプログラム
JP7483528B2 (ja) 2020-06-29 2024-05-15 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
CN113239985B (zh) * 2021-04-25 2022-12-13 北京航空航天大学 一种面向分布式小规模医疗数据集的分类检测方法
EP4364667A1 (en) * 2021-06-29 2024-05-08 FUJIFILM Corporation Training method, image processing method, training device, image processing device, training program, and image processing program
CN113822389B (zh) * 2021-11-24 2022-02-22 紫东信息科技(苏州)有限公司 一种基于内窥镜图片的消化道疾病分类系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9311570B2 (en) * 2013-12-06 2016-04-12 Kabushiki Kaisha Toshiba Method of, and apparatus for, segmentation of structures in medical images
US9629598B2 (en) * 2014-02-27 2017-04-25 Impac Medical Systems, Inc. System and method for auto-contouring in adaptive radiotherapy
US9947102B2 (en) * 2016-08-26 2018-04-17 Elekta, Inc. Image segmentation using neural network method
US9934364B1 (en) * 2017-02-28 2018-04-03 Anixa Diagnostics Corporation Methods for using artificial neural network analysis on flow cytometry data for cancer diagnosis
EP3392832A1 (en) * 2017-04-21 2018-10-24 General Electric Company Automated organ risk segmentation machine learning methods and systems
CN107492099B (zh) * 2017-08-28 2021-08-20 京东方科技集团股份有限公司 医学图像分析方法、医学图像分析系统以及存储介质
CN107730503B (zh) * 2017-09-12 2020-05-26 北京航空航天大学 三维特征嵌入的图像对象部件级语义分割方法与装置
EP3462373A1 (en) * 2017-10-02 2019-04-03 Promaton Holding B.V. Automated classification and taxonomy of 3d teeth data using deep learning methods

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HINTON GEOFFREY ET AL.: ""Distilling theKnowledge in a Neural Network"", ［ONLINE］、 NIPS 2014 DEEP LEARNING WORKSHOP, JPN6021041872, 9 March 2015 (2015-03-09), pages 1 - 9, ISSN: 0004622119 *
LIU SIQI ET AL.: ""3D Anisotropic Hybrid Network: Transferring Convolutional Feature from 2D Images to 3D Anisotropic", ［ONLINE］、 COMPUTER VISION AND PATTERN RECOGNITION, JPN6021041869, 23 November 2017 (2017-11-23), pages 1 - 17, ISSN: 0004622121 *
周 向栄 等: "「深層学習に基づくＣＴ画像からの複数の解剖学的構造の同時自動認識と抽出」", MEDICAL IMAGING TECHNOLOGY, JPN6021041871, 30 September 2017 (2017-09-30), pages 187 - 193, ISSN: 0004622120 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949786A (zh) * 2021-05-17 2021-06-11 腾讯科技（深圳）有限公司 数据分类识别方法、装置、设备及可读存储介质
CN112949786B (zh) * 2021-05-17 2021-08-06 腾讯科技（深圳）有限公司 数据分类识别方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
WO2019167883A1 (ja) 2019-09-06
JP7022195B2 (ja) 2022-02-17
US20200380313A1 (en) 2020-12-03

Similar Documents

Publication Publication Date Title
JP7022195B2 (ja) 機械学習装置、方法およびプログラム並びに記録媒体
Yun et al. Improvement of fully automated airway segmentation on volumetric computed tomographic images using a 2.5 dimensional convolutional neural net
CN111899245B (zh) 图像分割、模型的训练方法及装置，电子设备及存储介质
CN110599448B (zh) 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统
US11288550B2 (en) Data processing apparatus and method, recognition apparatus, learning data storage apparatus, machine learning apparatus, and program
CN111429421B (zh) 模型生成方法、医学图像分割方法、装置、设备及介质
Zhang et al. Robust medical image segmentation from non-expert annotations with tri-network
JP2018175226A (ja) 医用画像分類装置、方法およびプログラム
WO2019176806A1 (ja) 機械学習装置および方法
CN111899244B (zh) 图像分割、网络模型的训练方法及装置，及电子设备
JP2017510406A (ja) 画像内における血管構造の抑制
WO2020110774A1 (ja) 画像処理装置、画像処理方法、及びプログラム
EP3872755B1 (en) Method for providing airway information
Groza et al. Pneumothorax segmentation with effective conditioned post-processing in chest X-ray
CN111724360B (zh) 一种肺叶分割方法、装置和存储介质
Kundu et al. Covid-segnet: Diagnosis of covid-19 cases on radiological images using mask r-cnn
CN112750110A (zh) 基于神经网络对肺部病灶区进行评估的评估系统和相关产品
Wu et al. Pneumothorax segmentation in routine computed tomography based on deep neural networks
Wen et al. A novel lesion segmentation algorithm based on U-net network for tuberculosis CT image
Ibrahim et al. Lung Segmentation Using ResUnet++ Powered by Variational Auto Encoder-Based Enhancement in Chest X-ray Images
Van Rikxoort et al. Automatic segmentation of the pulmonary lobes from fissures, airways, and lung borders: evaluation of robustness against missing data
EP3896649A1 (en) Medical image synthesis of abnormality patterns associated with covid-19
Jain et al. SumNet Convolution Neural network based Automated pulmonary nodule detection system
CN115132328B (zh) 信息可视化方法、装置、设备及存储介质
CN116934757B (zh) 一种用于肺结节假阳性删减的方法、设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200915

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220204

R150 Certificate of patent or registration of utility model

Ref document number: 7022195

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150