JPWO2019176806A1 - 機械学習装置および方法 - Google Patents

機械学習装置および方法 Download PDF

Info

Publication number
JPWO2019176806A1
JPWO2019176806A1 JP2020506484A JP2020506484A JPWO2019176806A1 JP WO2019176806 A1 JPWO2019176806 A1 JP WO2019176806A1 JP 2020506484 A JP2020506484 A JP 2020506484A JP 2020506484 A JP2020506484 A JP 2020506484A JP WO2019176806 A1 JPWO2019176806 A1 JP WO2019176806A1
Authority
JP
Japan
Prior art keywords
class
label
machine learning
correct
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020506484A
Other languages
English (en)
Inventor
ディーパック ケシュワニ
ディーパック ケシュワニ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019176806A1 publication Critical patent/JPWO2019176806A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Library & Information Science (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Primary Health Care (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

ラベル付けが混在する学習データを用いて、ボリュームデータに複数のラベルを一挙に精度良く付するラベリングの機械学習が可能な機械学習装置および方法を提供する。ニューラルネットワーク（１４）は、ラベリングの対象となるクラスがn種類の学習データDi(i=1,2,…n)のマルチスライス画像の入力を受け付け、畳み込みニューラルネットワーク（ＣＮＮ）などによって、n個の解剖学的構造iの予測マスクを作成する（Ｓ１）。機械学習部（１３）は、学習データDiに対応するクラスの予測精度acc(i)を、学習データDiごとに算出する（Ｓ２）。機械学習部（１３）は、予測精度acc(i)と正解マスクGiとの間の誤差diの重み付き平均Mを算出する。機械学習部（１３）は、損失関数Lossで学習損失を算出する（Ｓ４）。機械学習部（１３）は、損失関数Lossで算出された学習損失の値に応じて、ニューラルネットワーク（１４）の各結合荷重を出力層側から入力層側へ変化させていく（Ｓ５）。

Description

本発明は機械学習装置および方法に関し、特に、画像の構造の分類（セグメンテーション）を行う機械学習モデルを構築するための機械学習装置および方法に関する。
従来、ＣＴ（Computed Tomography）画像など３次元の医用画像データ（ボリュームデータ）に対して、各画素値が複数のラベルのいずれかに属するかを決定する学習済みモデルが存在する。
例えば非特許文献１では、画像のセグメンテーションに関して、ニューラルネットワークの末端においてsoftmax層を用いて正規化された確率マスクを計算し、重み付けされた交差エントロピーで学習損失を計算することで、大小の特徴に関する誤ったセグメンテーションの貢献を調整する技術が開示されている。
また非特許文献２では、３次元ＣＴ画像を入力すると、各ボクセルが「肺」、「脳」、「肝臓」、「肋骨」、「背骨」、「脂肪」、「それ以外」のいずれに属するかを一挙に決定（ラベリング）する学習モデルが提案されている。
Jonathan Long, Evan Shelhamer, Trevor Darrell, UC Berkeley "Fully Convolutional Neural Network for Semantic Segmentation"、インターネット<URL https://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn.pdf> Fausto Milletari, Nassir Navab, Seyed-Ahmad Ahmadi, "Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation"、インターネット<URL https://arxiv.org/abs/1606.04797>
このような学習モデルを学習させるために、３次元ＣＴ画像の各ボクセルに複数のラベルが付された学習用データを用意することは、主に労力の点から非常に困難である。
「肺」のみの正解ラベルがついた学習用データ、「脳」のみの正解ラベルがついた学習用データなど、単一の臓器のラベルが付いた学習用データをそれぞれ入手し、これらを持ち寄って複数の臓器のラベリングのための学習用データとすれば、労力は小さい。
もっとも、この場合、例えば「肺」と「肺気管支」の正解ラベルを入手した場合、「肺気管支」のボクセルに「肺」のラベルのみが付いた学習データ、「肺気管支」のボクセルに「肺気管支」のラベルのみが付いた学習データが混在しうる。
非特許文献１の技術では、各ピクセルには１つのラベルしか付けることができない。また、重み付けされた交差エントロピーで学習損失を計算して大小の特徴のセグメンテーションへの貢献を調整すると、小さい特徴から誇張されたセグメンテーションが得られる場合がある。さらに非特許文献２の技術では、ニューラルネットワークの最終層でsoftmax関数を用いて正規化された確率マスクを計算するため、単一のラベルが一貫性なく別々に付されたデータの集合を学習データとすることができない。
本発明は、一貫性のないラベル付けが混在する学習データを用いて、ボリュームデータに複数のラベルを一挙に精度良く付するラベリングの機械学習が可能な機械学習装置および方法を提供することを目的とする。
本発明の第１の態様に係る機械学習装置は、断層画像のボリュームデータとボリュームデータにおける第１のクラスの正解ラベルとを含む第１学習データの入力を受け付ける第１学習データ入力部と、ボリュームデータとボリュームデータにおける第１のクラスと異なる第２のクラスの正解ラベルとを含む第２学習データの入力を受け付ける第２学習データ入力部と、ニューラルネットワークにより、第１学習データ入力部が入力を受け付けた第１学習データのボリュームデータから第１のクラスの予測ラベルを作成するとともに、第２学習データ入力部が入力を受け付けた第２学習データのボリュームデータから第１のクラスの予測ラベルとは独立した第２のクラスの予測ラベルを作成する予測ラベル作成部と、重み付き平均により、第１のクラスの予測ラベルと第１のクラスの正解ラベルとの間の誤差と、第２のクラスの予測ラベルと第２のクラスの正解ラベルとの間の誤差との統合誤差を算出する統合誤差算出部と、統合誤差算出部の算出した統合誤差に基づいてボリュームデータに第１のクラスのラベルおよび第２のクラスのラベルの双方の予測ラベルを作成するようニューラルネットワークを機械学習させる機械学習部と、を備える機械学習装置を提供する。
本発明の第２の態様に係る機械学習装置において、統合誤差算出部は、第１のクラスの予測ラベルと第１のクラスの正解ラベルとの間のIoU(Intersection over Union)および第２のクラスの予測ラベルと第２のクラスの正解ラベルとの間のIoU(Intersection over Union)に基づいて統合誤差を算出する。
本発明の第３の態様に係る機械学習装置において、統合誤差算出部は、第１のクラスの予測ラベルと第１のクラスの正解ラベルとの間のDice係数および第２のクラスの予測ラベルと第２のクラスの正解ラベルとの間のDice係数に基づいて検出精度を算出する。
本発明の第４の態様に係る機械学習装置において、第１のクラスの予測ラベルおよび第２のクラスの予測ラベルは、シグモイド関数に基づいて作成される。
本発明の第５の態様に係る機械学習装置において、断層画像は３次元医用断層画像であり、第１のクラスおよび第２のクラスは解剖学的構造を含む。
本発明の第６の態様に係る機械学習装置において、統合誤差算出部は、第１のクラスと第２のクラスとの間の解剖学的系統上の関係を示す関連性データに基づき、第１のクラスの正解ラベルから第２のクラスの正解ラベルを作成した上で、第１のクラスの予測ラベルと第１のクラスの正解ラベルとの間の誤差と、第２のクラスの予測ラベルと第２のクラスの正解ラベルとの間の誤差との統合誤差を算出する。
本発明の第７の態様に係る機械学習装置において、関連性データにおいて、第２のクラスは第１のクラスよりも解剖学的に上位の関係にある。
本発明の第８の態様に係る機械学習方法において、コンピュータが、断層画像のボリュームデータとボリュームデータにおける第１のクラスの正解ラベルとを含む第１学習データの入力を受け付けるステップと、ボリュームデータとボリュームデータにおける第１のクラスと異なる第２のクラスの正解ラベルとを含む第２学習データの入力を受け付けるステップと、ニューラルネットワークにより、第１学習データのボリュームデータから第１のクラスの予測ラベルを作成するとともに、第２学習データのボリュームデータから第１のクラスの予測ラベルとは独立した第２のクラスの予測ラベルを作成するステップと、重み付き平均により、第１のクラスの予測ラベルと第１のクラスの正解ラベルとの間の誤差と、第２のクラスの予測ラベルと第２のクラスの正解ラベルとの間の誤差との統合誤差を算出するステップと、統合誤差に基づいてボリュームデータに第１のクラスのラベルおよび第２のクラスのラベルの双方の予測ラベルを作成するようニューラルネットワークを機械学習させるステップと、を実行する。
この機械学習方法をコンピュータに実行させるための機械学習プログラム、およびこの機械学習プログラムによって機械学習された機械学習済みモデルも本発明に含まれる。更に、非一時的かつコンピュータ読取可能な記録媒体であって、記録媒体に格納された指令がコンピュータによって読み取られた場合に上記の機械学習プログラムをコンピュータに実行させる記録媒体も本発明に含まれる。
この発明によると、独立して予測の誤差が算出された第１のクラスと第２のクラスに関して統合誤差を算出して機械学習を行うことが可能であり、マルチラベリングされていない学習データを用いたマルチラベリングの機械学習が可能となる。
機械学習データ作成装置の概略構成図 関係性データの概念説明図 機械学習処理のフローチャート 予測クラス（肺）に応じたバックプロパゲーションの概念を説明する図 予測クラス（蜂窩肺）に応じたバックプロパゲーションの概念を説明する図 予測クラス（気管支および血管）に応じたバックプロパゲーションの概念を説明する図 予測クラス（血管）に応じたバックプロパゲーションの概念を説明する図
図１は本発明の好ましい実施形態に係る機械学習装置１の概略構成図である。機械学習装置１は、学習データ入力部１１、関係性データ入力部１２、機械学習部１３、ニューラルネットワーク１４を備える。機械学習装置１は、ＧＰＵ（Graphics Processing Unit）などのプロセッサを備えるコンピュータで構成され、上記の各部は、プロセッサで実行されるプログラムにより実現される。機械学習装置１はニューラルネットワーク１４を含んでいてもよいし、含んでいなくてもよい。
学習データ入力部１１は、多数のアキシャル断層画像（マルチスライス画像）からなるボリュームデータと、そのボリュームデータに含まれる各ボクセルに対し、医師などが手動で、「肺」、「気管支」、「血管」、「空気充填パターン」「その他（バックグラウンド）」などの正解のラベルを付すこと（ラベリング）で、画像内の各画素が解剖学的構造の種類（クラス）に分類された正解マスクとの組（学習データ）の入力を受け付ける。
学習データの正解マスクにおいて、ボクセルに対するラベリングは、少なくとも１つ存在すればよく、１つのボクセルに対して複数のラベリングはされていてもいなくてもよい。説明の簡略のため、学習データ入力部１１に入力される学習データの各ボクセルには、「その他」か、あるいは「その他」以外の１つのラベルが付されているものとする。以下ではこれをシングルラベリングと呼ぶ。
例えば学習データＡの正解マスクの各ボクセルには「肺」または「その他」のラベルが付され、学習データＡと異なる学習データＢの正解マスクの各ボクセルには「気管支」または「その他」のラベルが付され、学習データＡおよび学習データＢと異なる学習データＣの正解マスクの各ボクセルには「血管」または「その他」が付されているものとする。学習データ入力部１１はこれらの学習データＡ・Ｂ・Ｃを含む、シングルラベリングの対象がそれぞれ異なる（すなわちシングルラベリングの対象がそれぞれ独立した）学習データを入力する。ただし、１つの正解マスクの異なるボクセルのそれぞれに、異なる種類のシングルラベリングが付与されていてもよい。例えば、１つの正解マスクのあるボクセルに「気管支」のラベルが付与され、かつ、同一の正解マスクの別のボクセルに「血管」のラベルが付与されていてもよい。
関係性データ入力部１２は、ニューラルネットワーク１４でシングルラベリングされた後のボリュームデータのボクセル群すなわちクラス同士の関係を示す関係性データの入力を受け付ける。
機械学習部１３は、学習データ入力部１１に入力された学習データと、関係性データ入力部１２に入力された構造関係データとに基づいて、ニューラルネットワーク１４に機械学習を行わせる。
ニューラルネットワーク１４は畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）とシグモイド層などによって構成される多層の分類器である。ニューラルネットワーク１４は、機械学習部１３によって機械学習がされたモデルに従って、入力された画像の各ボクセルに、「肺」、「気管支」、「血管」、「空気充填パターン」「その他（バックグラウンド）」などのラベルを付すことで、画像内の構造物を各クラスに分類する。
ニューラルネットワーク１４は、各ボクセルに対し、２以上の複数のラベル付け（マルチラベリング）を行うことができる。例えば、ニューラルネットワーク１４は、あるボクセルに対し「気管支」かつ「肺」のラベリングを行うことができる。
図２は関係性データの一例である。この関係性データは、各クラスの関係を階層構造で示している。例えば、「肺」のクラスに関係する下位の階層の解剖学的構造として、「血管(Blood vessel)」、「コンソリデ−ション（Consolidation： 肺胞が空気以外のもの、炎症巣等におきかえられて肺が固くなった状態）」、「間質影（Glass shadow）」、「空気充填パターン（Air filled pattern）」、「気管支」などの各クラスが存在する。
また、「間質影（Glass shadow）」のクラスに関係する下位の階層の解剖学的構造として、「結節影(Nodular shadow)」、「すりガラス影（Leaf frosted glass shadow）」のクラスが存在する。
また、「空気充填パターン（Air filled pattern）」のクラスに関係する下位の階層の解剖学的構造として、「嚢胞(Cyst)」、「蜂窩肺(Honeycomb)」、「空洞(Cavity)」のクラスが存在する。
この階層的関係は、クラス同士の解剖学的な包含関係を示している。例えば、「結節影」は「間質影」に含まれ、「間質影」は「肺」に含まれる。従って、「結節影」のラベルが付されたボクセルの正解マスクからは、「結節影」、「間質影」、「肺」のラベリングのいずれも学習させることができる。
なお、関係性データにおける階層構造は親子関係でなくてもよい。例えば転移（metastasis）は、「気管支」および「リンパ節」の下位の階層に位置するが、「気管支」と「リンパ節」の間には上下関係がないものとすることができる。
図３は機械学習処理のフローチャートである。この機械学習処理を機械学習装置１のプロセッサに実行させるためのプログラムは、機械学習装置１のＲＡＭ(Random Access Memory)などのコンピュータ読み取り可能な有形記憶媒体に記憶されている。
まず、Ｓ１（予測マスク作成ステップ）において、ニューラルネットワーク１４は、ラベリングの対象となるクラスがn種類の学習データDi(i=1,2,…n)のマルチスライス画像の入力を受け付け、畳み込みニューラルネットワークなどによって、n個の解剖学的構造iの予測マスク（ニューラルネットワーク１４にて各クラスに分類されたボクセル群の集合）を作成する。なお予測マスクや正解マスクはボリュームレンダリングによりディスプレイ画面に表示されてもよい。
Ｓ２（予測精度算出ステップ）では、機械学習部１３は、学習データDiのボクセルに対応するクラスCiの予測精度acc(i)（ラベリングの確からしさを示す値）を、学習データDiごとに算出する。この予測精度acc(i)は、以下のsigmoid関数で表され、０〜１の間の値をとる。
acc(i)=1/{1+exp(-vi)}
viはロジット（logit）である。
ニューラルネットワーク１４はマルチラベリングが可能なため、入力ボクセルに対する各クラスのマルチラベリングの確からしさはsoftmax層を用いたsoftmax関数で求めることができる。これはソフトラベルと呼ばれる。しかし本実施形態では、正解マスクはシングルラベリングであるから、ソフトラベルは計算できない。そこで、入力ボクセルがクラスCiであるか否かの２値分類の確からしさを示すsigmoid関数を用いて、各クラスCiの独立した予測精度acc(i)を求める。
Ｓ３（重み付き誤差平均算出ステップ）では、機械学習部１３は、学習データDiの１つのボクセルに対応するクラスCiの予測精度acc(i)と、そのボクセルに対応する正解マスク(Ground Truth)Giとから、そのボクセルのクラスの予測精度acc(i)と正解マスクGiとの間の誤差diの重み付き平均Mを算出する。
誤差diの重みαiは、Dice係数である。すなわち、学習データDiの各ボクセルに対する機械学習によるクラスの予測結果の集合をPr(i)、学習データDiのクラスCiの正解マスク(Ground Truth)の集合をHt、Pr(i)とHtの共通集合(intersection)のボクセル数をＢi，Pr(i)のボクセル数をＡi+Ｂi、Htのボクセル数をＢi+Ｃi、重みをw(wは1以上)、クラスの総数をnとすると、
αi=w*Bi/(Ai+w*Bi+Ci)
M=Σαidi/n
で定義される。誤差diは２乗誤差や絶対値誤差など、公知かつ任意のもので定義される。例えば、誤差diが２乗誤差の場合、機械学習の予測が正解マスクと一致（正解）であれば０、正解マスクと不一致（不正解）であれば、不一致の度合に応じた１以下の値となる。この重みαiを適宜調整すれば、解剖学的構造の大小が学習に与える影響を除くことができる。
なおＡ+Ｂ+ＣはPr(i)とHtの和集合（Union）のボクセル数である。従ってw=1の場合は、αiは、IoU(Intersection over Union)となる。クラスCiの予測精度が上がるほどα(i)は１に近づく。Bi=0の場合はαi=0となる。すなわち、そもそも正解マスクにおいて正解が定義されていないクラスについては、重み付き平均Mの算出において、このクラスの予測に関する誤差が無視される。例えば、あるボクセルについて「肺」の予測が行われたとしても、正解マスクにおいてそのボクセルに「肺」のラベルが与えられていなければ、「肺」の誤差diに対応する重みαiは０であり、「肺」の誤差diは重み付平均Sの値に影響しない。
一方、あるボクセルについて「肺」および「空気充填パターン」のクラスの予測がそれぞれ独立して行われた場合、正解マスクにおいてそのボクセルに「肺」および「空気充填パターン」のラベルが与えられていれば、「肺」の誤差d1に対応する重みα1、「空気充填パターン」の誤差d2に対応する重みα2はそれぞれ０でない。この場合、誤差d1および誤差d2の双方の値が、重みα1、α2の値に応じてＳの値に反映される。
ただし、関係性データにおいて、正解マスクの解剖学的構造の上位の解剖学的構造については、正解マスクにおいて正解が定義されていないクラスであっても、誤差は無視しない。例えば、あるボクセルについて「肺」および「気管支」の独立した予測が行われ、かつそのボクセルの正解マスクには「気管支」のラベルのみが定義されている場合、そのボクセルには疑似的に「肺」の正解ラベルを与えた上で、「肺」の誤差および「気管支」の誤差の重み付き平均Mを算出する。なぜなら、「肺」は「気管支」を包含する上位の解剖学的構造であるため、「気管支」のラベリングが正解なら、「肺」のラベリングも当然に正解だからである。このように解剖学的構造の階層的関係に応じて疑似的に正解ラベルを与えることで、予めマルチラベリングの正解を用意する手間を省ける。
ただし検出精度の算出式は上記に限られない。一般的には、
Figure 2019176806
で表すことができる。f1は
Figure 2019176806
をパラメータとする関数、f2は
Figure 2019176806
をパラメータとする関数である。
Ｓ３（損失算出ステップ）では、機械学習部１３は、損失関数Lossで学習損失を算出する。
ここで、損失関数Lossは、重みづけ平均Mの逆数によって定義される。ただし損失関数の式は上記に限られない。
Ｓ４（バックプロパゲーションステップ）では、機械学習部１３は、損失関数Lossで算出された学習損失の値に応じて、ニューラルネットワーク１４の各結合荷重を出力層側から入力層側へ変化させていく。なお上記のＳ１〜Ｓ４は任意の回数繰り返すことができる。これにより、正解マスクで定義されたクラスとその上位の解剖学的構造のクラスの双方に対する損失が最小化されるように、ニューラルネットワーク１４の結合荷重が更新される。これにより、シングルラベリングの正解マスクに基づくマルチラベリングの機械学習、およびこの機械学習によるマルチラベリング可能な機械学習済みモデルが得られる。
図４ないし図７は予測クラスに応じたバックプロパゲーションの概念を説明する図である。
このうち図４は「肺」の正解マスクＧ１と、ボリュームデータＶから予測された「肺」の予測マスクＰ１との間の学習損失によるバックプロパゲーションを示す。この場合は「肺」の学習損失だけが考慮されたバックプロパゲーションが行われる。
また図５は「蜂窩肺」の正解マスクＧ２と、ボリュームデータＶから予測された「蜂窩肺」の予測マスクＰ２との間の学習損失によるバックプロパゲーションを示す。この場合は「蜂窩肺」とその上位の解剖学的構造の「空気充填パターン」および「肺」の学習損失の双方（あるいはいずれか一方）が考慮されたバックプロパゲーションが行われる。
また図６は「気管支」および「血管」の正解マスクＧ３と、ボリュームデータＶから予測された「気管支」および「血管」の予測マスクＰ３との間の学習損失によるバックプロパゲーションを示す。この場合は「気管支」および「血管」とそれらの上位の解剖学的構造の「肺」の学習損失の双方が考慮されたバックプロパゲーションが行われる。
また図７は「血管」の正解マスクＧ４と、ボリュームデータＶから予測された「血管」の予測マスクＰ４との間の学習損失によるバックプロパゲーションを示す。この場合は「血管」とこの上位の解剖学的構造の「肺」の学習損失の双方が考慮されたバックプロパゲーションが行われる。
このように、解剖学的に関連性のある臓器の予測に関してまとめてバックプロパゲーションを行うことで、シングルラベリングされた学習データを用いた効率的なマルチラベリングの機械学習が可能となる。このため、解剖学的に一貫したルールでマルチラベリングされた学習用のデータを大量に用意する必要がない。また、予測精度に基づいてバックプロパゲーションするため、精度の高いマルチラベリングが可能となる。
なお本発明は、３次元の医用画像に限らず、各種の２次元画像または３次元画像に適用できる。２次元画像の場合は、上記のボクセルをピクセルに置き換えた処理を行えば、シングルラベリングされた学習データを用いた効率的なマルチラベリングの機械学習が可能となる。
１ 機械学習装置
１１ 学習データ入力部
１２ 関係性データ入力部
１３ 機械学習部
１４ ニューラルネットワーク

Claims (12)

  1. 断層画像のボリュームデータと前記ボリュームデータにおける第１のクラスの正解ラベルとを含む第１学習データの入力を受け付ける第１学習データ入力部と、
    前記ボリュームデータと前記ボリュームデータにおける第１のクラスと異なる第２のクラスの正解ラベルとを含む第２学習データの入力を受け付ける第２学習データ入力部と、
    ニューラルネットワークにより、前記第１学習データ入力部が入力を受け付けた第１学習データのボリュームデータから第１のクラスの予測ラベルを作成するとともに、前記第２学習データ入力部が入力を受け付けた第２学習データのボリュームデータから第１のクラスの予測ラベルとは独立した第２のクラスの予測ラベルを作成する予測ラベル作成部と、
    重み付き平均により、前記第１のクラスの予測ラベルと前記第１のクラスの正解ラベルとの間の誤差と、前記第２のクラスの予測ラベルと前記第２のクラスの正解ラベルとの間の誤差との統合誤差を算出する統合誤差算出部と、
    前記統合誤差算出部の算出した統合誤差に基づいて前記ボリュームデータに前記第１のクラスのラベルおよび前記第２のクラスのラベルの双方の予測ラベルを作成するよう前記ニューラルネットワークを機械学習させる機械学習部と、
    を備える機械学習装置。
  2. 前記統合誤差算出部は、前記第１のクラスの予測ラベルと前記第１のクラスの正解ラベルとの間のIoU(Intersection over Union)および前記第２のクラスの予測ラベルと前記第２のクラスの正解ラベルとの間のIoU(Intersection over Union)に基づいて統合誤差を算出する請求項１に記載の機械学習装置。
  3. 前記統合誤差算出部は、前記第１のクラスの予測ラベルと前記第１のクラスの正解ラベルとの間のDice係数および前記第２のクラスの予測ラベルと前記第２のクラスの正解ラベルとの間のDice係数に基づいて検出精度を算出する請求項１に記載の機械学習装置。
  4. 前記第１のクラスの予測ラベルおよび前記第２のクラスの予測ラベルは、シグモイド関数に基づいて作成される請求項１〜３のいずれか１項に記載の機械学習装置。
  5. 前記断層画像は３次元医用断層画像であり、前記第１のクラスおよび前記第２のクラスは解剖学的構造を含む請求項１〜４のいずれか１項に記載の機械学習装置。
  6. 前記統合誤差算出部は、前記第１のクラスと前記第２のクラスとの間の解剖学的系統上の関係を示す関連性データに基づき、前記第１のクラスの正解ラベルから前記第２のクラスの正解ラベルを作成した上で、前記前記第１のクラスの予測ラベルと前記第１のクラスの正解ラベルとの間の誤差と、前記第２のクラスの予測ラベルと前記第２のクラスの正解ラベルとの間の誤差との統合誤差を算出する請求項５に記載の機械学習装置。
  7. 前記関連性データにおいて、前記第２のクラスは前記第１のクラスよりも解剖学的に上位の関係にある請求項６に記載の機械学習装置。
  8. 前記統合誤差算出部は、前記第１のクラスの正解ラベルが存在しないボリュームデータの領域については、前記第１のクラスの予測ラベルと前記第１のクラスの正解ラベルとの間の誤差を無視した統合誤差を算出する請求項１〜７のいずれか１項に記載の機械学習装置。
  9. コンピュータが、
    断層画像のボリュームデータと前記ボリュームデータにおける第１のクラスの正解ラベルとを含む第１学習データの入力を受け付けるステップと、
    前記ボリュームデータと前記ボリュームデータにおける第１のクラスと異なる第２のクラスの正解ラベルとを含む第２学習データの入力を受け付けるステップと、
    ニューラルネットワークにより、前記第１学習データのボリュームデータから第１のクラスの予測ラベルを作成するとともに、前記第２学習データのボリュームデータから第１のクラスの予測ラベルとは独立した第２のクラスの予測ラベルを作成するステップと、
    重み付き平均により、前記第１のクラスの予測ラベルと前記第１のクラスの正解ラベルとの間の誤差と、前記第２のクラスの予測ラベルと前記第２のクラスの正解ラベルとの間の誤差との統合誤差を算出するステップと、
    前記統合誤差に基づいて前記ボリュームデータに前記第１のクラスのラベルおよび前記第２のクラスのラベルの双方の予測ラベルを作成するよう前記ニューラルネットワークを機械学習させるステップと、
    を実行する機械学習方法。
  10. 請求項９に記載の機械学習方法をコンピュータに実行させるための機械学習プログラム。
  11. 請求項１０に記載の機械学習プログラムによって機械学習された機械学習済みモデル。
  12. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項１０に記載の機械学習プログラムをコンピュータに実行させる記録媒体。
JP2020506484A 2018-03-16 2019-03-08 機械学習装置および方法 Pending JPWO2019176806A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018049905 2018-03-16
JP2018049905 2018-03-16
PCT/JP2019/009479 WO2019176806A1 (ja) 2018-03-16 2019-03-08 機械学習装置および方法

Publications (1)

Publication Number Publication Date
JPWO2019176806A1 true JPWO2019176806A1 (ja) 2021-04-08

Family

ID=67908256

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020506484A Pending JPWO2019176806A1 (ja) 2018-03-16 2019-03-08 機械学習装置および方法

Country Status (3)

Country Link
US (1) US11823375B2 (ja)
JP (1) JPWO2019176806A1 (ja)
WO (1) WO2019176806A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11263497B2 (en) * 2019-06-21 2022-03-01 StraxCorp Pty. Ltd. Method and system for machine learning classification based on structure or material segmentation in an image
JP7292184B2 (ja) * 2019-11-11 2023-06-16 富士フイルム株式会社 学習装置、学習方法および学習済みモデル
CN111476309B (zh) * 2020-04-13 2023-05-23 抖音视界有限公司 图像处理方法、模型训练方法、装置、设备及可读介质
JP7095726B2 (ja) * 2020-11-16 2022-07-05 沖電気工業株式会社 学習装置、学習方法および学習プログラム
JPWO2022224869A1 (ja) * 2021-04-23 2022-10-27

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017073373A1 (ja) * 2015-10-30 2017-05-04 株式会社モルフォ 学習システム、学習装置、学習方法、学習プログラム、教師データ作成装置、教師データ作成方法、教師データ作成プログラム、端末装置及び閾値変更装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2749224A4 (en) * 2011-08-26 2015-12-02 Ebm Corp BLOOD CIRCULATION SIMULATION SYSTEM FOR SIMULATING A BLOOD VESSEL PROCESSING EFFECT, METHOD THEREOF, AND COMPUTER SOFTWARE
US9122950B2 (en) * 2013-03-01 2015-09-01 Impac Medical Systems, Inc. Method and apparatus for learning-enhanced atlas-based auto-segmentation
JP6678930B2 (ja) 2015-08-31 2020-04-15 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 分類モデルを学習する方法、コンピュータ・システムおよびコンピュータ・プログラム
JP6656357B2 (ja) * 2016-04-04 2020-03-04 オリンパス株式会社 学習方法、画像認識装置およびプログラム
CN107220980B (zh) * 2017-05-25 2019-12-03 重庆师范大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
WO2019167882A1 (ja) * 2018-02-27 2019-09-06 富士フイルム株式会社 機械学習装置および方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017073373A1 (ja) * 2015-10-30 2017-05-04 株式会社モルフォ 学習システム、学習装置、学習方法、学習プログラム、教師データ作成装置、教師データ作成方法、教師データ作成プログラム、端末装置及び閾値変更装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GONG,YUNCHAO ET AL.: ""Deep Convolutional Ranking for Multilabel Image Annotation"", [ONLINE], vol. arXiv:1312.4894v2, JPN6019018623, 14 April 2014 (2014-04-14), ISSN: 0004558653 *
OONO, KENTA: "Google グループ[Chainer User Group]内の投稿"正解ラベルが複数ある場合にはどのような設計になりますか"", [ONLINE], JPN6019018626, 7 December 2015 (2015-12-07), ISSN: 0004558654 *
RAHMAN, MD. ATIQUR ET AL.: ""Optimizing Intersection-Over-Union in Deep Neural Networks for Image Segmentation"", INTERNATIONAL SYMPOSIUM ON VISUAL COMPUTING 2016(ISVC2016):ADVANCES IN VISUAL COMPUTING, JPN6019018630, 10 December 2016 (2016-12-10), ISSN: 0004558656 *
SHEN, TONG ET AL.: ""Learning Multi-level Region Consistency with Dense Multi-label Networks for Semantic Segmentation"", PROCEEDINGS OF THE TWENTY-SIXTH INTERNATIONAL JOINT CONFERENCE ON ARTIFICIAL INTELLIGENCE (IJCAI-17), JPN6019018621, 2017, ISSN: 0004558655 *
WEI, YUNCHAO ET AL.: ""CNN: Single-label to Multi-label"", [ONLINE], vol. arXiv:1406.5726v3, JPN6019018619, 9 July 2014 (2014-07-09), ISSN: 0004558652 *

Also Published As

Publication number Publication date
US20200410677A1 (en) 2020-12-31
WO2019176806A1 (ja) 2019-09-19
US11823375B2 (en) 2023-11-21

Similar Documents

Publication Publication Date Title
JPWO2019176806A1 (ja) 機械学習装置および方法
Zhang et al. ME‐Net: multi‐encoder net framework for brain tumor segmentation
Zhou et al. Deep learning of the sectional appearances of 3D CT images for anatomical structure segmentation based on an FCN voting method
JP7022195B2 (ja) 機械学習装置、方法およびプログラム並びに記録媒体
Zhang et al. Robust medical image segmentation from non-expert annotations with tri-network
Peiris et al. Duo-SegNet: adversarial dual-views for semi-supervised medical image segmentation
CN108921851A (zh) 一种基于3d对抗网络的医学ct图像分割方法
Gao et al. Bone age assessment based on deep convolution neural network incorporated with segmentation
Tian et al. Multi-step medical image segmentation based on reinforcement learning
Wang et al. Uncertainty-guided efficient interactive refinement of fetal brain segmentation from stacks of MRI slices
US20230230241A1 (en) System and method for detecting lung abnormalities
JP7101809B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN111340209A (zh) 网络模型训练方法、图像分割方法、病灶定位方法
WO2023207389A1 (zh) 数据处理方法、装置、程序产品、计算机设备和介质
Cheng et al. DDU-Net: A dual dense U-structure network for medical image segmentation
CN115187819A (zh) 图像分类模型的训练方法、装置、电子设备及存储介质
Meng et al. Radiomics-enhanced deep multi-task learning for outcome prediction in head and neck cancer
CN114037651A (zh) 根据x射线图像的与covid-19相关联的异常模式的评估
JP6952185B2 (ja) 機械学習装置および方法
Wang et al. Interactive 3D segmentation editing and refinement via gated graph neural networks
Neeteson et al. Automatic segmentation of trabecular and cortical compartments in HR-pQCT images using an embedding-predicting U-Net and morphological post-processing
CN115294400B (zh) 图像分类模型的训练方法、装置、电子设备及存储介质
EP3896649A1 (en) Medical image synthesis of abnormality patterns associated with covid-19
Li et al. Detectability of pulmonary nodules by deep learning: Results from a phantom study
Saito et al. Statistical shape model of a liver for autopsy imaging

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210730

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220202