JP7446570B2 - プログラム、学習装置、学習方法、学習済みプログラムおよび骨格セグメンテーション装置 - Google Patents
プログラム、学習装置、学習方法、学習済みプログラムおよび骨格セグメンテーション装置 Download PDFInfo
- Publication number
- JP7446570B2 JP7446570B2 JP2019121528A JP2019121528A JP7446570B2 JP 7446570 B2 JP7446570 B2 JP 7446570B2 JP 2019121528 A JP2019121528 A JP 2019121528A JP 2019121528 A JP2019121528 A JP 2019121528A JP 7446570 B2 JP7446570 B2 JP 7446570B2
- Authority
- JP
- Japan
- Prior art keywords
- scintigram
- scintigrams
- neural network
- subject
- anatomical structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims description 37
- 238000000034 method Methods 0.000 title claims description 21
- 210000003484 anatomy Anatomy 0.000 claims description 76
- 238000003062 neural network model Methods 0.000 claims description 50
- 238000012549 training Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 15
- 238000010606 normalization Methods 0.000 description 15
- 230000000875 corresponding effect Effects 0.000 description 12
- 210000000988 bone and bone Anatomy 0.000 description 7
- 206010028980 Neoplasm Diseases 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 206010027476 Metastases Diseases 0.000 description 3
- 230000009401 metastasis Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 210000000614 rib Anatomy 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 210000002758 humerus Anatomy 0.000 description 2
- 210000004197 pelvis Anatomy 0.000 description 2
- 210000001991 scapula Anatomy 0.000 description 2
- 210000003625 skull Anatomy 0.000 description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 2
- 210000000689 upper leg Anatomy 0.000 description 2
- 238000001793 Wilcoxon signed-rank test Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 206010003246 arthritis Diseases 0.000 description 1
- 238000007469 bone scintigraphy Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003109 clavicle Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000001582 osteoblastic effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001562 sternum Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Nuclear Medicine (AREA)
- Image Analysis (AREA)
Description
本発明は、被験者の骨シンチグラムの画像において解剖構造を認識する技術に関する。
がんの造骨性転移の診断には、骨シンチグラムが良く用いられる。がんの転移は画像上では高集積として現れるが、関節炎など、がん以外の生理集積との区別が必要であったり、部位によってがんの発生頻度が異なるため、事前に解剖構造を把握することが重要である。
骨シンチグラム上の解剖構造認識処理の方法については、先行する研究が発表されているが、さらなる改良が求められていた。本発明は、上記背景に鑑み、新しい画像処理装置を提供することを目的とする。
本発明のプログラムは、被験者のシンチグラムに映る骨格の部位に解剖構造ラベルを付与する骨格セグメンテーションを行うためのプログラムであって、コンピュータに、被験者のシンチグラムを入力するステップと、複数の参照シンチグラムとその解剖構造ラベルの正解データとを教師データとして予め学習によって生成されたニューラルネットワークの学習済みモデルを記憶した記憶部から、前記学習済みモデルを読み出し、前記学習済みモデルに前記被験者のシンチグラムを入力し、前記被験者のシンチグラムの中で前記解剖構造ラベルに対応する領域を推論するステップと、前記被験者のシンチグラムの前記解剖構造ラベルを示すデータを出力するステップとを実行させる。
本発明によれば、複数の参照シンチグラムとその解剖構造ラベルの正解データとを教師データとして予め学習によって生成されたニューラルネットワークの学習済みモデルを用いて、被験者のシンチグラムの解剖構造ラベルを求めることができる。
本実施の形態のプログラムは、被験者のシンチグラムに映る骨格の部位に解剖構造ラベルを付与する骨格セグメンテーションを行うためのプログラムであって、コンピュータに、被験者のシンチグラムを入力するステップと、複数の参照シンチグラムとその解剖構造ラベルの正解データとを教師データとして予め学習によって生成されたニューラルネットワークの学習済みモデルを記憶した記憶部から、学習済みモデルを読み出し、学習済みモデルに被験者のシンチグラムを入力し、被験者のシンチグラムの中で解剖構造ラベルに対応する領域を推論するステップと、被験者のシンチグラムの解剖構造ラベルを示すデータを出力するステップとを実行させる。
この構成により、複数の参照シンチグラムとその解剖構造ラベルの正解データとを教師データとして予め学習によって生成されたニューラルネットワークの学習済みモデルを用いて、被験者のシンチグラムの解剖構造ラベルを求めることができる。ここで、「参照シンチグラム」とは、学習済みモデルを生成するために用いられるシンチグラムである。参照シンチグラムも被験者を撮影することによって得られるシンチグラムであるが、解剖構造ラベルを求める対象である被験者のシンチグラムと区別するために、便宜上、「参照」の文言を付したものである。
本実施の形態のプログラムは、被験者のシンチグラムを入力する前記ステップにおいて、被験者を前方および後方から撮影した一組のシンチグラムを入力し、前記解剖構造ラベルに対応する領域を推論する前記ステップにおいて、前記学習済みモデルの入力層に前記一組のシンチグラムを入力し、前記一組のシンチグラムの中で前記解剖構造ラベルに対応する領域を推論してもよい。
本実施の形態のプログラムは、前記一組のシンチグラムのうち、前方から撮影した前記シンチグラムと、後方から撮影した前記シンチグラムのうちの一方を水平方向に反転するステップを更に含み、その後に、前記解剖構造ラベルに対応する領域を推論する前記ステップを実行してもよい。
この構成により、前後から撮影した２枚のシンチグラムを学習済みモデルの入力層に入力して推論を行うことにより、シンチグラムの解剖構造ラベルを適切に付与することができる。この際に、２枚のシンチグラムのうちの一方を反転させて同じ向きとしたうえで推論を行うことにより、２枚のシンチグラムの左右の向きが合うので、精度の高い推論を行える。
本実施の形態の学習装置は、被験者のシンチグラムの中で解剖構造ラベルに対応する領域を推論するためのニューラルネットワークモデルを生成する学習装置であって、複数の参照シンチグラムとその解剖構造ラベルの正解データとを教師データとして入力する入力部と、前記参照シンチグラムを、ニューラルネットワークモデルの入力層に入力し、ニューラルネットワークモデルによる推論結果と正解の解剖構造ラベルとの誤差に基づいて、ニューラルネットワークモデルの学習を行う学習部とを備える。
この構成により、被験者のシンチグラムとその解剖構造ラベルの正解データとを教師データとして、被験者のシンチグラムの解剖構造ラベルを求めるためのニューラルネットワークのモデルを生成することができる。
本実施の形態の学習装置において、ニューラルネットワークは、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ構造を有し、Ｅｎｃｏｄｅｒ構造で得た特徴マップをＤｅｃｏｄｅｒ構造に入力する構造の第１のネットワーク部分と、第１のネットワーク部分と同じ構造を有する第２のネットワーク部分とが結合された構造を有し、入力部は、各被験者を前後から撮影した参照シンチグラム及びその解剖構造ラベルの正解データを入力し、学習部は、第１のネットワーク部分の入力層に被験者を前方から撮影した参照シンチグラムを入力すると共に、第２のネットワーク部分の入力層に被験者を後方から撮影した参照シンチグラムを入力して学習を行ってもよい。
前方から撮影したシンチグラムと後方から撮影したシンチグラムを独立して処理するのではなく、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ構造を有する２つのネットワーク部分を結合した構造のニューラルネットワークで同時に処理することにより、被験者のシンチグラムの解剖構造ラベルを精度良く求めるためのニューラルネットワークのモデルを生成することができる。
本実施の形態の学習装置において、学習部は、Ｄｅｃｏｄｅｒ構造を構成する層から出力される特徴マップと正解データとの誤差にも基づいて、ニューラルネットワークモデルの学習を行ってもよい。この構成により、学習時の勾配消失の問題を軽減し、生成されるニューラルネットワークのモデルの解剖構造ラベル付与の性能を高めることができる。
本実施の形態の学習装置は、入力部にて入力されたシンチグラムの濃度Ｉｉｎを次式（１）
によって正規化した濃度Ｉnormalizedに変換する濃度正規化部を備えてもよい。
本実施の形態のプログラムは、被験者のシンチグラムの中で解剖構造ラベルに対応する領域を推論するためのニューラルネットワークモデルを生成するためのプログラムであって、コンピュータに、複数の参照シンチグラムとその解剖構造ラベルの正解データとを教師データとして入力するステップと、参照シンチグラムを、ニューラルネットワークモデルの入力層に入力し、ニューラルネットワークモデルによる推論結果と正解の解剖構造ラベルとの誤差に基づいて、ニューラルネットワークモデルの学習を行うステップとを実行させる。
本実施の形態の学習方法は、被験者のシンチグラムの中で解剖構造ラベルに対応する領域を推論するためのニューラルネットワークモデルを学習によって生成する学習方法であって、被験者のシンチグラムの中で解剖構造ラベルに対応する領域を推論するためのニューラルネットワークモデルを学習によって生成する学習方法であって、複数の参照シンチグラムとその解剖構造ラベルの正解データとを教師データとして入力するステップと、参照シンチグラムを、ニューラルネットワークモデルの入力層に入力し、ニューラルネットワークモデルによる推論結果と正解の解剖構造ラベルとの誤差に基づいて、ニューラルネットワークモデルの学習を行うステップとを備える。
本実施の形態の学習済みモデルは、被験者のシンチグラムに映る骨格の部位に解剖構造ラベルを付与するためのニューラルネットワークモデルを生成するために、コンピュータを機能させるための学習済みモデルであって、複数の参照シンチグラムと、各参照シンチグラムに付与した解剖構造ラベルの正解データとを教師データとして学習されたものであり、前記ニューラルネットワークモデルに入力された被験者のシンチグラムに解剖構造ラベルを付与するよう、コンピュータを機能させる。
また、本実施の形態の学習済みモデルは、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ構造を有し、Ｅｎｃｏｄｅｒ構造で得た特徴マップをＤｅｃｏｄｅｒ構造に入力する構造の第１のネットワーク部分と、第１のネットワーク部分と同じ構造を有する第２のネットワーク部分とが結合された構造を有するニューラルネットワークモデルで構成され、複数の被験者を前方および後方から撮影した参照シンチグラムと、各参照シンチグラムに付与した解剖構造ラベルの正解データとを教師データとし、前方から撮影したシンチグラムまたは後方から撮影したシンチグラムのいずれかを水平方向に反転させた後に、前方および後方から撮影した参照シンチグラムのそれぞれを、ニューラルネットワークモデルの第１のネットワーク部分および第２のネットワーク部分のそれぞれにある入力層に入力して学習されたものであってもよい。
本実施の形態の骨格セグメンテーション装置は、被験者のシンチグラムに映る骨格の部位に解剖構造ラベルを付与する骨格セグメンテーションを行うための装置であって、被験者のシンチグラムを入力する入力部と、上記した学習装置にて生成されたニューラルネットワークの学習済みモデルを記憶した記憶部と、記憶部から学習済みモデルを読み出し、学習済みモデルに被験者のシンチグラムを入力し、被験者のシンチグラムの中で解剖構造ラベルに対応する領域を推論する推論部と、被験者のシンチグラムの解剖構造ラベルを示すデータを出力する出力部とを備える。
以下、本実施の形態の学習装置および骨格セグメンテーション装置について図面を参照して説明する。
図１は、実施の形態の学習装置の構成を示す図である。実施の形態の学習装置１は、被験者のシンチグラムに映る骨格の部位に解剖構造ラベルを付与するためのニューラルネットワークモデルを学習によって生成する装置である。本実施の形態の学習装置１が生成するニューラルネットワークモデルは、被験者を前方および後方から撮影したシンチグラムに映る骨格の部位に解剖構造ラベルを付与する。本明細書において、被験者を前方から撮影した参照シンチグラムを「前方画像」、後方から撮影した参照シンチグラムを「後方画像」という。
図１は、実施の形態の学習装置の構成を示す図である。実施の形態の学習装置１は、被験者のシンチグラムに映る骨格の部位に解剖構造ラベルを付与するためのニューラルネットワークモデルを学習によって生成する装置である。本実施の形態の学習装置１が生成するニューラルネットワークモデルは、被験者を前方および後方から撮影したシンチグラムに映る骨格の部位に解剖構造ラベルを付与する。本明細書において、被験者を前方から撮影した参照シンチグラムを「前方画像」、後方から撮影した参照シンチグラムを「後方画像」という。
ここで、本実施の形態の学習装置１によって生成されるニューラルネットワークモデルが付与する解剖構造ラベルについて述べる。前方画像については、骨格の１２の部位（頭蓋骨、頸椎、胸椎、腰椎、仙骨、骨盤、肋骨、肩甲骨、上腕骨、大腿骨、胸骨および鎖骨）と背景からなる１３層に分類し、それぞれに解剖構造ラベルを付与する。後方画像については、骨格の１０の部位（頭蓋骨、頸椎、胸椎、腰椎、仙骨、骨盤、肋骨、肩甲骨、上腕骨、および大腿骨）と背景からなる１２層に分類し、それぞれに解剖構造ラベルを付与する。なお、後方画像に関して、１つの層は肋骨と肩甲骨がオーバーラップしているので、１０の骨格の部位と背景とで１２層になっている。
学習装置１は、教師データを入力する入力部１０と、教師データに基づいてニューラルネットワークモデルの学習を行う制御部１１と、学習により生成されたモデルを記憶する記憶部１７と、記憶部１７に記憶されたモデルを外部に出力する出力部１８とを有している。入力部１０には、一組の前方画像および後方画像と、前方画像および後方画像に付与した解剖構造ラベルの正解データとを、教師データとして入力する。
次に、制御部１１について説明する。制御部１１は、画像反転部１２と、前後画像位置合せ部１３と、空間的標準化部１４、濃度正規化処理部１５と、学習部１６とを有している。画像反転部１２は、後方画像を水平方向に反転する。図２は、前方画像と反転を行った後方画像の例を示す図である。前後画像位置合せ部１３は、前方画像と反転された後方画像の位置合せを行う。
空間的標準化部１４は、被験者の体軸がシンチグラムの垂直軸と平行になるように画像の並進・回転を行う。また、空間的標準化部１４は、被験者の頭頂部からつま先までの長さが２０００ｍｍとなるように画像の拡大・縮小を行う。これにより、画像の傾きや身長等のバラツキの影響を低減することができる。また、図２に示すように、前方画像および後方画像において、被験者の膝下をカットする空間的補正を行ってもよい。
濃度正規化処理部１５は、被験者ごとに異なる正常骨領域の濃度値のばらつきを抑えるために、濃度値の正規化を行う機能を有する。濃度正規化処理部１５は、濃度レンジ調整、正常骨レベルの同定、グレースケール正規化の処理により濃度値の正規化を行う。濃度正規化処理部１５は、入力されたシンチグラムの濃度Ｉｉｎを次式（１）によって正規化した濃度Ｉnormalizedに変換する。
学習部１６は、前方画像と反転された後方画像とを用いて、被験者のシンチグラムに骨格の解剖構造ラベルを付与するためのニューラルネットワークモデルの学習を行う機能を有する。本実施の形態では、ニューラルネットワークモデルとして、Ｂｕｔｔｅｒｆｌｙ－Ｎｅｔを用いる。
図３は、本実施の形態で用いるＢｕｔｔｅｒｆｌｙ－Ｎｅｔの例を示す図である。Ｂｕｔｔｅｒｆｌｙ－Ｎｅｔの基本的な構造は、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ構造である。Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ構造では、入力層に入力された画像に対して、Ｅｎｃｏｄｅｒ構造で畳み込みとプーリングが繰り返し行われ、画像の大局的な特徴を抽出する。続いて、Ｄｅｃｏｄｅｒ構造によって、大局的な構造を元のサイズの画像に戻していくが、その過程において、Ｅｎｃｏｄｅの過程で得られた特徴を結合することにより、局所的な特徴も学習する。
Ｂｕｔｔｅｒｆｌｙ－Ｎｅｔは、２つの入力層と２つの出力層を有している。Ｂｕｔｔｅｒｆｌｙ－Ｎｅｔは、２つの入力層Ｉｎ１，Ｉｎ２から入力される画像をＥｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ構造に通して２つの出力層Ｏｕｔ１，Ｏｕｔ２から出力する。ここで、説明の便宜上、図３の上側にある第１の入力層Ｉｎ１と第１の出力層Ｏｕｔ１とを持つＥｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ構造を第１のネットワーク部分、図３の下側にある第２の入力層Ｉｎ２と第２の出力層Ｏｕｔ２とを持つＥｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ構造を第２のネットワーク部分と呼ぶ。Ｂｕｔｔｅｒｆｌｙ－Ｎｅｔは、第１のネットワーク部分と第２のネットワーク部分とが結合された構成を有している。本実施の形態においては、３２×７２の１２８個ずつの特徴マップのところで結合されている。
本例において、入力画像はグレースケールであり、入力の次元は２５６×５７６×１である。Ｂｕｔｔｅｒｆｌｙ－Ｎｅｔでは、入力層に入力された画像に畳込み処理を行った後にＭＡＸプーリング処理を行う。ここで行われる畳込み処理は、図３の下の枠内に示すように、３×３の畳込み、バッチノーマライゼーション、ＲｅＬＵ関数への適用の処理からなる。畳込み処理とＭＡＸプーリング処理を、第１の入力層Ｉｎ１、第２の入力層Ｉｎ２に入力された画像のそれぞれについて繰り返し行い、３２×７２×１２８のサイズの特徴マップを得る。第１のネットワーク部分と第２のネットワーク部分とを結合し、さらに、畳込み処理とＭＡＸプーリング処理を２回行って、Ｅｎｃｏｄｅｒ構造では、最終的に２×２×５１２のサイズの特徴マップを得る。
続いて、畳込みを行った後に逆畳込みを行って、特徴マップのサイズを倍にする。そして、逆畳込みの出力とＥｎｃｏｄｅｒの特徴マップを連結（ｃｏｎｃａｔ）し、畳込みを行う。さらに、畳込み、逆畳込み、Ｅｎｃｏｄｅｒの特徴マップとの連結の処理を行った後、その結果を複製し、上下のＥｎｃｏｄｅｒのそれぞれの特徴マップを連結し、畳込み、逆畳込みを行う処理を繰り返す。最後に、１×１の畳込み層で、前方画像については出力クラス数である１３チャンネルにし、後方画像については出力クラス数である１２チャンネルにする。
なお、本実施の形態では、学習済みモデルとして、Ｂｕｔｔｅｒｆｌｙ－Ｎｅｔを用いる例を挙げたが、解剖構造ラベルの推論を行うための学習済みモデルとしては、Ｂｕｔｔｅｒｆｌｙ－Ｎｅｔ以外のニューラルネットワークモデルを用いることもできる。前方画像と後方画像と同時に処理する場合には、Ｂｕｔｔｅｒｆｌｙ－Ｎｅｔのように２つの入力層を有し、畳み込みの結果を結合するネットワーク構造が有効である。前方画像または後方画像の一方を用いる場合には、例えば、Ｕ－Ｎｅｔを用いることも可能である。
学習部１６は、対になる前方画像および後方画像とその解剖構造ラベルの正解データを用いて、上記したＢｕｔｔｅｒｆｌｙ－Ｎｅｔのニューラルネットワークモデルの学習を行う。対になる前方画像および後方画像をニューラルネットワークモデルに入力したときの出力をソフトマックス関数で変換した確率ｐｉと正解ラベルとの誤差（損失関数）を評価することで学習を行う。
本実施の形態の学習装置１は、ニューラルネットワークモデルのＤｅｃｏｄｅｒ構造において、出力層に至る過程（図３において●で示す箇所）で得られる特徴マップと正解ラベルとの誤差も評価して学習を行う。これは、ＤＳＶと呼ばれる手法であり、Dou Q, Yu L, Chen Hら「3D Deeply Supervised Network for Automated Segmentation of Volumetric Medical Images」Medical Image Analysis, 41(10):40-54に記載されている。なお、出力層に至る過程で得られる特徴マップのサイズは正解ラベルのサイズとは異なるので、特徴マップに逆畳み込みを行うことで、正解ラベルとサイズを合わせて評価を行う。
学習部１６が学習に用いる損失関数を次に示す。
ここで、ｎとｃは画素とクラス（骨転移領域、非悪性病変領域、その他）の値であり、ＮとＣは画素とクラスの総数である。さらに、ｐｃｎは、ネットワークの出力ｙｃｎのソフトマックスであり、ｔｃｎは、対象組織の画素値を１、そうでないときに０を示す真のラベルを示す。最後に、εは０で除算することを防止する微小値である。
図４は、実施の形態の骨格セグメンテーション装置２の構成を示す図である。骨格セグメンテーション装置２は、被験者のシンチグラムを入力する入力部２０と、被験者のシンチグラムに映る骨格の部位に解剖構造ラベルを付与する制御部２１と、上述した学習装置１によって学習した学習済みモデルを記憶した記憶部２７と、解剖構造ラベルのデータを出力する出力部２８とを有している。
制御部２１は、画像反転部２２と、前後画像位置合せ部２３と、空間的標準化部２４と、濃度正規化処理部２５と、推論部２６とを有している。画像反転部２２、前後画像位置合せ部２３、空間的標準化部２４及び濃度正規化処理部２５は、学習装置１が備える画像反転部１２、前後画像位置合せ部１３、空間的標準化部１４及び濃度正規化処理部１５と同じである。
推論部２６は、学習済みモデル記憶部２７から学習済みモデルを読み出し、学習済みモデルの入力層に一組の前方画像および後方画像を入力し、前方画像および後方画像のそれぞれの領域の解剖構造ラベルを推論する。
図５は、学習装置１の動作を示す図である。学習装置１は、教師データとして、複数の被験者の参照シンチグラム（前方画像および後方画像）とそれに対応する解剖構造ラベルの正解データを入力する（Ｓ１０）。学習装置１は、後方画像を反転させ（Ｓ１１）、前方画像と反転された後方画像との位置合わせを行う（Ｓ１２）。次に、学習装置１は、入力された前方画像および後方画像の空間的標準化（Ｓ１３）と濃度正規化（Ｓ１４）とを行う。
続いて、学習装置１は、一組の前方画像および後方画像とそれに対応する解剖構造ラベルの正解データを用いて、ニューラルネットワークモデルの学習を行う（Ｓ１５）。上述したとおり、ここでの学習では、一組の前方画像および後方画像をＢｕｔｔｅｒｆｌｙ－Ｎｅｔの入力層に入力し、出力層からの出力と正解データとに基づいて学習を行う。学習装置１は、学習によって得られたニューラルネットワークモデルを記憶部１７に記憶する（Ｓ１６）。なお、学習済みのモデルを骨格セグメンテーション装置２で用いる場合には、記憶部１７に記憶された学習モデルを読み出して、他の装置等に出力する。
図６は、骨格セグメンテーション装置２の動作を示す図である。骨格セグメンテーション装置２は、被験者を前後から撮影したシンチグラム（前方画像及び後方画像）を入力する（Ｓ２０）。骨格セグメンテーション装置２は、後方画像を反転させ（Ｓ２１）、前方画像と反転された後方画像との位置合わせを行う（Ｓ２２）。次に、骨格セグメンテーション装置２は、入力された前方画像および後方画像の空間的標準化（Ｓ２３）と濃度正規化（Ｓ２４）とを行う。
続いて、骨格セグメンテーション装置２は、学習済みモデルの２つの入力層に、被験者の前方画像および後方画像を入力し、前方画像および後方画像の解剖構造ラベルを推論し（Ｓ２５）、推論によって得られた解剖構造ラベルのデータを出力する（Ｓ２６）。
実施の形態の学習装置１は、学習モデルとしてＢｕｔｔｅｒｆｌｙ－Ｎｅｔのニューラルネットワークモデルを用い、その入力層に一組の前方画像および後方画像を入力して学習を行う構成としたので、相関の高いシンチグラムを同時に処理することにより、精度良く骨格セグメンテーションを行えるニューラルネットワークのモデルを生成することができる。
図７は、本実施の形態の学習装置１および骨格セグメンテーション装置２のハードウェアの構成を示す図である。学習装置１、骨格セグメンテーション装置２は、ＣＰＵ３０、ＲＡＭ３１、ＲＯＭ３２、ハードディスク３３、ディスプレイ３４、キーボード３５、マウス３６、通信インターフェース３７等を備えたコンピュータ３によって実現される。学習装置１と骨格セグメンテーション装置２は同じコンピュータで実現してもよいし、別個のコンピュータでもよい。学習済みモデル４１を例えばハードディスク３３に格納する。また、上記した各機能および各ステップを実現するモジュールを有するモデル学習用または骨格セグメンテーション用のプログラム４０をＲＯＭ３２に格納し、ＣＰＵ３０によって当該プログラム４０を実行することによって、上記した学習装置１および骨格セグメンテーション装置２が実現される。このようなモデル学習用または骨格セグメンテーション用のプログラム４０も本発明の範囲に含まれる。
次に、本実施の形態の学習装置１を用いて生成した学習済みモデルを用いて、骨格セグメンテーションを行った実施例について説明する。学習済みモデルの生成方法には、ＤＳＶを導入したＢｕｔｔｅｒｆｌｙ－Ｎｅｔと、ＤＳＶを導入しないＢｕｔｔｅｒｆｌｙ－Ｎｅｔを用いた。また、比較例として、マルチアトラスを用いて骨格セグメンテーションを行った。マルチアトラスを用いた骨格セグメンテーションでは、訓練用データから、１６４個のアトラスのＢスプラインベースの非剛性レジストレーションを採用した。この方法は、計算コストが高いので、前方画像のみ計算を行った。
（実験に用いた画像）
・骨シンチグラム濃度値正規化画像：２４６症例
訓練用データ：１６４症例
検証用データ：４１症例
テストデータ：４１症例
・画像サイズ：２５６×５７６[pixels]
・骨シンチグラム濃度値正規化画像：２４６症例
訓練用データ：１６４症例
検証用データ：４１症例
テストデータ：４１症例
・画像サイズ：２５６×５７６[pixels]
（ネットワークの初期化と最適化）
・初期化：He K, Zhang X, Ren Sら「Deep Residual Learning for Image Recognition」 CVPR2016, 770-778にしたがって行った。
・最適化：適応モーメント推定（ＡＤＡＭ）を用いて損失関数の最小化を行った。（Kingma DP, Ba JL「ADAM: A method for stochastic optimization」 ICLR2015, arXiv:1412.6980v9）
・ＡＤＡＭのパラメータ
α＝０．００１、β＝０．９、γ＝０．９９９、ε＝１０－８
ただし、αは１３５０回目の繰り返しで１／１０に減少された。繰り返しの最大回数は１６２０に設定され、繰り返しの最適回数は、次式（４）のＤｉｃｅスコアの平均が最大値に達したことによって決定した。なお、Ｄｉｃｅスコアは、真の骨格の部位と骨格セグメンテーションの結果との類似度を評価するスコアであり、値が大きいほど類似度が高いことを示す。
・初期化：He K, Zhang X, Ren Sら「Deep Residual Learning for Image Recognition」 CVPR2016, 770-778にしたがって行った。
・最適化：適応モーメント推定（ＡＤＡＭ）を用いて損失関数の最小化を行った。（Kingma DP, Ba JL「ADAM: A method for stochastic optimization」 ICLR2015, arXiv:1412.6980v9）
・ＡＤＡＭのパラメータ
α＝０．００１、β＝０．９、γ＝０．９９９、ε＝１０－８
ただし、αは１３５０回目の繰り返しで１／１０に減少された。繰り返しの最大回数は１６２０に設定され、繰り返しの最適回数は、次式（４）のＤｉｃｅスコアの平均が最大値に達したことによって決定した。なお、Ｄｉｃｅスコアは、真の骨格の部位と骨格セグメンテーションの結果との類似度を評価するスコアであり、値が大きいほど類似度が高いことを示す。
（実験結果）
図８は、骨格セグメンテーションの結果を示す図である。網掛けをした領域はセグメンテーションされた骨格を示し、白いラインは真の骨格の部位との境界を示している。図８の下部に示した数字は、骨格の各部位についてのＤｉｃｅスコアである。図９は、図８の下部に示したＤｉｃｅスコアを並べて記載した表であり、３つの手法のうち最も高いＤｉｃｅスコアを太字で示している。図８及び図９に示すように、Ｂｕｔｔｅｒｆｌｙ－ＮｅｔまたはＤＳＶを導入したＢｕｔｔｅｒｆｌｙ－Ｎｅｔを使って生成された学習済みモデルでセグメンテーションされた解剖構造ラベルはＤｉｃｅスコアが高く、適切にセグメンテーションを行なえた。
図８は、骨格セグメンテーションの結果を示す図である。網掛けをした領域はセグメンテーションされた骨格を示し、白いラインは真の骨格の部位との境界を示している。図８の下部に示した数字は、骨格の各部位についてのＤｉｃｅスコアである。図９は、図８の下部に示したＤｉｃｅスコアを並べて記載した表であり、３つの手法のうち最も高いＤｉｃｅスコアを太字で示している。図８及び図９に示すように、Ｂｕｔｔｅｒｆｌｙ－ＮｅｔまたはＤＳＶを導入したＢｕｔｔｅｒｆｌｙ－Ｎｅｔを使って生成された学習済みモデルでセグメンテーションされた解剖構造ラベルはＤｉｃｅスコアが高く、適切にセグメンテーションを行なえた。
図１０は、すべてのテストケースのＤｉｃｅスコアを示す図である。上段は、前方画像において、骨格の各部位についてのＤｉｃｅスコアの分布を示し、左から順に、マルチアトラス（比較例）、Ｂｕｔｔｅｒｆｌｙ－Ｎｅｔ、Ｂｕｔｔｅｒｆｌｙ－Ｎｅｔ ｗｉｔｈ ＤＳＶで求めた結果を示している。下段は、後方画像において、各骨格についてのＤｉｃｅスコアの分布を示し、左から順に、Ｂｕｔｔｅｒｆｌｙ－Ｎｅｔ、Ｂｕｔｔｅｒｆｌｙ－Ｎｅｔ ｗｉｔｈ ＤＳＶで求めた結果を示している。上段、下段のいずれについても、表内に記載した数字は、Ｄｉｃｅスコアの中央値を示している。統計的検定は、「２つの方法の間のパフォーマンスに差がない」という帰無仮説を用いて、ウィルコクソンの符号順位検定を用いて行った。図１０の上段に示すように、Ｂｕｔｔｅｒｆｌｙ－ＮｅｔまたはＢｕｔｔｅｒｆｌｙ－Ｎｅｔ ｗｉｔｈ ＤＳＶのモデルを用いた推論によって、マルチアトラスよりも精度の良い骨格セグメンテーションができた。
本発明は、被験者の骨シンチグラムの画像処理を行う装置として有用である。
１ 学習装置
２ 骨格セグメンテーション装置
３ コンピュータ
１０ 入力部
１１ 制御部
１２ 画像反転部
１３ 前後画像位置合せ部
１４ 空間的標準化部
１５ 濃度正規化部
１６ 学習部
１７ 記憶部
１８ 出力部
２０ 入力部
２１ 制御部
２２ 画像反転部
２３ 前後画像位置合せ部
２４ 空間的標準化部
２５ 濃度正規化部
２６ 推論部
２７ 学習済みモデル記憶部
２８ 出力部
３０ ＣＰＵ
３１ ＲＡＭ
３２ ＲＯＭ
３３ ハードディスク
３４ ディスプレイ
３５ キーボード
３６ マウス
３７ 通信インターフェース
２ 骨格セグメンテーション装置
３ コンピュータ
１０ 入力部
１１ 制御部
１２ 画像反転部
１３ 前後画像位置合せ部
１４ 空間的標準化部
１５ 濃度正規化部
１６ 学習部
１７ 記憶部
１８ 出力部
２０ 入力部
２１ 制御部
２２ 画像反転部
２３ 前後画像位置合せ部
２４ 空間的標準化部
２５ 濃度正規化部
２６ 推論部
２７ 学習済みモデル記憶部
２８ 出力部
３０ ＣＰＵ
３１ ＲＡＭ
３２ ＲＯＭ
３３ ハードディスク
３４ ディスプレイ
３５ キーボード
３６ マウス
３７ 通信インターフェース
Claims (9)
- 被験者のシンチグラムに映る骨格の部位に解剖構造ラベルを付与する骨格セグメンテーションを行うためのプログラムであって、コンピュータに、
被験者を前方および後方から撮影した一組のシンチグラムを入力するステップと、
前記一組のシンチグラムのうち、前方から撮影した前記シンチグラムと、後方から撮影した前記シンチグラムのうちの一方を体軸に対して反転するステップを更に含み、
反転するステップの後に、複数の参照シンチグラムとその解剖構造ラベルの正解データとを教師データとして予め学習によって生成されたニューラルネットワークの学習済みモデルを記憶した記憶部から、前記学習済みモデルを読み出し、前記学習済みモデルに前記一組のシンチグラムを入力し、前記一組のシンチグラムの中で前記解剖構造ラベルに対応する領域を推論するステップと、
前記被験者のシンチグラムの前記解剖構造ラベルを示すデータを出力するステップと、
を実行させるプログラム。 - 被験者のシンチグラムの中で解剖構造ラベルに対応する領域を推論するためのニューラルネットワークモデルを生成する学習装置であって、
被験者を前方および後方から撮影した一組のシンチグラムである複数の参照シンチグラムとその解剖構造ラベルの正解データとを教師データとして入力する入力部と、
前記複数の参照シンチグラムについて、前記一組のシンチグラムのうち、前方から撮影した前記シンチグラムと、後方から撮影した前記シンチグラムのうちの一方を体軸に対して反転し、反転処理を行った前記参照シンチグラムを、ニューラルネットワークモデルの入力層に入力し、前記ニューラルネットワークモデルによる推論結果と正解の解剖構造ラベルとの誤差に基づいて、前記ニューラルネットワークモデルの学習を行う学習部と、
を備える学習装置。 - 前記ニューラルネットワークは、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ構造を有し、Ｅｎｃｏｄｅｒ構造で得た特徴マップをＤｅｃｏｄｅｒ構造に入力する構造の第１のネットワーク部分と、前記第１のネットワーク部分と同じ構造を有する第２のネットワーク部分とが結合された構造を有する請求項２に記載の学習装置。
- 前記学習部は、Ｄｅｃｏｄｅｒ構造を構成する層から出力される特徴マップと前記正解データとの誤差にも基づいて、前記ニューラルネットワークモデルの学習を行う請求項３に記載の学習装置。
- 被験者のシンチグラムの中で解剖構造ラベルに対応する領域を推論するためのニューラルネットワークモデルを生成するためのプログラムであって、コンピュータに、
被験者を前方および後方から撮影した一組のシンチグラムである複数の参照シンチグラムとその解剖構造ラベルの正解データとを教師データとして入力するステップと、
前記複数の参照シンチグラムについて、前記一組のシンチグラムのうち、前方から撮影した前記シンチグラムと、後方から撮影した前記シンチグラムのうちの一方を体軸に対して反転するステップと、
反転処理が行われた前記参照シンチグラムを、ニューラルネットワークモデルの入力層に入力し、前記ニューラルネットワークモデルによる推論結果と正解の解剖構造ラベルとの誤差に基づいて、前記ニューラルネットワークモデルの学習を行うステップと、
を実行させるプログラム。 - 被験者のシンチグラムの中で解剖構造ラベルに対応する領域を推論するためのニューラルネットワークモデルを学習によって生成する学習方法であって、
被験者を前方および後方から撮影した一組のシンチグラムである複数の参照シンチグラムとその解剖構造ラベルの正解データとを教師データとして入力するステップと、
前記複数の参照シンチグラムについて、前記一組のシンチグラムのうち、前方から撮影した前記シンチグラムと、後方から撮影した前記シンチグラムのうちの一方を体軸に対して反転するステップと、
反転処理が行われた前記参照シンチグラムを、ニューラルネットワークモデルの入力層に入力し、前記ニューラルネットワークモデルによる推論結果と正解の解剖構造ラベルとの誤差に基づいて、前記ニューラルネットワークモデルの学習を行うステップと、
を備える学習方法。 - 被験者のシンチグラムに映る骨格の部位に解剖構造ラベルを付与するためのニューラルネットワークモデルを生成するために、コンピュータを機能させるための学習済みモデルであって、
被験者を前方および後方から撮影した一組のシンチグラムである複数の参照シンチグラムと、各参照シンチグラムに付与した解剖構造ラベルの正解データとを教師データとし、前方から撮影した参照シンチグラムまたは後方から撮影した参照シンチグラムのいずれかを体軸に対して反転させた後に、前方および後方から撮影した参照シンチグラムのそれぞれを、前記ニューラルネットワークモデルの入力層に入力して学習されたものであり、
前記ニューラルネットワークモデルの入力された被験者のシンチグラムに解剖構造ラベルを付与するよう、コンピュータを機能させる学習済みモデル。 - 前記学習済みモデルは、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ構造を有し、Ｅｎｃｏｄｅｒ構造で得た特徴マップをＤｅｃｏｄｅｒ構造に入力する構造の第１のネットワーク部分と、前記第１のネットワーク部分と同じ構造を有する第２のネットワーク部分とが結合された構造を有するニューラルネットワークモデルで構成される請求項７に記載の学習済みモデル。
- 被験者のシンチグラムに映る骨格の部位に解剖構造ラベルを付与する骨格セグメンテーションを行うための装置であって、
被験者のシンチグラムを入力する入力部と、
請求項２ないし４のいずれか一項に記載の学習装置にて生成されたニューラルネットワークの学習済みモデルを記憶した記憶部と、
前記記憶部から前記学習済みモデルを読み出し、前記学習済みモデルに前記被験者のシンチグラムを入力し、前記被験者のシンチグラムの中で前記解剖構造ラベルに対応する領域を推論する推論部と、
前記被験者のシンチグラムの前記解剖構造ラベルを示すデータを出力する出力部と、
を備える骨格セグメンテーション装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019121528A JP7446570B2 (ja) | 2019-06-28 | 2019-06-28 | プログラム、学習装置、学習方法、学習済みプログラムおよび骨格セグメンテーション装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019121528A JP7446570B2 (ja) | 2019-06-28 | 2019-06-28 | プログラム、学習装置、学習方法、学習済みプログラムおよび骨格セグメンテーション装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021009026A JP2021009026A (ja) | 2021-01-28 |
| JP7446570B2 true JP7446570B2 (ja) | 2024-03-11 |
Family
ID=74199813
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019121528A Active JP7446570B2 (ja) | 2019-06-28 | 2019-06-28 | プログラム、学習装置、学習方法、学習済みプログラムおよび骨格セグメンテーション装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7446570B2 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017198697A (ja) | 2017-06-30 | 2017-11-02 | 富士フイルムＲｉファーマ株式会社 | 画像処理プログラム、記録媒体、画像処理装置、及び画像処理方法 |
| JP2018181124A (ja) | 2017-04-18 | 2018-11-15 | Kddi株式会社 | エンコーダデコーダ畳み込みニューラルネットワークにおける解像感を改善するプログラム |
| JP2019506208A (ja) | 2016-01-21 | 2019-03-07 | エレクタ、インク.Elekta, Inc. | 内視鏡的医療画像のセグメンテーションのためのシステムおよび方法 |
-
2019
- 2019-06-28 JP JP2019121528A patent/JP7446570B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019506208A (ja) | 2016-01-21 | 2019-03-07 | エレクタ、インク.Elekta, Inc. | 内視鏡的医療画像のセグメンテーションのためのシステムおよび方法 |
| JP2018181124A (ja) | 2017-04-18 | 2018-11-15 | Kddi株式会社 | エンコーダデコーダ畳み込みニューラルネットワークにおける解像感を改善するプログラム |
| JP2017198697A (ja) | 2017-06-30 | 2017-11-02 | 富士フイルムＲｉファーマ株式会社 | 画像処理プログラム、記録媒体、画像処理装置、及び画像処理方法 |
Non-Patent Citations (1)
| Title |
|---|
| Anjany Sekuboyina et al.，"Btrfly Net: Vertebrae Labelling with Energy-based Adversarial Learning of Local Spine Prior"，[online]，arXiv:1804.01307v1，2018年04月04日，[2023/03/13 検索]，インターネット＜URL：https://arxiv.org/pdf/1804.01307.pdf＞ |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021009026A (ja) | 2021-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7325954B2 (ja) | 医用画像処理装置、医用画像処理プログラム、学習装置及び学習プログラム | |
| Han et al. | Spine-GAN: Semantic segmentation of multiple spinal structures | |
| CN107492099B (zh) | 医学图像分析方法、医学图像分析系统以及存储介质 | |
| US20200327721A1 (en) | Autonomous level identification of anatomical bony structures on 3d medical imagery | |
| US11669729B2 (en) | Model training method and apparatus | |
| JP2002529825A (ja) | ４Ｄ再構築（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）及び可視化（ｖｉｓｕａｌｉｚａｔｉｏｎ）のためのシステム及び方法 | |
| US8170303B2 (en) | Automatic cardiac view classification of echocardiography | |
| CN112215858A (zh) | 用于图像分割和识别的方法和系统 | |
| Pluim et al. | The truth is hard to make: Validation of medical image registration | |
| JP2022517769A (ja) | 三次元ターゲット検出及びモデルの訓練方法、装置、機器、記憶媒体及びコンピュータプログラム | |
| CN112804943A (zh) | 学习完成模型的制作方法、亮度调整方法以及图像处理装置 | |
| Kadoury et al. | 3-D morphology prediction of progressive spinal deformities from probabilistic modeling of discriminant manifolds | |
| Amer et al. | ResDUnet: A deep learning-based left ventricle segmentation method for echocardiography | |
| CN108876770B (zh) | 一种眼底多光谱图像联合配准方法及系统 | |
| Boutillon et al. | Combining shape priors with conditional adversarial networks for improved scapula segmentation in MR images | |
| Sokooti et al. | Hierarchical prediction of registration misalignment using a convolutional LSTM: Application to chest CT scans | |
| Fard et al. | Sagittal cervical spine landmark point detection in x-ray using deep convolutional neural networks | |
| US11704796B2 (en) | Estimating bone mineral density from plain radiograph by assessing bone texture with deep learning | |
| JP7446570B2 (ja) | プログラム、学習装置、学習方法、学習済みプログラムおよび骨格セグメンテーション装置 | |
| JP2023505374A (ja) | 医療画像セグメント化及びアトラス画像選択 | |
| KR102545906B1 (ko) | 학습 모델을 이용한 데이터 처리 방법 | |
| EP4012650A1 (en) | Segmentation of anatomical structure in image | |
| Zhou | Introduction to medical image recognition, segmentation, and parsing | |
| Pilgram et al. | Knowledge-based femur detection in conventional radiographs of the pelvis | |
| JP7325310B2 (ja) | 医用画像処理装置、医用画像解析装置、及び、標準画像作成プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220517 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230602 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230615 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230926 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231108 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240216 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7446570 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |