以下、図面を参照しながら、医用画像処理装置及び医用画像診断装置の実施形態について詳細に説明する。以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
(第1の実施形態)
図1は、第1の実施形態に係る医用画像診断装置の構成例を示す図である。図1に示すように、本実施形態では、医用画像診断装置としてX線CT装置1を用いた一例について説明する。
本実施形態に係る医用画像診断装置は、回転軸回りを検出器が回転する構成を有する装置であればよい。医用画像診断装置は、例えば、X線診断装置等の単一モダリティ装置であっても良いし、PET(Positron Emission Tomography)/CT装置、SPECT(Single Photon Emission CT)/CT装置等の複合モダリティ装置であっても良い。医用画像診断装置は、被検体に対し、モダリティ装置種に応じた撮像原理の医用撮像を施し、当該被検体に関する医用データを収集する。医用データは、例えば、医用画像診断装置がX線コンピュータ断層撮影装置である場合における投影データ又はサイノグラムデータ、医用画像診断装置がPET装置である場合におけるコインシデンスデータ又はサイノグラムデータである。
X線CT装置1は、架台装置10と、寝台装置30と、コンソール装置40とを有する。
なお、本実施形態では、寝台装置30の天板33の長手方向(長軸方向)をZ軸方向と定義する。非チルト状態での回転フレーム13の回転軸は、Z軸方向と略一致する。また、Z軸方向に直交し、床面に対し水平である軸方向をX軸方向と定義する。そして、Z軸方向に直交し、床面に対し垂直である軸方向をY軸方向と定義する。
架台装置10は、X線管11と、X線検出器12と、回転フレーム13と、X線高電圧装置14と、制御装置15と、ウェッジ16と、コリメータ17と、DAS18とを有する。
X線管11は、X線高電圧装置14からの高電圧の印加により、陰極(フィラメント)から陽極(ターゲット)に向けて熱電子を照射することでX線を発生する真空管である。例えば、X線管11には、回転する陽極に熱電子を照射することでX線を発生させる回転陽極型のX線管がある。
ウェッジ16は、X線管11から照射されたX線量を調節するためのフィルタである。具体的には、ウェッジ16は、X線管11から被検体Pへ照射されるX線が予め定められた分布になるように、X線管11から照射されたX線を透過して減衰するフィルタである。例えば、ウェッジ16(ウェッジフィルタ(wedge filter)、ボウタイフィルタ(bow-tie filter)は、所定のターゲット角度や所定の厚みとなるようにアルミニウムを加工したフィルタである。
コリメータ17は、ウェッジ16を透過したX線の照射範囲を絞り込むための鉛板等であり、複数の鉛板等の組み合わせによってスリットを形成する。なお、コリメータ17は、X線絞りと呼ばれる場合もある。
X線検出器12は、X線管11から照射され、被検体Pを通過したX線を検出し、当該X線量に対応した電気信号をDAS18へと出力する。X線検出器12は、例えば、X線管の焦点を中心として1つの円弧に沿ってチャネル方向に複数のX線検出素子が配列された複数のX線検出素子列を有する。X線検出器12は、例えば、チャネル方向に複数のX線検出素子が配列されたX線検出素子列がスライス方向(列方向、row方向)に複数配列された構造を有する。
また、X線検出器12は、例えば、グリッドと、シンチレータアレイと、光センサアレイとを有する間接変換型の検出器である。シンチレータアレイは、複数のシンチレータを有し、シンチレータは入射X線量に応じた光子量の光を出力するシンチレータ結晶を有する。グリッドは、シンチレータアレイのX線入射側の面に配置され、散乱X線を吸収する機能を有するX線遮蔽板を有する。なお、グリッドはコリメータ(1次元コリメータ又は2次元コリメータ)と呼ばれる場合もある。光センサアレイは、シンチレータからの光量に応じた電気信号に変換する機能を有し、例えば、光電子増倍管(フォトマルチプライヤー:PMT)等の光センサを有する。
なお、X線検出器12は、入射したX線を電気信号に変換する半導体素子を有する直接変換型の検出器であっても構わない。また、X線検出器12は、X線検出部の一例である。
回転フレーム13は、架台装置10の筐体に対して回転可能な円環状のフレームである。回転フレーム13は、X線管11とX線検出器12とを対向させた状態で支持する。回転フレーム13は、X線管11とX線検出器12と一緒に筐体に対して回転する。回転フレーム13は、X線管11とX線検出器12に加えて、X線高電圧装置14やDAS18を更に備えて支持する。なお、DAS18が生成した検出データは、回転フレームに設けられた発光ダイオード(LED)を有する送信機から光通信によって架台装置の非回転部分(例えば固定フレーム。図1での図示は省略している。)に設けられた、フォトダイオードを有する受信機に送信され、コンソール装置40へと転送される。なお、回転フレームから架台装置の非回転部分への検出データの送信方法は、前述の光通信に限らず、非接触型のデータ伝送であれば如何なる方式を採用しても構わない。また、回転フレーム13は、回転部の一例である。
X線高電圧装置14は、変圧器(トランス)及び整流器等の電気回路を有し、X線管11に印加する高電圧を発生する機能を有する高電圧発生装置と、X線管11が照射するX線に応じた出力電圧の制御を行うX線制御装置とを有する。高電圧発生装置は、変圧器方式であってもよいし、インバータ方式であっても構わない。なお、X線高電圧装置14は、後述する回転フレーム13に設けられてもよいし、架台装置10の固定フレーム(図示しない)側に設けられても構わない。なお、固定フレームは回転フレーム13を回転可能に支持するフレームである。また、X線高電圧装置14は、X線高電圧部の一例である。
DAS(Data Acquisition System)18は、X線検出器12の各X線検出素子から出力される電気信号に対して増幅処理を行う増幅器と、電気信号をデジタル信号に変換するA/D変換器とを有し、検出データを生成する。DAS18が生成した検出データは、コンソール装置40へと転送される。また、DAS18はデータ収集部(データ収集回路)の一例である。
制御装置15は、CPU等を有する処理回路と、モータ及びアクチュエータ等の駆動機構とを有する。制御装置15は、コンソール装置40若しくは架台装置10に取り付けられた、後述する入力インターフェース43からの入力信号を受けて、架台装置10及び寝台装置30の動作制御を行う機能を有する。例えば、制御装置15は、入力信号を受けて回転フレーム13を回転させる制御や、架台装置10をチルトさせる制御、及び寝台装置30及び天板33を動作させる制御を行う。なお、架台装置10をチルトさせる制御は、架台装置10に取り付けられた入力インターフェースによって入力される傾斜角度(チルト角)情報により、制御装置15がX軸方向に平行な軸を中心に回転フレーム13を回転させることによって実現される。なお、制御装置15は架台装置10に設けられてもよいし、コンソール装置40に設けられても構わない。また、制御装置15は、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)あるいはプログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)およびフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))などにより実現されてもよい。
寝台装置30は、スキャン対象の被検体Pを載置、移動させる装置である。寝台装置30は、基台31と、寝台駆動装置32と、天板33と、支持フレーム34とを備える。基台31は、支持フレーム34を鉛直方向に移動可能に支持する筐体である。寝台駆動装置32は、被検体Pが載置された天板33を天板33の長軸方向に移動するモータあるいはアクチュエータである。支持フレーム34の上面に設けられた天板33は、被検体Pが載置される板である。天板33は、支持フレーム34に対して、天板33の長軸方向に沿って移動可能である。なお、寝台駆動装置32は、天板33に加え、支持フレーム34を天板33の長軸方向に移動してもよい。
コンソール装置40は、メモリ41と、ディスプレイ42と、入力インターフェース43と、処理回路44とを有する。なお、コンソール装置40は架台装置10とは別体として説明するが、架台装置10にコンソール装置40又はコンソール装置40の各構成要素の一部が含まれてもよい。
メモリ41は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。メモリ41は、例えば、検出データ、投影データ、再構成画像データ、及び複数の学習済みモデルMなどを記憶する。また、メモリ41は、検出データ、投影データ及び再構成データに付帯させてスキャン条件を記憶する。メモリ41は、記憶部の一例である。本実施形態では、投影データは、補正前投影データと、補正後投影データを含む。補正前投影データ及び補正後投影データについては後述する。
スキャン条件は、例えば、X線条件(管電流、管電圧及びX線曝射継続時間等)、スキャン種(ノンヘリカルスキャン、ヘリカルスキャン、同期スキャン等)、検出器空間分解能、撮影時の回転フレーム13の回転速度V、撮影時の回転フレーム13のチルト角α、撮影対象部位、撮像対象の種類、架台装置10の識別番号N、天板33の移動速度VT、天板33の移動停止からの経過時間T(撮影タイミング)、被検体の荷重F(荷重条件)、及び寝台装置30の識別番号NT等のうち少なくとも1つを含む。
複数の学習済みモデルMのそれぞれは、学習済みの機械学習モデルである。本実施形態に係る学習済みモデルMのそれぞれは、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数及びパラメータの組合せにより定義される。本実施形態に係る複数の学習済みモデルMのそれぞれは、上記の要請を満たす如何なるパラメータ付き合成関数であっても良いが、多層のネットワークモデルであるとする。
本実施形態では、例えば、学習済みモデルがスキャン条件ごとに用意されている。複数の学習済みモデルMのそれぞれは、補正前投影データの入力を受け付ける。それぞれの学習済みモデルは、補正前投影データに基づいて補正後投影データを出力する。補正前投影データは、第1の医用データの一例である。また、補正後投影データは、第2の医用データの一例である。
補正前投影データは、架台装置10の回転フレーム13の回転に起因する各構成部材の設計値(理想位置)からの幾何学的なずれの影響を含む投影データである。補正前投影データは、例えば、架台装置10の回転フレーム13を回転させて患者を撮像し、後述の前処理機能442が実行されることにより生成された投影データである。患者は、被検体の一例である。
補正後投影データは、補正前投影データに含まれる架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響を低減するように補正された投影データである。補正後投影データは、例えば、再構成に関する複数のビューのそれぞれにおいて架台装置10の回転フレーム13が停止した状態で患者を仮に撮影する場合に取得される投影データに相当する。
したがって、複数の学習済みモデルMのそれぞれは、補正前投影データを入力して、補正後投影データを出力できるように各パラメータが学習された多層のネットワークモデルである。なお、複数の学習済みモデルMのそれぞれは、メモリ41に学習済みモデルなどのプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成されていても構わない。すなわち、学習済みモデル自体は、処理回路44におけるASIC、或いはプログラマブル論理デバイスにプリセットされてもよい。換言すれば、学習済みモデルは、ASIC、或いはプログラマブル論理デバイスで作りこまれていてもよい。
ディスプレイ42は、各種の情報を表示する。例えば、ディスプレイ42は、処理回路44によって生成された医用画像(CT画像)や、操作者からの各種操作を受け付けるためのGUI(Graphical User Interface)等を出力する。例えば、ディスプレイ42は、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイである。また、ディスプレイ42は、表示部の一例である。また、ディスプレイ42は、架台装置10に設けられてもよい。また、ディスプレイ42は、デスクトップ型でもよいし、コンソール装置40本体と無線通信可能なタブレット端末等で構成されることにしても構わない。
入力インターフェース43は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路44に出力する。例えば、入力インターフェース43は、投影データを収集する際のスキャン条件や、CT画像を再構成する際の再構成条件、CT画像から後処理画像を生成する際の画像処理条件等を操作者から受け付ける。例えば、入力インターフェース43は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック等により実現される。また、入力インターフェース43は、入力部の一例である。また、入力インターフェース43は、架台装置10に設けられてもよい。また、入力インターフェース43は、コンソール装置40本体と無線通信可能なタブレット端末等で構成されることにしても構わない。
処理回路44は、X線CT装置1全体の動作を制御する。例えば、処理回路44は、システム制御機能441、前処理機能442、再構成処理機能443、画像処理機能444、表示制御機能445、モデル特定機能446、ブレ補正機能447、を実行する。また、処理回路44は、処理部の一例である。
処理回路44は、不図示の取得機能により、第1の医用データ及び第1の医用データに関するスキャン条件等を取得する。取得機能は、取得部の一例である。なお、取得機能は、モデル特定機能446及びブレ補正機能447により実行されてもよい。
なお、図1においては、単一の処理回路44によって、システム制御機能441、前処理機能442、再構成処理機能443、画像処理機能444、表示制御機能445、モデル特定機能446、及びブレ補正機能447が実現されるものとして説明したがこれに限らない。例えば、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能を実現するものとしても構わない。また、システム制御機能441、前処理機能442、再構成処理機能443、画像処理機能444、表示制御機能445、モデル特定機能446、ブレ補正機能447は、それぞれシステム制御回路、前処理回路、再構成処理回路、画像処理回路、表示制御回路、モデル特定回路、及びブレ補正回路と呼んでもよく、個別のハードウェア回路として実装してもよい。
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA)等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図1における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
システム制御機能441において処理回路44は、入力インターフェース43を介して操作者から受け付けた入力操作に基づいて、処理回路44の各種機能を制御する。例えば、処理回路44は、スキャン条件に従って、架台装置10における各種構成要素を制御する。
前処理機能442において処理回路44は、DAS18から出力された検出データに対して対数変換処理やオフセット補正処理、チャネル間の感度補正処理、ビームハードニング補正等の前処理を施した投影データを生成する。なお、前処理前のデータ(検出データ)及び前処理後のデータを総称して投影データと称する場合もある。また、前処理機能442を実現する処理回路44は、前処理部の一例である。前処理機能442により生成された投影データは、補正前投影データ、すなわち第1の医用データの一例である。
再構成処理機能443において処理回路44は、後述のブレ補正機能447において学習済みモデルから出力された補正後投影データに対して、フィルタ補正逆投影法や逐次近似再構成法等を用いた再構成処理を行ってCT画像データを生成する。また、再構成処理機能443を実現する処理回路44は、再構成処理部の一例である。CT画像データは、例えば、ボリュームデータである。CT画像データは、医用画像データの一例である。
画像処理機能444において処理回路44は、入力インターフェース43を介して操作者から受け付けた入力操作に基づいて、再構成処理機能443によって生成されたCT画像データを公知の方法により、任意断面の断層像データや3次元画像データに変換する。なお、3次元画像データの生成は再構成処理機能443が直接行なっても構わない。また、画像処理機能444を実現する処理回路44は、画像処理部の一例である。
表示制御機能445において処理回路44は、例えば、システム制御機能441からの信号を読み込んで、メモリ41から所望のCT画像データを取得してディスプレイ42にCT画像を表示する。例えば、処理回路44は、CT画像データに基づいて生成された断層像データや3次元画像データを、CT画像として、ディスプレイ42に表示させる。CT画像は、医用画像の一例である。
モデル特定機能446において、処理回路44は、補正前投影データに関するスキャン条件に基づいて、メモリ41に保存された複数の学習済みモデルMの中から、補正前投影データに対応する学習済みモデルを特定する。モデル特定機能446を実行することによる処理回路44の動作の詳細については、後述する。
ブレ補正機能447において処理回路44は、補正前投影データに対応する学習済みモデルを適用し、補正後投影データを生成する。ブレ補正機能447を実行することによる処理回路44の動作の詳細については、後述する。
次に、本実施形態に係る医用画像診断装置であるX線CT装置1の動作について説明する。以下の説明において本実施形態に係る多層のネットワークモデルは、生物の脳の神経回路を模した深層ニューラルネットワーク(DNN:Deep Neural Network)であるとする。なお、多層のネットワークモデルは、DNNに限定されず、例えば、コンボリューションニューラルネットワーク(CNN:Convolution Neural Network)が多層のネットワークモデルとして用いられてもよい。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
図2は、本実施形態に係る処理回路44による、X線検出器12での検出結果を用いて架台回転の影響が補正されたCT画像を生成し、ディスプレイ42に表示させる処理(以下、スキャン処理と呼ぶ)の手順の一例を示すフローチャートである。
(スキャン処理)
(ステップS101)
処理回路44は、取得機能により、DAS18から出力された検出データを取得する。検出データは、純生データと称されてもよい。なお、取得機能により実行される処理は、架台装置10、制御装置15、DAS18等で実行されてもよい。この場合、架台装置10、制御装置15、DAS18等は、取得した検出データを処理回路44へ出力する。
(ステップS102)
処理回路44は、前処理機能442を実行する。前処理機能442において処理回路44は、ステップS101の処理において取得した検出データに対して前述の前処理を行い、補正前投影データを生成する。生成された補正前投影データは、生データと称されてもよい。補正前投影データは、例えば、メモリ41に記憶される。
(ステップS103)
処理回路44は、モデル特定機能446及びブレ補正機能447等を実行する。ステップS103の処理において処理回路44は、ステップS102の処理において生成された補正前投影データを学習済みモデルMに入力することにより、補正後投影データを生成する。生成された補正後投影データは、例えば、再構成前のサイノグラムに相当し、メモリ41に記憶される。ステップS103の実行時における詳細な処理については、後述する。
(ステップS104)
処理回路44は、再構成処理機能443を実行する。再構成処理機能443において処理回路44は、ステップS103の処理において生成された補正後投影データに対して再構成処理を行うことにより、CT画像データを生成する。生成されたCT画像データは、架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響が補正されたCT画像データである。生成されたCT画像データは、例えば、メモリ41に記憶される。
(ステップS105)
処理回路44は、画像処理機能444により、CT画像データに基づいて、ディスプレイ42へ表示させるための断層像データや3次元画像データなどを生成する。処理回路44は、生成された断層像データや3次元画像データなどをメモリ41に記憶させる。そして、処理回路44は、表示制御機能445を実行する。表示制御機能445において処理回路44は、断層像データや3次元画像データなどをCT画像としてディスプレイ42に表示させる。
以下、ステップS103において処理回路44が実行する処理について詳しく説明する。図3は、本実施形態に係るモデル特定機能446及びブレ補正機能447等における処理回路44の処理(以下、ブレ補正処理と呼ぶ)の手順の一例を示すフローチャートである。図4は、ブレ補正処理におけるメモリ41と処理回路44との間のデータの流れの一例を模式的に示す図である。図4では、例として、回転速度Vごとに用意された学習済みモデル(例えばM11、M12、M13など)と、撮像対象部位ごとに用意された学習済みモデル(例えばM21、M22、M23など)とが、メモリ41に記憶されている場合について説明する。回転速度Vが異なる複数の学習済みモデル(例えばM11、M12、M13など)と、撮像対象部位がそれぞれ異なる複数の学習済みモデル(例えばM21、M22、M23など)とのそれぞれは、回転フレーム13の回転による幾何学的なずれの影響を低減するように学習された学習済みモデルである。
回転速度V1用の学習済みモデルM11は、例えば、回転速度V1の補正前投影データに適用されることにより、補正前投影データにおいて回転フレーム13の回転の影響が低減された補正後投影データを出力する。回転速度V1用の学習済みモデルM11は、例えば、回転速度V1の学習用訓練データと回転フレーム13の回転の影響を含まない学習用教師データとを含む学習用データを多層のネットワークモデル(学習用モデル)に学習させることにより生成される。また、胸部用の学習済みモデルM22は、胸部を撮像対象部位とした補正前投影データに適用されることにより、補正前投影データにおいて回転フレーム13の回転の影響が低減された補正後投影データを出力する。
図5は、ブレ補正処理における入力と出力との関係の一例を模式的に示す図である。以下、図4に示す例において、学習済みモデルに入力される補正前投影データのスキャン条件として回転速度V2が用いられる場合について説明する。
(ブレ補正処理)
(ステップS111)
処理回路44は、取得機能により、ステップS102の処理において生成された補正前投影データを取得する。例えば、図4に示す一例では、処理回路44は、本ステップにおいて補正前投影データをメモリ41から取得する。
(ステップS112)
処理回路44は、取得機能により、ステップS111の処理において取得された補正前投影データに関するスキャン条件を、メモリ41から取得する。具体的には、処理回路44は、図4に示すように、補正前投影データに付帯するスキャン条件である「回転速度V2」を、メモリ41から取得する。なお、スキャン条件は、ユーザにより入力機器を介して入力されても良い。
(ステップS113)
処理回路44は、モデル特定機能446により、取得したスキャン条件に基づいて、メモリ41に保存された複数の学習済みモデルMの中から、取得したスキャン条件に対応する学習済みモデルを特定する。具体的には、図4に示すように、処理回路44は、メモリ41に記憶されている複数の学習済みモデルMの中から、「回転速度V2用の学習済みモデルM12」を特定(選択)する。処理回路44は、特定した「回転速度V2用の学習済みモデルM12」を、メモリ41から読み出す。
(ステップS114)
処理回路44は、ブレ補正機能447により、ステップS111の処理で取得した補正前投影データにステップS113の処理で読み出された学習済みモデルを適用し、補正後投影データを生成する。
具体的には、処理回路44は、図5に示すように、ステップS111の処理において取得した補正前投影データを、ステップS113の処理で読み出した回転速度V2用の学習済みモデルM12に適用する。回転速度V2用の学習済みモデルM12は、補正前投影データに基づいて、補正前投影データに含まれる架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響が補正された投影データ(以下、出力投影データと呼ぶ)を出力する。そして、処理回路44は、出力投影データを、補正後投影データとしてメモリ41に出力する。
以下、本実施形態に係る医用画像診断装置であるX線CT装置1の効果について説明する。
本実施形態のX線CT装置1は、メモリ41と処理回路44とを有し、メモリ41には、学習済みモデルMが記憶されている。処理回路44は、取得した補正前投影データに学習済みモデルを適用し、補正後投影データを生成することができる。すなわち、上記の構成及び動作により、本実施形態のX線CT装置1によれば、補正前投影データに含まれる架台装置10の回転フレーム13の回転に起因する各構成部材の振動及び設計値からの幾何学的なずれの影響が低減されるように補正された補正後投影データを生成することができる。そして、回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響が低減された補正後投影データに対して再構成処理を行うことにより、回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響が低減されたCT画像データを生成することができる。これにより、回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響が低減されたCT画像がディスプレイ42に表示することができる。すなわち、本実施形態のX線CT装置1によれば、X線管11及びX線検出器12の間の位置関係(ジオメトリ)のずれ、FCD(Focus to Center Distance)のずれ、FDD(Focus to Detector Distance)のずれ、FSD(Focus to Slit Distance)のずれ、X線管11の焦点位置に関するウォブリングによるずれ、ウォブリングによるX線管11のアノードの振動及び変形、X線検出器12が有する各素子の位置関係などのずれ、X線検出器12、ウェッジ16、コリメータ17の振動及び変形、X線検出器12の各素子に入射するX線の入射角度の広がり等に起因する幾何学的なずれの影響が投影データに含まれる場合であっても、適切な状態のCT画像を常に表示することができ、医用画像診断装置において装置の動作に起因する構成部材の設計値からのずれの影響を抑制することができる。
また、本実施形態では、スキャン条件毎に生成された複数の学習済みモデルMがメモリ41に保存されている。処理回路44は、補正前投影データのスキャン条件を取得し、取得したスキャン条件に対応した学習済みモデルに補正前投影データを適用する。これにより、スキャン条件に応じた補正後投影データを生成することができ、投影データの補正精度を向上させることができる。
なお、ブレ補正機能447の処理において、2つ以上の学習済みモデルを補正前投影データに順次適用してもよい。この場合、取得機能によって、例えば回転速度Vと撮像対象部位などの2つ以上のスキャン条件が補正前投影データのスキャン条件として取得され、モデル特定機能446によって、取得されたスキャン条件のそれぞれに対応する学習済みモデルが特定される。
以下、本実施形態の構成及び動作を適用可能な構成について説明する。
X線CT装置1には、X線管と検出器とが一体として被検体の周囲を回転するRotate/Rotate-Type(第3世代CT)、リング状にアレイされた多数のX線検出素子が固定され、X線管のみが被検体の周囲を回転するStationary/Rotate-Type(第4世代CT)等のタイプがあり、いずれのタイプでも本実施形態へ適用可能である。
寝台装置30は、天板33が支持フレーム34に対して移動可能であってもよいし、天板33と支持フレーム34とが一緒に、基台31に対して移動可能であってもよい。
コンソール装置40は、単一のコンソールにて複数の機能を実行するものとして説明したが、複数の機能を別々のコンソールが実行することにしても構わない。例えば、前処理機能442、再構成処理機能443等の処理回路44の機能を分散して有しても構わない。
処理回路44はコンソール装置40に含まれる場合に限らず、複数の医用画像診断装置にて取得された検出データに対する処理を一括して行う統合サーバに含まれてもよい。
再構成処理機能443は、被検体の周囲一周分(360°分)の投影データを用いるフルスキャン方式であってもよく、被検体の周囲半周分(180°分)の投影データを用いるハーフスキャン方式であってもよい。
X線CT装置1は、一管球型のX線CT装置であってもよく、X線管と検出器との複数のペアを回転リングに搭載した多管球型のX線CT装置であってもよい。
本実施形態では、スキャン条件毎に用意された複数の学習済みモデルMがメモリ41に記憶されている一例について説明したが、全てのスキャン条件に対応する学習済みモデルが1つのみ用意され、補正前投影データのスキャン条件に関わらず、常に同一の学習済みモデルが適用されてもよい。
本医用画像診断装置の技術的思想は、例えば、取得機能、前処理機能442、再構成処理機能443、モデル特定機能446及びブレ補正機能447の各々に関するプログラムをワークステーション等のコンピュータにインストールし、これらをメモリ上で展開することによっても実現することができる。このとき、コンピュータは、例えば、医用画像処理装置、クラウド上のサーバ等に搭載される。具体的に、ブレ補正処理を実行するプログラムは、コンピュータに、回転フレーム13を回転させて撮影された第1の医用データを取得し、第1の医用データに基づいての回転フレーム13の回転の影響を低減するように補正された第2の医用データを出力するように機能づけられた学習済みモデルを記憶し、学習済みモデルに対して第1の医用データを入力することで、第2の医用データを出力すること、を実現させる。
(第1の実施形態の第1の変形例)
本実施形態の第1の変形例について説明する。本変形例は、第1の実施形態の構成を以下の通りに変形したものである。
本変形例に係る複数の学習済みモデルMのそれぞれは、DAS18において生成された検出データを補正前検出データとして、補正前検出データの入力を受け付ける。それぞれの学習済みモデルは、補正前検出データに基づいて補正後検出データを出力する。本変形例において、補正前検出データは、第1の医用データに相当する。また、補正後検出データは、第2の医用データに相当する。
補正前検出データは、架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響を含む検出データである。補正前検出データは、例えば、架台装置10の回転フレーム13を回転させて患者を撮像し、後述の取得機能が実行されることにより取得された検出データである。
補正後検出データは、補正前検出データに含まれる架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響を低減するように補正された検出データである。補正後検出データは、例えば、再構成に関する複数のビューのそれぞれにおいて架台装置10の回転フレーム13が停止した状態で仮に患者を撮影する場合に取得される生データに相当する。
したがって、本変形例に係る学習済みモデルMは、補正前検出データを入力して、補正後検出データを出力できるように各パラメータが学習された多層のネットワークモデルである。
取得機能において処理回路44は、再構成に関する複数のビューに亘るスキャンの実行中においてDAS18から出力された検出データを逐次取得し、メモリ41に記憶する。また、取得機能において処理回路44は、再構成に関する複数のビューに亘るスキャンによって取得された補正前検出データを、メモリ41から取得する。
前処理機能442において処理回路44は、後述のブレ補正機能447において学習済みモデルから出力された補正後検出データに対して対数変換処理やオフセット補正処理、チャネル間の感度補正処理、ビームハードニング補正等の前処理を施した補正後投影データを生成する。
再構成処理機能443において処理回路44は、前処理機能442において生成された補正後投影データに対して、フィルタ補正逆投影法や逐次近似再構成法等を用いた再構成処理を行ってCT画像データを生成する。
モデル特定機能446において処理回路44は、補正前検出データに関するスキャン条件に基づいて、メモリ41に保存された複数の学習済みモデルMの中から、取得した補正前検出データに対応する学習済みモデルMを特定する。
ブレ補正機能447において、処理回路44は、取得した補正前検出データに対応する学習済みモデルMを適用し、補正後検出データを生成する。
次に、本変形例に係る医用画像診断装置であるX線CT装置1の動作について説明する。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
(スキャン処理)
図6は、本変形例に係る処理回路44による、スキャン処理の手順の一例を示すフローチャートである。
(ステップS121)
処理回路44は、取得機能により、DAS18から出力された補正前検出データを取得する。なお、本変形例における取得機能により実行される処理は、架台装置10、制御装置15、DAS18等で実行されてもよい。この場合、架台装置10、制御装置15、DAS18等は、取得した検出データを処理回路44へ出力する。
(ステップS122)
処理回路44は、モデル特定機能446及びブレ補正機能447等を実行する。ステップS122の処理において処理回路44は、ステップS121の処理において取得された補正前検出データを学習済みモデルMに入力することにより、補正後検出データを生成する。生成された補正後検出データは、例えば、メモリ41に記憶される。ステップS122の実行時における詳細な処理については、後述する。
(ステップS123)
処理回路44は、前処理機能442を実行する。前処理機能442において処理回路44は、ステップS122の処理において取得した補正後検出データに対して前述の前処理を行い、補正後投影データを生成する。生成された補正後投影データは、例えば、メモリ41に記憶される。
(ステップS124及びステップS125)
ステップS124及びステップS125の処理は、それぞれ、第1の実施形態のステップS104及びステップS105の処理と同様なため、説明を省略する。
(ブレ補正処理)
以下、本変形例に係る処理回路44がステップS122において実行するブレ補正処理について詳しく説明する。図7は、本実施形態に係るブレ補正処理の手順の一例を示すフローチャートである。
(ステップS131)
処理回路44は、取得機能により、ステップS121の処理において取得された補正前検出データを取得する。
(ステップS132)
処理回路44は、取得機能により、ステップS131の処理において取得された補正前検出データに関するスキャン条件を、メモリ41から取得する。
(ステップS133)
処理回路44は、モデル特定機能446により、ステップS132の処理において取得されたスキャン条件に基づいて、メモリ41に保存された複数の学習済みモデルMの中からスキャン条件に対応する学習済みモデルを特定する。
(ステップS134)
処理回路44は、ブレ補正機能447により、ステップS131の処理で取得した補正前検出データにステップS133の処理で読み出された学習済みモデルを適用し、補正後検出データを生成する。
本変形例のX線CT装置1の処理回路44は、取得した補正前検出データに学習済みモデルを適用し、補正後投影データを生成することができる。したがって、本変形例のX線CT装置1によれば、第1の実施形態と同様の効果が得られる。すなわち、本変形例のX線CT装置1によれば、補正前検出データに含まれる架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響が低減されるように補正された補正後検出データを生成することができる。そして、回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響が低減された補正後検出データに対して前処理及び再構成処理を行うことにより、回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響が低減された投影データ及びCT画像データを生成することができる。すなわち、本変形例のX線CT装置1によれば、X線管11及びX線検出器12の間の位置関係、FCD(Focus to Center Distance)、FDD(Focus to Detector Distance)、FSD(Focus to Slit Distance)、X線管11の焦点位置、X線検出器12が有する各素子の位置関係などのずれ、X線検出器12、ウェッジ16、コリメータ17の振動及び変形、X線検出器12の各素子に入社するX線の入射角度の広がり等に起因する幾何学的なずれの影響が検出データに含まれる場合であっても、適切な状態のCT画像を常に表示することができ、医用画像診断装置において装置の動作に起因する構成部材の設計値からのずれの影響を抑制することができる。
(第1の実施形態の第2の変形例)
本実施形態の第2の変形例について、図8を参照して説明する。本変形例は、第1の実施形態の構成を以下の通りに変形したものである。
本変形例に係る複数の学習済みモデルMのそれぞれは、再構成処理機能443において生成されたCT画像データを補正前再構成データとして、補正前再構成データの入力を受け付ける。それぞれの学習済みモデルは、補正前再構成データに基づいて補正後再構成データを出力する。本変形例において、補正前再構成データは、第1の医用データに相当する。また、補正後再構成データは、第2の医用データに相当する。
補正前再構成データは、架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響を含む投影データを用いて再構成された画像データである。すなわち、補正前再構成データは、架台装置10の回転フレーム13を回転させて患者を撮像し、取得機能が実行されることにより取得された画像データである。
補正後再構成データは、補正前再構成データに含まれる架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響を低減するように補正された画像データである。補正後再構成データは、例えば、仮に、再構成に関する複数のビューのそれぞれにおいて架台装置10の回転フレーム13が停止した状態で患者を撮影する場合に取得される画像データに相当する。
したがって、本変形例に係る学習済みモデルMは、補正前再構成データを入力して、補正後再構成データを出力できるように各パラメータが学習された多層のネットワークモデルである。
前処理機能442において処理回路44は、DAS18から出力された検出データに対して対数変換処理やオフセット補正処理、チャネル間の感度補正処理、ビームハードニング補正等の前処理を施した投影データを生成する。
再構成処理機能443において処理回路44は、前処理機能442において生成された投影データに対して、フィルタ補正逆投影法や逐次近似再構成法等を用いた再構成処理を行って補正前再構成データを生成する。
モデル特定機能446において処理回路44は、補正前再構成データに関するスキャン条件に基づいて、メモリ41に保存された複数の学習済みモデルMの中から、取得した補正前再構成データに対応する学習済みモデルMを特定する。
ブレ補正機能447において処理回路44は、取得した補正前再構成データに対応する学習済みモデルMを適用し、補正後再構成データを生成する。
次に、本変形例に係る医用画像診断装置であるX線CT装置1の動作について説明する。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
(スキャン処理)
図8は、本変形例に係る処理回路44による、スキャン処理の手順の一例を示すフローチャートである。
(ステップS141)
ステップS141の処理は、第1の実施形態のステップS101の処理と同様なため、説明を省略する。
(ステップS142)
処理回路44は、前処理機能442を実行する。前処理機能442において処理回路44は、ステップS141の処理において取得した検出データに対して前述の前処理を行い、投影データを生成する。生成された投影データは、例えば、メモリ41に記憶される。
(ステップS143)
処理回路44は、再構成処理機能443を実行する。再構成処理機能443において処理回路44は、ステップS142の処理において生成された投影データに対して再構成処理を行うことにより、補正前再構成データを生成する。
(ステップS144)
処理回路44は、モデル特定機能446及びブレ補正機能447等を実行する。ステップS144の処理において処理回路44は、ステップS143の処理において生成された補正前再構成データを学習済みモデルMに入力することにより、補正後再構成データを生成する。生成された補正後再構成データは、例えば、メモリ41に記憶される。ステップS144の実行時における詳細な処理については、後述する。
(ステップS145)
ステップS145の処理は、第1の実施形態のステップS105の処理と同様であるため、説明を省略する。
(ブレ補正処理)
以下、本変形例に係る処理回路44がステップS144において実行するブレ補正処理について詳しく説明する。図9は、本実施形態に係るブレ補正処理の手順の一例を示すフローチャートである。
(ステップS151)
処理回路44は、取得機能により、ステップS141の処理において取得された補正前再構成データを取得する。
(ステップS152)
処理回路44は、取得機能により、ステップS151の処理において取得された補正前再構成データに関するスキャン条件を、メモリ41から取得する。
(ステップS153)
処理回路44は、モデル特定機能446により、ステップS152の処理において取得したスキャン条件に基づいてメモリ41に保存された複数の学習済みモデルMの中から取得したスキャン条件に対応する学習済みモデルを特定する。
(ステップS154)
処理回路44は、ブレ補正機能447により、ステップS151の処理で取得した補正前再構成データにステップS153の処理で読み出された学習済みモデルを適用し、補正後再構成データを生成する。
本変形例のX線CT装置1の処理回路44は、取得した補正前再構成データに学習済みモデルを適用し、補正後再構成データを生成することができる。したがって、本変形例のX線CT装置1によれば、第1の実施形態と同様の効果が得られる。すなわち、本変形例のX線CT装置1によれば、補正前再構成データに含まれる架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響が低減されるように補正された補正後再構成データを生成することができる。これにより、第1の実施形態と同様に、医用画像診断装置において装置の動作に起因する構成部材の設計値からのずれの影響を抑制することができる。
(第1の実施形態の第3の変形例)
本実施形態の第3の変形例について、図10乃至図12を参照して説明する。本変形例は、第1の実施形態の構成を以下の通りに変形したものである。
本変形例においても、学習済みモデルのそれぞれは、補正前投影データに基づいて補正後投影データを出力する。
本変形例に係る補正前投影データは、架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響に加えて、架台装置10の筐体に対する回転フレーム13のチルト(傾き)に起因する各構成部材の設計値(理想位置)からの幾何学的なずれの影響を含む投影データである。補正前投影データは、例えば、架台装置10の回転フレーム13を筐体に対してチルトさせた状態で架台装置10の回転フレーム13を回転させて患者を撮像し、前処理機能442が実行されることにより生成された投影データである。
本変形例に係る補正後投影データは、補正前投影データに含まれる架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響に加えて、架台装置10の筐体に対する回転フレーム13のチルト(傾き)に起因する各構成部材の理想位置からの幾何学的なずれの影響を低減するように補正された投影データである。補正後投影データは、例えば、架台装置10の回転フレーム13を架台装置10の筐体に対してチルトさせない状態で、再構成に関する複数のビューのそれぞれにおいて架台装置10の回転フレーム13が停止した状態で患者を仮に撮影する場合に取得される投影データに相当する。
図10は、本変形例に係るブレ補正処理におけるメモリ41と処理回路44との間のデータの流れの一例を模式的に示す図である。ここでは、例として、それぞれが異なる回転速度Vに対応する複数の学習済みモデル(例えばMA11、MA12、MA13など)と、それぞれが異なる撮像対象部位に対応する複数の学習済みモデル(例えばMA21、MA22、MA23など)が、メモリ41に記憶されている場合について説明する。回転速度Vが異なる複数の学習済みモデル(例えばMA11、MA12、MA13など)と、撮像対象部位がそれぞれ異なる複数の学習済みモデル(例えばMA21、MA22、MA23など)とのそれぞれは、回転フレーム13の回転による幾何学的なずれの影響及びチルトによる幾何学的なずれの影響を低減するように学習された学習済みモデルである。図11及び図12は、ブレ補正処理における入力と出力との関係の一例を模式的に示す図である。ここでは、図10に示す例において、学習済みモデルに入力される補正前投影データのスキャン条件が、回転速度V2及び撮像対象部位が頭部の場合について説明する。
本変形例に係るブレ補正処理では、処理回路44は、ステップS112の処理において、図10に示すように、補正前投影データに付帯するスキャン条件である「回転速度V2」及び「撮像対象部位:頭部」を、メモリ41から取得する。そして、処理回路44は、ステップS113の処理において、メモリ41に記憶されている複数の学習済みモデルMの中から、「回転速度V2用の学習済みモデルMA12」及び「頭部用の学習済みモデルMA21」を特定し、メモリ41から読み出す。そして、処理回路44は、ステップS114の処理において、図11に示すように、補正前投影データに回転速度V2用の学習済みモデルM12を適用する。回転速度V2用の学習済みモデルM12は、補正前投影データに基づいて、補正前投影データに含まれる架台装置10の回転フレーム13の回転及びチルトに起因する各構成部材の理想位置からの幾何学的なずれの影響が補正された投影データ(以下、第1の出力投影データと呼ぶ)を出力する。次に、処理回路44は、図12に示すように、第1出力補正後投影データを、頭部用の学習済みモデルMA21に入力データとして入力する。頭部用の学習済みモデルMA21は、第1出力投影データに含まれる架台装置10の回転フレーム13の回転及びチルトに起因する各構成部材の理想位置からの幾何学的なずれの影響が補正された投影データ(以下、第2出力投影データと呼ぶ)を出力する。処理回路44は、第2出力投影データを、補正後投影データとしてメモリ41に出力する。
本変形例のX線CT装置1では、処理回路44は、取得した補正前投影データに学習済みモデルを適用し、補正後投影データを生成することができる。すなわち、上記の構成及び動作により、本変形例のX線CT装置1によれば、補正前投影データに含まれる架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響、及び、補正前投影データに含まれる架台装置10の回転フレーム13のチルトに起因する各構成部材の理想位置からの幾何学的なずれの影響が低減されるように補正された補正後投影データを生成することができる。これにより、回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響に加えて、回転フレーム13のチルトに起因する各構成部材の理想位置からの幾何学的なずれの影響が低減されたCT画像をディスプレイ42に表示することができる。
(第1の実施形態の第4の変形例)
本実施形態の第4の変形例について、図13乃至図15を参照して説明する。本変形例は、第1の実施形態の構成を以下の通りに変形したものである。
本変形例においても、学習済みモデルのそれぞれは、補正前投影データに基づいて補正後投影データを出力する。
本変形例に係る補正前投影データは、架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響に加えて、架台装置10の個体差又は製造誤差に起因する各構成部材の理想位置からの幾何学的なずれの影響を含む投影データである。補正前投影データは、例えば、ある架台装置10を用いて、架台装置10の回転フレーム13を回転させて患者を撮像し、前処理機能442が実行されることにより生成された投影データである。
本変形例に係る補正後投影データは、補正前投影データに含まれる架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響に加えて、架台装置10の個体差に起因する各構成部材の理想位置からの幾何学的なずれの影響を低減するように補正された投影データである。補正後投影データは、例えば、再構成に関する複数のビューのそれぞれにおいて架台装置10の回転フレーム13が停止した状態で患者を仮に撮影する場合に取得される投影データに相当する投影データに相当し、かつ、異なる識別番号Nを有する複数の架台装置10のそれぞれにおいて取得される投影データを平均した投影データに相当する。
図13は、本変形例に係るブレ補正処理におけるメモリ41と処理回路44との間のデータの流れの一例を模式的に示す図である。ここでは、例として、それぞれが異なる回転速度Vに対応する複数の学習済みモデル(例えばMB11、MB12、MB13など)と、それぞれが異なる架台装置10に対応する複数の学習済みモデル(例えばMB21、MB22、MB23など)が、メモリ41に記憶されている場合について説明する。回転速度Vが異なる複数の学習済みモデル(例えばMB11、MB12、MB13など)と、架台装置10の識別番号(シリアル番号)Nがそれぞれ異なる複数の学習済みモデル(例えばMB21、MB22、MB23など)とのそれぞれは、回転フレーム13の回転による幾何学的なずれの影響及び装置の個体差による幾何学的なずれの影響を低減するように学習された学習済みモデルである。図14及び図15は、ブレ補正処理における入力と出力との関係の一例を模式的に示す図である。ここでは、図13に示す例において、学習済みモデルに入力される補正前投影データのスキャン条件が、回転速度V2及び識別番号N1の場合について説明する。
本変形例に係るブレ補正処理では、処理回路44は、ステップS112の処理において、図13に示すように、補正前投影データに付帯するスキャン条件である「回転速度V2」及び「識別番号N1」を、メモリ41から取得する。そして、処理回路44は、ステップS113の処理において、メモリ41に記憶されている複数の学習済みモデルMの中から、「回転速度V2用の学習済みモデルMB12」及び「識別番号N1用の学習済みモデルMB21」を特定し、メモリ41から読み出す。そして、処理回路44は、ステップS114の処理において、図14及び図15に示すように、ステップS111の処理において取得した補正前投影データを、ステップS113の処理で読み出した回転速度V2用の学習済みモデルMB12、及び、識別番号N1用の学習済みモデルMB21に適用し、出力された投影データを、補正後投影データとしてメモリ41に出力する。
本変形例のX線CT装置1では、処理回路44は、取得した補正前投影データに学習済みモデルを適用し、補正後投影データを生成することができる。すなわち、上記の構成及び動作により、本変形例のX線CT装置1によれば、補正前投影データに含まれる架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響、及び、補正前投影データに含まれる架台装置10の個体差に起因する各構成部材の理想位置からの幾何学的なずれの影響が低減されるように補正された補正後投影データを生成することができる。これにより、回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響に加えて、装置ごとの製造誤差等に起因する各構成部材の理想位置からの幾何学的なずれの影響が低減されたCT画像をディスプレイ42に表示することができる。
(第1の実施形態の第5の変形例)
本実施形態の第5の変形例について、図16乃至図18を参照して説明する。本変形例は、第1の実施形態の構成を以下の通りに変形したものである。本変形例に係る医用画像診断装置は、患者が載置され、装置本体に対して移動可能な被検体支持機構を有する装置であればよい。医用画像診断装置は、例えば、X線診断装置、PET装置、およびSPECT装置等の単一モダリティ装置であっても良いし、PET/CT装置、SPECT/CT装置、PET/MRI装置等の複合モダリティ装置であっても良い。
本変形例においても、学習済みモデルのそれぞれは、補正前投影データに基づいて補正後投影データを出力する。補正前投影データは、天板移動医用データに相当する。また、補正後投影データは、影響低減医用データに相当する。
本変形例に係る補正前投影データは、寝台装置30の天板33の振動の影響を含む投影データである。補正前投影データは、例えば、寝台装置30の天板33を移動させて患者を撮像し、前処理機能442が実行されることにより生成された投影データである。
本変形例に係る補正後投影データは、補正前投影データに含まれる寝台装置30の天板33の振動の影響を低減するように補正された投影データである。補正後投影データは、例えば、天板33の位置を一定の時間間隔で移動させて行うノンヘリカルスキャンに関する複数の停止位置のそれぞれにおいて、寝台装置30の天板33の移動が停止した状態、又は、天板33の移動の停止から振動の減衰に十分な時間が経過後に患者を仮に撮影する場合に取得される投影データに相当する。
図16は、本変形例に係るブレ補正処理におけるメモリ41と処理回路44との間のデータの流れの一例を模式的に示す図である。ここでは、例として、それぞれが異なる移動速度VTに対応する複数の学習済みモデル(例えばMC11、MC12、MC13など)と、それぞれが異なる経過時間T(天板33の移動停止からの経過時間)に対応する複数の学習済みモデル(例えばMC21、MC22、MC23など)が、メモリ41に記憶されている場合について説明する。移動速度VTが異なる複数の学習済みモデル(例えばMC11、MC12、MC13など)と、撮像タイミングがそれぞれ異なる複数の学習済みモデル(例えばMC21、MC22、MC23など)とのそれぞれは、天板33の移動による幾何学的なずれの影響を低減するように学習された学習済みモデルである。図17及び図18は、ブレ補正処理における入力と出力との関係の一例を模式的に示す図である。ここでは、図16に示す例において、学習済みモデルに入力される補正前投影データのスキャン条件が、移動速度VT2及び経過時間T1の場合について説明する。
本変形例に係るブレ補正処理では、処理回路44は、ステップS112の処理において、図16に示すように、補正前投影データに付帯するスキャン条件である「移動速度VT2」及び「経過時間T1」を、メモリ41から取得する。そして、処理回路44は、ステップS113の処理において、メモリ41に記憶されている複数の学習済みモデルMの中から、「移動速度VT2用の学習済みモデルMC12」及び「経過時間T1用の学習済みモデルMC21」を特定し、メモリ41から読み出す。そして、処理回路44は、ステップS114の処理において、図17及び図18に示すように、ステップS111の処理において取得した補正前投影データを、ステップS113の処理で読み出した移動速度VT2用の学習済みモデルMC12、及び、経過時間T1用の学習済みモデルMC21に適用し、出力された投影データを、補正後投影データとしてメモリ41に出力する。
本変形例のX線CT装置1では、処理回路44は、取得した補正前投影データに学習済みモデルを適用し、補正後投影データを生成することができる。すなわち、上記の構成及び動作により、本変形例のX線CT装置1によれば、補正前投影データに含まれる寝台装置30の天板33の振動の影響が低減されるように補正された補正後投影データを生成することができる。これにより、天板33の振動の影響が低減されたCT画像をディスプレイ42に表示することができる。
なお、本変形例では、X線を発生させるハードウェアはX線管11に限らない。例えば、X線管11に代えて、電子銃から発生した電子ビームを集束させるフォーカスコイルと、電磁偏向させる偏向コイルと、被検体Pの半周を囲い偏向した電子ビームが衝突することによってX線を発生させるターゲットリングとを含む第5世代方式を用いてX線を発生させることにしても構わない。
(第1の実施形態の第6の変形例)
本実施形態の第6の変形例について、図19を参照して説明する。本変形例は、第1の実施形態の構成を以下の通りに変形したものである。
本変形例では、メモリ41は、架台装置10の回転フレーム13の回転に起因するCT画像データ上の画像ブレの検出に用いられるCT画像データ(以下、検出用データと呼ぶ)を、さらに記憶する。
検出用データは、例えば、メモリ41に記憶されたCT画像データである。あるいは、検出用データは、X線CT装置1を用いて、ファントムを撮像対象として取得されたCT画像データである。
(ブレ補正処理)
図19は、本変形例に係る処理回路44による、ブレ補正処理の手順の一例を示すフローチャートである。
(ステップS161)
処理回路44は、取得機能により、第1の実施形態と同様にして、補正前投影データを取得する。
(ステップS162)
処理回路44は、取得機能により、第1の実施形態と同様にして、補正前投影データに関するスキャン条件を取得する。
(ステップS163)
処理回路44は、取得機能により、検出用データを取得する。本変形例では、処理回路44は、メモリ41から検出用データを取得する。
(ステップS164)
処理回路44は、モデル特定機能446により、ステップS163の処理において取得した検出用データに基づいて、画像ブレを検出する。この際、処理回路44は、例えば、画像認識技術等の既知の検出手法により、画像ブレを自動的に検出する。画像ブレは、例えば、検出用データに基づいて生成された画像をディスプレイ42に表示させ、表示された画像上での操作者の操作入力を介して検出されてもよい。
(ステップS165)
処理回路44は、モデル特定機能446により、ステップS164の処理において取得した画像ブレに基づいて、画像ブレが生じた原因(以下、ブレ原因と呼ぶ)を特定する。この際、処理回路44は、例えば、対応表等を用いた既知の判断手法により、自動的にブレ原因を特定する。ブレ原因は、例えば、検出用データに基づいて生成された画像をディスプレイ42に表示させ、表示された画像に基づく操作者の判断結果が入力されることにより特定されてもよい。例えば、架台装置10の経時的変化による、回転フレーム13の回転に起因する架台装置10の振動の増大が、ブレ原因として特定される。
(ステップS166)
処理回路44は、モデル特定機能446により、ステップS165の処理において取得したブレ原因とステップS163の処理において取得したスキャン条件とに基づいて、複数の学習済みモデルMの中から、使用するX線CT装置1に適した学習済みモデルを特定する。この際、例えば、ブレ原因及びスキャン条件に対する学習済みモデルの対応表(ルックアップテーブル)がメモリ41に記憶され、処理回路44は、取得したブレ原因及びスキャンと対応表とに基づいて、使用するX線CT装置1に適した学習済みモデルを特定する。例えば、架台装置10の経時的変化による、回転フレーム13の回転に起因する架台装置10の振動の増大がブレ原因として取得された場合、処理回路44は、ステップS162の処理において取得した回転速度Vよりも大きい回転速度に対応する学習済みモデルを、使用するX線CT装置1に適した学習済みモデルをとして特定する。
なお、ステップS166の処理において、処理回路44は、使用するX線CT装置1に適した学習済みモデルを特定するとともに、ブレ原因に基づいて、特定した学習済みモデルの多層化ネットワークのパラメータを適宜更新してもよい。
(ステップS167)
処理回路44は、ブレ補正機能447により、ステップS161の処理において取得した補正前投影データに、ステップS166の処理において特定した学習済みモデルを適用し、補正後投影データを生成する。
本変形例においても、第1の実施形態と同様に、スキャン条件毎に生成された複数の学習済みモデルMがメモリ41に保存されている。本変形例では、処理回路44は、検出用データにおける画像ブレが生じた原因を取得し、取得したブレ原因に基づいて、ブレ原因の影響を低減する学習済みモデルを特定する。そして、処理回路44は、特定した学習済みモデルに補正前投影データを適用する。上述の構成及び動作により、本変形例のX線CT装置1によれば、画像ブレの原因に対応した学習済みモデルを用いて補正前投影データに対するブレ補正処理を行うことができる。これにより、架台装置10及び寝台装置30等の装置の経年劣化等に起因するCT画像データ上の画像ブレが生じる場合であっても、装置の経年劣化等に起因するCT画像データ上の画像ブレを低減する適切な補正後投影データを生成することができ、投影データの補正精度を向上させることができる。
(第2の実施形態)
第2の実施形態について、図20乃至図24を参照して説明する。本実施形態は、第1の実施形態の構成を次の通りに変形したものである。
図20は、本実施形態に係る医用画像診断装置の構成例を示す図である。本実施形態のX線CT装置1は、第1の実施形態で用いられる学習済みモデルの生成に用いられる学習用データを生成する。
本実施形態では、メモリ41は、例えば、検出データ、投影データ、再構成画像データ、及び学習用データなどを記憶する。
処理回路44は、システム制御機能441、前処理機能442、再構成処理機能443、画像処理機能444、表示制御機能445、学習用データ生成機能448を実行する。学習用データ生成機能448において処理回路44は、第1の実施形態及び第1の実施形態の各変形例で用いられる学習済みモデルの生成に用いられる学習用データを生成する。すなわち、学習用データ生成機能448において処理回路44は、第1の実施形態及び第1の実施形態の各変形例で用いられる多層のネットワークモデル(未学習モデル)を学習させるための学習用データを生成する。
なお、図20においては、単一の処理回路44によって、システム制御機能441、前処理機能442、再構成処理機能443、画像処理機能444、表示制御機能445、及び学習用データ生成機能448が実現されるものとして説明したがこれに限らない。例えば、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能を実現するものとしても構わない。また、システム制御機能441、前処理機能442、再構成処理機能443、画像処理機能444、表示制御機能445、学習用データ生成機能448は、それぞれシステム制御回路、前処理回路、再構成処理回路、画像処理回路、表示制御回路、学習用データ生成回路と呼んでもよく、個別のハードウェア回路として実装してもよい。
以下、学習用データについて、図21乃至図24を参照して説明する。学習用データは、複数の学習サンプルを含む。複数の学習サンプルのそれぞれは、ブレあり医用データとブレなし医用データとを1つずつ含む。すなわち、学習サンプルのそれぞれは、ブレあり医用データと、対応するブレなし医用データとの組合せである。ブレあり医用データは、学習用モデルの学習に用いられる訓練データである。ブレなし医用データは、学習用モデルの学習に用いられる教師データである。
図21は、第1の実施形態及び第1の実施形態の第6の変形例に係る回転速度V1用学習済みモデルM11を生成する学習用モデルの学習に用いる学習用データ(回転速度V1用学習用データ)の一例を示す。図21の一例では、学習用データは、ブレあり投影データとブレなし投影データを含む。図21の一例において、ブレあり投影データは、ブレあり医用データに相当し、第3の医用データに相当する。ブレなし投影データは、ブレなし医用データに相当し、第4の医用データに相当する。
ブレあり投影データは、架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響を含む投影データである。ブレあり投影データは、例えば、架台装置10の回転フレーム13を回転させてファントムを撮像し、前処理機能442が実行されることにより生成された投影データである。
ブレなし投影データは、架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響を含まない投影データ、又は、架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響が低減された投影データである。ブレなし投影データは、例えば、再構成に関する複数のビューのそれぞれにおいて架台装置10の回転フレーム13が停止した状態でファントムを撮影した場合に取得される投影データである。ブレなし投影データは、例えば、再構成に関する複数のビューのそれぞれにおいて架台装置10の回転フレーム13をブレあり投影データに関する回転フレーム13の回転速度よりも小さい回転速度で回転させてファントムを撮影した場合に取得される投影データであってもよい。
学習サンプルのそれぞれでは、ブレなし投影データは、対応するブレあり投影データに対して、回転速度Vを除くスキャン条件のそれぞれが等しいことが望ましい。回転速度Vを除くスキャン条件は、例えば、ファントムの種類、管電圧、及び管電流等である。
図22は、第1の実施形態の第1の変形例に係る回転速度V1用学習済みモデルを生成する学習用モデルの学習に用いる学習用データ(回転速度V1用学習用データ)の一例を示す。図22の一例では、学習用データは、ブレあり検出データとブレなし検出データを含む。図22の一例において、ブレあり検出データは、ブレあり医用データに相当し、第3の医用データに相当する。ブレなし検出データは、ブレなし医用データに相当し、第4の医用データに相当する。
ブレあり検出データは、架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響を含む検出データである。ブレあり検出データは、例えば、架台装置10の回転フレーム13を回転させてファントムを撮像することにより生成された検出データである。
ブレなし検出データは、架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響を含まない検出データである。ブレなし検出データは、例えば、再構成に関する複数のビューのそれぞれにおいて架台装置10の回転フレーム13が停止した状態でファントムを撮影した場合に取得される検出データである。
学習サンプルのそれぞれでは、ブレなし検出データは、対応するブレあり検出データに対して、回転速度Vを除くスキャン条件のそれぞれが等しいことが望ましい。
図23は、第1の実施形態の第2の変形例に係る回転速度V1用学習済みモデルを生成する学習用モデルの学習に用いる学習用データ(回転速度V1用学習用データ)の一例を示す。図23の一例では、学習用データは、ブレあり再構成データとブレなし再構成データを含む。図23の一例において、ブレあり再構成データは、ブレあり医用データに相当第3の医用データに相当する。ブレなし再構成データは、ブレなし医用データに相当し、第4の医用データに相当する。
ブレあり再構成データは、架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響を含む再構成データである。ブレあり再構成データは、例えば、架台装置10の回転フレーム13を回転させてファントムを撮像することにより生成された再構成データである。
ブレなし再構成データは、架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響を含まない再構成データである。ブレなし再構成データは、例えば、再構成に関する複数のビューのそれぞれにおいて架台装置10の回転フレーム13が停止した状態でファントムを撮影した場合に取得される再構成データである。
学習サンプルのそれぞれでは、ブレなし再構成データは、対応するブレあり再構成データに対して、回転速度Vを除くスキャン条件のそれぞれが等しいことが望ましい。
図24は、第1の実施形態の第3の変形例に係る回転速度V1用学習済みモデルMA11を生成する学習用モデルの学習に用いる学習用データ(回転速度V1用学習用データ)の一例を示す。図24の一例では、学習用データは、ブレあり投影データとブレなし投影データを含む。図24の一例において、ブレあり投影データは、ブレあり医用データに相当し、第3の医用データに相当する。ブレなし投影データは、ブレなし医用データに相当し、第4の医用データに相当する。
ブレあり投影データは、架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響に加えて、架台装置10の回転フレーム13の架台装置10の筐体に対するチルト(傾き)に起因する各構成部材の理想位置からの幾何学的なずれの影響を含む投影データである。ブレあり投影データは、例えば、架台装置10の回転フレーム13を筐体に対してチルトさせた状態で架台装置10の回転フレーム13を回転させてファントムを撮像し、前処理機能442が実行されることにより生成された投影データである。
ブレなし投影データは、架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響を含まず、かつ、架台装置10の回転フレーム13の架台装置10の筐体に対するチルト(傾き)に起因する各構成部材の理想位置からの幾何学的なずれの影響を含まない投影データである。ブレなし投影データは、例えば、架台装置10の回転フレーム13を架台装置10の筐体に対してチルトさせない状態で、再構成に関する複数のビューのそれぞれにおいて架台装置10の回転フレーム13が停止した状態でファントムを撮影した場合に取得される投影データである。
学習サンプルのそれぞれでは、ブレなし投影データは、対応するブレあり投影データに対して、回転速度V及びチルト角αを除く、スキャン条件のそれぞれが等しいことが望ましい。
図25は、第1の実施形態の第4の変形例に係る回転速度V1用学習済みモデルMB11を生成する学習用モデルの学習に用いる学習用データ(回転速度V1用学習用データ)の一例を示す。図25の一例では、学習用データは、ブレあり投影データとブレなし投影データを含む。図25の一例において、ブレあり投影データは、ブレあり医用データに相当し、第3の医用データに相当する。ブレなし投影データは、ブレなし医用データに相当し、第4の医用データに相当する。
ブレあり投影データは、架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響に加えて、架台装置10の個体差、すなわち製造誤差に起因する各構成部材の理想位置からの幾何学的なずれの影響を含む投影データである。ブレあり投影データは、例えば、ある架台装置10を用いて、架台装置10の回転フレーム13を回転させてファントムを撮像し、前処理機能442が実行されることにより生成された投影データである。
ブレなし投影データは、架台装置10の回転フレーム13の回転に起因する各構成部材の理想位置からの幾何学的なずれの影響を含まず、かつ、架台装置10の個体差、すなわち製造誤差に起因する各構成部材の理想位置からの幾何学的なずれの影響を含まない投影データである。ブレなし投影データは、例えば、再構成に関する複数のビューのそれぞれにおいて架台装置10の回転フレーム13が停止した状態でファントムを撮影した場合に取得される投影データを、個体差を有する複数の架台装置10のそれぞれに関して取得し、取得した投影データを平均して生成される投影データである。
学習サンプルのそれぞれでは、ブレなし投影データは、対応するブレあり投影データに対して、回転速度V及び識別番号N(製造番号)を除く、スキャン条件のそれぞれが等しいことが望ましい。
図26は、第1の実施形態の第5の変形例に係る移動速度VT1用学習済みモデルMC11を生成する学習用モデルの学習に用いる学習用データ(回転速度V1用学習用データ)の一例を示す。図26の一例では、学習用データは、ブレあり投影データとブレなし投影データを含む。図26の一例において、ブレあり投影データは、ブレあり医用データに相当し訓練医用データに相当する。ブレなし投影データは、ブレなし医用データに相当し、教師医用データに相当する。
ブレあり投影データは、寝台装置30の天板33の振動の影響を含む投影データである。ブレあり投影データは、例えば、寝台装置30の天板33を移動させてファントムを撮像することにより生成された投影データである。
ブレなし投影データは、寝台装置30の天板33の振動の影響を含まない投影データである。ブレなし投影データは、例えば、天板33の位置を一定の時間間隔で移動させて行うノンヘリカルスキャンに関する複数の停止位置のそれぞれにおいて、寝台装置30の天板33の移動が停止した状態、又は、天板33の移動の停止から振動の減衰に十分な時間が経過後にファントムを撮影した場合に取得される投影データである。
学習サンプルのそれぞれでは、ブレなし投影データは、対応するブレあり投影データに対して、天板33の移動速度VTを除くスキャン条件が等しいことが望ましい。
以下、本実施形態に係る医用画像診断装置であるX線CT装置1の動作について説明する。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
図27は、本実施形態に係る処理回路44による、学習済みモデルの学習に用いられる学習用データを生成する処理(以下、学習用データ生成処理と呼ぶ)の手順の一例を示すフローチャートである。
(学習用データ生成処理)
(ステップS201)
処理回路44は、取得機能により、ブレあり投影データを取得する。この際、処理回路44は、ブレあり投影データとともに、ブレあり投影データに関するスキャン条件を取得する。処理回路44は、例えば、メモリ41からブレあり投影データ及びスキャン条件を取得する。
(ステップS202)
処理回路44は、取得機能により、ステップS201の処理によって取得されたブレあり投影データに対応するブレなし投影データを取得する。この際、処理回路44は、ブレなし投影データとともに、ブレなし投影データに関するスキャン条件を取得する。処理回路44は、例えば、メモリ41からブレなし投影データ及びスキャン条件を取得する。
(ステップS203)
処理回路44は、学習用データ生成機能448により、ステップS201の処理によって取得されたブレあり投影データと、ステップS202の処理によって取得されたブレなし投影データとを関連付けて、学習サンプルを生成する。
処理回路44は、ファントム、再構成ビュー数等を適宜変更して、ステップS201乃至ステップS203の処理を繰り返すことにより、多層のネットワークモデルの学習に用いられる学習サンプルを複数生成する。
(ステップS204)
処理回路44は、学習用データ生成機能448により、ステップS201乃至ステップS203の処理を繰り返すことにより生成された複数の学習サンプルを統合して、学習用データを生成する。処理回路44は、生成された学習用データを、メモリ41に記憶する。なお、処理回路44は、生成された学習用データを、不図示の通信インターフェース等を介して外部記憶装置に出力してもよい。
本実施形態の医用画像診断装置であるX線CT装置1によれば、第1の実施形態等で説明したブレ補正処理に使用する学習済みモデルの学習に用いられる学習用データを生成することができる。
また、本実施形態の医用画像診断装置であるX線CT装置1によれば、例えば回転フレーム13の回転速度V等のスキャン条件に対応する学習用データを生成することができる。これにより、学習用モデルの学習において、スキャン条件に対応する学習済みモデルを生成することができる。
なお、ブレなし医用データは、スキャン条件の異なる複数のブレあり医用データに基づいて生成されてもよい。すなわち、ブレなし医用データは、スキャン条件の異なる複数のブレあり医用データを用いて外挿されてもよい。ブレなし医用データを生成する機能は、X線CT装置1の処理回路44によって実行されてもよく、X線CT装置1とは異なる装置において実行されてもよい。
例えば、図21に示す一例におけるブレなし医用データを生成する場合には、架台装置10の回転フレーム13を回転速度V1で回転させて被検体を撮像することにより取得された第1の外挿用投影データと、架台装置10の回転フレーム13を回転速度V1とは異なる回転速度V2で回転させて被検体を撮像することにより取得された第2の外挿用投影データと、回転速度の差(V2-V1)とを用いて、回転速度Vが仮に0である場合に取得される投影データが、外挿により生成される。回転速度V1及び回転速度V2は、例えば、ブレあり医用データの回転速度よりも小さい。回転速度V1及び回転速度V2は、遅い速度であることが好ましい。回転速度V1及び回転速度V2は、「0」に近いことが好ましい。すなわち、処理回路44は、異なる回転速度で回転フレームを筐体に対して回転させて取得された複数の医用データを用いて生成された医用データを、ブレなし医用データとして取得する。
また、例えば、図26に示す一例におけるブレなし医用データを生成する場合には、処理回路44は、異なる移動速度で天板を基台に対して移動させて取得された複数の投影データを用いて、天板を基台に対して移動させずに取得される投影データ、又は、ブレあり医用データに関する移動速度よりも小さい移動速度で天板を基台に対して移動させて取得される投影データを、ブレなし医用データとして生成する。
以下、第1の実施形態等において用いられる学習済みモデルの生成方法の一例について、図28を参照して説明する。図28は、学習済みモデルの生成の一例として、投影データに関する学習済みモデルの生成の流れを模式的に示す図である。
不図示の学習済みモデル生成装置に搭載された処理回路は、学習済みモデルを生成する学習済みモデル生成機能により、ブレあり投影データとブレなし投影データとを含む学習用データを多層のネットワークモデル(学習用モデル)に学習させることで、学習済みモデルを生成する。学習済みモデル生成機能は、モデル学習プログラムに相当し、処理回路において実行される。例えば、処理回路は、ブレあり投影データとブレなし投影データとの差分(誤差)を用いた誤差逆伝播法に従って多層のネットワークモデルにおけるパラメータ(重み)を計算することで、学習済みモデルを生成する。学習済みモデル生成装置は、生成された学習済みモデルを、各種記憶媒体、ネットワーク等を介して医用画像診断装置に出力する。
(第3の実施形態)
第3の実施形態について、図29乃至図30を参照して説明する。本実施形態は、第1の実施形態の構成を次の通りに変形したものである。
図29は、本実施形態に係る医用画像診断装置に搭載されたモデル調整装置50の構成例を示す図である。本実施形態のモデル調整装置50は、病院等で取得したデータを用いて、第1の実施形態等において用いられる学習済みモデルを調整(更新)する。モデル調整装置50は、調整された学習済みモデルを、各種記憶媒体、ネットワーク等を介して医用画像診断装置に出力する。
図30は、本実施形態において学習済みモデルを調整する処理の流れの一例を示すフローチャートである。ここでは、一例として、補正前投影データに適用することにより補正後投影データを出力する学習済みモデルを調整する方法について説明する。
モデル調整装置50は、メモリ51と処理回路52を備える。メモリ51は、調整対象の学習済みモデル、補正前投影データ、補正後投影データ、及び、複数の調整用データセット(例えば、第1の調整用データセット、第2の調整用データセット、第3の調整用データセットなど)を記憶する。複数の調整用データセットのそれぞれは、複数の学習用データを含む。学習用データのそれぞれは、ブレあり投影データと、ブレなし投影データとを含む。ブレあり投影データ及びブレなし投影データのそれぞれは、例えば、X線CT装置1を用いた病院での検査によって蓄積されたデータである。
複数の調整用データセットは、例えば、スキャン条件が異なる。例えば、回転速度V1用の学習済みモデルを対象にする場合、第1の調整用データセットは、回転速度V1よりもわずかに大きい第1の回転速度で得られた学習用データによって構成され、第2の調整用データセットは、第1の回転速度よりも大きい第2の回転速度で得られた学習用データによって構成され、第3の調整用データセットは、第2の回転速度よりもさらに大きい第3の回転速度で得られた学習用データによって構成される。
また、複数の調整用データセットのそれぞれに含まれる学習用データの数は、例えば、数百個であってもよく、数千個であってもよい。また、複数の調整用データセットに含まれる学習用データの数は、同じでもよく、異なっていてもよい。
処理回路52は、ブレ補正機能521、画像ブレ検出機能522及びモデル調整機能523を備える。ブレ補正機能521については、第1の実施形態等と同様であるため、説明を省略する。
処理回路52は、補正後投影データに対して画像ブレ検出機能522を実行することにより、補正後投影データにおける画像ブレを検出し、検出された画像ブレに関する検出値(指標値)を算出する。この際、処理回路52は、例えば、画像認識技術等の既知の検出手法により、画像ブレを自動的に検出する。
画像ブレが検出された場合、処理回路52は、モデル調整機能523を実行することにより、複数の調整用データセットのうちの1つを学習済みモデルに学習させる。これにより、学習済みモデルの各パラメータが調整される。
処理回路52は、学習済みモデルから出力された補正後投影データにおける画像ブレに関する検出値が所定の大きさ以下になるまで、ブレ補正機能521、画像ブレ検出機能522及びモデル調整機能523を繰り返す。この際、モデル調整機能523を繰り返すごとに、複数の調整用データセットのうちこれまでに用いられた調整用データセットとは異なる調整用データセットを学習済みモデルに学習させる。例えば、処理回路52は、1回目のモデル調整機能523を実行する際には第1の調整用データセットを学習済みモデルに学習させ、2回目のモデル調整機能523を実行する際には第2の調整用データセットを学習済みモデルに学習させ、3回目のモデル調整機能523を実行する際には第3の調整用データセットを学習済みモデルに学習させる。
なお、図29においては、単一の処理回路52によって、ブレ補正機能521、画像ブレ検出機能522及びモデル調整機能523が実現されるものとして説明したがこれに限らない。例えば、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能を実現するものとしても構わない。また、ブレ補正機能521、画像ブレ検出機能522、モデル調整機能523は、それぞれブレ補正回路、画像ブレ検出回路及びモデル調整回路と呼んでもよく、個別のハードウェア回路として実装してもよい。
以下、本実施形態において学習済みモデルを調整する処理について、図30を参照して説明する。
(ステップS301)
処理回路52は、ブレ補正機能521により、補正前投影データを学習済みモデルに適用することにより、補正後投影データを生成する。
(ステップS302)
処理回路52は、画像ブレ検出機能522により、ステップS301の処理において生成された補正後投影データにおいて画像ブレが存在するか否かを判断する。この際、処理回路52は、例えば、画像認識技術等の既知の検出手法により、画像ブレを自動的に検出し、画像ブレに関する検出値を算出する。画像ブレに関する検出値が所定の値より大きい場合、処理回路52は、画像ブレが存在すると判断する。画像ブレに関する検出値が所定の値以下である場合、処理回路52は、画像ブレが存在しないと判断する。
画像ブレが存在する場合(ステップS302-Yes)、処理はステップS303に進む。画像ブレが存在しない場合(ステップS302-No)、処理はステップS304に進む。
(ステップS303)
処理回路52は、モデル調整機能523により、複数の調整用データセットのうち1つの調整用データセット(例えば第1の調整用データセット)を学習済みモデルに学習させ、学習済みモデルを調整する。学習済みモデルは、学習に用いられた調整用データセットの条件を満たすように、各パラメータが調整される。
ステップS303の処理の後、処理はステップS301に戻り、処理回路52はステップS303の処理によって調整された学習済みモデルを、補正前投影データに再度適用する。そして、処理回路52は、調整後の学習済みモデルから出力された補正後投影データにおいて、ステップS302の処理により画像ブレの検出を再度行う。画像ブレが存在すると判断した場合(ステップS302-Yes)、処理回路52は、複数の調整用データセットのうち学習に用いられていない調整用データセット(例えば第2の調整用データセット)を学習済みモデルに学習させる。
処理回路52は、調整後の学習済みモデルから出力された補正後投影データにおいて画像ブレが存在しないと判断されるまで、ステップS301乃至ステップS303の処理を繰り返し、調整用データセットを学習済みモデルに順次学習させることにより、学習済みモデルを繰り返し調整する。
(ステップS304)
処理回路52は、調整後の学習済みモデルを出力する。
本実施形態では、病院などの検査で取得された医用データを学習済みモデルの調整(更新)に使用し、画像ブレが検出されなくなるまで学習済みモデルを調整することにより、学習済みモデルの補正の精度を向上させることができる。
(応用例)
以下、第1の実施形態等において用いられる学習済みモデルの生成方法の一例として、敵対的生成ネットワーク(GAN:Generative Adversarial Network)を用いた応用例について図31乃至図32を参照して説明する。
図31は、本応用例に係るモデル学習装置60の構成例を示す図である。図32は、本応用例における学習済みモデルの生成処理の流れの一例を示すフローチャートである。ここでは、一例として、補正前投影データの入力を受け付け、補正後投影データを出力する学習済みモデルを生成する方法について、説明する。
図31に示すように、モデル学習装置60は、生成器(ジェネレータ)61と、識別器(ディスクリミネータ)62と、識別器訓練機能63と、生成器訓練機能64とを備える。生成器61及び識別器62は、それぞれ、多層のネットワークモデル(学習用モデル)である。
モデル学習装置60は、補正前投影データの入力を受け付けて補正前投影データにおいて回転フレームの回転による影響が低減された補正後投影データを出力する学習済みモデルを、補正後投影データが実際の撮影により得られた投影データであるか否かを判断する識別器62を用いた敵対的な訓練処理を繰り返すことにより、生成する。
モデル学習装置60が備える各ネットワークモデル及び各機能は、CPU等を有する処理回路により実現されてもよく、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)あるいはプログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)およびフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))などにより実現されてもよい。
また、モデル学習装置60が備える各ネットワークモデル及び各機能は、メモリに保存されたプログラムであってもよく、プロセッサの回路内にプログラムを直接組み込むよう構成されてもよい。すなわち、モデル学習装置60が備える各ネットワークモデル及び各機能は、処理回路におけるASIC、或いはプログラマブル論理デバイスにプリセットされてもよい。換言すれば、モデル学習装置60が備える各ネットワークモデル及び各機能は、ASIC、或いはプログラマブル論理デバイスで作りこまれていてもよい。
また、モデル学習装置60が備える各ネットワークモデル及び各機能は、第1の実施形態で説明したX線CT装置1などの医用画像診断装置に組み込まれてもよい。この場合、訓練後の生成器61は、学習済みモデルとして用いられる。
生成器61は、補正前投影データの入力を受け付け、補正前投影データに基づいて補正後投影データを出力する。生成器61は、例えば、前述の実施形態などで用いられる学習済みモデルを生成するための学習用モデルである。
識別器62は、補正後投影データとブレなし投影データとを区別することにより、補正後投影データが実際の撮影により得られた投影データであるか否かを判断する。具体的には、識別器62は、まず、生成器61から出力された補正後投影データ(偽物)と、実際の撮影により生成されたブレなし投影データ(本物)とを取得する。そして、識別器62は、生成器61から出力された補正後投影データとブレなし投影データのうち、どちらが本物であるかを判断する。具体的には、識別器62は、補正後投影データとブレなし投影データのうち、どちらが実際の撮影により得られたデータであるか、及び、どちらが生成器61によって生成された計算上のデータであるかを判断(識別)し、判断結果を出力する。例えば、識別器62は、生成器61から出力された補正後投影データが本物であると判断した場合、「0」を出力し、ブレなし投影データが本物であると判断した場合、「1」を出力する。
モデル学習装置60は、識別器訓練機能63を実行することにより、識別器62が正しい判断結果を出力する割合(以下、識別器62の判断の成功度と呼ぶ)が大きくなるように、識別器62を訓練する。この際、モデル学習装置60は、例えば、識別器62から出力された判断結果と、その判断において用いられた補正後投影データ及び補正後投影データに関する情報とを取得し、識別器62の判断結果が正しいか否かを判断する。その後、モデル学習装置60は、判断に用いられた補正後投影データ及びブレなし投影データと、正しい判断結果に関する情報とを用いて、正しい判断結果を出力するように識別器62の各パラメータを更新する。これにより、識別器62は、判断の成功度が大きくなるように、訓練(学習)される。
モデル学習装置60は、生成器訓練機能64を実行することにより、識別器62の判断の成功度を小さくする補正後投影データを出力するように、生成器61を訓練する。この際、モデル学習装置60は、識別器62の判断結果が誤った際に識別器62へ入力された補正後投影データと、この補正後投影データを生成器61が出力した際に生成器61に入力した補正前投影データとを学習させることにより、識別器62が誤った判断結果を出力するような補正後投影データを出力するように、生成器61の各パラメータを更新する。これにより、生成器61は、識別器62の判断の成功度を小さくする補正後投影データを出力するように、訓練(学習)される。
モデル学習装置60は、識別器訓練機能63及び生成器訓練機能64を、交互に又は相互に繰り返し実行することにより、識別器62及び生成器61を交互に訓練する。識別器訓練機能63及び生成器訓練機能64が規定の回数以上実行されると、モデル学習装置60は、識別器62及び生成器61の訓練を終了する。訓練後の生成器61は、例えば、第1の実施形態等における学習済みモデルとして用いられる。
以下、本応用例における処理について、図32を参照して説明する。
(ステップS311)
モデル学習装置60は、識別器訓練機能63により、識別器62を訓練する。
(ステップS312)
モデル学習装置60は、生成器訓練機能64により、生成器61を訓練する。
(ステップS313)
モデル学習装置60は、識別器訓練機能63及び生成器訓練機能64の実行回数が規定の回数以上であるか否かを判断する。すなわち、処理回路は、識別器訓練機能63及び生成器訓練機能64のそれぞれが規定の回数以上実行されたか否かを判断する。規定の回数は、例えば、1万回である。
識別器訓練機能63及び生成器訓練機能64の実行回数が規定の回数以上である場合(ステップS313-Yes)、処理はステップS314に進む。識別器訓練機能63及び生成器訓練機能64の実行回数が規定の回数未満である場合(ステップS313-No)、処理はステップS311に戻り、モデル学習装置60は、識別器訓練機能63及び生成器訓練機能64のそれぞれが規定の回数以上実行されるまで、ステップS311及びステップS312の処理を繰り返し実行する。これにより、識別器訓練機能63及び生成器訓練機能64が交互に繰り返し実行される。
(ステップS314)
識別器訓練機能63及び生成器訓練機能64が規定の回数以上実行されると、モデル学習装置60は、生成器61及び識別器62の訓練を終了する。訓練後の生成器61は、学習済みモデルとして用いられる。
本応用例では、互いに競合する2つの多層のネットワークモデルである生成器61と識別器62とを用いて、生成器61及び識別器62の訓練が繰り返し行われる。これにより、生成器61と識別器62の精度が互いに競い合うように向上する。これにより、精度の高い生成器61(学習済みモデル)を生成することができる。
なお、本応用例では、識別器62は、2つの入力画像の入力を受け付ける2チャンネル識別器であるが、これに限るものではない。識別器62は、生成器61から出力された補正後投影データ(偽物)のみを取得する1チャンネル識別器であってもよい。この場合、識別器62は、生成器61から出力された補正後投影データが本物であるか否かを判断する。また、識別器62は、1つの補正後投影データ(偽物)と、複数のブレなし投影データ(本物)とを取得する多重チャンネル識別器であってもよい。この場合、識別器62は、取得した3つ以上の投影データのうち、どの投影データが偽物であるかを判断する。
以上説明した少なくとも1つの実施形態によれば、架台装置10の回転フレーム13の回転の影響又は寝台装置30の天板33の移動の影響が低減された医用画像を生成することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。