以下、図面を参照して、実施形態に係る医用画像診断システム及び学習済みモデルの生成方法を説明する。
(第1の実施形態)
まず、第1の実施形態について説明する。第1の実施形態では、X線CT装置10、画像保管装置20及び医用情報処理装置30を含んだX線診断システム1について説明する。
図1は、第1の実施形態に係るX線診断システム1の構成の一例を示すブロック図である。図1に示すように、第1の実施形態に係るX線診断システム1は、X線CT装置10と、画像保管装置20と、医用情報処理装置30とを備える。図1に示すように、X線CT装置10、画像保管装置20及び医用情報処理装置30は、ネットワークNWを介して相互に接続される。
X線CT装置10は、被検体から画像データを取得する装置である。例えば、X線CT装置10は、被検体に対するプリスキャンを実行することで時系列の画像データ群を取得する。また、X線CT装置10は、取得した時系列の画像データ群を医用情報処理装置30に対して送信する。また、例えば、X線CT装置10は、医用情報処理装置30が決定したタイミングでプリスキャンからメインスキャンへ移行し、CT画像データを取得する。また、X線CT装置10は、取得したCT画像データを画像保管装置20に対して送信する。なお、X線CT装置10の構成については後述する。
画像保管装置20は、X線診断システム1に含まれる装置により取得された各種の医用画像データを保管する装置である。例えば、画像保管装置20は、X線CT装置10により取得されたCT画像データを受け付けて、装置内又は装置外に設けられたメモリに記憶させる。例えば、画像保管装置20は、サーバ装置等のコンピュータ機器によって実現される。
医用情報処理装置30は、ネットワークNWを介して、プリスキャンにより取得された時系列の画像データ群を取得し、取得した画像データ群に基づいてX線CT装置10におけるメインスキャンのタイミングを決定する。例えば、医用情報処理装置30は、第1の検査において取得した学習データを用いて、プリスキャンからメインスキャンへ移行する妥当なタイミングを決定するための学習済みモデルを生成する。そして、医用情報処理装置30は、生成した学習済みモデルを用いて、第2の検査においてプリスキャンからメインスキャンへ移行するタイミングを決定する。なお、医用情報処理装置30が行なう処理については後述する。例えば、医用情報処理装置30は、ワークステーション等のコンピュータ機器によって実現される。
なお、ネットワークNWを介して接続可能であれば、X線CT装置10、画像保管装置20及び医用情報処理装置30が設置される場所は任意である。例えば、医用情報処理装置30は、X線CT装置10と異なる病院に設置されてもよい。即ち、ネットワークNWは、院内で閉じたローカルネットワークにより構成されてもよいし、インターネットを介したネットワークでもよい。また、図1においてはX線CT装置10を1つ示すが、X線診断システム1は複数のX線CT装置10を含んでもよい。
図1に示すように、医用情報処理装置30は、入力インターフェース31と、ディスプレイ32と、記憶回路33と、モデル記憶回路34と、処理回路35とを有する。
入力インターフェース31は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路35に出力する。例えば、入力インターフェース31は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行なうタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インターフェース31は、医用情報処理装置30本体と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インターフェース31は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、医用情報処理装置30とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路35へ出力する電気信号の処理回路も入力インターフェース31の例に含まれる。
ディスプレイ32は、各種の情報を表示する。例えば、ディスプレイ32は、入力インターフェース31を介して操作者から各種指示や各種設定等を受け付けるためのGUI(Graphical User Interface)を表示する。また、ディスプレイ32は、被検体について取得された各種の画像を表示する。例えば、ディスプレイ32は、プリスキャンにより取得された時系列の画像群を表示する。例えば、ディスプレイ32は、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイである。ディスプレイ32は、デスクトップ型でもよいし、医用情報処理装置30本体と無線通信可能なタブレット端末等で構成されることにしても構わない。
記憶回路33は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、記憶回路33は、医用情報処理装置30に含まれる回路がその機能を実現するためのプログラムを記憶する。なお、記憶回路33は、医用情報処理装置30とネットワークNWを介して接続されたサーバ群(クラウド)により実現されることとしてもよい。
モデル記憶回路34は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。ここで、モデル記憶回路34は、記憶部の一例である。例えば、モデル記憶回路34は、プリスキャンからメインスキャンへ移行する妥当なタイミングを決定するための学習済みモデルを記憶する。なお、モデル記憶回路34が記憶する学習済みモデルについては後述する。モデル記憶回路34は、クラウドにより実現されることとしてもよい。
処理回路35は、取得機能351、学習機能352、決定機能353及び制御機能354を実行することで、医用情報処理装置30全体の動作を制御する。ここで、取得機能351は、取得部の一例である。また、学習機能352は、学習部の一例である。また、決定機能353は、決定部の一例である。
例えば、処理回路35は、取得機能351に対応するプログラムを記憶回路33から読み出して実行することにより、X線診断システム1を使用した第1の検査において、造影剤が注入された被検体に対して実行されたプリスキャンにより取得された時系列の画像データ群をX線CT装置10から取得する。また、取得機能351は、取得した時系列の画像データ群に基づいて、被検体の関心領域内の信号強度に関する時系列の情報を取得する。なお、取得機能351による処理については後述する。
また、例えば、処理回路35は、学習機能352に対応するプログラムを記憶回路33から読み出して実行することにより、学習済みモデルを生成する。一例を挙げると、学習機能352は、取得機能351により取得された時系列の情報と、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングに関するタイミング情報とを入力側の学習データとして使用し、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングの妥当性に関する情報を出力側の学習データとして使用し、第1の検査とは別の第2の検査においてプリスキャンからメインスキャンへ移行する妥当なタイミングを決定するための学習済みモデルを生成する。なお、学習機能352による処理については後述する。
また、例えば、処理回路35は、決定機能353に対応するプログラムを記憶回路33から読み出して実行することにより、学習機能352により生成された学習済みモデルを用いて、第2の検査においてプリスキャンからメインスキャンへ移行する妥当なタイミングを決定する。一例を挙げると、決定機能353は、第2の検査において、造影剤が注入された被検体に対して実行されたプリスキャンにより取得された時系列の画像データ群をX線CT装置10から取得する。次に、決定機能353は、取得した時系列の画像データ群に基づいて、被検体の関心領域内の信号強度に関する時系列の情報を取得する。そして、決定機能353は、取得した時系列の情報を学習済みモデルに入力することにより、第2の検査においてプリスキャンからメインスキャンへ移行する妥当なタイミングを決定する。なお、決定機能353による処理については後述する。
また、例えば、処理回路35は、制御機能354に対応するプログラムを記憶回路33から読み出して実行することにより、ディスプレイ32における表示の制御を行なう。例えば、制御機能354は、プリスキャンにより取得された時系列の画像データ群をディスプレイ32に表示させる。また、制御機能354は、ネットワークNWを介して各種のデータを送信する。一例を挙げると、制御機能354は、決定機能353により決定された、第2の検査においてプリスキャンからメインスキャンへ移行する妥当なタイミングをX線CT装置に対して送信する。なお、制御機能354による処理については後述する。
図1に示す医用情報処理装置30においては、各処理機能がコンピュータによって実行可能なプログラムの形態で記憶回路33へ記憶されている。処理回路35は、記憶回路33からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路35は、読み出したプログラムに対応する機能を有することとなる。
なお、図1においては単一の処理回路35にて、取得機能351、学習機能352、決定機能353及び制御機能354が実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路35を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路35が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。
次に、図2を用いて、X線CT装置10について説明する。図2は、第1の実施形態に係るX線CT装置10の構成の一例を示すブロック図である。図2に示すように、X線CT装置10は、架台装置110と、寝台装置130と、コンソール装置140とを有する。
図2においては、非チルト状態での回転フレーム113の回転軸又は寝台装置130の天板133の長手方向をZ軸方向とする。また、Z軸方向に直交し、床面に対し水平である軸方向をX軸方向とする。また、Z軸方向に直交し、床面に対し垂直である軸方向をY軸方向とする。なお、図2は、説明のために架台装置110を複数方向から描画したものであり、X線CT装置10が架台装置110を1つ有する場合を示す。
架台装置110は、X線管111と、X線検出器112と、回転フレーム113と、X線高電圧装置114と、制御装置115と、ウェッジ116と、コリメータ117と、DAS(Data Acquisition System)118とを有する。
X線管111は、熱電子を発生する陰極(フィラメント)と、熱電子の衝突を受けてX線を発生する陽極(ターゲット)とを有する真空管である。X線管111は、X線高電圧装置114からの高電圧の印加により、陰極から陽極に向けて熱電子を照射することで、被検体Pに対し照射するX線を発生する。
X線検出器112は、X線を検出する検出素子を複数有する。X線検出器112における各検出素子は、X線管111から照射されて被検体Pを通過したX線を検出し、検出したX線量に対応した信号をDAS118へと出力する。X線検出器112は、例えば、X線管111の焦点を中心とした1つの円弧に沿ってチャンネル方向(チャネル方向)に複数の検出素子が配列された複数の検出素子列を有する。X線検出器112は、例えば、チャンネル方向に複数の検出素子が配列された検出素子列が列方向(スライス方向、row方向)に複数配列された構造を有する。
例えば、X線検出器112は、グリッドと、シンチレータアレイと、光センサアレイとを有する間接変換型の検出器である。シンチレータアレイは、複数のシンチレータを有する。シンチレータは入射X線量に応じた光子量の光を出力するシンチレータ結晶を有する。グリッドは、シンチレータアレイのX線入射側の面に配置され、散乱X線を吸収するX線遮蔽板を有する。なお、グリッドはコリメータ(1次元コリメータ又は2次元コリメータ)と呼ばれる場合もある。光センサアレイは、シンチレータからの光量に応じた電気信号に変換する機能を有し、例えば、フォトダイオード等の光センサを有する。なお、X線検出器112は、入射したX線を電気信号に変換する半導体素子を有する直接変換型の検出器であっても構わない。
回転フレーム113は、X線管111とX線検出器112とを対向支持し、制御装置115によってX線管111とX線検出器112とを回転させる円環状のフレームである。例えば、回転フレーム113は、アルミニウムを材料とした鋳物である。なお、回転フレーム113は、X線管111及びX線検出器112に加えて、X線高電圧装置114やウェッジ116、コリメータ117、DAS118等を更に支持することもできる。更に、回転フレーム113は、図2において図示しない種々の構成を更に支持することもできる。以下では、架台装置110において、回転フレーム113、及び、回転フレーム113と共に回転移動する部分を、回転部とも記載する。
X線高電圧装置114は、変圧器(トランス)及び整流器等の電気回路を有し、X線管111に印加する高電圧を発生する高電圧発生装置と、X線管111が発生するX線に応じた出力電圧の制御を行なうX線制御装置とを有する。高電圧発生装置は、変圧器方式であってもよいし、インバータ方式であってもよい。なお、X線高電圧装置114は、回転フレーム113に設けられてもよいし、図示しない固定フレームに設けられても構わない。
制御装置115は、CPU(Central Processing Unit)等を有する処理回路と、モータ及びアクチュエータ等の駆動機構とを有する。制御装置115は、入力インターフェース143からの入力信号を受けて、架台装置110及び寝台装置130の動作制御を行なう。例えば、制御装置115は、回転フレーム113の回転や架台装置110のチルト、寝台装置130及び天板133の動作等について制御を行なう。なお、制御装置115は架台装置110に設けられてもよいし、コンソール装置140に設けられてもよい。
ウェッジ116は、X線管111から照射されたX線量を調節するためのフィルタである。具体的には、ウェッジ116は、X線管111から被検体Pへ照射されるX線が、予め定められた分布になるように、X線管111から照射されたX線を透過して減衰するフィルタである。例えば、ウェッジ116は、ウェッジフィルタ(wedge filter)やボウタイフィルタ(bow-tie filter)であり、所定のターゲット角度や所定の厚みとなるようにアルミニウム等を加工したフィルタである。
コリメータ117は、ウェッジ116を透過したX線の照射範囲を絞り込むための鉛板等であり、複数の鉛板等の組み合わせによってスリットを形成する。なお、コリメータ117は、X線絞りと呼ばれる場合もある。また、図2においては、X線管111とコリメータ117との間にウェッジ116が配置される場合を示すが、X線管111とウェッジ116との間にコリメータ117が配置される場合であってもよい。この場合、ウェッジ116は、X線管111から照射され、コリメータ117により照射範囲が制限されたX線を透過して減衰させる。
DAS118は、X線検出器112が有する各検出素子によって検出されるX線の信号を収集する。例えば、DAS118は、各検出素子から出力される電気信号に対して増幅処理を行なう増幅器と、電気信号をデジタル信号に変換するA/D変換器とを有し、検出データを生成する。DAS118は、例えば、プロセッサにより実現される。
DAS118が生成したデータは、回転フレーム113に設けられた発光ダイオード(Light Emitting Diode: LED)を有する送信機から、光通信によって、架台装置110の非回転部分(例えば、固定フレーム等。図2での図示は省略している)に設けられた、フォトダイオードを有する受信機に送信され、コンソール装置140へと転送される。ここで、非回転部分とは、例えば、回転フレーム113を回転可能に支持する固定フレーム等である。なお、回転フレーム113から架台装置110の非回転部分へのデータの送信方法は、光通信に限らず、非接触型の如何なるデータ伝送方式を採用してもよいし、接触型のデータ伝送方式を採用しても構わない。
寝台装置130は、スキャン対象である被検体Pを載置、移動させる装置であり、基台131と、寝台駆動装置132と、天板133と、支持フレーム134とを有する。基台131は、支持フレーム134を鉛直方向に移動可能に支持する筐体である。寝台駆動装置132は、被検体Pが載置された天板133を、天板133の長軸方向に移動する駆動機構であり、モータ及びアクチュエータ等を含む。支持フレーム134の上面に設けられた天板133は、被検体Pが載置される板である。なお、寝台駆動装置132は、天板133に加え、支持フレーム134を天板133の長軸方向に移動してもよい。
コンソール装置140は、記憶回路141と、ディスプレイ142と、入力インターフェース143と、処理回路144とを有する。なお、コンソール装置140は架台装置110とは別体として説明するが、架台装置110にコンソール装置140又はコンソール装置140の各構成要素の一部が含まれてもよい。
記憶回路141は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。記憶回路141は、例えば、投影データや、投影データに基づいて再構成された画像データを記憶する。また、例えば、記憶回路141は、X線CT装置10に含まれる回路がその機能を実現するためのプログラムを記憶する。記憶回路141は、クラウドにより実現されることとしてもよい。
ディスプレイ142は、各種の情報を表示する。例えば、ディスプレイ142は、処理回路144によって生成された各種の画像を表示したり、操作者から各種の操作を受け付けるためのGUIを表示したりする。例えば、ディスプレイ142は、液晶ディスプレイやCRTディスプレイである。ディスプレイ142は、デスクトップ型でもよいし、コンソール装置140本体と無線通信可能なタブレット端末等で構成されることにしても構わない。
入力インターフェース143は、操作者から各種の入力操作を受け付けて、受け付けた入力操作を電気信号に変換して処理回路144に出力する。例えば、入力インターフェース143は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行なうタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インターフェース143は、架台装置110に設けられてもよい。また、入力インターフェース143は、コンソール装置140本体と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インターフェース143は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、コンソール装置140とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路144へ出力する電気信号の処理回路も入力インターフェース143の例に含まれる。
処理回路144は、システム制御機能144a、前処理機能144b、生成機能144c及び制御機能144dを実行することで、X線CT装置10全体の動作を制御する。
例えば、処理回路144は、システム制御機能144aに相当するプログラムを記憶回路141から読み出して実行することにより、被検体Pに対するスキャンを実行する。例えば、システム制御機能144aは、X線高電圧装置114を制御することにより、X線管111に高電圧を供給する。これにより、X線管111は、被検体Pに対し照射するX線を発生する。また、システム制御機能144aは、寝台駆動装置132を制御することにより、被検体Pを架台装置110の撮影口内へ移動させる。また、システム制御機能144aは、コリメータ117の開口度及び位置を調整する。また、システム制御機能144aは、制御装置115を制御することにより回転部を回転させる。なお、システム制御機能144aによってスキャンが実行される間、DAS118は、X線検出器112における各検出素子からX線の信号を収集し、検出データを生成する。
また、処理回路144は、前処理機能144bに相当するプログラムを記憶回路141から読み出して実行することにより、DAS118から出力された検出データに対し前処理を施す。例えば、前処理機能144bは、DAS118から出力された検出データに対して、対数変換処理やオフセット補正処理、チャンネル間の感度補正処理、ビームハードニング補正等の前処理を施す。なお、前処理を施した後のデータについては生データとも記載する。また、前処理を施す前の検出データ及び前処理を施した後の生データを総称して、投影データとも記載する。
また、処理回路144は、生成機能144cに相当するプログラムを記憶回路141から読み出して実行することにより、補正後の生データに基づいて画像データを生成する。例えば、生成機能144cは、補正後の生データに対して、フィルタ補正逆投影法や逐次近似再構成法等を用いた再構成処理を行なって画像データを生成する。一例を挙げると、生成機能144cは、プリスキャンにより取得された時系列の複数の生データに基づいて時系列の画像データ群を生成する。また、一例を挙げると、生成機能144cは、メインスキャンにより取得された生データに基づいて、CT画像データを生成する。
また、例えば、処理回路144は、制御機能144dに対応するプログラムを記憶回路141から読み出して実行することにより、ディスプレイ142における表示の制御を行なう。例えば、制御機能144dは、入力インターフェース143を介して操作者から受け付けた入力操作等に基づいて、生成機能144cにより生成されたCT画像データを、公知の方法により表示用のCT画像(任意断面の断層像データや3次元画像データ等)に変換する。そして、制御機能144dは、変換した表示用のCT画像をディスプレイ142に表示させる。また、制御機能144dは、ネットワークNWを介して各種のデータを送信する。一例を挙げると、制御機能144dは、プリスキャンにより取得された時系列の画像データ群を、医用情報処理装置30に対して送信する。
図2に示すX線CT装置10においては、各処理機能がコンピュータによって実行可能なプログラムの形態で記憶回路141へ記憶されている。処理回路144は、記憶回路141からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、プログラムを読み出した状態の処理回路144は、読み出したプログラムに対応する機能を有することとなる。
なお、図2においては単一の処理回路144にて、システム制御機能144a、前処理機能144b、生成機能144c及び制御機能144dが実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路144を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路144が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。
上記説明において用いた「プロセッサ」という文言は、例えば、CPU、GPU(Graphics Processing Unit)、あるいは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサは記憶回路33又は記憶回路141に保存されたプログラムを読み出し実行することで機能を実現する。
なお、図1及び図2においては、単一の記憶回路33又は記憶回路141が各処理機能に対応するプログラムを記憶するものとして説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、複数の記憶回路33を分散して配置し、処理回路35は、個別の記憶回路33から対応するプログラムを読み出す構成としても構わない。同様に、複数の記憶回路141を分散して配置し、処理回路144は、個別の記憶回路141から対応するプログラムを読み出す構成としても構わない。また、記憶回路33及び記憶回路141にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。
また、処理回路35及び処理回路144は、ネットワークNWを介して接続された外部装置のプロセッサを利用して、機能を実現することとしてもよい。例えば、処理回路35は、記憶回路33から各機能に対応するプログラムを読み出して実行するとともに、医用情報処理装置30とネットワークNWを介して接続されたサーバ群(クラウド)を計算資源として利用することにより、図1に示す各機能を実現する。
以上、X線CT装置10、画像保管装置20及び医用情報処理装置30を含んだX線診断システム1について説明した。かかる構成のもと、X線診断システム1は、処理回路35による処理によって、メインスキャンのタイミングを適切に決定する。
まず、メインスキャンのタイミングを閾値により決定する場合について説明する。例えば、被検体P11に対する検査E11において、X線CT装置10は、メインスキャンに先立ち、造影剤が注入された被検体P11に対してプリスキャンを実行する。なお、被検体P11は、図2に示した被検体Pの一例である。ここで、X線CT装置10は、プリスキャンにより取得された画像データを、医用情報処理装置30に対して順次送信する。また、医用情報処理装置30における取得機能351は、送信された画像データを順次取得する。即ち、取得機能351は、時系列の画像データ群を取得する。
また、取得機能351は、取得した時系列の画像データ群に基づいて、図3に示すTDC(Time Density Curve)を取得する。ここで、TDCは、被検体P11の関心領域内の信号強度に関する時系列の情報の例である。即ち、取得機能351は、X線CT装置10から取得した時系列の画像データ群に基づいて、被検体P11の関心領域内の信号強度に関する時系列の情報を取得する。なお、図3は、第1の実施形態に係るTDCの一例を示す図である。
より具体的には、システム制御機能144aは、まず、メインスキャンにおける対象部位と、プリスキャンにおける対象部位とをそれぞれ設定する。ここで、メインスキャンにおける対象部位とは、例えば、検査E11における治療対象部位である。また、プリスキャンにおける対象部位とは、例えば、メインスキャンにおける対象部位が造影されるタイミングを計るためにモニターする部位である。
一例を挙げると、メインスキャンにおける対象部位が「心臓」である場合、システム制御機能144aは、プリスキャンにおける対象部位として「大動脈」を設定する。ここで、被検体P11の静脈に造影剤が注入された場合、造影剤は、被検体P11の左心房、左心室を経て、大動脈に到達する。従って、プリスキャンにおいて「大動脈」をモニターし、「大動脈」への造影剤の到達状況に応じてメインスキャンを実行することで、被検体P11の左心房及び左心室が明瞭に造影されたCT画像を取得することが可能である。なお、プリスキャンにおける対象部位については、操作者がマニュアルで設定してもよいし、メインスキャンにおける対象部位に応じてシステム制御機能144aが自動で設定してもよい。
次に、システム制御機能144aは、造影剤が注入された被検体P11の「大動脈」についてプリスキャンを実行する。また、システム制御機能144aによってプリスキャンが実行される間、DAS118は、X線検出器112における各検出素子からX線の信号を収集し、投影データを順次生成する。また、前処理機能144bは、DAS118から出力された投影データに対して前処理を順次施す。また、生成機能144cは、前処理機能144bが投影データに対する前処理を実行するごとに、前処理が施された投影データに基づいて画像データを順次生成する。即ち、生成機能144cは、プリスキャンにおける対象部位「大動脈」を含むスライスを順次生成する。また、制御機能144dは、生成された画像データを医用情報処理装置30に対して順次送信する。また、取得機能351は、送信された画像データを順次取得する。
また、取得機能351は、被検体P11の関心領域を設定する。例えば、取得機能351は、X線CT装置10から取得した画像データにおいて被検体P11の「大動脈」を含む領域を、関心領域として設定する。一例を挙げると、制御機能354は、取得された画像データをディスプレイ32に表示させる。そして、取得機能351は、画像データを参照した操作者から関心領域を設定する操作を受け付けることにより、関心領域を設定する。なお、取得機能351は、画像処理により関心領域を自動で設定することとしてもよい。
次に、取得機能351は、プリスキャンにより取得された時系列の画像データ群における関心領域の信号強度に基づいてTDCを取得する。例えば、取得機能351は、時系列の画像データ群における各画像データについて、関心領域内のHU値(画素値)を時間軸に対応付けてプロットすることにより、図3に示すTDCを取得する。なお、図3の横軸は時間tを示し、縦軸は関心領域内のHU値を示す。
また、取得機能351は、X線CT装置10から新たに画像データを取得するごとに、新たに取得した画像データの関心領域内のHU値を時間軸に対応付けてプロットし、TDCを順次更新する。なお、以下では、図4AのタイミングT11まで更新されたTDCを、TDCC11と記載する。図4AのTDCC11に示すように、タイミングT11においてHU値が閾値A11に到達した場合、決定機能353は、タイミングT11を、検査E11においてプリスキャンからメインスキャンへ移行するタイミングとして決定する。なお、図4Aは、第1の実施形態に係るプリスキャンからメインスキャンへ移行するタイミングの一例を示す図である。
また、制御機能354は、決定されたタイミングT11をX線CT装置10に対して送信する。また、X線CT装置10は、タイミングT11においてプリスキャンからメインスキャンへ移行し、図4Aに示すCT画像データI11を取得する。即ち、X線CT装置10は、関心領域内のHU値が閾値に到達したことをトリガとしてプリスキャンからメインスキャンへ移行し、CT画像データI11を取得する。なお、メインスキャンへの移行に伴ってプリスキャンは終了し、TDCの更新も終了する。
ここで、閾値A11が最適なものである場合、メインスキャンにより、被検体P11の「心臓」について最適なCT画像データI11が取得されることとなる。しかしながら、造影剤の拡散速度や関心領域内のHU値の大きさについては個人差もあり、閾値A11を最適化することは容易ではない。即ち、検査E11においてプリスキャンからメインスキャンへ移行したタイミングT11が妥当なものであるとは限らず、妥当なタイミングに対して遅かったり早かったりする場合がある。
次に、学習機能352は、検査E11においてプリスキャンからメインスキャンへ移行したタイミングT11の妥当性に関する情報を取得する。例えば、学習機能352は、図4Aに示すように、メインスキャンにより取得されたCT画像データI11を用いて、タイミングT11の妥当性に関する情報を取得する。
ここで、一例として、検査E11において操作者が被検体P11の左心室を観察しようとしている場合について説明する。かかる場合において、CT画像データI11に現れた左心房が左心室よりも明瞭に描出されている場合、タイミングT11よりも遅いタイミングでプリスキャンからメインスキャンへ移行していれば、タイミングT11において左心房に分布していた高濃度の造影剤が左心室へ流入し、左心室がより明瞭に描出されたCT画像データを取得できた可能性がある。従って、CT画像データI11に現れた左心房が左心室よりも明瞭に描出されている場合、学習機能352は、タイミングT11が「早い」と判定することができる。
また、例えば、CT画像データI11に左心房がほとんど描出されていない場合、タイミングT11において、被検体P11の心臓からの造影剤の排出が略完了しているといえる。即ち、CT画像データI11に左心室が現れているとしても、タイミングT11よりも早いタイミングでプリスキャンからメインスキャンへ移行していれば、左心室がより明瞭に描出されたCT画像データを取得できた可能性がある。従って、CT画像データI11に左心房がほとんど描出されていない場合、学習機能352は、タイミングT11が「遅い」と判定することができる。
また、例えば、CT画像データI11において左心房及び大動脈と比較して左心室が明瞭に描出されている場合、学習機能352は、タイミングT11が「妥当」と判定することができる。即ち、左心房及び大動脈と比較して左心室がより明瞭に描出されている場合、タイミングT11よりも遅いタイミングでプリスキャンからメインスキャンへ移行していれば、左心室から大動脈へ造影剤が流出し、取得されるCT画像データにおいて左心室が不明瞭となっていた可能性がある。また、左心房及び大動脈と比較して左心室がより明瞭に描出されている場合、タイミングT11よりも早いタイミングでプリスキャンからメインスキャンへ移行していれば、左心房から左心室への造影剤の流入が不十分となり、取得されるCT画像データにおいて左心室が不明瞭となっていた可能性がある。従って、CT画像データI11において左心房及び大動脈と比較して左心室がより明瞭に描出されている場合、学習機能352は、タイミングT11が「妥当」と判定することができる。
上述したように、検査E11において操作者が左心室を観察しようとしている場合、学習機能352は、CT画像データI11において左心房、左心室及び大動脈がどのように造影されているかに応じて、タイミングT11の妥当性に関する情報を取得することができる。即ち、学習機能352は、検査E11における検査目的と、検査E11において取得されたCT画像データI11とに基づいて、タイミングT11の妥当性に関する情報を取得することができる。以下では、タイミングT11の妥当性に関する情報として「妥当」を取得した場合を例として説明する。
学習機能352は、複数の検査について、検査E11と同様に、プリスキャンからメインスキャンへ移行したタイミングの妥当性に関する情報を取得する。例えば、被検体P11に対して実行された、検査E11とは別の検査E12において、取得機能351は、造影剤が注入された被検体P11に対して実行されたプリスキャンにより取得された時系列の画像データ群に基づいて、関心領域内のHU値を時間軸に対応付けてプロットすることにより、TDCを取得する。
また、決定機能353は、TDCが示すHU値が閾値A11に到達したタイミングT12を、検査E12においてプリスキャンからメインスキャンへ移行するタイミングとして決定する。なお、検査E12においてタイミングT12まで更新されたTDCについては、TDCC12とも記載する。また、X線CT装置10は、タイミングT12においてプリスキャンからメインスキャンへ移行し、CT画像データI12を取得する。また、学習機能352は、検査E12における検査目的と、検査E12において取得されたCT画像データI12とに基づいて、タイミングT12の妥当性に関する情報「遅い」を取得する。
また、例えば、被検体P11と異なる被検体P12に対して実行された検査E13において、取得機能351は、造影剤が注入された被検体P12に対して実行されたプリスキャンにより取得された時系列の画像データ群に基づいて、関心領域内のHU値を時間軸に対応付けてプロットすることにより、TDCを取得する。なお、被検体P12は、図2に示した被検体Pの一例である。
また、決定機能353は、TDCが示すHU値が閾値A11に到達したタイミングT13を、検査E13においてプリスキャンからメインスキャンへ移行するタイミングとして決定する。なお、検査E13においてタイミングT13まで更新されたTDCについては、TDCC13とも記載する。また、X線CT装置10は、タイミングT13においてプリスキャンからメインスキャンへ移行し、CT画像データI13を取得する。また、学習機能352は、検査E13における検査目的と、検査E13において取得されたCT画像データI13とに基づいて、タイミングT13の妥当性に関する情報「早い」を取得する。
次に、学習機能352は、プリスキャンにより取得された時系列の画像群に基づいて生成された、関心領域内の信号強度に関する時系列の情報と、プリスキャンからメインスキャンへ移行したタイミングに関するタイミング情報とを入力側の学習データとして使用し、プリスキャンからメインスキャンへ移行したタイミングの妥当性に関する情報を出力側の学習データとして使用し、プリスキャンからメインスキャンへ移行する妥当なタイミングを決定するための学習済みモデルM1を生成する。
例えば、学習機能352は、検査E11において取得したTDCC11と、検査E11においてプリスキャンからメインスキャンへ移行したタイミングT11に関するタイミング情報とを、入力側の学習データとして使用する。なお、タイミングT11に関するタイミング情報とは、タイミングT11を直接的又は間接的に示す情報である。例えば、タイミング情報は、タイミングT11を示す時刻である。以下では、タイミングT11に関するタイミング情報を、単にタイミングT11とも記載する。一例を挙げると、学習機能352は、図4Aに示したように、タイミングT11に関するタイミング情報として、検査E11におけるプリスキャンにより取得された画像データ中の被検体P11の関心領域内の信号強度が閾値A11を超えたタイミングT11を取得する。
即ち、学習機能352は、図4Bに示すように、検査E11において取得したTDCC11とタイミングT11とを、入力側の学習データとして使用する。また、学習機能352は、検査E11において取得した、タイミングT11の妥当性に関する情報「妥当」を出力側の学習データとして使用する。なお、図4Bは、第1の実施形態に係る学習済みモデルM1の生成に用いる学習データの例を示す図である。
また、学習機能352は、検査E12において取得したTDCC12と、検査E12においてプリスキャンからメインスキャンへ移行したタイミングT12とを、入力側の学習データとして使用する。また、学習機能352は、検査E12において取得した、タイミングT12の妥当性に関する情報「遅い」を出力側の学習データとして使用する。また、学習機能352は、検査E13において取得したTDCC13と、検査E13においてプリスキャンからメインスキャンへ移行したタイミングT13とを、入力側の学習データとして使用する。また、学習機能352は、検査E13において取得した、タイミングT13の妥当性に関する情報「早い」を出力側の学習データとして使用する。
学習済みモデルM1は、例えば、ニューラルネットワーク(Neural Network)により構成することができる。ニューラルネットワークとは、層状に並べた隣接層間が結合した構造を有し、情報が入力層側から出力層側に伝播するネットワークである。例えば、学習機能352は、図4Bに示した学習データを用いて、多層のニューラルネットワークについて深層学習(ディープラーニング)を実行することで、学習済みモデルM1を生成する。なお、多層のニューラルネットワークは、例えば、入力層と、複数の中間層(隠れ層)と、出力層とにより構成される。
一例を挙げると、学習機能352は、図4Bに示した入力側の学習データをニューラルネットワークに入力する。ここで、ニューラルネットワークにおいては、例えば、入力層側から出力層側に向かって一方向に隣接層間でのみ結合しながら情報が伝播し、出力層からは「早い」、「妥当」及び「遅い」の3クラスへの分類結果が出力される。そして、学習機能352は、図4Bに示した入力側の学習データを入力した際にニューラルネットワークが好ましい結果を出力することができるよう、ニューラルネットワークのパラメータを調整する。
例えば、学習機能352は、ニューラルネットワークからの出力と、図4Bに示した出力側データとの不整合を解消するように、ニューラルネットワークのパラメータを調整する。これにより、学習機能352は、TDC及びタイミングの入力を受けて、入力されたタイミングが「早い」、「妥当」及び「遅い」のいずれのクラスに該当するかを出力するように機能付けられた学習済みモデルM1を生成することができる。また、学習機能352は、生成した学習済みモデルM1をモデル記憶回路34に記憶させる。
なお、入力層側から出力層側に向かって一方向に情報が伝播するニューラルネットワークについては、畳み込みニューラルネットワーク(CNN:Convlutional Neural Network)とも呼ばれる。学習済みモデルM1は、畳み込みニューラルネットワークにより構成する場合に限らず、他のニューラルネットワークにより構成することとしても構わない。
一例を挙げると、学習済みモデルM1は、再帰型ニューラルネットワーク(RNN:Recurrent NeuralNetwork)により構成されてもよい。この場合、再帰型ニューラルネットワークにおいては、例えば、入力層側から出力層側に向かって情報が伝播するのみならず、中間層から出力された情報が再度他の中間層に入力される。
例えば、TDCはプリスキャンの間に順次更新されるものであり、経時的に変化するデータである。また、学習機能352は、TDCを加工して、より過去の時点におけるTDCを生成することが可能である。そこで、学習機能352は、かかるTDCの経時的変化を含めて再帰型ニューラルネットワークを学習させ、学習済みモデルM1を生成する。
一例を挙げると、図4Aに示したTDCC11はタイミングT11におけるTDCである。また、学習機能352は、TDCC11を加工して、タイミングT11より前のタイミングT111におけるTDCC111と、タイミングT111より前のタイミングT112におけるTDCC112とを生成する。即ち、学習機能352は、経時的に変化する複数のTDCを生成する。
そして、学習機能352は、これら経時的に変化する複数のTDCを再帰型ニューラルネットワークに入力する。ここで、再帰型ニューラルネットワークにおいては、入力層側から出力層側に向かって情報が伝播するとともに、例えば、TDCC111を入力した際の中間層からの出力がTDCC11を入力する際の中間層に入力されたり、TDCC111を入力した際の中間層からの出力がTDCC112を入力した際の中間層に入力されたりする。即ち、再帰型ニューラルネットワークにおいては、ある時相における中間層からの出力が、他の時相における中間層に対してフィードバックされる。
なお、学習済みモデルM1がニューラルネットワークにより構成されるものとして説明したが、実施形態はこれに限定されるものではない。即ち、学習機能352は、ニューラルネットワーク以外の機械学習手法により、学習済みモデルM1を生成してもよい。例えば、学習機能352は、SVM(サポートベクターマシン)等のデータの分類を行なう機械学習手法によって、学習済みモデルM1を生成してもよい。
上述したように、学習機能352は、検査E11や検査E12、検査E13等において取得した学習データを使用して、学習済みモデルM1を生成する。なお、以下では、X線診断システム1を使用した検査のうち学習データを取得する検査を、第1の検査とも記載する。即ち、取得機能351は、第1の検査において、造影剤が注入された被検体に対して実行されたプリスキャンにより取得された時系列の画像群に基づいて生成されたTDCを取得する。また、学習機能352は、取得機能351が取得したTDCと、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングに関するタイミング情報とを入力側の学習データとして使用し、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングの妥当性に関する情報を出力側の学習データとして使用して、学習済みモデルM1を生成する。
また、決定機能353は、学習済みモデルM1を用いて、第1の検査とは別の検査においてプリスキャンからメインスキャンへ移行する妥当なタイミングを決定する。なお、学習済みモデルM1が使用される検査については、第2の検査とも記載する。即ち、学習機能352は、第1の検査とは別の第2の検査においてプリスキャンからメインスキャンへ移行する妥当なタイミングを決定するための学習済みモデルM1を生成し、決定機能353は、第2の検査において、学習済みモデルM1を用いてプリスキャンからメインスキャンへ移行する妥当なタイミングを決定する。
以下、図5A及び図5Bを用いて、学習済みモデルM1の使用例を説明する。図5A及び図5Bは、第1の実施形態に係る学習済みモデルM1の使用例を示す図である。なお、図5A及び図5Bにおいては、被検体P11及び被検体P12と異なる被検体P13に対する検査E14において、学習済みモデルM1を使用して、プリスキャンからメインスキャンへ移行する妥当なタイミングを決定する場合について説明する。なお、被検体P13は、図2に示した被検体Pの一例である。また、検査E14は、第2の検査の一例である。
検査E14において、システム制御機能144aは、まず、メインスキャンにおける対象部位とプリスキャンにおける対象部位とをそれぞれ設定する。以下では一例として、検査E14のメインスキャンにおける対象部位が「心臓」であり、検査E14のプリスキャンにおける対象部位が「大動脈」であるものとして説明する。次に、システム制御機能144aは、造影剤が注入された被検体P13の「大動脈」についてプリスキャンを実行する。また、システム制御機能144aによってプリスキャンが実行される間、DAS118は、X線検出器112における各検出素子からX線の信号を収集し、投影データを順次生成する。また、前処理機能144bは、DAS118から出力された投影データに対して前処理を順次施す。また、生成機能144cは、前処理が施された投影データに基づいて画像データを順次生成する。また、制御機能144dは、生成された画像データを医用情報処理装置30に対して順次送信する。また、取得機能351は、送信された画像データを順次取得する。また、取得機能351は、被検体P13の関心領域を設定する。
次に、取得機能351は、プリスキャンにより取得された時系列の画像データ群における関心領域の信号強度に基づいてTDCを取得する。例えば、取得機能351は、時系列の画像データ群における各画像データについて、関心領域内のHU値を時間軸に対応付けてプロットすることによりTDCを取得する。また、取得機能351は、X線CT装置10から新たに画像データを取得するごとに、新たに取得した画像データの関心領域内のHU値を時間軸に対応付けてプロットし、TDCを順次更新する。なお、以下では、図5AのタイミングT141まで更新されたTDCを、TDCC141と記載する。また、以下では、図5BのタイミングT142まで更新されたTDCを、TDCC142と記載する。
ここで、決定機能353は、取得したTDCを、順次、学習済みモデルM1に入力する。例えば、決定機能353は、タイミングT141において、図5Aに示したTDCC141を学習済みモデルM1に入力する。ここで、学習済みモデルM1は、TDCC141及びタイミングT141の入力を受けて、タイミングT141が「早い」、「妥当」及び「遅い」のいずれのクラスに該当するかを出力する。なお、図5Aは、学習済みモデルM1が「早い」を出力した場合を示す。この場合、決定機能353は、タイミングT141について、プリスキャンからメインスキャンへ移行する妥当なタイミングではないと判定する。
また、例えば、決定機能353は、タイミングT142において、図5Bに示したTDCC142を学習済みモデルM1に入力する。ここで、学習済みモデルM1は、TDCC142及びタイミングT142の入力を受けて、タイミングT142が「早い」、「妥当」及び「遅い」のいずれのクラスに該当するかを出力する。なお、図5Bは、学習済みモデルM1が「妥当」を出力した場合を示す。この場合、決定機能353は、タイミングT142を、プリスキャンからメインスキャンへ移行する妥当なタイミングとして決定する。
また、制御機能354は、決定されたタイミングT142をX線CT装置10に対して送信する。また、X線CT装置10は、タイミングT142においてプリスキャンからメインスキャンへ移行し、CT画像データI14(図示せず)を取得する。即ち、X線CT装置10は、学習済みモデルM1を用いて決定されたタイミングT142においてプリスキャンからメインスキャンへ移行し、CT画像データI14を取得する。なお、メインスキャンへの移行に伴ってプリスキャンは終了し、TDCの更新も終了する。
ここで、学習済みモデルM1によれば、プリスキャンからメインスキャンへ移行するタイミングを決定する上で、図3に示した閾値A11を設定する必要はない。また、学習済みモデルM1によれば、単に関心領域内のHU値の大きさを評価するのみならず、HU値の変遷(即ち、TDCの形状)をも評価して、プリスキャンからメインスキャンへ移行するタイミングを精度良く決定することができる。従って、第1の実施形態に係るX線診断システム1は、学習済みモデルM1により、メインスキャンのタイミングを適切に決定することができる。
更に、学習機能352は、検査E14において取得された学習データを用いて、学習済みモデルM1を生成してもよい。即ち、学習機能352は、検査E14において取得された学習データを用いて、学習済みモデルM1を更新してもよい。例えば、学習機能352は、検査E14における検査目的と、検査E14において取得されたCT画像データI14とに基づいて、タイミングT142の妥当性に関する情報を取得する。また、学習機能352は、図5Bに示したTDCC142と、検査E14においてプリスキャンからメインスキャンへ移行したタイミングT142とを入力側の学習データとして使用し、タイミングT142の妥当性に関する情報を出力側の学習データとして使用して、学習済みモデルM1を更新する。
即ち、学習機能352は、検査E14について学習済みモデルM1を使用した後、検査E14から学習データを取得する。この場合、検査E14は、第1の検査及び第2の検査の双方に該当することとなる。そして、検査E14から取得された学習データにより学習済みモデルM1を更新することで、学習機能352は、学習済みモデルM1の精度を向上させ、メインスキャンのタイミングをより適切に決定することを可能とする。即ち、X線診断システム1においては、プリスキャン及びメインスキャンを含む検査が繰り返し実行されることによって、次第に、メインスキャンのタイミングをより適切に決定できるようになる。
また、学習機能352は、1つの検査から取得された学習データに基づいて、複数の学習データを生成してもよい。以下、被検体P14に対して実行された検査E15を例として説明する。なお、被検体P14は、図2に示した被検体Pの一例である。例えば、学習機能352は、検査E15から、学習データとして、検査E15において取得されたTDC15と、検査E15においてプリスキャンからメインスキャンへ移行したタイミングT15と、タイミングT15の妥当性に関する情報「遅い」とを取得する。そして、学習機能352は、TDC15とタイミングT15とタイミングT15の妥当性に関する情報「遅い」との組み合わせから成る学習データに基づいて、複数の学習データを生成する。
例えば、学習機能352は、図6Aに示すように、タイミングT15まで更新されたTDCであるTDC15を加工して、タイミングT15より前のタイミングT151におけるTDCC151と、タイミングT151より前のタイミングT152におけるTDCC152とを生成する。これにより、学習機能352は、TDC15とタイミングT15とタイミングT15の妥当性に関する情報「遅い」との組み合わせから、TDCC151とタイミングT151とタイミングT151の妥当性に関する情報「妥当」との組み合わせ、及び、TDCC152とタイミングT152とタイミングT152の妥当性に関する情報「早い」との組み合わせを生成する。なお、図6Aは、第1の実施形態に係る学習済みモデルM1の生成に用いる学習データの生成処理について説明するための図である。
例えば、学習機能352は、図6Bに示すように、TDC15とタイミングT15とタイミングT15の妥当性に関する情報「遅い」との組み合わせに加えて、TDCC151とタイミングT151とタイミングT151の妥当性に関する情報「妥当」との組み合わせ、及び、TDCC152とタイミングT152とタイミングT152の妥当性に関する情報「早い」との組み合わせを入力側及び出力側の学習データとして更に使用して、学習済みモデルM1を生成する。なお、図6Bは、第1の実施形態に係る学習済みモデルM1の生成に用いる学習データの例を示す図である。
図6Bに示す場合、学習機能352は、検査E15から取得された3つの学習データに基づいて学習済みモデルM1を生成することとなる。そして、学習機能352は、より多くの学習データを用いて機械学習を実行することで、学習済みモデルM1の精度を向上させ、メインスキャンのタイミングをより適切に決定することを可能とする。
なお、「妥当」に対応するタイミングT151については、例えば、検査E15において取得されたCT画像データI15に基づいて算出することができる。例えば、学習機能352は、CT画像データI15から、メインスキャンにおける対象部位「心臓」の形状データと、造影剤の分布とを取得する。次に、学習機能352は、「心臓」の形状データと造影剤の分布とを拘束条件として用いた流体シミュレーションを実行し、タイミングT15より早くメインスキャンに移行していた場合に取得されたCT画像データを推定する。そして、学習機能352は、推定したCT画像データと、検査E15における検査目的とに基づいて、「妥当」に対応するタイミングT151を算出する。
また、学習機能352は、「妥当」に対応する時間帯を算出し、算出した時間帯に含まれる任意のタイミングをタイミングT151としてもよい。例えば、検査E15において操作者が被検体P15の左心室を観察しようとしている場合、学習機能352は、流体シミュレーションによって推定したCT画像データのうち、左心房が認識できるCT画像データについて「妥当」と判定する。ここで、左心房が認識できるCT画像データが複数ある場合、学習機能352は、複数のCT画像データに対応する時間帯を「妥当」に対応する時間帯として算出し、算出した時間帯に含まれる任意のタイミングをタイミングT151とする。
また、図6Bにおいては、妥当性に関する情報「早い」を含む学習データを1つのみ示した。しかしながら、学習機能352は、「妥当」に対応するタイミングT151より早い複数のタイミングを選択し、妥当性に関する情報「早い」を含む学習データを複数生成してもよい。また、「妥当」に対応する時間帯を算出していた場合、学習機能352は、算出した時間帯に含まれる複数のタイミングを選択し、妥当性に関する情報「妥当」を含む学習データを複数生成してもよい。
次に、X線診断システム1による処理の手順の一例を、図7を用いて説明する。図7は、第1の実施形態に係るX線診断システム1の処理の一連の流れを説明するためのフローチャートである。
ステップS101、ステップS102及びステップS107は、取得機能351に対応するステップである。ステップS108及びステップS109は、学習機能352に対応するステップである。ステップS103、ステップS104及びステップS105は、決定機能353に対応するステップである。ステップS106は、制御機能354に対応するステップである。
まず、処理回路35は、造影剤が注入された被検体Pに対して実行されたプリスキャンにより取得された画像データをX線CT装置10から取得し(ステップS101)、取得した画像データに基づいてTDCを取得する(ステップS102)。次に、処理回路35は、取得したTDCを学習済みモデルM1に入力する(ステップS103)。
ここで、処理回路35は、学習済みモデルM1の出力が「妥当」であったか否かを判定し(ステップS104)、「妥当」でなかった場合(ステップS104否定)、再度ステップS101に移行する。一方で、学習済みモデルM1の出力が「妥当」であった場合(ステップS104肯定)、処理回路35は、プリスキャンからメインスキャンへ移行するタイミングを決定し(ステップS105)、決定したタイミングをX線CT装置10へ送信する(ステップS106)。なお、処理回路35は、学習済みモデルM1の出力が「妥当」である場合に加えて、学習済みモデルM1の出力が「遅い」である場合にプリスキャンからメインスキャンへ移行するタイミングを決定することとしてもよい。
次に、処理回路35は、X線CT装置10から、メインスキャンにより取得されたCT画像データを取得したか否かを判定する(ステップS107)。CT画像データを取得した場合(ステップS107肯定)、処理回路35は、CT画像データと検査目的とに基づいて、ステップS105にて決定したタイミングの妥当性に関する情報を取得する(ステップS108)。次に、処理回路35は、ステップS102にて取得したTDCと、ステップS105にて決定したタイミングとを入力側の学習データとして使用し、ステップS108にて取得した妥当性に関する情報を出力側の学習データとして使用して、学習済みモデルM1を生成し(ステップS109)、処理を終了する。また、メインスキャンが中止された場合等、X線CT装置10からCT画像データを取得しなかった場合も同様に、処理回路35は、処理を終了する。
上述したように、第1の実施形態によれば、取得機能351は、X線診断システム1を使用した第1の検査において、造影剤が注入された被検体Pに対して実行されたプリスキャンにより取得された時系列の画像データ群に基づいて生成されたTDCを取得する。また、学習機能352は、取得機能351が取得したTDCと、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングに関するタイミング情報とを入力側の学習データとして使用し、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングの妥当性に関する情報を出力側の学習データとして使用して、第2の検査においてプリスキャンからメインスキャンへ移行する妥当なタイミングを決定するための学習済みモデルM1を生成する。従って、第1の実施形態に係るX線診断システム1は、学習済みモデルM1により、メインスキャンのタイミングを適切に決定することができる。
また、上述したように、第1の実施形態によれば、学習機能352は、妥当性に関する情報として、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングが「妥当」、「早い」及び「遅い」のいずれのクラスに該当するかを示す情報を使用する。即ち、学習機能352は、妥当性に関する情報として、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングが、妥当性の高いタイミング、妥当性の高いタイミングに対して早いタイミング、及び、妥当性の高いタイミングに対して遅いタイミングのいずれに該当するかを示す情報を使用する。従って、第1の実施形態に係るX線診断システム1は、妥当性に関する情報を容易に取得するとともに、学習済みモデルM1が解く問題を簡単にして、学習済みモデルM1を迅速に生成することができる。
また、上述したように、第1の実施形態によれば、学習機能352は、TDC15とタイミングT15とタイミングT15の妥当性に関する情報「遅い」との組み合わせに加えて、TDCC151とタイミングT151とタイミングT151の妥当性に関する情報「妥当」との組み合わせ、及び、TDCC152とタイミングT152とタイミングT152の妥当性に関する情報「早い」との組み合わせを入力側及び出力側の学習データとして更に使用して、学習済みモデルM1を生成する。即ち、学習機能352は、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングが妥当性の高いタイミングに対して遅いタイミングに該当することを示す情報と、第1の検査において実行されたプリスキャンにより取得された時系列の画像データ群に基づいて生成されたTDCと、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングに関するタイミング情報との組み合わせに基づいて、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングが妥当性の高いタイミングに該当することを示す情報と、第1の検査において実行されたプリスキャンにより取得された時系列の画像データ群に基づいて生成されたTDCを加工したTDCと、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングに関するタイミング情報を加工したタイミング情報との組み合わせ、及び、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングが妥当性の高いタイミングに対して早いタイミングに該当することを示す情報と、第1の検査において実行されたプリスキャンにより取得された時系列の画像データ群に基づいて生成されたTDCを加工したTDCと、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングに関するタイミング情報を加工したタイミング情報との組み合わせの少なくとも一方を生成し、生成した組み合わせを入力側及び出力側の学習データとして更に使用して、学習済みモデルM1を生成する。従って、第1の実施形態に係るX線診断システム1は、より多くの学習データを用いて機械学習を実行することで、学習済みモデルM1の精度を向上させ、メインスキャンのタイミングをより適切に決定することができる。
なお、これまで、メインスキャンにおける対象部位が「心臓」であり、プリスキャンにおける対象部位が「大動脈」である場合を例として説明した。しかしながら、実施形態はこれに限定されるものではなく、メインスキャンにおける対象部位及びプリスキャンにおける対象部位の組み合わせについては任意に変更が可能である。一例を挙げると、メインスキャンにおける対象部位が「頭部」であって、プリスキャンにおける対象部位が「頸動脈」である場合についても同様に適用が可能である。別の例を挙げると、メインスキャンにおける対象部位が「腹部」であって、プリスキャンにおける対象部位が「大動脈」である場合についても同様に適用が可能である。別の例を挙げると、メインスキャンにおける対象部位が「肝臓」であって、プリスキャンにおける対象部位が「門脈相」である場合についても同様に適用が可能である。
ここで、学習機能352は、対象部位ごとに学習済みモデルM1を生成してもよい。例えば、学習機能352は、メインスキャンにおける対象部位及びプリスキャンにおける対象部位の組み合わせごとに学習済みモデルM1を生成して、生成した複数の学習済みモデルM1をモデル記憶回路34に記憶させる。そして、第2の検査において、決定機能353は、メインスキャンにおける対象部位及びプリスキャンにおける対象部位に応じて学習済みモデルM1を読み出し、読み出した学習済みモデルM1を用いて、第2の検査においてプリスキャンからメインスキャンへ移行する妥当なタイミングを決定する。この場合、X線診断システム1は、対象部位ごとに特化させた機械学習を実行することで、学習済みモデルM1の精度を向上させ、メインスキャンのタイミングをより適切に決定することができる。
更に、学習機能352は、造影剤の注入位置に応じて学習済みモデルM1を生成してもよい。例えば、メインスキャンにおける対象部位が「心臓」である場合においては、造影剤が被検体Pの右腕の静脈から注入される場合と、造影剤が被検体Pの左腕の静脈から注入される場合とがある。ここで、右腕の静脈から造影剤を注入した場合と左腕の静脈から造影剤を注入した場合とでは、造影剤が心臓に到達するまでの経路が異なるため、メインスキャンの適切なタイミングが変化する可能性がある。
例えば、学習機能352は、造影剤の注入位置である「右腕」及び「左腕」のそれぞれについて学習済みモデルM1を生成して、生成した複数の学習済みモデルM1をモデル記憶回路34に記憶させる。そして、第2の検査において、決定機能353は、造影剤の注入位置に応じて学習済みモデルM1を読み出し、読み出した学習済みモデルM1を用いて、第2の検査においてプリスキャンからメインスキャンへ移行する妥当なタイミングを決定する。この場合、X線診断システム1は、造影剤の注入位置ごとに特化させた学習済みモデルM1を使用して、メインスキャンのタイミングをより適切に決定することができる。
或いは、学習機能352は、造影剤の注入位置である「右腕」及び「左腕」を入力側の学習データとして使用して単一の学習済みモデルM1を生成し、生成した学習済みモデルM1をモデル記憶回路34に記憶させる。そして、第2の検査において、決定機能353は、造影剤の注入位置を含む入力データを学習済みモデルM1に入力して、第2の検査においてプリスキャンからメインスキャンへ移行する妥当なタイミングを決定する。この場合、X線診断システム1は、造影剤の注入位置の影響を学習した学習済みモデルM1を使用して、メインスキャンのタイミングをより適切に決定することができる。
更に、学習機能352は、被検体Pに関する情報(患者背景)に応じて、学習済みモデルM1を生成してもよい。例えば、被検体Pが「心臓」に疾患を有している場合、造影剤を注入してから、メインスキャンにおける対象部位に造影剤が到達するまでの時間が長くなる傾向がある。また、被検体Pの年齢や身長、体重、性別等に応じて血流の速度には差が生じ、造影剤を注入してからメインスキャンにおける対象部位に到達するまでの時間も変化する場合がある。
例えば、学習機能352は、患者背景に応じて被検体Pを複数の集団のうちのいずれかに分類し、当該複数の集団のそれぞれについて学習済みモデルM1を生成して、生成した複数の学習済みモデルM1をモデル記憶回路34に記憶させる。そして、第2の検査において、決定機能353は、患者背景に応じて学習済みモデルM1を読み出し、読み出した学習済みモデルM1を用いて、第2の検査においてプリスキャンからメインスキャンへ移行する妥当なタイミングを決定する。この場合、X線診断システム1は、患者背景ごとに特化させた学習済みモデルM1を使用して、メインスキャンのタイミングをより適切に決定することができる。
或いは、学習機能352は、患者背景を入力側の学習データとして使用して単一の学習済みモデルM1を生成し、生成した学習済みモデルM1をモデル記憶回路34に記憶させる。そして、第2の検査において、決定機能353は、患者背景を含む入力データを学習済みモデルM1に入力して、第2の検査においてプリスキャンからメインスキャンへ移行する妥当なタイミングを決定する。この場合、X線診断システム1は、患者背景の影響を学習した学習済みモデルM1を使用して、メインスキャンのタイミングをより適切に決定することができる。
また、これまで、取得機能351がX線CT装置10から時系列の画像データ群を取得するとともに関心領域を設定し、時系列の画像データ群に基づいて関心領域内のHU値を時間軸に対応付けてプロットすることにより、TDCを取得するものとして説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、取得機能351は、X線CT装置10から、X線CT装置10において生成されたTDCを取得することとしてもよい。
また、取得機能351は、X線CT装置10において設定された関心領域に基づいてTDCを生成してもよい。例えば、取得機能351は、X線CT装置10において時系列の画像データ群に基づいて生成された、関心領域に対応するデータ群を取得し、取得したデータ群に基づいて関心領域内のHU値を時間軸に対応付けてプロットすることにより、TDCを取得する。
なお、時系列の画像データ群に基づいて生成された、関心領域に対応する時系列のデータ群については、部分画像データ群とも記載する。部分画像データは、画像データ上に関心領域の位置情報が付加されたデータであってもよいし、画像データから関心領域に対応する部分を切り出したデータであってもよい。例えば、取得機能351は、X線CT装置10から時系列の部分画像データ群を取得し、取得した時系列の部分画像データ群に基づいてTDCを取得する。
また、これまで、プリスキャンにより取得された時系列の画像データ群に基づいて生成された、被検体Pの関心領域内の信号強度に関する時系列の情報として、TDCについて説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、取得機能351は、TDCに代えて、関心領域内のHU値を時系列的に示す数値データを取得してもよい。
別の例を挙げると、取得機能351は、被検体Pの関心領域内の信号強度に関する時系列の情報として、特定の信号値帯に関する情報を使用してもよい。以下、この点について図8を用いて説明する。図8は、第1の実施形態に係る特定の信号値帯に関する情報について説明するための図である。
図8の横軸の「Vol 1」~「Vol 12」は、時系列的に収集された画像データのそれぞれの画像番号を示す。即ち、図8の横軸は時間軸に対応する。また、図8の縦軸は、画素数に関する度数を示す。具体的には、図8の縦軸は、CT値が「0-50」の範囲となる画素の数、CT値が「51-100」の範囲となる画素の数、CT値が「101-150」の範囲となる画素の数、CT値が「151-200」の範囲となる画素の数、CT値が「251-300」の範囲となる画素の数、CT値が「301-350」の範囲となる画素の数、及び、CT値が「351-400」の範囲となる画素の数のそれぞれについて、「Vol 1」を基準とした度数を示す。
造影剤が注入された場合、図8に示すように、CT値が「151-200」の範囲となる画素の度数が増加する。即ち、造影剤が注入された場合、造影剤に対応する信号値帯の度数が増加することとなる。そこで、学習機能352は、特定の信号値帯に関する情報として、CT値が「151-200」の範囲となる画素の度数を取得する。なお、学習機能352は、CT値が「151-200」の範囲となる画素の度数として、図8に示すようなグラフを取得してもよいし、画像番号又は時間に対応付いた数値データを取得してもよい。そして、学習機能352は、CT値が「151-200」の範囲となる画素の度数を学習データとして使用して、学習済みモデルを生成する。
なお、CT値が「151-200」の範囲となる画素の度数を学習データとして使用する場合について説明したが、学習機能352は、更に、CT値が「251-300」の範囲となる画素の度数を学習データとして使用してもよい。即ち、取得機能351は、複数の信号値帯に関する情報を使用してもよい。また、図8に示したように、造影剤が注入された場合、造影剤に対応する信号値帯の度数が増加するとともに、他の信号値帯(例えば、CT値「0-50」など)の度数は減少する。そこで、学習機能352は、CT値が「0-50」の範囲となる画素の度数を学習データとして使用してもよい。
また、図4Aにおいては、プリスキャンからメインスキャンへ移行するタイミングとして、関心領域内の信号強度が閾値を超えたタイミングについて説明したが、実施形態はこれに限定されるものではない。例えば、決定機能353は、関心領域内の信号強度が閾値を超えた後に所定時間が経過したタイミングを、プリスキャンからメインスキャンへ移行するタイミングとして決定してもよい。この場合、学習機能352は、プリスキャンからメインスキャンへ移行したタイミングに関するタイミング情報として、関心領域内の信号強度が閾値を超えた後に所定時間が経過したタイミングを取得する。
(第2の実施形態)
上述した第1の実施形態では、妥当性に関する情報の例として、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングが、妥当性の高いタイミング、妥当性の高いタイミングに対して早いタイミング、及び、妥当性の高いタイミングに対して遅いタイミングのいずれに該当するかを示す情報について説明した。これに対して、第2の実施形態では、妥当性に関する情報の例として、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングと、妥当性の高いタイミングとの間の差について説明する。
第2の実施形態に係るX線診断システム1は、図1及び図2に示したX線診断システム1と同様の構成を有し、学習機能352及び決定機能353による処理の一部が相違する。以下、第1の実施形態において説明した構成と同様の構成を有する点については、図1及び図2と同一の符号を付し、説明を省略する。
以下、図9Aを用いて、被検体P21に対する検査E21において学習データを取得する場合について説明する。なお、被検体P21は、図2に示した被検体Pの一例である。また、図9Aは、第2の実施形態に係る学習データ取得の一例を示す図である。
検査E21において、システム制御機能144aは、まず、メインスキャンにおける対象部位とプリスキャンにおける対象部位とをそれぞれ設定する。以下では一例として、検査E21のメインスキャンにおける対象部位が「心臓」であり、検査E21のプリスキャンにおける対象部位が「大動脈」であるものとして説明する。次に、システム制御機能144aは、造影剤が注入された被検体P21の「大動脈」についてプリスキャンを実行する。また、システム制御機能144aによってプリスキャンが実行される間、DAS118は、X線検出器112における各検出素子からX線の信号を収集し、投影データを順次生成する。また、前処理機能144bは、DAS118から出力された投影データに対して前処理を順次施す。また、生成機能144cは、前処理が施された投影データに基づいて画像データを順次生成する。また、制御機能144dは、生成された画像データを医用情報処理装置30に対して順次送信する。また、取得機能351は、送信された画像データを順次取得する。また、取得機能351は、被検体P21の関心領域を設定する。
次に、取得機能351は、プリスキャンにより取得された時系列の画像データ群における関心領域の信号強度に基づいてTDCを取得する。例えば、取得機能351は、時系列の画像データ群における各画像データについて、関心領域内のHU値を時間軸に対応付けてプロットすることによりTDCを取得する。また、取得機能351は、X線CT装置10から新たに画像データを取得するごとに、新たに取得した画像データの関心領域内のHU値を時間軸に対応付けてプロットし、TDCを順次更新する。なお、以下では、図9AのタイミングT21まで更新されたTDCを、TDCC21と記載する。
図9Aにおいては、プリスキャンからメインスキャンへ移行するタイミングとして、タイミングT21が決定された場合について説明する。なお、図9Aにおいて、決定機能353は、閾値A11を用いてタイミングT21を決定してもよいし、学習済みモデルM1を用いてタイミングT21を決定してもよいし、後述する学習済みモデルM2を用いてタイミングT21を決定してもよい。
次に、決定機能353は、妥当性の高いタイミングTv21を特定する。ここで、妥当性の高いタイミングTv21とは、例えば、検査E21においてプリスキャンからメインスキャンへ移行するタイミングとして最適なタイミングである。例えば、決定機能353は、検査E21における検査目的と、検査E21において取得されたCT画像データI21とに基づいて、妥当性の高いタイミングTv21を特定する。
例えば、学習機能352は、CT画像データI21から、メインスキャンにおける対象部位「心臓」の形状データと、造影剤の分布とを取得する。次に、学習機能352は、「心臓」の形状データと造影剤の分布とを拘束条件として用いた流体シミュレーションを実行し、タイミングT21より早いタイミングでメインスキャンに移行していた場合に取得されたCT画像データ、及び、タイミングT21より遅いタイミングでメインスキャンに移行していた場合に取得されたCT画像データを推定する。そして、学習機能352は、推定したCT画像データと、検査E21における検査目的とに基づいて、妥当性の高いタイミングTv21を特定する。
一例を挙げると、検査E21において操作者が被検体P21の左心室を観察しようとしている場合、学習機能352は、CT画像データI21及び推定したCT画像データの中から、左心房が最も明瞭に描出されているCT画像データを特定する。そして、学習機能352は、特定したCT画像データに対応するタイミングを、妥当性の高いタイミングTv21として特定する。
次に、学習機能352は、妥当性の高いタイミングTv21と、検査E21においてプリスキャンからメインスキャンへ移行したタイミングT21との間の差を算出する。例えば、学習機能352は、タイミングTv21とタイミングT21との間の差として、「+1.5秒」を算出する。「+1.5秒」は、妥当性の高いタイミングTv21に対して、タイミングT21が1.5秒遅かったことを示す。換言すると、「+1.5秒」は、検査E21において1.5秒早くメインスキャンへ移行していれば、最適なCT画像データを取得できたことを示す。
学習機能352は、複数の検査について、検査E21と同様に、プリスキャンからメインスキャンへ移行したタイミングと、妥当性の高いタイミングとの間の差を算出する。例えば、検査E21とは別の検査E22において、取得機能351は、造影剤が注入された被検体P22に対して実行されたプリスキャンにより取得された時系列の画像データ群に基づいて、関心領域内のHU値を時間軸に対応付けてプロットすることによりTDCを取得する。なお、被検体P22は、図2に示した被検体Pの一例である。また、決定機能353は、検査E22においてプリスキャンからメインスキャンへ移行するタイミングとしてタイミングT22を決定するとともに、タイミングT22まで更新されたTDCC22を取得する。また、学習機能352は、検査E22における検査目的と、検査E22において取得されたCT画像データI22とに基づいて、検査E22における妥当性の高いタイミングTv22を特定する。そして、学習機能352は、妥当性の高いタイミングTv22と、検査E22においてプリスキャンからメインスキャンへ移行したタイミングT22との間の差を算出する。
例えば、学習機能352は、タイミングTv22とタイミングT22との間の差として「0秒」を算出する。「0秒」は、妥当性の高いタイミングTv22にタイミングT22が一致することを示す。換言すると、「0秒」は、検査E22において取得されたCT画像データI22が最適なCT画像データであったことを示す。
また、例えば、検査E21及び検査E22とは別の検査E23において、取得機能351は、造影剤が注入された被検体Pに対して実行されたプリスキャンにより取得された時系列の画像データ群に基づいて、関心領域内のHU値を時間軸に対応付けてプロットすることによりTDCを取得する。なお、被検体P23は、図2に示した被検体Pの一例である。また、決定機能353は、検査E23においてプリスキャンからメインスキャンへ移行するタイミングとしてタイミングT23を決定するとともに、タイミングT23まで更新されたTDCC23を取得する。また、学習機能352は、検査E23における検査目的と、検査E23において取得されたCT画像データI23とに基づいて、検査E23における妥当性の高いタイミングTv23を特定する。そして、学習機能352は、妥当性の高いタイミングTv23と、検査E23においてプリスキャンからメインスキャンへ移行したタイミングT23との間の差を算出する。
例えば、学習機能352は、タイミングTv23とタイミングT23との間の差として「-1秒」を算出する。「-1秒」は、妥当性の高いタイミングTv23に対して、タイミングT23が1秒早かったことを示す。換言すると、「-1秒」は、検査E23において1秒遅くメインスキャンへ移行していれば、最適なCT画像データを取得できたことを示す。
次に、学習機能352は、プリスキャンにより取得された時系列の画像群に基づいて生成された、関心領域内の信号強度に関する時系列の情報と、プリスキャンからメインスキャンへ移行したタイミングに関するタイミング情報とを入力側の学習データとして使用し、プリスキャンからメインスキャンへ移行したタイミングの妥当性に関する情報を出力側の学習データとして使用し、プリスキャンからメインスキャンへ移行する妥当なタイミングを決定するための学習済みモデルM2を生成する。
例えば、学習機能352は、図9Bに示すように、検査E21において取得したTDCC21と、検査E21においてプリスキャンからメインスキャンへ移行したタイミングT21とを、入力側の学習データとして使用する。また、学習機能352は、検査E21において取得した、タイミングTv21とタイミングT21との間の差「+1.5秒」を出力側の学習データとして使用する。なお、図9Bは、第2の実施形態に係る学習済みモデルM2の生成に用いる学習データの例を示す図である。
また、学習機能352は、検査E22において取得したTDCC22と、検査E22においてプリスキャンからメインスキャンへ移行したタイミングT22とを、入力側の学習データとして使用する。また、学習機能352は、検査E22において取得した、タイミングTv22とタイミングT22との間の差「0秒」を出力側の学習データとして使用する。また、学習機能352は、検査E23において取得したTDCC23と、検査E23においてプリスキャンからメインスキャンへ移行したタイミングT23とを、入力側の学習データとして使用する。また、学習機能352は、検査E23において取得した、タイミングTv23とタイミングT23との間の差「-1秒」を出力側の学習データとして使用する。
例えば、学習機能352は、図9Bに示した学習データを用いて、多層のニューラルネットワークについて深層学習を実行することで、学習済みモデルM2を生成する。一例を挙げると、学習機能352は、図9Bに示した入力側の学習データをニューラルネットワークに入力する。ここで、ニューラルネットワークにおいては、例えば、入力層側から出力層側に向かって一方向に隣接層間でのみ結合しながら情報が伝播し、出力層からは、入力されたタイミングと、妥当性の高いタイミングとの差が出力される。そして、学習機能352は、図9Bに示した入力側の学習データを入力した際にニューラルネットワークが好ましい結果を出力することができるよう、ニューラルネットワークのパラメータを調整する。
例えば、学習機能352は、ニューラルネットワークからの出力と、図9Bに示した出力側データとの間の差を最小化するように、ニューラルネットワークのパラメータを調整する。これにより、学習機能352は、TDC及びタイミングの入力を受けて、入力されたタイミングと、妥当性の高いタイミングとの差を出力するように機能付けられた学習済みモデルM2を生成することができる。また、学習機能352は、生成した学習済みモデルM2をモデル記憶回路34に記憶させる。
なお、学習済みモデルM2が畳み込みニューラルネットワークにより構成される場合を例として説明したが、学習済みモデルM2は、再帰型ニューラルネットワークにより構成されてもよいし、ニューラルネットワーク以外の機械学習手法により生成されてもよい。また、学習済みモデルM2は、メインスキャンにおける対象部位及びプリスキャンにおける対象部位の組み合わせごとに生成されてもよい。
学習済みモデルM2が生成されてモデル記憶回路34に格納された後、決定機能353は、学習済みモデルM2を用いて、第2の検査においてプリスキャンからメインスキャンへ移行する妥当なタイミングを決定する。以下、図10を用いて、学習済みモデルM2の使用例を説明する。図10は、第2の実施形態に係る学習済みモデルM2の使用例を示す図である。なお、図10においては、被検体P24に対する検査E24において、学習済みモデルM2を使用して、プリスキャンからメインスキャンへ移行する妥当なタイミングを決定する場合について説明する。被検体P24は、図2に示した被検体Pの一例である。
検査E24において、システム制御機能144aは、まず、メインスキャンにおける対象部位とプリスキャンにおける対象部位とをそれぞれ設定する。以下では一例として、検査E24のメインスキャンにおける対象部位が「心臓」であり、検査E24のプリスキャンにおける対象部位が「大動脈」であるものとして説明する。次に、システム制御機能144aは、造影剤が注入された被検体P24の「大動脈」についてプリスキャンを実行する。また、システム制御機能144aによってプリスキャンが実行される間、DAS118は、X線検出器112における各検出素子からX線の信号を収集し、投影データを順次生成する。また、前処理機能144bは、DAS118から出力された投影データに対して前処理を順次施す。また、生成機能144cは、前処理が施された投影データに基づいて画像データを順次生成する。また、制御機能144dは、生成された画像データを医用情報処理装置30に対して順次送信する。また、取得機能351は、送信された画像データを順次取得する。また、取得機能351は、被検体P24の関心領域を設定する。
次に、取得機能351は、プリスキャンにより取得された時系列の画像データ群における関心領域の信号強度に基づいてTDCを取得する。例えば、取得機能351は、時系列の画像データ群における各画像データについて、関心領域内のHU値を時間軸に対応付けてプロットすることによりTDCを取得する。また、取得機能351は、X線CT装置10から新たに画像データを取得するごとに、新たに取得した画像データの関心領域内のHU値を時間軸に対応付けてプロットし、TDCを順次更新する。なお、以下では、図10のタイミングT24まで更新されたTDCを、TDCC24と記載する。
ここで、決定機能353は、取得したTDCを学習済みモデルM2に入力する。例えば、決定機能353は、タイミングT24において、図10に示したTDCC24を学習済みモデルM2に入力する。ここで、学習済みモデルM2は、TDCC24及びタイミングT24の入力を受けて、タイミングT24と、検査E24における妥当性の高いタイミングとの間の差「-1.5秒」を出力する。「-1.5秒」は、検査E24における妥当性の高いタイミングに対して、タイミングT24が1.5秒早いことを示す。換言すると、「-1.5秒」は、検査E24における妥当性の高いタイミングが、タイミングT24から1.5秒後であることを示す。この場合、決定機能353は、タイミングT24から1.5秒後のタイミングを、プリスキャンからメインスキャンへ移行する妥当なタイミングとして決定する。なお、以下では、タイミングT24から1.5秒後のタイミングをタイミングT241とも記載する。
なお、図10に示したタイミングT24は、プリセットされたタイミングであってもよいし、検査E24の最中に決定されるものであってもよい。例えば、タイミングT24は、被検体P24に造影剤が注入されてから所定時間が経過したタイミングである。別の例を挙げると、学習済みモデルM2は、入力されたタイミングと妥当性の高いタイミングとの差を確度付きで出力する。この場合、決定機能353は、取得したTDCを学習済みモデルM2に順次入力し、学習済みモデルM2から出力された確度が閾値を超えたタイミングをタイミングT24として決定する。
また、制御機能354は、決定されたタイミングT241をX線CT装置10に対して送信する。また、X線CT装置10は、タイミングT241においてプリスキャンからメインスキャンへ移行し、CT画像データI241(図示せず)を取得する。即ち、X線CT装置10は、学習済みモデルM2を用いて決定されたタイミングT241においてプリスキャンからメインスキャンへ移行し、CT画像データI241を取得する。なお、メインスキャンへの移行に伴ってプリスキャンは終了し、TDCの更新も終了する。
別の例を挙げると、決定機能353は、取得したTDCを、順次、学習済みモデルM1に入力する。また、学習済みモデルM2は、入力されたタイミングと、検査E24における妥当性の高いタイミングとの間の差を順次出力する。そして、決定機能353は、学習済みモデルM2から出力される差が略「0」となったタイミングを、プリスキャンからメインスキャンへ移行する妥当なタイミングとして決定する。なお、以下では、検査E24において学習済みモデルM2から出力される差が略「0」となったタイミングを、タイミングT242とも記載する。
また、制御機能354は、決定されたタイミングT242をX線CT装置10に対して送信する。また、X線CT装置10は、学習済みモデルM2を用いて決定されたタイミングT242においてプリスキャンからメインスキャンへ移行し、CT画像データI242(図示せず)を取得する。即ち、X線CT装置10は、学習済みモデルM2から出力される差が略「0」となったことをトリガとしてプリスキャンからメインスキャンへ移行し、CT画像データI242を取得する。なお、メインスキャンへの移行に伴ってプリスキャンは終了し、TDCの更新も終了する。
更に、学習機能352は、検査E24において取得された学習データを用いて、学習済みモデルM2を生成してもよい。例えば、学習機能352は、検査E24における検査目的と、検査E24において取得されたCT画像データI241とに基づいて、タイミングT241の妥当性に関する情報を取得する。また、学習機能352は、検査E24においてタイミングT241まで更新されたTDCと、検査E24においてプリスキャンからメインスキャンへ移行したタイミングT241とを入力側の学習データとして使用し、タイミングT241の妥当性に関する情報を出力側の学習データとして使用して、学習済みモデルM2を更新する。或いは、学習機能352は、検査E24における検査目的と、検査E24において取得されたCT画像データI242とに基づいて、タイミングT242の妥当性に関する情報を取得する。また、学習機能352は、検査E24においてタイミングT242まで更新されたTDCと、検査E24においてプリスキャンからメインスキャンへ移行したタイミングT242とを入力側の学習データとして使用し、タイミングT242の妥当性に関する情報を出力側の学習データとして使用して、学習済みモデルM2を更新する。即ち、学習機能352は、検査E24について学習済みモデルM2を使用した後、検査E24から学習データを取得する。この場合、検査E24は、第1の検査及び第2の検査の双方に該当することとなる。なお、学習機能352は、1つの検査E24から取得された学習データに基づいて、複数の学習データを生成してもよい。
上述したように、第2の実施形態に係るX線診断システム1は、取得機能351が取得したTDCと、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングに関するタイミング情報とを入力側の学習データとして使用し、プリスキャンからメインスキャンへ移行したタイミングの妥当性に関する情報を出力側の学習データとして使用して、第2の検査においてプリスキャンからメインスキャンへ移行する妥当なタイミングを決定するための学習済みモデルM2を生成する。また、プリスキャンからメインスキャンへ移行したタイミングの妥当性に関する情報は、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングと、妥当性の高いタイミングとの間の差を含む。従って、第2の実施形態に係るX線診断システム1は、学習済みモデルM2により、メインスキャンのタイミングを適切に決定することができる。
例えば、X線診断システム1は、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングと、第1の検査における妥当性の高いタイミングとの間の差を示す具体的な数値を学習データとして用いて機械学習を実行し、学習済みモデルM2を生成する。これにより、X線診断システム1は、学習済みモデルM2の精度を向上させ、メインスキャンのタイミングをより適切に決定することを可能とする。
なお、取得機能351がX線CT装置10から時系列の画像データ群を取得するとともに関心領域を設定して、TDCを取得する場合について説明したが、実施形態はこれに限定されるものではない。例えば、取得機能351は、X線CT装置10から、X線CT装置10において生成されたTDCを取得してもよい。また、例えば、取得機能351は、X線CT装置10から時系列の部分画像データ群を取得し、取得した時系列の部分画像データ群に基づいてTDCを取得してもよい。また、取得機能351は、関心領域内の信号強度に関する時系列の情報として、TDC以外のデータを取得してもよい。
(第3の実施形態)
上述した第1~2の実施形態では、学習済みモデルの生成に使用する入力側の学習データとして、関心領域内の信号強度に関する時系列の情報を使用する場合について説明した。これに対して、第3の実施形態では、入力側の学習データとして、時系列の部分画像データ群を使用する場合について説明する。
第3の実施形態に係るX線診断システム1は、図1及び図2に示したX線診断システム1と同様の構成を有し、学習機能352及び決定機能353による処理の一部が相違する。以下、第1~第2の実施形態において説明した構成と同様の構成を有する点については、図1及び図2と同一の符号を付し、説明を省略する。
以下、被検体P31に対する検査E31において学習データを取得する場合について説明する。なお、被検体P31は、図2に示した被検体Pの一例である。検査E31において、システム制御機能144aは、まず、メインスキャンにおける対象部位とプリスキャンにおける対象部位とをそれぞれ設定する。以下では一例として、検査E31のメインスキャンにおける対象部位が「心臓」であり、検査E31のプリスキャンにおける対象部位が「大動脈」であるものとして説明する。次に、システム制御機能144aは、造影剤が注入された被検体P31の「大動脈」についてプリスキャンを実行する。また、システム制御機能144aによってプリスキャンが実行される間、DAS118は、X線検出器112における各検出素子からX線の信号を収集し、投影データを順次生成する。また、前処理機能144bは、DAS118から出力された投影データに対して前処理を順次施す。また、生成機能144cは、前処理が施された投影データに基づいて画像データを順次生成する。また、制御機能144dは、生成された画像データを医用情報処理装置30に対して順次送信する。また、取得機能351は、送信された画像データを順次取得する。
また、取得機能351は、被検体P31の関心領域を設定する。即ち、取得機能351は、X線CT装置10から時系列の画像データ群を取得するとともに関心領域を設定することで、関心領域に対応する時系列の部分画像データ群を取得する。なお、取得機能351は、時系列の画像データ群に代えて、X線CT装置10から時系列の部分画像データ群を取得してもよい。
次に、決定機能353は、検査E31においてプリスキャンからメインスキャンへ移行するタイミングを決定する。以下では、検査E31においてプリスキャンからメインスキャンへ移行するタイミングとして、タイミングT31が決定された場合について説明する。なお、決定機能353は、閾値A11を用いてタイミングT31を決定してもよいし、学習済みモデルM1を用いてタイミングT31を決定してもよいし、学習済みモデルM2を用いてタイミングT31を決定してもよいし、後述する学習済みモデルM3を用いてタイミングT31を決定してもよい。
次に、学習機能352は、検査E31においてプリスキャンからメインスキャンへ移行したタイミングT31の妥当性に関する情報を取得する。例えば、学習機能352は、検査E31における検査目的と、検査E31においてメインスキャンにより取得されたCT画像データI31とに基づいて、タイミングT31の妥当性に関する情報を取得する。例えば、学習機能352は、タイミングT31の妥当性に関する情報として、タイミングT31が「妥当」、「早い」及び「遅い」のいずれのクラスに該当するかを示す情報を取得する。或いは、学習機能352は、タイミングT31の妥当性に関する情報として、タイミングT31と、検査E31における妥当性の高いタイミングとの間の差を取得する。
次に、学習機能352は、時系列の部分画像データ群と、プリスキャンからメインスキャンへ移行したタイミングに関するタイミング情報とを入力側の学習データとして使用し、プリスキャンからメインスキャンへ移行したタイミングの妥当性に関する情報を出力側の学習データとして使用し、プリスキャンからメインスキャンへ移行する妥当なタイミングを決定するための学習済みモデルM3を生成する。例えば、学習機能352は、検査E31において取得した部分画像データ群と、検査E31においてプリスキャンからメインスキャンへ移行したタイミングT31とを、入力側の学習データとして使用する。また、学習機能352は、タイミングT31の妥当性に関する情報を出力側の学習データとして使用する。
例えば、学習機能352は、多層のニューラルネットワークについて深層学習を実行することで、学習済みモデルM3を生成する。一例を挙げると、学習機能352は、検査E31において取得した部分画像データ群とタイミングT31とをニューラルネットワークに入力する。ここで、ニューラルネットワークにおいては、例えば、入力層側から出力層側に向かって一方向に隣接層間でのみ結合しながら情報が伝播する。
例えば、ニューラルネットワークの複数の中間層においては、関心領域について畳み込み及びプーリングによる特徴抽出が行われ、全結合層においてクラス分類が行われる。そして、ニューラルネットワークの出力層からは、「早い」、「妥当」及び「遅い」の3クラスへの分類結果が出力される。そして、学習機能352は、入力側の学習データを入力した際にニューラルネットワークが好ましい結果を出力することができるよう、ニューラルネットワークのパラメータを調整する。例えば、学習機能352は、ニューラルネットワークからの出力と出力側データとの不整合を解消するように、ニューラルネットワークのパラメータを調整する。これにより、学習機能352は、部分画像データ群及びタイミングの入力を受けて、入力されたタイミングが「早い」、「妥当」及び「遅い」のいずれのクラスに該当するかを出力するように機能付けられた学習済みモデルM31を生成することができる。また、学習機能352は、生成した学習済みモデルM31をモデル記憶回路34に記憶させる。なお、学習済みモデルM31は、学習済みモデルM3の一例である。
なお、畳み込みニューラルネットワークにより構成される学習済みモデルM31を例として説明したが、実施形態はこれに限定されるものではない。例えば、学習済みモデルM3は、再帰型ニューラルネットワークにより構成されてもよいし、ニューラルネットワーク以外の機械学習手法により生成されてもよい。また、学習済みモデルM3は、メインスキャンにおける対象部位及びプリスキャンにおける対象部位の組み合わせごとに生成されてもよい。
学習済みモデルM3が生成されてモデル記憶回路34に格納された後、決定機能353は、学習済みモデルM3を用いて、第2の検査においてプリスキャンからメインスキャンへ移行する妥当なタイミングを決定する。例えば、決定機能353は、被検体P32に対する検査E32において、学習済みモデルM3を使用して、プリスキャンからメインスキャンへ移行する妥当なタイミングを決定する。なお、被検体P32は、図2に示した被検体Pの一例である。
検査E32において、システム制御機能144aは、まず、メインスキャンにおける対象部位とプリスキャンにおける対象部位とをそれぞれ設定する。以下では一例として、検査E32のメインスキャンにおける対象部位が「心臓」であり、検査E32のプリスキャンにおける対象部位が「大動脈」であるものとして説明する。次に、システム制御機能144aは、造影剤が注入された被検体P32の「大動脈」についてプリスキャンを実行する。また、システム制御機能144aによってプリスキャンが実行される間、DAS118は、X線検出器112における各検出素子からX線の信号を収集し、投影データを順次生成する。また、前処理機能144bは、DAS118から出力された投影データに対して前処理を順次施す。また、生成機能144cは、前処理が施された投影データに基づいて画像データを順次生成する。また、制御機能144dは、生成された画像データを医用情報処理装置30に対して順次送信する。また、取得機能351は、送信された画像データを順次取得する。
また、取得機能351は、被検体P32の関心領域を設定する。即ち、取得機能351は、X線CT装置10から時系列の画像データ群を取得するとともに関心領域を設定することで、関心領域に対応する時系列の部分画像データ群を取得する。ここで、時系列の部分画像データ群は、取得機能351がX線CT装置10から新たに画像データを取得するごとに更新されることとなる。
或いは、取得機能351は、時系列の画像データ群に代えて、X線CT装置10から時系列の部分画像データ群を取得してもよい。この場合、取得機能351が取得した時系列の部分画像データ群は、取得機能351がX線CT装置10から新たに部分画像データを取得するごとに更新されることとなる。
次に、決定機能353は、取得した時系列の部分画像データ群を学習済みモデルM3に入力することにより、検査E32においてプリスキャンからメインスキャンへ移行する妥当なタイミングT32を決定する。また、制御機能354は、決定されたタイミングT32をX線CT装置10に対して送信する。また、X線CT装置10は、タイミングT32においてプリスキャンからメインスキャンへ移行し、CT画像データI32(図示せず)を取得する。即ち、X線CT装置10は、学習済みモデルM3を用いて決定されたタイミングT32においてプリスキャンからメインスキャンへ移行し、CT画像データI32を取得する。なお、メインスキャンへの移行に伴ってプリスキャンは終了し、時系列の部分画像データ群の更新も終了する。
更に、学習機能352は、検査E32において取得された学習データを用いて、学習済みモデルM3を生成してもよい。例えば、学習機能352は、検査E32における検査目的と、検査E32において取得されたCT画像データI32とに基づいて、タイミングT32の妥当性に関する情報を取得する。また、学習機能352は、検査E32においてタイミングT32まで更新された時系列の部分画像データ群と、検査E32においてプリスキャンからメインスキャンへ移行したタイミングT32とを入力側の学習データとして使用し、タイミングT32の妥当性に関する情報を出力側の学習データとして使用して、学習済みモデルM3を更新する。即ち、学習機能352は、検査E32について学習済みモデルM3を使用した後、検査E32から学習データを取得する。この場合、検査E32は、第1の検査及び第2の検査の双方に該当することとなる。なお、学習機能352は、1つの検査E32から取得された学習データに基づいて、複数の学習データを生成してもよい。
上述したように、第3の実施形態によれば、取得機能351は、X線診断システム1を使用した第1の検査において、造影剤が注入された被検体に対して実行されたプリスキャンにより取得された時系列の画像データ群に基づいて生成された、被検体の関心領域に対応する時系列の部分画像データ群を取得する。また、学習機能352は、取得機能351が取得した時系列の部分画像データ群と、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングに関するタイミング情報とを入力側の学習データとして使用し、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングの妥当性に関する情報を出力側の学習データとして使用して、第2の検査においてプリスキャンからメインスキャンへ移行する妥当なタイミングを決定するための学習済みモデルM3を生成する。従って、第3の実施形態に係るX線診断システム1は、被検体Pの関心領域内の信号強度に関する時系列の情報を取得せずとも、学習済みモデルM3により、メインスキャンのタイミングを適切に決定することができる。
(第4の実施形態)
上述した第1~3の実施形態では、学習済みモデルの生成に使用する入力側の学習データとして、関心領域内の信号強度に関する時系列の情報、又は、時系列の部分画像データ群を使用する場合について説明した。これに対して、第4の実施形態では、入力側の学習データとして、時系列の画像データ群を使用する場合について説明する。
第4の実施形態に係るX線診断システム1は、図1及び図2に示したX線診断システム1と同様の構成を有し、学習機能352及び決定機能353による処理の一部が相違する。以下、第1~第2の実施形態において説明した構成と同様の構成を有する点については、図1及び図2と同一の符号を付し、説明を省略する。
以下、被検体P41に対する検査E41において学習データを取得する場合について説明する。なお、被検体P41は、図2に示した被検体Pの一例である。検査E41において、システム制御機能144aは、まず、メインスキャンにおける対象部位とプリスキャンにおける対象部位とをそれぞれ設定する。以下では一例として、検査E41のメインスキャンにおける対象部位が「心臓」であり、検査E41のプリスキャンにおける対象部位が「大動脈」であるものとして説明する。次に、システム制御機能144aは、造影剤が注入された被検体P41の「大動脈」についてプリスキャンを実行する。また、システム制御機能144aによってプリスキャンが実行される間、DAS118は、X線検出器112における各検出素子からX線の信号を収集し、投影データを順次生成する。また、前処理機能144bは、DAS118から出力された投影データに対して前処理を順次施す。また、生成機能144cは、前処理が施された投影データに基づいて画像データを順次生成する。また、制御機能144dは、生成された画像データを医用情報処理装置30に対して順次送信する。また、取得機能351は、送信された画像データを順次取得する。
次に、決定機能353は、検査E41においてプリスキャンからメインスキャンへ移行するタイミングを決定する。以下では、検査E41においてプリスキャンからメインスキャンへ移行するタイミングとして、タイミングT41が決定された場合について説明する。なお、決定機能353は、閾値A11を用いてタイミングT41を決定してもよいし、学習済みモデルM1を用いてタイミングT41を決定してもよいし、学習済みモデルM2を用いてタイミングT41を決定してもよいし、学習済みモデルM3を用いてタイミングT41を決定してもよいし、後述する学習済みモデルM4を用いてタイミングT41を決定してもよい。
次に、学習機能352は、検査E41においてプリスキャンからメインスキャンへ移行したタイミングT41の妥当性に関する情報を取得する。例えば、学習機能352は、検査E41における検査目的と、検査E41においてメインスキャンにより取得されたCT画像データI41とに基づいて、タイミングT41の妥当性に関する情報を取得する。例えば、学習機能352は、タイミングT41の妥当性に関する情報として、タイミングT41が「妥当」、「早い」及び「遅い」のいずれのクラスに該当するかを示す情報を取得する。或いは、学習機能352は、タイミングT41の妥当性に関する情報として、タイミングT41と、検査E41における妥当性の高いタイミングとの間の差を取得する。
次に、学習機能352は、時系列の画像データ群と、プリスキャンからメインスキャンへ移行したタイミングに関するタイミング情報とを入力側の学習データとして使用し、プリスキャンからメインスキャンへ移行したタイミングの妥当性に関する情報を出力側の学習データとして使用し、プリスキャンからメインスキャンへ移行する妥当なタイミングを決定するための学習済みモデルM4を生成する。例えば、学習機能352は、検査E41において取得した画像データ群と、検査E41においてプリスキャンからメインスキャンへ移行したタイミングT41とを、入力側の学習データとして使用する。また、学習機能352は、タイミングT41の妥当性に関する情報を出力側の学習データとして使用する。
例えば、学習機能352は、多層のニューラルネットワークについて深層学習を実行することで、学習済みモデルM4を生成する。一例を挙げると、学習機能352は、検査E41において取得した画像データ群とタイミングT41とをニューラルネットワークに入力する。ここで、ニューラルネットワークにおいては、例えば、入力層側から出力層側に向かって一方向に隣接層間でのみ結合しながら情報が伝播する。
例えば、ニューラルネットワークの複数の中間層においては、画像データについて畳み込み及びプーリングによる特徴抽出が行われ、全結合層においてクラス分類が行われる。そして、ニューラルネットワークの出力層からは、「早い」、「妥当」及び「遅い」の3クラスへの分類結果が出力される。そして、学習機能352は、入力側の学習データを入力した際にニューラルネットワークが好ましい結果を出力することができるよう、ニューラルネットワークのパラメータを調整する。例えば、学習機能352は、ニューラルネットワークからの出力と出力側データとの不整合を解消するように、ニューラルネットワークのパラメータを調整する。これにより、学習機能352は、画像データ群及びタイミングの入力を受けて、入力されたタイミングが「早い」、「妥当」及び「遅い」のいずれのクラスに該当するかを出力するように機能付けられた学習済みモデルM41を生成することができる。また、学習機能352は、生成した学習済みモデルM41をモデル記憶回路34に記憶させる。なお、学習済みモデルM41は、学習済みモデルM4の一例である。
なお、畳み込みニューラルネットワークにより構成される学習済みモデルM41を例として説明したが、実施形態はこれに限定されるものではない。例えば、学習済みモデルM4は、再帰型ニューラルネットワークにより構成されてもよいし、ニューラルネットワーク以外の機械学習手法により生成されてもよい。また、学習済みモデルM4は、メインスキャンにおける対象部位及びプリスキャンにおける対象部位の組み合わせごとに生成されてもよい。また、学習済みモデルM4は、画像データ群の入力を受けて関心領域を特定するように機能付けられた学習済みモデルと、学習済みモデルM3との組み合わせにより構成されてもよい。
学習済みモデルM4が生成されてモデル記憶回路34に格納された後、決定機能353は、学習済みモデルM4を用いて、第2の検査においてプリスキャンからメインスキャンへ移行する妥当なタイミングを決定する。例えば、決定機能353は、被検体P42に対する検査E42において、学習済みモデルM4を使用して、プリスキャンからメインスキャンへ移行する妥当なタイミングを決定する。なお、被検体P42は、図2に示した被検体Pの一例である。
検査E42において、システム制御機能144aは、まず、メインスキャンにおける対象部位とプリスキャンにおける対象部位とをそれぞれ設定する。以下では一例として、検査E42のメインスキャンにおける対象部位が「心臓」であり、検査E42のプリスキャンにおける対象部位が「大動脈」であるものとして説明する。次に、システム制御機能144aは、造影剤が注入された被検体P42の「大動脈」についてプリスキャンを実行する。また、システム制御機能144aによってプリスキャンが実行される間、DAS118は、X線検出器112における各検出素子からX線の信号を収集し、投影データを順次生成する。また、前処理機能144bは、DAS118から出力された投影データに対して前処理を順次施す。また、生成機能144cは、前処理が施された投影データに基づいて画像データを順次生成する。また、制御機能144dは、生成された画像データを医用情報処理装置30に対して順次送信する。
また、取得機能351は、送信された画像データを順次取得する。即ち、取得機能351は、X線CT装置10から、時系列の画像データ群を取得する。ここで、取得機能351が取得した時系列の画像データ群は、X線CT装置10から新たに画像データを取得するごとに更新されることとなる。
次に、決定機能353は、取得した時系列の画像データ群を学習済みモデルM4に入力することにより、検査E42においてプリスキャンからメインスキャンへ移行する妥当なタイミングT42を決定する。また、制御機能354は、決定されたタイミングT42をX線CT装置10に対して送信する。また、X線CT装置10は、タイミングT42においてプリスキャンからメインスキャンへ移行し、CT画像データI42(図示せず)を取得する。即ち、X線CT装置10は、学習済みモデルM4を用いて決定されたタイミングT42においてプリスキャンからメインスキャンへ移行し、CT画像データI42を取得する。なお、メインスキャンへの移行に伴ってプリスキャンは終了し、時系列の部分画像データ群の更新も終了する。
更に、学習機能352は、検査E42において取得された学習データを用いて、学習済みモデルM4を生成してもよい。例えば、学習機能352は、検査E42における検査目的と、検査E42において取得されたCT画像データI42とに基づいて、タイミングT42の妥当性に関する情報を取得する。また、学習機能352は、検査E42においてタイミングT42まで更新された時系列の画像データ群と、検査E42においてプリスキャンからメインスキャンへ移行したタイミングT42とを入力側の学習データとして使用し、タイミングT42の妥当性に関する情報を出力側の学習データとして使用して、学習済みモデルM4を更新する。即ち、学習機能352は、検査E42について学習済みモデルM4を使用した後、検査E42から学習データを取得する。この場合、検査E42は、第1の検査及び第2の検査の双方に該当することとなる。なお、学習機能352は、1つの検査E42から取得された学習データに基づいて、複数の学習データを生成してもよい。
上述したように、第4の実施形態によれば、取得機能351は、X線診断システム1を使用した第1の検査において、造影剤が注入された被検体に対して実行されたプリスキャンにより取得された時系列の画像データ群を取得する。また、学習機能352は、取得機能351が取得した時系列の画像データ群と、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングに関するタイミング情報とを入力側の学習データとして使用し、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングの妥当性に関する情報を出力側の学習データとして使用して、第2の検査においてプリスキャンからメインスキャンへ移行する妥当なタイミングを決定するための学習済みモデルM4を生成する。従って、第4の実施形態に係るX線診断システム1は、学習済みモデルM4により、メインスキャンのタイミングを適切に決定することができる。
(第5の実施形態)
第5の実施形態では、X線CT装置10における撮影方式を更に考慮して、メインスキャンのタイミングを決定する場合について説明する。第5の実施形態に係るX線診断システム1は、図1及び図2に示したX線診断システム1と同様の構成を有し、学習機能352、決定機能353及び制御機能354による処理の一部が相違する。以下、第1の実施形態において説明した構成と同様の構成を有する点については、図1及び図2と同一の符号を付し、説明を省略する。
例えば、学習機能352は、第2の検査においてプリスキャンからメインスキャンへ移行する妥当なタイミングを決定するための学習済みモデルを、撮影方式ごとに生成する。例えば、学習機能352は、上述した学習済みモデルM1、学習済みモデルM2、学習済みモデルM3又は学習済みモデルM4を、撮影方式ごとに生成する。ここで、撮影方式とは、例えばヘリカルスキャンやボリュームスキャン等、X線CT装置10において実行されるCTスキャンの方式である。
なお、ヘリカルスキャンとは、X線CT装置10における回転部を回転させながら、図2に示したZ軸方向に天板133又は架台装置110を移動させる撮影方式である。ヘリカルスキャンによれば、X線検出器112の列方向のサイズを超える広い範囲についての撮影が可能である。ここで、ヘリカルスキャンにおいては、通常、Z軸方向における対象部位の位置がプリスキャンとメインスキャンとの間で異なる。この場合、プリスキャンからメインスキャンへ移行した後、更に、Z軸方向に天板133又は架台装置110を移動させてからCT画像データを取得することとなる。即ち、ヘリカルスキャンの場合には、メインスキャンへ移行してからCT画像データを取得するまでにタイムラグが生じる。
また、ボリュームスキャンとは、Z軸方向に天板133又は架台装置110を移動させることなく、回転部を回転させて実行される撮影方式である。ここで、ボリュームスキャンの場合には、通常、Z軸方向における撮影位置がプリスキャンとメインスキャンとの間で同じである。従って、ボリュームスキャンの場合には、メインスキャンへ移行してからCT画像データを取得するまでのタイムラグはほとんど生じない。
即ち、メインスキャンに移行してからCT画像データを取得するまでに生じるタイムラグは、撮影方式ごとに異なる。このため、プリスキャンからメインスキャンへ移行する妥当なタイミングも撮影方式ごとに異なることとなる。従って、学習機能352は、撮影方式ごとに学習済みモデルを生成することで、メインスキャンのタイミングをより適切に決定することを可能とする。
以下では一例として、学習済みモデルM1を生成する場合について説明する。例えば、学習機能352は、第1の検査において取得されたTDCを複数取得し、取得した複数のTDCを撮影方式ごとに分類する。そして、学習機能352は、分類されたTDCとタイミング情報とを入力側の学習データとして使用することで、撮影方式ごとに、学習済みモデルM1を生成する。即ち、学習機能352は、入力側の学習データに関する撮影方式を統一することで、撮影方式ごとに特化させた機械学習を実行し、学習済みモデルM1の精度を向上させる。一例を挙げると、学習機能352は、ヘリカルスキャンにより実行されるメインスキャンへ移行する妥当なタイミングを決定するための学習済みモデルM11と、ボリュームスキャンにより実行されるメインスキャンへ移行する妥当なタイミングを決定するための学習済みモデルM12とを生成する。
別の例を挙げると、学習機能352は、タイミングの妥当性に関する情報を撮影方式に応じて補正する。即ち、同一のタイミングであっても、メインスキャンがヘリカルスキャンであるかボリュームスキャンであるかにより、その妥当性も変化する場合がある。そして、学習機能352は、撮影方式の違いにより生じる妥当性の変化を考慮して、タイミングの妥当性に関する情報を補正する。
以下では一例として、被検体P51に対して実行された検査E51について説明する。なお、被検体P51は、図2に示した被検体Pの一例である。また、検査E51のメインスキャンは、ヘリカルスキャンにより実行されるものとして説明する。
検査E51において、取得機能351は、例えば、造影剤が注入された被検体P51に対して実行されたプリスキャンにより取得された時系列の画像データ群に基づいて、関心領域内のHU値を時間軸に対応付けてプロットすることにより、TDCを取得する。また、取得機能351は、X線CT装置10から新たに画像データを取得するごとに、新たに取得した画像データの関心領域内のHU値を時間軸に対応付けてプロットし、TDCを順次更新する。また、取得機能351は、TDCを学習済みモデルM11に入力することにより、検査E51においてメインスキャンへ移行する妥当なタイミングとして、タイミングT51を決定する。
また、制御機能354は、決定されたタイミングT51をX線CT装置10に対して送信する。また、X線CT装置10は、タイミングT51においてプリスキャンからメインスキャンへ移行し、ヘリカルスキャンを実行して、CT画像データI51(図示せず)を取得する。この場合、タイミングT51からCT画像データI51が取得されるまでの間には、プリスキャンの対象部位とメインスキャンの対象部位との間の距離に応じたタイムラグが生じている。また、メインスキャンへの移行に伴ってプリスキャンは終了し、TDCの更新も終了する。
次に、学習機能352は、検査E51から学習データを取得する。例えば、学習機能352は、検査E51における検査目的と検査E51において取得されたCT画像データI51とに基づき、タイミングT51について、ヘリカルスキャンにより実行されるメインスキャンへ移行するタイミングとしての妥当性に関する情報を取得する。なお、以下では、ヘリカルスキャンにより実行されるメインスキャンへ移行するタイミングとしての妥当性に関する情報を、妥当性に関する情報Ihとも記載する。即ち、学習機能352は、検査E51における検査目的と検査E51において取得されたCT画像データI51とに基づいて、妥当性に関する情報Ihを取得する。
更に、学習機能352は、妥当性に関する情報Ihを撮影方式に応じて補正することで、タイミングT51について、ボリュームスキャンにより実行されるメインスキャンへ移行するタイミングとしての妥当性に関する情報を取得する。なお、以下では、ボリュームスキャンにより実行されるメインスキャンへ移行するタイミングとしての妥当性に関する情報を、妥当性に関する情報Ivとも記載する。
即ち、学習機能352は、妥当性に関する情報Ihを撮影方式に応じて補正することで、妥当性に関する情報Ivを取得する。例えば、妥当性に関する情報Ihが「妥当」である場合、妥当性に関する情報Ivとして、「早い」を取得する。次に、学習機能352は、検査E51から取得した学習データを使用して、ヘリカルスキャンにより実行されるメインスキャンへ移行する妥当なタイミングを決定するための学習済みモデルM11と、ボリュームスキャンにより実行されるメインスキャンへ移行する妥当なタイミングを決定するための学習済みモデルM12とを生成する。
例えば、学習機能352は、検査E51においてタイミングT51まで更新されたTDCと、検査E51においてプリスキャンからメインスキャンへ移行したタイミングT51とを入力側の学習データとして使用し、タイミングT51の妥当性に関する情報Ihを出力側の学習データとして使用する。これにより、学習機能352は、ヘリカルスキャンにより実行されるメインスキャンへ移行する妥当なタイミングを決定するための学習済みモデルM11を生成する。
また、学習機能352は、検査E51においてタイミングT51まで更新されたTDCと、検査E51においてプリスキャンからメインスキャンへ移行したタイミングT51とを入力側の学習データとして使用し、タイミングT51の妥当性に関する情報Ivを出力側の学習データとして使用する。これにより、学習機能352は、ボリュームスキャンにより実行されるメインスキャンへ移行する妥当なタイミングを決定するための学習済みモデルM12を生成する。
即ち、学習機能352は、検査E51について学習済みモデルM1を使用した後、検査E24から、学習済みモデルM11の生成に使用する学習データと、学習済みモデルM12の生成に使用する学習データとを取得する。この場合、検査E51は、第1の検査及び第2の検査の双方に該当することとなる。なお、学習機能352は、1つの検査E24から取得された、学習済みモデルM11の生成に使用する学習データに基づいて、学習済みモデルM11の生成に使用する複数の学習データを生成してもよい。また、学習機能352は、1つの検査E24から取得された、学習済みモデルM12の生成に使用する学習データに基づいて、学習済みモデルM12の生成に使用する複数の学習データを生成してもよい。
別の例を挙げると、決定機能353は、プリスキャンからメインスキャンへ移行するタイミングとして決定したタイミングを、第2の検査の撮影方式に応じて補正する。以下では一例として、被検体P52に対して実行された検査E52について説明する。なお、被検体P52は、図2に示した被検体Pの一例である。また、検査E52のメインスキャンは、ボリュームスキャンにより実行されるものとして説明する。
検査E52において、取得機能351は、例えば、造影剤が注入された被検体P52に対して実行されたプリスキャンにより取得された時系列の画像データ群に基づいて、関心領域内のHU値を時間軸に対応付けてプロットすることにより、TDCを取得する。また、取得機能351は、X線CT装置10から新たに画像データを取得するごとに、新たに取得した画像データの関心領域内のHU値を時間軸に対応付けてプロットし、TDCを順次更新する。
また、決定機能353は、学習済みモデルM11にTDCを入力することにより、図11に示すタイミングT521を決定する。なお、以下では、タイミングT521まで更新されたTDCをTDCC52と記載する。図11は、第5の実施形態に係るプリスキャンからメインスキャンへ移行するタイミングの一例を示す図である。
図11に示すタイミングT521は、ヘリカルスキャンにより実行されるメインスキャンへ移行する妥当なタイミングとして決定されたタイミングである。ここで、検査E52のメインスキャンはボリュームスキャンにより実行されるものであるため、決定機能353は、撮影方式に応じてタイミングT521を補正する。例えば、ボリュームスキャンにおいては、メインスキャンに移行してからCT画像データを取得するまでに生じるタイムラグがヘリカルスキャンの場合よりも短く、メインスキャンに移行するタイミングはヘリカルスキャンの場合より遅くてよい。従って、決定機能353は、図11に示すように、タイミングT521をタイミングT522まで遅らせる。
また、制御機能354は、補正後のタイミングT522をX線CT装置10に対して送信する。また、X線CT装置10は、タイミングT522においてプリスキャンからメインスキャンへ移行し、ボリュームスキャンを実行して、CT画像データI52(図示せず)を取得する。この場合、タイミングT52からCT画像データI52が取得されるまでの間にタイムラグはほとんど生じない。また、メインスキャンへの移行に伴ってプリスキャンは終了し、TDCの更新も終了する。更に、学習機能352は、検査E52から学習データを取得することとしてもよい。
上述したように、第5の実施形態に係るX線診断システム1は、撮影方式ごとに学習済みモデルを生成する。従って、第5の実施形態に係るX線診断システム1は、撮影方式に応じて生じる違いを含めて学習させた学習済みモデルを生成し、メインスキャンのタイミングをより適切に決定することができる。
また、上述したように、第5の実施形態に係るX線診断システム1は、プリスキャンからメインスキャンへ移行するタイミングとして決定したタイミングを、第2の検査の撮影方式に応じて補正する。従って、第5の実施形態に係るX線診断システム1は、複数の学習済みモデルを生成することなく、撮影方式に応じて生じる違いを補正して、メインスキャンのタイミングをより適切に決定することができる。
(第6の実施形態)
これまで第1~第5の実施形態について説明したが、上述した第1~第5の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
例えば、上述した実施形態では、生成機能144cにより生成された時系列の画像データ群を学習データとして用いて学習済みモデルの生成を行なう場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、学習機能352は、生成機能144cにより生成された時系列の画像データ群を加工し、加工後の画像データ群を学習データとして用いて学習済みモデルを生成してもよい。なお、以下では、生成機能144cにより生成された時系列の画像データ群を原画像データ群とも記載する。
一例を挙げると、学習機能352は、生成機能144cにより生成された原画像データ群に体動成分を付加することで生成した画像データ群を学習データとして用いて、学習済みモデルを生成してもよい。ここで、体動成分とは、例えば、心拍や呼吸、嚥下、その他被検体Pが行なう各種の体動に起因する成分である。
例えば、学習機能352は、第1の検査における原画像データ群の収集時に体動があったことを仮定し、原画像データ群に含まれる一部又は全部の画像データについて、画像全体を平行移動させたり暈けさせたりすることで、体動成分を付加した画像データ群を生成する。そして、学習機能352は、体動成分を付加した画像データ群を学習データとして用いて、学習済みモデルを生成する。また、第2の検査において、決定機能353は、プリスキャンにより取得された時系列の画像データ群を含む入力データを学習済みモデルに入力して、第2の検査においてプリスキャンからメインスキャンへ移行する妥当なタイミングを決定する。
この場合、X線診断システム1は、第2の検査におけるプリスキャン時に体動があった場合でも、体動の影響を考慮してメインスキャンのタイミングをより適切に決定することを可能とする。即ち、プリスキャンにおいて固定の関心領域内の信号強度に基づいてメインスキャンのタイミングを決定する場合、体動があると関心領域と被検体Pとの位置関係が変化してしまい、メインスキャンのタイミングを適切に決定できなくなる場合がある。これに対し、X線診断システム1は、体動があった場合にはその動きを追跡して関心領域内の信号強度の監視を継続し、メインスキャンのタイミングを適切に決定することができる。
なお、時系列の原画像データ群に体動成分を付加することで生成した画像データ群を学習データとして使用する場合について説明したが、時系列の原画像データ群に体動成分を付加することで生成した画像データ群から部分画像データ群を生成し、当該部分画像データ群を学習データとして使用する場合であっても構わない。或いは、時系列の原画像データ群から時系列の部分画像データ群を生成し、時系列の部分画像データ群に体動成分を付加することで生成した部分画像データ群を学習データとして使用する場合であっても構わない。また、時系列の原画像データ群に体動成分を付加することで生成した画像データ群に基づいて生成された時系列の情報を学習データとして使用する場合であっても構わない。或いは、時系列の原画像データ群から時系列の情報を生成し、時系列の情報に体動成分を付加することで生成した時系列の情報を学習データとして使用する場合であっても構わない。
別の例を挙げると、学習機能352は、生成機能144cにより生成された原画像データ群にアーチファクトを付加することで生成した画像データ群を学習データとして用いて、学習済みモデルを生成してもよい。ここでアーチファクトの種類は特に限定されるものではなく、X線管111やX線検出器112等のハードウェアに起因するアーチファクトや、撮影条件に起因するアーチファクト、撮影対象に起因するアーチファクト(メタルアーチファクト等)、再構成法に起因するアーチファクト等のいずれであっても構わない。
一例を挙げると、時系列の画像データ群を収集する場合において、360°分の投影データが収集されるごとに再構成を行なうのではなく、より高いフレームレートで再構成を行なう技術が知られている。例えば、生成機能144cは、まず、360°の投影データを用いて第1の画像データを再構成する。次に、60°分の投影データが新たに収集された時点で、生成機能144cは、新たに収集された60°分の投影データによって先に使用した360°の投影データの一部を置換し、置換後の360°分の投影データを使用して第2の画像データを再構成する。この場合、生成機能144cは、360°の投影データが収集されるごとに、6つの画像データを再構成することができる。換言すると、新たに収集された60°分の投影データは、6つの画像データの再構成に使用されることとなる。ここで、新たに収集された60°分の投影データに不具合があった場合、この不具合は、6つの画像データのそれぞれに影響を及ぼすこととなる。例えば、新たに収集された60°分の投影データに不具合があった場合、6つの画像データのそれぞれについて管球位置に応じた線状の陰影が生じ、これら画像データを連続的に表示させた際にレーダー状のアーチファクトとなって表れる場合がある。学習機能352は、生成機能144cにより生成された原画像データ群にかかるレーダー状のアーチファクトを付加することで生成した画像データ群を学習データとして用いて、学習済みモデルを生成してもよい。
例えば、学習機能352は、アーチファクトを表わすアーチファクト画像を取得する。ここで、アーチファクト画像は、例えば、アーチファクトを含む画像データとアーチファクトを含まない画像データとの差分処理によって生成することができる。これらアーチファクトを含む画像データ及びアーチファクトを含まない画像データは、人体を模したファントムを撮影対象として収集したものであっても構わない。また、アーチファクト画像は、アーチファクトの種類ごとに生成することができる。
そして、学習機能352は、生成機能144cにより生成された原画像データ群とアーチファクト画像とを合成することで、原画像データ群にアーチファクトを付加する。また、学習機能352は、体動成分を付加した画像データ群を学習データとして用いて、学習済みモデルを生成する。また、第2の検査において、決定機能353は、プリスキャンにより取得された時系列の画像データ群を含む入力データを学習済みモデルに入力して、第2の検査においてプリスキャンからメインスキャンへ移行する妥当なタイミングを決定する。この場合、X線診断システム1は、第2の検査における原画像データ群にアーチファクトが含まれていた場合でも、アーチファクトの影響を考慮してメインスキャンのタイミングを適切に決定することができる。
別の例を挙げると、学習機能352は、第1の検査において生成機能144cにより生成された原画像データ群からアーチファクトを低減することで生成した画像データ群を学習データとして用いて、学習済みモデルを生成してもよい。また、第2の検査において、決定機能353は、プリスキャンにより取得された時系列の画像データ群に対してアーチファクトの低減処理を施し、アーチファクト低減後の画像データ群を含む入力データを学習済みモデルに入力して、第2の検査においてプリスキャンからメインスキャンへ移行する妥当なタイミングを決定する。この場合、X線診断システム1は、学習済みモデルの生成時及び使用時においてアーチファクトの影響を低減し、メインスキャンのタイミングを適切に決定することができる。
なお、これまで、時系列の原画像データ群にアーチファクトを付与、又は、時系列の原画像データ群からアーチファクトを低減することで生成した画像データ群を学習データとして使用する場合について説明したが、実施形態はこれに限定されるものではない。例えば、時系列の原画像データ群にアーチファクトを付与、又は、時系列の原画像データ群からアーチファクトを低減することで生成した画像データ群から部分画像データ群を生成し、当該部分画像データ群を学習データとして使用する場合であっても構わない。或いは、時系列の原画像データ群から時系列の部分画像データ群を生成し、時系列の部分画像データ群にアーチファクトを付与、又は、時系列の部分画像データ群からアーチファクトを低減することで生成した部分画像データ群を学習データとして使用する場合であっても構わない。
また、時系列の原画像データ群にアーチファクトを付与、又は、時系列の原画像データ群からアーチファクトを低減することで生成した画像データ群に基づいて生成された時系列の情報を学習データとして使用する場合であっても構わない。或いは、時系列の原画像データ群から時系列の情報を生成し、時系列の情報にアーチファクトを付与、又は、時系列の情報からアーチファクトを低減することで生成した時系列の情報を学習データとして使用する場合であっても構わない。例えば、時系列の情報としてTDCを使用する場合において、学習機能352は、X線管111の回転周期に合わせてTDCが変動するように加工を行なうことで、時系列の情報に上記のレーダー状のアーチファクトを付与する。
また、上述した実施形態にて説明した学習済みモデルは一例であり、適宜変更が可能である。例えば、上述した実施形態では、時系列の部分画像データ群と、プリスキャンからメインスキャンへ移行したタイミングに関するタイミング情報とを入力側の学習データとして使用し、プリスキャンからメインスキャンへ移行したタイミングの妥当性に関する情報を出力側の学習データとして使用して生成された、学習済みモデルM3について説明した。また、上述した実施形態では、時系列の画像データ群と、プリスキャンからメインスキャンへ移行したタイミングに関するタイミング情報とを入力側の学習データとして使用し、プリスキャンからメインスキャンへ移行したタイミングの妥当性に関する情報を出力側の学習データとして使用して生成された、学習済みモデルM4について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、時系列の部分画像データ群及び時系列の画像データ群と、プリスキャンからメインスキャンへ移行したタイミングに関するタイミング情報とを入力側の学習データとして使用し、プリスキャンからメインスキャンへ移行したタイミングの妥当性に関する情報を出力側の学習データとして、学習済みモデルを生成してもよい。
即ち、上述した実施形態にて説明した学習データについては、適宜組み合わせて使用することができる。換言すると、取得機能351は、第1の検査において、時系列の画像データ群、時系列の部分画像データ群、及び、関心領域内の時系列の情報のうち少なくとも1つを取得する。また、学習機能352は、第1の検査において取得された時系列の画像データ群、時系列の部分画像データ群、及び、関心領域内の時系列の情報のうち少なくとも1つと、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングに関するタイミング情報とを入力側の学習データとして使用し、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングの妥当性に関する情報を出力側の学習データとして使用して、第2の検査においてプリスキャンからメインスキャンへ移行する妥当なタイミングを決定するための学習済みモデルを生成する。
また、上述した実施形態では、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングに関するタイミング情報を入力側の学習データとして使用する場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、学習機能352は、タイミング情報に代えて、被検体の関心領域内の信号強度の値を使用する場合であってもよい。
例えば、学習機能352は、第1の検査において取得されたTDCと、取得したTDCが示す信号強度の最大値とを入力側の学習データとして使用し、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングを出力側の学習データとして使用して、学習済みモデルM5を生成する。なお、TDCが示す信号強度の最大値は、通常、最後に取得された画像データの関心領域内の信号強度である。例えば、学習済みモデルM5は、TDC及び信号強度の最大値の入力を受けて、入力された最大値が「低い」、「妥当」及び「高い」のいずれのクラスに該当するかを出力するように機能付けられる。
次に、取得機能351は、第2の検査においてTDCを取得し、決定機能353は、学習済みモデルM5にTDCを入力する。ここで、学習済みモデルM5は、入力されたTDCが示す信号強度の最大値が「低い」、「妥当」及び「高い」のいずれのクラスに該当するかを出力する。換言すると、学習済みモデルM5は、学習済みモデルM5が適宜調整する閾値を基準として、入力されたTDCが示す信号強度の最大値が「低い」、「妥当」及び「高い」のいずれのクラスに該当するかを出力する。そして、決定機能353は、学習済みモデルM5からの出力が「妥当」となったタイミングを、プリスキャンからメインスキャンへ移行するタイミングとして決定する。
また、上述した実施形態では、第2の検査において、プリスキャンからメインスキャンへ移行する妥当なタイミングを1つ決定する場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、メインスキャンにおける対象部位が複数ある場合、決定機能353は、プリスキャンからメインスキャンへ移行する妥当なタイミングを、複数の対象部位それぞれについて決定してもよい。
また、上述した実施形態では、医用情報処理装置30における処理回路35が、取得機能351、学習機能352及び決定機能353を実行する場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、X線CT装置10における処理回路144が、取得機能351、学習機能352及び決定機能353に対応する機能を実行する場合であってもよい。
例えば、処理回路144は、図12に示すように、システム制御機能144a、前処理機能144b、生成機能144c及び制御機能144dに加えて、取得機能144e、学習機能144f及び決定機能144gを更に実行する。取得機能144eは、取得機能351に対応した機能である。また、学習機能144fは、学習機能352に対応した機能である。また、決定機能144gは、決定機能353に対応した機能である。また、X線CT装置10は、図12に示すように、モデル記憶回路145を更に備える。なお、図12は、第6の実施形態に係るX線CT装置10の構成の一例を示すブロック図である。
一例を挙げると、第1の検査において、システム制御機能144aは、造影剤が注入された被検体に対してプリスキャンを実行し、時系列の画像データ群を取得する。また、取得機能144eは、時系列の画像データ群、時系列の部分画像データ群、及び、関心領域内の時系列の情報のうち少なくとも1つを取得する。また、学習機能352は、第1の検査において取得された時系列の画像データ群、時系列の部分画像データ群、及び、関心領域内の時系列の情報のうち少なくとも1つと、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングに関するタイミング情報とを入力側の学習データとして使用し、第1の検査においてプリスキャンからメインスキャンへ移行したタイミングの妥当性に関する情報を出力側の学習データとして使用して、第2の検査においてプリスキャンからメインスキャンへ移行する妥当なタイミングを決定するための学習済みモデルを生成する。また、学習機能352は、生成した学習済みモデルをモデル記憶回路145に記憶させる。
また、第2の検査において、システム制御機能144aは、造影剤が注入された被検体に対してプリスキャンを実行し、時系列の画像データ群を取得する。また、取得機能144eは、時系列の画像データ群、時系列の部分画像データ群、及び、関心領域内の時系列の情報のうち少なくとも1つを取得する。また、決定機能144gは、時系列の画像データ群、時系列の部分画像データ群、及び、関心領域内の時系列の情報のうち少なくとも1つを取得して学習済みモデルに入力することにより、第2の検査においてプリスキャンからメインスキャンへ移行する妥当なタイミングを決定する。また、システム制御機能144aは、決定機能144gにより決定されたタイミングにおいてプリスキャンからメインスキャンへ移行し、CT画像データを取得する。
また、上述した実施形態では、学習機能352又は学習機能144fが学習済みモデルを生成するものとして説明した。即ち、上述した実施形態では、X線診断システム1に含まれるいずれかの装置において、学習済みモデルが生成されるものとして説明した。しかしながら、実施形態はこれに限定されるものではなく、X線診断システム1に含まれる装置以外の外部装置において学習済みモデルが生成される場合であってもよい。例えば、X線診断システム1は、ネットワークNWを介して外部装置と接続される。また、外部装置は、学習済みモデルM1や学習済みモデルM2、学習済みモデルM3、学習済みモデルM4、学習済みモデルM5等の学習済みモデルを生成し、生成した学習済みモデルをX線診断システム1に含まれる装置に対して送信する。例えば、外部装置は、生成した学習済みモデルをX線CT装置10に対して送信する。この場合、取得機能144eは、外部装置において生成された学習済みモデルを取得し、取得した学習済みモデルをモデル記憶回路145に記憶させる。
また、上述した実施形態では、医用画像診断システムの例として、X線診断システム1について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、X線CT装置10に代えて、磁気共鳴イメージング(Magnetic Resonance Imaging:MRI)装置を備えたMRI診断システムについても同様に適用が可能である。
例えば、MRI装置においてメインスキャンを実行する際には、造影剤が注入された被検体に対してプリスキャンを実行して時系列の画像データ群が取得される。また、これら時系列の画像データ群に基づいてメインスキャンのタイミングが決定され、被検体に対して呼吸を止めるように指示が出される。そして、呼吸を止めた状態の被検体Pに対して、メインスキャンが実行される。ここで、上述した各種の学習済みモデルによれば、X線CT装置10の場合と同様にして、MRI装置におけるメインスキャンのタイミングを適切に決定することができる。
上述した実施形態におけるプリスキャンとメインスキャンは、単に時間的な前後関係を示す表現であり、スキャンの間の主従関係を示すものではない。
上述した実施形態に係る各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。即ち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。更に、各装置にて行われる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されうる。
また、上述した実施形態で説明した学習済みモデルの生成方法、及び、メインスキャンへ移行するタイミングの決定方法は、予め用意されたプログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD-ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
以上説明した少なくとも1つの実施形態によれば、メインスキャンのタイミングを適切に決定することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。