以下、図面を参照しながら、医用情報処理装置の実施形態について詳細に説明する。
実施形態に係る医用情報処理装置は、X線CT装置及びMRI装置等の医用診断装置の一部として設けられる場合がある。又は、実施形態に係る医用情報処理装置は、医用診断装置とネットワークで接続されたサーバ装置として設けられる場合がある。前者について第1の実施形態で後述する一方、後者について第2の実施形態で後述する。
1.第1の実施形態
第1の実施形態に係る医用情報処理装置は、X線CT装置及びMRI装置等の医用診断装置の一部として設けられる場合である。以下、第1の実施形態に係る医用情報処理装置が、X線CT装置の一部のコンソール装置として設けられる場合について説明するが、その場合に限定されるものではない。
なお、X線CT装置によるデータ収集方式には、X線源とX線検出器とが1体として被検体の周囲を回転する回転/回転(R-R:Rotate/Rotate)方式や、リング状に多数の検出素子がアレイされ、X線管のみが被検体の周囲を回転する固定/回転(S-R:Stationary/Rotate)方式等の様々な方式がある。いずれの方式でも本発明を適用可能である。以下、実施形態に係るX線CT装置では、現在、主流を占めている第3世代の回転/回転方式を採用する場合を例にとって説明する。
図1は、第1の実施形態に係る医用情報処理装置を備えたX線CT装置の構成を示す概略図である。
図1は、X線CT装置1を示す。X線CT装置1は、架台装置10と、寝台装置30と、第1の実施形態に係る医用情報処理装置の一例としてのコンソール装置40とを備える。架台装置10と、寝台装置30とは、検査室に設置される。コンソール装置40は、検査室に隣接する操作室に設置される。架台装置10は、寝台装置30に載置された被検体(例えば、患者)Pに関するX線の検出データ(「純生データ」とも呼ばれる)を取得する。コンソール装置40は、複数ビュー分の検出データに対して前処理を施すことで生データを生成し、生データに対して再構成処理を施すことでCT画像データを再構成して表示する。
なお、図1において、説明の便宜上、架台装置10を左側の上下に複数描画しているが、実際の構成としては、架台装置10は1つである。
架台装置10は、X線源(例えば、X線管)11と、X線検出器12と、回転部(例えば、回転フレーム)13と、X線高電圧装置14と、制御装置15と、ウェッジ16と、コリメータ17と、データ収集回路(DAS:Data Acquisition System)18とを備える。なお、架台装置10は、架台部の一例である。
X線管11は、回転フレーム13に備えられる。X線管11は、X線高電圧装置14からの高電圧の印加により、陰極(フィラメント)から陽極(ターゲット)に向けて熱電子を照射することでX線を発生する真空管である。例えば、X線管11には、回転する陽極に熱電子を照射することでX線を発生させる回転陽極型のX線管がある。
なお、実施形態においては、一管球型のX線CT装置にも、X線管とX線検出器との複数のペアを回転リングに搭載したいわゆる多管球型のX線CT装置にも適用可能である。また、X線を発生させるX線源は、X線管11に限定されるものではない。例えば、X線管11に替えて、電子銃から発生した電子ビームを収束させるフォーカスコイル、電磁偏向させる偏向コイル、患者Pの半周を囲い偏向した電子ビームが衝突することによってX線を発生させるターゲットリングを含む第5世代方式によりX線を発生させてもよい。なお、X線管11は、X線照射部の一例である。
X線検出器12は、X線管11に対向するように回転フレーム13に備えられる。X線検出器12は、X線管11から照射されたX線を検出し、当該X線量に対応した検出データを電気信号としてDAS18に出力する。X線検出器12は、例えば、X線管の焦点を中心として1つの円弧に沿ってチャネル方向に複数のX線検出素子が配列された複数のX線検出素子列を有する。X線検出器12は、例えば、チャネル方向に複数のX線検出素子が配列されたX線検出素子列がスライス方向(列方向、row方向)に複数配列された構造を有する。
また、X線検出器12は、例えば、グリッドと、シンチレータアレイと、光センサアレイとを有する間接変換型の検出器である。シンチレータアレイは、複数のシンチレータを有し、シンチレータは入射X線量に応じた光子量の光を出力するシンチレータ結晶を有する。グリッドは、シンチレータアレイのX線入射側の面に配置され、散乱X線を吸収する機能を有するX線遮蔽板を有する。なお、グリッドはコリメータ(1次元コリメータ又は2次元コリメータ)と呼ばれる場合もある。光センサアレイは、シンチレータからの光量に応じた電気信号に変換する機能を有し、例えば、光電子増倍管(フォトマルチプライヤー:PMT)等の光センサを有する。
なお、X線検出器12は、入射したX線を電気信号に変換する半導体素子を有する直接変換型の検出器であっても構わない。また、X線検出器12は、X線検出部の一例である。
回転フレーム13は、X線管11とX線検出器12とを対向支持する。回転フレーム13は、後述する制御装置15による制御の下、X線管11及びX線検出器12を一体として回転させる円環状のフレームである。なお、回転フレーム13は、X線管11とX線検出器12とに加えて、X線高電圧装置14やDAS18を更に備えて支持する場合もある。また、回転フレーム13は、回転部の一例である。
このように、X線CT装置1は、X線管11とX線検出器12とを対向させて支持する回転フレーム13を患者Pの周りに回転させることで、複数ビュー、即ち、患者Pの360°分の検出データを収集する。なお、CT画像データの再構成方式は、360°分の検出データを用いるフルスキャン再構成方式には限定されない。例えば、X線CT装置1は、半周(180°)+ファン角度分の検出データに基づいてCT画像データを再構成するハーフ再構成方式を採ってもよい。
X線高電圧装置14は、回転フレーム13、又は、回転フレーム13を回転可能に支持する非回転部分(例えば図示しない固定フレーム)に備えられる。X線高電圧装置14は、変圧器(トランス)及び整流器等の電気回路を有する。X線高電圧装置14は、後述する制御装置15による制御の下、X線管11に印加する高電圧を発生する機能を有する高電圧発生装置(図示省略)と、後述する制御装置15による制御の下、X線管11が照射するX線に応じた出力電圧の制御を行うX線制御装置(図示省略)を有する。高電圧発生装置は、変圧器方式であってもよいし、インバータ方式であっても構わない。なお、図1において、説明の便宜上、X線高電圧装置14が、X線管11に対してx軸の正方向の位置に配置されているが、X線管11に対してx軸の負方向の位置に配置されてもよい。
制御装置15は、処理回路及びメモリと、モータ及びアクチュエータ等の駆動機構とを有する。処理回路及びメモリの構成については、後述するコンソール装置40の処理回路45及びメモリ41と同等であるので説明を省略する。
制御装置15は、コンソール装置40に取り付けられた、後述する入力インターフェース43、又は、架台装置10に取り付けられた操作パネル(図示省略)からの入力信号を受けて、架台装置10と寝台装置30との動作制御を行う機能を有する。例えば、制御装置15は、入力信号を受けて回転フレーム13を回転させる制御や、架台装置10をチルトさせる制御や、寝台装置30と天板33とを動作させる制御を行う。なお、架台装置10をチルトさせる制御は、架台装置10に取り付けられた入力インターフェースによって入力される傾斜角度(チルト角度)情報により、制御装置15がX軸方向に平行な軸を中心に回転フレーム13を回転させることによって実現される。なお、制御装置15は、架台装置10に設けられてもよいし、コンソール装置40に設けられてもよい。なお、制御装置15は、制御部の一例である。
また、制御装置15は、コンソール装置40に取り付けられた、後述する入力インターフェース43、又は、架台装置10に取り付けられた操作パネルから入力された撮像条件に基づいて、X線管11の回転角度や、後述するウェッジ16及びコリメータ17の動作を制御する。
ウェッジ16は、X線管11のX線出射側に配置されるように回転フレーム13に備えられる。ウェッジ16は、制御装置15による制御の下、X線管11から照射されたX線量を調節するためのフィルタである。具体的には、ウェッジ16は、X線管11から患者Pに照射されるX線が予め定められた分布になるように、X線管11から照射されたX線を透過して減衰させるフィルタである。例えば、ウェッジ16(ウェッジフィルタ(Wedge Filter)、ボウタイフィルタ(bow-tie filter)は、所定のターゲット角度や所定の厚みとなるようにアルミニウムを加工したフィルタである。
コリメータ17は、X線絞り又はスリットとも呼ばれ、X線管11のX線出射側に配置されるように回転フレーム13に備えられる。コリメータ17は、制御装置15による制御の下、ウェッジ16を透過したX線の照射範囲を絞り込むための鉛板等であり、複数の鉛板等の組合せによってX線の照射開口を形成する。
DAS18は、回転フレーム13に備えられる。DAS18は、制御装置15による制御の下、X線検出器12の各X線検出素子から出力される電気信号に対して増幅処理を行う増幅器と、制御装置15による制御の下、電気信号をデジタル信号に変換するA/D(Analog to Digital)変換器とを有し、増幅及びデジタル変換後の検出データを生成する。DAS18によって生成された、複数ビュー分の検出データは、コンソール装置40に転送される。
ここで、DAS18によって生成された検出データは、回転フレーム13に設けられた発光ダイオード(LED)を有する送信機から光通信によって架台装置10の固定フレームに設けられたフォトダイオードを有する受信機に送信され、コンソール装置40に転送される。なお、回転フレーム13から架台装置10の固定フレームへの検出データの送信方法は、前述の光通信に限らず、非接触型のデータ伝送であれば如何なる方式を採用しても構わない。また、回転フレーム13は、回転部の一例である。
寝台装置30は、基台31と、寝台駆動装置32と、天板33と、支持フレーム34とを備える。寝台装置30は、スキャン対象の患者Pを載置し、制御装置15による制御の下、患者Pを移動させる装置である。
基台31は、支持フレーム34を鉛直方向(y軸方向)に移動可能に支持する筐体である。寝台駆動装置32は、患者Pが載置された天板33を天板33の長軸方向(z軸方向)に移動するモータ又はアクチュエータである。支持フレーム34の上面に設けられた天板33は、患者Pを載置可能な形状を有する板である。
なお、寝台駆動装置32は、天板33に加え、支持フレーム34を天板33の長軸方向(z軸方向)に移動させてもよい。また、寝台駆動装置32は、寝台装置30の基台31ごと移動させてもよい。本発明を立位CTに応用する場合、天板33に相当する患者移動機構を移動する方式であってもよい。また、ヘリカルスキャンや位置決め等のためのスキャノ撮像等、架台装置10の撮像系と天板33の位置関係の相対的な変更を伴う撮像を実行する場合は、当該位置関係の相対的な変更は天板33の駆動によって行われてもよいし、架台装置10の固定部の走行によって行われてもよく、またそれらの複合によって行われてもよい。
なお、実施形態では、非チルト状態での回転フレーム13の回転軸又は寝台装置30の天板33の長手方向をz軸方向、z軸方向に直交し、床面に対し水平である軸方向をx軸方向、z軸方向に直交し、床面に対し垂直である軸方向をy軸方向とそれぞれ定義するものとする。
コンソール装置40は、メモリ41と、ディスプレイ42と、入力インターフェース43と、ネットワークインターフェース44と、処理回路45とを備える。コンソール装置40は、コンソール装置とも呼ばれる。なお、コンソール装置40は、架台装置10とは別体として説明するが、架台装置10にコンソール装置40の各構成要素の一部が含まれてもよい。また、以下の説明では、コンソール装置40が単一のコンソールで全ての機能を実行するものとするが、これらの機能は、複数のコンソールが実行してもよい。
メモリ41は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、ハードディスク、光ディスク等によって構成される。メモリ41は、USB(Universal Serial Bus)メモリ及びDVD(Digital Video Disk)等の可搬型メディアによって構成されてもよい。メモリ41は、処理回路45において用いられる各種処理プログラム(アプリケーションプログラムの他、OS(Operating System)等も含まれる)や、プログラムの実行に必要なデータを記憶する。また、OSに、ユーザに対するディスプレイ42への情報の表示にグラフィックを多用し、基礎的な操作を入力インターフェース43によって行うことができるGUI(Graphic User Interface)を含めることもできる。
メモリ41は、例えば、前処理前の検出データや、前処理後かつ再構成前の生データや、生データに基づく再構成後のCT画像データを記憶する。前処理は、検出データに対する、対数変換処理、オフセット補正処理、チャンネル間の感度補正処理、ビームハードニング処理等のうち少なくとも1つを意味する。また、インターネット等の通信ネットワークを介してX線CT装置1と接続可能なクラウドサーバがX線CT装置1からの保存要求を受けて検出データ、生データ、又はCT画像データを記憶するように構成されてもよい。
ディスプレイ42は、各種の情報を表示する。例えば、ディスプレイ42は、処理回路45によって生成されたCT画像データや、ユーザからの各種操作を受け付けるためのGUI(Graphical User Interface)等を出力する。例えば、ディスプレイ42は、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイ、OLED(Organic Light Emitting Diode)ディスプレイ等である。また、ディスプレイ42は、架台装置10に設けられてもよい。また、ディスプレイ42は、デスクトップ型でもよいし、コンソール装置40本体と無線通信可能なタブレット端末等で構成されることにしてもよい。なお、ディスプレイ42は、表示部の一例である。
入力インターフェース43は、技師等のユーザによって操作が可能な入力デバイスと、入力デバイスからの信号を入力する入力回路とを含む。入力デバイスは、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面に触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等によって実現される。入力デバイスがユーザから入力操作を受け付けると、入力回路は当該入力操作に応じた電気信号を生成して処理回路45に出力する。また、入力インターフェース43は、架台装置10に設けられてもよい。また、入力インターフェース43は、コンソール装置40本体と無線通信可能なタブレット端末等で構成されてもよい。なお、入力インターフェース43は、入力部の一例である。
ネットワークインターフェース44は、パラレル接続仕様やシリアル接続仕様に合わせたコネクタによって構成される。X線CT装置1が医用画像システム上に設けられる場合、ネットワークインターフェース44は、ネットワーク上の外部装置と情報の送受信を行なう。例えば、ネットワークインターフェース44は、処理回路45の制御の下、外部装置からCT検査に係る検査オーダを受信し、また、X線CT装置1によって取得された検出データや、生成された生データ又はCT画像データを外部装置に送信する。
処理回路45は、X線CT装置1の全体の動作を制御する。処理回路45は、専用又は汎用のCPU(Central Processing Unit)、MPU(Micro Processor Unit)、又はGPU(Graphics Processing Unit)等のプロセッサの他、ASIC、及び、プログラマブル論理デバイス等を意味する。プログラマブル論理デバイスとしては、例えば、単純プログラマブル論理デバイス(SPLD:Simple Programmable Logic Device)、複合プログラマブル論理デバイス(CPLD:Complex Programmable Logic Device)、及び、フィールドプログラマブルゲートアレイ(FPGA:Field Programmable Gate Array)等が挙げられる。
また、処理回路45は、単一の回路によって構成されてもよいし、複数の独立した処理回路要素の組み合わせによって構成されてもよい。後者の場合、メモリは処理回路要素ごとに個別に設けられてもよいし、単一のメモリが複数の処理回路要素の機能に対応するプログラムを記憶するものであってもよい。
図2は、コンソール装置40の構成及び機能を示すブロック図である。
処理回路45は、メモリ41に記憶されたプログラムを実行することで、図2に示すように、スキャン制御機能451と、画像生成機能452と、出力制御機能453と、取得機能454と、決定機能455とを実現する。なお、機能451~455の全部又は一部は、コンソール装置40のプログラムの実行により実現される場合に限定されるものではなく、コンソール装置40にASIC等の回路として備えられる場合であってもよい。また、機能451~455の全部又は一部は、コンソール装置40のみならず、制御装置15によって実現される場合もある。
スキャン制御機能451は、予め設定されたスキャン条件に従って制御装置15を介して架台装置10及び寝台装置30等を制御することで、X線の照射及び検出を含むCTスキャンを実行させ、制御装置15から複数ビュー分の検出データを収集する機能を含む。例えば、スキャン条件は、照射X線に関する、管電流mAと、管電圧kVと、X線強度制御条件(X線モジュレーション条件)と、X線管11(又は、回転フレーム13)の回転速度等を含む。なお、スキャン制御機能451は、スキャン制御部の一例である。
画像生成機能452は、スキャン制御機能451によるスキャンにより収集された複数ビュー分の検出データに対して前処理を施すことで、複数ビュー分の生データを収集する機能と、前処理後の複数ビュー分の生データに対する画像再構成処理により、CT画像データを生成する機能とを含む。また、画像生成機能452は、各CT画像データをメモリ41に記憶させる機能を含む。なお、画像生成機能452は、画像生成部の一例である。
出力制御機能453は、画像生成機能452によって生成された各CT画像データをCT画像としてディスプレイ42に表示させる機能と、ネットワークインターフェース44を介して各CT画像データを外部装置に送信する機能とを含む。なお、出力制御機能453は、出力制御部の一例である。
取得機能454は、医用診断装置の一例としてのX線CT装置1の制御に関するログをX線CT装置1から取得する機能を含む。なお、取得機能454は、取得部の一例である。
決定機能455は、医用診断装置の一例としてのX線CT装置1に不具合が生じた場合、取得機能454によって取得されたログに基づいて、不具合の原因又は解決方法と、不具合の解決を試みる主体とを決定する機能を含む。ログとは、コンソール装置40が、主に、架台装置10、回転フレーム13(チルト含む)、寝台装置30に対していつ、どのような制御をし、どのような結果が得られたのか等を示す情報であり、その情報は、操作卓の有無、設定値、実測値等を含む。なお、決定機能455は、決定部の一例である。
ここで、決定機能455は、X線CT装置1の制御に関するログ、例えばX線CT装置1の不具合を示すエラーログに基づいて、不具合の原因(以下、単に「原因」という)又は解決方法(以下、単に「解決方法」という)と、不具合の解決を試みる主体(以下、単に「主体」という)とを決定する処理を行うものである。決定機能455は、原因又は解決方法として、第1の原因又は第1の解決方法を決定するとともに、主体として、医用診断装置としてのX線CT装置1を決定し、X線CT装置1の自動処理によってX線CT装置1の不具合が解決しなかった場合、原因又は解決方法として、第2の原因又は第2の解決方法を決定するとともに、主体として、ユーザを決定する。また、決定機能455は、ユーザによってX線CT装置1の不具合が解決しなかった場合、原因又は解決方法として、第3の原因又は第3の解決方法を決定するとともに、主体として、サービスマンを決定する。
以下、特に言及しない限り、決定機能455が、エラーログに基づいて解決方法と、主体とを決定するものとして説明する。この処理には、例えば、エラーログと、解決方法及び主体の組み合わせとを関連付けたルックアップテーブル(LUT)が用いられてもよい。また、この処理には、機械学習が用いられてもよい。また、機械学習としてCNN(畳み込みニューラルネットワーク)や畳み込み深層信念ネットワーク(CDBN:Convolutional Deep Belief Network)等の、多層のニューラルネットワークを用いた深層学習が用いられてもよい。
ここでは、決定機能455がニューラルネットワークNaを含み、深層学習を用いて、エラーログに基づいて、解決方法及び主体の組み合わせを決定する場合の例を示す。
図3は、学習時におけるデータフローの一例を示す説明図である。
決定機能455は、トレーニングデータが多数入力されて学習を行うことにより、パラメータデータPaを逐次的に更新する。トレーニングデータは、トレーニング入力データとしてのエラーログSa1,Sa2,Ss3,…と、解決方法及び主体の組み合わせTa1,Ta2,Ta3,…との組からなる。なお、エラーログSa1,Sa2,Sa3,…や、解決方法及び主体の組み合わせTa1,Ta2,Ta3,…の一例を、後述する図7に示す。
エラーログSa1,Sa2,Sa3,…は、トレーニング入力データ群Saを構成する。解決方法及び主体の組み合わせTa1,Ta2,Ta3,…は、トレーニング出力データ群Taを構成する。
決定機能455は、トレーニングデータが入力されるごとに、エラーログSa1,Sa2,Sa3,…をニューラルネットワークNaで処理した結果が解決方法及び主体の組み合わせTa1,Ta2,Ta3,…に近づくようにパラメータデータPaを更新していく、いわゆる学習を行う。一般に、パラメータデータPaの変化割合が閾値以内に収束すると、学習は終了と判断される。以下、学習後のパラメータデータPaを特に学習済みパラメータデータPa´(図4に図示)という。
図4は、運用時におけるデータフローの一例を示す説明図である。
運用時には、決定機能455は、X線CT装置1の起動中に取得機能454によって取得されたエラーログUaを入力し、学習済みパラメータデータPa´を用いて、解決方法及び主体の組み合わせVaを出力する。
なお、ニューラルネットワークNaと学習済みパラメータデータPa´は、学習済みモデルMaを構成する。ニューラルネットワークNaは、プログラムの形態でメモリ41に記憶される。学習済みパラメータデータPa´は、メモリ41に記憶されてもよいし、ネットワークを介して医用情報処理装置40と接続された記憶媒体に記憶されてもよい。この場合、処理回路45により実現される決定機能455は、メモリ41から学習済みモデルMaを読み出して実行することで、エラーログに基づいて、解決方法及び主体の組み合わせを決定する。なお、学習済みモデルMaは、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の集積回路によって構築されてもよい。
なお、入力データとしてのエラーログは1個の場合に限定されるものではない。入力データとして、時系列で連続する複数(例えば、前後1分分)のエラーログの組み合わせを入力することも可能である。例えば、学習時には、トレーニング入力データとして時系列で連続する複数のエラーログの組み合わせSa1,Sa2,Sa3,…をニューラルネットワークNaに入力する。運用時には、決定機能455は、メモリ41から読み出した学習済みモデルMaに対して、時系列で連続する複数のエラーログの組み合わせUaを入力することで、解決方法及び主体の組み合わせVaを出力する。入力データとして、時系列で連続する複数のエラーログの組み合わせを用いることで、当該組み合わせに応じた学習を行った学習済みパラメータデータPa´を生成することができるため、エラーログのみを入力データとする場合に比べて、解決方法及び主体の組み合わせの精度を向上させることができる。なお、時系列で連続する複数のエラーログの組み合わせは、前後の時間が均等の場合に得られるエラーログの組み合わせに限定されるものではなく、例えば、前1分及び後30秒分のエラーログの組み合わせ等であってもよい。
また、入力データとして、エラーログの他のデータを入力することも可能である。例えば、学習時には、トレーニング入力データとして、エラーログから求められる予兆ログSa1,Sa2,Sa3,…ニューラルネットワークNaに入力する。運用時には、決定機能455は、メモリ41から読み出した学習済みモデルMaに対して、予兆ログUaを入力することで、解決方法及び主体の組み合わせVaを出力する。入力データとして、予兆ログを用いることで、予兆ログに応じた学習を行った学習済みパラメータデータPa´を生成することができるため、X線CT装置1に不具合が発生する前に、X線CT装置1に起こるであろう不具合の解決方法をユーザに提示でき、CT検査の中断を未然に防止することもできる。
さらに、決定機能455は、解決方法及び主体の組み合わせVaとともに、組み合わせVaの確度(予測スコア、コンフィデンシャルスコア、確信度とも呼ばれる)を決定することもできる。組み合わせVaの確度は、学習済みモデルMaの出力の精度の指標値である。
なお、医用診断装置の種類ごとに異なる学習済みモデルMaが構築されることが好適である。例えば、X線CT装置1とMRI装置とで異なる学習済みモデルを備え、発生したエラーログを、対応する学習済みモデルに入力する。また、同一種類の医用診断装置であっても、メーカごと、バーションごとに異なる学習済みモデルMaが構築されることが好適である。例えば、同一種類の医用診断装置であっても、A社製のX線CT装置とB社製のX線CT装置とで異なる学習済みモデルを備え、発生したエラーログを、対応する学習済みモデルに入力する。
図2の説明に戻って、出力制御機能453は、決定機能455によって決定された解決方法及び主体の組み合わせに関する情報を出力する機能を含む。例えば、出力制御機能453は、決定機能455によって決定された解決方法及び主体の組み合わせに関する情報をディスプレイ42に表示させる機能と、決定機能455によって決定された当該情報を、ネットワークインターフェース44を介して外部装置に送信する機能とのうち少なくとも一方を含む。
なお、機能451~445の動作について、図5~図11を用いて後述する。
図5及び図6は、コンソール装置40の動作をフローチャートとして示す図である。図5及び図6において、「ST」に数字を付した符号フローチャートの各ステップを示す。
スキャン制御機能451による患者Pのスキャン中、又は、画像生成機能452による画像生成処理中に、取得機能454は、X線CT装置1に不具合が発生したか、すなわち、エラーログを検知したか否かを判断する(ステップST1)。ステップST1の判断にてNO、つまり、患者Pのスキャン中、又は、画像生成処理中に、X線CT装置1に不具合が発生していないと判断される場合、取得機能454は、X線CT装置1に不具合が発生するまで待機する。
ステップST1の判断にてYES、つまり、患者Pのスキャン中、又は、画像生成処理中に、X線CT装置1に不具合が発生したと判断される場合、決定機能455は、自動で復帰可能性のある解決方法があるか否かを判断する(ステップST2)。決定機能455は、前述したLUT、又は、ニューラルネットワークを用いた深層学習等により、ステップST1によって検知されたエラーログに対応する、解決方法及び主体の1又は複数の組み合わせを決定する。そして、決定機能455は、決定された主体が「医用診断装置」である解決方法が存在するか否かを判断する(ステップST2)。
図7は、エラーログと、解決方法及び主体の組み合わせとの関係を表として示す図である。
図7に示す表は、エラーログと、不具合の原因(以下、単に「原因」という)、解決方法及び主体の組み合わせとの関係を示す。主体は、医用診断装置(例えば、X線CT装置1)、X線CT装置1のユーザ、又はX線CT装置1をメンテナンスするサービスマンである。
エラーログのいずれかが検知されると、LUTやニューラルネットワークを用いた深層学習等により、それに対応する解決方法及び主体の組み合わせを取得することができる。例えば、エラーログの内容が「寝台の上下方向の位置ずれ」であれば、主体として「医用診断装置」が決定されるので、ステップST2の判断でYESに進む一方、エラーログの内容が「寝台装置のチルト角のプラス・リミット」であれば、主体として「ユーザ」が決定されるので、ステップST2の判断でNOに進む。
図5の説明に戻って、ステップST2の判断にてYES、つまり、自動で復帰可能性のある解決方法があると判断される場合、出力制御機能453は、自動で復帰可能性のある解決方法を復帰可能性の高い順に、放射線技師、医師、助手等のユーザに提示する(ステップST3)。
例えば、出力制御機能453は、図7に示すエラーログの内容が「寝台の上下方向の位置ずれ」である場合、解決方法「寝台を基準センサ位置まで上下移動」をディスプレイ42に表示することで当該解決方法をユーザに提示する。また、例えば、出力制御機能453は、1つのエラーログに対して自動で復帰可能性のある解決方法が複数存在する場合は、復帰可能性の高い順にディスプレイ42に表示することもできるし、複数のエラーログが略同時に起こった場合には、それぞれに対応する複数の解決方法を復帰可能性の高い順にディスプレイ42に表示することもできる。
決定機能455は、ステップST3による提示に対して、ユーザにより自動復帰が選択されたか否かを判断する(ステップST4)。ステップST4の判断にてYES、つまり、ユーザにより自動復帰が選択されたと判断される場合に、決定機能455は、復帰可能性の高い順に解決方法を自動で実行する(ステップST5)。なお、ステップST4による判断は必須ではなく、決定機能455は、ユーザの判断によらず、復帰可能性の高い順に解決方法を自動で実行してもよい。例えば、図7に示すエラーログの内容「寝台の上下方向の位置ずれ」の場合、決定機能455は、フォトセンサとエンコーダの比較による寝台の上下移動のゼロ点調整等を自動で行うように寝台の駆動部を制御する。
決定機能455は、ステップST5による解決方法の実行によりX線CT装置1の不具合が解決したか、つまり、X線CT装置1が復帰したか否かを判断する(ステップST6)。
ステップST6の判断にてNO、つまり、X線CT装置1が復帰していないと判断される場合、決定機能455は、ユーザが実施可能である、復帰可能性のある解決方法があるか否かを判断する(ステップST7)。また、ステップST2,ST4の判断にてNOの場合にも、決定機能455は、ユーザが実施可能である、復帰可能性のある解決方法があるか否かを判断する(ステップST7)。
ステップST7の判断にてYES、つまり、ユーザが実施可能である、復帰可能性のある解決方法があると判断される場合、出力制御機能453は、ユーザが実施可能である解決方法をユーザに提示する(ステップST8)。例えば、出力制御機能453は、ユーザが実施可能である解決方法をディスプレイ42に表示することで当該解決方法をユーザに提示する。
例えば、出力制御機能453は、図7に示すエラーログの内容が「架台装置内で異常が発生」である場合、2個の解決方法「チルトの再実行」及び「回転の再実行」をディスプレイ42に表示することで当該2個の解決方法をユーザに提示する。また、例えば、出力制御機能453は、各解決方法に対応する確度を表示することもできる。
図8は、ユーザが実施可能である解決方法を示す表示画面の一例を示す図である。
図8に示すように、ディスプレイ42には、図7に示すエラーログの内容が「架台装置内で異常が発生」である場合の、2個の解決方法「チルトの再実行」及び「回転の再実行」が確度(%)と共に表示される。この表示に従ってユーザが解決方法を実行することにより、サービスマンを呼ばずにX線CT装置1を復帰させることも可能である。また、確度、つまり、復帰可能性の高い順に従ってユーザが解決方法を実行することにより、素早くX線CT装置1を復帰させることも可能である。
図5の説明に戻って、決定機能455は、ユーザにより解決方法が実行されてX線CT装置1が復帰したか否かを判断する(ステップST9)。ステップST9の判断にてNO、つまり、X線CT装置1が復帰していないと判断される場合、出力制御機能453は、サービスマンによる復帰が必要な旨をユーザに提示する(ステップST10)。例えば、出力制御機能453は、サービスマンによる復帰が必要な旨「サービスマンを呼んで下さい」をディスプレイ42に表示することでサービスマンの必要性をユーザに提示する。また、ステップST7の判断にてNOの場合にも、出力制御機能453は、サービスマンによる復帰が必要な旨をユーザに提示する(ステップST10)。
例えば、出力制御機能453は、図7に示すエラーログの内容が「架台装置内で異常が発生」である場合に、ユーザが2個の解決方法「チルトの再実行」及び「回転の再実行」を実行してもなおX線CT装置1が復帰しない場合がある。その場合は、出力制御機能453は、部品の交換等、サービスマンによる復帰が必要な旨をユーザに提示する。
図6の説明に移って、出力制御機能453は、X線CT装置1の復帰のために呼び出されたサービスマンに、解決方法を復帰可能性の高い順に提示する(ステップST11)。例えば、出力制御機能453は、解決方法をディスプレイ42に表示することで当該解決方法をサービスマンに提示する。ステップST11によって提示された解決方法に対して、サービスマンにより解決方法が実行される(ステップST12)。
例えば、出力制御機能453は、図7に示すエラーログの内容が「架台装置内で異常が発生」である場合、2個の解決方法「チルトの再実行」及び「回転の再実行」をディスプレイ42に表示することで当該2個の解決方法をサービスマンに提示する。また、例えば、出力制御機能453は、各解決方法に対応する確度を表示することもできる。
図9は、サービスマンが実施可能である解決方法を示す表示画面の一例を示す図である。
図9に示すように、ディスプレイ42には、図7に示すエラーログの内容が「架台装置内で異常が発生」である場合の、2個の解決方法「チルトの再実行」及び「回転の再実行」が確度(%)と共に表示される。確度、つまり、復帰可能性の高い順に従ってサービスマンが解決方法を実行することにより、素早くX線CT装置1を復帰させることが可能である。
図6の説明に戻って、決定機能455は、ステップST5,ST9,ST12によって実行された解決方法を自動認識したか否かを判断する(ステップST13)。また、ステップST6,ST9の判断にてYESの場合にも、決定機能455は、ステップST5,ST9によって実行された解決方法を自動認識したか否かを判断する(ステップST13)。
ステップST13の判断にてNO、つまり、ステップST5,ST9,ST12によって実行された解決方法を自動認識していないと判断される場合、入力インターフェース43を介してサービスマンにより、実行された解決方法が入力される(ステップST14)。決定機能455は、ステップST1の不具合(エラーログ相当)と、ステップST14によって入力された解決方法と、それに対応する主体とをニューラルネットワークに入力する(ステップST15)。また、ステップST13の判断にてYESの場合にも、決定機能455は、ステップST1の不具合と、ステップST13によって自動認識された解決方法と、それに対応する主体とをニューラルネットワークに入力する(ステップST15)。これにより、さらなる学習を行わせる。
医用情報処理装置の一例としてのコンソール装置40によると、X線CT装置1に不具合が発生した場合に、X線CT装置1によるCT検査の中断を回避し、又は、CT検査の中断時間を短縮することができる。医用情報処理装置の一例としてのコンソール装置40によると、臨床現場にてX線CT装置1の使用中に、X線CT装置1が正常動作せず、これ以上ユーザがX線CT装置1を使用できない状況になるような不具合が発生した場合であっても、「架台装置のチルト角のプラス・リミット」(図7に図示)等のように不具合の内容によってはCT検査の中断を回避することができる。
2.変形例
図3及び図4を用いて、エラーログを入力として、解決方法及び主体の組み合わせを出力する場合について説明したがその場合に限定されるものではない。例えば、エラーログを入力として、解決方法、原因及び主体の組み合わせを出力してもよい。
図10は、学習時におけるデータフローの一例を示す説明図である。
決定機能455は、トレーニングデータが多数入力されて学習を行うことにより、パラメータデータPbを逐次的に更新する。トレーニングデータは、トレーニング入力データとしてのエラーログSb1,Sb2,Sb3,…と、解決方法、原因及び主体の組み合わせTb1,Tb2,Tb3,…との組からなる。なお、エラーログSb1,Sb2,Sb3,…や、解決方法、原因及び主体の組み合わせTb1,Tb2,Tb3,…の一例を、図7に示す。
エラーログSb1,Sb2,Sb3,…は、トレーニング入力データ群Sbを構成する。解決方法、原因及び主体の組み合わせTb1,Tb2,Tb3,…は、トレーニング出力データ群Tbを構成する。
決定機能455は、トレーニングデータが入力されるごとに、エラーログSb1,Sb2,Sb3,…をニューラルネットワークNbで処理した結果が解決方法、原因及び主体の組み合わせTb1,Tb2,Tb3,…に近づくようにパラメータデータPbを更新していく、いわゆる学習を行う。一般に、パラメータデータPbの変化割合が閾値以内に収束すると、学習は終了と判断される。以下、学習後のパラメータデータPbを特に学習済みパラメータデータPb´(図11に図示)という。
図11は、運用時におけるデータフローの一例を示す説明図である。
運用時には、決定機能455は、X線CT装置1の起動中に取得機能454によって取得されたエラーログUbを入力し、学習済みパラメータデータPb´を用いて、解決方法、原因及び主体の組み合わせVbを出力する。
なお、ニューラルネットワークNbと学習済みパラメータデータPb´は、学習済みモデルMbを構成する。ニューラルネットワークNbは、プログラムの形態でメモリ41に記憶される。学習済みパラメータデータPb´は、メモリ41に記憶されてもよいし、ネットワークを介して医用情報処理装置40と接続された記憶媒体に記憶されてもよい。この場合、処理回路45により実現される決定機能455は、メモリ41から学習済みモデルMbを読み出して実行することで、エラーログに基づいて、解決方法、原因及び主体の組み合わせを決定する。なお、学習済みモデルMbは、ASIC、FPGA等の集積回路によって構築されてもよい。
なお、入力データとしてのエラーログは1個の場合に限定されるものではない。入力データとして、時系列で連続する複数(例えば、前後1分分)のエラーログの組み合わせを入力することも可能である。例えば、学習時には、トレーニング入力データとして時系列で連続する複数のエラーログの組み合わせSb1,Sb2,Sb3,…をニューラルネットワークNbに入力する。運用時には、決定機能455は、メモリ41から読み出した学習済みモデルMbに対して、時系列で連続する複数のエラーログの組み合わせUbを入力することで、解決方法、原因及び主体の組み合わせVbを出力する。入力データとして、時系列で連続する複数のエラーログの組み合わせを用いることで、当該組み合わせに応じた学習を行った学習済みパラメータデータPb´を生成することができるため、エラーログのみを入力データとする場合に比べて、解決方法、原因及び主体の組み合わせの精度を向上させることができる。なお、時系列で連続する複数のエラーログの組み合わせは、前後の時間が均等の場合に得られるエラーログの組み合わせに限定されるものではなく、例えば、前1分及び後30秒分のエラーログの組み合わせ等であってもよい。
また、入力データとして、エラーログの他のデータを入力することも可能である。例えば、学習時には、トレーニング入力データとして、エラーログから求められる予兆ログSb1,Sb2,Sb3,…ニューラルネットワークNbに入力する。運用時には、決定機能455は、メモリ41から読み出した学習済みモデルMbに対して、予兆ログUbを入力することで、解決方法、原因及び主体の組み合わせVbを出力する。入力データとして、予兆ログを用いることで、予兆ログに応じた学習を行った学習済みパラメータデータPb´を生成することができるため、X線CT装置1に不具合が発生する前に、X線CT装置1に起こるであろう不具合の解決方法をユーザに提示でき、CT検査の中断を未然に防止することもできる。
さらに、決定機能455は、解決方法、原因及び主体の組み合わせVbとともに、組み合わせVbの確度(予測スコア、コンフィデンシャルスコア、確信度とも呼ばれる)を決定することもできる。組み合わせVbの確度は、学習済みモデルMbの出力の精度の指標値である。
なお、医用診断装置の種類ごとに異なる学習済みモデルMbが構築されることが好適である。例えば、X線CT装置1とMRI装置とで異なる学習済みモデルを備え、発生したエラーログを、対応する学習済みモデルに入力する。また、同一種類の医用診断装置であっても、メーカごと、バーションごとに異なる学習済みモデルMbが構築されることが好適である。例えば、同一種類の医用診断装置であっても、A社製のX線CT装置とB社製のX線CT装置とで異なる学習済みモデルを備え、発生したエラーログを、対応する学習済みモデルに入力する。
医用情報処理装置の一例としてのコンソール装置40の変形例によると、上記効果に加え、ユーザやサービスマンに、不具合の原因を提示することができ、不具合解消をサポートすることができる。
3.第2の実施形態
第2の実施形態に係る医用情報処理装置は、X線CT装置等の医用診断装置とネットワークで接続されたサーバ装置として設けられる場合である。それにより、図2に示す機能453~455が、医用情報システム上の複数の装置で分散して実現される。
図12は、第2の実施形態に係る医用情報処理装置を備えた医用情報システムの構成及び機能を示す概略図である。
図12は、医用情報システムSを示す。医用情報システムSは、医用診断装置、例えば、X線CT装置1Aと、実施形態に係る医用情報処理装置(例えば、サーバ装置)50と、クライアント装置60とを示す。サーバ装置50は、メモリ51と、ディスプレイ52と、入力インターフェース53と、ネットワークインターフェース54と、処理回路55とを備える。
メモリ51は、図1に示すメモリ41と同一構成であるので説明を省略する。ディスプレイ52は、図1に示すディスプレイ42と同一構成であるので説明を省略する。入力インターフェース53は、図1に示す入力インターフェース43と同一構成であるので説明を省略する。ネットワークインターフェース54は、図1に示すネットワークインターフェース44と同一構成であるので説明を省略する。処理回路55は、図1に示す処理回路45と同一構成であるので説明を省略する。
処理回路55は、メモリ51に記憶された、又は、処理回路55内に直接組み込まれたプログラムを読み出して実行することで、出力制御機能553と、取得機能554と、決定機能555とを実現する。以下、機能553~555がソフトウェア的に機能する場合を例に挙げて説明するが、機能553~555の全部又は一部は、サーバ装置50にASIC等の回路等として設けられるものであってもよい。
取得機能554は、医用診断装置の一例としてのX線CT装置1Aの制御に関するログをX線CT装置1Aから取得する機能を含む。なお、取得機能554は、取得部の一例である。
決定機能555は、医用診断装置の一例としてのX線CT装置1Aに不具合が生じた場合、取得機能554によって取得されたログに基づいて、原因又は解決方法と、主体とを決定する機能を含む。なお、決定機能555は、決定部の一例である。
出力制御機能553は、決定機能555によって決定された原因又は解決方法と、主体とに関する情報を出力する機能を含む。例えば、出力制御機能553は、決定機能555によって決定された原因又は解決方法と、主体とに関する情報をディスプレイ52に表示させる機能と、決定機能555によって決定された当該情報を、ネットワークインターフェース54を介してX線CT装置1A又はクライアント装置60等の外部装置に送信する機能とのうち少なくとも一方を含む。
サーバ装置50の外部機器であるX線CT装置1Aは、図2に示すX線CT装置1のスキャン制御機能451と、画像生成機能452と、出力制御機能453と、取得機能454とを実現する。一方、図2に示すX線CT装置1の決定機能455は、サーバ装置50により実現される。X線CT装置1Aは、ネットワークを介してデータ送受信可能にサーバ装置50等の機器に接続される。
サーバ装置50の外部機器であるクライアント装置60は、コンピュータとしての構成を備える。クライアント装置60は、ネットワークを介してデータ送受信可能にサーバ装置50等の機器に接続される。クライアント装置60としては、例えば、スマートフォン及びタブレット端末等のモバイル端末の固定型のPC等の情報端末が挙げられる。クライアント装置60は、サーバ装置50で決定され、サーバ装置50から送られた原因又は解決方法と、主体とに関する情報を、クライアント装置60のディスプレイ(図示省略)に表示することができる。
なお、図12において、図1及び図2に示す部材と同一部材については同一符号を付して説明を省略する。
医用情報処理装置の一例としてのサーバ装置50によると、X線CT装置1Aに不具合が発生した場合に、サーバ装置50によって決定された原因又は解決方法と、主体とに関する情報をX線CT装置1Aに送ることで、X線CT装置1AによるCT検査の中断を回避し、又は、CT検査の中断時間を短縮することができる。医用情報処理装置の一例としてのサーバ装置50によると、臨床現場にてX線CT装置1Aの使用中に、X線CT装置1Aが正常動作せず、これ以上ユーザがX線CT装置1Aを使用できない状況になるような不具合が発生した場合であっても、「架台装置のチルト角のプラス・リミット」(図7に図示)等のように不具合の内容によってはCT検査の中断を回避することができる。
また、医用情報処理装置の一例としてのサーバ装置50によると、サーバ装置50によって決定された原因又は解決方法と、主体とに関する情報をサービスマンが携帯するクライアント装置60に送ることで、X線CT装置1Aに不具合が発生した場合に、サービスマンはクライアント装置60を見ながら適切な解決方法を実行することができる。
以上説明した少なくとも1つの実施形態によれば、医用診断装置に不具合が発生した場合に、検査の中断を回避し、又は、検査中断時間を短縮することができる。
なお、スキャン制御機能451は、スキャン制御部の一例である。画像生成機能452は、画像生成部の一例である。出力制御機能453,553は、出力制御部の一例である。取得機能454,554は、取得部の一例である。決定機能455,555は、決定部の一例である。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。