JP6987551B2 - 医用画像処理装置 - Google Patents

Description

本発明の実施形態は、医用画像処理装置に関する。

医療現場で用いられるコンソールは、医用画像および医用画像に関する医用情報等を表示するための表示機器を備える。表示機器は、医用画像および医用画像に関する医用情報等の表示に関して様々な機能を備えている。例えば、表示機器は、以前に情報提示した画面上の位置等を保持する機能、ユーザによる操作に応じてカーソルの動きを制御する機能、ユーザによって手動で表示項目の表示位置をカスタマイズする機能等の情報提示機能を有している。これらの情報提示機能は、ユーザからの項目設定操作および直前のアクションによってもたらされた情報に基づいて提供される、受動的な機能である。

良く使用する項目によるアイテムの最適化、カーソルの動きの制御は、機能実行時の操作性および処理フローの改善につながる。一方で、通知項目およびウィンドウの表示位置等のように機能実行に直結しない個所の改善は、行うことができない。また、現在行われている、ユーザによる操作をベースとした表示位置の最適化を行ったとしても、操作の流れをとらえた表示位置の最適化が行えなければ、処理フローの改善は限定的になる。例えば、撮影時のパラメータ設定および画像処理アプリケーション等、表示画面上の各々の場所に表示されている互いの値およびオブジェクトを参考に設定および編集する場合、参考にする、もしくはこれから操作する値およびオブジェクトがウィンドウに隠され、閉じたり動かしたりといった操作が発生する。

特開２００６−０６１２７８号公報

本実施形態の目的は、ユーザによる医用作業の効率を向上することができる医用画像処理装置を提供することにある。

本実施形態によれば、医用画像処理装置は、医用画像に対する医用作業を実施するための表示画面を表示する表示部と、ユーザによる前記表示画面に表示された医用画像に対する入力操作を受け付ける入力部と、実施対象の医用作業のためのオブジェクトの表示除外領域を、前記実施対象の医用作業に関する前記ユーザ固有の処理フローと、前記処理フローを構成する一連の作業工程のうちの少なくとも現工程と次工程との実施対象の解剖学的部位とに基づいて決定する決定部と、前記決定された表示除外領域を避けて前記オブジェクトを前記表示画面に表示するよう前記表示部を制御する制御部と、を具備する。

図１は、本実施形態に係る医用画像処理装置を備える医用画像診断装置を示す概略図である。 図２は、図１に示す医用画像処理装置を示すブロック図である。 図３は、図２に示すディスプレイに表示される表示画面の一例を示す図である。 図４は、記憶回路に蓄積される複数の入力操作の履歴を示す履歴テーブルである。 図５は、ユーザごとに蓄積された図４に示す複数の入力操作の履歴を示す図である。 図６は、図４に示す複数の入力操作の履歴に基づいて、ユーザ固有の処理フローを設定する流れを示すフローチャートである。 図７は、図４に示す複数の入力操作と、複数の入力操作各々の実施対象となった複数の画像領域と対応付けたテーブルを示す図である。 図８は、図７に示す複数の画像領域に対応付けられた複数の入力操作を複数の作業工程に分類したテーブルを示す図である。 図９は、現工程と、現工程の次に実施される次工程とを関連付けたテーブルを示す図である。 図１０は、現工程と、現工程の次に実施される次工程とを発生確率により関連付けたテーブルを示す図である。 図１１は、現工程と、現工程の次に実施される次工程とを関連付けたマップを示す図である。 図１２は、設定された処理フローに基づいて、表示除外領域を決定する流れを示すフローチャートである。 図１３は、図８に示す作業工程１を実施する場合の表示除外領域を示す図である。 図１４は、図８に示す作業工程２を実施する場合の表示除外領域を示す図である。 図１５は、図８に示す作業工程３を実施する場合の表示除外領域を示す図である。 図１６は、図８に示す作業工程４を実施する場合の表示除外領域を示す図である。 図１７は、現工程として作業工程１を実施し、次工程として作業工程２を実施する場合の表示除外領域を示す図である。 図１８は、三次元画像上に表示された三次元画像に関するオブジェクトを示す図である。 図１９は、現工程として作業工程１を実施し、次工程として作業工程３を実施する場合の表示除外領域を示す図である。 図２０は、三次元画像上に表示された三次元画像に関するオブジェクトを示す図である。 図２１は、現工程として作業工程２を実施し、次工程として作業工程３を実施する場合の表示除外領域を示す図である。 図２２は、三次元画像上に表示された三次元画像に関するオブジェクトを示す図である。 図２３は、表示画面の手技記入欄に設定された表示除外領域を示す図である。 図２４は、三次元画像上に表示された三次元画像に関するオブジェクトを示す図である。 図２５は、表示画面のｅＧＦＲ欄およびアレルギー欄に設定された表示除外領域を示す図である。 図２６は、三次元画像上に表示された三次元画像に関するオブジェクトを示す図である。 図２７は、受領した通知の表示タイミングを判定する流れを示すフローチャートである。

以下、本実施形態に係る医用画像処理装置について、図面を参照して説明する。

図１は、本実施形態に係る医用画像処理装置５０を備える医用画像診断装置１を示す概略図である。図１に示す医用画像診断装置１は、病院や診療所等の医療機関において使用され、被検体を撮像して被検体に関する医用画像を生成する。例えば、医用画像診断装置１は、Ｘ線コンピュータ断層（ＣＴ：Computed Tomography）装置、磁気共鳴イメージング（ＭＲＩ：Magnetic Resonance Imaging）診断装置、Ｘ線診断装置、超音波診断装置、および核医学診断装置等、患者に関する医用画像を生成可能なモダリティである。例えば、図１に示す医用画像診断装置１は、医用画像撮像装置１０と、医用画像処理装置５０とを備える。医用画像撮像装置１０と、医用画像処理装置５０とは、有線または無線で相互に接続される。

医用画像撮像装置１０は、病院や診療所等の医療機関を受診した患者を撮像し、上記医用画像の生成に必要なデータを収集する撮像機器である。例えば、医用画像診断装置１が上記Ｘ線ＣＴ装置である場合、医用画像撮像装置１０は、Ｘ線管およびＸ線検出器等を備える架台に相当する。また、医用画像診断装置１がＸ線診断装置である場合、医用画像撮像装置１０は、Ｘ線管およびＸ線検出器等を備えるアームに相当する。なお、医用画像診断装置１として上述したＸ線ＣＴ装置とＸ線診断装置とはあくまで一例である。医用画像撮像装置１０は、医用画像診断装置１が上述するＸ線ＣＴ装置およびＸ線診断装置以外の他のモダリティである場合、他のモダリティに対応する撮像機器に相当する。

医用画像処理装置５０は、医用画像に対する複数の医用作業を実行する。ここで、本実施形態に係る医用作業とは、画像閲覧、読影、画像解析および画像編集等、画像診断を実施する過程において行われる作業のことである。例えば、医用画像処理装置５０は、医用画像撮像装置１０により撮像された医用画像を用いて所定の画像処理を実行する。医用画像処理装置５０は、読影医により医用画像に対する読影を実施するためのコンピュータ、または医用画像を閲覧するためのコンピュータ（ビューワ）である。

（医用画像処理装置の説明）
ここで、上記医用画像処理装置５０について、図２を参照して説明する。図２は、図１に示す医用画像処理装置５０を示すブロック図である。図２に示すように、医用画像処理装置５０は、演算回路５１と、ディスプレイ５３と、入力回路５５と、記憶回路５７とを備える。

演算回路５１は、ハードウェア資源として、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサとＲＯＭ（Read-Only Memory）、ＲＡＭ（Random Access Memory）等のメモリとを有する。演算回路５１は、各種プログラムの実行により画像生成機能５１１、画像処理機能５１３、設定機能５１５、決定機能５１７およびシステム制御機能５１９を実現する。

画像生成機能５１１において演算回路５１は、医用画像撮像装置１０により収集されたデータに対して所定の処理を実行し、収集されたデータに対応する医用画像を生成する。例えば、医用画像診断装置１がＸ線ＣＴ装置である場合、演算回路５１は、架台により収集された生データに対して対数変換等の前処理を施す。前処理後の生データは投影データと呼ばれる。演算回路５１は、生成された投影データに基づいて、被検体に関するＣＴ値の空間分布を表現するＣＴ画像を発生する。演算回路５１は、生成した医用画像を記憶回路５７へ送信する。

画像処理機能５１３において演算回路５１は、画像生成機能５１１により生成された医用画像に種々の画像処理を施す。例えば、ＣＴ画像が生成された場合、演算回路５１は、ＣＴ画像にボリュームレンダリングや、サーフェスボリュームレンダリング、画像値投影処理、ＭＰＲ（Multi-Planer Reconstruction）処理、ＣＰＲ（Curved MPR）処理等の３次元画像処理を施して表示画像を生成する。

設定機能５１５において演算回路５１は、複数の医用作業のうちの実施対象の医用作業に関連付けられる処理フローを設定する。ここで、処理フローとは、所定の医用作業を実施する過程を示す一連の作業工程のことである。作業工程とは、所定の医用作業を実施する過程において実施される作業のことである。作業工程は、ユーザによる入力回路５５を介した複数の入力操作により構成される。入力操作は、例えば、クリック、ドラッグアンドドロップ、拡大および縮小、および領域選択等、画像診断の過程において表示画面上で行われる操作である。

決定機能５１７において演算回路５１は、実施対象の医用作業のためのオブジェクトの表示除外領域を、実施対象の医用作業に関するユーザ固有の処理フローと、処理フローを構成する一連の作業工程のうちの少なくとも現工程と次工程との実施対象の解剖学的部位とに基づいて決定する。

ここで、医用情報とは、医用作業の実行時に医用画像とともにディスプレイ５３に表示されるオブジェクトである。例えば、オブジェクトとして、ウィンドウアイコン、通知ウィンドウ、ツールウィンドウ、パラメータ表示ウィンドウ、吹き出し等がディスプレイ５３に表示される。演算回路５１は、入力回路５５を介して表示画面において実施される複数の入力操作の履歴に基づいて、表示除外領域を決定する。

システム制御機能５１９において演算回路５１は、本実施形態に係る医用画像診断装置１の統括的に制御する。演算回路５１は、記憶回路５７に記憶されている制御プログラムを読み出してメモリ上に展開し、展開された制御プログラムに従って医用画像診断装置１の各部を制御する。具体的には、演算回路５１は、複数の医用作業各々を実施するための表示画面をディスプレイ５３に表示するように、ディスプレイ５３を制御する。また、演算回路５１は、決定された表示除外領域を避けてオブジェクトを表示画面に表示するように、ディスプレイ５３を制御する。

なお、上記画像生成機能５１１、画像処理機能５１３、設定機能５１５、決定機能５１７およびシステム制御機能５１９は、一つの基板の演算回路５１により実装されてもよいし、複数の基板の演算回路５１により分散して実装されてもよい。

ディスプレイ５３は、種々のデータおよび上記医用画像等を表示する。例えば、ディスプレイ５３は、演算回路５１の制御の下で、医用作業を実施するための表示画面を表示する。ディスプレイ５３は、表示インターフェース回路と表示機器とを有する。表示インターフェース回路は、表示対象を表すデータをビデオ信号に変換する。ビデオ信号は、表示機器に供給される。表示機器は、表示対象を表すビデオ信号を表示する。表示機器としては、例えば、ＣＲＴディスプレイ（Cathode Ray Tube Display）、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electro Luminescence Display）、プラズマディスプレイまたは当技術分野で知られている他の任意のディスプレイが適宜利用可能である。

入力回路５５は、ユーザからの各種指令を入力する。例えば、入力回路５５は、ユーザによる表示画面に対する入力操作を受け付ける。入力回路５５は、入力機器と入力インターフェース回路とを有する。入力機器は、ユーザからの各種指令を受け付ける。入力機器としては、トラックボール、スクロールホイール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、および表示画面とタッチパッドとが一体化されたタッチパネルディスプレイ等が利用可能である。入力インターフェース回路は、入力機器からの出力信号をバスＢＵＳを介して演算回路５１に供給する。なお、本実施形態において、入力回路５５は、トラックボール、スクロールホイール、スイッチボタン、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を演算回路５１へ出力する電気信号の処理回路も入力回路５５の例に含まれる。

記憶回路５７は、種々の情報を記憶するＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、集積回路記憶装置等の記憶装置である。また、記憶回路５７は、ＨＤＤ等の磁気ディスク以外にも、光磁気ディスクと、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクとを利用してもよい。また、記憶回路５７の保存領域は、医用画像処理装置５０内にあってもよいし、ネットワークＮＷで接続された外部記憶装置内にあってもよい。例えば、記憶回路５７は、医用画像や表示画像のデータを記憶する。また、記憶回路５７は、本実施形態に係る制御プログラム等を記憶する。

ここで、本実施形態に係る医用画像処理装置５０における、ユーザによる入力回路５５を介した入力操作の履歴に基づくオブジェクトの表示制御について、図面を参照して説明する。なお、入力操作の履歴に基づくオブジェクトの表示制御を、ユーザによる入力回路５５を介した入力操作の履歴を蓄積する過程１と、入力操作の履歴に基づいてユーザ固有の処理フローを設定する過程２と、設定されたユーザ固有の処理フローに基づいてオブジェクトの表示制御を行う過程３とに分けて説明する。

（過程１）
（ディスプレイに表示される表示画面）
図３は、図２に示すディスプレイ５３に表示される表示画面Ｄ１の一例を示す図である。図３に示すように、ディスプレイ５３の表示画面Ｄ１には、ユーザによる入力回路５５を介した入力操作により移動可能なカーソルＣと、医用画像を表示する医用画像表示画面Ｄ２と、医用画像に関連する情報を入力および表示するための関連情報表示画面Ｄ３とが含まれる。例えば、医用画像表示画面Ｄ２には、被検体に関する三次元画像Ｉｍｇ１と、被検体に関する断面画像Ｉｍｇ２とが表示される。関連情報表示画面Ｄ３には、医用画像に関連する造影情報が表示される。例えば、医用画像に関連する造影情報として、医用画像を撮影した手技記入欄、コメント記入欄、ｅＧＦＲ（estimate glomerular filtration rate）欄、アレルギー記入欄等が表示される。以降、説明の便宜上、医用画像表示画面Ｄ２は、単に表示画面Ｄ２と呼称する。関連情報表示画面Ｄ３は、単に表示画面Ｄ３と呼称する。

（入力操作の履歴の蓄積）
まず、本実施形態に係る医用画像処理装置５０において、ユーザにより入力回路５５を介して入力される複数の入力操作の履歴を蓄積する過程について説明する。ここで、本実施形態に係る医用画像処理装置５０の演算回路５１は、入力回路５５を介して表示画面Ｄ１において実施される複数の入力操作の履歴を記憶回路５７に蓄積する。具体的には、演算回路５１は、表示画面Ｄ２に表示された医用画像に含まれる複数の画像領域各々において実施される複数の入力操作の履歴を記憶回路５７に蓄積する。画像領域とは、被検体の解剖学的部位を示す部位領域である。

図４は、記憶回路５７に蓄積される複数の入力操作の履歴を示す履歴テーブルである。なお、本実施形態では、一例として、所定の医用作業において、表示画面Ｄ２に表示される三次元画像Ｉｍｇ１に対して複数の入力操作が行われ、三次元画像Ｉｍｇ１に対する複数の入力操作の履歴を示す履歴テーブルが記憶回路５７に蓄積される場合について説明する。図４に示すように、複数の入力操作は、入力された操作時刻に基づいて時系列で並べられている。図４に示す履歴テーブルには、複数の入力操作の履歴として、少なくとも操作種と、入力操作が発生した操作時刻と、複数の入力操作各々を実施した三次元画像Ｉｍｇ１上の位置座標とが含まれる。操作種は、例えば、クリック、ドラッグアンドドロップ、拡大および縮小、および領域選択等、画像診断の過程において三次元画像Ｉｍｇ１上で行われるものである。操作種に付された番号は、医用画像処理装置５０において実施される複数の入力操作各々に対応する。操作時刻は、複数の入力操作各々を入力した「時間（Ｈ）：分（Ｍ）：秒（Ｓ）」を表す。この他に、入力操作の実施対象となるウィンドウ、パラメータおよびオブジェクトの位置座標、カーソルＣの移動量、操作間滞留時間、プロセスの処理状況等を蓄積してもよい。

図５は、ユーザごとに蓄積された図４に示す複数の入力操作の履歴を示す図である。図５に示すように、複数の入力操作の履歴は、入力回路５５を介して入力操作を実施する複数のユーザごとに蓄積されてもよい。複数の医用作業各々において、ユーザごとに入力操作の順序が異なるためである。また、複数の入力操作の履歴は、実施対象の医用作業ごとに蓄積されてもよい。

上記過程を経て、本実施形態に係る医用画像処理装置５０は、図４に示すように、ユーザによる入力回路５５を介した複数の入力操作の履歴を記憶回路５７に蓄積する。

（過程２）
（ユーザ固有の処理フローの設定）
次に、記憶回路５７に蓄積された複数の入力操作の履歴に基づいて、ユーザ固有の処理フローを設定する。図６は、図４に示す複数の入力操作の履歴に基づいて、ユーザ固有の処理フローを設定する流れを示すフローチャートである。

まず、ステップＳａ１において、演算回路５１は、記憶回路５７に蓄積された履歴テーブルを読み込む。ステップＳａ２において、演算回路５１は、読み込まれた履歴テーブルに含まれる複数の入力操作各々を実施した三次元画像Ｉｍｇ１上における複数の位置座標に基づいて、履歴として蓄積された複数の入力操作を複数の入力操作各々の実施対象となった複数の画像領域と対応付ける。図７は、図４に示す複数の入力操作と、複数の入力操作各々の実施対象となった複数の画像領域と対応付けたテーブルを示す図である。

例えば、図７に示すように、位置座標「Ｘ１，Ｙ１」が三次元画像Ｉｍｇ１の画像領域１に対応する位置座標である場合、操作時刻「Ｈ１：Ｍ１：Ｓ１」に入力された入力操作１は、三次元画像Ｉｍｇ１の画像領域１に対して実施された操作である。このため、演算回路５１は、図７に示すテーブルにより、入力操作１と、画像領域１とを対応付ける。

ここで、上記実施形態において、複数の画像領域は、被検体内部の複数の解剖学的な部位領域各々であると記載した。一方、複数の部位領域は、患者ごと、または医用画像ごとに形状や大きさが異なる。また、視線方向、または断面位置によっても形状や大きさが異なる。このため、位置座標により単に入力操作と画像領域とを対応付けたとしても、入力操作を想定する被検体の部位領域に対応付けられたとは限らない。そこで、演算回路５１は、仮想人体モデルと、医用画像の元データであるボリュームデータとの位置合わせを予め実行しておく。演算回路５１は、仮想人体モデルとボリュームデータとの位置合わせを予め実行しておくことで、仮想人体モデルにおける複数の部位領域と、医用画像における複数の部位領域との位置を略一致させることができる。これにより、本実施形態に係る医用画像処理装置５０は、どのような形状および大きさの部位領域を含む医用画像であっても、位置座標により入力操作と画像領域とを対応付けるだけで、入力操作がどの部位領域を実施対象として実施されたものであるかを特定することができる。

ステップＳａ３において、演算回路５１は、複数の作業工程各々に含まれる複数の入力操作各々を実施した操作時刻に基づいて、複数の入力操作のうち、所定の画像領域を対象として時系列で連続して実施された複数の入力操作を、所定の画像領域を対象として実施された一つの作業工程として分類する。

図８は、図７に示す複数の画像領域に対応付けられた複数の入力操作を複数の作業工程に分類したテーブルを示す図である。例えば、図８に示すように、画像領域１を実施対象として、入力操作１と入力操作２とが時系列で連続して実施されている。このため、演算回路５１は、図８に示すテーブルにより、入力操作１と入力操作２とを画像領域１に対する作業工程１として分類する。画像領域２を実施対象として、入力操作１０と入力操作３とが時系列で連続して実施されている。このため、演算回路５１は、図８に示すテーブルにより、入力操作１０と入力操作３とを画像領域２に対する作業工程２として分類する。画像領域３を実施対象として、入力操作４と入力操作７とが時系列で連続して実施されている。このため、演算回路５１は、図８に示すテーブルにより、入力操作４と入力操作７とを画像領域３に対する作業工程３として分類する。画像領域４を実施対象として、入力操作５と入力操作８とが時系列で連続して実施されている。このため、演算回路５１は、図８に示すテーブルにより、入力操作５と入力操作８とを画像領域４に対する作業工程４として分類する。

ステップＳａ４において、演算回路５１は、時系列の分類された複数の作業工程を一連の作業工程として記憶回路５７に蓄積する。図８に示すように、複数の入力操作各々を入力した操作時刻に基づいて、分類された複数の作業工程が時系列で並べ替えられる。具体的には、「作業工程１→作業工程２→作業工程３→作業工程４」の順で並べ替えられている。演算回路５１は、時系列で並べ替えられた複数の作業工程を一連の作業工程として蓄積する。

ステップＳａ５において、演算回路５１は、記憶回路５７に蓄積された一連の作業工程に基づいて、複数の医用作業各々を実施する場合にみられる、ユーザによる一連の作業工程の傾向を推定する。ここで、ユーザによる一連の作業工程の傾向とは、例えば、ユーザにより所定の医用作業を実施する場合に、ユーザごとに異なる一連の作業工程の実施順序のことである。例えば、図９に示すように、現工程と、現工程の次に実施される次工程とを関連付けたテーブルとして上記傾向を示してもよい。なお、図９において、現工程が「作業工程１」の場合、次工程は「作業工程２」となる。現工程が「作業工程２」の場合、次工程は「作業工程３」となる。現工程が「作業工程３」の場合、次工程は「作業工程４」となる。現工程が「作業工程４」の場合、次工程は「作業終了」となる。現工程が「作業工程５」の場合、次工程は「作業工程６」となる。

また、図１０に示すように、機械学習およびディープラーニング等を用いて求めた次工程の発生確率に基づいて、図９に示すテーブルを並べ替えてもよい。なお、図１０において、現工程が「作業工程１」の場合、次工程が「作業工程２」となる確率は「８０％」、次工程が「作業工程１２」となる確率は「２０％」である。現工程が「作業工程２」の場合、次工程が「作業工程３」となる確率は「６０％」、次工程が「作業工程１０」となる確率は「４０％」である。現工程が「作業工程３」の場合、次工程が「作業工程４」となる確率は「５０％」、次工程が「作業工程９」となる確率は「５０％」である。

また、図１１に示すように、作成した一連の作業工程各々を関連付けてマップの形式で示してもよい。ここで、元となる情報もしくは推定した傾向と異なる工程が発生した場合、工程間の傾向の再構築をリアルタイムもしくは処理終了後に行ってもよい。

ステップＳａ６において、演算回路５１は、推定された傾向に基づいて、ユーザ固有の処理フローを設定する。例えば、図１１のようにマップとして示された一連の作業工程のうち、所定の医用作業を実施する場合に最も発生確率の高い一連の作業工程をユーザ固有の処理フローとして設定する。本実施形態において、演算回路５１は、図１１に示す一連の作業工程のうち、一連の作業工程「作業工程１→作業工程２→作業工程３→作業工程４」をユーザ固有の処理フローとして設定する。

上記過程を経て、本実施形態に係る医用画像処理装置５０は、ユーザ固有の処理フローを設定する。

（表示除外領域の決定）
演算回路５１は、上記過程を経て設定された処理フローに基づいて、オブジェクトを非表示とする表示除外領域を決定する。具体的には、演算回路５１は、処理フローを構成する一連の作業工程のうちの少なくとも現工程と次工程とを実施する場合に表示を回避すべき三次元画像Ｉｍｇ１の画像領域を表示除外領域として決定する。

図１２は、設定された処理フローに基づいて、表示除外領域を決定する流れを示すフローチャートである。なお、図１２では、一連の作業工程「作業工程１→作業工程２→作業工程３→作業工程４」がユーザ固有の処理フローとして設定されていると仮定する。

ステップＳｂ１において、演算回路５１は、設定された処理フローを読み込む。ステップＳｂ２において、演算回路５１は、読み込まれた処理フローを構成する一連の作業工程各々の実施対象の複数の画像領域を特定する。図８に示すように、一連の作業工程各々と、一連の作業工程各々の実施対象の複数の画像領域とは、予め対応付けられている。このため、演算回路５１は、一連の作業工程各々の実施対象の複数の画像領域を容易に特定することができる。

ステップＳｂ３において、演算回路５１は、特定された複数の画像領域を一連の作業工程を実施する場合に表示を回避すべき表示除外領域として決定する。

図１３は、図８に示す作業工程１を実施する場合の表示除外領域ＤＥ１を示す図である。図１３に示すように、演算回路５１は、被検体の背骨および骨盤に対応する部位領域を、作業工程１を実施する場合の表示除外領域ＤＥ１として決定する。言い換えれば、作業工程１は、被検体の背骨および骨盤に対応する部位領域を実施対象としていることを示している。

図１４は、図８に示す作業工程２を実施する場合の表示除外領域ＤＥ２を示す図である。図１４に示すように、演算回路５１は、被検体の心臓、消化器官、および腎臓に対応する部位領域を、作業工程２を実施する場合の表示除外領域ＤＥ２として決定する。言い換えれば、作業工程２は、被検体の心臓、消化器官および腎臓に対応する部位領域を実施対象としていることを示している。

図１５は、図８に示す作業工程３を実施する場合の表示除外領域ＤＥ３を示す図である。図１５に示すように、演算回路５１は、被検体の心臓および肺に対応する部位領域を、作業工程３を実施する場合の表示除外領域ＤＥ３として決定する。言い換えれば、作業工程３は、被検体の心臓および肺に対応する部位領域を実施対象としていることを示している。

図１６は、図８に示す作業工程４を実施する場合の表示除外領域ＤＥ４を示す図である。図１６に示すように、演算回路５１は、被検体のすべての部位領域を、作業工程４を実施する場合の表示除外領域ＤＥ４として決定する。言い換えれば、作業工程４は、被検体のすべての部位領域を実施対象としていることを示している。

上記過程を経て、本実施形態に係る医用画像処理装置５０は、一連の作業工程各々の表示除外領域を決定する。

（過程３）
（表示画面Ｄ２におけるオブジェクトの表示制御）
演算回路５１は、上記過程を経て決定された表示除外領域に基づいて、表示画面Ｄ２におけるオブジェクトの表示制御を実行する。具体的には、演算回路５１は、決定された表示除外領域を避けて三次元画像Ｉｍｇ１に関するオブジェクトを表示するようディスプレイ５３を制御する。

図１７は、現工程として作業工程１を実施し、次工程として作業工程２を実施する場合の三次元画像Ｉｍｇ１に関するオブジェクトの表示除外領域ＤＥ１＋ＤＥ２を示す図である。図１７に示すように、本実施形態に係る医用画像処理装置５０は、実施対象となっている現工程「作業工程１」の表示除外領域ＤＥ１と、実施対象となっている次工程「作業工程２」の表示除外領域ＤＥ２とを合算し、合算した表示除外領域ＤＥ１＋ＤＥ２を避けて、医用画像に関連する情報をディスプレイ５３の表示画面にオブジェクトを表示するようディスプレイ５３を制御する。上記実施形態に示すように、オブジェクトは、例えば、ウィンドウアイコン、通知ウィンドウ、ツールウィンドウ、パラメータ表示ウィンドウ、吹き出し等である。ディスプレイ５３は、これらのオブジェクトが表示除外領域ＤＥ１＋ＤＥ２に重ならないように表示する。図１８は、三次元画像Ｉｍｇ１上に表示された三次元画像Ｉｍｇ１に関するオブジェクトを示す図である。図１８に示すように、三次元画像Ｉｍｇ１に関するオブジェクトは、表示除外領域ＤＥ１＋ＤＥ２を避けて表示されている。

図１９は、現工程として作業工程１を実施し、次工程として作業工程３を実施する場合の表示除外領域ＤＥ１＋ＤＥ３を示す図である。図１９に示すように、本実施形態に係る医用画像処理装置５０は、実施対象となっている現工程「作業工程１」の表示除外領域ＤＥ１と、実施対象となっている次工程「作業工程３」の表示除外領域ＤＥ３とを合算し、合算した表示除外領域ＤＥ１＋ＤＥ３を避けて、医用画像に関連する情報をディスプレイ５３の表示画面にオブジェクトを表示するようディスプレイ５３を制御する。ディスプレイ５３は、これらのオブジェクトが表示除外領域ＤＥ１＋ＤＥ３に重ならないように表示する。図２０は、三次元画像Ｉｍｇ１上に表示された三次元画像Ｉｍｇ１に関するオブジェクトを示す図である。図２０に示すように、三次元画像Ｉｍｇ１に関するオブジェクトは、表示除外領域ＤＥ１＋ＤＥ３を避けて表示されている。

図２１は、現工程として作業工程２を実施し、次工程として作業工程３を実施する場合の表示除外領域ＤＥ２＋ＤＥ３を示す図である。図２１に示すように、本実施形態に係る医用画像処理装置５０は、実施対象となっている現工程「作業工程２」の表示除外領域ＤＥ２と、実施対象となっている次工程「作業工程３」の表示除外領域ＤＥ３とを合算し、合算した表示除外領域ＤＥ２＋ＤＥ３を避けて、医用画像に関連する情報をディスプレイ５３の表示画面にオブジェクトを表示するようディスプレイ５３を制御する。ディスプレイ５３は、これらのオブジェクトが表示除外領域ＤＥ２＋ＤＥ３に重ならないように表示する。図２２は、三次元画像Ｉｍｇ１上に表示された三次元画像Ｉｍｇ１に関するオブジェクトを示す図である。図２２に示すように、三次元画像Ｉｍｇ１に関するオブジェクトは、表示除外領域ＤＥ２＋ＤＥ３を避けて表示されている。

上記過程を経て、本実施形態に係る医用画像処理装置５０は、決定された表示除外領域を避けて医用画像に関するオブジェクトを表示することができる。

（表示画面Ｄ３におけるオブジェクトの表示制御）
上記実施形態における医用画像処理装置５０において、表示画面Ｄ２におけるオブジェクトの表示制御を実行している。ここで、表示画面Ｄ２におけるオブジェクトの表示制御の手法は、表示画面Ｄ３にも適用可能である。例えば、演算回路５１は、決定された表示除外領域に基づいて、表示画面Ｄ３におけるオブジェクトの表示制御を実行する。具体的には、演算回路５１は、決定された表示除外領域を避けて三次元画像Ｉｍｇ１に関するオブジェクトを表示するようディスプレイ５３を制御する。

例えば、図１７に示すように、現工程として作業工程１を実施し、次工程として作業工程２を実施する場合に、表示画面Ｄ３の手技記入欄にユーザによる入力回路５５を介した入力操作が実施されると仮定する。演算回路５１は、実施対象となっている現工程「作業工程１」の表示除外領域ＤＥ１と、実施対象となっている次工程「作業工程２」の表示除外領域ＤＥ２とを合算した表示除外領域ＤＥ１＋ＤＥ２の他に、手技記入欄に表示除外領域を設定することとする。図２３は、表示画面Ｄ３の手技記入欄に設定された表示除外領域ＤＥ５を示す図である。図２３に示すように、本実施形態に係る医用画像処理装置５０は、表示除外領域ＤＥ５を避けて、三次元画像Ｉｍｇ１に関連するオブジェクトをディスプレイ５３の表示画面に表示するようディスプレイ５３を制御する。ディスプレイ５３は、これらのオブジェクトが表示除外領域ＤＥ５に重ならないように表示する。図２４は、三次元画像Ｉｍｇ１上に表示された三次元画像Ｉｍｇ１に関するオブジェクトを示す図である。図２４に示すように、コメントに関する吹き出しＢ１は、表示除外領域ＤＥ５を避けて表示されている。

また、図１９に示すように、現工程として作業工程１を実施し、次工程として作業工程３を実施する場合に、表示画面Ｄ３のｅＧＦＲ欄およびアレルギー欄にユーザによる入力回路５５を介した入力操作が実施されると仮定する。演算回路５１は、実施対象となっている現工程「作業工程１」の表示除外領域ＤＥ１と、実施対象となっている次工程「作業工程３」の表示除外領域ＤＥ３とを合算した表示除外領域ＤＥ１＋ＤＥ３の他に、ｅＧＦＲ欄およびアレルギー欄に表示除外領域を設定することとする。図２５は、表示画面Ｄ３のｅＧＦＲ欄およびアレルギー欄に設定された表示除外領域ＤＥ６を示す図である。図２５に示すように、本実施形態に係る医用画像処理装置５０は、表示除外領域ＤＥ６を避けて、三次元画像Ｉｍｇ１に関連するオブジェクトをディスプレイ５３の表示画面に表示するようディスプレイ５３を制御する。ディスプレイ５３は、これらのオブジェクトが表示除外領域ＤＥ６に重ならないように表示する。図２６は、三次元画像Ｉｍｇ１上に表示された三次元画像Ｉｍｇ１に関するオブジェクトを示す図である。図２６に示すように、三次元画像Ｉｍｇ１に関する吹き出しＢ２は、表示除外領域ＤＥ６を避けて表示されている。

（緊急度の有無と関連度の有無とにより判断される受領した通知の表示タイミング）
本実施形態に係る医用画像処理装置５０は、決定された表示除外領域に基づいて、表示画面Ｄ２およびＤ３におけるオブジェクトの表示制御を実行している。一方、所定の医用作業の実施中において、ユーザに対して通知が必要な情報を受領する場合がある。本実施形態に係る医用画像処理装置５０の演算回路５１は、通知の緊急度、および受領した通知と実施中の所定の医用作業との関連度に基づいて、受領した通知の表示タイミングを制御する。

図２７は、受領した通知の表示タイミングを判定する流れを示すフローチャートである。まず、ステップＳｃ１において、演算回路５１は、医用作業中のユーザへの通知を受領する。ステップＳｃ２において、演算回路５１は、受領された通知の緊急度が高いか否かを判定する。ステップＳｃ３において、受領された通知の緊急度が高い場合（ステップＳｃ２のＹｅｓ）、演算回路５１は、受領された通知を表示画面Ｄ１に表示するようディスプレイ５３を制御する。ここで、演算回路５１は、緊急度の高い通知をディスプレイ５３における表示画面Ｄ１の目立つ位置に表示するよう制御する。ここで、緊急度の高い通知とは、装置の不具合を示すシステムエラー通知およびバッテリ残量が少ないことを示すバッテリ枯渇通知等のことである。演算回路５１は、決定された表示除外領域付近、あるいは表示除外領域に緊急度の高い通知を表示するよう制御してもよい。また、演算回路５１は、ユーザにより緊急度の高い通知の内容が確認されるまで、実施中の医用作業を継続できないよう制御してもよい。

ステップＳｃ４において、演算回路５１は、受領された通知の緊急度が低い場合（ステップＳｃ２のＮｏ）、受領された通知と実施中の所定の医用作業との関連度が高いか否かを判定する。受領された通知の関連度が高い場合（ステップＳｃ４のＹｅｓ）、演算回路５１は、受領した通知を表示画面Ｄ１に表示するようディスプレイ５３を制御する。演算回路５１は、受領された通知と実施中の所定の医用作業との関連度が高いと判定された場合（ステップＳｃ４のＹｅｓ）、ステップＳｃ３において、関連度が高い通知を表示画面Ｄ１に表示するようディスプレイ５３を制御する。ここで、関連度の高い通知とは、造影情報の更新通知および表示された医用画像に対してコメントを入力するよう促すコメント入力通知等のことである。

ステップＳｃ５において、受領された通知と実施中の所定の医用作業との関連度が低いと判定された場合（ステップＳｃ４のＮｏ）、演算回路５１は、別途通知リスト（キューリスト）に受領された通知を追加する。ステップＳｃ６において、ユーザにより実施中の医用作業が完了した場合、演算回路５１は、通知リストに追加された通知を読み出し、医用作業完了後に読み出した通知を表示画面Ｄ１に表示するようディスプレイ５３を制御する。

（総括）
本実施形態に係る医用画像処理装置は、表示部と、入力部と、決定部と、制御部とを備える。表示部は、医用画像に対する医用作業を実施するための表示画面を表示する。入力部は、ユーザによる表示画面に表示された医用画像に対する入力操作を受け付ける入力部。決定部は、実施対象の医用作業のためのオブジェクトの表示除外領域を、実施対象の医用作業に関するユーザ固有の処理フローと、処理フローを構成する一連の作業工程のうちの少なくとも現工程と次工程との実施対象の解剖学的部位とに基づいて決定する。制御部は、決定された表示除外領域を避けてオブジェクトを表示画面に表示するよう表示部を制御する。

上記構成によれば、本実施形態に係る医用画像処理装置は、表示画面上での操作のフローの向上を実現することができる。また、必要な参照中の情報が隠されてしまうケース等が低減できるため、操作の正確性にも寄与することができる。

かくして、本実施形態に係る医用画像処理装置は、ユーザによる医用作業の効率を向上することができる。

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…医用画像診断装置、１０……医用画像撮像装置、５０…医用画像処理装置、５１…演算回路、５３…ディスプレイ、５５…入力回路、５７…記憶回路、５１１…画像生成機能、５１３…画像処理機能、５１５…設定機能、５１７…決定機能、５１９…システム制御機能、ＢＵＳ…バス、Ｃ…カーソル、Ｄ１，Ｄ２，Ｄ３…表示画面、ＤＥ１，ＤＥ２，ＤＥ３，ＤＥ４，ＤＥ５，ＤＥ６…表示除外領域、Ｉｍｇ１…三次元画像、Ｉｍｇ２…断面画像、ＮＷ…ネットワーク。

Claims (10)

1. 医用画像に対する医用作業を実施するための表示画面を表示する表示部と、
   ユーザによる前記表示画面に表示された医用画像に対する入力操作を受け付ける入力部と、
   実施対象の医用作業のためのオブジェクトの表示除外領域を、前記実施対象の医用作業に関する前記ユーザ固有の処理フローと、前記処理フローを構成する一連の作業工程のうちの少なくとも現工程と次工程との実施対象の解剖学的部位とに基づいて決定する決定部と、
   前記決定された表示除外領域を避けて前記オブジェクトを前記表示画面に表示するよう前記表示部を制御する制御部と、
   を具備する医用画像処理装置。
2. 前記医用画像は、複数の画像領域を含み、
   前記決定部は、前記入力部を介して前記複数の画像領域各々において実施される複数の入力操作の履歴に基づいて、前記表示除外領域を決定する、
   請求項１に記載の医用画像処理装置。
3. 前記医用作業について実施される一連の作業工程を前記履歴として蓄積する記憶部と、
   前記蓄積された一連の作業工程から推定される、前記医用作業を実施する場合にみられる前記ユーザによる一連の作業工程の傾向に基づいて、前記処理フローを設定する設定部と、
   をさらに具備する請求項２に記載の医用画像処理装置。
4. 前記決定部は、前記設定された一連の作業工程に沿って前記複数の作業工程各々を実施する場合に、前記複数の作業工程のうちの少なくとも現工程と次工程とに関連付けられた画像領域を前記表示除外領域として決定する請求項３に記載の医用画像処理装置。
5. 前記画像領域は、被検体の解剖学的部位を示す部位領域である請求項４に記載の医用画像処理装置。
6. 前記入力部は、複数のユーザによる前記医用画像に対する入力操作を受け付け、
   前記記憶部は、前記処理フローと前記画像領域とを前記複数のユーザごとに関連付けて記憶する、
   請求項３に記載の医用画像処理装置。
7. 前記制御部は、緊急度の高い通知を受領した場合、前記緊急度の高い通知を前記表示除外領域に表示するよう前記表示部を制御する請求項１乃至６のいずれか一項に記載の医用画像処理装置。
8. 前記制御部は、緊急度の低い通知、または前記一連の作業工程と関連度の低い通知を受領した場合、前記一連の作業工程が完了した後に前記緊急度の低い通知、または前記関連度の低い通知を表示するよう前記表示部を制御する請求項１乃至７のいずれか一項に記載の医用画像処理装置。
9. 医用作業を実施するための表示画面を表示する表示部と、
   ユーザによる前記表示画面に対する入力操作を受け付ける入力部と、
   実施対象の医用作業のためのオブジェクトの表示除外領域を、前記実施対象の医用作業に関する前記ユーザ固有の処理フローと、前記処理フローを構成する一連の作業工程のうちの少なくとも現工程と次工程との実施対象の解剖学的部位とに基づいて決定する決定部と、
   前記決定された表示除外領域を避けて前記オブジェクトを前記表示画面に表示するよう前記表示部を制御する制御部と、
   を具備する医用画像処理装置。
10. 前記決定部は、機械学習により前記次工程の発生確率を算出し、前記発生確率が最も高い作業工程を選択して前記処理フローを設定する、請求項１または請求項９に記載の医用画像処理装置。

Images