以下、図面を参照しながら、医用情報処理システム、端末装置及びプログラムの実施形態について詳細に説明する。
(第1の実施形態)
第1の実施形態では、図1に示すように、医用情報処理装置100、端末装置200及びPACS(Picture Archiving and Communication System)サーバ300を含んだ医用情報処理システム1を例として説明する。図1は、第1の実施形態に係る医用情報処理システム1の構成の一例を示すブロック図である。
図1に示すように、医用情報処理装置100と端末装置200とPACSサーバ300とは、ネットワークNWを介して通信可能に接続される。なお、医用情報処理装置100及び端末装置200と、PACSサーバ300は、同一施設内に設置されてもよいし、互いに異なる施設に設置されてもよい。即ち、ネットワークNWは、施設内で閉じたローカルネットワークにより構成されてもよいし、インターネットを介したネットワークでもよい。
医用情報処理装置100は、読影医であるユーザに対して、医用画像を提示する装置である。例えば、医用情報処理装置100は、1又は複数のディスプレイを備え、複数種類の医用画像を同時に表示する。また、例えば、医用情報処理装置100は、ユーザによる入力操作に基づいて、医用画像に関する種々の処理を実行する。なお、医用情報処理装置100の構成については後述する。
端末装置200は、ユーザからの入力操作を受け付けて、受け付けた操作を医用情報処理装置100に送信する装置である。この場合、医用情報処理装置100は、端末装置200から送信された操作に基づいて、医用画像に関する種々の処理を実行する。即ち、端末装置200は、医用情報処理装置100を操作するためのコントローラー端末である。なお、端末装置200の構成については後述する。
PACSサーバ300は、図示しない医用画像診断装置によって収集された医用画像を記憶する装置である。ここで、医用画像診断装置の例としては、例えば、X線診断装置、超音波診断装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission computed Tomography)装置などが挙げられる。
例えば、PACSサーバ300は、DB(Database)サーバ等のコンピュータ機器によって実現され、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等の記憶回路に画像データを記憶させる。例えば、PACSサーバ300は、医用画像診断装置によって収集された医用画像を、ネットワークNWを介して取得し、医用画像が収集された時間及び患者IDと対応付けて記憶する。
次に、医用情報処理装置100について、図2を用いて説明する。図2は、第1の実施形態に係る医用情報処理装置100の構成の一例を示すブロック図である。例えば、医用情報処理装置100は、図2に示すように、入力インターフェース110と、ディスプレイ120と、メモリ130と、処理回路140とを有する。
入力インターフェース110は、ユーザから各種の入力操作を受け付けて、受け付けた入力操作を電気信号に変換して処理回路140に出力する。例えば、入力インターフェース110は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行なうタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インターフェース110は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、医用情報処理装置100とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路140へ出力する電気信号の処理回路も入力インターフェース110の例に含まれる。また、図2においては入力インターフェース110を1つ示すが、医用情報処理装置100は入力インターフェース110を複数備えてもよい。例えば、医用情報処理装置100は、入力インターフェース110として、マウスとキーボードとを備えてもよい。
ディスプレイ120は、各種の情報を表示する。例えば、ディスプレイ120は、医用画像や患者情報、読影リスト等を表示する。また、例えば、ディスプレイ120は、ユーザから各種の操作を受け付けるためのGUI(Graphical User Interface)を表示する。例えば、ディスプレイ120は、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイである。なお、ディスプレイ120は、第1表示部の一例である。
また、図2においてはディスプレイ120を1つ示すが、医用情報処理装置100は、ディスプレイ120を複数含んでもよい。例えば、医用情報処理装置100は、ディスプレイ120として、物理的に分離した2つのディスプレイ(デュアルディスプレイ)を含んでもよい。また、これら複数のディスプレイ120は相互に関連するように制御されてもよい。例えば、複数のディスプレイ120は、連続した1つの領域を表示するように制御される。この場合、ディスプレイ120における表示領域は、ディスプレイ120の数に応じて拡張される。
メモリ130は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、メモリ130は、医用情報処理装置100に含まれる各回路がその機能を実現するためのプログラムを記憶する。また、例えば、メモリ130は、PACSサーバ300又は医用画像診断装置から取得した医用画像を記憶する。
処理回路140は、表示制御機能141、処理機能142及び送信機能143を実行することで、医用情報処理装置100による処理の全体を制御する。なお、表示制御機能141は、第1表示制御部の一例である。また、処理機能142は、処理部の一例である。送信機能143は、第1送信部の一例である。
例えば、処理回路140は、表示制御機能141に対応するプログラムをメモリ130から読み出して実行することにより、医用画像をディスプレイ120に表示させる。また、処理回路140は、処理機能142に対応するプログラムをメモリ130から読み出して実行することにより、医用画像に関する処理A1を実行する。
ここで、医用画像に関する処理A1は、医用画像を加工するための画像処理に限られるものではなく、画像の表示から読影の完了に至るまでに行われる各種の処理を包含する。一例を挙げると、処理A1には、ディスプレイ120に表示された複数の医用画像を並び替える処理や、各医用画像の表示態様を変更する処理、医用画像上の構造物(例えば、臓器や血管、腫瘍等)を計測する処理、医用画像に対してマーキングする処理、医用画像をレポートに貼り付ける処理等が含まれる。
例えば、処理機能142は、ユーザによる入力操作に基づいて、ディスプレイ120に表示された複数の医用画像を、医用画像をユーザが見やすいように、或いは医用画像間の比較を行ないやすいように並び替える。また、例えば、処理機能142は、ユーザによる入力操作に基づいて、各医用画像の諧調や倍率といった表示態様を変更する。また、例えば、処理機能142は、ユーザによる入力操作に基づいて、医用画像に現れた腫瘍の大きさを計測する。また、例えば、処理機能142は、ユーザによる入力操作に基づいて、医用画像に現れた腫瘍をマーキングする。
ここで、処理機能142は、端末装置200に対してユーザが行なった操作に基づいて、処理A1を実行する。なお、処理機能142により処理A1が実行された場合、表示制御機能141は、処理結果をディスプレイ120に適宜反映させる。また、処理回路140は、送信機能143に対応するプログラムをメモリ130から読み出して実行することにより、処理A1に関する情報B1を、端末装置200に送信する。なお、情報B1については後述する。
図2に示す医用情報処理装置100においては、各処理機能がコンピュータによって実行可能なプログラムの形態でメモリ130へ記憶されている。処理回路140は、メモリ130からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、プログラムを読み出した状態の処理回路140は、読み出したプログラムに対応する機能を有することとなる。
なお、図2においては単一の処理回路140にて、表示制御機能141、処理機能142及び送信機能143が実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路140を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路140が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。
次に、端末装置200について図3を用いて説明する。図3は、第1の実施形態に係る端末装置200の構成の一例を示すブロック図である。例えば、端末装置200は、図3に示すように、入力インターフェース210と、ディスプレイ220と、メモリ230と、処理回路240とを有する。
入力インターフェース210は、ユーザから各種の入力操作を受け付けて、受け付けた入力操作を電気信号に変換して処理回路240に出力する。例えば、入力インターフェース110は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行なうタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。また、入力インターフェース210は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、端末装置200とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路240へ出力する電気信号の処理回路も入力インターフェース210の例に含まれる。また、図3においては入力インターフェース210を1つ示すが、端末装置200は入力インターフェース210を複数備えてもよい。例えば、端末装置200は、入力インターフェース210として、マウスとキーボードを備えてもよい。
ディスプレイ220は、各種の情報を表示する。例えば、ディスプレイ220は、ユーザから各種の操作を受け付けるためのGUIを表示する。一例を挙げると、ディスプレイ220は、上述した処理A1の一部又は全部に対応する複数のアイコンを表示する。例えば、ディスプレイ220は、液晶ディスプレイやCRTディスプレイである。なお、ディスプレイ220は、第2表示部の一例である。
ここで、入力インターフェース210とディスプレイ220とは統合してもよい。例えば、入力インターフェース210及びディスプレイ220は、単一のタッチパネルによって実現される。即ち、端末装置200は、ディスプレイ220としてタッチパネルを備えたタブレット端末であってもよい。
メモリ230は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、メモリ230は、端末装置200に含まれる各回路がその機能を実現するためのプログラムを記憶する。また、例えば、メモリ230は、医用情報処理装置100から送信された情報B1を記憶する。
処理回路240は、表示制御機能241、受付機能242及び送信機能243を実行することで、端末装置200による処理の全体を制御する。なお、表示制御機能241は、第2表示制御部の一例である。また、受付機能242は、受付部の一例である。送信機能243は、第2送信部の一例である。
例えば、処理回路240は、表示制御機能241に対応するプログラムをメモリ230から読み出して実行することにより、医用情報処理装置100において実行可能な複数の処理A1の一部又は全部に対応する複数のアイコンをディスプレイ220に表示させる。また、処理回路240は、受付機能242に対応するプログラムをメモリ230から読み出して実行することにより、ディスプレイ220に表示された複数のアイコンに対する操作をユーザから受け付ける。また、処理回路140は、送信機能243に対応するプログラムをメモリ230から読み出して実行することにより、受付機能242が受け付けた操作を医用情報処理装置100に送信する。なお、ディスプレイ220に表示する複数のアイコンについては後述する。
図3に示す端末装置200においては、各処理機能がコンピュータによって実行可能なプログラムの形態でメモリ230へ記憶されている。処理回路240は、メモリ230からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、プログラムを読み出した状態の処理回路240は、読み出したプログラムに対応する機能を有することとなる。
なお、図3においては単一の処理回路240にて、表示制御機能241、受付機能242及び送信機能243が実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路240を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路240が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。
ここで、医用情報処理システム1におけるユーザインターフェースの一例を図4に示す。図4に示すディスプレイ120a、ディスプレイ120b及びディスプレイ120cは、ディスプレイ120の一例である。また、図4に示すマウス110a及びキーボード110bは、入力インターフェース110の一例である。即ち、図4は、医用情報処理装置100が複数の入力インターフェース110及び複数のディスプレイ120を備える場合を示す。また、図4は、端末装置200がタブレット端末である場合を示す。なお、図4は、第1の実施形態に係るユーザインターフェースの一例を示す図である。
図4において、ディスプレイ120a及びディスプレイ120bは、例えば、各種の医用画像を表示する高解像度のディスプレイである。例えば、ディスプレイ120a及びディスプレイ120bは、読影対象の医用画像や、読影において参考・比較に用いる医用画像を表示する。ここで、ディスプレイ120a及びディスプレイ120bは、連続した1つの領域を表示するように制御される。なお、医用情報処理システム1は、ディスプレイ120a及びディスプレイ120bに代えて、単一の大型ディスプレイを備えてもよい。また、ディスプレイ120cは、例えば、患者リストや読影レポート等を表示させる。
また、図4において、マウス110a及びキーボード110bは、読影に関する操作を入力するための入力インターフェースである。例えば、ユーザは、マウス110aを用いて、ディスプレイ120a及びディスプレイ120b上のマウスカーソルを操作する。具体的には、ユーザは、ディスプレイ120a及びディスプレイ120bの連続した表示領域上でマウスカーソルを移動させ、クリックやドラッグ等の操作を適宜行なうことで、操作対象とする医用画像を選択したり、選択した医用画像について実行する処理A1を選択したりする。また、例えば、ユーザは、マウス110aを用いて、ディスプレイ120c上のマウスカーソルを操作する。具体的には、ユーザは、ディスプレイ120cの表示領域上でマウスカーソルを移動させ、クリックやドラッグ等の操作を適宜行なうことで、患者リストの中から読影対象を選択したり、読影レポートに対する操作を行なったりする。また、ユーザは、キーボード110bを用いて、文字や数値等の入力を行なうこともできる。
更に、ユーザは、端末装置200を介して入力を行なうこともできる。例えば、ユーザは、端末装置200に表示された複数のアイコンのうちのいずれかを選択することにより、ディスプレイ120a及びディスプレイ120bに表示された医用画像について実行する処理A1を選択する。なお、端末装置200に表示する複数のアイコンについては後述する。
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、あるいは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサは、メモリ130又はメモリ230に保存されたプログラムを読み出し実行することで機能を実現する。
なお、図2及び図3においては、単一のメモリ130又はメモリ230が各処理機能に対応するプログラムを記憶するものとして説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、複数のメモリ130を分散して配置し、処理回路140は、個別のメモリ130から対応するプログラムを読み出す構成としても構わない。同様に、複数のメモリ230を分散して配置し、処理回路240は、個別のメモリ230から対応するプログラムを読み出す構成としても構わない。また、メモリ130又はメモリ230にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。
また、処理回路140及び処理回路240は、ネットワークを介して接続された外部装置のプロセッサを利用して、機能を実現することとしてもよい。例えば、処理回路140は、メモリ130から各機能に対応するプログラムを読み出して実行するとともに、医用情報処理装置100とネットワークを介して接続されたサーバ群(クラウド)を計算資源として利用することにより、図2に示す各機能を実現する。
以上、第1の実施形態に係る医用情報処理システム1の全体構成について説明した。かかる構成のもと、医用情報処理システム1は、読影の効率を向上させる。以下、第1の実施形態に係る医用情報処理システム1の処理について詳細に説明する。
まず、図5を用いて、読影における画面表示の一例を説明する。例えば、表示制御機能141は、図4に示したディスプレイ120a及びディスプレイ120bに、図5の画面を表示させる。図5は、第1の実施形態に係る読影時の表示例を示す図である。
例えば、表示制御機能141は、図5の領域R1に患者情報を表示させる。一例を挙げると、表示制御機能141は、患者情報として、読影対象となっている患者の氏名や患者ID、年齢、性別、生年月日等を領域R1に表示させる。なお、読影対象については、例えば、図4に示したディスプレイ120cに表示された患者リストの中から選択することができる。或いは、読影対象については、一人の患者についての読影が完了するごとに、登録された次の患者に切り替えることとしても構わない。
また、表示制御機能141は、図5の領域R2に、表示可能な医用画像をリスト表示させる。例えば、表示制御機能141は、領域R2に、医用画像の種類(モダリティ名)を示す複数のタブを表示させ、選択されたタブに該当する医用画像の情報をリスト表示させる。なお、表示可能な医用画像とは、読影対象の医用画像や、読影において参考・比較に用いる医用画像等である。一例を挙げると、表示制御機能141は、読影対象の医用画像や、同一の患者について過去に収集された医用画像、同一又は類似の症状を有する他の患者について過去に収集された医用画像等を領域R2にリスト表示させる。また、表示制御機能141は、図5の領域R3に、表示可能な医用画像をサムネイル表示させる。
また、表示制御機能141は、図5の領域R4に、医用情報処理装置100において実行可能な複数の処理A1に対応する複数のアイコンを表示させる。例えば、表示制御機能141は、処理A1を選択するためのボタンや、処理A1の条件を設定するためのアイコン(プルダウンやレバー、入力欄等)を領域R4に表示させる。
また、表示制御機能141は、図5の領域R5に、ユーザが選択した1又は複数の医用画像を表示させる。例えば、表示制御機能141は、医用画像I1、医用画像I2、医用画像I3及び医用画像I4を領域R5に表示させる。
一例を挙げると、表示制御機能141は、図5の操作X1をユーザから受け付けることにより、領域R5に医用画像を表示させる。具体的には、ユーザは、まず、図5の領域R3のサムネイル表示を参照して、表示させる医用画像を選択する。次に、ユーザは、例えば図4のマウス110aを操作し、領域R3内における所望のサムネイル上にマウスカーソルを移動させ、マウス110aのボタンを押下する。次に、ユーザは、マウス110aのボタンを押下したままマウスカーソルを領域R3から領域R5まで移動させ、領域R5内の任意の位置でマウス110aのボタンを離す。即ち、ユーザは、領域R3から領域R5に向けてドラッグアンドドロップ操作を行なう。これにより、表示制御機能141は、領域R3内でユーザにより選択された医用画像を領域R5に表示させる。
次に、処理機能142は、ユーザからの入力操作に応じて、領域R5に表示された医用画像に関する処理A1を実行する。具体的には、ユーザは、まず、図5の領域R3において、処理対象の医用画像を選択する。例えば、ユーザは、マウス110aを操作して、処理対象の医用画像をクリックする。ここで、表示制御機能141は、選択されている医用画像を識別可能に表示してもよい。例えば、表示制御機能141は、選択されている医用画像の輪郭線の色や太さ等を変更する。
次に、ユーザは、選択されている医用画像に関して実行する処理A1を選択する。なお、処理A1の対象として選択されている医用画像については、アクティブな医用画像、又は、フォーカスされている医用画像とも記載する。
例えば、ユーザは、マウス110aを操作して、図5の操作X2に示すように、マウスカーソルを領域R5から領域R4まで移動させる。次に、ユーザは、領域R4に表示されている複数のアイコンに対する操作を入力する。更に、ユーザは、図5の操作X3に示すように、マウスカーソルを領域R4から領域R5まで移動させて、領域R5の医用画像に対する操作を入力する。一例を挙げると、ユーザは、操作X2を行なった後、領域R4において、医用画像に対してマーキングする処理を、処理A1として選択する。次に、ユーザは、操作X3を行ない、領域R5において、医用画像に対してマーキングする操作を行なう。
ここで、領域R4のアイコンを用いて処理A1を実行する場合、図5の操作X1~X3に示したように、マウスカーソルを異なる領域の間で移動させる必要がある。また、近年のディスプレイの大型化に伴い、マウスカーソルの移動量は多くなっている。従って、操作X1~X3のようなマウス操作はユーザにとっての負担となり、読影の効率を低下させてしまう場合がある。
また、処理A1については日々開発が進められており、その数は増加してきている。また、新たに開発された処理A1を利用可能な状態とするためには、対応するアイコンをユーザに提示する必要がある。即ち、領域R4に表示されるアイコンの数も増加しており、表示が複雑となって、所望のアイコンの位置が分かりにくくなっている。また、アイコンが多くなるとアイコン1つあたりのサイズが小さくなってしまうが、サイズの小さいアイコンに対する操作は行いにくく操作ミスも生じやすい。或いは、領域R4を拡大することでアイコン1つあたりのサイズを維持することは可能であるものの、この場合には領域R5等の他の領域が圧迫されてしまう。即ち、領域R4を拡大すると、医用画像の表示サイズ自体が小さくなってしまう。このように、領域R4に多くのアイコンを表示させると、読影の効率を低下させてしまう場合がある。
そこで、医用情報処理システム1は、医用情報処理装置100から端末装置200に対して処理A1に関する情報B1を送信し、情報B1に応じて、処理A1に対応する複数のアイコンを端末装置200に表示させることで、読影の効率を向上させる。以下、医用情報処理システム1における処理について、図6を用いて説明する。図6は、第1の実施形態に係る医用情報処理システム1の処理の一連の流れを説明するためのフローチャートである。
まず、処理回路140は、ネットワークNWを介して、PACSサーバ300から画像情報を取得する(ステップS101)。例えば、処理回路140は、患者IDに基づいて、読影対象の患者について収集された複数の医用画像をPACSサーバ300から取得する。また、処理回路140は、取得した医用画像をディスプレイ120に表示させる(ステップS102)。
なお、図6においては、患者P1に関する読影を行なうものとして説明する。即ち、処理回路140は、ステップS102において、患者P1について収集された医用画像を表示させる。また、図6においては、ユーザの例として読影医D1について説明する。即ち、読影医D1は、ステップS102において表示された患者P1の医用画像について読影を行なう。
次に、処理回路140は、メモリ130からアイコン情報B11を取得する(ステップS103)。ここで、アイコン情報B11とは、処理A1に対応する複数のアイコンをディスプレイ120に表示させる場合における、複数のアイコンのそれぞれの見た目に関する情報である。即ち、アイコン情報は、医用情報処理装置100においてアイコンを表示するための情報である。例えば、処理回路140は、アイコン情報B11として、図5の領域R4に表示されるアイコンそれぞれの画像を取得する。なお、アイコン情報B11は、情報B1の一例である。
次に、端末装置200における処理回路240は、アイコン情報B11、ユーザ情報B12及び検査情報B13を、医用情報処理装置100における処理回路140から取得する(ステップS104)。なお、ユーザ情報B12及び検査情報B13は、情報B1の一例である。
具体的には、処理回路140は、ステップS103にて取得したアイコン情報B11を、ネットワークNWを介して、処理回路240に送信する。ユーザ情報B12及び検査情報B13についても同様に、処理回路140は、ネットワークNWを介して、処理回路240に送信する。なお、処理回路140は、処理回路240により実行される各種アプリケーションの起動を確認した後、アイコン情報B11、ユーザ情報B12及び検査情報B13を送信することとしてもよい。
ここで、ユーザ情報B12とは、例えば、ステップS102において表示された医用画像の読影を行なう読影医D1に関する情報である。例えば、ユーザ情報B12には、複数の処理A1それぞれについて読影医D1が使用する頻度を示す情報B121が含まれる。かかる情報B121は、例えば、過去の読影において読影医D1により使用された処理A1の履歴に基づいて取得することができる。
また、例えば、ユーザ情報B12には、読影医D1の視力に関する情報B122が含まれる。かかる情報B122は、例えば、読影医D1からの入力操作を受け付けることにより取得することができる。また、かかる情報B122は、例えば、読影医D1の視力の測定結果を管理するシステムから、自動で取得することもできる。
例えば、処理回路140は、複数のユーザそれぞれについて情報B121及び情報B122を取得し、メモリ130に事前に記憶させる。そして、処理回路140は、図6のステップS104において、メモリ130から読影医D1に関する情報B121及び情報B122を取得し、処理回路240に送信する。
また、検査情報B13とは、例えば、読影の対象となっている患者P1から医用画像を収集した検査に関する各種の情報である。例えば、検査情報B13には、患者P1の検査において収集された医用画像の種類を示す情報B131が含まれる。一例を挙げると、情報B131は、患者P1から医用画像を収集したモダリティを示す情報である。
また、例えば、検査情報B13には、患者P1の検査において収集された医用画像の数を示す情報B132が含まれる。一例を挙げると、患者P1に対して胸部単純X線撮影が行われた場合、情報B132は、患者P1から収集されたX線画像の枚数を示す情報である。また、一例を挙げると、患者P1に対してCT検査が行われた場合、情報B132は、患者P1から収集されたスライス数を示す情報である。
また、例えば、検査情報B13には、患者P1の検査における対象部位を示す情報B133が含まれる。なお、対象部位とは、特定の臓器や骨、血管、神経、内腔等であってもよいし、体幹や上肢、下肢、頭部、胸部といった総括的な単位であってもよい。
次に、処理回路240は、ステップS104において処理回路140から取得した情報B1に応じて、複数のアイコンをディスプレイ220に表示させる(ステップS105)。例えば、処理回路240における表示制御機能241は、医用情報処理装置100において実行可能な複数の処理A1の一部又は全部に対応する複数のアイコンを、アイコン情報B11、ユーザ情報B12及び検査情報B13といった各種の情報B1に応じて、ディスプレイ220に表示させる。
例えば、表示制御機能241は、まず、情報B1に応じて、医用情報処理装置100において実行可能な複数の処理A1のそれぞれについての優先度を決定する。即ち、複数の処理A1の中には、今回の読影において使用される蓋然性の高いもの、使用される蓋然性の低いものが含まれる。従って、表示制御機能241は、今回の読影において使用される蓋然性の高い処理A1に対して高い優先度を付するように、複数の処理A1のそれぞれについての優先度を決定する。
一例を挙げると、表示制御機能241は、複数の処理A1それぞれについて読影医D1が使用する頻度を示す情報B121に基づいて、複数の処理A1のそれぞれについての優先度を決定する。即ち、所属する診療科及び部門や、使用する機能についての好みにより、読影医D1が使用する処理A1については偏りが生じる。従って、表示制御機能241は、情報B121に基づいて、読影医D1が使用する頻度が高いほど優先度が高くなるように、複数の処理A1のそれぞれについての優先度を決定することができる。
また、一例を挙げると、表示制御機能241は、患者P1の検査において収集された医用画像の種類を示す情報B131に基づいて、複数の処理A1のそれぞれについての優先度を決定する。即ち、医用画像の種類に応じて使用される処理A1については偏りが生じ、或いは医用画像の種類によっては使用されない処理A1も存在する。
例えば、MRI画像の場合、処理A1として、cDWI(Computed Diffusion Weighted Image)が実行される場合がある。なお、cDWIとは、比較的小さいb値(b-factor)で収集されたDWI画像から、計算処理によって、より大きいb値のDWI画像を生成する処理である。そして、医用画像の種類がMRI画像でない場合には、cDWIは実行されない。従って、表示制御機能241は、情報B131に基づいて、今回の読影において使用される蓋然性が高いほど優先度が高くなるように、複数の処理A1のそれぞれについての優先度を決定することができる。
また、一例を挙げると、表示制御機能241は、患者P1の検査において収集された医用画像の数を示す情報B132に基づいて、複数の処理A1のそれぞれについての優先度を決定する。即ち、医用画像の数に応じて使用される処理A1については偏りが生じ、或いは医用画像の数によっては使用されない処理A1も存在する。
例えば、CT検査により複数のスライスが収集された場合、処理A1として、これら複数のスライスからMPR(Multi Planer Reconstruction)画像を生成する処理や、MPR画像のスラブ(slab)厚を選択する処理が実行される場合がある。また、例えば、CT検査により複数のスライスが収集された場合、処理A1として、これら複数のスライスからMIP(Maximum Intensity Projection)画像を生成する処理や、MIP画像のスラブ厚を選択する処理が実行される場合がある。そして、例えば胸部単純X線撮影によって1枚の画像のみが収集された場合、MPR画像やMIP画像の生成処理、スラブ厚を選択する処理等は実行されない。
また、例えば、CT検査により複数のスライスが収集された場合、処理A1として、腫瘍計測が実行される場合がある。一方で、例えば胸部単純X線撮影によって1枚の画像のみが収集された場合、腫瘍計測は実行されない場合が多い。即ち、1つの2次元画像における腫瘍のサイズは撮影方向に応じて変化するため、腫瘍計測については、通常、CT検査による複数のスライス等の3次元情報に基づいて実行される。
また、例えば、患者P1の検査においてCT画像とPET画像との2つの医用画像が収集された場合、医用画像間の位置合わせや、これら2つの医用画像を合成してフュージョン(Fusion)画像を生成する処理が実行される場合がある。そして、例えばCT画像のみが収集された場合、位置合わせやフュージョン画像の生成処理は実行されない。
従って、表示制御機能241は、情報B132に基づいて、今回の読影において使用される蓋然性が高いほど優先度が高くなるように、複数の処理A1のそれぞれについての優先度を決定することができる。
また、一例を挙げると、表示制御機能241は、患者P1の検査における対象部位を示す情報B133に基づいて、複数の処理A1のそれぞれについての優先度を決定する。即ち、対象部位に応じて使用される処理A1については偏りが生じ、或いは対象部位によっては使用されない処理A1も存在する。例えば、対象部位が心臓である場合、処理A1として、心胸郭比(CTR:Cardio-Thoracic Ratio)の計測が実行される場合がある。そして、例えば対象部位が心臓でない場合、心胸郭比の計測は実行されない。従って、表示制御機能241は、情報B133に基づいて、今回の読影において使用される蓋然性が高いほど優先度が高くなるように、複数の処理A1のそれぞれについての優先度を決定することができる。
なお、表示制御機能241は、情報B1に基づく計算処理を実行することで優先度を決定してもよいし、情報B1に対して所定のテーブルを適用することで優先度を決定してもよい。例えば、表示制御機能241は、情報B121、情報B131、情報B132及び情報B133の組み合わせと、優先度の大きさとを対応付けたテーブルを用いて、優先度を決定することができる。
また、表示制御機能241は、機械学習の手法により、優先度を決定することもできる。例えば、表示制御機能241は、読影医を示すユーザIDや、医用画像の種類、医用画像の数、対象部位等を入力側データとし、実行された処理A1を出力側データとする学習用データを、過去に行われた読影のそれぞれについて取得する。そして、表示制御機能241は、これら学習用データを用いた機械学習を実行することにより、学習済みモデルM1を生成する。
なお、学習済みモデルM1は、例えば、ニューラルネットワーク(Neural Network)により構成することができる。ニューラルネットワークとは、層状に並べた隣接層間が結合した構造を有し、情報が入力層側から出力層側に伝播するネットワークである。例えば、表示制御機能241は、上述した入力側データをニューラルネットワークに入力する。ここで、ニューラルネットワークにおいては、入力層側から出力層側に向かって一方向に、隣接層間でのみ結合しながら情報が伝播する。
例えば、表示制御機能241は、上述した学習用データを用いて多層のニューラルネットワークについて深層学習(ディープラーニング)を実行することで、学習済みモデルM1を生成する。なお、多層のニューラルネットワークは、例えば、入力層と、複数の中間層(隠れ層)と、出力層とにより構成される。このようなニューラルネットワークでは、パラメータを調整することにより、任意の関数を表現することができる。
例えば、ニューラルネットワークは、入力側データと、処理A1それぞれが使用される確度との関係を示したロジスティック曲線を表現することができる。この場合、ニューラルネットワークは、例えば、確度に基づく分類結果を出力することができる。例えば、ニューラルネットワークは、入力側データの入力を受けて、処理A1が実行されることを示すクラス「○」と、処理A1が実行されないことを示すクラス「×」とへの確度付き二値分類を行なうことができる。
そして、表示制御機能241は、入力側データを入力した際にニューラルネットワークが好ましい結果を出力することができるようニューラルネットワークのパラメータを調整する。例えば、表示制御機能241は、ニューラルネットワークからの出力と、過去の読影において行なわれた処理A1(即ち、出力側データ)との不整合を解消するように、ニューラルネットワークのパラメータを調整する。これにより、表示制御機能241は、ユーザIDや医用画像の種類、医用画像の数、対象部位等の入力側データの入力を受けて確度付き二値分類を実行するように機能付けられた学習済みモデルM1を生成することができる。
なお、学習済みモデルM1がニューラルネットワークにより構成されるものとして説明したが、実施形態はこれに限定されるものではない。即ち、表示制御機能241は、ニューラルネットワーク以外の機械学習手法により、学習済みモデルM1を生成してもよい。例えば、表示制御機能241は、SVM(サポートベクターマシン)等のデータの分類を行う機械学習手法によって、処理A1が使用される確度の解析結果を出力するように機能付けられた学習済みモデルM1を生成してもよい。また、表示制御機能241が学習済みモデルM1を生成するものとして説明したが、表示制御機能241は、他の装置において生成された学習済みモデルM1を、例えばネットワークNWを介して取得することとしても構わない。
そして、表示制御機能241は、情報B1に基づいて、読影医D1のユーザIDや、患者P1の検査における医用画像の種類、医用画像の数、対象部位等の情報を学習済みモデルM1に対して入力することで、複数の処理A1それぞれ実行される確度を取得する。また、表示制御機能241は、取得した確度が高いほど優先度が高くなるように、複数の処理A1のそれぞれについての優先度を決定する。なお、表示制御機能241は、学習済みモデルM1が出力した確度をそのまま優先度として用いても構わない。
なお、表示制御機能241は、1つの処理A1につき1つの優先度を決定してもよいし、1つの処理A1につき複数の優先度を決定してもよい。例えば、表示制御機能241は、情報B121に基づく優先度、情報B131に基づく優先度、情報B132に基づく優先度、及び、情報B133に基づく優先度をそれぞれ決定し、これら複数の優先度の平均や加重平均等を算出してもよい。
優先度を決定した後、表示制御機能241は、優先度に応じて複数のアイコンをディスプレイ220に表示させる。なお、情報B121に基づく優先度、情報B131に基づく優先度、情報B132に基づく優先度、及び、情報B133に基づく優先度をそれぞれ決定した場合、表示制御機能241は、これら複数の優先度の平均や加重平均等を算出し、算出した値に応じて複数のアイコンをディスプレイ220に表示させる。ここで、表示制御機能241による複数のアイコンの表示例について、図7Aを用いて説明する。図7Aは、第1の実施形態に係るアイコンの表示例を示す図である。
例えば、表示制御機能241は、優先度に応じて、医用情報処理装置100において実行可能な複数の処理A1のうちの一部を選択する。一例を挙げると、表示制御機能241は、複数の処理A1のうち、優先度が閾値を超える処理A1のみを選択する。別の例を挙げると、表示制御機能241は、複数の処理A1の中から、優先度が高い順に所定数の処理A1を選択する。そして、表示制御機能241は、選択した処理A1に対応する複数のアイコンを、ディスプレイ220に表示させる。
例えば、表示制御機能241は、図7Aに示すように、処理A11、処理A12、処理A13、処理A14、処理A15、処理A16、処理A17、処理A18、処理A19、処理A20、処理A21、処理A22、処理A23、処理A24、処理A25、処理A26、処理A27、処理A28、処理A29、処理A30及び処理A31に対応する21個のアイコンを表示させる。即ち、表示制御機能241は、医用情報処理装置100において実行可能な複数の処理A1の全部に対応するアイコンを表示させるのではなく、図7Aに示す21個のアイコンのみをディスプレイ220に表示させる。
また、例えば、表示制御機能241は、優先度に応じて、ディスプレイ220に表示させる複数のアイコンそれぞれのサイズを変化させる。一例を挙げると、表示制御機能241は、優先度が閾値を超える処理A1に対応するアイコンを所定のサイズでディスプレイ220に表示させるとともに、他のアイコンを、ディスプレイ220における残りの表示領域に収まるように縮小して表示する。別の例を挙げると、表示制御機能241は、複数のアイコンそれぞれを優先度に比例した大きさとして、ディスプレイ220に表示させる。例えば、処理A17~A31の優先度と比較して処理A11~A16の優先度が高い場合、表示制御機能241は、図7Aに示すように、処理A17~A31に対応するアイコンよりも大きいサイズで、処理A11~A16に対応するアイコンを表示させる。
ここで、表示制御機能241は、更に、読影医D1の視力に関する情報B122に応じて、ディスプレイ220に表示させる複数のアイコンそれぞれのサイズを変化させることとしてもよい。即ち、表示制御機能241は、読影医D1の視力が低いほどより大きなサイズでアイコンが表示されるように制御を行なってもよい。一例を挙げると、表示制御機能241は、読影医D1の視力に応じてディスプレイ220に表示させる複数のアイコンのサイズを決定するとともに、決定したアイコンのサイズとディスプレイ220の表示領域のサイズとに基づいて、ディスプレイ220に表示させるアイコンの数を決定する。
また、例えば、表示制御機能241は、優先度に応じて、ディスプレイ220に表示させる複数のアイコンの表示順を決定する。例えば、表示制御機能241は、優先度が高いほど上方に位置することとなるように、複数のアイコンの表示順を決定する。例えば、処理A11、処理A12、処理A13、処理A14、処理A15、処理A16、処理A17、処理A18、処理A19、処理A20、処理A21、処理A22、処理A23、処理A24、処理A25、処理A26、処理A27、処理A28、処理A29、処理A30、処理A31の順に優先度が高い場合、表示制御機能241は、図7Aに示すように、ディスプレイ220の左上を始点として、優先度が高い順にこれら21個のアイコンを並べて表示させる。
また、表示制御機能241は、アイコン情報B11に基づいて、図7Aに示す各アイコンを表示させる。即ち、表示制御機能241は、図7Aに示す各アイコンを、図5の領域R4に示した各アイコンと同様の見た目で、ディスプレイ220に表示させる。
図6の説明に戻る。ステップS105において複数のアイコンを表示させた後、端末装置200における処理回路240は、アイコン情報B11、ユーザ情報B12及び検査情報B13をメモリ230に保管させる(ステップS106)。即ち、処理回路240は、複数のアイコンをディスプレイ220に表示させる際に使用した各種の情報B1を、メモリ230に保管させる。なお、ステップS105及びステップS106の順序は逆でもよい。この場合、処理回路240は、メモリ230から読み出した情報B1に応じて、複数のアイコンをディスプレイ220に表示させる。
ここで、読影医D1は、ディスプレイ220に表示された複数のアイコンに対する操作を行うことで、実行させる処理A1を選択することができる。例えば、図5に示した医用画像I3に対して処理A11を実行させたい場合、読影医D1は、まず、マウス110aを用いてディスプレイ120における医用画像I3をクリックし、医用画像I3をフォーカスさせる。そして、読影医D1は、ディスプレイ220に表示された複数のアイコンのうち、処理A11に対応するアイコンをタップすることで、処理A11を選択する。
ディスプレイ220に表示された複数のアイコンに対して読影医D1が操作を行った場合、処理回路240における受付機能242は、読影医D1による操作を受け付ける。また、送信機能243は、受付機能242が受け付けた操作を医用情報処理装置100に送信する。例えば、読影医D1が処理A11に対応するアイコンをタップした場合、送信機能243は、ネットワークNWを介して、処理A11を選択する操作が行われたことを示す情報を医用情報処理装置100に送信する。
また、処理回路140における処理機能142は、処理回路240から送信された操作に応じて処理A1を実行する(ステップS107)。例えば、医用画像I3がフォーカスされた状態において、処理A11を選択する操作が行われたことを示す情報が送信機能243から送信された場合、処理機能142は、医用画像I3に対して処理A11を実行する。また、表示制御機能141は、処理機能142による処理結果をディスプレイ120に反映させる(ステップS108)。例えば、処理A11として諧調を調整する処理が行われた場合、表示制御機能141は、ディスプレイ120の医用画像I3について諧調を調整する。
ここで、端末装置200における処理回路240は、ディスプレイ120に対して読影医D1が行なった操作に関する操作情報B14を、処理回路140から更に取得することができる(ステップS109)。例えば、処理回路140における送信機能143は、ディスプレイ120の表示画面においてフォーカスされている位置に基づく操作情報B14を、ネットワークNWを介して処理回路240に送信する。なお、操作情報B14は、情報B1の一例である。
例えば、図5の表示画面において医用画像I3がフォーカスされている場合、読影医D1は、医用画像I3を選択して何らかの処理を実行させようとしている蓋然性が高い。そこで、送信機能143は、医用画像I3に関する情報を、操作情報B14として処理回路240に送信する。
例えば、送信機能143は、操作情報B14として、フォーカスされている医用画像の種類を示す情報B141を処理回路240に送信する。例えば、医用画像I3がフォーカスされている場合、送信機能143は、情報B141として、患者P1から医用画像I3を収集したモダリティを示す情報を送信する。
また、例えば、送信機能143は、操作情報B14として、フォーカスされている医用画像の数を示す情報B142を処理回路240に送信する。例えば、1つの胸部単純X線画像がフォーカスされている場合、送信機能143は、情報B142として、フォーカスされている医用画像の数「1」を送信する。また、例えば、2つの胸部単純X線画像が同時にフォーカスされている場合、送信機能143は、情報B142として、フォーカスされている医用画像の数「2」を送信する。また、例えば、1つのCT画像がフォーカスされている場合、送信機能143は、情報B142として、フォーカスされているCT画像のスライス数を送信する。
また、例えば、送信機能143は、操作情報B14として、フォーカスされている医用画像の対象部位を示す情報B143を処理回路240に送信する。例えば、医用画像I3がフォーカスされている場合、送信機能143は、情報B143として、医用画像I3が収集された患者P1の検査における対象部位を示す情報を送信する。
次に、処理回路240は、アイコン情報B11、ユーザ情報B12及び検査情報B13を、メモリ230から取得する(ステップS110)。次に、処理回路240は、ステップS109にて処理回路140から取得した操作情報B14と、ステップS110にてメモリ230から取得したアイコン情報B11、ユーザ情報B12及び検査情報B13とに応じて、複数のアイコンをディスプレイ220に表示させる(ステップS111)。即ち、処理回路240における表示制御機能241は、医用情報処理装置100において実行可能な複数の処理A1の一部又は全部に対応する複数のアイコンを、アイコン情報B11、ユーザ情報B12、検査情報B13及び操作情報B14といった各種情報に応じて、ディスプレイ220に表示させる。
例えば、表示制御機能241は、まず、情報B121や情報B131、情報B132、情報B133、情報B141、情報B142、情報B143といった各種の情報B1に応じて、医用情報処理装置100において実行可能な複数の処理A1のそれぞれについての優先度を決定する。例えば、表示制御機能241は、上述したように、複数の処理A1それぞれについて読影医D1が使用する頻度を示す情報B121、患者P1の検査において収集された医用画像の種類を示す情報B131、患者P1の検査において収集された医用画像の数を示す情報B132、及び、患者P1の検査における対象部位を示す情報B133に基づいて、今回の読影において使用される蓋然性が高いほど優先度が高くなるように、複数の処理A1のそれぞれについての優先度を決定することができる。
更に、表示制御機能241は、フォーカスされている医用画像の種類を示す情報B141に基づいて、複数の処理A1のそれぞれについての優先度を決定する。即ち、医用画像の種類に応じて使用される処理A1については偏りが生じ、或いは医用画像の種類によっては使用されない処理A1も存在する。また、ディスプレイ120に複数の医用画像が表示されている場合、読影医D1は、フォーカスされている医用画像に対して処理A1を実行させようとしている蓋然性が高い。
例えば、ディスプレイ120にMRI画像とCT画像とが表示され、CT画像がフォーカスされている場合、処理A1としてcDWIが実行される可能性が無いわけではないものの、その蓋然性は低いと言える。即ち、CT画像がフォーカスされている場合において、CT画像に関する処理A1を何ら実行することなくフォーカス対象をMRI画像に切り替えてcDWIを実行するというケースも存在はするものの、かかるケースよりは、まずはフォーカスされているCT画像に関する処理A1を実行するケースの方が多いと言える。このように、表示制御機能241は、情報B141に基づいて、これから使用される蓋然性が高いほど優先度が高くなるように、複数の処理A1のそれぞれについての優先度を決定することができる。
また、表示制御機能241は、フォーカスされている医用画像の数を示す情報B142に基づいて、複数の処理A1のそれぞれについての優先度を決定する。即ち、医用画像の数に応じて使用される処理A1については偏りが生じ、或いは医用画像の数によっては使用されない処理A1も存在する。また、ディスプレイ120に複数の医用画像が表示されている場合、読影医D1は、フォーカスされている医用画像に対して処理A1を実行させようとしている蓋然性が高い。
例えば、ディスプレイ120にCT画像と胸部単純X線画像とが表示され、胸部単純X線画像がフォーカスされている場合、情報B141は、フォーカスされている医用画像の数が1であることを示す情報である。また、例えば、CT画像がフォーカスされている場合、情報B141は、フォーカスされている医用画像の数としてスライス数を示す情報である。そして、例えば、胸部単純X線画像がフォーカスされている場合、処理A1として、CT画像における複数のスライスからMPR画像を生成する処理が実行される可能性が無いわけではないものの、その蓋然性は低いと言える。このように、表示制御機能241は、情報B142に基づいて、これから使用される蓋然性が高いほど優先度が高くなるように、複数の処理A1のそれぞれについての優先度を決定することができる。
別の例を挙げると、図5に示したようにディスプレイ120に医用画像I1、医用画像I2、医用画像I3及び医用画像I4が表示されている場合において、情報B141は、フォーカスされているウィンドウの数である。例えば、図5において医用画像I1と医用画像I2とが同時にフォーカスされている場合、情報B141は、フォーカスされている医用画像の数が2であることを示す情報である。そして、2つの医用画像がフォーカスされている場合、例えば、医用画像間の位置合わせや、これら2つの医用画像を合成してフュージョン画像を生成する処理、諧調や倍率等の表示態様をこれら2つの医用画像について一律に変更する処理等が実行される蓋然性が高いと言える。このように、表示制御機能241は、情報B142に基づいて、これから使用される蓋然性が高いほど優先度が高くなるように、複数の処理A1のそれぞれについての優先度を決定することができる。
また、表示制御機能241は、フォーカスされている医用画像の対象部位を示す情報B143に基づいて、複数の処理A1のそれぞれについての優先度を決定する。即ち、対象部位に応じて使用される処理A1については偏りが生じ、或いは対象部位によっては使用されない処理A1も存在する。また、ディスプレイ120に複数の医用画像が表示されている場合、読影医D1は、フォーカスされている医用画像に対して処理A1を実行させようとしている蓋然性が高い。
例えば、ディスプレイ120に、心臓について収集された医用画像と頭部について収集された医用画像とが表示され、頭部について収集された医用画像がフォーカスされている場合、処理A1として心胸郭比の計測が実行される蓋然性は低いと言える。このように、表示制御機能241は、情報B143に基づいて、これから使用される蓋然性が高いほど優先度が高くなるように、複数の処理A1のそれぞれについての優先度を決定することができる。
なお、表示制御機能241は、情報B1に基づく計算処理を実行することで優先度を決定してもよいし、情報B1に対して所定のテーブルを適用することで優先度を決定してもよいし、機械学習の手法により優先度を決定してもよい。また、表示制御機能241は、1つの処理A1につき1つの優先度を決定してもよいし、1つの処理A1につき複数の優先度を決定してもよい。例えば、表示制御機能241は、情報B121に基づく優先度、情報B131に基づく優先度、情報B132に基づく優先度、情報B133に基づく優先度、情報B141に基づく優先度、情報B142に基づく優先度、及び情報B143に基づく優先度をそれぞれ決定し、これら複数の優先度の平均や加重平均等を算出してもよい。
優先度を決定した後、表示制御機能241は、優先度に応じて複数のアイコンをディスプレイ220に表示させる。なお、1つの処理A1につき複数の優先度を決定した場合、表示制御機能241は、これら複数の優先度の平均や加重平均等を算出し、算出した値に応じて複数のアイコンをディスプレイ220に表示させる。また、表示制御機能241は、アイコン情報B11に基づいて、図5の領域R4に示した複数のアイコンと同様の見た目で、複数のアイコンをディスプレイ220に表示させることができる。
ここで、ステップS111における複数のアイコンの表示例について、図7Bを用いて説明する。図7Bは、第1の実施形態に係るアイコンの表示例を示す図である。図7Bにおいては、ステップS105における複数のアイコンの表示例である図7Aと比較して、表示するアイコンの数や表示順、サイズ等が変化している。即ち、ステップS105では、アイコン情報B11、ユーザ情報B12及び検査情報B13に応じて複数のアイコンを表示させていたのに対して、ステップS111では、更に操作情報B14に応じた表示を行なう。このため、ステップS105とステップS111とでは表示が変化する場合がある。
例えば、表示制御機能241は、医用情報処理装置100において実行可能な複数の処理A1のうちの一部を優先度に応じて選択し、選択した処理A1に対応する複数のアイコンをディスプレイ220に表示させる。例えば、表示制御機能241は、医用情報処理装置100において実行可能な複数の処理A1の全部に対応するアイコンを表示させるのではなく、図7Bに示す25個のアイコンのみをディスプレイ220に表示させる。
ここで、図7Aの表示例と比較すると、図7Aにおいては21個のアイコンを表示させていたのに対し、図7Bにおいては、25個のアイコンを表示させている。具体的には、図7Bにおいては、図7Aにおいて表示されていなかった4つのアイコン(処理A32、処理A33、処理A34及び処理A35に対応するアイコン)が追加的に表示されている。即ち、処理A32、処理A33、処理A34及び処理A35は、ディスプレイ120に対して読影医D1が行なった操作に関する操作情報B14により、優先度が増加した処理A1である。
また、例えば、表示制御機能241は、優先度に応じて、ディスプレイ220に表示させる複数のアイコンそれぞれのサイズを変化させる。例えば、処理A12、処理A29、処理A30及び処理A31の優先度が他より高い場合、表示制御機能241は、図7Bに示すように、これら4つのアイコンを比較的大きいサイズでディスプレイ220に表示させる。なお、表示制御機能241は、更に、読影医D1の視力に関する情報B122に応じて、読影医D1の視力が低いほどより大きなサイズでアイコンが表示されるように制御を行なってもよい。
ここで、図7Aの表示例と比較すると、図7Bにおいては、処理A29、処理A30及び処理A31に対応するアイコンのサイズが大きくなっている。即ち、処理A29、処理A30及び処理A31は、ディスプレイ120に対して読影医D1が行なった操作に関する操作情報B14により、優先度が増加した処理A1である。一例を挙げると、処理A29がcDWIであり、ディスプレイ120においてMRI画像がフォーカスされた場合、処理A29の優先度が増加するため、処理A29に対応するアイコンのサイズが拡大することとなる。反対に、処理A11、処理A13、処理A14、処理A15及び処理A16は、操作情報B14により優先度が低下した処理A1であり、図7Bにおいては、これらに対応するアイコンのサイズが小さくなっている。
また、例えば、表示制御機能241は、優先度に応じて、ディスプレイ220に表示させる複数のアイコンの表示順を決定する。例えば、表示制御機能241は、優先度が高いほど上方に位置することとなるように、複数のアイコンの表示順を決定する。例えば、処理A12、処理A29、処理A30、処理A31、処理A32、処理A33、処理A34、処理A19、処理A20、処理A21、処理A17、処理A18、処理A11、処理A13、処理A14、処理A22、処理A23、処理A24、処理A25、処理A26、処理A27、処理A28、処理A15、処理A16、処理A35の順に優先度が高い場合、表示制御機能241は、図7Bに示すように、ディスプレイ220の左上を始点として、優先度が高い順にこれら25個のアイコンを並べて表示させる。
ここで、図7Aと比較すると、図7Bにおいてはアイコンの表示順が変化している。例えば、処理A29に対応するアイコンは、図7Aにおいては下方に表示されていたものの、図7Bにおいては最上部に表示されている。即ち、処理A29は、ディスプレイ120に対して読影医D1が行なった操作に関する操作情報B14により、優先度が増加した処理A1である。反対に、処理A11は、操作情報B14により優先度が低下した処理A1であり、図7Bにおいては、これに対応するアイコンの表示順が下がっている。
図6の説明に戻る。ステップS111において複数のアイコンを表示させた際、読影医D1は、ディスプレイ220に表示された複数のアイコンに対する操作を行うことで、実行させる処理A1を選択することができる。例えば、フォーカスされている医用画像に対して処理A12を実行させたい場合、読影医D1は、ディスプレイ220に表示された複数のアイコンのうち処理A12に対応するアイコンをタップすることで、処理A12を選択する。
ディスプレイ220に表示された複数のアイコンに対して読影医D1が操作を行った場合、処理回路240における受付機能242は、ユーザによる操作を受け付ける。また、送信機能243は、受付機能242が受け付けた操作を医用情報処理装置100に送信する。例えば、ユーザが処理A12に対応するアイコンをタップした場合、送信機能243は、ネットワークNWを介して、処理A12を選択する操作が行われたことを示す情報を医用情報処理装置100に送信する。
また、処理回路140における処理機能142は、処理回路240から送信された操作に応じて処理A1を実行する(ステップS112)。例えば、医用画像I3がフォーカスされた状態において、処理A12を選択する操作が行われたことを示す情報が送信された場合、処理機能142は、医用画像I3に対して処理A12を実行する。また、表示制御機能141は、処理機能142による処理結果をディスプレイ120に反映させる(ステップS113)。なお、ステップS109~ステップS113の処理については、読影が完了するまで繰り返し実行される。
次に、医用情報処理装置100による処理フローについて、図8を用いて説明する。即ち、図6では医用情報処理システム1全体の処理フローについて説明したが、図8では、医用情報処理装置100での処理に着目して処理フローを説明する。なお、図8は、第1の実施形態に係る医用情報処理装置100の処理の一連の流れを説明するためのフローチャートである。
ステップS201、ステップS202、ステップS208及びステップS209は、表示制御機能141に対応するステップである。ステップS206及びステップS207は、処理機能142に対応するステップである。ステップS203、ステップS204及びステップS205は、送信機能143に対応するステップである。
まず、処理回路140は、PACSサーバ300から画像情報を取得し(ステップS201)、ディスプレイ120に医用画像を表示させる(ステップS202)。また、処理回路140は、アイコン情報B11、ユーザ情報B12及び検査情報B13を端末装置200に送信する(ステップS203)。なお、ステップS203は、ステップS201及びステップS202の前に実行されてもよいし、或いは並行して実行されてもよい。
ここで、処理回路140は、ディスプレイ120に対するユーザの操作を受け付けたか否かを判定する(ステップS204)。ここで、ディスプレイ120に対するユーザの操作とは、例えば、マウス110aを用いて、ディスプレイ120に表示されている複数の医用画像のいずれかをフォーカスさせる操作や、フォーカスさせる医用画像を変更する操作等である。ユーザの操作を受け付けた場合(ステップS204肯定)、処理回路140は、受け付けた操作に関する操作情報B14を、端末装置200に送信する(ステップS205)。一方で、ディスプレイ120に対するユーザの操作を受け付けなかった場合には(ステップS204否定)、ステップS205は省略される。
次に、処理回路140は、端末装置200からのユーザの操作を受け付けたか否かを判定する(ステップS206)。ここで、端末装置200からのユーザの操作とは、例えば、端末装置200に表示された複数のアイコンのうちいずれかをタップする操作である。ユーザの操作を受け付けた場合(ステップS206肯定)、処理回路140は、受け付けた操作に基づいて処理を実行する(ステップS207)。例えば、処理回路140は、端末装置200に表示された複数のアイコンのうちユーザがタップしたアイコンに対応する処理A1を実行する。また、処理回路140は、ステップS207の処理結果をディスプレイ120に反映させる(ステップS208)。一方で、端末装置200からのユーザの操作を受け付けなかった場合には(ステップS206否定)、ステップS207及びステップS208は省略される。
次に、処理回路140は、読影を終了するか否かを判定する(ステップS209)。例えば、読影を終了する旨の入力操作をユーザから受け付けた場合(ステップS209肯定)、処理回路140は、処理を終了する。一方で、読影を終了しない場合(ステップS209否定)、処理回路140は、ステップS204に移行し、上述したステップS204~ステップS209の処理を再度実行する。
なお、これまで、ユーザにより選択されている医用画像の例として、フォーカスされている医用画像について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、送信機能143は、マウスカーソルが位置している医用画像の種類や数、対象部位等を、操作情報B14として医用情報処理装置100に送信してもよい。また、例えば、送信機能143は、所定時間より長くマウスカーソルが位置している医用画像の種類や数、対象部位等を、操作情報B14として医用情報処理装置100に送信してもよい。即ち、送信機能143は、ディスプレイ120の表示画面におけるマウスカーソルの位置に基づく操作情報B14を送信することとしてもよい。
また、これまで、ディスプレイ120にマウスカーソルを表示させ、ユーザは、マウス110aを操作してディスプレイ120に対する入力操作を行なうものとして説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、ユーザは、トラックボール等の別種の入力インターフェース110を用いて、ディスプレイ120に対する入力操作を行なってもよい。或いは、ディスプレイ120をタッチパネルとし、ユーザは、ディスプレイ120に触れることでディスプレイ120に対する入力操作を行なってもよい。
また、図7A及び図7Bにおいては、医用情報処理装置100において実行可能な複数の処理A1のうちの一部に対応するアイコンのみを表示させるものとして説明した。しかしながら、実施形態はこれに限定されるものではない。即ち、表示制御機能241は、医用情報処理装置100において実行可能な複数の処理A1の全部に対応するアイコンをディスプレイ220に表示させることとしても構わない。例えば、表示制御機能241は、医用情報処理装置100において実行可能な複数の処理A1の全部に対応するアイコンをディスプレイ220に表示させるとともに、情報B1に応じて、これらのアイコンそれぞれのサイズを変化させたり、表示順を変更したりすることができる。
また、図7A及び図7Bにおいては、ディスプレイ220に表示させる複数のアイコンそれぞれのサイズを変化させるものとして説明した。しかしながら、実施形態はこれに限定されるものではない。即ち、表示制御機能241は、複数のアイコンを一定のサイズでディスプレイ220に表示させてもよい。例えば、表示制御機能241は、情報B1に応じて、医用情報処理装置100において実行可能な複数の処理A1のうちの一部を選択し、選択した一部の処理A1に対応する複数のアイコンを、一定のサイズでディスプレイ220に表示させる。ここで更に、表示制御機能241は、情報B1に応じてアイコンの表示順を変更することもできる。
また、図7A及び図7Bにおいては、ディスプレイ220に表示させる複数のアイコンの表示順を決定するものとして説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、表示制御機能241は、複数のアイコンをディスプレイ220に任意の順序で表示させたり、所定の順序で表示させたりしてもよい。例えば、表示制御機能241は、情報B1に応じて、医用情報処理装置100において実行可能な複数の処理A1のうちの一部を選択し、選択した一部の処理A1に対応する複数のアイコンを、任意又は所定の順序でディスプレイ220に表示させる。ここで更に、表示制御機能241は、情報B1に応じて、複数のアイコンそれぞれのサイズを変化させることもできる。
また、図7A及び図7Bにおいては、ディスプレイ220に表示させるアイコンとして、処理A1を選択するためのボタンを示した。しかしながら、実施形態はこれに限定されるものではない。例えば、表示制御機能241は、ディスプレイ220に表示させるアイコンとして、処理A1の条件を設定するための入力欄を表示させてもよい。なお、ディスプレイ220の入力欄にユーザが数値を入力する際、表示制御機能241は、テンキー等のアイコンをディスプレイ220に更に表示させることとしてもよい。また、ディスプレイ220の入力欄にユーザが文字を入力する際、表示制御機能241は、キーボード等のアイコンをディスプレイ220に更に表示させることとしてもよい。
上述したように、第1の実施形態によれば、医用情報処理装置100は、医用画像をディスプレイ120に表示させる表示制御機能141と、医用画像に関する処理A1を実行する処理機能142と、処理A1に関する情報B1を端末装置200に送信する送信機能143とを備える。また、端末装置200は、医用情報処理装置100において実行可能な複数の処理A1の一部又は全部に対応する複数のアイコンを、送信機能143から送信された情報B1に応じてディスプレイ220に表示させる表示制御機能241と、ディスプレイ220に表示された複数のアイコンに対する操作をユーザから受け付ける受付機能242と、受付機能242が受け付けた操作を医用情報処理装置100に送信する送信機能243とを備える。そして、医用情報処理装置100における処理機能142は、送信機能243から送信されたユーザの操作に基づいて、処理A1を実行する。
即ち、医用情報処理システム1は、医用情報処理装置100における医用画像表示アプリケーションと、端末装置200とを連携させる。これにより、第1の実施形態に係る医用情報処理システム1は、読影の効率を向上させることができる。
例えば、マウス操作のみによって処理A1を実行させる場合、ユーザは、図5に示した操作X1~X3を行なう必要がある。即ち、ユーザは、医用画像を表示させるためにマウスカーソルを領域R3から領域R5まで移動させる操作X1、処理A1を選択するためにマウスカーソルを領域R5から領域R4まで移動させる操作X2、処理A1を実行するためにマウスカーソルを領域R4から領域R5まで移動させる操作X3といったマウス操作を行なう必要がある。一方で、端末装置200に対する操作で処理A1を選択することができれば、少なくとも操作X2及び操作X3は省略される。従って、医用情報処理システム1は、マウスカーソルの移動量を減らしてユーザの負担を軽減し、読影の効率を向上させることができる。
また、医用情報処理システム1においては、複数の処理A1をアイコンで表示させているため、例えばキーボードに複数の処理A1それぞれを割り当てる場合と異なり、直感的な操作を可能とすることができる。また、新たな処理A1が開発された場合、医用情報処理システム1は、物理的なボタンを備えたリモコン等とは異なり、表示させるアイコンを増やしたり入れ替えたりして対応することができる。
また、表示制御機能241は、情報B1に応じて、医用情報処理装置100において実行可能な複数の処理A1のうちの一部を選択し、選択した一部の処理A1に対応する複数のアイコンをディスプレイ220に表示させる。即ち、医用情報処理システム1は、今回の読影において使用される蓋然性の低い処理A1についてはアイコンの表示を省略する。従って、医用情報処理システム1は、ディスプレイ220に表示させるアイコンの数を低減し、簡潔な表示を行なうことができる。ひいては、所望のアイコンの位置が分かりやすくなり、また、操作ミスを減らすことで、読影の効率を向上させることができる。
また、表示制御機能241は、情報B1に応じて、ディスプレイ220に表示させる複数のアイコンそれぞれのサイズを変化させる。即ち、医用情報処理システム1は、今回の読影において使用される蓋然性の高い処理A1については、大きいアイコンにより、見やすく且つ操作しやすく表示を行なう。ひいては、所望のアイコンの位置が分かりやすくなり、また、操作ミスを減らすことで、読影の効率を向上させることができる。
また、表示制御機能241は、情報B1に応じて、ディスプレイ220に表示させる複数のアイコンの表示順を決定する。即ち、医用情報処理システム1は、今回の読影において使用される蓋然性の高い処理A1については、見やすく且つ操作しやすい位置にアイコンを表示させる。ひいては、所望のアイコンの位置が分かりやすくなり、また、操作ミスを減らすことで、読影の効率を向上させることができる。
また、医用情報処理システム1によれば、新たな処理A1が開発された場合であっても
図5に示した領域R4を拡大する必要はなく、或いは領域R4を省略することもできる。従って、医用情報処理システム1によれば、医用画像を十分なサイズで表示させ、読影の効率を向上させることができる。
また、送信機能143は、アイコン情報B11を、情報B1として端末装置200に送信する。また、表示制御機能241は、アイコン情報B11に応じて、複数のアイコンをディスプレイ220に表示させる。従って、医用情報処理システム1によれば、例えば図5の領域R4のアイコンと同様の見た目で、ディスプレイ220にアイコンを表示させることができる。即ち、医用情報処理システム1によれば、図5の領域R4のアイコンに慣れたユーザであっても、ディスプレイ220のアイコンに対する操作を違和感なく行なうことができる。
なお、同一の処理であっても、医用画像表示アプリケーションのバージョンや製品名、メーカー等によってアイコンの見た目は異なるところ、医用情報処理システム1においては、医用情報処理装置100から送信されたアイコン情報B11に応じて端末装置200での表示が行われる。即ち、医用情報処理システム1においては、医用情報処理装置100がいかなる医用画像表示アプリケーションを有する場合でも、医用情報処理装置100とて端末装置200とでアイコンの見た目を統一することができる。
また、送信機能143は、ユーザ情報B12を、情報B1として端末装置200に送信する。また、表示制御機能241は、ユーザ情報B12に応じて、複数のアイコンをディスプレイ220に表示させる。従って、医用情報処理システム1によれば、ユーザごとに適切な表示を行なって、読影の効率を向上させることができる。例えば、表示制御機能241は、情報B121に応じて、そのユーザが高頻度で使用する処理A1に対応するアイコンを優先的に表示させることができる。また、例えば、表示制御機能241は、情報B122に応じて、視力の低いユーザに対してアイコンをより大きいサイズで表示させることができる。
また、送信機能143は、検査情報B13を、情報B1として端末装置200に送信する。また、表示制御機能241は、検査情報B13に応じて、複数のアイコンをディスプレイ220に表示させる。従って、医用情報処理システム1によれば、検査ごとに適切な表示を行なって、読影の効率を向上させることができる。
また、送信機能143は、操作情報B14を、情報B1として端末装置200に送信する。また、表示制御機能241は、操作情報B14に応じて、複数のアイコンをディスプレイ220に表示させる。従って、医用情報処理システム1によれば、ユーザの読影状況に応じてディスプレイ220の表示を適宜調整して、読影の効率を向上させることができる。
(第2の実施形態)
さて、これまで第1の実施形態について説明したが、上述した実施形態以外にも、種々の異なる形態にて実施されてよいものである。
上述した実施形態では、端末装置200において、処理A1に対応するアイコンを表示させるものとして説明した。しかしながら、端末装置200においては、処理A1に対応するアイコン以外の種々の情報を更に表示させることもできる。例えば、端末装置200は、図4に示したディスプレイ120a及びディスプレイ120bの拡張領域として、医用画像の表示を行なってもよい。また、例えば、端末装置200は、図4に示したディスプレイ120cに代わり、読影リストの表示を行なってもよい。一例を挙げると、端末装置200は、まずは読影リストの表示を行ない、医用画像がディスプレイ120a及びディスプレイ120bに表示された時に表示を切り替えて、処理A1に対応する複数のアイコンを表示させてもよい。
また、上述した実施形態では、端末装置200がタブレット端末であるものとして説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、端末装置200は、ディスプレイ220として、タッチパネルでないディスプレイを備えたノートパソコンであってもよい。この場合、ユーザは、例えば、マウス操作等により、ディスプレイ220に表示された複数のアイコンに対する操作を行なうことができる。
また、例えば、端末装置200は、ディスプレイ220に代えて、デスク等の平面に対してアイコンを投影表示できるプロジェクター、及び、投影されたアイコンへのユーザの操作を検知可能なセンサを備えてもよい。即ち、表示制御機能241は、情報B1に応じて、複数のアイコンをプロジェクターに投影表示させる。また、受付機能242は、投影表示された複数のアイコンに対するユーザの操作をセンサにより検知する。なお、かかるプロジェクターは、第2表示部の一例である。
上述した実施形態に係る各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。即ち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。更に、各装置にて行われる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されうる。
また、上述した実施形態で説明した医用情報処理方法は、予め用意されたプログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD-ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
以上説明した少なくとも1つの実施形態によれば、読影の効率を向上させることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。