以下、図面を参照しながら本実施形態に係る医用画像表示装置を説明する。なお、以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
図1は、本実施形態に係る医用画像表示装置1を含めた院内システム構成の一例を示す図である。図1に示すように、医用画像表示装置1は、医用画像撮影装置2と、PACS(Picture Archiving Communication Systems:画像保存通信システム)3と、読影レポートシステム4とに対してLANを介して接続される。
医用画像表示装置1は、医用画像、医用画像の付帯情報及び読影レポートを表示するための表示デバイスを有する端末である。本実施形態に係る医用画像表示装置1は、医師などによる医用画像の読影を支援するための装置であるため、その表示端末を限定しない。医用画像表示装置1は、例えば、スマートフォンやタブレット等のモバイル端末であってもよいし、他の装置にその機能の一部が組み込まれていてもよい。
医用画像表示装置1は、PACS3に記憶されている医用画像と、読影レポートシステム4に記憶されている読影レポートとを表示する。医師は、表示された医用画像や読影レポートを参照して、患者に対する診察を行う。
医用画像撮影装置2は、例えば、X線コンピュータ断層撮影(Computed Tomography)装置(以下、X線CT装置と呼ぶ)、及び磁気共鳴イメージング(Magnetic Resonance Imaging)装置(以下、MRI装置と呼ぶ)などである。
PACS3は、複数の医用画像のデータを記憶するためのHDD(Hard Disk Drive)等である。
読影レポートシステム4は、読影医が医用画像に関する読影レポートを作成するためのPC(Personal Computer)等である。作成された読影レポートは、読影レポートシステム4により、レポート作成元の医用画像と関連付けて記憶される。
これらの装置は、LANを介して相互にデータ通信が可能である。これらの装置で扱う医用画像のデータ及びこれらの装置間でのデータ通信は、例えば、DICOM(Digital Imaging and Communications in Medicine)規格に準拠している。
医用画像撮影装置2は、医用画像撮影装置2にて撮影された医用画像のデータを、LANを介してPACS3に送信する。PACS3は、受信した医用画像のデータを、その付帯情報、例えば、検査日時情報、患者情報、読影情報及びシリーズ情報に基づいてデータベース化して管理する。PACS3は、データベースに基づいて、記憶している複数の医用画像のデータに関するリストを作成する。例えば、医用画像表示装置1から送信された特定の患者の医用画像に関するリストの取得要求に応じて、リストを作成する。PACS3は、作成したリストのデータをLANを介して取得要求先の医用画像表示装置1に送信する。
読影レポートシステム4は、読影レポートシステム4を操作する読影医等の指示に従って、PACS3から医用画像のデータを読み出し、表示する。読影医等は、表示された医用画像を読影し、読影レポートを作成する。読影レポートには、読影医等による読影結果、例えば、病変情報などが含まれる。その読影結果は、レポート作成元の医用画像の付帯情報に追加、更新されてもよい。更新された医用画像のデータは、読影レポートシステム4を介した操作者の指示に従って、PACS3に記憶されている医用画像のデータに上書きされる。読影レポートは、読影レポートシステム4に、レポート作成元の医用画像と関連付けて記憶される。
読影レポートシステム4は、医用画像表示装置1からの医用画像のデータの取得要求に応じて、PACS3から医用画像のデータを読み出す。読影レポートシステム4は、読み出した医用画像のデータを、読み出した医用画像と関連付けされている読影レポートのデータとともに、医用画像表示装置1に送信する。なお、医用画像表示装置1からの医用画像のデータの取得要求に応じて、PACS3から医用画像のデータが、医用画像表示装置1に送信されてもよい。
本実施形態では、モダリティを医用画像撮影装置2として記載しているが、これはモダリティを1つに限定しているものではない。したがって、複数のモダリティがLANに接続されていてもよい。また、本実施形態では、医用画像表示装置1、医用画像撮影装置2、PACS3、及び読影レポートシステム4を個々に記載している。しかし、これらは説明を簡単にするため、その主な機能で分けたものである。これら個々の記載は、それぞれの機能を限定しているものではない。また、本実施形態で扱う医用画像のデータ及びこれらの装置間でのデータ通信がDICOM規格に準拠していると記載しているが、他の規格に準拠していてもよい。
次に、本実施形態に係る医用画像表示装置1の構成について図2を参照して説明する。図2は、本実施形態に係る医用画像表示装置のブロック構成の一例を示す図である。医用画像表示装置1は、操作部11と、システム制御部12と、処理部13と、記憶部14と、表示制御部15と、表示部16と、受信部17とを有する。
操作部11は、例えば、マウスやキーボードなどの入力デバイスを有している。なお、入力デバイスは、トラックボール、タッチパネル、スイッチなどを備えてもよい。操作部11は、操作者が医用画像表示装置1に対して指示情報を入力するためのインターフェースとして機能する。
システム制御部12は、CPU(Central Processing Unit)とメモリ回路などを含み、医用画像表示装置1を統括的に制御する。具体的には、システム制御部12は、操作部11から入力された情報を受け取り、一時的にメモリ回路に入力情報を記憶する。システム制御部12は、この入力情報に基づいて処理部13、記憶部14、表示制御部15及び受信部17に制御信号を送信する。
受信部17は、システム制御部12からの制御信号に従い、LANに接続されている、医用画像表示装置2、PACS3、及び読影レポートシステム4との間でのデータの送受を行うための外部インターフェースである。医用画像表示装置1からLANを介して他装置にアクセスする方法は、有線でも無線でもよい。例えば、受信部17は、装置間をLANケーブルで接続するためのコネクタ部を備える。また、受信部17は、装置間を無線で接続するためのアンテナ部やデータを送受するための無線信号処理部を備えてもよい。この場合において、医用画像表示装置2、PACS3、及び読影レポートシステム4も無線に対応した機能を有しているものとする。
記憶部14は、画像記憶部20及び条件記憶部19を有する。記憶部14は、半導体集積回路で構成されたRAM(Random Access Memory)、半導体記憶素子であるFlash SSD(Solid State Disk)などの半導体記憶装置、HDDなどである。画像記憶部20及び条件記憶部19は、システム制御部12からの制御信号に従い、データの読み出し及びデータの記憶を行う。
画像記憶部20は、複数の医用画像のデータを、関連する読影レポートのデータとともに記憶する。複数の医用画像のデータは、PACS3及び読影レポートシステム4から、LANを介して医用画像表示装置1に取り込まれる。読影レポートは、読影レポートシステム4から、LANを介して医用画像表示装置1に取り込まれる。複数の医用画像のデータ及び複数の読影レポートを記憶する。複数の医用画像には、医用画像を個々に特定するコードと共に、モダリティ情報及び撮影部位などの情報が付帯されている。画像記憶部20は、複数の医用画像をそれらの付帯情報の項目に基づいて分類し、階層化して管理する。また、画像記憶部20は、読影ガイド発生部26で発生された読影ガイド図を記憶する。
条件記憶部19は、条件設定部27で設定された表示済時間、表示拡大率範囲及び表示終了割合を記憶する。
処理部13は、システム制御部12からの制御信号に従い、表示部16への医用画像の表示に関わる各種処理を行う。処理部13は、読影エリア抽出部21と、読影点割当部22と、表示済点特定部23と、表示済範囲特定部24と、表示割合計算部25と、読影ガイド発生部26、条件設定部27、表示終了判定部28、読影終了確認画像発生部29とを有する。これら、処理部13内の各構成要素間の信号のデータ送受は、システム制御部12からの制御信号に従って行われる。
読影エリア抽出部21は、医用画像から医師が読影すべきエリア(読影エリア)を抽出する。読影エリアの抽出方法には、例えば、ピクセル値に基づいた方法、操作者がフリーに設定する方法及び予め設定された読影エリア抽出図形から選択する方法がある。これらの抽出方法の詳細説明は後述する。
読影点割当部22は、操作者による読影の対象となる医用画像(読影医用画像)の読影エリアに対して読影点を割り当てる。読影点割当部22による読影点の割り当て方法の詳細は後述する。
条件設定部27は、医用画像表示装置1が表示部分範囲から表示済範囲を判定するための表示済時間及び表示拡大率範囲を設定する。条件設定部27は、読影医用画像の表示終了を判定するための表示終了割合を設定する。なお、表示部分範囲とは、表示部16に表示された読影医用画像の部分範囲である。さらに、条件設定部27は、読影エリアの抽出方法及び表示割合の計算方法を、操作部11を介して操作者により選択された方法に設定する。
表示済時間は、表示部分範囲が操作者により読影されたかを医用画像表示装置1が判定するための時間である。条件設定部27は、表示済時間を、操作部11を介して操作者により入力された値に従って設定される。表示済時間は、表示部16に継続して静止表示された時間(継続時間)でも、表示部16に表示された積算時間でもよい。表示済時間を継続時間と積算時間とのどちらで定義するかは、操作者により予め選択される。なお、読影医用画像に過去の表示済時間が付帯している場合において、条件設定部27は、表示済時間を読影医用画像の付帯情報に基づいて設定してもよい。
条件設定部27は、表示済時間を、表示部分範囲の読影医用画像に対する拡大率(以下、表示拡大率と呼ぶことにする)が変化する毎に設定してもよい。例えば、表示画面への画像の表示済時間と医用画像に対する拡大率とを対応付けた対応表を記憶する対応表記憶部をさらに設ける。条件設定部27は、一部範囲の医用画像に対する拡大率と対応表とに基づいて表示済時間を設定してもよい。
例えば、表示拡大率が2倍時の表示済時間を基準値とする。なお、基準値は、操作者により設定された値である。この場合において、条件設定部27は、表示済時間を、表示拡大率が2倍よりも大きくなるにつれて、基準値から段階的に短くなるように設定し、表示拡大率が2倍よりも小さくなるにつれて、基準値から段階的に長くなるように設定する。これは、表示拡大率が小さくなるにつれて、表示部16に表示する読影医用画像の部分範囲が広くなり、病変自体が小さくなることで、操作者による読影に時間がかかることを想定している。表示済時間を一定値にするか、または変動値にするかは操作部11を介した操作者の指示に従って設定される。
表示拡大率範囲は、表示部分範囲が操作者により読影可能な状態であるかを医用画像表示装置1が判定するための条件である。読影可能な状態とは、操作者が表示部分範囲の読影を通して、読影医用画像に含まれる病変などを発見することができる状態であることを指す。
操作者が病変を発見するためには、表示部分範囲は、読影医用画像に対して、病変が小さくなりすぎるまで縮小されてはいけない。また、表示部分範囲は、読影医用画像に対して、病変がぼやけて認識できないほど拡大されてはいけない。条件設定部27は、表示部分範囲の表示拡大率の上限値と下限値の範囲(以下、表示拡大率範囲と呼ぶことにする。)を設定する。条件設定部27は、操作部11を介して操作者により入力された値にしたがって表示拡大率範囲を設定する。なお、条件設定部27による表示拡大率範囲の設定は、予め操作者により条件記憶部19に登録されていた表示拡大率範囲を他の読影医用画像に適用してもよい。
また、予め操作者により条件記憶部19に登録されていた表示拡大率範囲の上限値と、表示部16の解像度と、画像解像度との関係に基づいて、条件設定部27は、読影医用画像の解像度及び画面解像度に応じた表示拡大率範囲の上限値を設定してもよい。
条件記憶部19に、解像度500×500の読影医用画像を解像度500×500の表示部16に表示した時の表示拡大率範囲の上限値が16倍と登録されていた場合を想定する。この状態において、操作者は読影医用画像をぼやけずに読影が可能である。
この時、読影医用画像の画像解像度よりも表示部16の画面解像度が大きい場合においては、表示拡大率範囲の上限値は16倍となる。
一方、読影医用画像の画像解像度よりも表示部16の画面解像度が小さい場合においては、表示制御部15による読影医用画像の表示方法により、表示拡大率範囲の上限値は変動する。表示制御部15による表示部16への読影医用画像の拡大表示及び移動表示を読影医用画像から読み出しを行っている場合においては、表示拡大率範囲の上限値は変動しない。しかし、例えば、解像度500×500の読影医用画像を解像度250×250の表示部16に全画面表示した状態を基準に表示制御部15による表示部16への読影医用画像の表示が行われる場合は、表示拡大率範囲の上限値は変動する。
つまり、表示制御部15は、解像度500×500の読影医用画像を解像度250×250の表示部16に全画面表示する場合、縦方向2ピクセル、横方向2ピクセルの間引き処理等を行う。この間引き処理等が行われた読影医用画像は、元の読影医用画像に比べて解像度が4分の1になるため、読影医用画像の表示拡大率範囲の上限値も4分の1になる。したがって、条件設定部27は、表示拡大率範囲の上限値を4倍に設定する。
なお、拡大率とは、読影医用画像の解像度を基準に拡大した割合を示す。したがって、解像度500×500の画像を画面解像度500×500に全画面表示した場合において、拡大率は1倍である。また、解像度500×500の画像を画面解像度1000×1000に全画面表示した場合において、1ピクセルを4ピクセルにするように画像補間処理が行われるため、拡大率は4倍である。
表示終了割合は、読影医用画像の表示終了を医用画像表示装置1が判定するための条件である。条件設定部27は、表示終了割合を、操作部11を介して操作者により入力された値に従って設定する。こうして、条件設定部27により設定された表示済時間、表示拡大率範囲及び表示終了割合は、条件記憶部19に記憶される。
表示終了判定部28は、読影医用画像の表示終了の可否を判定する。具体的には、表示終了判定部28は、操作者により、表示部16に表示された読影終了ボタンが押されたのを契機に、読影中の読影医用画像の表示割合と条件記憶部19に記憶されている表示終了割合とを比較する。表示終了判定部28は、比較結果に基づいて読影医用画像の表示終了の可否を判定する。
読影終了確認画像発生部29は、読影医用画像に対する操作者による読影を終了して良いかを操作者に選択させるための読影終了確認画像を発生する。操作者により読影終了ボタンが押され、読影が終了されるまでの詳細説明は後述する。
表示済範囲特定部24は、表示部16に表示された表示部分範囲から表示済範囲を特定する。表示済範囲特定部24により表示済範囲が特定される手順は後述の読影作業手順と併せて説明する。
表示済点特定部23は、読影医用画像の読影エリアに対して割り当てられた複数の読影点から表示済点を特定する。表示済点特定部23により表示済点が特定される手順は後述の読影作業手順と併せて説明する。
表示割合計算部25は、読影エリアに対する表示済範囲の割合(以下、表示割合と呼ぶことにする。)を計算する。表示割合の計算には2つの方法がある。1つ目は、読影点を活用する方法である。この方法において、表示割合計算部25は、読影医用画像の読影エリアに対して割り当てられた読影点の総数と表示済点特定部23で特定された表示済点の合計数とに基づいて、表示割合を計算する。2つ目は、面積を活用する方法である。この方法において、表示割合計算部25は、読影エリアの面積と表示済範囲特定部24で特定された表示済範囲の面積とに基づいて、表示割合を計算する。これら2つの表示割合の計算手順の詳細は後述する。
読影ガイド発生部26は、読影医用画像の全範囲に対する表示部分範囲の位置及び表示済範囲の位置に基づいて読影ガイド図を発生する。読影ガイド図の発生方法の説明は後述する。
表示制御部15は、システム制御部12からの制御信号に従い、画像記憶部20から記読影医用画像の部分範囲及び読影ガイド図を読み出し、表示部16に表示する。また、表示制御部15は、表示割合計算部25により計算された表示割合を数値又は図形として表示部16に表示する。さらに、表示制御部15は、操作者による読影作業の表示を終了を医用画像表示装置1に入力するための読影終了ボタンを表示部16に表示する。読影医用画像の部分範囲、読影ガイド図、表示割合及び読影終了ボタンは、予め設定された表示レイアウトに従って、表示部16に表示される。表示レイアウトの説明は後述する。
次に、本実施形態に係る医用画像表示装置1のシステム制御部12及び表示制御部15の制御のもとに行われる処理について、医用画像表示装置1の条件設定時と読影作業時とに分けて説明する。まず、操作者による条件設定時における、表示制御部15による表示処理について図3を参照して説明する。図3は、本実施形態に係る医用画像表示装置1の表示制御部15による設定作業時の表示処理に関するフローチャートの一例を示す図である。
まず、表示制御部15は、患者リストを表示する(ステップS11)。患者リストは、PACS3で作成され、LANを介して医用画像表示装置1に取り込まれたものである。操作者は、表示された患者リストを参照して特定の患者を選択する。すると、表示制御部15は、選択された患者に関する医用画像のリストを表示する(ステップS12)。操作者は、表示された医用画像のリストから、読影する医用画像(以下、読影医用画像と呼ぶことにする。)を選択する。すると、選択された読影医用画像のデータが、PACS3から読影レポートシステム4、LAN、及び受信部17を介して医用画像表示装置1に取り込まれる。読影医用画像のデータは、画像記憶部20に記憶される。そして、表示制御部15は、画像記憶部20から読影医用画像の読み出し、画像を全体表示する(ステップS13)。読影医用画像が表示されると、表示制御部15は、画像記憶部20から読影ガイド図を読み出し、読影医用画像に対して重ねて表示する(ステップS14)。さらに、表示制御部15は、表示割合計算部25により計算された表示割合を数値として読影医用画像に重ねて表示する(ステップS15)。
次に、表示制御部15は、読影エリアの抽出方法のリストを表示する(ステップS16)。読影エリアの抽出方法は、ピクセル値に基づいた方法、操作者がフリーに設定する方法及び予め設定された読影エリア抽出図形から選択する方法である。操作者は、抽出方法のリストから所望の方法を選択する。そして、条件設定部27は、読影エリアの抽出方法を、操作者により選択された方法に設定する。
次に、表示制御部15は、表示割合の計算方法のリストを表示する(ステップS17)。表示割合の計算方法は、面積ベースの方法及び読影点ベースの方法である。操作者は、表示割合の計算方法のリストから所望の方法を選択する。そして、条件設定部27は、表示割合の計算方法を、操作者により選択された方法に設定する。こうして、ステップS11からステップS17を経て読影開始前の医用画像表示装置1の設定が完了する。
次に、操作者による読影作業時における、システム制御部12及び表示制御部15の制御のもとに行われる処理について図4を参照して説明する。図4は、本実施形態に係る医用画像表示装置1のシステム制御部12及び表示制御部15の制御のもとに行われる読影作業時の処理に関するフローチャートの一例を示す図である。なお、表示部16は、図3の設定完了時の表示状態である。したがって、表示制御部15により、読影医用画像に対して読影ガイド図及び表示割合が重ねて表示されている。
まず、表示制御部15は、操作者による特定操作に従って指定された、読影医用画像の部分範囲を表示する(ステップS21)。操作者による特定操作は、操作部11を介して行われる。特定操作には、表示範囲の移動操作及び表示範囲の拡大縮小操作がある。
表示範囲の移動操作においては、例えば、操作者が、表示画面上で表示範囲を移動させたい方向の位置にマウスのポインタを移動させ、クリックすることで表示範囲が移動される。また、表示画面上にスクロールバーを表示させ、それをマウスで操作してもよい。また、キーボードの特定のキーに表示範囲の移動操作機能を割り当て、その特定のキー操作により表示範囲の移動が行われてもよい。
表示範囲の拡大縮小操作においては、例えば、操作者が、マウスのホイールボタンを回転させ、その回転方向に従って、表示範囲の拡大及び縮小が行われる。また、表示画面上に拡大ボタンと縮小ボタンを表示させ、それをマウスで操作することで表示範囲の拡大及び縮小が行われてもよい。また、キーボードの特定のキーに、画像の拡大縮小機能を割り当て、その特定のキー操作により表示範囲の拡大及び縮小が行われてもよい。そして、表示制御部15は、表示部分範囲の変更に伴って更新された読影ガイド図を表示する(ステップS22)。
次に、システム制御部12及び表示制御部15の制御により、表示部分範囲が表示済範囲であるかの判定、読影ガイド図の更新及び表示割合の更新が行われる。表示部分範囲が表示済範囲であるかは、表示部分範囲の表示条件が表示済条件を満たすかで判定される。まず、表示済範囲特定部24は、条件記憶部19から表示拡大率範囲を読み出す。そして、表示済範囲特定部24は、表示部分範囲の表示拡大率が表示拡大率範囲内であるかを判定する(ステップS24)。表示拡大率が表示拡大率範囲内である場合において、表示済範囲特定部24は、表示部分範囲の表示時間が表示済時間以上であるかを判定する(ステップS25)。表示部分範囲の表示時間が表示済時間以上である場合において、表示済範囲特定部24は、表示部分範囲を表示済範囲と判定する。したがって、表示済条件とは、表示部分範囲が、その表示拡大率が表示拡大率範囲内で、且つその表示時間が表示済時間以上である条件であることを指す。そして、表示済範囲の部分画像が、読影医用画像の全範囲に対する位置情報とともに画像記憶部20に記憶される(ステップS25)。また、読影ガイド発生部26は、読影ガイド図上の表示部分範囲を表す図形を表示済範囲を表す図形とした読影ガイド図を発生する。そして、表示制御部15は、表示中の読影ガイド図を更新する(ステップS26)。次に、表示割合計算部25は、表示割合を計算する(ステップS27)。表示済点特定部23は、表示済範囲に含まれる表示済点を特定する。そして、表示割合計算部25は、読影エリアに含まれる読影点総数と表示済範囲に含まれる表示済点数の合計数に基づいて表示割合をする。そして、表示制御部15は、表示中の表示割合の数値表示を更新する(ステップS28)。
次に、システム制御部12は、表示部16に表示されている読影終了ボタンが押されたかを検知する(ステップS30)。読影終了ボタンが押されていない状態は、操作者による読影作業が行われていることを指すため、ステップS21に手順が戻る。読影終了ボタンが押された場合において、システム制御部12は、読影終了ボタンが操作者により押されたのを通知する信号を表示終了判定部28に送信する。表示終了判定部28は、その信号を受信したのを契機に、条件記憶部19から表示終了割合を読み出す。そして、表示終了判定部28は、読影中の読影医用画像の表示割合と表示終了割合とを比較する(ステップS30)。表示割合が表示終了割合以上の場合において、表示終了判定部28は、操作者により読影医用画像に対する読影作業が終了したと判定する。すると、表示制御部15は、表示終了判定部28からの読影医用画像の表示終了を通知する信号を受信したのを契機に、読影医用画像の表示を終了する。
一方、表示割合が表示終了割合未満の場合において、表示終了判定部28は、操作者により読影医用画像に対する読影作業が終了していないと判定する。そして、読影終了確認画像発生部29は、表示終了判定部28からの出力に基づいて、読影終了確認画像を発生する。そして、表示制御部15は、発生された読影終了確認画像を表示する(ステップS31)。読影終了ボタンが押され、読影終了確認画像が表示されるまでの説明は後述する。そして、システム制御部12は、読影終了確認画像に含まれる読影途中終了ボタンが操作者により押されたかを検知する(ステップS32)。読影途中終了ボタンが押されていない場合において、表示終了判定部28は、操作者により読影医用画像の読影作業が途中であると判定し、ステップS21に手順が戻る。読影途中終了ボタンが押された場合において、システム制御部12は、読影途中終了ボタンが操作者により押されたのを通知する信号を表示制御部15に送信する。表示制御部15は、システム制御部12からの信号を受信したのを契機に、読影医用画像の表示を終了する。
以上のような手順を経て、本実施形態に係る医用画像表示装置を用いた操作者による一連の読影作業が終了される。なお、フローチャートは一例である。したがって、フローチャートの各手順の順序は、本発明の効果が失われない限り、前後してもよい。
次に、表示制御部15により表示部16に表示される読影医用画像の部分範囲、読影ガイド図及び表示割合のレイアウトについて説明する。図5は、本実施形態に係る医用画像表示装置の表示部16の表示レイアウトの一例を示す図である。
図5に示すように、表示制御部15は、表示部分範囲に対して読影ガイド図、表示割合及び読影終了ボタンを重ねて表示する。ここでは、表示割合は数値として表示されるものとする。
読影ガイド図は、読影医用画像を表すフレームに対して、表示済範囲を表す図形及び表示部分範囲を表す図形を重ねた図である。表示済か否かは、各図形に割り当てられた色の種類や色の濃淡などにより互いに区別される。さらに、読影ガイド図の大きさに対する表示部分範囲及び表示済範囲の大きさは、読影医用画像に対する実際の表示部分範囲及び表示済範囲の大きさと相似関係である。操作者は、読影作業をしながらも、表示部分範囲に重ねて表示される読影ガイド図を見ることで、読影医用画像上のどの範囲を読影しているのか、また、既に読影した範囲がどこなのかを確認できる。
表示割合は、読影エリアに対する表示済範囲の割合である。操作者は、読影作業をしながらも、表示部分範囲に重ねて表示される表示割合を見ることで、読影医用画像のどれだけの割合を読影したのかを確認できる。
これらの効果により、読影医等による読影医用画像に対する読影作業時の病変見逃しの危険性の低減が可能である。なお、読影ガイド図及び表示割合は、操作者の読影を支援するためのものであるから、これらの表示位置は、図5で示した位置に限定されない。操作者が表示部分範囲を読影しながらも、読影ガイド図及び表示割合を確認できる位置であれば、表示部16上のどこに表示されていてもよい。また、表示制御部15は、操作者によるマウスの特定操作、例えば、クリック操作などに従って、表示部分範囲と全画面表示した読影ガイド図とを切り替えて表示する機能を有してもよい。
次に、読影ガイド発生部26による読影ガイド図の発生手順について説明する。図6は、本実施形態に係る医用画像表示装置の読影ガイド発生部26による読影ガイド図の発生を説明するための図である。
読影ガイド発生部26は、読影医用画像を2次元のxy座標系で置き換えたフレームとして認識する。この時、読影ガイド発生部26は、読影医用画像のフレームを画像とともに認識してもよい。次に、読影ガイド発生部26は、操作者により指定された表示部分範囲Aの読影医用画像の全範囲に対する位置及び大きさを特定する。読影医用画像の全範囲に対する位置及び大きさの特定は、操作者によるスクロールの移動量及び表示部分範囲Aの表示拡大率に基づいて行われる。そして、読影ガイド発生部26は、特定した位置及び大きさに基づいて、表示部分範囲Aを表す図形をフレームに重ねる。この読影医用画像を表すフレームに表示部分範囲Aを表す図形を重ねた図形が読影ガイド図である。読影ガイド発生部26により発生された読影ガイド図は、画像記憶部20に記憶される。表示制御部15は、画像記憶部20に記憶された読影ガイド図を読み出し、予め設定された縮小率で縮小する。そして、表示制御部15は、予め設定された表示レイアウトに従って、表示部分範囲に対して読影ガイド図を重ねて表示する。さらに、読影ガイド発生部26は、表示済範囲特定部24からの表示部分範囲Aの表示条件が表示済条件を満たしたことを通知する信号を受信したのを契機に、読影ガイド図上の表示部分範囲Aを表す図形を表示済範囲を表す図形に変更した読影ガイド図を発生する。そして、画像記憶部20に記憶されている読影ガイド図が更新される。表示制御部15は、画像記憶部20からの読影ガイド図の読み出しを、予め設定されたタイミングで行う。そのタイミングとは、予め設定された一定間隔であってもよいし、表示部16上の操作者によるマウス操作信号が発生されたのを契機でもよい。以上のように、読影ガイド発生部26は、表示部分範囲の変更時及び表示部分範囲の表示条件が表示済条件を満たした時に、読影ガイド図を更新する。
次に、読影エリアの抽出方法について図7乃至図9を参照して説明する。本説明では、読影医用画像を超音波画像としている。まず、ピクセル値に基づいた抽出方法について、図7を参照して説明する。図7は、本実施形態に係る医用画像表示装置の読影エリア抽出部21が読影医用画像から読影エリアをピクセル値に基づいて抽出する方法を説明する図である。ピクセル値に基づいた抽出方法において、読影エリア抽出部21は、医用画像を構成している各ピクセルのピクセル値を参照する。そして、ピクセル値が予め設定されている範囲内のピクセルを抽出する。抽出されたピクセルで構成されるエリアが読影エリアである。この方法において、医師などは、ピクセル値の範囲(ピクセル値の下限値と上限値)を、操作部11を介して予め設定する。なお、医用画像内に複数のエリアが含まれている場合においては、例えば、その中から最も広いエリアを読影エリアとする。
次に、予め登録された読影エリア抽出図形を用いた抽出方法について、図8を参照して説明する。図8は、本実施形態に係る医用画像表示装置の読影エリア抽出部21が読影医用画像から読影エリアを読影エリア抽出図形を用いて抽出する方法を説明する図である。図8に示すように、操作者は、読影エリア抽出図形のリストから所望の図形を選択する。読影エリア抽出図形のリストには、例えば、円や矩形などの図形が含まれる。そして、操作者は、選択した図形を読影エリアにすべき位置に配置、その大きさをマウス等を用いて調整する。読影エリア抽出部21は、操作者により選択、配置、調整された図形で囲まれたエリアを読影エリアとして設定する。
次に、フリーに設定した図形で抽出する方法について、図9を参照して説明する。図9は、図9は、本実施形態に係る医用画像表示装置の読影エリア抽出部21が読影医用画像から読影エリアをフリーに設定した図形を用いて抽出する方法を説明する図である。図9に示すように、操作者は、操作部11のマウス等のポインタデバイスを用いて読影医用画像上の読影すべきエリアを囲む。読影エリア抽出部21は、操作者により設定された図形で囲まれたエリアを読影エリアとして設定する。
次に、読影点割当部22による読影エリアに対する読影点の割り当て方法について説明する。図10は、本実施形態に係る医用画像表示装置の読影点割当部22による読影エリアへの読影点の割り当て方法を説明する図である。
読影点割当部22は、読影エリア抽出部21により抽出された読影エリアを認識し、読影エリア内の基準位置から読影点を割り当てる。基準位置は、例えば、読影エリアの最左下の位置、読影エリアの重心位置に設定される。また、操作部11を介して操作者により基準位置が設定されてもよい。
読影点の割り当て間隔は、操作者により予め設定されたピクセル間隔で設定される。しかしながら、読影点の割り当て間隔は、表示拡大率範囲における最大拡大率に基づいて決定されてもよい。図10に示すように、解像度900×900の読影医用画像の最大表示拡大率が6倍に設定されていた場合において、読影点割当部22は、縦横に150ピクセル毎に読影点を割り当てる。すると、最大表示拡大率6倍時に表示される範囲に少なくとも1つの読影点が割り当てられる。
パターンAのように、読影エリアの最左下に基準位置が設定される場合において、基準位置から縦横に150ピクセル毎に読影点が割り当てられると、縦方向に7つ、横方向に7つ、総数49つの読影点が読影点割当部22により割り当てられることになる。
また、パターンBのように、操作者により読影エリア内の基準位置が設定された場合においては、読影点が縦方向に6つ、横方向に7つ、総数42つの読影点が読影点割当部22により割り当てられることになる。表示制御部15は、これらの読影点を読影作業時には非表示にするが、操作部11を介した操作者による特定のマウス操作等で表示してもよい。
次に、表示割合計算部25による表示割合の計算方法について説明する。表示割合の計算には、画像面積を用いる面積ベースの方法と、読影点を用いる読影点ベースの方法とがある。まず、表示割合の計算に画像面積を用いる画像ベースの方法について説明する。図11は、本実施形態に係る医用画像表示装置の表示割合計算部25による面積ベースでの表示割合の計算方法を説明する図である。なお、表示割合の計算方法に関する説明においては、読影医用画像の解像度は500×400とする。なお、読影エリアは読影医用画像全体とする。
まず、表示割合計算部25は、読影医用画像を2次元のxy座標系で置き換えて認識する。そして、表示部分範囲40の表示条件が表示済条件を満たし表示済とされると、表示済範囲特定部24は、表示済範囲41の表示拡大率及びスクロールの移動量により表示済範囲41のxy範囲を特定し、特定したxy範囲に基づいて、表示済範囲41の面積を計算する。そして、表示割合計算部25は、表示済範囲41の面積及び読影医用画像39の全範囲の面積に基づいて、表示割合を計算する。そして、計算された表示割合は表示部16に数値として表示される。なお、表示済範囲41の部分画像は、そのxy範囲の座標情報とともに画像記憶部20に記憶される。
次に、操作部11を介した操作者の指示に従って指定された表示部分範囲44が表示される。そして、表示部分範囲44の表示条件が表示済条件を満たし読影済とされると、上述の手順に従って、表示割合計算部25は表示割合を計算する。そして、表示制御部15は、表示部16に表示されていた表示割合を更新する。なお、表示割合には、その一操作前までの表示割合が含まれるため、一操作前までの表示割合が加算されている。表示済範囲45の部分画像は、そのxy範囲の位置座標の情報とともに画像記憶部20に記憶される。
次に、操作部11を介した操作者の指示に従って表示部分範囲48が表示される。そして、表示部分範囲48の表示条件が表示済条件を満たし表示済とされると、上述の手順に従って、表示割合計算部25は表示割合を計算する。しかし、表示済範囲50には、その一操作前までの表示済範囲と重複する部分範囲(以下、重複部分範囲と呼ぶことにする。)が含まれる。そのため、表示割合計算部25は、重複部分範囲49の考慮する必要がある。なお、重複部分範囲は、画像記憶部20に記憶された表示済範囲の部分画像に付帯する位置座標の情報及び表示部分範囲の位置座標の情報に基づいて、表示済範囲特定部24により特定される。表示割合計算部25は、表示済範囲41、表示済範囲45及び表示済範囲50の表示割合の合計から、重複部分範囲49の表示割合を減算する。こうして、表示割合が計算される。そして、表示制御部15は、表示部16に表示されていた表示割合を更新する。表示済範囲50の部分画像は、そのxy範囲の位置情報とともに画像記憶部20に記憶される。
次に、表示割合の計算に読影点を用いる読影点ベースの方法について説明する。図12は、本実施形態に係る医用画像表示装置の表示割合計算部25による面積ベースでの表示割合の計算方法を説明する図である。なお、本説明においては、読影医用画像59を2次元xy座標系で表記する。なお、読影エリアは読影医用画像全体とする。
まず、読影点割当部22は、読影医用画像59に対して読影点を割り当てる。読影医用画像59に割り当てられた読影点には、それぞれxy座標の情報が付帯される。そして、操作部11を介した操作者の指示に従って指定された表示部分範囲60が表示される。表示部分範囲60の表示条件が表示済条件を満たし表示済とされると、表示済範囲特定部24は、表示済範囲61の読影医用画像59に対する拡大率及びスクロールの移動量により表示済範囲61のxy範囲を特定する。そして、表示済点特定部23は、表示済範囲61のxy範囲及び読影点各々のxy座標に基づいて、表示済範囲61に含まれる表示済点を特定する。そして、表示割合計算部25は、読影医用画像59に割り当てられた読影点の総数に対する表示済点の総数に基づいて、表示割合を計算する。そして、計算された表示割合は表示部16に表示される。なお、表示済範囲61の部分画像は、その表示済点の位置座標情報とともに画像記憶部20に記憶される。
次に、操作部11を介した操作者の指示に従って指定された表示部分範囲64が表示される。表示部分範囲64の表示条件が表示済条件を満たし表示済とされると、上述の手順に従い、表示割合計算部25は、表示済点特定部23により特定された表示済点の合計数及び読影点の総数に基づいて、表示割合を計算する。そして、表示制御部15は、表示部16に表示されていた表示割合を更新する。表示済範囲65の部分画像は、その表示済点の位置座標情報とともに画像記憶部20に記憶される。
次に、操作部11を介した操作者の指示に従って指定された表示部分範囲68が表示される。そして、表示部分範囲68が表示済条件を満たし表示済とされると、上述の手順に従い、表示割合計算部25は表示割合を計算する。しかし、表示済範囲70には、重複部分範囲69が含まれる。そのため、表示割合計算部25は、重複部分範囲69に含まれる表示済点の数を考慮する必要がある。例えば、図12において、表示済範囲61に含まれる表示済点の数は1個、表示済範囲65に含まれる表示済点の数は9個、表示済範囲70に含まれる表示済点の数は9個である。従って、各表示済範囲に含まれる表示済点をそのまま数えると19個である。しかし、重複部分範囲69に表示済点が4個含まれるため、表示済点の総数は15個となる。表示済点特定部23は、画像記憶部20に記憶された表示済点の位置座標及び表示されている表示済点の位置座標に基づいて、重複する表示済点(以下、重複表示済点と呼ぶことにする。)を特定する。なお、重複表示済点の特定は、各表示済点の位置座標に基づいて行われる必要はなく、各表示済点を特定するコードであればよい。表示割合計算部25は、表示済点特定部23により特定された表示済点の総数及び読影点の総数に基づいて表示割合を計算する。そして、表示制御部15は、表示部16に表示されていた表示割合を更新する。表示済範囲70の部分画像は、その表示済点の位置座標情報とともに画像記憶部20に記憶される。
次に、読影終了確認画像について説明する。図13は、本実施形態に係る医用画像表示装置の読影終了確認画像発生部29による発生される読影終了確認画像を説明する図である。なお、読影終了画像の説明において、条件記憶部19に記憶されている表示終了割合は90%とする。
例えば、図13に示すパターンAの状態において、表示割合は48%である。操作者により読影終了ボタンが押されると、システム制御部12の制御の下、表示終了判定部28は、条件記憶部19に記憶されている表示終了割合を読み出す。そして、表示終了判定部28は、読影中の読影医用画像の表示割合と表示終了割合とを比較する。表示割合が48%であるのに対し、表示終了割合は90%であるため、表示終了判定部28は、パターンAの状態においては、読影が終了していないと判断する。すると、読影終了確認画像発生部29は読影終了確認画像を発生する。読影終了確認画像は、表示割合が表示終了割合を満たしていない旨を操作者に伝えるための画像である。表示制御部15は、読影終了確認画像を表示する。図13に示すように、読影終了確認画像には、読影途中終了ボタンとキャンセルボタンとが含まれる。操作者により読影途中終了ボタンが押されると、表示終了判定部28は、表示割合が表示終了割合を満たしていない状態でも読影が終了したと判断する。表示制御部15は、システム制御部12からの読影途中終了ボタンが押されたことを通知する信号を受信したのを契機に、読影医用画像の表示を終了する。一方、操作者によりキャンセルボタンが押されると、表示制御部15により読影終了確認画像が非表示にされ、操作者は読影医用画像の読影を再開できる。
例えば、図13に示すパターンBの状態において、表示割合は92%である。操作者により読影終了ボタンが押されると、システム制御部12の制御の下、表示終了判定部28は、条件記憶部19に記憶されている表示終了割合を読み出す。そして、表示終了判定部28は、読影中の読影医用画像の表示割合と表示終了割合とを比較する。表示割合が92%であるのに対し、表示終了割合は90%であるため、表示終了判定部28は、パターンBの状態において読影が終了したと判断する。すると、表示制御部15は、表示終了判定部28からの読影医用画像の表示終了を通知する信号を受信したのを契機に、読影医用画像の表示を終了する。
本実施形態に係る医用画像表示装置は、操作者による病変見落としを軽減することを目的としている。そのために、本実施形態に係る医用画像表示装置1は、読影ガイド図を表示部分範囲に重ねて表示する。読影ガイド図の表示目的は、操作者に、読影医用画像の全範囲に対する表示中の部分範囲の位置を確認させるためである。そのため、この目的を達成できるのであれば、読影ガイド図は他の形態でも良い。以下、読影ガイド図の変形例について説明する。
図14は、本実施形態に係る医用画像表示装置の読影ガイド発生部26により発生される読影ガイド図の変形例を示す図である。図14に示すように、変形例の表示レイアウトでは、部分範囲表示エリアと複数の読影ガイドエリアとが設けられている。部分範囲表示エリアには、操作者により指定された読影医用画像の部分範囲の画像(部分画像)が表示される。複数の読影ガイドエリアには、読影医用画像における部分範囲を中心に予め設定された条件下で分割された複数の周辺範囲の画像(周辺画像)が表示される。部分画像と周辺画像との位置関係は、読影医用画像上と表示部16の表示状態とで変わらない。表示制御部15は、読影医用画像上で操作者により指定された部分範囲の位置に従って、読影ガイドエリアの数及びレイアウトを設定する。なお、これらのエリアの大きさは、表示制御部15により予め設定された大きさである。しかし、操作部11を介した操作者の指示に従って、各エリアの大きさが変更されてもよい。
図14に示すように、例えば、操作者により部分範囲がパターンAのように指定された場合において、表示制御部15は、読影ガイドエリアを8つ設ける。これは、指定された部分範囲の周辺範囲が、部分範囲を中心に8つの方向に存在するからである。一方、操作者により部分範囲がパターンBのように指定された場合において、表示制御部15は、読影ガイドエリアを5つ設ける。これは、指定された部分範囲の周辺範囲が、部分範囲を中心に5つの方向に存在するからである。
そして、表示制御部15により複数の読影エリアガイドの表示レイアウトが設定されると、読影ガイド発生部26は、複数の周辺画像から、それぞれ対応する複数の読影ガイド画像を発生する。具体的には、読影ガイド発生部26は、周辺画像に対して画像補間処理又は間引き処理などの画像処理を施す。これらの画像処理方法は一般的な方法が用いられる。この、周辺画像に画像処理が行われた画像が読影ガイド画像である。
読影ガイド発生部26による読影ガイド画像の発生方法の一例について図12に示すパターンAで説明する。表示制御部15は、読影医用画像上で操作者により指定された部分画像と複数の周辺画像を表示部16に表示させる。部分画像の解像度が200×200であるのに対し、部分範囲表示エリアの解像度が200×200である。したがって、読影表示制御部16は、部分画像をそのまま部分範囲表示エリアに表示する。一方、例えば、周辺画像Eの表示について、周辺画像Eの解像度が600×200であるのに対し、読影ガイドエリアEの解像度が50×200である。したがって、読影ガイド発生部26は、周辺画像Eを読影ガイドエリアEに表示させるために、縦方向の解像度を合わせた読影ガイド画像Eを発生する。具体的には、読影ガイド発生部26は、周辺画像Eの縦方向のピクセルを間引き処理する。間引き処理する間隔は、周辺画像と対応する読影ガイドエリアの解像度に従って決定される。周辺画像Eの縦方向のピクセル数が600であるのに対し、読影ガイドエリアEの縦方向のピクセル数は50であるため、読影ガイド発生部26は、部分画像Eの縦方向を12ピクセル毎に間引き処理した読影ガイド画像Eを周辺画像Eから発生する。そして、発生された周辺画像Eは表示制御部15により、読影ガイドエリアEに表示される。
こうして、表示部16には、操作者により指定された部分範囲とともに、その周辺範囲が表示される。操作者は、指定した部分範囲の位置を周辺範囲に基づいて確認しながら、部分範囲に対する読影作業が可能となる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の趣旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や趣旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものある。