JP7233874B2 - 医用情報処理装置、ｘ線診断装置及び医用情報処理プログラム - Google Patents

Description

本発明の実施形態は、医用情報処理装置、Ｘ線診断装置及び医用情報処理プログラムに関する。

Ｘ線画像と超音波画像とは互いに異なる性質を有することから、１つの検査において併用される場合がある。例えば、超音波画像は、Ｘ線画像と比較して、軟組織をより明瞭に描出することが可能である。また、Ｘ線画像は、超音波画像と比較して、高解像度かつ高フレームレートで収集することが可能である。

ここで、Ｘ線画像と超音波画像とを位置合わせして表示することにより、医師等の操作者は、Ｘ線画像と超音波画像とをより効率的に利用することができる。しかしながら、Ｘ線画像と超音波画像との性質の違いから、各画像に描出された対象物を基準として位置合わせを行なうことは容易でない。例えば、超音波画像には軟組織が明瞭に描出されるものの、Ｘ線画像には軟組織が明瞭には描出されないため、軟組織を基準として位置合わせを行なうことは容易でない。

特許第５７９５７６９号公報

本発明が解決しようとする課題は、Ｘ線画像と超音波画像との位置合わせを可能とすることである。

実施形態の医用情報処理装置は、第１の特定部と、第２の特定部とを備える。第１の特定部は、超音波プローブの位置を特定する。第２の特定部は、前記超音波プローブの構造を示す３次元データと、前記超音波プローブを撮像した２次元のＸ線画像とに基づいて、前記第１の特定部によって特定された位置における前記超音波プローブの向きを特定する。

図１は、第１の実施形態に係る医用情報処理システムの構成の一例を示すブロック図である。 図２は、第１の実施形態に係るＸ線診断装置の構成の一例を示すブロック図である。 図３は、第１の実施形態に係る超音波診断装置の構成の一例を示すブロック図である。 図４は、第１の実施形態に係る医用情報処理装置の構成の一例を示すブロック図である。 図５は、第１の実施形態に係る医用情報処理システムの処理の一連の流れを説明するためのフローチャートである。 図６は、第１の実施形態に係る医用情報処理装置の処理の一連の流れを説明するためのフローチャートである。 図７は、第１の実施形態に係る超音波プローブの位置の特定について説明するための図である。 図８は、第１の実施形態に係るＸ線画像データ及び超音波画像データの表示の一例を示す図である。 図９は、第２の実施形態に係る医用情報処理装置の処理の一連の流れを説明するためのフローチャートである。 図１０は、第３の実施形態に係る医用情報処理システムの処理の一連の流れを説明するためのフローチャートである。 図１１は、第３の実施形態に係る医用情報処理装置の処理の一連の流れを説明するためのフローチャートである。 図１２は、第４の実施形態に係る医用情報処理装置の処理の一連の流れを説明するためのフローチャートである。 図１３は、第５の実施形態に係る医用情報処理システムの処理の一連の流れを説明するためのフローチャートである。 図１４は、第５の実施形態に係る医用情報処理装置４０の処理の一連の流れを説明するためのフローチャートである。

以下、図面を参照して、医用情報処理装置、Ｘ線診断装置及び医用情報処理プログラムの実施形態について詳細に説明する。

（第１の実施形態）
まず、第１の実施形態について説明する。第１の実施形態では、Ｘ線診断装置１０、超音波診断装置２０、画像保管装置３０及び医用情報処理装置４０を含んだ医用情報処理システム１を一例として説明する。

図１は、第１の実施形態に係る医用情報処理システム１の構成の一例を示すブロック図である。図１に示すように、第１の実施形態に係る医用情報処理システム１は、Ｘ線診断装置１０と、超音波診断装置２０と、画像保管装置３０と、医用情報処理装置４０とを備える。Ｘ線診断装置１０、超音波診断装置２０、画像保管装置３０及び医用情報処理装置４０は、ネットワークＮＷを介して相互に接続される。

Ｘ線診断装置１０は、被検体からＸ線画像を収集する装置である。例えば、Ｘ線診断装置１０は、被検体からＸ線画像を収集し、収集したＸ線画像を画像保管装置３０及び医用情報処理装置４０に送信する。なお、Ｘ線診断装置１０の構成については後述する。また、超音波診断装置２０は、被検体から超音波画像を収集する装置である。例えば、超音波診断装置２０は、被検体から超音波画像を収集し、収集した超音波画像を画像保管装置３０及び医用情報処理装置４０に送信する。なお、超音波診断装置２０の構成については後述する。また、以下では、データとして処理される画像については、画像データとも記載する。

画像保管装置３０は、Ｘ線診断装置１０や超音波診断装置２０等の医用画像診断装置によって収集された医用画像データを保管する装置である。例えば、画像保管装置３０は、ネットワークＮＷを介してＸ線診断装置１０からＸ線画像データを取得し、取得したＸ線画像データを装置内又は装置外に設けられたメモリに記憶させる。また、例えば、画像保管装置３０は、ネットワークＮＷを介して超音波診断装置２０から超音波画像データを取得し、取得した超音波画像データを装置内又は装置外に設けられたメモリに記憶させる。例えば、画像保管装置３０は、サーバ装置等のコンピュータ機器によって実現される。

医用情報処理装置４０は、ネットワークＮＷを介して医用画像データを取得し、取得した医用画像データを用いた種々の処理を実行する。例えば、医用情報処理装置４０は、ネットワークＮＷを介して、Ｘ線診断装置１０又は画像保管装置３０からＸ線画像データを取得する。また、例えば、医用情報処理装置４０は、ネットワークＮＷを介して超音波診断装置２０又は画像保管装置３０から超音波画像データを取得する。また、例えば、医用情報処理装置４０は、Ｘ線画像データと超音波画像データとを位置合わせして操作者に提示する。具体的には、医用情報処理装置４０は、超音波診断装置２０が有する超音波プローブ２０１の位置及び向きを特定することにより、Ｘ線画像データと超音波画像データとを位置合わせして操作者に提示する。なお、医用情報処理装置４０の構成については後述する。例えば、医用情報処理装置４０は、ワークステーション等のコンピュータ機器によって実現される。

なお、ネットワークＮＷを介してＸ線診断装置１０及び超音波診断装置２０と接続可能であれば、医用情報処理装置４０が設置される場所は任意である。例えば、医用情報処理装置４０は、Ｘ線診断装置１０及び超音波診断装置２０と異なる病院に設置されてもよい。即ち、ネットワークＮＷは、院内で閉じたローカルネットワークにより構成されてもよいし、インターネットを介したネットワークでもよい。

次に、図２を用いて、Ｘ線診断装置１０について説明する。図２は、第１の実施形態に係るＸ線診断装置１０の構成の一例を示すブロック図である。図２に示すように、Ｘ線診断装置１０は、Ｘ線高電圧装置１０１と、Ｘ線管１０２と、Ｘ線絞り器１０３と、天板１０４と、Ｃアーム１０５と、Ｘ線検出器１０６と、メモリ１０７と、ディスプレイ１０８と、入力インターフェース１０９と、処理回路１１０とを備える。

Ｘ線高電圧装置１０１は、処理回路１１０による制御の下、Ｘ線管１０２に高電圧を供給する。例えば、Ｘ線高電圧装置１０１は、変圧器（トランス）及び整流器等の電気回路を有し、Ｘ線管１０２に印加する高電圧を発生する高電圧発生装置と、Ｘ線管１０２が照射するＸ線に応じた出力電圧の制御を行うＸ線制御装置とを有する。なお、高電圧発生装置は、変圧器方式であってもよいし、インバータ方式であってもよい。

Ｘ線管１０２は、熱電子を発生する陰極（フィラメント）と、熱電子の衝突を受けてＸ線を発生する陽極（ターゲット）とを有する真空管である。Ｘ線管１０２は、Ｘ線高電圧装置１０１から供給される高電圧を用いて、陰極から陽極に向けて熱電子を照射することにより、Ｘ線を発生する。

Ｘ線絞り器１０３は、Ｘ線管１０２により発生されたＸ線の照射範囲を絞り込むコリメータと、Ｘ線管１０２から曝射されたＸ線を調節するフィルタとを有する。

Ｘ線絞り器１０３におけるコリメータは、例えば、スライド可能な４枚の絞り羽根を有する。コリメータは、絞り羽根をスライドさせることで、Ｘ線管１０２が発生したＸ線を絞り込んで被検体Ｐに照射させる。ここで、絞り羽根は、鉛などで構成された板状部材であり、Ｘ線の照射範囲を調整するためにＸ線管１０２のＸ線照射口付近に設けられる。

Ｘ線絞り器１０３におけるフィルタは、被検体Ｐに対する被曝線量の低減とＸ線画像データの画質向上を目的として、その材質や厚みによって透過するＸ線の線質を変化させ、被検体Ｐに吸収されやすい軟線成分を低減したり、Ｘ線画像データのコントラスト低下を招く高エネルギー成分を低減したりする。また、フィルタは、その材質や厚み、位置などによってＸ線の線量及び照射範囲を変化させ、Ｘ線管１０２から被検体Ｐへ照射されるＸ線が予め定められた分布になるようにＸ線を減衰させる。

例えば、Ｘ線絞り器１０３は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路１１０による制御の下、駆動機構を動作させることによりＸ線の照射を制御する。例えば、Ｘ線絞り器１０３は、処理回路１１０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、コリメータの絞り羽根の開度を調整して、被検体Ｐに対して照射されるＸ線の照射範囲を制御する。また、例えば、Ｘ線絞り器１０３は、処理回路１１０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、フィルタの位置を調整することで、被検体Ｐに対して照射されるＸ線の線量の分布を制御する。

天板１０４は、被検体Ｐを載せるベッドであり、図示しない寝台の上に配置される。なお、被検体Ｐは、Ｘ線診断装置１０に含まれない。例えば、寝台は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路１１０による制御の下、駆動機構を動作させることにより、天板１０４の移動・傾斜を制御する。例えば、寝台は、処理回路１１０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、天板１０４を移動させたり、傾斜させたりする。

Ｃアーム１０５は、Ｘ線管１０２及びＸ線絞り器１０３と、Ｘ線検出器１０６とを、被検体Ｐを挟んで対向するように保持する。例えば、Ｃアーム１０５は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路１１０による制御の下、駆動機構を動作させることにより、回転したり移動したりする。例えば、Ｃアーム１０５は、処理回路１１０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、Ｘ線管１０２及びＸ線絞り器１０３と、Ｘ線検出器１０６とを被検体Ｐに対して回転・移動させ、Ｘ線の照射位置や照射角度を制御する。なお、図２では、Ｘ線診断装置１０がシングルプレーンの場合を例に挙げて説明しているが、実施形態はこれに限定されるものではなく、バイプレーンの場合であってもよい。

Ｘ線検出器１０６は、例えば、マトリクス状に配列された検出素子を有するＸ線平面検出器（Flat Panel Detector：ＦＰＤ）である。Ｘ線検出器１０６は、Ｘ線管１０２から照射されて被検体Ｐを透過したＸ線を検出して、検出したＸ線量に対応した検出信号を処理回路１１０へと出力する。なお、Ｘ線検出器１０６は、グリッド、シンチレータアレイ及び光センサアレイを有する間接変換型の検出器であってもよいし、入射したＸ線を電気信号に変換する半導体素子を有する直接変換型の検出器であっても構わない。

メモリ１０７は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、メモリ１０７は、処理回路１１０によって収集されたＸ線画像データを受け付けて記憶する。また、メモリ１０７は、処理回路１１０によって読み出されて実行される各種機能に対応するプログラムを記憶する。なお、メモリ１０７は、Ｘ線診断装置１０とネットワークを介して接続されたサーバ群（クラウド）により実現されることとしてもよい。

ディスプレイ１０８は、各種の情報を表示する。例えば、ディスプレイ１０８は、処理回路１１０による制御の下、操作者の指示を受け付けるためのＧＵＩ（Graphical User Interface）や、各種のＸ線画像を表示する。例えば、ディスプレイ１０８は、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）ディスプレイである。なお、ディスプレイ１０８はデスクトップ型でもよいし、処理回路１１０と無線通信可能なタブレット端末等で構成されることにしても構わない。

入力インターフェース１０９は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路１１０に出力する。例えば、入力インターフェース１０９は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インターフェース１０９は、処理回路１１０と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インターフェース１０９は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、Ｘ線診断装置１０とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路１１０へ出力する電気信号の処理回路も入力インターフェース１０９の例に含まれる。

処理回路１１０は、制御機能１１０ａ、収集機能１１０ｂ、送信機能１１０ｃ、受信機能１１０ｄ及び表示制御機能１１０ｅを実行することで、Ｘ線診断装置１０全体の動作を制御する。

例えば、処理回路１１０は、メモリ１０７から制御機能１１０ａに相当するプログラムを読み出して実行することにより、入力インターフェース１０９を介して操作者から受け付けた入力操作に基づいて、処理回路１１０の各種機能を制御する。また、例えば、処理回路１１０は、メモリ１０７から収集機能１１０ｂに相当するプログラムを読み出して実行することにより、２次元のＸ線画像データを収集する。

例えば、収集機能１１０ｂは、Ｘ線高電圧装置１０１を制御し、Ｘ線管１０２に供給する電圧を調整することで、被検体Ｐに対して照射されるＸ線量やオン／オフを制御する。また、例えば、収集機能１１０ｂは、Ｘ線管１０２、Ｘ線絞り器１０３、天板１０４、Ｃアーム１０５及びＸ線検出器１０６の動作を制御することにより、Ｘ線の照射範囲やＸ線の線量の分布、Ｘ線の照射角度等を制御する。なお、以下では、Ｘ線診断装置１０において撮像に用いられる機構（Ｘ線管１０２、Ｘ線絞り器１０３、天板１０４、Ｃアーム１０５及びＸ線検出器１０６）を、撮像部とも記載する。

具体的には、収集機能１１０ｂは、Ｘ線絞り器１０３の動作を制御し、コリメータが有する絞り羽根の開度を調整することで、被検体Ｐに対して照射されるＸ線の照射範囲を制御する。また、収集機能１１０ｂは、Ｘ線絞り器１０３の動作を制御し、フィルタの位置を調整することで、Ｘ線の線量の分布を制御する。また、収集機能１１０ｂは、Ｃアーム１０５を回転させたり、移動させたりすることで、Ｘ線の照射範囲及び照射角度を制御する。また、収集機能１１０ｂは、天板１０４を移動させたり、傾斜させたりすることで、Ｘ線の照射範囲及び照射角度を制御する。

また、収集機能１１０ｂは、Ｘ線検出器１０６から受信した検出信号に基づいてＸ線画像データを生成し、生成したＸ線画像データをメモリ１０７に格納する。ここで、収集機能１１０ｂは、メモリ１０７が記憶するＸ線画像データに対して各種画像処理を行なってもよい。例えば、収集機能１１０ｂは、Ｘ線画像データに対して、画像処理フィルタによるノイズ低減処理や、散乱線補正を実行する。

ここで、収集機能１１０ｂは、被検体Ｐを超音波走査する超音波プローブ２０１を撮像した２次元のＸ線画像データを収集する。例えば、収集機能１１０ｂは、被検体Ｐ内に挿入されたＴＥＥ（transesophageal echocardiography：経食道心エコー用超音波）プローブが撮像領域に含まれるようにＸ線の照射範囲及び照射角度を制御して、Ｘ線画像データを収集する。なお、超音波プローブ２０１については後述する。

また、処理回路１１０は、メモリ１０７から送信機能１１０ｃに相当するプログラムを読み出して実行することにより、Ｘ線画像データを画像保管装置３０及び医用情報処理装置４０に送信する。また、処理回路１１０は、メモリ１０７から受信機能１１０ｄに相当するプログラムを読み出して実行することにより、医用情報処理装置４０から超音波プローブ２０１の位置及び向きを受信する。なお、超音波プローブ２０１の位置及び向きについては後述する。また、受信機能１１０ｄは、超音波診断装置２０から、超音波プローブ２０１を用いて撮像された超音波画像データを受信する。

また、処理回路１１０は、メモリ１０７から表示制御機能１１０ｅに相当するプログラムを読み出して実行することにより、操作者から各種指示や各種設定等を受け付けるためのＧＵＩや、各種の画像データをディスプレイ２０３に表示させる。例えば、表示制御機能１１０ｅは、超音波プローブ２０１の位置及び向きに応じて、Ｘ線画像データ上に、超音波診断装置２０から受信した超音波画像データを表示させる。なお、超音波プローブ２０１の位置及び向きに基づく表示画像については後述する。

図２に示すＸ線診断装置１０においては、各処理機能がコンピュータによって実行可能なプログラムの形態でメモリ１０７へ記憶されている。処理回路１１０は、メモリ１０７からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路１１０は、読み出したプログラムに対応する機能を有することとなる。

なお、図２においては、制御機能１１０ａ、収集機能１１０ｂ、送信機能１１０ｃ、受信機能１１０ｄ及び表示制御機能１１０ｅの各処理機能が単一の処理回路１１０によって実現される場合を示したが、実施形態はこれに限られるものではない。例えば、処理回路１１０は、複数の独立したプロセッサを組み合わせて構成され、各プロセッサが各プログラムを実行することにより各処理機能を実現するものとしても構わない。また、処理回路１１０が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。

次に、図３を用いて、超音波診断装置２０について説明する。図３は、第１の実施形態に係る超音波診断装置２０の構成の一例を示すブロック図である。図３に示すように、超音波診断装置２０は、装置本体２００と、超音波プローブ２０１と、入力インターフェース２０２と、ディスプレイ２０３とを備える。また、図３に示すように、超音波プローブ２０１、入力インターフェース２０２及びディスプレイ２０３は、それぞれ装置本体２００に接続される。なお、図３は、第１の実施形態に係る超音波診断装置２０の構成例を示すブロック図である。

超音波プローブ２０１は、複数の振動素子（圧電振動子）を有する。超音波プローブ２０１は、被検体Ｐの体表面に接触され、超音波の送受信（超音波走査）を行う。複数の振動素子は、後述する送信回路２１０から供給される駆動信号に基づいて、超音波を発生させる。発生した超音波は、被検体Ｐ内の音響インピーダンスの不整合面で反射され、組織内の散乱体によって散乱された成分等を含む反射波信号（受信エコー）として複数の振動素子にて受信される。超音波プローブ２０１は、複数の振動素子にて受信した反射波信号を受信回路２２０へ送る。

なお、超音波プローブ２０１は、マトリクス状（格子状）に配列された複数の振動素子を有する２次元超音波プローブ（２Ｄアレイプローブ）でもよいし、所定方向に１次元で配列された複数の振動素子を有する１次元超音波プローブ（１Ｄアレイプローブ）でもよい。例えば、超音波診断装置２０を備える病院等は、形状や送信する超音波の周波数が異なる複数種類の超音波プローブ２０１を備える。一例を挙げると、病院等は、リニアプローブやコンベックスプローブ、セクタプローブ、体腔内プローブ等の各種の超音波プローブ２０１を備える。ここで、体表血管や甲状腺の検査を行なう場合、操作者は、例えば、リニアプローブを装置本体２００に接続して、超音波走査を実行する。また、例えば、腹部の検査を行なう場合、操作者は、コンベックスプローブを装置本体２００に接続して、超音波走査を実行する。また、例えば、心臓の検査を行なう場合、操作者は、セクタプローブを装置本体２００に接続して、超音波走査を実行する。また、例えば、経食道で心臓の検査を行なう場合、操作者は、ＴＥＥプローブ等の体腔内プローブを装置本体２００に接続して、超音波走査を実行する。以下では、超音波プローブ２０１がＴＥＥプローブである場合を一例として説明する。

入力インターフェース２０２は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路２６０に出力する。例えば、入力インターフェース２０２は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インターフェース２０２は、処理回路２６０と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インターフェース２０２は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置本体２００とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路２６０へ出力する電気信号の処理回路も入力インターフェース２０２の例に含まれる。

ディスプレイ２０３は、超音波診断装置２０の操作者が入力インターフェース２０２を用いて各種設定要求を入力するためのＧＵＩを表示したり、装置本体２００において生成された超音波画像データ等を表示したりする。例えば、ディスプレイ２０３は、液晶ディスプレイやＣＲＴディスプレイ等によって構成される。ディスプレイ２０３は、デスクトップ型でもよいし、処理回路２６０と無線通信可能なタブレット端末等で構成されることにしても構わない。

装置本体２００は、超音波プローブ２０１が受信した反射波信号に基づいて、超音波画像データを生成する。例えば、装置本体２００は、図３に示すように、送信回路２１０と、受信回路２２０と、Ｂモード処理回路２３０と、ドプラ処理回路２４０と、メモリ２５０と、処理回路２６０とを有する。送信回路２１０、受信回路２２０、Ｂモード処理回路２３０、ドプラ処理回路２４０、メモリ２５０及び処理回路２６０は、互いに通信可能に接続される。

送信回路２１０は、パルサ回路等を有する。パルサ回路は、所定のレート周波数（ＰＲＦ：Pulse Repetition Frequency）で、送信超音波を形成するためのレートパルスを繰り返し発生し、発生したレートパルスを超音波プローブ２０１に出力する。また、パルサ回路は、レートパルスに基づくタイミングで、超音波プローブ２０１に駆動信号（駆動パルス）を印加する。また、送信回路２１０は、処理回路２６０による制御を受けて、パルサ回路が出力する駆動信号の振幅の値を出力する。また、送信回路２１０は、処理回路２６０による制御を受けて、超音波プローブ２０１に、超音波プローブ２０１から送信される超音波に対する遅延量を送信する。

受信回路２２０は、Ａ／Ｄ変換器及び受信ビームフォーマを有する。例えば、超音波プローブ２０１から反射波信号を受信した後、Ａ／Ｄ変換器は、反射波信号をデジタルデータに変換する。次に、受信ビームフォーマは、これらの各チャンネルからのデジタルデータに対して整相加算処理を行なって、反射波データを生成する。そして、受信ビームフォーマは、生成した反射波データをＢモード処理回路２３０及びドプラ処理回路２４０に送信する。

Ｂモード処理回路２３０は、受信回路２２０から出力された反射波データを受信し、受信した反射波データに対して対数増幅、包絡線検波処理等を行って、信号強度が輝度の明るさで表現されるデータ（Ｂモードデータ）を生成する。

ドプラ処理回路２４０は、受信回路２２０から出力された反射波データを受信し、受信した反射波データから速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、平均速度、分散、パワー等の移動体情報を多点について抽出したデータ（ドプラデータ）を生成する。

メモリ２５０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、メモリ２５０は、Ｂモード処理回路２３０及びドプラ処理回路２４０が生成したデータ（Ｂモードデータ、ドプラデータ等）や、処理回路２６０が生成した画像データ（Ｂモード画像データ、ドプラ画像データ等）を記憶する。また、例えば、メモリ２５０は、超音波診断装置２０に含まれる回路がその機能を実現するためのプログラムを記憶する。なお、メモリ２５０は、超音波診断装置２０とネットワークを介して接続されたサーバ群（クラウド）により実現されることとしてもよい。

処理回路２６０は、超音波診断装置２０全体の動作を制御する。例えば、処理回路２６０は、制御機能２６１、収集機能２６２、表示制御機能２６３及び送信機能２６４を実行する。

例えば、処理回路２６０は、メモリ２５０から制御機能２６１に相当するプログラムを読み出して実行することにより、入力インターフェース２０２を介して操作者から受け付けた入力操作に基づいて、処理回路２６０の各種機能を制御する。また、例えば、処理回路２６０は、メモリ２５０から収集機能２６２に相当するプログラムを読み出して実行することにより、超音波画像データを収集する。

例えば、収集機能２６２は、操作者から受け付けた各種設定要求に基づいて、送信回路２１０、受信回路２２０、Ｂモード処理回路２３０及びドプラ処理回路２４０の処理を制御して、Ｂモードデータやドプラデータを収集する。また、例えば、収集機能２６２は、Ｂモードデータやドプラデータから超音波画像データを生成する。例えば、収集機能２６２は、Ｂモード処理回路２３０が生成したＢモードデータから、反射波の強度を輝度で表したＢモード画像データを生成する。また、例えば、収集機能２６２は、ドプラ処理回路２４０が生成したドプラデータから、移動体情報を表すドプラ画像データを生成する。ドプラ画像データは、速度画像データ、分散画像データ、パワー画像データ、又は、これらを組み合わせた画像データである。

ここで、収集機能２６２は、生成した超音波画像データに対する種々の処理を更に行なうこととしてもよい。例えば、収集機能２６２は、超音波プローブ２０１による超音波の走査形態に応じて座標変換を行うことで、表示用の超音波画像データを生成する。一例を挙げると、収集機能２６２は、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換（スキャンコンバート）することで、表示用の超音波画像データを生成する。また、例えば、収集機能２６２は、スキャンコンバート後の複数の画像フレームを用いて、輝度の平均値画像を再生成する画像処理（平滑化処理）や、画像内で微分フィルタを用いる画像処理（エッジ強調処理）等を行う。また、例えば、収集機能２６２は、超音波画像データに、種々のパラメータの文字情報、目盛り、ボディーマーク等を合成する。

また、例えば、処理回路２６０は、メモリ２５０から表示制御機能２６３に相当するプログラムを読み出して実行することにより、操作者から各種指示や各種設定等を受け付けるためのＧＵＩや、各種の画像データをディスプレイ２０３に表示させる。また、例えば、処理回路２６０は、メモリ２５０から送信機能２６４に相当するプログラムを読み出して実行することにより、超音波画像データをＸ線診断装置１０及び画像保管装置３０に送信する。

図３に示す超音波診断装置２０においては、各処理機能がコンピュータによって実行可能なプログラムの形態でメモリ２５０へ記憶されている。図３の各回路は、メモリ２５０からプログラムを読み出して実行することで、各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の各回路は、読み出したプログラムに対応する機能を有することとなる。

なお、図３においては、制御機能２６１、収集機能２６２、表示制御機能２６３及び送信機能２６４の各処理機能が単一の処理回路２６０によって実現される場合を示したが、実施形態はこれに限られるものではない。例えば、処理回路２６０は、複数の独立したプロセッサを組み合わせて構成され、各プロセッサが各プログラムを実行することにより、各処理機能を実現するものとしても構わない。また、処理回路２６０が有する各処理機能は、単一又は複数の回路に適宜に分散又は統合されて実現されてもよい。

次に、図４を用いて、医用情報処理装置４０について説明する。図４は、第１の実施形態に係る医用情報処理装置４０の構成の一例を示すブロック図である。図４に示すように、医用情報処理装置４０は、入力インターフェース４１と、ディスプレイ４２と、メモリ４３と、処理回路４４とを有する。なお、図４は、第１の実施形態に係る医用情報処理装置４０の構成例を示すブロック図である。

入力インターフェース４１は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路４４に出力する。例えば、入力インターフェース４１は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行なうタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インターフェース４１は、処理回路４４と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インターフェース４１は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、医用情報処理装置４０とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路４４へ出力する電気信号の処理回路も入力インターフェース４１の例に含まれる。

ディスプレイ４２は、各種の情報を表示する。例えば、ディスプレイ４２は、処理回路４４による制御の下、Ｘ線診断装置１０により収集されたＸ線画像データや、超音波診断装置２０により収集された超音波画像データを表示する。また、ディスプレイ４２は、入力インターフェース４１を介して操作者から各種指示や各種設定等を受け付けるためのＧＵＩを表示する。例えば、ディスプレイ４２は、液晶ディスプレイやＣＲＴディスプレイである。ディスプレイ４２は、デスクトップ型でもよいし、処理回路４４と無線通信可能なタブレット端末等で構成されることにしても構わない。

メモリ４３は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、メモリ４３は、Ｘ線診断装置１０又は画像保管装置３０から取得したＸ線画像データを記憶する。また、例えば、メモリ４３は、医用情報処理装置４０に含まれる回路がその機能を実現するためのプログラムを記憶する。なお、メモリ４３は、医用情報処理装置４０とネットワークＮＷを介して接続されたサーバ群（クラウド）により実現されることとしてもよい。

処理回路４４は、制御機能４４ａ、受信機能４４ｂ、第１の特定機能４４ｃ、第２の特定機能４４ｄ、送信機能４４ｅ及び表示制御機能４４ｆを実行することで、医用情報処理装置４０全体の動作を制御する。ここで、第１の特定機能４４ｃは、第１の特定部の一例である。また、第２の特定機能４４ｄは、第２の特定部の一例である。

例えば、処理回路４４は、メモリ４３から制御機能４４ａに相当するプログラムを読み出して実行することにより、入力インターフェース４１を介して操作者から受け付けた入力操作に基づいて、処理回路４４の各種機能を制御する。また、例えば、処理回路４４は、メモリ４３から受信機能４４ｂに相当するプログラムを読み出して実行することにより、Ｘ線診断装置１０から、超音波プローブ２０１を撮像したＸ線画像データを受信する。

また、例えば、処理回路４４は、メモリ４３から第１の特定機能４４ｃに相当するプログラムを読み出して実行することにより、超音波プローブ２０１の位置を特定する。また、例えば、処理回路４４は、メモリ４３から第２の特定機能４４ｄに相当するプログラムを読み出して実行することにより、超音波プローブ２０１の向きを特定する。なお、超音波プローブ２０１の位置及び向きの特定については後述する。

また、例えば、処理回路４４は、メモリ４３から送信機能４４ｅに相当するプログラムを読み出して実行することにより、超音波プローブ２０１の位置及び向きをＸ線診断装置１０に送信する。また、例えば、処理回路４４は、メモリ４３から表示制御機能４４ｆに相当するプログラムを読み出して実行することにより、操作者から各種指示や各種設定等を受け付けるためのＧＵＩや、各種の画像データをディスプレイ４２に表示させる。

図４に示す医用情報処理装置４０においては、各処理機能がコンピュータによって実行可能なプログラムの形態でメモリ４３へ記憶されている。処理回路４４は、メモリ４３からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路４４は、読み出したプログラムに対応する機能を有することとなる。

なお、図４においては単一の処理回路４４にて、制御機能４４ａ、受信機能４４ｂ、第１の特定機能４４ｃ、第２の特定機能４４ｄ、送信機能４４ｅ及び表示制御機能４４ｆが実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路４４を構成し、各プロセッサが各プログラムを実行することにより各処理機能を実現するものとしても構わない。また、処理回路４４が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）、あるいは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは、メモリ１０７、メモリ２５０又はメモリ４３に保存されたプログラムを読み出し実行することで機能を実現する。

なお、図２、図３及び図４においては、単一のメモリ１０７、メモリ２５０又はメモリ４３が各処理機能に対応するプログラムを記憶するものとして説明した。しかしながら、複数のメモリ１０７を分散して配置し、処理回路１１０は、個別のメモリ４３から対応するプログラムを読み出す構成としても構わない。同様に、複数のメモリ２５０を分散して配置し、処理回路２６０は、個別のメモリ２５０から対応するプログラムを読み出す構成としても構わない。同様に、複数のメモリ４３を分散して配置し、処理回路４４は、個別のメモリ４３から対応するプログラムを読み出す構成としても構わない。また、メモリ１０７、メモリ２５０又はメモリ４３にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。

また、処理回路１１０、処理回路２６０及び処理回路４４は、ネットワークＮＷを介して接続された外部装置のプロセッサを利用して、機能を実現することとしてもよい。例えば、処理回路４４は、メモリ４３から各機能に対応するプログラムを読み出して実行するとともに、医用情報処理装置４０とネットワークＮＷを介して接続されたサーバ群（クラウド）を計算資源として利用することにより、図４に示す各機能を実現する。

以上、医用情報処理システム１の構成の一例について説明した。かかる構成の下、医用情報処理システム１における医用情報処理装置４０は、超音波プローブ２０１の位置及び向きを特定し、Ｘ線画像データと超音波画像データとの位置合わせを可能とする。以下、第１の実施形態に係る医用情報処理装置４０が行なう処理について詳細に説明する。

例えば、医用情報処理装置４０は、図５に示すように、Ｘ線診断装置１０において生成されたＸ線画像データＩ１１を受信し、受信したＸ線画像データＩ１１を用いて超音波プローブ２０１の位置及び向きを特定し、特定した位置及び向きをＸ線診断装置１０に送信する。ここで、図５は、第１の実施形態に係る医用情報処理システム１の処理の一連の流れを説明するためのフローチャートである。

具体的には、まず、Ｘ線診断装置１０における収集機能１１０ｂは、ＴＥＥプローブである超音波プローブ２０１が挿入された被検体Ｐに対して、Ｘ線管１０２からＸ線を照射する（ステップＳ１１）。この際、収集機能１１０ｂは、Ｘ線診断装置１０の撮像部を制御することによって、超音波プローブ２０１が撮像領域に含まれるようにＸ線の照射範囲及び照射角度を制御する。また、この際、Ｘ線検出器１０６は、Ｘ線管１０２から照射されて被検体Ｐを透過したＸ線を検出して、検出したＸ線量に対応した検出信号を処理回路１１０へと出力する。

次に、収集機能１１０ｂは、Ｘ線検出器１０６から受信した検出信号に基づいてＸ線画像データＩ１１を生成し、生成したＸ線画像データＩ１１をメモリ１０７に格納する（ステップＳ１２）。次に、Ｘ線診断装置１０における送信機能１１０ｃは、図５に示すように、生成されたＸ線画像データＩ１１を医用情報処理装置４０に対して送信する（ステップＳ１３）。

図５に示すように、医用情報処理装置４０における受信機能４４ｂは、Ｘ線診断装置１０から送信されたＸ線画像データＩ１１を受信し、受信したＸ線画像データＩ１１をメモリ４３に格納する（ステップＳ１４）。次に、医用情報処理装置４０における第１の特定機能４４ｃ及び第２の特定機能４４ｄは、超音波プローブ２０１の位置及び向きを特定する（ステップＳ１５）。次に、医用情報処理装置４０における送信機能４４ｅは、超音波プローブ２０１の位置及び向きをＸ線診断装置１０に対して送信する（ステップＳ１６）。

ここで、医用情報処理装置４０における処理について、図６を用いてより詳細に説明する。図６は、第１の実施形態に係る医用情報処理装置４０の処理の一連の流れを説明するためのフローチャートである。

図６において、ステップＳ１０１は、受信機能４４ｂに対応するステップである。また、ステップＳ１０２及びステップＳ１０３は、第１の特定機能４４ｃに対応するステップである。また、ステップＳ１０４及びステップＳ１０５は、第２の特定機能４４ｄに対応するステップである。また、ステップＳ１０６は、送信機能４４ｅに対応するステップである。

まず、受信機能４４ｂは、Ｘ線診断装置１０からＸ線画像データＩ１１を受信したか否かを判定する（ステップＳ１０１）。Ｘ線画像データＩ１１を受信した場合（ステップＳ１０１肯定）、受信機能４４ｂは、受信したＸ線画像データＩ１１をメモリ４３に格納する。

ここで、Ｘ線画像データＩ１１は、図７に示すように、超音波プローブ２０１を含む２次元のＸ線画像データである。超音波プローブ２０１は、通常、図７に示すように、ケーブルと接続された状態で使用される。また、超音波プローブ２０１及びケーブルは、通常、被検体Ｐよりも暗く描出される。即ち、超音波プローブ２０１及びケーブルは、図７に示すように、Ｘ線画像データＩ１１において被検体Ｐよりも小さい画素値で描出される。なお、図７は、第１の実施形態に係る超音波プローブ２０１の位置の特定について説明するための図である。

次に、第１の特定機能４４ｃは、メモリ４３に格納されたＸ線画像データＩ１１を読み出し、Ｘ線画像データＩ１１に基づいて超音波プローブ２０１の位置を特定する。具体的には、第１の特定機能４４ｃは、Ｘ線画像データＩ１１に対する２値化処理を実行して、図７に示す画像データＩ２１を生成する（ステップＳ１０２）。より具体的には、第１の特定機能４４ｃは、Ｘ線画像データＩ１１の各画素について、画素値が閾値を超える場合には白、画素値が閾値を超えない場合には黒に変換することで、画像データＩ２１を生成する。なお、画像データＩ２１は、２値化画像の一例である。

例えば、第１の特定機能４４ｃは、２値化処理における閾値を、超音波プローブ２０１及びケーブルに相当する画素の画素値のうちの最大値に設定する。そして、第１の特定機能４４ｃは、Ｘ線画像データＩ１１の各画素について、画素値が閾値より大きい画素は白、画素値が閾値以下である画素は黒に変換する。これにより、第１の特定機能４４ｃは、超音波プローブ２０１及びケーブルに相当する画素を黒で表し、他の画素を白で表した画像データＩ２１を生成する。

次に、第１の特定機能４４ｃは、図７に示す図形データＧ１を用いて、超音波プローブ２０１の位置を特定する（ステップＳ１０３）。具体的には、第１の特定機能４４ｃは、図形データＧ１と画像データＩ２１とをマッチングすることにより、超音波プローブ２０１のＸ線画像データＩ１１上での位置を特定する。ここで、図形データＧ１は、超音波プローブ２０１に類似した形状の図形であり、例えば、メモリ４３に事前に記憶される。なお、図形データＧ１は、所定の図形の一例である。

一例を挙げると、第１の特定機能４４ｃは、画像データＩ２１において、図形データＧ１に類似するパターンの位置を検索することにより、超音波プローブ２０１の画像データＩ２１上での位置を特定する。ここで、画像データＩ２１はＸ線画像データＩ１１を２値化したものであり、Ｘ線画像データＩ１１上での位置と画像データＩ２１上での位置との対応関係は明らかである。従って、第１の特定機能４４ｃは、超音波プローブ２０１の画像データＩ２１上での位置を特定することにより、超音波プローブ２０１のＸ線画像データＩ１１上での位置を特定することができる。

次に、第２の特定機能４４ｄは、第１の特定機能４４ｃにより特定された超音波プローブ２０１の画像データＩ２１上での位置に基づいて、図７に示す特定領域Ｒ１を切り出す（ステップＳ１０４）。即ち、第２の特定機能４４ｄは、画像データＩ２１のうち、超音波プローブ２０１の位置を含む特定領域Ｒ１を切り出す。なお、図７においては特定領域Ｒ１を矩形で示すが、特定領域Ｒ１の形状は任意である。

次に、第２の特定機能４４ｄは、超音波プローブ２０１の構造を示す３次元データＭ１を用いて、特定領域Ｒ１において超音波プローブ２０１の向きを特定する（ステップＳ１０５）。具体的には、第２の特定機能４４ｄは、３次元データＭ１と特定領域Ｒ１とをマッチングすることにより、特定領域Ｒ１における超音波プローブ２０１の向きを特定する。

例えば、第２の特定機能４４ｄは、まず、３次元データＭ１を回転させながら、３次元データＭ１と特定領域Ｒ１とを比較する。一例を挙げると、第２の特定機能４４ｄは、３次元データＭ１に対して複数の投影方向からレンダリング処理を実行することで、複数のレンダリング画像を生成する。そして、第２の特定機能４４ｄは、複数のレンダリング画像と特定領域Ｒ１とでパターンを比較し、パターンが類似するレンダリング画像の投影方向を、特定領域Ｒ１における超音波プローブ２０１の向きとして特定する。ここで、３次元データＭ１は超音波プローブ２０１のモデルデータであり、例えば、メモリ４３に事前に記憶される。３次元データＭ１は、超音波プローブ２０１の設計情報（ＣＡＤ（computer-aided design）データ等）であってもよいし、超音波プローブ２０１を光学カメラ等により複数方向から撮影してモデリングしたものであってもよい。或いは、３次元データＭ１は、超音波プローブ２０１をＸ線診断装置１０等の医用画像診断装置により複数方向から撮影してモデリングしたものであってもよい。なお、３次元データＭ１は、超音波プローブ２０１の構造を示す３次元データの一例である。

次に、送信機能４４ｅは、第１の特定機能４４ｃにより特定された超音波プローブ２０１の位置、及び、第２の特定機能４４ｄにより特定された超音波プローブ２０１の向きをＸ線診断装置１０に対して送信する（ステップＳ１０６）。その後、処理回路４４は、再度ステップＳ１０１に移行し、Ｘ線診断装置１０から更にＸ線画像データＩ１１を受信したか否かを判定する。即ち、収集機能１１０ｂがＸ線画像データＩ１１を時系列的に収集する場合、第１の特定機能４４ｃ及び第２の特定機能４４ｄは、時系列のＸ線画像データＩ１１のそれぞれについて超音波プローブ２０１の位置及び向きを順次特定する。ここで、Ｘ線診断装置１０からＸ線画像データＩ１１を受信しない場合（ステップＳ１０１否定）、処理回路４４は、処理を終了する。

なお、図６及び図７では、所定の図形として図形データＧ１について説明したが、実施形態はこれに限定されるものではない。例えば、第１の特定機能４４ｃは、楕円形状の図形データＧ１に代えて、他の形状の図形（例えば、棒状の図形）を用いてもよい。即ち、第１の特定機能４４ｃは、超音波プローブ２０１に類似した形状の所定の図形と、画像データＩ２１とをマッチングすることにより、超音波プローブ２０１の位置を特定する。また、所定の図形をメモリ４３が複数記憶する場合、第１の特定機能４４ｃは、超音波プローブ２０１の種類等に応じて選択した所定の図形と、画像データＩ２１とをマッチングすることにより、超音波プローブ２０１の位置を特定することとしてもよい。

また、図６及び図７では、所定の図形と、Ｘ線画像データＩ１１に基づく画像データＩ２１（２値化画像）とをマッチングすることにより、超音波プローブ２０１のＸ線画像データＩ１１上での位置を特定する場合について説明したが、実施形態はこれに限定されるものではない。例えば、第１の特定機能４４ｃは、所定の図形とＸ線画像データＩ１１とをマッチングすることにより、超音波プローブ２０１のＸ線画像データＩ１１上での位置を特定してもよい。

また、図６及び図７では、３次元データＭ１と、画像データＩ２１（２値化画像）から切り出した特定領域Ｒ１とをマッチングすることにより、超音波プローブ２０１のＸ線画像データＩ１１上での向きを特定する場合について説明したが、実施形態はこれに限定されるものではない。例えば、第１の特定機能４４ｃは、Ｘ線画像データＩ１１から超音波プローブ２０１の位置を含む領域を切り出し、切り出した領域と３次元データＭ１とをマッチングすることにより、超音波プローブ２０１のＸ線画像データＩ１１上での向きを特定してもよい。

図５の説明に戻る。Ｘ線診断装置１０における受信機能１１０ｄは、医用情報処理装置４０から送信された超音波プローブ２０１の位置及び向きを受信し、メモリ１０７に格納する（ステップＳ１７）。また、受信機能１１０ｄは、超音波診断装置２０から、超音波プローブ２０１を用いて撮像された超音波画像データＩ３１を受信し、メモリ１０７に格納する。なお、超音波画像データＩ３１は、ステップＳ１１と略同時に行われた超音波走査に基づく超音波画像データである。即ち、Ｘ線画像データＩ１１と超音波画像データＩ３１とは、略同時に撮像された画像データである。

そして、表示制御機能１１０ｅは、超音波プローブ２０１の位置及び向きに応じて、超音波プローブ２０１を用いて撮像された超音波画像データＩ３１をＸ線画像データＩ１１上に表示させる（ステップＳ１８）。例えば、表示制御機能１１０ｅは、図８に示すように、Ｘ線画像データＩ１１をディスプレイ１０８に表示させ、超音波画像データＩ３１をＸ線画像データＩ１１上に表示させる。なお、図８は、第１の実施形態に係るＸ線画像データ及び超音波画像データの表示の一例を示す図である。

具体的には、表示制御機能１１０ｅは、Ｘ線画像データＩ１１上で特定された超音波プローブ２０１の位置及び向きに基づいて、Ｘ線画像データＩ１１が撮像された撮像空間における座標系（Ｘ線座標系）と、超音波画像データＩ３１が撮像された撮像空間における座標系（超音波座標系）とを関連付ける。これにより、表示制御機能１１０ｅは、Ｘ線画像データＩ１１に対する超音波画像データＩ３１の位置及び向きを特定し、特定した位置及び向きで、超音波画像データＩ３１をＸ線画像データＩ１１上に表示させる。

なお、収集機能１１０ｂがＸ線画像データＩ１１を時系列的に収集する場合、表示制御機能１１０ｅは、収集されたＸ線画像データＩ１１を順次表示させる。同様に、収集機能２６２が超音波画像データＩ３１を時系列的に収集する場合、表示制御機能１１０ｅは、収集された超音波画像データＩ３１を順次表示させる。即ち、表示制御機能１１０ｅは、超音波プローブ２０１の位置及び向きに応じてＸ線画像データＩ１１と超音波画像データＩ３１とを位置合わせしつつ、Ｘ線画像データＩ１１及び超音波画像データＩ３１をリアルタイム表示する。

また、図８においては、超音波画像データＩ３１をＸ線画像データＩ１１上に表示させる場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、表示制御機能１１０ｅは、超音波画像データＩ３１に代えて、超音波プローブ２０１の撮像領域を表示させる場合であってもよい。一例を挙げると、表示制御機能１１０ｅは、Ｘ線画像データＩ１１をディスプレイ１０８に表示させ、超音波プローブ２０１の位置及び向きに応じて、超音波プローブ２０１の撮像領域を示す輪郭線をＸ線画像データＩ１１上に表示させる。

また、図５においては、Ｘ線診断装置１０における表示制御機能１１０ｅが、超音波プローブ２０１の位置及び向きに応じて、Ｘ線画像データＩ１１上に超音波画像データＩ３１を表示させる場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、医用情報処理装置４０における表示制御機能４４ｆが、超音波プローブ２０１の位置及び向きに応じて、Ｘ線画像データＩ１１上に超音波画像データＩ３１又は超音波プローブ２０１の撮像領域を表示させる場合であってもよい。

具体的には、医用情報処理装置４０における受信機能４４ｂは、Ｘ線診断装置１０からＸ線画像データＩ１１を受信し、メモリ４３に格納する。また、受信機能４４ｂは、超音波診断装置２０から超音波画像データＩ３１を受信し、メモリ４３に格納する。また、第１の特定機能４４ｃは、所定の図形（図形データＧ１等）と、Ｘ線画像データＩ１１又は画像データＩ２１とをマッチングすることにより、超音波プローブ２０１のＸ線画像データＩ１１上での位置を特定する。また、第２の特定機能４４ｄは、３次元データＭ１とＸ線画像データＩ１１とに基づいて、第１の特定機能４４ｃによって特定された位置における超音波プローブ２０１の向きを特定する。そして、表示制御機能４４ｆは、超音波プローブ２０１の位置及び向きに応じて、Ｘ線画像データＩ１１上に超音波画像データＩ３１又は超音波プローブ２０１の撮像領域を表示させる。一例を挙げると、表示制御機能４４ｆは、Ｘ線画像データＩ１１をディスプレイ４２に表示させ、超音波プローブ２０１の位置及び向きに応じて、超音波画像データＩ３１又は超音波プローブ２０１の撮像領域をＸ線画像データＩ１１上に表示させる。

上述したように、第１の実施形態によれば、第１の特定機能４４ｃは、所定の図形とＸ線画像データＩ１１とをマッチングすることにより、超音波プローブ２０１のＸ線画像データＩ１１上での位置を特定する。また、第２の特定機能４４ｄは、３次元データＭ１とＸ線画像データＩ１１とに基づいて、第１の特定機能４４ｃによって特定された位置における超音波プローブ２０１の向きを特定する。従って、第１の実施形態に係る医用情報処理装置４０は、Ｘ線画像データＩ１１と、超音波プローブ２０１を用いて撮像された超音波画像データＩ３１との位置合わせを可能とすることができる。

また、医用情報処理装置４０は、超音波プローブ２０１の位置の特定と、超音波プローブ２０１の向きの特定とを切り離して実行することにより、計算量を低減して処理時間を短縮することができる。例えば、３次元データＭ１を用いて超音波プローブ２０１の位置及び向きを特定する場合には、３次元データＭ１に基づいて生成した複数のレンダリング画像を用いたパターンマッチングを、Ｘ線画像データＩ１１上の各位置において実行する必要がある。即ち、３次元データＭ１を用いて超音波プローブ２０１の位置及び向きを特定する場合、位置と向きとの２つの自由度があるため、位置と向きとを繰り返し検出する必要があり、計算量が増大する。これに対し、医用情報処理装置４０は、超音波プローブ２０１の位置を特定した後、特定した位置における超音波プローブ２０１の向きを特定することにより、処理ごとの自由度を１つとして、計算量を低減することができる。

また、医用情報処理装置４０は、超音波プローブ２０１が小型であり、形状特徴が少ない場合であっても、超音波プローブ２０１の位置及び向きを特定することができる。例えば、３次元データＭ１を用いて超音波プローブ２０１の位置及び向きを特定する場合、位置と向きとの２つの自由度があるため、位置と向きとを繰り返し検出して精度を上げる必要がある。この場合、計算量の制約に起因して精度にも限界が生じるため、超音波プローブ２０１が小型である場合、超音波プローブ２０１の位置及び向きを特定できない場合がある。これに対し、医用情報処理装置４０は、超音波プローブ２０１の位置を特定した後、特定した位置における超音波プローブ２０１の向きを特定することによって、計算量を低減することができる。即ち、医用情報処理装置４０は、超音波プローブ２０１の位置の特定と、超音波プローブ２０１の向きの特定とを切り離して、それぞれをより高い精度で実行することができる。従って、医用情報処理装置４０は、超音波プローブ２０１が小型であり、形状特徴が少ない場合においても、超音波プローブ２０１の位置及び向きを特定することができる。

（第２の実施形態）
上述した第１の実施形態では、所定の図形と、Ｘ線画像データＩ１１又は画像データＩ２１とをマッチングすることにより、超音波プローブ２０１のＸ線画像データＩ１１上での位置を特定する場合について説明した。これに対し、第２の実施形態では、Ｘ線画像データＩ１２上で超音波プローブ２０１に対応する点又は領域を指定する操作を受け付け、Ｘ線画像データＩ１２の後に撮像された複数のＸ線画像データにおいて、指定された点又は領域を追跡することにより、超音波プローブ２０１の複数のＸ線画像データ上での位置を特定する場合について説明する。

第２の実施形態に係る医用情報処理装置４０は、図４に示した第１の実施形態に係る医用情報処理装置４０と同様の構成を有し、第１の特定機能４４ｃ及び第２の特定機能４４ｄにおける処理の一部が相違する。第１の実施形態において説明した構成と同様の構成を有する点については、図１～図４と同一の符号を付し、説明を省略する。

まず、Ｘ線診断装置１０は、Ｘ線画像データＩ１２を含む複数のＸ線画像データを時系列的に撮像する。例えば、収集機能１１０ｂは、超音波プローブ２０１が挿入された被検体Ｐに対してＸ線パルスを繰り返し照射させる。この際、Ｘ線検出器１０６は、各Ｘ線パルスを検出して、検出信号を処理回路１１０へと出力する。そして、収集機能１１０ｂは、Ｘ線検出器１０６から出力された検出信号に基づいて、Ｘ線パルスごとにＸ線画像データを生成する。また、送信機能１１０ｃは、Ｘ線画像データが撮像されるごとに、Ｘ線画像データを医用情報処理装置４０に対して順次送信する。

以下では、Ｘ線画像データＩ１２が撮像された後、Ｘ線画像データＩ１ｍからＸ線画像データＩ１ｎまでの複数のＸ線画像データが時系列的に撮像される場合について説明する。即ち、以下では、所定のＸ線パルス（最初のＸ線パルス等）に基づいてＸ線画像データＩ１２が生成され、所定のＸ線パルスの後に照射される複数のＸ線パルスに基づいて、Ｘ線画像データＩ１ｍからＸ線画像データＩ１ｎまでの複数のＸ線画像データが時系列的に生成される場合について説明する。

また、以下では、図９を用いて、医用情報処理装置４０における処理について説明する。図９は、第２の実施形態に係る医用情報処理装置４０の処理の一連の流れを説明するためのフローチャートである。図９において、ステップＳ２０１は、受信機能４４ｂに対応するステップである。また、ステップＳ２０２、ステップＳ２０３、ステップＳ２０４、ステップＳ２０５、ステップＳ２０６及びステップＳ２０７は、第１の特定機能４４ｃに対応するステップである。また、ステップＳ２０８及びステップＳ２０９は、第２の特定機能４４ｄに対応するステップである。また、ステップＳ２１０は、送信機能４４ｅに対応するステップである。

まず、受信機能４４ｂは、Ｘ線診断装置１０からＸ線画像データを受信したか否かを判定する（ステップＳ２０１）。Ｘ線画像データを受信した場合（ステップＳ２０１肯定）、受信機能４４ｂは、受信したＸ線画像データをメモリ４３に格納する。次に、第１の特定機能４４ｃは、後述のテンプレートＴ１を生成済みであるか否かを判定する（ステップＳ２０２）。

テンプレートＴ１を生成済みでない場合（ステップＳ２０２否定）、第１の特定機能４４ｃは、ステップＳ２０３に移行する。一方で、テンプレートＴ１を生成済みである場合（ステップＳ２０２肯定）、第１の特定機能４４ｃは、ステップＳ２０６に移行する。ここで、テンプレートＴ１は、後述する指定領域Ｒ２の指定操作を受け付けたＸ線画像データから生成される画像データである。以下では一例として、Ｘ線画像データＩ１２に基づいてテンプレートＴ１が生成される場合について説明する。この場合、第１の特定機能４４ｃは、ステップＳ２０１において受信したＸ線画像データがＸ線画像データＩ１２である場合にはステップＳ２０３に移行し、ステップＳ２０１において受信したＸ線画像データがＸ線画像データＩ１ｍ・・・Ｘ線画像データＩ１ｎのうちのいずれかである場合にはステップＳ２０６に移行する。

ステップＳ２０２においてテンプレートＴ１を生成済みでないと判定した場合、第１の特定機能４４ｃは、ステップＳ２０１において受信したＸ線画像データ（Ｘ線画像データＩ１２）において、超音波プローブ２０１に対応する領域（指定領域Ｒ２）の指定操作を受け付ける（ステップＳ２０３）。これにより、第１の特定機能４４ｃは、超音波プローブ２０１のＸ線画像データＩ１２上での位置を特定する。

例えば、表示制御機能４４ｆは、ディスプレイ４２にＸ線画像データＩ１２を表示させ、第１の特定機能４４ｃは、Ｘ線画像データＩ１２を参照した操作者から、入力インターフェース４１を介して指定領域Ｒ２の指定操作を受け付ける。一例を挙げると、操作者はマウスを操作して、超音波プローブ２０１に対応する領域の中心位置においてクリック操作を行なう。そして、第１の特定機能４４ｃは、クリックされた位置を中心とする領域であって、所定の形状及び大きさを有する領域を指定領域Ｒ２として受け付ける。

次に、第１の特定機能４４ｃは、Ｘ線画像データＩ１２の指定領域Ｒ２を切り出す（ステップＳ２０４）。また、第１の特定機能４４ｃは、Ｘ線画像データＩ１２から切り出した指定領域Ｒ２に対する２値化処理により、テンプレートＴ１を生成する。即ち、テンプレートＴ１は、Ｘ線画像データＩ１２に描出された超音波プローブ２０１を２諧調で表した画像データである。

一方で、ステップＳ２０２においてテンプレートＴ１を生成済みであると判定した場合、第１の特定機能４４ｃは、ステップＳ２０１において受信したＸ線画像データ（Ｘ線画像データＩ１ｍ・・・Ｘ線画像データＩ１ｎ）に対する２値化処理を実行して画像データを生成する。例えば、ステップＳ２０１においてＸ線画像データＩ１ｍを受信した場合、第１の特定機能４４ｃは、Ｘ線画像データＩ１ｍに対する２値化処理を実行して、画像データＩ２ｍを生成する。

次に、第１の特定機能４４ｃは、テンプレートＴ１を用いて、超音波プローブ２０１の位置を特定する（ステップＳ２０７）。例えば、ステップＳ２０１においてＸ線画像データＩ１ｍを受信した場合、第１の特定機能４４ｃは、テンプレートＴ１と画像データＩ２ｍとをマッチングすることにより、超音波プローブ２０１のＸ線画像データＩ１ｍ上での位置を特定する。一例を挙げると、第１の特定機能４４ｃは、画像データＩ２ｍにおいてテンプレートＴ１に類似するパターンの位置を検索することにより、超音波プローブ２０１のＸ線画像データＩ１ｍ上での位置を特定する。

上述したように、第１の特定機能４４ｃは、Ｘ線画像データＩ１２については、Ｘ線画像データＩ１２上で超音波プローブ２０１に対応する指定領域Ｒ２を指定する操作を受け付けることにより、超音波プローブ２０１の位置を特定する。また、第１の特定機能４４ｃは、Ｘ線画像データＩ１２の後に撮像された複数のＸ線画像データ（Ｘ線画像データＩ１ｍ・・・Ｘ線画像データＩ１ｎ）については、指定領域Ｒ２に基づくテンプレートＴ１とのマッチングにより、超音波プローブ２０１の位置を特定する。即ち、第１の特定機能４４ｃは、Ｘ線画像データＩ１２の後に撮像された複数のＸ線画像データ（Ｘ線画像データＩ１ｍ・・・Ｘ線画像データＩ１ｎ）については、Ｘ線画像データＩ１２上で指定された指定領域Ｒ２を追跡することにより、超音波プローブ２０１の位置を特定する。

次に、第２の特定機能４４ｄは、特定領域Ｒ１を切り出す（ステップＳ２０８）。例えば、第２の特定機能４４ｄは、Ｘ線画像データＩ１２に対する２値化処理によって画像データＩ２２を生成し、画像データＩ２２から、超音波プローブ２０１の位置を含む特定領域Ｒ１を切り出す。なお、第２の特定機能４４ｄは、指定領域Ｒ２を特定領域Ｒ１として用いることとしてもよい。また、例えば、第２の特定機能４４ｄは、ステップＳ２０６において生成された画像データから、超音波プローブ２０１の位置を含む特定領域Ｒ１を切り出す。

次に、第２の特定機能４４ｄは、超音波プローブ２０１の構造を示す３次元データＭ１を用いて、特定領域Ｒ１における超音波プローブ２０１の向きを特定する（ステップＳ２０９）。具体的には、第２の特定機能４４ｄは、３次元データＭ１と特定領域Ｒ１とをマッチングすることにより、特定領域Ｒ１における超音波プローブ２０１の向きを特定する。そして、送信機能４４ｅは、第１の特定機能４４ｃにより特定された超音波プローブ２０１の位置、及び、第２の特定機能４４ｄにより特定された超音波プローブ２０１の向きをＸ線診断装置１０に対して送信する（ステップＳ２１０）。その後、処理回路４４は、再度ステップＳ２０１に移行し、Ｘ線診断装置１０から更にＸ線画像データを受信したか否かを判定する。ここで、Ｘ線診断装置１０からＸ線画像データを受信しない場合（ステップＳ２０１否定）、処理回路４４は、処理を終了する。

Ｘ線診断装置１０における受信機能１１０ｄは、医用情報処理装置４０から送信された超音波プローブ２０１の位置及び向きを受信し、メモリ１０７に格納する。また、受信機能１１０ｄは、超音波診断装置２０から、超音波プローブ２０１を用いて撮像された超音波画像データを受信し、メモリ１０７に格納する。そして、表示制御機能１１０ｅは、超音波プローブ２０１の位置及び向きに応じて、超音波プローブ２０１を用いて撮像された超音波画像データをＸ線画像データ上に表示させる。ここで、表示制御機能１１０ｅは、時系列的に収集されたＸ線画像データ及び超音波画像データを順次表示させる。即ち、表示制御機能１１０ｅは、超音波プローブ２０１の位置及び向きに応じてＸ線画像データと超音波画像データとを位置合わせしつつ、Ｘ線画像データ及び超音波画像データをリアルタイム表示する。

或いは、表示制御機能１１０ｅは、超音波プローブ２０１の位置及び向きに応じて、超音波プローブ２０１の撮像領域をＸ線画像データ上に表示させる。或いは、医用情報処理装置４０における表示制御機能４４ｆが、超音波プローブ２０１の位置及び向きに応じて、Ｘ線画像データ上に超音波画像データ又は超音波プローブ２０１の撮像領域を表示させる場合であってもよい。

なお、図９においては、Ｘ線画像データＩ１２上で、超音波プローブ２０１に対応する領域（指定領域Ｒ２）を指定する操作を受け付ける場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、第１の特定機能４４ｃは、Ｘ線画像データＩ１２上で、超音波プローブ２０１に対応する１又は複数の点（指定点）を指定する操作を受け付ける場合であってもよい。

この場合、第１の特定機能４４ｃは、Ｘ線画像データＩ１２の後に撮像された複数のＸ線画像データ（Ｘ線画像データＩ１ｍ・・・Ｘ線画像データＩ１ｎ）において、指定点を追跡することにより、超音波プローブ２０１の複数のＸ線画像データ上での位置を特定する。例えば、第１の特定機能４４ｃは、Ｘ線画像データＩ１２において、指定点に対応する画素の画素値や周辺画素との画素値の差を、指定点の特徴情報として取得する。そして、第１の特定機能４４ｃは、複数のＸ線画像データ（Ｘ線画像データＩ１ｍ・・・Ｘ線画像データＩ１ｎ）において、同様の特徴情報を有する画素の位置を特定することにより、超音波プローブ２０１の複数のＸ線画像データ上での位置を特定する。

上述したように、第２の実施形態によれば、第１の特定機能４４ｃは、Ｘ線画像データＩ１２上で超音波プローブ２０１に対応する点又は領域を指定する操作を受け付け、Ｘ線画像データＩ１２の後に撮像された複数のＸ線画像データ（Ｘ線画像データＩ１ｍ・・・Ｘ線画像データＩ１ｎ）において、指定された点又は領域を追跡することにより、超音波プローブ２０１の複数のＸ線画像データ上での位置を特定する。従って、第２の実施形態に係る医用情報処理装置４０は、Ｘ線画像データと、超音波プローブ２０１を用いて撮像された超音波画像データとの位置合わせを可能とすることができる。

また、医用情報処理装置４０は、超音波プローブ２０１の位置の特定と超音波プローブ２０１の向きの特定とを切り離して実行することにより、計算量を低減して処理時間を短縮することができる。また、医用情報処理装置４０は、超音波プローブ２０１の位置の特定と超音波プローブ２０１の向きの特定とを切り離して、それぞれをより高い精度で実行することにより、超音波プローブ２０１が小型であり、形状特徴が少ない場合においても、超音波プローブ２０１の位置及び向きを特定することができる。

なお、これまで、３次元データＭ１を用いて超音波プローブ２０１の向きを特定する場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、第１の特定機能４４ｃ及び第２の特定機能４４ｄは、Ｘ線画像データＩ１２の後に撮像された複数のＸ線画像データ（Ｘ線画像データＩ１ｍ・・・Ｘ線画像データＩ１ｎ）において、指定された点又は領域を追跡することにより、超音波プローブ２０１の複数のＸ線画像データ上での位置及び向きを特定する場合であってもよい。

具体的には、まず、第１の特定機能４４ｃは、Ｘ線画像データＩ１２上で、超音波プローブ２０１に対応する点（指定点）を少なくとも３つ指定する操作を受け付ける。次に、第１の特定機能４４ｃは、複数のＸ線画像データ（Ｘ線画像データＩ１ｍ・・・Ｘ線画像データＩ１ｎ）において、少なくとも３つの指定点を追跡する。これにより、第１の特定機能４４ｃは、複数のＸ線画像データにおいて、超音波プローブ２０１の位置を特定する。更に、第２の特定機能４４ｄは、少なくとも３つの指定点の相対的な位置関係に基づいて、第１の特定機能４４ｃによって特定された位置における超音波プローブ２０１の向きを特定する。

（第３の実施形態）
上述した第１～第２の実施形態では、超音波プローブ２０１を撮像した２次元のＸ線画像データを用いて、超音波プローブ２０１のＸ線画像データ上での位置を特定する場合について説明した。これに対し、第３の実施形態では、超音波プローブ２０１を撮像した２次元のＸ線画像データを用いずに、超音波プローブ２０１の位置を特定する場合について説明する。

第３の実施形態に係る医用情報処理装置４０は、図４に示した第１の実施形態に係る医用情報処理装置４０と同様の構成を有し、第１の特定機能４４ｃ及び第２の特定機能４４ｄにおける処理の一部が相違する。第１の実施形態において説明した構成と同様の構成を有する点については、図１～図４と同一の符号を付し、説明を省略する。

例えば、医用情報処理装置４０は、図１０に示すように、Ｘ線診断装置１０からの通知に応じて超音波プローブ２０１の位置及び向きを特定し、特定した位置及び向きをＸ線診断装置１０に送信する。ここで、図１０は、第３の実施形態に係る医用情報処理システム１の処理の一連の流れを説明するためのフローチャートである。

具体的には、まず、Ｘ線診断装置１０における収集機能１１０ｂは、ＴＥＥプローブである超音波プローブ２０１が挿入された被検体Ｐに対して、Ｘ線管１０２からＸ線を照射する（ステップＳ２１）。この際、収集機能１１０ｂは、Ｘ線診断装置１０の撮像部を制御することによって、超音波プローブ２０１が撮像領域に含まれるようにＸ線の照射範囲及び照射角度を制御する。また、この際、Ｘ線検出器１０６は、Ｘ線管１０２から照射されて被検体Ｐを透過したＸ線を検出して、検出したＸ線量に対応した検出信号を処理回路１１０へと出力する。

また、Ｘ線診断装置１０における送信機能１１０ｃは、医用情報処理装置４０への通知を行なう。例えば、送信機能１１０ｃは、Ｘ線が照射された時刻を医用情報処理装置４０に通知する。即ち、送信機能１１０ｃは、Ｘ線画像データＩ１１の撮像時間を医用情報処理装置４０に通知する。また、医用情報処理装置４０における第１の特定機能４４ｃ及び第２の特定機能４４ｄは、Ｘ線診断装置１０からの通知に基づいて、Ｘ線照射が照射された時刻における超音波プローブ２０１の位置及び向きを特定する（ステップＳ２２）。また、Ｘ線診断装置１０における収集機能１１０ｂは、Ｘ線検出器１０６から受信した検出信号に基づいてＸ線画像データＩ１１を生成し、生成したＸ線画像データＩ１１をメモリ１０７に格納する（ステップＳ２３）。また、医用情報処理装置４０における送信機能４４ｅは、超音波プローブ２０１の位置及び向きをＸ線診断装置１０に対して送信する（ステップＳ２４）。

ここで、医用情報処理装置４０における処理について、図１１を用いてより詳細に説明する。図１１は、第３の実施形態に係る医用情報処理装置４０の処理の一連の流れを説明するためのフローチャートである。図１１において、ステップＳ３０１は、受信機能４４ｂに対応するステップである。また、ステップＳ３０２は、第１の特定機能４４ｃに対応するステップである。また、ステップＳ３０３は、第２の特定機能４４ｄに対応するステップである。また、ステップＳ３０４は、送信機能４４ｅに対応するステップである。

まず、受信機能４４ｂは、Ｘ線診断装置１０から撮像時間の通知を受けたか否かを判定する（ステップＳ３０１）。ここで、通知を受けた場合（ステップＳ３０１肯定）、第１の特定機能４４ｃは、磁気センサ等の位置センサを用いて、通知された撮像時間における超音波プローブ２０１の位置を特定する（ステップＳ３０２）。

例えば、第１の特定機能４４ｃは、超音波プローブ２０１が備える位置センサにより検出された位置情報に基づいて、超音波プローブ２０１の位置を特定する。この場合、第１の特定機能４４ｃは、事前にＸ線診断装置１０に対する位置センサの位置校正を行なう。例えば、第１の特定機能４４ｃは、超音波プローブ２０１が被検体Ｐに挿入されるより前に位置校正を行なう。

一例を挙げると、まず、位置センサを備える超音波プローブ２０１がＸ線診断装置１００により撮像される。次に、第１の特定機能４４ｃは、撮像されたＸ線画像データに含まれる超音波プローブ２０１の位置に基づいて、Ｘ線座標系における超音波プローブ２０１の座標を算出する。より具体的には、第１の特定機能４４ｃは、超音波プローブ２０１が備える位置センサのＸ線座標系における座標を算出する。ここで、位置センサがＸ線画像データに描出される場合、第１の特定機能４４ｃは、Ｘ線画像データに基づいて、位置センサのＸ線座標系における座標を算出することができる。また、位置センサがＸ線画像データに描出されない場合、第１の特定機能４４ｃは、超音波プローブ２０１の設計情報等に基づいて、位置センサの超音波プローブ２０１上での位置を取得することにより、位置センサのＸ線座標系における座標を算出することができる。更に、受信機能４４ｂは、Ｘ線画像データの撮像時における位置センサの位置情報を超音波診断装置２０から受信する。これにより、第１の特定機能４４ｃは、位置センサにより検出される位置情報をＸ線座標系に対応付ける。

校正が完了した後、被検体Ｐに超音波プローブ２０１が挿入される。ここで、メモリ２５０は、位置センサにより検出される超音波プローブ２０１の位置情報を時刻に対応付けて順次記憶する。更に、Ｘ線診断装置１０から撮像時間の通知を受けた場合、第１の特定機能４４ｃは、超音波プローブ２０１が備える位置センサにより検出された位置情報を取得する。例えば、第１の特定機能４４ｃは、メモリ２５０に記憶された位置情報の中から、通知された撮像時間に対応付いた位置情報を取得する。そして、第１の特定機能４４ｃは、取得した位置情報に基づいて、Ｘ線画像データＩ１１の撮像時間における超音波プローブ２０１の位置をＸ線座標系において特定する。

更に、第２の特定機能４４ｄは、ハンドル信号を用いて、通知された撮像時間における超音波プローブ２０１の向きを特定する（ステップＳ３０３）。ここで、ハンドル信号は、超音波プローブ２０１の向きを操作するために用いられる信号である。例えば、超音波プローブ２０１は、ケーブルを介してハンドル部に接続され、操作者は、ハンドル部を操作してハンドル信号を入力することにより、超音波プローブ２０１の向きを操作する。ここで、ハンドル部は、超音波プローブ２０１の回転及び移動を検出する第１センサ（ポテンショメータ等）を備える。

例えば、第２の特定機能４４ｄは、事前にハンドル部が備えるセンサの校正を行なう。一例を挙げると、ハンドル部は、超音波プローブ２０１の回転及び移動を検出する第１センサに加えて、位置センサ（以下、第２センサ）を複数備える。この場合、まず、ハンドル部がＸ線診断装置１００により撮像され、第２の特定機能４４ｄは、Ｘ線画像データに基づいて、ハンドル部が備える複数の第２センサのＸ線座標系における座標を算出する。これにより、第２の特定機能４４ｄは、ハンドル部の位置及び向きをＸ線座標系に対応付ける。ここで、ハンドル部に対する超音波プローブ２０１の向きはハンドル信号により制御されるため、ハンドル部の位置及び向きをＸ線座標系に対応付けることで、超音波プローブ２０１の回転及び移動を検出する第１センサを校正することが可能となる。例えば、第２の特定機能４４ｄは、超音波プローブ２０１が被検体Ｐに挿入されるより前に、天井方向（鉛直方向）を「０」とするように、第１センサの校正を行なう。これにより、第２の特定機能４４ｄは、ハンドル部が備える第１センサにより検出される超音波プローブ２０１の配向情報をＸ線座標系に対応付ける。

校正が完了した後、被検体Ｐに超音波プローブ２０１が挿入される。ここで、Ｘ線座標系に対してハンドル部の位置及び向きが対応付いており、かつ、ハンドル部に対する超音波プローブ２０１の向きはハンドル信号により制御されるものであることから、ハンドル信号に基づいて、超音波プローブ２０１の配向情報をＸ線座標系において算出することが可能である。例えば、メモリ２５０は、ハンドル信号に基づく配向情報を時刻に対応付けて順次記憶する。更に、Ｘ線診断装置１０から撮像時間の通知を受けた場合、第２の特定機能４４ｄは、ハンドル信号に基づく配向情報を取得する。例えば、第２の特定機能４４ｄは、メモリ２５０に記憶された配向情報の中から、通知された撮像時間に対応付いた配向情報を取得する。そして、第２の特定機能４４ｄは、取得した配向情報に基づいて、Ｘ線画像データＩ１１の撮像時間における超音波プローブ２０１の向きをＸ線座標系において特定する。

なお、ハンドル部の位置及び向きをＸ線座標系に対応付けることで超音波プローブ２０１の回転及び移動を検出する第１センサを校正する場合について説明したが、実施形態はこれに限定されるものではない。例えば、ハンドル部と超音波プローブ２０１とを接続するケーブルにおいて屈曲等しない部分（非可動部）がある場合、第２の特定機能４４ｄは、ケーブルの非可動部の位置及び向きをＸ線座標系に対応付けることで、第１センサを校正してもよい。

次に、送信機能４４ｅは、第１の特定機能４４ｃにより特定された超音波プローブ２０１の位置、及び、第２の特定機能４４ｄにより特定された超音波プローブ２０１の向きをＸ線診断装置１０に対して送信する（ステップＳ３０４）。その後、処理回路４４は、再度ステップＳ３０１に移行し、Ｘ線診断装置１０から更に通知を受けたか否かを判定する。ここで、Ｘ線診断装置１０から通知を受けない場合（ステップＳ３０１否定）、処理回路４４は、処理を終了する。

図１０の説明に戻る。Ｘ線診断装置１０における受信機能１１０ｄは、医用情報処理装置４０から送信された超音波プローブ２０１の位置及び向きを受信し、メモリ１０７に格納する（ステップＳ２５）。また、受信機能１１０ｄは、超音波診断装置２０から、超音波プローブ２０１を用いて撮像された超音波画像データＩ３１を受信し、メモリ１０７に格納する。そして、表示制御機能１１０ｅは、超音波プローブ２０１の位置及び向きに応じて、超音波プローブ２０１を用いて撮像された超音波画像データＩ３１をＸ線画像データＩ１１上に表示させる（ステップＳ２６）。

なお、図１１においては、ハンドル信号に基づいて超音波プローブ２０１の向きを特定する場合について説明したが、実施形態はこれに限定されるものではない。例えば、超音波プローブ２０１がジャイロセンサを備える場合、第２の特定機能４４ｄは、ジャイロセンサにより検出された回転情報に基づいて、超音波プローブ２０１の向きを特定してもよい。

一例を挙げると、第２の特定機能４４ｄは、超音波プローブ２０１が被検体Ｐに挿入されるより前に、天井方向（鉛直方向）を「０」とするようにジャイロセンサの校正を行なう。これにより、第２の特定機能４４ｄは、ジャイロセンサにより検出される回転情報をＸ線座標系に対応付ける。そして、校正が完了した後、被検体Ｐに超音波プローブ２０１が挿入される。更に、Ｘ線診断装置１０から撮像時間の通知を受けた場合、第２の特定機能４４ｄは、ジャイロセンサにより検出された回転情報に基づいて、Ｘ線画像データＩ１１の撮像時間における超音波プローブ２０１の向きをＸ線座標系において特定する。

また、第２の特定機能４４ｄは、超音波プローブ２０１の回転及び移動のみならず、超音波プローブ２０１が超音波ビームを送信する方向を考慮して、超音波プローブ２０１の向きを特定してもよい。即ち、第２の特定機能４４ｄは、超音波プローブ２０１から送信される超音波がビーム状に集束される超音波ビームの向きを、超音波プローブ２０１の向きとして特定してもよい。

具体的には、まず、操作者は、入力インターフェース２０２を介して、ビーム配向信号を入力する。次に、送信回路２１０のパルサ回路は、ビーム配向信号に基づいて、圧電振動子ごとの送信遅延時間を各レートパルスに付与し、超音波プローブ２０１に出力する。これにより、操作者は、各レートパルスに与える送信遅延時間を変化させて、圧電振動子面からの超音波ビームの送信方向を任意に調整することができる。ここで、送信機能２６４は、操作者により入力されたビーム配向信号を医用情報処理装置４０に対して送信し、受信機能４４ｂは、ビーム配向信号を受信する。次に、第２の特定機能４４ｄは、ハンドル信号や、ジャイロセンサにより検出された回転情報に基づいて超音波プローブ２０１の送受信面の向きを算出する。そして、第２の特定機能４４ｄは、算出した超音波プローブ２０１の送受信面の向きとビーム配向信号とに基づいて超音波ビームの向きを算出し、算出した超音波ビームの向きを超音波プローブ２０１の向きとして特定する。

上述したように、第３の実施形態によれば、第１の特定機能４４ｃは、超音波プローブ２０１が備える位置センサにより検出された位置情報に基づいて、超音波プローブ２０１の位置を特定する。また、第２の特定機能４４ｄは、超音波プローブ２０１の向きの操作に用いられるハンドル信号に基づいて、超音波プローブ２０１の向きを特定する。或いは、第２の特定機能４４ｄは、超音波プローブ２０１が備えるジャイロセンサにより検出された回転情報に基づいて、超音波プローブ２０１の向きを特定する。従って、第３の実施形態に係る医用情報処理装置４０は、超音波プローブ２０１の位置及び向きを特定して、Ｘ線画像データと、超音波プローブ２０１を用いて撮像された超音波画像データとの位置合わせを可能とすることができる。

また、第２の特定機能４４ｄは、更に、超音波プローブ２０１から送信される超音波ビームの向きの操作に用いられるビーム配向信号に基づいて、超音波プローブ２０１の向きを特定する。従って、第３の実施形態に係る医用情報処理装置４０は、超音波プローブ２０１の向きをより高い精度で特定して、Ｘ線画像データと超音波画像データとの位置合わせの精度を向上させることができる。

また、第２の特定機能４４ｄは、超音波プローブ２０１を撮像したＸ線画像データを用いずとも、超音波プローブ２０１の位置及び向きを特定することができる。従って、第３の実施形態に係る医用情報処理装置４０は、超音波プローブ２０１が小型であり、Ｘ線画像データに形状特徴が描出されにくい場合においても、超音波プローブ２０１の位置及び向きを特定することができる。また、第３の実施形態に係る医用情報処理装置４０は、Ｘ線診断装置１０と医用情報処理装置４０との間で送受信されるデータのサイズを低減することができる。

また、上述したように、第３の実施形態によれば、第１の特定機能４４ｃ及び第２の特定機能４４ｄは、３次元データＭ１を用いずとも、超音波プローブ２０１の位置及び向きを特定することができる。従って、第３の実施形態に係る医用情報処理装置４０は、超音波プローブ２０１が他のメーカの製品であり、超音波プローブ２０１の設計情報を保持しない場合においても、超音波プローブ２０１の位置及び向きを特定することができる。

なお、位置センサを用いて超音波プローブ２０１の位置を特定する場合について説明したが、実施形態はこれに限定されるものではない。例えば、第１の特定機能４４ｃは、所定の図形と、超音波プローブ２０１を撮像した２次元のＸ線画像データ、又は、Ｘ線画像データに基づく２値化画像とをマッチングすることにより、超音波プローブ２０１の位置を特定してもよい。また、例えば、第１の特定機能４４ｃは、超音波プローブ２０１を撮像した２次元のＸ線画像データ上で超音波プローブ２０１に対応する指定点又は指定領域を指定する操作を受け付け、後に撮像された複数のＸ線画像データにおいて指定点又は指定領域を追跡することにより、超音波プローブ２０１の複数のＸ線画像データ上での位置を特定してもよい。

また、ハンドル信号又はジャイロセンサにより検出された回転情報に基づいて超音波プローブ２０１の向きを特定する場合について説明したが、実施形態はこれに限定されるものではない。例えば、第２の特定機能４４ｄは、超音波プローブ２０１の構造を示す３Ｄデータと、超音波プローブ２０１を撮像した２次元のＸ線画像データとに基づいて、超音波プローブ２０１の向きを特定してもよい。

（第４の実施形態）
第４の実施形態では、異なる方向から超音波プローブ２０１を撮像した複数の画像データと、超音波プローブ２０１を撮像した２次元のＸ線画像データＩ１１とをマッチングすることにより、超音波プローブ２０１のＸ線画像データＩ１１上での位置及び向きを特定する場合について説明する。

第４の実施形態に係る医用情報処理装置４０は、図４に示した第１の実施形態に係る医用情報処理装置４０と同様の構成を有し、第１の特定機能４４ｃ及び第２の特定機能４４ｄにおける処理の一部が相違する。第１の実施形態において説明した構成と同様の構成を有する点については、図１～図４と同一の符号を付し、説明を省略する。

医用情報処理装置４０は、図５と同様に、Ｘ線診断装置１０において生成されたＸ線画像データＩ１１を受信し、受信したＸ線画像データＩ１１を用いて超音波プローブ２０１の位置及び向きを特定し、特定した位置及び向きをＸ線診断装置１０に送信する。以下、図１２を用いて、医用情報処理装置４０における処理について詳細に説明する。図１２は、第４の実施形態に係る医用情報処理装置４０の処理の一連の流れを説明するためのフローチャートである。

図１２において、ステップＳ４０１は、受信機能４４ｂに対応するステップである。また、ステップＳ４０２、ステップＳ４０３、ステップＳ４０４、ステップＳ４０５及びステップＳ４０６は、第１の特定機能４４ｃ及び第２の特定機能４４ｄに対応するステップである。なお、本実施形態では、第１の特定機能４４ｃと第２の特定機能４４ｄとを総称して、特定機能４４ｇとも記載する。特定機能４４ｇは、特定部の一例である。また、ステップＳ４０７は、送信機能４４ｅに対応するステップである。

まず、受信機能４４ｂは、Ｘ線診断装置１０からＸ線画像データＩ１１を受信したか否かを判定する（ステップＳ４０１）。Ｘ線画像データＩ１１を受信した場合（ステップＳ４０１肯定）、受信機能４４ｂは、受信したＸ線画像データＩ１１をメモリ４３に格納する。また、特定機能４４ｇは、Ｘ線画像データＩ１１に対する２値化処理を実行して、画像データＩ２１を生成する（ステップＳ４０２）。

次に、特定機能４４ｇは、メモリ４３から、テンプレートＴ２を取得する（ステップＳ４０３）。ここで、テンプレートＴ２は、超音波プローブ２０１を撮像した画像データ（Ｘ線画像データや、Ｘ線画像データに基づく２値化画像等）である。例えば、メモリ４３は、異なる方向から超音波プローブ２０１を撮像した複数のテンプレートＴ２を事前に記憶し、特定機能４４ｇは、メモリ４３に記憶された複数のテンプレートＴ２のうちいずれかを取得する。

例えば、Ｘ線診断装置１０は、被検体Ｐに超音波プローブ２０１を挿入するよりも前に、複数方向から超音波プローブ２０１を撮像する。次にＸ線診断装置１０は、撮像した複数のＸ線画像データのそれぞれを２値化し、複数の２値化画像を医用情報処理装置４０に送信する。この場合、メモリ４３は、Ｘ線診断装置１０から送信された複数の２値化画像を、複数のテンプレートＴ２として記憶する。或いは、Ｘ線診断装置１０は、撮像した複数のＸ線画像データを医用情報処理装置４０に送信する。この場合、特定機能４４ｇは、複数のＸ線画像データのそれぞれを２値化し、メモリ４３は、特定機能４４ｇにより生成された複数の２値化画像を、複数のテンプレートＴ２として記憶する。

例えば、超音波プローブ２０１が経食道で心臓の検査に用いられるＴＥＥプローブである場合、メモリ４３は、ＬＡＯ（左前斜位：left anterior oblique）、ＲＡＯ（右前斜位：right anterior oblique）、ＣＲＡ（頭部方向：cranial）、ＣＡＵ（尾部方向：caudal）等の各臨床角に対応付けて、複数のテンプレートＴ２を記憶する。一例を挙げると、メモリ４３は、異なる方向を向いた超音波プローブ２０１をＬＡＯ方向から複数撮像し、撮像した複数のＸ線画像データに基づく複数のテンプレートＴ２を、ＬＡＯ方向に対応付けて記憶する。

次に、特定機能４４ｇは、テンプレートＴ２を用いてマッチング処理を実行する（ステップＳ４０４）。即ち、特定機能４４ｇは、テンプレートＴ２と画像データＩ２１とをマッチングして、画像データＩ２１においてテンプレートＴ２に類似するパターンの位置及び向きを検索する。

次に、特定機能４４ｇは、超音波プローブ２０１の位置及び向きを特定したか否かを判定する（ステップＳ４０５）。ここで、超音波プローブ２０１の位置及び向きを特定しなかったと判定した場合（ステップＳ４０５否定）、特定機能４４ｇは、新たなテンプレートＴ２を取得して（ステップＳ４０６）、再度ステップＳ４０６に移行する。例えば、第１方向を向いた超音波プローブ２０１をＬＡＯ方向から撮像したＸ線画像データに基づくテンプレートＴ２１を用いてマッチング処理を実行して、超音波プローブ２０１の位置及び向きを特定しなかったと判定した場合、特定機能４４ｇは、第１方向と異なる第２方向を向いた超音波プローブ２０１をＬＡＯ方向から撮像したＸ線画像データに基づくテンプレートＴ２２を用いて、マッチング処理を再度実行する。なお、テンプレートＴ２１及びテンプレートＴ２２は、テンプレートＴ２の一例である。

一方で、超音波プローブ２０１の位置及び向きを特定したと判定した場合（ステップＳ４０５肯定）、特定機能４４ｇは、特定した超音波プローブ２０１の位置及び向きをＸ線診断装置１０に送信して（ステップＳ４０７）、再度ステップＳ４０１に移行する。例えば、画像データＩ２１において、第１方向を向いた超音波プローブ２０１を撮像したＸ線画像データに基づくテンプレートＴ２１に類似するパターンの位置を検出した場合、特定機能４４ｇは、検出した位置を、超音波プローブ２０１のＸ線画像データＩ１１上での位置として特定する。更に、特定機能４４ｇは、第１方向を、超音波プローブ２０１の向きとして特定する。また、ステップＳ４０１においてＸ線診断装置１０からＸ線画像データＩ１１を受信しない場合（ステップＳ４０１否定）、処理回路４４は、処理を終了する。

医用情報処理装置４０から超音波プローブ２０１の位置及び向きが送信された場合、Ｘ線診断装置１０における受信機能１１０ｄは、超音波プローブ２０１の位置及び向きを受信して、メモリ１０７に格納する。また、受信機能１１０ｄは、超音波診断装置２０から、超音波プローブ２０１を用いて撮像された超音波画像データＩ３１を受信し、メモリ１０７に格納する。そして、表示制御機能１１０ｅは、超音波プローブ２０１の位置及び向きに応じて、超音波プローブ２０１を用いて撮像された超音波画像データＩ３１をＸ線画像データＩ１１上に表示させる。

なお、テンプレートＴ２がＸ線画像データに基づく２値化画像であるものとして説明したが、実施形態はこれに限定されるものではない。例えば、テンプレートＴ２は、Ｘ線画像データであってもよい。即ち、テンプレートＴ２の生成に当たって、２値化処理は行われない場合であってもよい。この場合、特定機能４４ｇは、図１２のステップＳ４０２を省略し、テンプレートＴ２とＸ線画像データＩ１１とをマッチングすることにより、超音波プローブ２０１の位置及び向きを特定する。

また、例えば、テンプレートＴ２は、超音波プローブ２０１を光学カメラにより撮像した画像データ、又は、この画像データに基づく２値化画像であってもよい。また、例えば、テンプレートＴ２は、超音波プローブ２０１をＸ線診断装置１０以外の医用画像診断装置により撮像した医用画像データ、又は、この医用画像データに基づく２値化画像であってもよい。一例を挙げると、テンプレートＴ２は、超音波プローブ２０１をＸ線ＣＴ装置により撮像した画像データ（投影データ、ＣＴ画像データに基づくレンダリング画像等）であってもよい。

上述したように、第４の実施形態によれば、メモリ４３は、異なる方向から超音波プローブ２０１を撮像した複数の画像データ（テンプレートＴ２）を記憶する。また、特定機能４４ｇは、テンプレートＴ２と、超音波プローブ２０１を撮像した２次元のＸ線画像データとをマッチングすることにより、超音波プローブ２０１のＸ線画像データ上での位置及び向きを特定する。従って、第４の実施形態に係る医用情報処理装置４０は、超音波プローブ２０１の位置及び向きを特定して、Ｘ線画像データと、超音波プローブ２０１を用いて撮像された超音波画像データとの位置合わせを可能とすることができる。

また、上述したように、特定機能４４ｇは、２次元の画像データであるテンプレートＴ２を用いて、マッチング処理を実行する。従って、第４の実施形態に係る医用情報処理装置４０は、３次元データＭ１に基づくレンダリング画像を用いてマッチング処理を実行する場合と比較して、レンダリング画像を生成する処理を省略し、計算量を低減することができる。

また、上述したように、第４の実施形態によれば、第１の特定機能４４ｃ及び第２の特定機能４４ｄは、３次元データＭ１を用いずとも、超音波プローブ２０１の位置及び向きを特定することができる。従って、第４の実施形態に係る医用情報処理装置４０は、超音波プローブ２０１が他のメーカの製品であり、超音波プローブ２０１の設計情報を保持しない場合においても、超音波プローブ２０１の位置及び向きを特定することができる。

（第５の実施形態）
第５の実施形態では、超音波プローブ２０１を撮像した２次元のＸ線画像データＩ１１の位置及び向きを３次元の医用画像データにおいて特定し、超音波プローブ２０１を用いて撮像された超音波画像データＩ３１の位置及び向きを３次元の医用画像データにおいて特定することで、超音波プローブ２０１のＸ線画像データＩ１１上での位置及び向きを特定する場合について説明する。

第５の実施形態に係る医用情報処理装置４０は、図４に示した第１の実施形態に係る医用情報処理装置４０と同様の構成を有し、第１の特定機能４４ｃ及び第２の特定機能４４ｄにおける処理の一部が相違する。また、第５の実施形態に係る医用情報処理システム１は、図１に示した医用情報処理システム１と比較して、Ｘ線ＣＴ装置５０（図示せず）を更に含む点で相違する。以下、第１の実施形態において説明した構成と同様の構成を有する点については、図１～図４と同一の符号を付し、説明を省略する。

例えば、医用情報処理装置４０は、図１３に示すように、Ｘ線診断装置１０、超音波診断装置２０及び画像保管装置３０からＸ線画像データＩ１１、超音波画像データＩ３１及びＣＴ画像データＩ４１を受信し、超音波プローブ２０１のＸ線画像データＩ１１上での位置及び向きを特定し、特定した位置及び向きをＸ線診断装置１０に送信する。ここで、図１３は、第５の実施形態に係る医用情報処理システム１の処理の一連の流れを説明するためのフローチャートである。

具体的には、まず、Ｘ線診断装置１０における収集機能１１０ｂは、ＴＥＥプローブである超音波プローブ２０１が挿入された被検体Ｐに対して、Ｘ線管１０２からＸ線を照射する（ステップＳ３１）。この際、収集機能１１０ｂは、Ｘ線診断装置１０の撮像部を制御することによって、超音波プローブ２０１が撮像領域に含まれるようにＸ線の照射範囲及び照射角度を制御する。また、この際、Ｘ線検出器１０６は、Ｘ線管１０２から照射されて被検体Ｐを透過したＸ線を検出して、検出したＸ線量に対応した検出信号を処理回路１１０へと出力する。次に、収集機能１１０ｂは、Ｘ線検出器１０６から受信した検出信号に基づいてＸ線画像データＩ１１を生成し、生成したＸ線画像データＩ１１をメモリ１０７に格納する（ステップＳ３２）。次に、Ｘ線診断装置１０における送信機能１１０ｃは、図１３に示すように、生成されたＸ線画像データＩ１１を医用情報処理装置４０に対して送信する（ステップＳ３３）。

また、超音波診断装置２０における収集機能２６２は、被検体Ｐに挿入された超音波プローブ２０１を用いて超音波走査を実行し、Ｂモードデータやドプラデータを収集する（ステップＳ３４）。また、収集機能２６２は、超音波走査により収集したデータから超音波画像データＩ３１を生成し、生成した超音波画像データＩ３１をメモリ２５０に格納する（ステップＳ３５）。なお、本実施形態では、超音波画像データＩ３１が３次元の超音波画像データである場合について説明する。次に、超音波診断装置２０における送信機能２６４は、図１３に示すように、生成された超音波画像データＩ３１を医用情報処理装置４０に対して送信する（ステップＳ３６）。なお、ステップＳ３１とステップＳ３４とは略同時に行われる。即ち、Ｘ線画像データＩ１１と超音波画像データＩ３１とは、略同時に撮像される。

図１３に示すように、医用情報処理装置４０における受信機能４４ｂは、Ｘ線診断装置１０からＸ線画像データＩ１１を受信し、超音波診断装置２０から超音波画像データＩ３１を受信し、画像保管装置３０からＣＴ画像データＩ４１を受信して、受信した画像データをメモリ４３に格納する（ステップＳ３７）。

ここで、ＣＴ画像データＩ４１は、Ｘ線ＣＴ装置５０によって、被検体Ｐから事前に収集される。例えば、Ｘ線ＣＴ装置５０は、図１３のステップＳ３１及びステップＳ３４よりも前に、被検体Ｐに対するＣＴスキャンを実行する。即ち、Ｘ線ＣＴ装置５０は、被検体Ｐに対して複数方向からＸ線を照射し、被検体Ｐを透過したＸ線をＸ線検出器により検出して、検出データを収集する。また、Ｘ線ＣＴ装置５０は、検出データに基づいて再構成処理を実行し、ＣＴ画像データ（ボリュームデータ）を生成する。そして、Ｘ線ＣＴ装置５０は、ネットワークＮＷを介して、生成したＣＴ画像データを画像保管装置３０に送信する。なお、ＣＴ画像データは、３次元医用画像の一例である。

次に、第１の特定機能４４ｃ及び第２の特定機能４４ｄは、ＣＴ画像データＩ４１を用いて、Ｘ線画像データＩ１１に対する超音波プローブ２０１の位置及び向きを特定し（ステップＳ３８）、送信機能４４ｅは、特定された位置及び向きをＸ線診断装置１０に対して送信する（ステップＳ３９）。

ここで、医用情報処理装置４０における処理について、図１４を用いてより詳細に説明する。図１４は、第５の実施形態に係る医用情報処理装置４０の処理の一連の流れを説明するためのフローチャートである。図１４において、ステップＳ５０１及びステップＳ５０２は、受信機能４４ｂに対応するステップである。また、ステップＳ５０３、ステップＳ５０４、ステップＳ５０５、ステップＳ５０６及びステップＳ５０７は、第１の特定機能４４ｃ及び第２の特定機能４４ｄに対応するステップである。なお、本実施形態では、第１の特定機能４４ｃと第２の特定機能４４ｄとを総称して、特定機能４４ｇとも記載する。特定機能４４ｇは、特定部の一例である。また、ステップＳ５０８は、送信機能４４ｅに対応するステップである。

まず、受信機能４４ｂは、画像保管装置３０から被検体ＰのＣＴ画像データＩ４１を受信して、ＣＴ画像データＩ４１をメモリ４３に格納する（ステップＳ５０１）。また、受信機能４４ｂは、Ｘ線画像データＩ１１及び超音波画像データＩ３１を受信したか否かを判定する（ステップＳ５０２）。ここで、Ｘ線画像データＩ１１及び超音波画像データＩ３１を受信した場合（ステップＳ５０２肯定）、受信機能４４ｂは、受信した画像データをメモリ４３に格納する。

次に、特定機能４４ｇは、ＣＴ画像データＩ４１に基づくレンダリング画像と、Ｘ線画像データＩ１１とでマッチング処理を実行し（ステップＳ５０３）、ＣＴ画像データＩ４１に対するＸ線画像データＩ１１の位置及び向きを特定する（ステップＳ５０４）。

例えば、特定機能４４ｇは、ＣＴ画像データＩ４１に対して複数の投影方向からレンダリング処理を実行することで、複数のレンダリング画像を生成する。ここで、特定機能４４ｇは、所定の範囲内の投影方向についてレンダリング処理を実行することとしてもよい。例えば、特定機能４４ｇは、Ｘ線画像データＩ１１の撮像時における撮像部（Ｃアーム１０５や天板１０４等）の配置に基づいて、ＣＴ画像データＩ４１に対してＸ線画像データＩ１１が取り得る向きの範囲を設定し、設定した範囲内における複数の投影方向についてレンダリング処理を実行する。

次に、特定機能４４ｇは、複数のレンダリング画像とＸ線画像データＩ１１とでパターンを比較して、複数のレンダリング画像のうちＸ線画像データＩ１１とパターンが類似するレンダリング画像を特定する。これにより、特定機能４４ｇは、特定したレンダリング画像のレンダリング方向を、ＣＴ画像データＩ４１に対するＸ線画像データＩ１１の向きとして特定する。また、特定機能４４ｇは、特定したレンダリング画像においてＸ線画像データＩ１１とパターンが類似する位置に基づいて、ＣＴ画像データＩ４１に対するＸ線画像データＩ１１の位置を特定する。

次に、特定機能４４ｇは、ＣＴ画像データＩ４１と超音波画像データＩ３１とで、レジストレーション処理（位置合わせ）を実行し（ステップＳ５０５）、ＣＴ画像データＩ４１に対する超音波画像データＩ３１の位置及び向きを特定する（ステップＳ５０６）。ここで、特定機能４４ｇは、任意の方法により、ＣＴ画像データＩ４１と超音波画像データＩ３１とのレジストレーションを実行することができる。

例えば、特定機能４４ｇは、ＣＴ画像データＩ４１及び超音波画像データＩ３１のそれぞれから複数の特徴点（ランドマーク）を検出する。一例を挙げると、超音波プローブ２０１が経食道で心臓の検査に用いられるＴＥＥプローブである場合、特定機能４４ｇは、ＣＴ画像データＩ４１及び超音波画像データＩ３１のそれぞれから、特徴点として、血管の分岐点や弁（僧帽弁、大動脈弁等）を検出する。そして、特定機能４４ｇは、検出した特徴点を基準として、ＣＴ画像データＩ４１と超音波画像データＩ３１とのレジストレーション処理を実行する。なお、ステップＳ５０３及びステップＳ５０４と、ステップＳ５０５及びステップＳ５０６とを行なう順序は任意であり、並行して行なう場合であってもよい。

次に、特定機能４４ｇは、ＣＴ画像データＩ４１に対するＸ線画像データＩ１１の位置及び向きと、ＣＴ画像データＩ４１に対する超音波画像データＩ３１の位置及び向きとに基づいて、Ｘ線画像データＩ１１に対する超音波プローブ２０１の位置及び向きを特定する（ステップＳ５０７）。例えば、特定機能４４ｇは、ＣＴ画像データＩ４１に対するＸ線画像データＩ１１の位置及び向きと、ＣＴ画像データＩ４１に対する超音波画像データＩ３１の位置及び向きとに基づいて、Ｘ線画像データＩ１１に対する超音波画像データＩ３１の位置及び向きを特定する。ここで、超音波画像データＩ３１に対する超音波プローブ２０１の位置及び向きは明らかであるから、特定機能４４ｇは、Ｘ線画像データＩ１１に対する超音波プローブ２０１の位置及び向きを特定することができる。即ち、特定機能４４ｇは、ＣＴ画像データＩ４１を介して、Ｘ線座標系と超音波座標系とを対応付けることができる。そして、送信機能４４ｅは、超音波プローブ２０１の位置及び向きを、Ｘ線診断装置１０に対して送信する（ステップＳ５０８）。

図１３の説明に戻る。Ｘ線診断装置１０における受信機能１１０ｄは、医用情報処理装置４０から送信された超音波プローブ２０１の位置及び向きを受信し、メモリ１０７に格納する（ステップＳ４０）。また、受信機能１１０ｄは、超音波診断装置２０から、超音波プローブ２０１を用いて撮像された超音波画像データＩ３１を受信し、メモリ１０７に格納する。そして、表示制御機能１１０ｅは、超音波プローブ２０１の位置及び向きに応じて、超音波プローブ２０１を用いて撮像された超音波画像データＩ３１をＸ線画像データＩ１１上に表示させる（ステップＳ４１）。

上述したように、第５の実施形態によれば、特定機能４４ｇは、超音波プローブ２０１を撮像した２次元のＸ線画像データＩ１１の位置及び向きをＣＴ画像データＩ４１において特定し、超音波プローブ２０１を用いて撮像された超音波画像データＩ３１の位置及び向きをＣＴ画像データＩ４１において特定することで、超音波プローブ２０１のＸ線画像データＩ１１上での位置及び向きを特定する。従って、第５の実施形態に係る医用情報処理装置４０は、超音波プローブ２０１の位置及び向きを特定して、Ｘ線画像データと、超音波プローブ２０１を用いて撮像された超音波画像データとの位置合わせを可能とすることができる。

また、上述したように、第５の実施形態によれば、第１の特定機能４４ｃ及び第２の特定機能４４ｄは、３次元データＭ１を用いずとも、超音波プローブ２０１の位置及び向きを特定することができる。従って、第５の実施形態に係る医用情報処理装置４０は、超音波プローブ２０１が他のメーカの製品であり、超音波プローブ２０１の設計情報を保持しない場合においても、超音波プローブ２０１の位置及び向きを特定することができる。

なお、図１３及び図１４においては、３次元医用画像の一例として、ＣＴ画像データＩ４１について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、特定機能４４ｇは、ＣＴ画像データＩ４１に代えて、ＭＲＩ（Magnetic Resonance Imaging）装置等の他の医用画像診断装置によって収集された３次元画像データを用いてもよいし、Ｘ線診断装置１０によって収集された３次元Ｘ線画像データを用いてもよい。

例えば、Ｘ線診断装置１０は、図１３のステップＳ３１及びステップＳ３４よりも前に、被検体Ｐに対する回転撮影を実行する。即ち、Ｘ線診断装置１０は、Ｃアーム１０５を被検体Ｐの周囲で回転させながら所定のフレームレートで投影データを収集し、収集した投影データから３次元Ｘ線画像データを再構成して、画像保管装置３０に送信する。そして、特定機能４４ｇは、超音波プローブ２０１を撮像した２次元のＸ線画像データＩ１１の位置及び向きを３次元Ｘ線画像データにおいて特定し、超音波プローブ２０１を用いて撮像された超音波画像データＩ３１の位置及び向きを３次元Ｘ線画像データにおいて特定することで、超音波プローブ２０１のＸ線画像データＩ１１上での位置及び向きを特定する。

（第６の実施形態）
さて、これまで第１～第５の実施形態について説明したが、上述した第１～第５の実施形態以外にも、種々の異なる形態にて実施されてよいものである。

図７においては、Ｘ線画像データＩ１１又は画像データＩ２１において超音波プローブ２０１を検出することにより、超音波プローブ２０１のＸ線画像データＩ１１上での位置を特定する場合について説明した。しかしながら、実施形態はこれに限定されるものではない。

例えば、第１の特定機能４４ｃは、Ｘ線画像データＩ１１又は画像データＩ２１において、超音波プローブ２０１に接続されるケーブルを抽出することにより、超音波プローブ２０１のＸ線画像データＩ１１上での位置を特定してもよい。一例を挙げると、第１の特定機能４４ｃは、まず、Ｘ線画像データＩ１１の端部においてケーブルを抽出する。次に、第１の特定機能４４ｃは、抽出したケーブルの位置（Ｘ線画像データＩ１１の端部）を始点として、画素値の連続性に基づいてケーブルをトレースする。そして、第１の特定機能４４ｃは、トレースしたケーブルの終点の位置を、超音波プローブ２０１のＸ線画像データＩ１１上での位置として特定する。

また、例えば、第１の特定機能４４ｃは、Ｘ線画像データＩ１１において、超音波プローブ２０１が有する部品（例えば、トランジスタ等）を抽出することにより、超音波プローブ２０１のＸ線画像データＩ１１上での位置を特定してもよい。また、例えば、第１の特定機能４４ｃは、Ｘ線画像データＩ１１において、超音波プローブ２０１に付されたマーカ（例えば、星形の金属等）を抽出することにより、超音波プローブ２０１のＸ線画像データＩ１１上での位置を特定してもよい。

また、上述した実施形態では、Ｘ線診断装置１０における表示制御機能１１０ｅ、又は、医用情報処理装置４０における表示制御機能４４ｆが、超音波プローブ２０１を撮像した２次元のＸ線画像データ上に、超音波プローブ２０１を用いて撮像された超音波画像データ、又は、超音波プローブ２０１の撮像領域を表示させる場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、超音波診断装置２０における表示制御機能２６３が、超音波プローブ２０１を撮像した２次元のＸ線画像データ上に、超音波プローブ２０１を用いて撮像された超音波画像データ、又は、超音波プローブ２０１の撮像領域を表示させる場合であってもよい。

また、上述した実施形態では、医用情報処理装置４０の処理回路４４が、第１の特定機能４４ｃ及び第２の特定機能４４ｄを有するものとして説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、Ｘ線診断装置１０や超音波診断装置２０等の他の装置が、第１の特定機能４４ｃ及び第２の特定機能４４ｄに相当する機能を有する場合であってもよい。

一例を挙げると、Ｘ線診断装置１０の処理回路１１０は、図２に示した各機能に加えて、第１の特定機能１１０ｆ及び第２の特定機能１１０ｇを有する。この場合、収集機能１１０ｂは、超音波プローブ２０１を撮像した２次元のＸ線画像データを収集する。また、第１の特定機能１１０ｆは、例えば、所定の図形と、収集機能１１０ｂにより収集された２次元のＸ線画像データとをマッチングすることにより、超音波プローブ２０１のＸ線画像データ上での位置を特定する。或いは、第１の特定機能１１０ｆは、所定の図形と、収集機能１１０ｂにより収集された２次元のＸ線画像データに基づく２値化画像とをマッチングすることにより、超音波プローブ２０１のＸ線画像データ上での位置を特定する。或いは、第１の特定機能１１０ｆは、収集機能１１０ｂにより収集された２次元のＸ線画像データにおいて、超音波プローブ２０１に接続されるケーブルを抽出することにより、超音波プローブ２０１のＸ線画像データ上での位置を特定する。

或いは、第１の特定機能１１０ｆは、収集機能１１０ｂにより収集された２次元のＸ線画像データ上で、超音波プローブ２０１に対応する点又は領域を指定する操作を受け付ける。更に、第１の特定機能１１０ｆは、収集機能１１０ｂにより後に収集された複数のＸ線画像データにおいて、指定された点又は領域を追跡することにより、超音波プローブ２０１の複数のＸ線画像データ上での位置を特定する。ここで、第１の特定機能１１０ｆ及び第２の特定機能１１０ｇは、超音波プローブ２０１に対応する点を少なくとも３つ指定する操作を受け付けて、これら少なくとも３つの点を追跡することにより、超音波プローブ２０１の複数のＸ線画像データ上での位置及び向きを特定してもよい。或いは、第１の特定機能１１０ｆは、超音波プローブ２０１が備える位置センサにより検出された位置情報に基づいて、超音波プローブ２０１の位置を特定する。

また、第２の特定機能１１０ｇは、超音波プローブ２０１の向きを特定する。例えば、第２の特定機能１１０ｇは、超音波プローブ２０１の構造を示す３次元データＭ１と、超音波プローブ２０１を撮像した２次元のＸ線画像データとに基づいて、第１の特定機能１１０ｆによって特定された位置における超音波プローブ２０１の向きを特定する。

また、例えば、第２の特定機能１１０ｇは、超音波プローブ２０１の向きの操作に用いられるハンドル信号に基づいて、超音波プローブ２０１の向きを特定する。また、例えば、第２の特定機能１１０ｇは、超音波プローブ２０１が備えるジャイロセンサにより検出された回転情報に基づいて、超音波プローブ２０１の向きを特定する。ここで、第２の特定機能１１０ｇは、超音波プローブ２０１から送信される超音波ビームの向きの操作に用いられるビーム配向信号を更に用いて、超音波プローブ２０１の向きを特定してもよい。

別の例を挙げると、Ｘ線診断装置１０の処理回路１１０は、図２に示した各機能に加えて、特定機能１１０ｈを有する。この場合、例えば、Ｘ線診断装置１０のメモリ１０７は、異なる方向から超音波プローブ２０１を撮像した複数の画像データを記憶する。ここで、メモリ１０７が記憶する複数の画像データは、Ｘ線画像データであってもよいし、Ｘ線診断装置１０以外の医用画像診断装置により撮像される医用画像データであってもよいし、光学カメラにより撮像される画像データであってもよいし、これらの２値化画像であってもよい。また、特定機能１１０ｈは、メモリ１０７が記憶する複数の画像データと、超音波プローブ２０１を撮像した２次元のＸ線画像データとをマッチングすることにより、超音波プローブ２０１のＸ線画像データ上での位置及び向きを特定する。或いは、特定機能１１０ｈは、超音波プローブ２０１を撮像した２次元のＸ線画像データの位置及び向きを３次元医用画像において特定し、超音波プローブ２０１を用いて撮像された超音波画像データの位置及び向きを３次元医用画像において特定することで、超音波プローブ２０１のＸ線画像データ上での位置及び向きを特定する。

上述した実施形態に係る各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。即ち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。更に、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されうる。

また、上述した実施形態で説明した超音波プローブの位置及び向きの特定方法は、予め用意された医用情報処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。このプログラムは、インターネット等のネットワークを介して配布することができる。また、この医用情報処理プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な非一過性の記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。

以上説明した少なくとも１つの実施形態によれば、Ｘ線画像と超音波画像との位置合わせを可能とすることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 医用情報処理システム
１０ Ｘ線診断装置
１０７ メモリ
１０８ ディスプレイ
１０９ 入力インターフェース
１１０ 処理回路
１１０ａ 制御機能
１１０ｂ 収集機能
１１０ｃ 送信機能
１１０ｄ 受信機能
１１０ｅ 表示制御機能
２０ 超音波診断装置
２００ 装置本体
２０１ 超音波プローブ
２０２ 入力インターフェース
２０３ ディスプレイ
２５０ メモリ
２６０ 処理回路
２６１ 制御機能
２６２ 収集機能
２６３ 表示制御機能
２６４ 送信機能
３０ 画像保管装置
４０ 医用情報処理装置
４１ 入力インターフェース
４２ ディスプレイ
４３ メモリ
４４ 処理回路
４４ａ 制御機能
４４ｂ 受信機能
４４ｃ 第１の特定機能
４４ｄ 第２の特定機能
４４ｅ 送信機能
４４ｆ 表示制御機能

Claims (7)

1. 超音波プローブが備える位置センサにより検出された位置情報に基づいて、前記超音波プローブの位置を特定する第１の特定部と、
   前記第１の特定部によって特定された位置と、前記超音波プローブの構造を示す３次元データと、前記超音波プローブを撮像した２次元のＸ線画像とに基づいて、前記第１の特定部によって特定された位置における前記超音波プローブの向きを特定する第２の特定部と
   を備える、医用情報処理装置。
2. 超音波プローブを撮像した２次元のＸ線画像、又は、当該Ｘ線画像に基づく２値化画像において、前記超音波プローブに接続されるケーブルを抽出することにより、前記超音波プローブの前記Ｘ線画像上での位置を特定する第１の特定部と、
   前記第１の特定部によって特定された位置と、前記超音波プローブの構造を示す３次元データと、前記超音波プローブを撮像した２次元のＸ線画像とに基づいて、前記第１の特定部によって特定された位置における前記超音波プローブの向きを特定する第２の特定部と
   を備える、医用情報処理装置。
3. 前記超音波プローブの位置及び向きに応じて、前記超音波プローブを撮像した２次元のＸ線画像上に、前記超音波プローブを用いて撮像された超音波画像、又は、前記超音波プローブの撮像領域を表示させる表示制御部を更に備える、請求項１又は２に記載の医用情報処理装置。
4. 超音波プローブが備える位置センサにより検出された位置情報に基づいて、前記超音波プローブの位置を特定する第１の特定部と、
   前記第１の特定部によって特定された位置と、前記超音波プローブの構造を示す３次元データと、前記超音波プローブを撮像した２次元のＸ線画像とに基づいて、前記第１の特定部によって特定された位置における前記超音波プローブの向きを特定する第２の特定部と
   を備える、Ｘ線診断装置。
5. 超音波プローブを撮像した２次元のＸ線画像、又は、当該Ｘ線画像に基づく２値化画像において、前記超音波プローブに接続されるケーブルを抽出することにより、前記超音波プローブの前記Ｘ線画像上での位置を特定する第１の特定部と、
   前記第１の特定部によって特定された位置と、前記超音波プローブの構造を示す３次元データと、前記超音波プローブを撮像した２次元のＸ線画像とに基づいて、前記第１の特定部によって特定された位置における前記超音波プローブの向きを特定する第２の特定部と
   を備える、Ｘ線診断装置。
6. 超音波プローブが備える位置センサにより検出された位置情報に基づいて、前記超音波プローブの位置を特定し、
   特定した位置における前記超音波プローブの向きを、特定した位置と、前記超音波プローブの構造を示す３次元データと前記超音波プローブを撮像した２次元のＸ線画像とに基づいて特定する、
   各処理をコンピュータに実行させる、医用情報処理プログラム。
7. 超音波プローブを撮像した２次元のＸ線画像、又は、当該Ｘ線画像に基づく２値化画像において、前記超音波プローブに接続されるケーブルを抽出することにより、前記超音波プローブの前記Ｘ線画像上での位置を特定し、
   特定した位置における前記超音波プローブの向きを、特定した位置と、前記超音波プローブの構造を示す３次元データと前記超音波プローブを撮像した２次元のＸ線画像とに基づいて特定する、
   各処理をコンピュータに実行させる、医用情報処理プログラム。

Images