JP6878028B2 - 医用画像診断システム及び複合現実画像生成装置 - Google Patents

Description

本発明の実施形態は、医用画像診断システム及び複合現実画像生成装置に関する。

モダリティや画像処理技術の革新により、被検体の内部を詳細に撮像することが可能となった。それに伴い、医用画像を用いた診断や手術計画は、医療において重要な役割を占めるようになった。例えば、医用画像から被検体内の治療対象が特定され、医用画像上で特定された治療対象が手術されることで、病気が治療される。患者を切開する手術の場合、医師は、医用画像上で確認される治療対象位置と、患者の体内にある実際の治療対象位置とを照合し、患者の切開位置や範囲などを特定する。

しかしながら、患者の体内を撮像した医用画像において観察される治療対象位置を、患者を体外から観察して正確に特定するには、熟練の技術や解剖学的な知識が無ければ困難である。

近年、拡張現実（Augmented Reality）や複合現実（Mixed Reality）といった画像の表現方法に関する新しい技術が開発され、医用画像の診断や治療計画の支援への応用が期待されている。

特開２０１６−６７７３６号公報

本発明が解決しようとする課題は、医用画像上で特定された被検体の治療対象位置を従来とは異なる方法で認識可能な医用画像診断システム及び複合現実画像生成装置を提供することである。

一実施形態に係る医用画像診断システムは、照射機構から照射されて被検体を透過したＸ線を検出器によって検出することで前記被検体のＸ線画像を生成する撮像部と、ディスプレイ及び位置姿勢センサを有し、前記ディスプレイがユーザの視野に含まれるように前記ユーザの頭部に対して装着される表示部と、前記撮像部により生成された前記Ｘ線画像に対して設定された関心領域の位置と、前記Ｘ線画像の生成時の前記照射機構及び前記検出器の配置状態とに応じて、前記撮像部の設置室における前記関心領域の３次元位置を特定する特定部と、前記位置姿勢センサによって検出される前記表示部の位置及び姿勢を前記表示部から順次取得し、前記表示部の位置及び姿勢と、前記関心領域の３次元位置とに応じて、前記ディスプレイと前記関心領域との位置関係に整合するように、前記関心領域の３次元位置を前記ディスプレイ上で示す画像データを順次生成し、前記画像データを前記表示部に順次送信する処理部と、を備える。

第１の実施形態に係る医用画像診断システムの一例を示す概念的な構成図。 第１の実施形態に係る医用画像診断システムの機能構成例を示すブロック図。 第１の実施形態に係る医用画像診断システムの動作の一例を示すフローチャート。 関心領域の３次元位置を特定する方法を説明する模式図。 複合現実画像を生成する方法を説明する模式図。 第１の実施形態に係る複合現実画像の第１の表示例を示す模式図。 第１の実施形態に係る複合現実画像の第２の表示例を示す模式図。 第２の実施形態に係る医用画像診断システムの一例を示す概念的な構成図。 第２の実施形態に係る複合現実画像の表示例を示す模式図。 第３の実施形態に係る医用画像診断システムの一例を示す概念的な構成図。 第３実施形態に係る医用画像診断システムの機能構成例を示す機能ブロック図。 第３の実施形態に係る医用画像診断システムの動作の一例を示すフローチャート。

以下、医用画像診断システム及び複合現実画像生成装置の各実施形態について図面を参照して説明する。

［第１の実施形態］
（１）構成
図１は、第１の実施形態に係る医用画像診断システムの一例を示す概念的な構成図である。図１に示すように医用画像診断システム１Ａは、Ｘ線診断装置１０、複合現実画像生成装置４０ａ、及び複合現実画像表示装置５０を備える。

ここで、複合現実画像とは、複合現実空間内の物体を描出した画像である。なお、複合現実空間とは、現実空間と仮想空間とを融合させて、現実空間の物体と仮想空間の物体とがリアルタイムで影響しあう新たな空間のことである。例えば、被検体の治療対象を被検体の医用画像から特定された仮想空間上の物体とし、検査室に存在する被検体を現実空間における物体とする。この場合、複合現実空間は、現実空間の被検体と仮想空間上の治療対象との関係をリアルタイムに示す空間である。従って、複合現実画像とは、例えば、リアルタイムで順次生成されて更新される被検体画像に対して、被検体の治療対象位置が重畳された画像である。

複合現実画像生成装置４０ａは、検査室に設置されてもよいし、検査室に隣接する制御室に設置されてもよい。複合現実画像表示装置５０は、例えば、医師等のユーザＱが頭部に装着して使用される。

Ｘ線診断装置１０は、スキャナ２０及びコンソール３０を備える。スキャナ２０は、検査室に設置される。コンソール３０は、検査室又は制御室に設置される。

スキャナ２０は、コントローラ２１、アーム制御回路２２、寝台制御回路２３、高電圧電源２４、Ｘ線検出器２５、Ｃアーム２６、Ｘ線管２７、天板２８、及び寝台２９を備える。

コントローラ２１は、不図示のＣＰＵ（Central Processing Unit）などのプロセッサ及びメモリを備える。コントローラ２１は、アーム制御回路２２、寝台制御回路２３、高電圧電源２４、及びＸ線検出器２５を制御し、撮像動作を統括する。

また、コントローラ２１は、アーム制御回路２２及び寝台制御回路２３を介して、Ｘ線検出器２５、Ｃアーム２６、Ｘ線管２７、天板２８、及び寝台２９などのスキャナ２０を構成する各装置の配置状態を制御する。

ここで配置状態とは、スキャナ２０を構成する各装置のモダリティ座標系における位置のことである。コントローラ２１は、スキャナ２０を構成する各装置の撮像時におけるモダリティ座標を記憶する。

ここでモダリティ座標系とは、Ｘ線診断装置１０の装置座標系のことである。ここでは一例としてモダリティ座標系のｘ軸、ｙ軸、ｚ軸を以下のように定義する。即ち、鉛直方向をｙ軸方向とし、ｙ軸方向に垂直であって、天板２８の長軸方向に平行な方向をｚ軸方向とし、これらｙ軸方向及びｚ軸方向に垂直な方向をｘ軸方向とする。

アーム制御回路２２は、コントローラ２１の制御の下、被検体Ｐの撮像領域に応じてＣアーム２６を移動及び回転させる。

寝台制御回路２３は、コントローラ２１の制御の下、天板２８及び寝台２９を移動させる。

高電圧電源２４は、コントローラ２１の制御の下、Ｘ線の照射に必要な電力をＸ線管２７に供給する。

Ｘ線検出器２５は、天板２８上に載置された被検体Ｐを間に挟んでＣアーム２６の一端に設けられたＸ線管２７に対向するように、Ｃアーム２６の他端に設けられる。Ｘ線検出器２５及びＸ線管２７は、アーム制御回路２２からの指令によるＣアーム２６の動作により一体的に移動及び回転する。

Ｘ線検出器２５は、例えば、不図示のマトリクス状に配列された多数のＸ線検出素子によって、被検体Ｐを透過したＸ線を検出する。各Ｘ線検出素子で検出されたＸ線信号は、電気信号に変換され投影データとしてコントローラ２１を介してコンソール３０に送信される。

なお、図１では、Ｃアーム２６がＸ線管２７を天板２８の下方、即ち、床面側に位置するように支持するアンダーチューブタイプの場合を例示したが、これは一例に過ぎない。Ｃアーム１６は、Ｘ線管２７を天板２８の上方、即ち、天井側に位置するよう支持するオーバーチューブタイプであってもよい。

また、図１では、撮像系がＣアーム２６のみであるシングルプレーンシステムのＸ線診断装置１０を示すが、これは一例に過ぎない。Ｘ線診断装置１０は、２つの撮像系を備えるバイプレーンシステムで構成されてもよい。バイプレーンシステムは、例えば、撮像系としてＣアームを２つ備え、被検体Ｐを２方向から同時に撮像できる。

Ｘ線管２７は、高電圧電源２４から供給される高電圧によりＸ線を発生させる。Ｘ線管２７から放射されるＸ線は、被検体Ｐの所定部位に向かって照射される。Ｘ線管２７のＸ線の出射側には、例えば、複数枚の鉛羽で構成されるＸ線照射野絞りや、シリコンゴム等で形成された補償フィルタ等の照射調整機構が設けられる（図示せず）。

寝台２９は、床面に設置され天板２８を支持する。天板２８は、寝台制御回路２３の制御の下、鉛直方向であるｙ軸に垂直なｘｚ面内方向を水平移動し、ｙ軸方向に上下移動する。なお、医用画像診断システム１Ａにおいて、天板２８は、手術台としての機能も有する。

コンソール３０は、コントローラ２１から入力された投影データを再構成処理してＸ線画像を生成する。コンソール３０は、処理回路３１、記憶回路３２、入力回路３３、及びディスプレイ３４を備える。

処理回路３１は、共通信号伝送路としてのバスを介して、コンソール３０を構成する各ハードウェア構成要素に相互接続されている。なお、コンソール３０は、記憶媒体ドライブを具備する場合もある。

処理回路３１は、専用のハードウェアで構成してもよいし、内蔵のプロセッサによるソフトウェア処理で後述する各種機能を実現するように構成してもよい。ここでは一例として、処理回路３１がプロセッサによるソフトウェア処理によって各種機能を実現する場合について説明する。

なお、上記説明におけるプロセッサとは、専用又は汎用のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）、プログラマブル論理デバイス、及びフィールドプログラマブルゲートアレイ（ＦＰＧＡ：Field Programmable Gate Array）などの回路を意味する。上記プログラマブル論理デバイスとしては、例えば、単純プログラマブル論理デバイス（ＳＰＬＤ：Simple Programmable Logic Device）、複合プログラマブル論理デバイス（ＣＰＬＤ：Complex Programmable Logic Device）などが挙げられる。処理回路３１は、記憶回路３２に記憶されたプログラム又は処理回路３１のプロセッサ内に直接組み込まれたプログラムを読み出し実行することで、各機能を実現する。

また、処理回路３１は、単一のプロセッサによって構成されてもよいし、複数の独立したプロセッサの組み合わせによって構成されてもよい。後者の場合、複数のプロセッサに夫々対応する複数の記憶回路３２が設けられると共に、各プロセッサにより実行されるプログラムが当該プロセッサに対応する記憶回路に記憶される構成でもよい。別の例としては、１個の記憶回路３２が複数のプロセッサの各機能に対応するプログラムを一括的に記憶する構成でもよい。

記憶回路３２は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、ハードディスク、光ディスクなどによって構成される。記憶回路３２は、ＵＳＢ（Universal Serial Bus）メモリ及びＤＶＤ（Digital Video Disk）などの可搬型メディアを着脱自在な回路として構成されてもよい。記憶回路３２は、処理回路３１において実行される各種プログラムの他、ＯＳ（Operating System）等のプログラムの実行に必要なデータ及び画像データを記憶する。また、記憶回路３２は、ＯＳを制御するための各種コマンドや、入力回路３３からの入力を支援するＧＵＩ（Graphical User Interface）のプログラムを記憶してもよい。

入力回路３３は、例えば、キーボード、マウス、ジョイスティック又はトラックボール等の入力デバイスを含む。入力回路３３は、入力デバイスを介して操作者により入力された入力信号を処理回路３１に出力する。ユーザＱは、入力回路３３を介してＸ線画像に関心領域（Region Of Interest：以下、ＲＯＩと略記する）を設定する。ＲＯＩは、異常が観察される部位や治療対象位置を含む医用画像上の領域のことである。

ディスプレイ３４は、液晶ディスプレイパネル、プラズマディスプレイパネル、及び有機ＥＬ（Electro Luminescence）パネル等の表示デバイスである。ディスプレイ３４は、処理回路３１の制御に従ってＸ線画像を表示する。

複合現実画像生成装置４０ａは、コンソール３０及び複合現実画像表示装置５０に有線又は無線で接続される。複合現実画像生成装置４０ａは、コンソール３０及び複合現実画像表示装置５０からの入力内容に応じて複合現実画像を生成する。

複合現実画像生成装置４０ａは、処理回路４１ａ及び記憶回路４２を備える。処理回路４１ａ及び記憶回路４２のハードウェア構成は、コンソール３０の処理回路３１及び記憶回路３２と同様でよいので詳細な説明を省略する。

なお、図１では、複合現実画像表示装置５０とは別体として複合現実画像生成装置４０ａが設けられる例を示したが、複合現実画像生成装置４０ａは、複合現実画像表示装置５０と一体的に構成されてもよい。例えば、複合現実画像生成装置４０ａの機能を全て搭載した集積回路（ＩＣ：integrated circuit）チップを複合現実画像表示装置５０が備えてもよい。この場合、複合現実画像表示装置５０は、コンソール３０に無線又は有線で接続される。

複合現実画像表示装置５０は、複合現実画像生成装置４０ａで生成された複合現実画像を表示する。

以下、複合現実画像表示装置５０がビデオシースルータイプのヘッドマウントディスプレイ（Head Mounted Display：以下、ＨＭＤと略記する）である場合を例として説明する。

図２は、第１の実施形態に係る医用画像診断システム１Ａの機能構成例を示すブロック図である。図２に示すように、複合現実画像表示装置５０は、位置姿勢センサ５１、カメラ５２、及びディスプレイ５３を備えるＨＭＤである。複合現実画像表示装置５０は、例えば、メガネ、ゴーグル又はヘルメットのようにユーザＱの頭部に装着可能に構成されている。

位置姿勢センサ５１は、磁気センサ、ジャイロセンサ又は超音波センサのうち少なくとも１つで構成される。位置姿勢センサ５１は、複合現実画像表示装置５０の位置及び姿勢をリアルタイムに検出する。ここでの姿勢とは、複合現実画像表示装置５０の傾きであり、例えば、複合現実画像表示装置５０の第１の基準点、第２の基準点とを結ぶ直線の方向で規定することができる。ここでは一例として、後述の表示装置座標系におけるＲＸｄ軸周りの角度と、ＲＹｄ軸周りの角度と、ＲＺｄ軸周りの角度とで、複合現実画像表示装置５０の姿勢が規定されるものとする。なお、位置姿勢センサ５１は、複合現実画像表示装置５０の位置及び姿勢をリアルタイムで検出可能であれば、位置及び姿勢の検出方法は特定の方法に限定されるものではない。

位置姿勢センサ５１が磁気センサで構成される場合、磁気センサは、検査室内に設置されたトランスミッタが発生させた磁界の変化を検出する。トランスミッタ及び磁気センサは、夫々３方向の直交コイルで構成されており、トランスミッタの３つのコイルが順に励磁されると、磁気センサの３つのコイルには起電力が順次発生する。この磁気センサの各コイルの起電力を計測することで、複合現実画像表示装置５０の検査室内における位置と姿勢（向き）が検出される。即ち、磁気センサの３つのコイルに対応する３軸により複合現実画像表示装置５０の位置が検出され、当該３軸を夫々中心とした回転方向によって現実画像表示装置５０の姿勢が検出される。

カメラ５２は、ユーザＱの視点から見た被検体Ｐのカメラ画像をリアルタイムで取得する。カメラ５２は、カメラの光軸とユーザＱの視線方向とが一致するように設けられる。また、カメラ５２は、１対で構成され、ユーザＱの左右の目の視野を夫々別々に取得してもよい。

ディスプレイ５３は、複合現実画像表示装置５０がユーザＱの頭部に装着されたときにユーザＱの眼前に位置し、ユーザＱの視野を覆うように構成されている。例えば、ユーザの目を完全に覆う没入型のＨＭＤでは、眼前だけではなく、目の横や上下にもディスプレイが設けられる場合がある。また、ＨＭＤには、片方の目にディスプレイが設けられた単眼型の場合もある。このように、ディスプレイ５３は、ユーザＱの視野を含む位置に配置される。ディスプレイ５３は、液晶ディスプレイなどの表示デバイスで構成される。ディスプレイ５３は、左右の目に夫々対応するディスプレイに夫々異なる画像を表示し、視差効果により奥行方向が表現された視差画像を表示する。

ＨＭＤには、光学シースルータイプとカメラシースルータイプとがある。光学シースルータイプは、ディスプレイが透明又は半透明で、ユーザＱは、ディスプレイを介して直接的に前方を観察できる。一方、ビデオシースルータイプは、ディスプレイが不透明で、カメラ５２により取得されたカメラ画像をディスプレイに表示する。ユーザＱは、ディスプレイに表示されたカメラ画像を介して間接的に前方を観察できる。ここでの前方とは、ディスプレイを基準としてユーザＱの両目とは反対側であるディスプレイの前方のことである。

コンソール３０の処理回路３１は、画像再構成機能３１１及びＲＯＩ設定機能３１２を実現する。画像再構成機能３１１及びＲＯＩ設定機能３１２は、記憶回路３２に格納されているプログラムを処理回路３１のプロセッサが実行することによって実現される機能である。

画像再構成機能３１１は、スキャナ２０のコントローラ２１から入力された投影データに基づいてＸ線画像を再構成する。再構成されたＸ線画像は、ディスプレイ３４に表示される。

また、画像再構成機能３１１は、被検体ＰのＸ線画像を撮像した時のスキャナ２０を構成する各装置の配置状態を取得する。なお、配置状態は、投影データの付帯情報として投影データと共に画像再構成機能３１１に入力されてもよいし、投影データと関連付けされた別のデータとして投影データと共に画像再構成機能３１１に入力されてもよい。

更に、画像再構成機能３１１は、再構成されたＸ線画像の付帯情報に配置状態を付与してもよい。即ち、再構成されたＸ線画像は、付帯情報として当該Ｘ線画像の撮像時におけるスキャナ２０を構成する各装置のモダリティ座標を有する。

ＲＯＩ設定機能３１２は、Ｘ線画像にＲＯＩを設定する。ＲＯＩは、例えば、ディスプレイ３４に表示されたＸ線画像に基づいてユーザＱにより入力される。ＲＯＩ設定機能３１２は、入力回路３３を介してユーザＱによるＲＯＩの入力を受け付け、当該ＲＯＩをＸ線画像に設定する。

なお、ＲＯＩの設定は、ユーザＱの入力には限定されない。例えば、ＲＯＩ設定機能３１２は、画像処理技術を用いてＸ線画像上の異常領域を自動抽出してもよい。また、１つの画像に複数のＲＯＩが設定されてもよい。ＲＯＩ設定機能３１２は、ＲＯＩが設定されたＸ線画像を記憶回路３２に格納する。

複合現実画像生成装置４０ａの処理回路４１ａは、ＲＯＩ位置特定機能４１１ａ、位置姿勢特定機能４１２ａ、変換機能４１３ａ、及び複合現実画像生成機能４１４ａを実現する。ＲＯＩ位置特定機能４１１ａ、位置姿勢特定機能４１２ａ、変換機能４１３ａ、及び複合現実画像生成機能４１４ａは、記憶回路４２に格納されているプログラムを処理回路４１ａのプロセッサが実行することによって実現される機能である。

ＲＯＩ位置特定機能４１１ａは、ＲＯＩが設定されたＸ線画像をコンソール３０から取得する。Ｘ線画像は、当該Ｘ線画像が撮像された時のスキャナ２０を構成する各装置のモダリティ座標を有する。ＲＯＩ位置特定機能４１１ａは、Ｘ線画像が撮像された時のスキャナ２０を構成する各装置のモダリティ座標に基づいて、モダリティ座標系におけるＲＯＩの３次元位置を特定する。ＲＯＩ位置特定機能４１１ａにおけるＲＯＩの３次元位置の特定方法の詳細については後述の図４で説明する。

位置姿勢特定機能４１２ａは、位置姿勢センサ５１で検出された検出信号に基づいて、検査室内における複合現実画像表示装置５０の位置及び姿勢（方向）を特定する。位置姿勢特定機能４１２ａにより特定される複合現実画像表示装置５０の位置及び姿勢の詳細については後述の図５で説明する。

変換機能４１３ａは、ＲＯＩ位置特定機能４１１ａにより特定されたモダリティ座標系におけるＲＯＩの３次元位置を、複合現実画像表示装置５０の位置及び姿勢に基づいてスクリーン座標系における位置に変換する。

ここでスクリーン座標系とは、３次元の座標系で示された座標を２次元の表示装置に表示するための２次元座標系のことである。スクリーン座標系のＸｓ軸、Ｙｓ軸は、例えば、ディスプレイ５３の表示面と平行であって、ディスプレイ５３の中心位置を原点とした直交座標系で表される。変換機能４１３ａでのモダリティ座標系におけるＲＯＩの３次元位置のスクリーン座標系への変換方法の詳細については、後述の図５で説明する。

複合現実画像生成機能４１４ａは、スクリーン座標系における位置に変換されたＲＯＩの位置をカメラ５２で取得されたカメラ画像に重畳することで、複合現実画像を生成する。複合現実画像生成機能４１４ａで生成される複合現実画像の詳細については、後述の図６及び図７で説明する。

（２）動作
図３は、第１の実施形態に係る医用画像診断システム１Ａの動作の一例を示すフローチャートである。以下、図３のフローチャートのステップ番号に従って、第１の実施形態に係る医用画像診断システム１Ａの動作について図４を適宜参照しつつ説明する。

図３のフローチャートでは、医用画像診断システム１Ａが導入された手術室において、医師であるユーザＱが被検体Ｐの心臓を手術する場合を例として説明する。例えば、ユーザＱは、複合現実画像に表示された被検体ＰのＲＯＩの位置に基づいて被検体Ｐの切開位置を特定する。

ステップＳＴ１０１において、Ｘ線診断装置１０のスキャナ２０は、天板２８に載置された被検体Ｐを互いに異なる２方向から撮像し、第１のＸ線画像及び第２のＸ線画像の各投影データを生成する。画像再構成機能３１１は、スキャナ２０で生成された投影データに基づいて、第１のＸ線画像の画像データ及び第２のＸ線画像の画像データを生成する。夫々のＸ線画像は、同一被検体の同一部位を互いに異なる方向から撮像した画像である。即ち、夫々のＸ線画像が付帯するスキャナ２０を構成する各装置の配置状態は、第１のＸ線画像と第２のＸ線画像とで夫々異なる。

ステップＳＴ１０２において、ユーザＱは、第１のＸ線画像及び第２のＸ線画像の夫々にＲＯＩを設定する。

ステップＳＴ１０３において、ＲＯＩ位置特定機能４１１ａは、第１のＸ線画像及び第２のＸ線画像に設定されたＲＯＩと、第１のＸ線画像及び第２のＸ線画像が撮像された時のスキャナ２０を構成する各装置の配置状態とに基づいて、モダリティ座標系におけるＲＯＩの３次元位置を特定する。ＲＯＩの３次元位置は、例えば、ＲＯＩの中心位置のモダリティ座標系における３次元的な座標で示される。以下、モダリティ座標系におけるＲＯＩの中心位置を示す３次元座標を、ＲＯＩの３次元位置と称する。

図４は、ＲＯＩの３次元位置を特定する方法を説明する模式図である。図４は、被検体Ｐの心臓をスキャナ２０で２方向から撮像した場合におけるモダリティ座標系でのＲＯＩの３次元位置を特定する方法を模式的に示した図である。図４は、心臓の冠動脈血管の一部に閉塞が生じ、閉塞した冠動脈血管の一部がＲＯＩに含まれる場合を例として示している。図４の左側は、第１のＸ線画像を示しており、図４の下部は、第２のＸ線画像を示している。

第１のＸ線画像には、当該第１のＸ線画像上に観察される閉塞した冠動脈血管の一部を含むＲＯＩ１が設定される。同様に第２のＸ線画像には、当該第２のＸ線画像上に観察される閉塞した冠動脈血管の一部を含むＲＯＩ２が設定される。

第１のＸ線画像の付帯情報には、第１のＸ線画像の撮像時におけるＸ線管２７及びＸ線検出器２５のモダリティ座標が夫々含まれる。同様に、第２のＸ線画像の付帯情報には、当該第２のＸ線画像の撮像時におけるＸ線管２７及びＸ線検出器２５のモダリティ座標が夫々含まれる。スキャナ２０を構成する各装置のモダリティ座標は、例えば、各装置の重心の位置を示す。

モダリティ座標系におけるＲＯＩの中心位置の３次元的な座標は、第１のＸ線画像及び第２のＸ線画像から、例えば、以下のように特定される。ＲＯＩ位置特定機能４１１ａは、第１の撮像時におけるＸ線検出器２５のモダリティ座標に基づいて、第１のＸ線画像に設定されたＲＯＩの中心位置のモダリティ座標を特定する。同様に、ＲＯＩ位置特定機能４１１ａは、第２の撮像時におけるＸ線検出器２５のモダリティ座標に基づいて、第２のＸ線画像に設定されたＲＯＩの中心位置のモダリティ座標を特定する。

第１のＸ線画像に設定されたＲＯＩ１の中心位置を示すモダリティ座標と、第１の撮像時のＸ線管２７の重心位置を示すモダリティ座標とを結んだ直線を直線Ｌ１とする。第２のＸ線画像に設定されたＲＯＩ２の中心位置を示すモダリティ座標と、第２の撮像時のＸ線管２７の重心位置を示すモダリティ座標とを結んだ直線を直線Ｌ２とする。この場合、直線Ｌ１と直線Ｌ２との交点であるＲＯＩの中心位置ＣＲがＲＯＩの３次元位置として特定される。

このように、モダリティ座標系におけるＲＯＩの３次元位置は、Ｘ線画像が撮像された時のスキャナ２０を構成する各装置のモダリティ座標から幾何学的に特定できる。

なお、図４では、説明を簡略化するためＸ線画像のサイズがＸ線検出器２５の検出面のサイズと同じである場合を例として説明したが、Ｘ線画像のサイズについては図４の態様には限定されない。Ｘ線画像のサイズがＸ線検出器２５の検出面のサイズより小さい場合であってもＲＯＩ位置特定機能４１１ａは、ＲＯＩの３次元位置を特定できる。

例えば、Ｘ線検出器２５の検出面の一部をＸ線の検出範囲とする撮像条件が設定される場合がある。撮像条件は、Ｘ線画像の画像データの付帯情報に含まれる。また、Ｘ線画像撮像時のＸ線検出器２５の中心位置を示すモダリティ座標は、Ｘ線画像の画像データの付帯情報に含まれる。ＲＯＩ位置特定機能４１１ａは、Ｘ線検出器２５の中心位置とＸ線検出器２５の検出範囲とからＸ線画像に設定されたＲＯＩの中心位置のモダリティ座標を算出できる。特定された第１のＸ線画像及び第２のＸ線画像のＲＯＩの夫々の中心位置と、夫々の撮像時のＸ線管２７の重心位置とを結ぶ直線Ｌ１、Ｌ２に基づいて、モダリティ座標系におけるＲＯＩの中心位置ＣＲを特定できる。

図３に戻って、フローチャートの説明を続ける。

ステップＳＴ１０４において、位置姿勢特定機能４１２ａは、位置姿勢センサ５１で検出された検出信号に基づいて、カメラ画像撮像時の複合現実画像表示装置５０の位置及び姿勢を特定する。

ステップＳＴ１０５において、変換機能４１３ａは、複合現実画像表示装置５０の位置及び姿勢に基づいて、モダリティ座標系におけるＲＯＩの３次元位置をスクリーン座標系における位置に変換する。

ステップＳＴ１０６において、複合現実画像生成機能４１４ａは、カメラ５２から取得されたカメラ画像に対してスクリーン座標系での位置に変換されたＲＯＩの位置が重畳された複合現実画像を生成する。なお、カメラ画像は、位置姿勢センサ５１により複合現実画像表示装置５０の位置及び姿勢が検出された時の画像である。複合現実画像表示装置５０は、カメラ５２のフレームレートと位置姿勢センサ５１からの検出信号の測定間隔とを同期させるよう構成されてもよいし、カメラ画像と検出信号とを時間で関連付けて記録するように構成されてもよい。

ステップＳＴ１０７において、ディスプレイ５３は、複合現実画像を表示する。

ステップＳＴ１０８において、複合現実画像表示装置５０は、複合現実画像の表示を終了するか否かを判定する。複合現実画像の表示を終了する場合、ＹＥＳの方向に分岐し、表示終了処理が実行される。一方、複合現実画像の表示を継続する場合、ＮＯの方向に分岐し、ステップＳＴ１０４に戻ってステップＳＴ１０４〜ＳＴ１０７の処理が再実行される。

このように、複合現実画像の表示が終了されない限り、ステップＳＴ１０４〜ＳＴ１０７の処理が繰り返し実行され、複合現実画像表示装置５０の位置及び姿勢に応じて複合現実画像が更新表示され続ける。なお、複合現実画像の更新タイミングは、一定間隔であってもよいし、カメラ画像のフレームレートや位置姿勢センサ５１の検出間隔に同期していてもよい。また、複合現実画像表示装置５０の位置及び姿勢が変化する度に複合現実画像が更新されるよう複合現実画像生成装置４０ａを構成してもよい。

以上がフローチャートの説明である。以下、複合現実画像の生成方法について図５を用いて補足する。

図５は、複合現実画像を生成する方法を説明する模式図である。図５の上段左側は、複合現実画像表示装置５０の座標系である表示装置座標系を示している。図５の上段中央は、検査室座標系を示している。図５の上段右側は、モダリティ座標系を示している。図５の中段左側は、カメラ５２で取得されたカメラ画像ＩＭＧ１を示している。図５の中段右側は、スクリーン座標系を示している。図５の下段は、カメラ画像ＩＭＧ１にＲＯＩの中心位置ＣＲを重畳した複合現実画像ＩＭＧ２を示している。

表示装置座標系は、位置姿勢センサ５１の検出信号に基づいて特定された複合現実画像表示装置５０の位置及び姿勢を示す座標系である。表示装置座標系のＸｄ軸、Ｙｄ軸、Ｚｄ軸は、例えば、位置姿勢センサ５１を構成する磁気センサの直交コイルの各軸に夫々対応し、複合現実画像表示装置５０の重心を原点とした直交座標系で表される。また、位置姿勢センサ５１は、Ｘｄ軸、Ｙｄ軸、Ｚｄ軸に加えて、Ｘｄ軸を中心とした回転方向ＲＸｄ、Ｙｄ軸を中心とした回転方向ＲＹｄ、Ｚｄ軸を中心とした回転方向ＲＺｄを検出する。

検査室座標系は、例えば、検査室内の所定位置を原点とする３次元座標系であり、その３軸をＸｅ軸、Ｙｅ軸、Ｚｅ軸とする。ここで、位置姿勢センサ５１が例えば磁気センサで構成される場合、検査室内には、不図示の磁場発生装置（トランスミッタ）が配置される。ここでは一例として、トランスミッタの位置を検査室座標系の原点とする。また、ここでは説明の簡略化のため、検査室座標系と表示装置座標系とは、原点位置の違いを除き、３軸の方向が同じであるものとする。即ち、Ｙｅ軸は鉛直下方向である。Ｚｅ軸は、検査室に設置された寝台２９の天板２８の基準位置（電源オフ時の位置）における長手方向である。Ｘｅ軸は、これらＹｅ軸及びＺｅ軸に垂直な方向である。

表示装置座標系、検査室座標系、及びモダリティ座標系は、３次元座標系である。それに対して、スクリーン座標系は、２次元座標系である。変換機能４１３ａは、モダリティ座標系により３次元座標で表されるＲＯＩの中心位置ＣＲを、カメラ画像ＩＭＧ１に重畳するため、２次元座標であるスクリーン座標系における位置に変換する。

モダリティ座標系で示されたＲＯＩの中心位置ＣＲをスクリーン座標系における位置に変換する方法は、例えば、以下の通りである。変換機能４１３ａは、モダリティ座標系におけるＲＯＩの中心位置ＣＲと、表示装置座標系における複合現実画像表示装置５０の位置とを、検査室空間全体を示す検査室座標系に夫々変換する。モダリティ座標系又は表示装置座標系から検査室座標系への変換には、例えば、アフィン変換などの公知の幾何学的な変換処理を適用すればよい。

表示装置座標系における複合現実画像表示装置５０の位置は、位置姿勢センサ５１で検出された検出信号に基づいて位置姿勢特定機能４１２ａにより特定される。複合現実画像表示装置５０の位置は、トランスミッタと位置姿勢センサ５１との相対的な位置関係に基づいて特定される。

また、複合現実画像表示装置５０の使用開始時に、ユーザＱが複合現実画像表示装置５０の検査室座標系における初期位置を登録できるように医用画像診断システム１Ａを構成してもよい。また、複合現実画像生成装置４０ａの記憶回路４２は、例えば、検査室座標系におけるモダリティ座標系の原点の位置を予め記憶していてもよい。

位置姿勢特定機能４１２ａは、位置姿勢センサ５１からの検出信号に基づいて複合現実画像表示装置５０の姿勢を特定する。変換機能４１３ａは、検査室座標系における複合現実画像表示装置５０の位置を視点位置とし、複合現実画像表示装置５０の姿勢からユーザＱの視線方向を特定する。変換機能４１３ａは、特定された視点位置及び視線方向に基づいて、検査室座標系におけるＲＯＩの中心位置ＣＲをスクリーン座標系に投影する。スクリーン座標系への投影処理により、３次元座標で表されたＲＯＩの中心位置ＣＲは、２次元座標であるスクリーン座標系における位置に変換される。

複合現実画像生成機能４１４ａは、変換機能４１３ａによりスクリーン座標系に変換されたＲＯＩの中心位置ＣＲをカメラ画像ＩＭＧ１に重畳することで、複合現実画像ＩＭＧ２を生成する。カメラ画像ＩＭＧ１は、検査室内の天板２８に対して仰臥位で載置された被検体Ｐをリアルタイムに撮像した画像である。複合現実画像生成機能４１４ａは、スクリーン座標系で示されたＲＯＩの中心位置ＣＲをディスプレイ５３の描画領域のサイズに適合させてカメラ画像ＩＭＧ１に重畳し、複合現実画像ＩＭＧ２を生成する。

図６は、第１の実施形態に係る複合現実画像の第１の表示例を示す模式図である。図６は、天板２８に対して仰臥位で載置された被検体Ｐを観察するユーザＱに装着された複合現実画像表示装置５０に表示される複合現実画像を夫々示している。図６では、図４と同様に、被検体ＰのＲＯＩは、心臓の冠動脈血管の一部である。

図６の上段の複合現実画像ＩＭＧ２は、ユーザＱの視線方向が検査室座標系のＹｅ軸方向に一致する場合の表示である。図６の下段の複合現実画像ＩＭＧ３は、ユーザＱの視線方向が検査室座標系のＸｅ軸方向に一致する場合の表示である。即ち、複合現実画像ＩＭＧ２は、天板２８に対して仰臥位で載置された被検体Ｐを腹側から見た場合であり、複合現実画像ＩＭＧ３は、ユーザＱが当該被検体Ｐを脇腹側から見た場合の複合現実画像を夫々示している。

複合現実画像ＩＭＧ２は、天板２８の横に位置するユーザＱが天板２８に対して仰臥位で載置された被検体Ｐの腹側を見下ろすように観察した場合の複合現実画像である。複合現実画像ＩＭＧ２上の丸印は、被検体Ｐの体内にあるＲＯＩの中心位置ＣＲを示すマークである。ＲＯＩの中心位置ＣＲを示すマークは、被検体Ｐをリアルタイムに撮像したカメラ画像に重畳されて表示される。

複合現実画像生成装置４０ａは、ディスプレイ５３に表示する複合現実画像をユーザＱの位置及び姿勢に応じて更新する。例えば、天板２８に対して仰臥位で載置された被検体Ｐをその脇腹側からユーザＱが観察した場合、複合現実画像ＩＭＧ３のように、ディスプレイ５３に表示される複合現実画像もユーザＱの位置姿勢の変化に合わせて更新される。複合現実画像ＩＭＧ３には、ＲＯＩの中心位置ＣＲを示すマークとして所定形状のシンボル画像がカメラ画像に重畳して表示される。このＲＯＩの中心位置ＣＲを示すマークは、被検体Ｐの体内におけるＲＯＩの中心位置ＣＲと一致する位置に表示される。

ＲＯＩの中心位置ＣＲを示すマークは、例えば、視差効果などにより、奥行方向の位置が分かるようにディスプレイ５３に表示される。ＲＯＩの中心位置ＣＲの奥行方向の位置が分かるように、そのマークをディスプレイ５３に画像表示する処理としては、例えば、視差効果を利用した公知の画像処理を用いればよいので、詳細な説明を省略する。そのため、ＲＯＩの中心位置ＣＲは、被検体Ｐの体内に当該ＲＯＩの中心位置ＣＲが実際に存在するかのような感覚でユーザＱに認識される。

このように、Ｘ線画像から特定された被検体Ｐの体内における３次元的なＲＯＩの位置が表示された複合現実画像により、ユーザＱは、被検体Ｐの治療対象位置を正確に認識できる。また、ユーザＱは、天板２８に載置された被検体ＰとＸ線画像上のＲＯＩの位置とを解剖学的知識などに基づいて脳裏で照合することなく、治療対象位置を視覚的に認識できる。ユーザＱは、複合現実画像上に表示されたＲＯＩの位置に基づいて、例えば、手術において適切な術野を確保しつつ、切開範囲を最小限に抑えることができる。

なお、図６の例では、ＲＯＩの中心位置ＣＲを示すマークを丸印で示したが、ＲＯＩの中心位置ＣＲを示すマークは、丸印には限定されない。ＲＯＩの中心位置ＣＲを示すマークは、十字や四角などのその他の図形であってもよい。また、複合現実画像生成機能４１４ａは、検査室内におけるユーザＱの位置とＲＯＩの中心位置ＣＲとの距離に応じてＲＯＩの中心位置ＣＲを示すマークの大きさを変化させてもよい。

例えば、複合現実画像ＩＭＧ２が被検体Ｐの腹部より上の部分を示しているのに対し、複合現実画像ＩＭＧ３は、被検体Ｐの胸部より上の部分を示している。即ち、複合現実画像ＩＭＧ３が表示される場合、ユーザＱと被検体Ｐとの距離は、複合現実画像ＩＭＧ２が表示される場合よりも短い。この場合、ＲＯＩの中心位置ＣＲを示すマークは、複合現実画像ＩＭＧ２の場合よりも大きく表示される。即ち、被検体Ｐの大きさとＲＯＩの中心位置ＣＲを示すマークの大きさとの関係が一定に保たれるように、ＲＯＩの中心位置ＣＲを示すマークを表示してもよい。

また、図６の例では、複合現実画像上にＲＯＩの中心位置ＣＲを表示する例を示したが、複合現実画像におけるＲＯＩの表示は、図６の態様には限定されない。

図７は、第１の実施形態に係る複合現実画像の第２の表示例を示す模式図である。図７の複合現実画像ＩＭＧ４は、複合現実画像ＩＭＧ２が表示された場合と同じ位置及び同じ方向からユーザＱが被検体Ｐを観察した場合に表示される複合現実画像を示している。即ち、複合現実画像ＩＭＧ４は、ＲＯＩの表示のみ複合現実画像ＩＭＧ２とは異なる。

複合現実画像ＩＭＧ４には、ＲＯＩの中心位置ＣＲに加えて、ＲＯＩの範囲を示すＲＯＩの枠ＦＲが表示される。また、複合現実画像ＩＭＧ４のＲＯＩの枠ＦＲ内には、Ｘ線画像上のＲＯＩの枠内の画像が示されている。なお、複合現実画像生成機能４１４ａは、ユーザＰの視線方向と、当該Ｘ線画像を撮像した時のＸ線管２７からのＸ線の照射方向とが一致する場合のみ、ＲＯＩの枠ＦＲ内にＸ線画像を重畳した複合現実画像を生成してもよい。

また、例えば、複合現実画像生成機能４１４ａは、血管の閉塞領域の両端が識別可能なＲＯＩを複合現実画像上に表示してもよい。例えば、血管の閉塞領域の両端を示すマークや閉塞血管領域の輪郭線等のアノテーションを、ＲＯＩの枠ＦＲと共にカメラ画像に重畳して表示してもよい。

更に、複合現実画像には、ＲＯＩの位置に加えて、手術で使用される器具や手術により被検体内に留置される器具の設置位置が表示されてもよい。例えば、複合現実画像生成機能４１４ａは、動脈瘤や閉塞部位を示すＲＯＩに加えて、動脈瘤や閉塞部位を治療するためのクリップや人工弁などの医療器具の留置予定位置が重畳された複合現実画像（の画像データ）を生成してもよい。また、人工心肺を利用せず、心拍動下で冠動脈を手術する際に用いられるスタビライザーなどの手術器具の配置位置が重畳されるように、複合現実画像生成機能４１４ａは、複合現実画像を生成してもよい。

このように、第１の実施形態によれば、被検体Ｐを切開する外科手術において、手術前や手術の進行中に被検体の治療対象の臓器や部位が露出していない場合でも、医師等のユーザＱは、複合現実画像により被検体Ｐの治療対象位置を視覚的に把握できる。ここでの「視覚的に」とは、被検体Ｐ側に視線を向けながら、メガネのように装着された複合現実画像表示装置５０のディスプレイ５３上の画像により確認できる、という意味である。

また、血管の閉塞などのように、切開しても治療対象の部位が外側からは認識できない場合でも、複合現実画像により治療対象位置を正確に認識できる。即ち、ユーザＱは、Ｘ線画像上の血管像と手術中の被検体の実際の血管とを解剖学的な知識に基づいて脳裏で照合せずとも、複合現実画像により、実際に被検体Ｐ側に目を向けながら、被検体Ｐ体内にある閉塞血管の位置を視覚的に認識できる。

また、図１では、１つの複合現実画像表示装置５０を示したが、医用画像診断システム１Ａは、複数の複合現実画像表示装置５０を備えてもよい。夫々の複合現実画像表示装置５０に表示される複合現実画像は、複合現実画像表示装置５０の位置及び姿勢に応じて異なる。即ち、複合現実画像生成装置４０ａは、被検体ＰのＲＯＩの位置を示した複合現実画像を複合現実画像表示装置５０を装着したユーザの位置及び姿勢に応じて夫々生成する。

手術には複数の医師や医療従事者が携わる。手術の参加者が複合現実画像表示装置５０を夫々装着することで、被検体ＰのＲＯＩの位置を共有することができる。それにより、手術を円滑かつ効率的に進行することができる。

図６及び図７では、複合現実画像上に１つのＲＯＩを表示する例を示したが、複合現実画像上に表示されるＲＯＩは複数であってもよい。例えば、ガンの手術では、ガン化した組織を完全に除去することで再発率を下げることができる。ガンが多臓器に転移している場合や、まばらに転移している場合、被検体ＰのＸ線画像には複数のＲＯＩが設定される。

例えば、ガンの切除が終わる度に切除したガンに一致するＲＯＩを複合現実画像上から削除する、或いは切除済みを示すマークを付与することで、切除漏れを回避しつつ、切除の度にガンの位置を医用画像上で確認する手間を省くことができる。

また、心臓は、拍動性がある臓器である。従って、被検体Ｐの体内において、心臓に設定されたＲＯＩに一致する治療対象位置は、心臓の拍動に応じて周期的に移動する。そこで、心電図計などの心臓の拍動を計測する計測機器を医用画像診断システム１Ａに対して設け、ＲＯＩの位置を心臓の拍動に同期させて複合現実画像上に表示するように複合現実画像生成装置４０ａを構成してもよい。このように、複合現実画像生成装置４０ａは、ＲＯＩが設定された臓器の性質に応じて、被検体Ｐの体内に実際にＲＯＩが存在するように見える複合現実画像を生成する。

第１の実施形態では、複合現実画像表示装置５０がビデオシースルータイプの場合を例として説明したが、複合現実画像表示装置５０は、光学シースルータイプであってもよい。光学シースルータイプの場合、ユーザＱは、透明なディスプレイ５３を介して被検体Ｐを観察する。ディスプレイ５３上にはＲＯＩの位置を示す画像が表示され、ユーザＱは、ＲＯＩの位置と被検体Ｐとを脳裏で重畳して見ることができる。

また、複合現実画像表示装置５０は、被検体Ｐを撮像するカメラ５２に代えて、ユーザＱの眼球運動を記録するカメラを備えてもよい。複合現実画像生成装置４０ａは、ユーザＱの眼球運動に基づいて左右の目で異なる画像を生成し、ＲＯＩの３次元位置の奥行方向の位置が視差効果により表現できるように構成されてもよい。

［第２の実施形態］
第１の実施形態では、Ｘ線診断装置１０を備えるＸ線診断システム１Ａの例を説明したが、Ｘ線診断システムが備えるモダリティは、Ｘ線診断装置１０には限定されない。以下、第２の実施形態として、Ｘ線ＣＴ（Computed Tomography）装置６０を備えるＸ線診断システム１Ｂについて説明する。なお、第１の実施形態と同様の構成については同一の符号を付し、重複する説明を省略する。

図８は、第２の実施形態に係る医用画像診断システム１Ｂの一例を示す概念的な構成図である。図８に示すように、医用画像診断システム１Ｂは、Ｘ線ＣＴ装置６０を備える。

Ｘ線ＣＴ装置６０は、スキャナ７０及びコンソール８０を備える。スキャナ７０は、検査室に設置され、例えば、被検体ＰのＸ線の投影データを収集する。一方、コンソール８０は、検査室に隣接する制御室に設置され、投影データから再構成画像を生成する。

Ｘ線ＣＴ装置６０は、１回（又は半回転＋α）の回転撮像で被検体Ｐの３次元領域のスキャンを実行することができる。このスキャンは、ボリュームスキャンと呼ばれ、ボリュームスキャンでは３次元画像データ（ボリュームデータ）を収集できる。

スキャナ７０は、コントローラ７１、回転制御回路７２、寝台制御回路７３、高電圧電源７４、及び回転架台７６を備える。

コントローラ７１は、不図示のＣＰＵ（Central Processing Unit）などのプロセッサ及びメモリなどを備える。コントローラ７１は、回転制御回路７２、寝台制御回路７３、及び高電圧電源７４を制御し撮像動作を統括する。コントローラ７１は、回転制御回路７２、寝台制御回路７３、及び高電圧電源７４を夫々制御することにより、回転架台７６を回転させつつ、被検体Ｐが載置された天板７８をｚ軸方向に進退させるヘリカルスキャンを実行する。

また、コントローラ７１は、回転制御回路７２及び寝台制御回路７３を介して、Ｘ線検出器７５、回転架台７６、Ｘ線管７７、天板７８、及び寝台７９などのスキャナ７０を構成する各装置の配置状態を制御する。更に、コントローラ７１は、スキャナ７０を構成する各装置の撮像時におけるモダリティ座標を記憶する。

ここでは一例としてＸ線ＣＴ装置６０のモダリティ座標系のｘ軸、ｙ軸、ｚ軸を以下のように定義する。即ち、鉛直方向をｙ軸方向とし、ｙ軸方向に垂直であって、天板７８の長軸方向に平行な方向をｚ軸方向とし、これらｙ軸方向及びｚ軸方向に垂直な方向をｘ軸方向とする。

回転制御回路７２は、コントローラ７１の制御の下、回転架台７６を不図示の固定架台に対して回転させる。

寝台制御回路７３は、コントローラ７１の制御の下、天板７８及び寝台７９を移動させる。

高電圧電源７４は、コントローラ７１の制御の下、Ｘ線の照射に必要な電力をＸ線管７７に供給する。

回転架台７６は、開口部を有する。また、回転架台７６は、Ｘ線検出器７５やＸ線管７７を一体として保持し、Ｘ線検出器７５とＸ線管７７とを対向させた状態で開口部内に存在する被検体Ｐの周りを一体的に回転させる。

Ｘ線管７７は、高電圧電源７４から供給された管電圧に応じて金属製のターゲットに電子線を衝突させることでＸ線を発生させ、Ｘ線をＸ線検出器７５に向かって照射する。Ｘ線管７７から照射されるＸ線によって、ファンビームＸ線やコーンビームＸ線が形成される。

Ｘ線検出器７５は、Ｘ線管７７から照射されたＸ線を検出する検出素子を複数備える。Ｘ線検出器７５は、例えば、多数の検出素子をチャネル方向及び列方向に沿ってマトリクス状に配列した２次元アレイ型の検出器である。２次元アレイ型の検出器は、マルチスライス型検出器とも呼ばれる。

寝台７９は、床面に設置され天板７８を支持する。天板７８は、コントローラ７１の制御の下、鉛直方向であるｙ軸に垂直なｘｚ面内方向を水平移動し、ｙ軸方向に上下移動する。

コンソール８０は、コントローラ７１から入力された投影データを再構成してＣＴ画像を生成する。スキャナ７０で収集された投影データがボリュームデータの場合、コンソール８０は、３次元画像データを再構成する。コンソール８０は、処理回路８１、記憶回路８２、入力回路８３、及びディスプレイ８４を備える。なお、処理回路８１、記憶回路８２、入力回路８３、及びディスプレイ８４のハードウェア構成は、第１の実施形態のコンソール３０の処理回路３１、記憶回路３２、入力回路３３、及びディスプレイ３４と同様でよいので詳細な説明を省略する。

第２の実施形態に係る医用画像診断システム１Ｂは、第１の実施形態の場合と同様の方法で複合現実画像を生成する。第１の実施形態において、処理回路４１ａ（のＲＯＩ位置特定機能４１１ａ）は、２つのＸ線画像に設定されたＲＯＩに基づいて、モダリティ座標系におけるＲＯＩの３次元位置を特定した。第２の実施形態では、Ｘ線ＣＴ装置６０で収集されるＣＴ画像が３次元画像データであるため、ＣＴ画像からＲＯＩの３次元位置が特定される。

ＣＴ画像の場合、ＲＯＩは、例えば、スライス画像（断層像）上で設定される。Ｘ線ＣＴ装置６０の撮像条件としてスライス厚が設定されており、ＲＯＩが設定されたスライス画像のスライス番号に基づいて３次元画像データ上のＲＯＩの位置を特定できる。３次元画像データ上のＲＯＩの位置は、例えば、３次元画像データのボクセルとして特定される。

また、Ｘ線ＣＴ装置６０にもモダリティ座標系が規定されており、処理回路４１ａ（のＲＯＩ位置特定機能４１１ａ）は、ＣＴ画像撮像時の回転架台７６の位置や天板７８の位置などのスキャナ７０を構成する各装置の配置状態に基づいて、モダリティ座標系におけるＲＯＩの３次元位置を特定できる。

例えば、天板７８及び回転架台７６の位置から被検体Ｐのモダリティ座標系における撮像開始位置が特定される。ＲＯＩが設定されたスライス画像のスライス番号とスライス厚とから、撮像開始位置からＲＯＩが設定されたスライス画像までの距離が特定できる。

図９は、第２の実施形態に係る複合現実画像の表示例を示す模式図である。図９の複合現実画像ＩＭＧ５は、図６の上段の複合現実画像ＩＭＧ２に示された被検体Ｐの体内にあるＲＯＩの位置を、ユーザＱが同じ位置及び同じ方向から観察した場合を示している。複合現実画像ＩＭＧ５は、ＲＯＩの表示のみ複合現実画像ＩＭＧ２と異なる。

複合現実画像ＩＭＧ４には、ＲＯＩの中心位置ＣＲに加えて、ＲＯＩを含む心臓ＨＥＲの画像が表示される。処理回路４１ａ（の複合現実画像生成機能４１４ａ）は、第１の実施形態と同様にして、複合現実画像ＩＭＧ４のようにＣＴ画像上で設定されたＲＯＩの周辺画像をカメラ画像に重畳してもよい。処理回路４１ａ（の複合現実画像生成機能４１４ａ）は、例えば、複合現実画像表示装置５０の位置及び姿勢に合わせてＲＯＩの周辺の画像を回転させてカメラ画像に重畳することで、複合現実画像を生成してもよい。

図９では、心臓ＨＥＲの表面に存在する冠動脈血管にＲＯＩの中心位置ＣＲが設定される場合を示したが、ＲＯＩは、臓器の内部に存在する場合もある。ＲＯＩが臓器の内部に位置する場合、処理回路４１ａ（の複合現実画像生成機能４１４ａ）は、ＲＯＩ内の臓器が所定の透過度で重畳された複合現実画像を生成してもよい。

また、処理回路４１ａ（の複合現実画像生成機能４１４ａ）は、例えば、腫瘍や動脈瘤などの治療対象部位の３次元的な形状をカメラ画像に重畳することで、複合現実画像を生成してもよい。例えば、腫瘍や動脈瘤などの治療対象部位は、ＣＴ画像において立体的な形状で特定される。処理回路４１ａ（の複合現実画像生成機能４１４ａ）は、特定された立体的な形状を、例えば、所定の透過度で被検体Ｐのカメラ画像に重畳し、複合現実画像を生成してもよい。

複合現実画像には、複合現実画像表示装置５０の位置及び姿勢に応じて腫瘍や動脈瘤などの治療対象部位の立体的な形状が表示される。そのため、治療対象部位が血管や他の臓器や組織の後ろに存在し、実際に見えない位置にある場合でも、ユーザＱは、複合現実画像により治療対象部位の立体的形状を視覚的に認識することができる。

このように、第２の実施形態においても、第１の実施形態と同様の効果が得られる。更に、第２の実施形態では、ＲＯＩやＲＯＩの周辺にある臓器の立体的な形状が複合現実画像上に描出されることで、ユーザは、ＲＯＩとＲＯＩを含む臓器との位置関係から適切な切開位置を特定することができる。

［第３の実施形態］
第１の実施形態及び第２の実施形態では、医用画像診断システムで撮像された医用画像にＲＯＩを設定し、当該ＲＯＩの位置をカメラ画像に重畳した複合現実画像の例を説明したが、複合現実画像上でのＲＯＩの位置の示し方は、この態様には限定されない。例えば、医用画像診断システムは、医用画像診断システム以外で撮像された医用画像に設定されたＲＯＩを利用して複合現実画像を生成してもよい。

第３の実施形態では、医用画像診断システムで撮像された医用画像と、医用画像診断システム以外の他の装置で撮像され、ＲＯＩが設定された医用画像とを位置合わせし、ＲＯＩの位置を複合現実画像上に表示する医用画像診断システム１Ｃの例を説明する。なお、第１の実施形態と同様の構成については同一の符号を付し、重複する説明を省略する。

（１）構成
図１０は、第３の実施形態に係る医用画像診断システム１Ｃの一例を示す概念的な構成図である。図１０に示すように、医用画像診断システム１Ｃは、第１の実施形態の医用画像診断システム１Ａの構成に加えて、画像保管通信システム（Picture Archiving and Communication Systems：以下、ＰＡＣＳと略記する）９０を更に備える。

ＰＡＣＳ９０は、モダリティにより得られた画像データを蓄積し、表示装置などの参照端末からの要求に応じて画像データを参照端末に送信するシステムである。ＰＡＣＳ９０には、過去に撮像された被検体Ｐの医用画像が保存されている。

ＰＡＣＳ９０は、複合現実画像生成装置４０ｃに、例えば、電子ネットワーク経由で接続され、複合現実画像生成装置４０ｃの要求に応じて画像データを送信する。

ここで、電子ネットワークとは、電気通信技術を利用した情報通信網全体を意味し、病院基幹ＬＡＮ、無線／有線ＬＡＮやインターネット網の他、電話通信回線網、光ファイバー通信ネットワーク、ケーブル通信ネットワーク、及び衛星通信ネットワークなどを含む。

図１１は、第３実施形態に係る医用画像診断システム１Ｃの機能構成例を示す機能ブロック図である。

複合現実画像生成装置４０ｃの処理回路４１ｃは、位置合わせ機能４１５ｃを実現する。位置合わせ機能４１５ｃは、記憶回路４２に格納されているプログラムを処理回路４１ｃのプロセッサが実行することによって実現される機能である。

位置合わせ機能４１５ｃは、Ｘ線診断装置１０のコンソール３０から被検体ＰのＸ線画像を取得する。また、位置合わせ機能４１５ｃは、ＰＡＣＳ９０から被検体ＰのＲＯＩ設定済みの医用画像を取得する。位置合わせ機能４１５ｃは、ＰＡＣＳ９０から被検体Ｐの画像診断や手術計画に利用された医用画像を取得する。画像診断や手術計画に利用された医用画像は、ＲＯＩが設定済みの３次元画像である。

被検体ＰのＸ線画像は、被検体Ｐを少なくとも１方向から撮像した画像データである。位置合わせ機能４１５ｃは、Ｘ線画像とＲＯＩ設定済みの医用画像とを位置合わせする。位置合わせは、例えば、パターンマッチングなどの画像処理により行われる。また、位置合わせの目印となるアルミなどの人工物を被検体Ｐに付着させた状態で、夫々の医用画像の撮像を行い、当該人工物に基づいて位置合わせを行ってもよい。

更に、ＲＯＩが設定済みの３次元画像は、被検体Ｐの撮像時の体位及び天板２８からＲＯＩの位置までの垂直方向の距離に関する情報項目を含んでもよい。医用画像診断システム１Ｃは、ＲＯＩが設定済みの３次元画像に含まれる体位から、天板２８とＲＯＩの位置とを結ぶ方向をモダリティ座標系の１つの軸方向に一致させてＸ線画像を撮像してもよい。

例えば、医用画像診断システム１Ｃ以外のモダリティにおいて、天板に対して仰臥位で載置された被検体Ｐを撮像した場合、医用画像診断システム１Ｃにおいても、被検体Ｐを天板２８に対して仰臥位で載置してＸ線画像を撮像する。この場合、天板２８とＲＯＩの位置とを結ぶ直線はｙ軸方向に一致するため、Ｘ線管２７とＸ線検出器２５とを結ぶ直線をｙ軸方向に一致させ、ｘｚ平面の画像を撮像する。これにより、１方向からのＸ線画像を取得するだけでよく、被曝量を低減できる。

なお、Ｘ線画像とＲＯＩ設定済みの医用画像との位置合わせは、従来技術と同様で良いため、詳細な説明を省略する。

（２）動作
図１２は、第３の実施形態に係る医用画像診断システムの動作の一例を示すフローチャートである。以下、図１２のフローチャートのステップ番号に従って、第３の実施形態に係る医用画像診断システム１Ｃの動作について説明する。なお、図３のフローチャートと同一の処理には同一の符号を付し、説明を省略する。

ステップＳＴ２０１において、Ｘ線診断装置１０は、天板２８に載置された被検体Ｐを所定の方向から撮像し、Ｘ線画像を取得する。

ステップＳＴ２０２において、位置合わせ機能４１５ｃは、ＰＡＣＳ９０からＲＯＩ設定済みの医用画像を取得する。

ステップＳＴ２０３において、位置合わせ機能４１５ｃは、Ｘ線画像とＲＯＩ設定済みの医用画像とを位置合わせする。ＲＯＩ位置特定機能４１１ａは、Ｘ線画像とＲＯＩ設定済みの医用画像とが位置合わせされた画像からＲＯＩの３次元位置を特定する。

ステップＳＴ１０４〜ＳＴ１０７における各処理により、ステップＳＴ２０４で特定されたＲＯＩの３次元位置をカメラ画像に重畳した複合現実画像が生成され、複合現実画像表示装置５０に表示される。

このように第３の実施形態においても、第１の実施形態と同様の効果が得られる。更に、第３の実施形態では、診断時に設定されたＲＯＩを利用するため、医用画像診断システム１Ｃで取得したＸ線画像にＲＯＩを設定する処理を省略できる。また、ＰＥＴ（Positron Emission Tomography）装置などの被検体の機能異常を画像化することで病巣を特定するモダリティで取得された医用画像を利用することもできる。

以上述べた少なくとも一つの実施形態の医用画像診断システム及び複合現実画像生成装置によれば、医用画像上で特定された被検体の治療対象位置を従来とは異なる方法で認識可能となる。

なお、請求項の用語と実施形態との対応関係は、例えば以下の通りである。実施形態のＸ線診断装置１０及びＸ線ＣＴ装置６０は、請求項記載の撮像部の一例である。また、実施形態のＲＯＩ位置特定機能４１１ａは、請求項記載の特定部の一例である。また、実施形態の複合現実画像生成機能４１４ａは、請求項記載の処理部の一例である。また、実施形態の位置合わせ機能４１５ｃは、請求項記載の位置合わせ部の一例である。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１Ａ、１Ｂ、１Ｃ…医用画像診断システム
４０ａ、４０ｃ…複合現実画像生成装置
５０…複合現実画像表示装置

Claims (12)

1. 照射機構から照射されて被検体を透過したＸ線を検出器によって検出することで前記被検体のＸ線画像を生成する撮像部と、
   ディスプレイ及び位置姿勢センサを有し、前記ディスプレイがユーザの視野に含まれるように前記ユーザの頭部に対して装着される表示部と、
   前記撮像部により生成された前記Ｘ線画像に対して設定された関心領域の位置と、前記Ｘ線画像の生成時の前記照射機構及び前記検出器の配置状態とに応じて、前記撮像部の設置室における前記関心領域の実際の３次元位置を特定する特定部と、
   前記位置姿勢センサによって検出される前記表示部の位置及び姿勢を前記表示部からリアルタイムで順次取得し、前記設置室における前記表示部の位置及び姿勢と、前記設置室における前記関心領域の実際の３次元位置とに応じて、前記ディスプレイと前記関心領域との位置関係に整合するように、前記設置室における前記関心領域の実際の３次元位置を前記ディスプレイ上で示す画像データを順次生成し、前記画像データを前記表示部に順次送信する処理部と、
   を備える医用画像診断システム。
2. 前記表示部は、前記ディスプレイを基準として前記ユーザの両目とは反対側である前記ディスプレイの前方領域を撮像することでカメラ画像を順次生成するカメラを更に備え、
   前記処理部は、前記カメラ画像を前記表示部から順次取得し、前記位置姿勢センサによって検出される前記表示部の位置及び姿勢に基づいて、前記設置室における前記関心領域の実際の３次元位置が前記カメラ画像に重畳された前記画像データを順次生成する、
   請求項１に記載の医用画像診断システム。
3. 前記処理部は、視差効果により前記設置室における前記関心領域の実際の３次元位置の奥行方向の位置が描出された前記画像データを生成する、
   請求項１又は請求項２に記載の医用画像診断システム。
4. 前記撮像部は、前記照射機構としてＸ線管を有し、
   前記特定部は、同一の前記被検体の同一領域が含まれるように前記Ｘ線管からのＸ線照射角度が互いに異なる少なくとも２つのＸ線画像に対して夫々設定された関心領域から、前記設置室における前記関心領域の実際の３次元位置を特定する、
   請求項１乃至３のいずれか１項に記載の医用画像診断システム。
5. 前記特定部は、前記Ｘ線管と、前記２つのＸ線画像に設定された関心領域とを結ぶ夫々の直線の交点に基づいて前記設置室における前記関心領域の実際の３次元位置を特定する、
   請求項４に記載の医用画像診断システム。
6. 少なくとも１つの前記Ｘ線画像と、他の装置で生成されて関心領域が設定された３次元医用画像とを位置合わせする位置合わせ部を更に備え、
   前記特定部は、前記位置合わせ部により位置合わせされた画像に基づいて前記設置室における前記関心領域の実際の３次元位置を特定する、
   請求項１乃至３のいずれか１項に記載の医用画像診断システム。
7. 前記特定部は、前記３次元医用画像の撮像時に前記被検体が載置された天板から前記３次元医用画像に設定された関心領域までの前記天板に垂直な方向の距離に基づいて、前記Ｘ線画像における前記関心領域の前記設置室における実際の３次元位置を特定する、
   請求項６に記載の医用画像診断システム。
8. 前記処理部は、前記画像データとして、前記関心領域の中心位置又は前記関心領域の範囲を示す所定形状のシンボル画像の画像データを順次生成する、
   請求項２乃至７のいずれか１項に記載の医用画像診断システム。
9. 前記処理部は、前記関心領域の範囲内の画像又は前記関心領域を含む周辺の画像を前記Ｘ線画像から抽出し、抽出した画像と、前記関心領域の位置を示す画像とが重畳された前記画像データを生成する、
   請求項２乃至７のいずれか１項に記載の医用画像診断システム。
10. 前記撮像部は、前記被検体が載置される天板の周りを回転可能なＣアームの一端側及び他端側に対して、前記照射機構の一部としてのＸ線管と、前記検出器とが夫々設けられたＸ線診断装置として構成される、
    請求項１乃至９のいずれか１項に記載の医用画像診断システム。
11. 前記撮像部は、前記被検体が載置される天板の周りを回転可能なガントリ内において、前記照射機構の一部としてのＸ線管及び前記検出器が互いに対向するように配置されたＸ線ＣＴ装置として構成される、
    請求項１乃至９のいずれか１項に記載の医用画像診断システム。
12. 照射機構から照射されて被検体を透過したＸ線を検出器によって検出することで前記被検体のＸ線画像を生成する撮像装置との通信及びユーザの頭部に装着されるヘッドマウントディスプレイとの通信を実行する複合現実画像生成装置であって、
    前記Ｘ線画像に対して設定された関心領域の位置と、前記Ｘ線画像の生成時の前記照射機構及び前記検出器の配置状態とを前記撮像装置から取得し、前記関心領域の位置と、前記配置状態とに応じて、前記撮像装置の設置室における前記関心領域の実際の３次元位置を特定する特定部と、
    前記ヘッドマウントディスプレイに内蔵された位置姿勢センサによって検出される前記ヘッドマウントディスプレイの位置及び姿勢を前記ヘッドマウントディスプレイから順次取得し、前記設置室における前記ヘッドマウントディスプレイの位置及び姿勢と、前記設置室における前記関心領域の実際の３次元位置とに応じて、前記ヘッドマウントディスプレイと前記関心領域との位置関係に整合するように、前記設置室における前記関心領域の実際の３次元位置を前記ヘッドマウントディスプレイの画面上で示す位置情報データを順次生成し、前記位置情報データを前記ヘッドマウントディスプレイに順次送信する処理部と、
    を備える複合現実画像生成装置。

Images