JP6242569B2 - 医用画像表示装置及びｘ線診断装置 - Google Patents

Description

本発明の実施形態は、医用画像表示装置及びＸ線診断装置に関する。

虚血性心疾患は世界を代表する病気であり、その治療方法として、近年は、低侵襲治療である血管内治療が増えている。血管内治療は、通常、Ｘ線透視下に行われ、Ｘ線診断装置は、イメージガイドの道具として利用される。近年は、ロードマップと呼ばれる手法が頻繁に利用される。ロードマップとは、静止画としての血管造影画像に、透視画像をリアルタイムに重畳表示する手法である。透視画像には、医師によって血管内を進められるガイドワイヤなどが描出される。

また、ロードマップのひとつに、３Ｄロードマップと呼ばれる手法がある。３Ｄロードマップでは、血管造影画像として、３次元血管画像データから生成される２次元の投影画像が用いられる。すなわち、３Ｄロードマップとは、Ｘ線診断装置の動き（例えば寝台の移動やＣアームの回転など）に応じて生成された２次元の投影画像に、透視画像をリアルタイムに重畳表示する手法である。なお、３次元血管画像データは、Ｘ線診断装置のＣアームを回転させることで収集される場合や、Ｘ線ＣＴ（Computed Tomography）装置によって収集されたＣＴ画像を用いる場合などがある。

もっとも、ロードマップのいずれの手法も、モニタに表示される画像はあくまで２次元の画像に過ぎない。このため、例えばガイドワイヤを進める医師がモニタを観察した場合、２次元の情報は把握できるものの、奥行き方向の情報は失われてしまい、医師は、依然として、例えば血管の分岐部でガイドワイヤを進めるべき方向を十分に把握することができない。

一方、近年、３Ｄモニタの技術が一般化している。３Ｄモニタとは、観察者が画像を立体視することができるモニタである。例えば、観察者は、画像の飛び出し感や奥行き感を視認することができる。専用の眼鏡を用いる手法と裸眼による手法とが知られている。

特開２００７−２２９４７３号公報

本発明が解決しようとする課題は、２次元表示の医用画像と３次元表示の医用画像とを見易く表示することができる医用画像表示装置及びＸ線診断装置を提供することである。

実施形態に係る医用画像表示装置は、表示部と、生成部と、表示制御部とを備える。前記表示部は、３次元医用画像データから生成された視差画像群を３次元表示する。前記生成部は、前記表示部に２次元表示され奥行情報を有さず両眼視される医用画像上における特徴点に対応する前記３次元医用画像データ上の対応点が、前記視差画像群において視差がゼロとなる基準点の近傍に位置付けられるように、前記３次元医用画像データから前記視差画像群を生成する。前記表示制御部は、前記表示部に前記視差画像群を３次元表示するとともに前記医用画像を２次元表示する。

図１は、第１の実施形態に係るＸ線診断装置の構成例を説明するための図である。 図２は、第１の実施形態に係るモニタを説明するための図である。 図３は、第１の実施形態における透視画像及び３次元血管画像を説明するための図である。 図４は、第１の実施形態における基準点を説明するための図である。 図５は、第１の実施形態における視差画像群の生成を説明するための図である。 図６は、第１の実施形態における対応点の推定を説明するための図である。 図７は、第１の実施形態に係る視差画像群生成処理を示すフローチャートである。 図８は、第１の実施形態における立体ロードマップ画像の表示例を説明するための図である。 図９は、第１の実施形態における立体ロードマップ画像の表示例を説明するための図である。 図１０は、第１の実施形態における立体ロードマップ画像の表示例を説明するための図である。 図１１は、第３の実施形態における視差画像群の生成を説明するための図である。 図１２は、第３の実施形態における視差画像群の生成を説明するための図である。 図１３は、第３の実施形態における視差画像群の生成を説明するための図である。 図１４は、第４の実施形態に係る超音波診断装置の構成例を説明するための図である。

以下、添付図面を参照して医用画像表示装置及びＸ線診断装置の実施形態を詳細に説明する。なお、以下に用いる用語を定義する。「透視画像」は、被検体を透過したＸ線をＸ線検出器によって検出することで生成される動画像であり、リアルタイムに２次元表示される。一方、「撮影画像」は、透視画像と同様、被検体を透過したＸ線をＸ線検出器によって検出することで生成される動画像であるが、透視画像に比較してＸ線の線量の多い画像である。なお、Ｘ線の線量は、例えば記録の必要に応じて決定される。例えば、記録の必要がある場合には、線量の多い「撮影画像」が収集される。なお、「透視画像」及び「撮影画像」は動画像であるが、広く「Ｘ線画像」という場合には、「透視画像」及び「撮影画像」に加え、静止画も含まれる。以下の実施形態においては主に「透視画像」を用いて説明するが、実施形態はこれに限られるものではなく、広く「Ｘ線画像」に同様に適用することができる。なお、「透過画像」や「２次元画像」といった用語で一般に表現される画像も、この「Ｘ線画像」に含まれる。

（第１の実施形態）
図１は、第１の実施形態に係るＸ線診断装置１００の構成例を説明するための図である。図１に示すように、Ｘ線診断装置１００は、架台部１０と、計算機システム２０とを備える。図１に示すように、架台部１０は、寝台１１と、架台１２と、Ｃアーム１３と、Ｘ線源１４と、Ｘ線検出器１５と、モニタ１６とを備える。

寝台１１は、垂直方向及び水平方向に移動可能であり、被検体Ｐが載置される。架台１２は、Ｃアーム１３を支持する。Ｃアーム１３は、Ｚ軸を中心に矢印Ｒ方向に回転可能であり、Ｘ線源１４及びＸ線検出器１５を対向して保持する。Ｘ線源１４は、Ｘ線を照射するＸ線管球と、コリメータとを有する。Ｘ線検出器１５は、Ｘ線源１４から照射され、被検体Ｐを透過したＸ線を検出する。モニタ１６は、立体視可能な血管造影画像に透視画像が重畳表示された立体ロードマップ画像などを表示する。なお、後述するように、第１の実施形態において、立体ロードマップ画像とは、３次元血管画像データから生成される２次元の投影画像を２枚以上用いることで立体視可能に３次元表示される立体画像と、透視画像とを重畳表示した画像のことである。

ここで、第１の実施形態に係るモニタ１６は、観察者が画像を立体視することができる３Ｄモニタである。例えば、モニタ１６は、シャッター方式によって画像を３次元表示する。

図２は、第１の実施形態に係るモニタ１６を説明するための図である。図２に示すように、モニタ１６を観察する医師は、Ｘ線防護メガネとの兼用が可能な立体視用メガネとして、シャッターメガネを装着する。この場合、モニタ１６は、右目用の画像（以下、右眼画像）と左目用の画像（以下、左眼画像）とを、例えば１２０Ｈｚで交互に表示する。また、モニタ１６は、赤外線出射部を有し、赤外線出射部は、右眼画像と左眼画像とを切り替えるタイミングに合わせて赤外線の出射を制御する。一方、シャッターメガネは、赤外線受光部を有し、赤外線受光部は、赤外線出射部から出射された赤外線を受光し、シャッターメガネの左右それぞれに取り付けられたシャッターの透過状態及び遮光状態を交互に切り替える。

なお、３Ｄモニタはシャッター方式に限られるものではなく、例えば偏光メガネ方式や、レンチキュラーレンズなどの光線制御子を用いることで裸眼による立体視が可能な方式（例えば、特開２００５−８６４１４号公報など）などでもよい。

図１に戻り、計算機システム２０は、操作部２１と、医用画像データ記憶部２２と、制御部２３と、医用画像データ収集部２４と、Ｃアーム制御部２５と、視差画像群生成部２６と、表示制御部２７とを備える。

操作部２１は、コントロールパネル、フットスイッチなどであり、Ｘ線診断装置１００に対する各種操作の入力を操作者から受け付ける。具体的には、第１の実施形態に係る操作部２１は、透視画像データの収集指示や、立体ロードマップ画像の表示指示などを受け付ける。医用画像データ記憶部２２は、立体ロードマップ画像の表示に用いられる３次元血管画像データなどを記憶する。制御部２３は、Ｘ線診断装置１００の全体制御を行う。

医用画像データ収集部２４は、立体ロードマップ画像の表示に用いられる３次元血管画像データや透視画像データを収集する。なお、第１の実施形態において、３次元血管画像データは、立体ロードマップ画像の表示制御よりも前に予め収集され、透視画像データは、立体ロードマップ画像の表示制御中リアルタイムに収集される。

例えば、医用画像データ収集部２４は、３次元血管画像データの収集指示を受け付けると、Ｘ線源１４、Ｘ線検出装置１５、及びＣアーム制御部２５を制御し、３次元血管画像データを収集する。医用画像データ収集部２４は、収集した３次元血管画像データを医用画像データ記憶部２２に格納する。なお、第１の実施形態においては、Ｘ線診断装置１００のＣアーム１３を回転させることで３次元血管像データを収集する例を説明したが、実施形態はこれに限られるものではなく、例えば、Ｘ線診断装置１００とは異なるＸ線ＣＴ装置によって予め収集された３次元血管画像データを用いてもよい。

また、医用画像データ収集部２４は、表示制御部２７から透視画像データの収集指示を受け付けると、Ｘ線源１４、Ｘ線検出装置１５、及びＣアーム制御部２５を制御し、透視画像データを収集する。また、医用画像データ収集部２４は、収集した透視画像データを、視差画像群生成部２６及び表示制御部２７に送る。Ｃアーム制御部２５は、医用画像データ収集部２４による制御の下、Ｃアーム１３の回転などを制御する。

視差画像群生成部２６は、３次元血管画像データから、視差画像群である右眼画像及び左眼画像を生成する。具体的には、視差画像群生成部２６は、表示制御部２７から、立体ロードマップ画像を表示するための視差画像群の生成指示を受け付けると、医用画像データ記憶部２２を参照し、予め収集された３次元血管画像データを取得する。そして、視差画像群生成部２６は、取得した３次元血管画像データから右眼画像及び左眼画像を生成し、生成した右眼画像及び左眼画像を表示制御部２７に送る。なお、視差画像群生成部２６による視差画像群生成処理については後述する。

表示制御部２７は、３次元血管画像である視差画像群に透視画像が重畳表示された立体ロードマップ画像をモニタ１６に表示する。例えば、表示制御部２７は、操作部２１を介して立体ロードマップ画像の表示指示を受け付けると、透視画像データの収集指示を医用画像データ収集部２４に送り、リアルタイムに収集された透視画像データを医用画像データ収集部２４から受け取る。また、表示制御部２７は、視差画像群の生成指示を視差画像群生成部２６に送り、３次元血管画像データから生成された右眼画像及び左眼画像を視差画像群生成部２６から受け取る。そして、表示制御部２７は、透視画像と、３次元血管画像データから生成された右眼画像及び左眼画像とを、モニタ１６に重畳表示する。

この場合、モニタ１６は、３次元血管画像については、視差画像群を表示することにより立体視可能に３次元表示し、透視画像については、２次元表示する。すなわち、表示制御部２７は、右眼画像を表示するタイミングにおいては、医用画像データ収集部２４から送られた透視画像と、視差画像群生成部２６から送られた右眼画像とを、画素値に重み付けをするなどして重畳し、モニタ１６に表示する。一方、表示制御部２７は、左眼画像を表示するタイミングにおいては、医用画像データ収集部２４から送られた透視画像と、視差画像群生成部２６から送られた左眼画像とを、画素値に重み付けをするなどして重畳し、モニタ１６に表示する。

続いて、第１の実施形態に係る視差画像群生成部２６による視差画像群生成処理を詳述する。従来のＸ線診断装置は、あくまで２次元の投影画像に２次元の透視画像を重畳した３Ｄロードマップ画像を、３Ｄモニタでない通常の２Ｄモニタに表示していた。

これに対し、第１の実施形態に係るＸ線診断装置１００は、立体ロードマップ画像を表示する。すなわち、第１の実施形態に係るＸ線診断装置１００は、３次元血管画像データから生成される２次元の投影画像を２枚以上用いることで立体視可能に３次元表示される立体画像と、２次元の透視画像とを重畳表示した立体ロードマップ画像を、３Ｄモニタに表示する。図３は、第１の実施形態における透視画像及び３次元血管画像を説明するための図である。この場合、図３に示すように、透視画像は、奥行き方向の情報が失われて２次元表示されるが、３次元血管画像は、奥行き方向の情報を保つように３次元表示される。そこで、第１の実施形態に係るＸ線診断装置１００は、３次元表示される３次元血管画像の奥行き方向（モニタ１６の表示面に対する奥行き方向）の表示位置を、２次元表示される透視画像に基づいて決定することとする。

ここで、立体視することが可能な画像には、左右両眼による視差がゼロとなる「基準点」が存在する。図４は、第１の実施形態における基準点を説明するための図である。例えば、図４（Ａ）に示すように、モニタ１６の表示面よりも奥に基準点ｚが設定されて、右眼画像及び左眼画像が生成される場合がある。また、例えば、図４（Ｂ）に示すように、表示面よりも手前に基準点ｚが設定されて、右眼画像及び左眼画像が生成される場合がある。あるいは、表示面上に基準点ｚが設定されて、右眼画像及び左眼画像が生成される場合もある。どの位置に基準点を設定するかは任意に決定することができるが、基準点は、上述したように視差がゼロとなる点であり、観察者にとって見易い点である。

そこで、第１の実施形態に係るＸ線診断装置１００は、透視画像と３次元血管画像とを３Ｄモニタに重畳表示するにあたり、透視画像上における注目点に対応する３次元血管画像データ上の対応点が基準点と一致するように（若しくは基準点の近傍に位置付けられるように）、視差画像群を生成する。例えば、基準点が表示面上に設定されている場合には、透視画像上の注目点と３次元血管画像の対応点とは、同じ表示面上で重なることになる。

図５は、第１の実施形態における視差画像群の生成を説明するための図である。図５に示すように、透視画像においては奥行き方向の情報が失われているため、透視画像上における注目点が奥行き方向のどの位置に存在するか明らかではない。一方で、３次元血管画像データは奥行き方向の情報を保持しているので、透視画像上における注目点に対応する対応点が奥行き方向のどの位置に存在するかを特定することができる。そこで、この対応点が、観察者にとって見易い基準点と一致するように奥行き方向を位置合わせした上で視差画像群が生成されれば、観察者にとっては、注目点が見易い立体ロードマップ画像となる。なお、対応点と基準点とを厳密に一致させるには、奥行き方向のみならず、奥行き方向と垂直な表示面上の位置合わせも必要になる場合があり、この場合には、更に、透視画像と３次元血管画像との位置合わせが必要になる場合もある。もっとも、対応点と基準点とを厳密に一致させるのではなく、対応点が基準点の近傍に位置づけられるように奥行き方向を位置合わせしてもよい。例えば、対応点が、少なくとも基準点を含む基準面上に位置づけられるように奥行き方向を位置合わせしてもよい。以下、具体的に説明する。

第１の実施形態において、視差画像群生成部２６は、透視画像から注目点を抽出する『第１段階』と、この注目点に対応する３次元血管画像データ上の対応点を推定する『第２段階』と、推定した対応点が基準点と一致するように視差画像群を生成する『第３段階』とを行う。また、『第１段階』の手法には、「透視画像から自動抽出する手法Ａ１」と、「モニタ１６に表示された透視画像を観察する操作者がモニタ１６の表示面上で注目点を指定することで、透視画像から注目点を抽出する手法Ａ２」とがある。一方、『第２段階』の手法には、「注目点は血管内に存在するという仮定に基づいて３次元血管画像データ上の対応点を推定する手法Ｂ１」と、「注目点は治療計画線（例えば、医師が「ここの血管を治療する」と予め描いたもの）の近傍に存在するという仮定に基づいて３次元血管画像データ上の対応点を推定する手法Ｂ２」とがある。いずれの手法を組み合わせて適用することも可能であるが、以下では、主に手法Ａ１と手法Ｂ１との組合せを説明する。

まず、透視画像から注目点を抽出する『第１段階』の一例として、手法Ａ１を説明する。ここで、「注目点」とは、透視画像上において観察者によって注目される点のことであり、例えば、ガイドワイヤやカテーテルの先端位置、ステント、バルーン、弁の位置などが該当する。第１の実施形態において、視差画像群生成部２６は、注目点としてガイドワイヤの先端座標を抽出する。なお、他の注目点も同様に抽出することができる。

まず、視差画像群生成部２６は、医用画像データ収集部２４から透視画像データを受け取る。この透視画像データは、例えば５〜３０フレーム／秒程度の動画データである。次に、視差画像群生成部２６は、各フレームにおけるガイドワイヤの像を、画像処理技術を用いて特定する。

例えば、視差画像群生成部２６は、各フレームに対して強調処理を行うことで、ガイドワイヤの像を明瞭にする。例えば、視差画像群生成部２６は、非線形明度変換を行ってガイドワイヤの像の濃度ムラを低減させてから、空間周波数の高い成分を抽出する画像フィルタ処理を施す。この画像フィルタ処理は、大域的で滑らかなグラデーションを除去し、局所的で細かな変動成分のみを残すものである。

次に、視差画像群生成部２６は、各フレームに対してパターン抽出処理を施すことで、ガイドワイヤの像を特定する。例えば、視差画像群生成部２６は、画素値の閾値処理や空間フィルタ処理などを施す。そして、視差画像群生成部２６は、各フレームからガイドワイヤの像を抽出し、各フレームにおけるガイドワイヤの像の形状を示す２次元曲線を求め、２次元曲線の各点の座標値に基づいて、２次元曲線の端部に位置付けられるガイドワイヤの先端座標を抽出する。

次に、３次元血管画像データ上の対応点を推定する『第２段階』の一例として、手法Ｂ１を説明する。なお、透視画像と３次元血管画像との間で、表示面上の位置合わせは既に完了していると仮定する。図６は、第１の実施形態における対応点の推定を説明するための図である。図６に示すように、３次元血管画像データと透視画像との位置関係は、３次元血管画像データと、３次元血管画像データから生成される３次元投影画像との位置関係と同様である。すなわち、透視画像上におけるガイドワイヤの先端座標（ｕ、ｖ）には、先端座標（ｕ、ｖ）とＸ線源１４とを結ぶ直線ａ上であって３次元血管画像データ内を通過する全ての情報が投影される。

そこで、視差画像群生成部２６は、まず、先端座標（ｕ、ｖ）とＸ線源１４とを結ぶ直線ａを求める。Ｘ線源１４の座標は、例えばＣアーム制御部２５から取得することができる。次に、視差画像群生成部２６は、注目点は血管内に存在するという仮定に基づいて、３次元血管画像データ内を通過する直線ａを探索し、直線ａと血管とが交差する点を特定する。そして、視差画像群生成部２６は、この点の座標を、注目点に対応する対応点の座標（ｘ、ｙ、ｚ）として推定する。なお、Ｘ線源１４は、医師によって注目点が見易い位置に移動されているはずであるので、一般に、直線ａと血管とが交差する座標はひとつであると考えられる。また、視差画像群生成部２６は、３次元血管画像データに対して例えば閾値処理などを施すことで、３次元血管画像データから血管を特定することができる。

なお、実施形態に係る視差画像群生成部２６は、直線ａと血管とが交差する点が複数特定された場合にも、対応点の座標を推定することができる。例えば、血管が極端に曲がっている場合や奥行き方向に曲がっている場合などには、直線ａと血管とが交差する点（候補点）が複数特定される場合がある。このような場合、視差画像群生成部２６は、ガイドワイヤの動きは突然飛躍することはなく、血管に沿って連続的である性質を利用して、対応点の座標を推定する。例えば、視差画像群生成部２６は、ガイドワイヤの先端座標、すなわち対応点の座標を、時系列に沿って推定している。そこで、視差画像群生成部２６は、３次元血管画像データから血管中心線を抽出し、１つ前の時点において推定された対応点と各候補点との間の距離を、この血管中心線に沿って計算する。そして、視差画像群生成部２６は、計算された距離が最も短い候補点を、対応点として特定すればよい。

なお、『第２段階』に手法Ｂ２を適用する場合には、視差画像群生成部２６は、注目点は治療計画線の近傍に存在するという仮定に基づいて、３次元血管画像データ内を通過する直線ａを探索し、直線ａと血管とが交差する点を特定すればよい。

続いて、推定した対応点が基準点と一致するように視差画像群を生成する『第３段階』を説明する。視差画像群生成部２６は、３次元血管画像データに対してレンダリング処理を行うことで、右眼画像及び左眼画像を生成する。このレンダリング処理は、設定されたレンダリング条件に従って行われる。このため、視差画像群生成部２６は、レンダリング条件として、例えば、右眼用の視点位置及び左眼用の視点位置（若しくは、右眼の視線方向と左眼の視線方向との間の視差角）や投影法を予め設定する。なお、投影法としては、透視投影法や平行投影法などがある。また、レンダリング処理には、例えば、ボリュームレンダリング（volume rendering）処理や、サーフェスレンダリング（surface rendering）処理がある。例えば、ボリュームレンダリング処理は、３次元医用画像データから直接、３次元の情報を反映した２次元画像を生成する手法である。これに対し、サーフェスレンダリング処理は、３次元医用画像データから対象となるデータを抽出してモデルを構築し、構築したモデルに基づいて、３次元の情報を反映した２次元画像を生成する手法である。

そして、視差画像群生成部２６は、『第２段階』で推定した対応点が右眼画像及び左眼画像上に現れる基準点と一致するように（若しくは対応点が基準面上に位置付けられるように）、レンダリング処理を行う。例えば、視差画像群生成部２６は、右眼画像及び左眼画像のいずれにおいても、予め設定された基準点の位置に対応点の画素が位置付けられるように、レンダリング処理を行う。あるいは、例えば、視差画像群生成部２６は、対応点の画素上に、右眼画像及び左眼画像の基準点が設定されるように、レンダリング処理を行う。

図７は、第１の実施形態に係る視差画像群生成処理を示すフローチャートである。図７に示すように、視差画像群生成部２６は、視差画像群の生成指示を表示制御部２７から受け付けると（ステップＳ１０１肯定）、まず、透視画像からガイドワイヤの先端座標を抽出し（ステップＳ１０２）、次に、３次元血管画像データ上の対応点を推定する（ステップＳ１０３）。

そして、視差画像群生成部２６は、推定した対応点が基準点と一致するように視差画像群を生成し（ステップＳ１０４）、生成した視差画像群を表示制御部２７に送る（ステップＳ１０５）。

このように生成された視差画像群が表示制御部２７に送られると、表示制御部２７は、例えば、図８〜１０に示すように、立体ロードマップ画像を表示する。図８〜１０は、第１の実施形態における立体ロードマップ画像の表示例を説明するための図である。図８は、不整脈アブレーション治療に用いられた立体ロードマップ画像の表示例であり、図９は、心臓冠動脈に用いられた立体ロードマップ画像の表示例であり、図１０は、大動脈に用いられた立体ロードマップ画像の表示例である。

（第１の実施形態の追加機能１）
第１の実施形態において、視差画像群生成部２６は、透視画像上における注目点を追従し、注目点の移動に応じて視差画像群を随時生成する。例えば、医師が血管内でガイドワイヤを進めた場合、透視画像上における注目点も移動する。そこで、視差画像群生成部２６は、上述した手法Ａ２を用いてガイドワイヤの先端座標を追従し、新たな先端座標に対応する対応点を推定し、この対応点が基準点と一致するように、視差画像群の生成を随時行う。そして、視差画像群生成部２６は、新たに生成した視差画像群を、表示制御部２７に随時送信する。この結果、表示制御部２７は、例えばガイドワイヤが進められた場合、進められたガイドワイヤの先端が常に視差ゼロに位置付けられる３次元血管画像を、リアルタイムに３次元表示することができる。

（第１の実施形態の追加機能２）
第１の実施形態において、視差画像群生成部２６は、観察方向の変動に応じて視差画像群を随時生成する。例えばＣアームが回転した場合などには、視差画像群生成部２６は、新たな観察方向を例えばＣアーム制御部２５から取得し、この新たな観察方向に基づいて、対応点の推定や、視差画像群の生成を随時行う。そして、視差画像群生成部２６は、新たに生成した視差画像群を、表示制御部２７に随時送信する。この結果、表示制御部２７は、例えばＣアームの回転により観察方向が変化した場合、新たな観察方向に対応した３次元血管画像を立体ロードマップ画像として３次元表示することができる。

（第１の実施形態の追加機能３）
第１の実施形態において、表示制御部２７は、立体ロードマップ画像の表示中、透視画像データの収集が停止された場合には、最後の透視画像データのフレームを、立体ロードマップ画像中に表示したままとする（ＬＩＨ：Last Image Hold）。

（第１の実施形態の効果）
上述したように、第１の実施形態によれば、３次元血管画像データから生成される２次元の投影画像を２枚以上用いて、また、３Ｄモニタを用いることで、立体ロードマップにおいて３次元血管画像を立体視可能に３次元表示することができる。また、第１の実施形態によれば、３次元表示される３次元血管画像の奥行き方向の表示位置を、２次元表示される透視画像に基づいて決定する。具体的には、第１の実施形態においては、透視画像と３次元血管画像とを３Ｄモニタに重畳表示するにあたり、透視画像上における注目点に対応する３次元血管画像データ上の点が視差ゼロとなるように、視差画像群を生成する。このようなことから、第１の実施形態によれば、２次元表示される透視画像と３次元表示される３次元血管画像とを適切に重畳表示することができ、２次元表示の医用画像と３次元表示の医用画像とを見易く表示することができる。

例えば、医師は、ガイドワイヤの先端付近の血管を立体的に視認することができるので、重要部分の視認性を高めることができる。医師は、例えば血管の分岐部でガイドワイヤを進めるべき方向を把握することが容易になる。

すなわち、３次元表示による「ガイドワイヤの進め先の決め易さ」に加えて、視差を与えない基準点は空間分解能も高くなるので、「この先、ガイドワイヤをどちらに進めればよいか」という重要部分の視認性も、より高まることになる。

（第２の実施形態）
次に、第２の実施形態を説明する。第１の実施形態と異なる点は、主に視差画像群生成部２６による視差画像群生成処理である。具体的には、第１の実施形態においては、『第１段階』として透視画像から注目点を抽出し、『第２段階』としてこの注目点に対応する３次元血管画像データ上の対応点を推定した。この点、第２の実施形態においては、透視画像上の注目点から対応点を推定するのではなく、直接対応点を特定する。なお、『第３の段階』は、第１の実施形態と同様である。また、その他、第１の実施形態において説明した追加機能等は、第２の実施形態においても同様に適用することができる。

そこで、第２の実施形態において、直接対応点を特定する手法を説明する。この手法には、例えば、「２方向から撮影された透視画像を用いる手法Ｃ１」と、「ガイドワイヤなどの先端に配置された磁気を用いる手法Ｃ２」と、「操作者がモニタ１６の表示面上で注目点を指定する手法Ｃ３」とがある。いずれの手法を組み合わせて適用することも可能である。

まず、手法Ｃ１を説明する。第１の実施形態において、手法Ａ１として、透視画像からガイドワイヤの先端座標を抽出する手法を説明した。手法Ｃ１において、視差画像群生成部２６は、２方向から撮影された透視画像について、手法Ａ１と同様に、ガイドワイヤの先端座標を抽出する。ここで、異なる２方向から撮影された透視画像についてそれぞれ先端座標が抽出されるので、視差画像群生成部２６は、Epipolar理論を用いることで、２つの先端座標から３次元空間の座標を計算する。こうして、視差画像群生成部２６は、計算した３次元空間の座標を、対応点の座標（ｘ、ｙ、ｚ）として取得する。なお、視差画像群生成部２６は、必要に応じて、取得した対応点の座標（ｘ、ｙ、ｚ）を、３次元血管画像データの座標系に座標変換すればよい。

次に、手法Ｃ２を説明する。例えばアブレーション治療時などには「electro-mappingシステム」と呼ばれるシステムが多く用いられる。「electro-mappingシステム」は、ガイドワイヤなどの先端に配置された磁気を用いて、寝台上に発生させた磁場の中で３次元空間の座標を取得するものである。この場合には、視差画像群生成部２６は、「electro-mappingシステム」によって取得された３次元空間の座標を、対応点の座標（ｘ、ｙ、ｚ）として取得すればよい。なお、視差画像群生成部２６は、必要に応じて、取得した対応点の座標（ｘ、ｙ、ｚ）を、３次元血管画像データの座標系に座標変換すればよい。

次に、手法Ｃ３を説明する。例えば、奥行き方向の位置合わせを行わない段階で、モニタ１６に３次元血管画像が３次元表示されている場合に、操作者がモニタ１６の表示面上で注目点を指定したとする。この場合、視差画像群生成部２６は、操作部２１を介して操作者により指定された視差画像群上の点を３次元血管画像データ上で特定し、その座標を対応点の座標（ｘ、ｙ、ｚ）として取得する。

（第３の実施形態）
次に、第３の実施形態を説明する。第１及び第２の実施形態においては、３次元血管画像データ全体の３次元血管画像を立体ロードマップ画像として表示していたが、実施形態はこれに限られるものではない。例えば、３次元血管画像データのうち、一部のみの３次元血管画像を表示してもよい。例えば、３次元血管画像データのうち、注目点近傍のみの３次元血管画像を表示してもよい。

図１１〜図１３は、第３の実施形態における視差画像群の生成を説明するための図である。なお、図１１及び図１２において上段の２図に対応する下段の２図は、いずれも、上段に示された３次元血管画像データを横方向からみた図である。また、図１１及び図１２において、注目点は、表示面の奥から手前方向に移動している（図１１及び図１２において黒線矢印を参照）。

この場合、視差画像群生成部２６は、例えば、図１１に示すように、注目点前後のある一定の幅の領域の３次元血管画像データのみを用いて視差画像群を生成すればよい。注目点が表示面の奥から手前方向に移動した場合には、図１１の（Ｂ）に示すように、一定の幅の領域も追従して移動する。あるいは、表示制御部２７が、視差画像群生成部２６から送られた視差画像群のうち、注目点前後のある一定の幅の領域に相当する画像のみ描出されるように、表示を制御してもよい。なお、図１１に示すような矩形の領域に限られず、例えば、注目点を中心とした球形の領域などであってもよい。

また、視差画像群生成部２６は、例えば、図１２に示すように、注目点を基準に、注目点の進行方向の領域の３次元血管画像データのみを用いて視差画像群を生成すればよい。注目点が表示面の奥から手前方向に移動した場合には、図１２の（Ｂ）に示すように、視差画像群の生成に用いられる領域が徐々に少なくなる。あるいは、表示制御部２７が、視差画像群生成部２６から送られた視差画像群のうち、注目点の進行方向の領域に相当する画像のみ描出されるように、表示を制御してもよい（進行方向とは反対の不要な領域は表示されない）。なお、図１２に示すような矩形の領域に限られず、例えば、注目点を中心とした球形の領域などであってもよい。

また、視差画像群生成部２６は、例えば、図１３に示すように、治療計画線の近傍領域の３次元血管画像データのみを用いて視差画像群を生成してもよい。治療計画線は、上述したように、例えば医師が「ここの血管を治療する」と予め描いたものである。また、治療計画線は、ほぼ血管に沿って描かれるものである。そこで、視差画像群生成部２６は、例えば、図１３に示すように、３次元血管画像データのうち、治療計画線を中心とした円筒領域（例えば治療計画線を中心軸とする直径２〜３ｃｍの円筒領域）のみを用いて視差画像群を生成してもよい。

このように、注目点近傍や治療計画線の近傍のみの３次元血管画像を表示することにより、重要部分以外の画像が観察者の目に入らなくなる結果、重要部分の視認性も、更に高まることになる。

（第４の実施形態）
次に、第４の実施形態を説明する。上述した実施形態においては、２次元表示される医用画像として「Ｘ線画像」を例に挙げて説明し、３次元表示される３次元医用画像データとして、Ｘ線診断装置やＸ線ＣＴ装置によって予め収集された「３次元血管画像データ」を例に挙げて説明した。しかしながら、実施形態はこれに限られるものではない。以下に説明する第４の実施形態においては、２次元表示される医用画像として「超音波画像」を想定し、３次元表示される３次元医用画像データとして、Ｘ線ＣＴ装置やＭＲＩ（Magnetic Resonance Imaging）装置によって予め収集された「３次元医用画像データ」を想定する。なお、上述した実施形態において説明した各種処理や追加機能等は、第４の実施形態においても同様に適用することができる。

図１４は、第４の実施形態に係る超音波診断装置２００の構成例を説明するための図である。第４の実施形態において、医用画像表示装置である超音波診断装置２００は、他の医用画像診断装置３００（例えば、Ｘ線ＣＴ装置やＭＲＩ装置）から３次元医用画像データを取得し、取得した３次元医用画像データから生成した視差画像群と、リアルタイムに収集する２次元の超音波画像とを、モニタ２１３上に並べて表示する。具体的には、図１４に示すように、超音波診断装置２００は、装置本体２１０と、超音波プローブ２１１と、操作部２１２と、モニタ２１３とを備える。

超音波プローブ２１１は、複数の圧電振動子を有する。圧電振動子は、後述する送受信部２２０から供給される駆動信号に基づき超音波を発生する。また、圧電振動子は、被検体からの反射波を受信して電気信号に変換する。操作部２１２は、トラックボール、スイッチ、ボタン、タッチコマンドスクリーン等であり、超音波診断装置２００に対する各種操作の入力を操作者から受け付ける。モニタ２１３は、上述した実施形態のモニタ１６と同様、観察者が画像を立体視することができる３Ｄモニタである。例えば、モニタ２１３は、シャッター方式によって画像を３次元表示する。

ここで、第４の実施形態における超音波プローブ２１１は、磁気センサーを有する。この磁気センサーは、図示しないインタフェースを介して位置情報取得装置４００に接続される。また、この磁気センサーは、位置情報取得装置４００のトランスミッター（図示を省略）を原点として形成された３次元の磁場を検出し、検出した磁場の情報を信号に変換し、変換した信号を位置情報取得装置４００に出力する。位置情報取得装置４００は、磁気センサーから受信した信号に基づいて、トランスミッターを原点とする３次元空間における磁気センサーの座標及び向きを算出し、算出した座標及び向きを制御部２６０に送る。

装置本体２１０は、送受信部２２０と、Ｂモード・ドプラ処理部２３０と、超音波画像生成部２４０と、医用画像データ記憶部２５０と、制御部２６０と、３次元医用画像データ取得部２７０と、視差画像群生成部２８０と、表示制御部２９０とを有する。

送受信部２２０は、トリガ発生回路、遅延回路、及びパルサ回路等を有し、超音波プローブ２１１に駆動信号を供給する。また、送受信部２２０は、アンプ回路、Ａ（Analog）／Ｄ（Digital）変換器、加算器等を有し、超音波プローブ２１１が受信した反射波信号に対して各種処理を行い、反射波データを生成する。

Ｂモード・ドプラ処理部２３０は、送受信部２２０から受信した反射波データに対して対数増幅、包絡線検波処理等を行い、信号強度が輝度の明るさで表現されるデータ（Ｂモードデータ）を生成する。また、Ｂモード・ドプラ処理部２３０は、受信した反射波データから速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、平均速度、分散、パワー等の移動体情報を多点について抽出したデータ（ドプラデータ）を生成する。

超音波画像生成部２４０は、Ｂモード・ドプラ処理部２３０によって生成されたＢモードデータやドプラデータから超音波画像を生成する。具体的には、超音波画像生成部２４０は、超音波スキャンの走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換（スキャンコンバート）することで、Ｂモードデータやドプラデータから表示用の超音波画像（Ｂモード画像やドプラ画像）を生成する。

医用画像データ記憶部２５０は、３次元医用画像データ取得部２７０によって他の医用画像診断装置３００から取得された３次元医用画像データ等を記憶する。制御部２６０は、超音波診断装置２００の全体制御を行う。３次元医用画像データ取得部２７０は、３次元医用画像データを、他の医用画像診断装置３００から、直接、あるいは、ネットワーク経由、あるいは、操作者の入力等を介して取得する。

視差画像群生成部２８０は、３次元医用画像データから、視差画像群である右眼画像及び左眼画像を生成する。なお、視差画像群生成部２８０による視差画像群生成処理は、第１の実施形態における視差画像群生成部２６による視差画像群生成処理と同様である。すなわち、視差画像群生成部２８０は、超音波画像から注目点（例えば、超音波画像に描出された穿刺針の先端等）を抽出し、この注目点に対応する３次元医用画像データ上の対応点を推定し、推定した対応点が基準点と一致するように視差画像群を生成する。

ここで、超音波画像から抽出された注目点に対応する３次元医用画像データ上の対応点を推定するには、他の医用画像診断装置３００にて収集された３次元医用画像データと、超音波画像との座標系が関連付けられていることが前提となる。この座標系の関連付けは、３次元医用画像データの３軸と、超音波プローブ２１１の磁場座標系の３軸との軸合わせに相当する。すなわち、例えば、まず、磁気センサーが取り付けられた超音波プローブ２１１を被検体に対して垂直にあて、その状態でセットボタンを押下することで、そのときの磁気センサーの向きを垂直としてセットする。次に、３次元医用画像データに描出された特徴部分と同一の特徴部分が描出された超音波画像を選択して、再度セットボタンを押下することで、そのときの磁気センサーの座標と、３次元医用画像データの座標とを関連付ける。特徴部分としては、例えば、血管や、剣状突起等が用いられる。こうして、３次元医用画像データと超音波画像との座標が関連付けられ、超音波画像から抽出された注目点の座標から、３次元医用画像データ上の対応点の座標を推定することができる。

表示制御部２９０は、視差画像群と超音波画像とを、モニタ２１３に並べて表示する。なお、表示制御部２９０は、超音波画像については、例えば、右眼画像と左眼画像とを同一にすることで、２次元表示することができる。例えば、表示制御部２９０は、モニタ２１３の左半分に、視差画像群であるＣＴ画像を３次元表示し、右半分に、リアルタイムに収集される超音波画像を２次元表示する。すなわち、表示制御部２９０は、右眼画像を表示するタイミングにおいては、超音波画像生成部２４０によって生成された超音波画像と、視差画像群生成部２８０から送られた右眼画像とを、モニタ２１３に並べて表示する。一方、表示制御部２９０は、左眼画像を表示するタイミングにおいては、超音波画像生成部２４０によって生成された超音波画像と、視差画像群生成部２８０から送られた左眼画像とを、モニタ２１３に並べて表示する。

なお、第４の実施形態においては、視差画像群と超音波画像とをモニタ２１３に並べて表示する例を説明したが、実施形態はこれに限られるものではなく、第１〜第３の実施形態において説明したように、視差画像群と超音波画像とを重畳表示してもよい。

（その他の実施形態）
上述した第１〜第４の実施形態は一例に過ぎず、これらの実施形態は、その他の様々な形態で実施されることが可能である。

第１〜第３の実施形態において、透視画像と３次元血管画像との重畳表示を説明したが、例えば、透視画像をグレースケールで表示し、３次元血管画像をカラーで表示してもよい。すなわち、２次元表示されるＸ線画像をグレースケールで表示し、３次元表示される視差画像群をカラーで表示し、これらを重畳表示してもよい。第４の実施形態においても同様であり、例えば、超音波画像をグレースケールで表示し、３次元血管画像をカラーで表示してもよい。

また、上述した実施形態においては、「注目点」として、例えば、ガイドワイヤやカテーテルの先端位置、ステント、バルーン、弁の位置等を例に挙げて説明したが、実施形態はこれに限られるものではない。「注目点」には、例えば、胃カメラや、体腔内プローブ（例えば、経食道プローブ、経直腸プローブ等）、穿刺針等の先端を含む。なお、「注目点」は「特徴点」とも称される。

また、上述した実施形態においては、「Ｘ線画像」と「Ｘ線診断装置やＸ線ＣＴ装置によって収集された３次元血管画像データ」とを重畳表示する例や、「超音波画像」と「Ｘ線ＣＴ装置やＭＲＩ装置によって収集された３次元医用画像データ」とを並べて表示する例を説明したが、実施形態はこれに限られるものではない。すなわち、実施形態は、撮影対象や、医用画像データの収集に用いられた医用画像診断装置に限定されるものではなく、ある対象物が撮影された医用画像を２次元表示するとともに、同じ対象物が撮影された３次元医用画像データを３次元表示する場合（重畳表示、あるいは並列表示を含む）に、同様に適用することができる。

また、上述した実施形態においては、リアルタイムに２次元表示される「透視画像」やリアルタイムに２次元表示される「超音波画像」を想定して説明したが、実施形態はこれに限られるものではない。２次元表示される医用画像は、必ずしもリアルタイムに表示される動画像である必要はなく、過去に収集された医用画像や静止画像であってもよい。

また、上述した実施形態においては、Ｘ線診断装置や超音波診断装置等の医用画像診断装置である医用画像表示装置にて、視差画像群の表示位置の決定や視差画像群の生成、医用画像と視差画像群との重畳表示や並列表示等が行われる例を説明したが、実施形態はこれに限られるものではない。例えば、ワークステーション、ＰＡＣＳ（Picture Archiving and Communication System）のビューワ、電子カルテシステムの各種装置等の医用画像表示装置にて、上述した処理が行われてもよい。この場合、医用画像表示装置は、医用画像診断装置から、２次元表示される医用画像や、３次元表示される３次元医用画像データ等を、直接、あるいは、ネットワーク経由、あるいは、操作者の入力等を介して取得すればよい。

図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。更に、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

また、上述の実施形態で説明した表示制御方法は、あらかじめ用意された表示制御プログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。この画像処理プログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。

以上述べた少なくとも一つの実施形態のＸ線診断装置によれば、２次元表示される医用画像と３次元表示される医用画像とを適切に重畳表示することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１００ Ｘ線診断装置
１６ モニタ
２４ 医用画像データ収集部
２６ 視差画像群生成部
２７ 表示制御部

Claims (11)

1. ３次元医用画像データから生成された視差画像群を３次元表示する表示部と、
   前記表示部に２次元表示され奥行き情報を有さず両眼視される医用画像上における特徴点に対応する前記３次元医用画像データ上の対応点が、前記視差画像群において視差がゼロとなる基準点の近傍に位置付けられるように、前記３次元医用画像データから前記視差画像群を生成する生成部と、
   前記表示部に前記視差画像群を３次元表示するとともに前記医用画像を２次元表示する表示制御部と
   を備えたことを特徴とする医用画像表示装置。
2. 前記生成部は、前記医用画像上における特徴点に対応する前記３次元医用画像データ上の対応点が、前記視差画像群において視差がゼロとなる基準点と一致するように、前記３次元医用画像データから前記視差画像群を生成することを特徴とする請求項１に記載の医用画像表示装置。
3. 前記生成部は、前記医用画像上における特徴点に対応する前記３次元医用画像データ上の対応点を求め、求めた対応点に従って前記３次元医用画像データに対するボリュームレンダリング処理を行うことで、前記視差画像群を生成することを特徴とする請求項１又は２に記載の医用画像表示装置。
4. 前記生成部は、前記医用画像に対して画像処理を施すことで該医用画像から器具の像を抽出し、抽出した像の形状に基づき該器具の先端を抽出することで、前記医用画像上における特徴点を求めることを特徴とする請求項１〜３のいずれか一つに記載の医用画像表示装置。
5. 前記生成部は、前記表示部の表示面上で操作者の指定を受け付けることで、前記医用画像上における特徴点を求めることを特徴とする請求項１〜３のいずれか一つに記載の医用画像表示装置。
6. 前記３次元医用画像データ及び前記医用画像は、Ｘ線診断装置によって収集されたものであって、
   前記生成部は、前記３次元医用画像データについて、前記医用画像上における特徴点の座標とＸ線源の座標とを結ぶ直線上を探索し、該直線と該３次元医用画像データ内の管腔領域との交差点を特定することで、前記特徴点に対応する前記３次元医用画像データ上の対応点を求めることを特徴とする請求項４又は５に記載の医用画像表示装置。
7. 前記３次元医用画像データ及び前記医用画像は、Ｘ線診断装置によって収集されたものであって、
   前記生成部は、異なる２方向から撮影された医用画像それぞれに対して画像処理を施すことで各医用画像から器具の像を抽出し、抽出した像の形状に基づき該器具の先端の座標を各医用画像から求めることで各医用画像上における特徴点を求め、各医用画像から求めた先端の座標それぞれを用いて、各特徴点に対応する前記３次元医用画像データ上の対応点を求めることを特徴とする請求項１〜３のいずれか一つに記載の医用画像表示装置。
8. 前記生成部は、前記医用画像に描出される器具の先端に配置された磁気を用いて該先端の３次元空間の座標を取得し、取得した３次元空間の座標に基づいて、前記特徴点に対応する前記３次元医用画像データ上の対応点を求めることを特徴とする請求項１〜３のいずれか一つに記載の医用画像表示装置。
9. 前記生成部は、前記表示部の表示面上で操作者の指定を受け付けることで、前記特徴点に対応する前記３次元医用画像データ上の対応点を求めることを特徴とする請求項１〜３のいずれか一つに記載の医用画像表示装置。
10. 前記生成部は、前記医用画像上における特徴点を追従し、特徴点の移動に応じて前記視差画像群を随時生成することを特徴とする請求項１〜９のいずれか一つに記載の医用画像表示装置。
11. ３次元医用画像データから生成された視差画像群を３次元表示する表示部と、
    前記表示部に２次元表示され奥行き情報を有さず両眼視されるＸ線画像を収集する収集部と、
    前記Ｘ線画像上における特徴点に対応する前記３次元医用画像データ上の対応点が、前記視差画像群において視差がゼロとなる基準点の近傍に位置付けられるように、前記３次元医用画像データから前記視差画像群を生成する生成部と、
    前記Ｘ線画像と前記視差画像群とを前記表示部に重畳表示する表示制御部と
    を備えたことを特徴とするＸ線診断装置。