JP6297289B2 - 画像処理システム、ｘ線診断装置及び画像処理装置の作動方法 - Google Patents

Description

本発明の実施形態は、画像処理システム、Ｘ線診断装置及び画像処理装置の作動方法に関する。

従来、心不全治療法の１つとして、心臓再同期医療法（ＣＲＴ：Cardiac Resynchronization Therapy）が知られている。ＣＲＴは、心臓内で電気刺激の伝播に遅延が生じている部位（以下、遅延部位）に、ペースメーカの電極（ペーシングリード）を留置することで、心臓動作の非同期を改善させ心臓のポンプ機能を正常に近い状態に戻す治療法である。ＣＲＴでは、医師は、Ｘ線診断装置によって透視撮影されたＸ線画像を参照しながら、遅延部位に最も近い静脈に電極を留置する。

遅延部位は、従来、例えば、ＥＰ（Electrophysiology）の情報や、近年ではＥＰマッピングにより診断されている。また、近年、遅延部位は、超音波診断装置を用いた非侵襲的な解析により診断できる可能性があることが知られている。すなわち、近年、心エコーにより心壁運動を定量的に解析する方法が実用化されており、かかる解析方法では、超音波画像の心筋内膜や、心筋内膜と外膜との間に、局所的な心壁運動の指標（例えば、ストレイン等）が値に応じた色調でマッピングされた解析画像を表示可能である。心臓は、電気刺激による機械的興奮により心筋が運動する組織であることから、遅延部位は、解析画像において、心壁運動が同期していない部位（非同期部位）として示すことが可能である。しかし、ＣＲＴ治療はＸ線透視下で行なわれており、上記の解析画像は、治療計画時に医師への事前情報として伝達されるだけで、実際には、ＣＲＴ治療を行なうＸ線透視下では上記ペーシングリードを留置すべき場所を医師に示すことは実現されていない。一方でＸ線透視下の画像に他の画像を重畳表示する技術は実現されているが、心壁の内外膜面が判別困難であることから、Ｘ線画像と解析画像との位置合わせ、すなわち、Ｘ線画像と超音波画像との位置合わせが困難であった。

特開２００９−０３９４２９号公報

本発明が解決しようとする課題は、超音波診断で特定された部位をＸ線透視下で判別することができる画像処理システム、Ｘ線診断装置及び画像処理装置の作動方法を提供することである。

実施形態の画像処理システムは、入力部と、出力部と、取得部と、表示部とを備える。入力部は、被検体の所定組織が描出され、前記所定組織の運動を解析可能な第１の医用画像データにおいて、前記所定組織を造影撮影して得られた医用画像データ、又は、器具が挿入された特定組織を撮影して得られた医用画像データである第２の医用画像データで判別可能な前記特定組織に対応する位置にランドマークの設定を受け付ける。出力部は、前記第１の医用画像データにおける前記ランドマークの位置の情報を含むデータを出力データとして出力する。取得部は、前記出力データを受信し、前記所定組織を１つ又は複数の撮影方向から撮影して得られた撮影方向に対応する１つ又は複数の前記第２の医用画像データにおける前記特定組織の位置と、前記出力データから読み込んだ前記ランドマークの位置を前記１つ又は複数の前記第２の医用画像データの３次元撮影空間に配置して前記１つ又は複数の第２の医用画像データに投影したランドマーク投影位置とに基づいて、前記ランドマークの３次元位置情報を取得する。表示部は、前記ランドマークの３次元位置情報に基づいて、前記第１の医用画像データ又は、前記第１の医用画像データを解析することで生成された解析画像データが、前記所定組織の第２の医用画像データに重畳された画像データを表示する。

図１は、第１の実施形態に係る画像処理システムの構成例を示す図である。 図２は、第１の実施形態に係る超音波診断装置の構成例を示すブロック図である。 図３は、第１の実施形態に係る解析部を説明するための図（１）である。 図４は、第１の実施形態に係る解析部を説明するための図（２）である。 図５は、第１の実施形態に係る解析部を説明するための図（３）である。 図６は、第１の実施形態に係る解析部を説明するための図（４）である。 図７は、第１の実施形態に係る解析部を説明するための図（５）である。 図８は、第１の実施形態に係るＸ線診断装置の構成例を示すブロック図である。 図９は、第１の実施形態に係る画像処理システムが行なう画像処理方法を実行する処理部を示す図である。 図１０は、第１の実施形態に係るランドマークを説明するための図（１）である。 図１１は、第１の実施形態に係るランドマークを説明するための図（２）である。 図１２Ａは、第１の実施形態に係るランドマークを説明するための図（３）である。 図１２Ｂは、第１の実施形態に係るランドマークを説明するための図（４）である。 図１２Ｃは、第１の実施形態に係るランドマークを説明するための図（５）である。 図１２Ｄは、第１の実施形態に係るランドマークを説明するための図（６）である。 図１３Ａは、第１の実施形態に係る出力データの一例を示す図（１）である。 図１３Ｂは、第１の実施形態に係る出力データの一例を示す図（２）である。 図１３Ｃは、第１の実施形態に係る出力データの一例を示す図（３）である。 図１４は、第１の実施形態に係る取得部を説明するための図（１）である。 図１５は、第１の実施形態に係る取得部を説明するための図（２）である。 図１６Ａは、第１の実施形態に係る取得部を説明するための図（３）である。 図１６Ｂは、第１の実施形態に係る取得部を説明するための図（４）である。 図１７は、第１の実施形態で表示される画像データの一例を示す図である。 図１８は、第１の実施形態に係る変形例を説明するための図である。 図１９は、第１の実施形態に係る超音波診断装置が行なう処理の一例を説明するためのフローチャートである。 図２０は、第１の実施形態に係るＸ線診断装置が行なう処理の一例を説明するためのフローチャートである。 図２１Ａは、第２の実施形態を説明するための図（１）である。 図２１Ｂは、第２の実施形態を説明するための図（２）である。 図２２は、第２の実施形態を説明するための図（３）である。 図２３は、第２の実施形態を説明するための図（４）である。 図２４は、第３の実施形態に係る超音波診断装置の構成例を示すブロック図である。 図２５Ａは、第３の実施形態を説明するための図（１）である。 図２５Ｂは、第３の実施形態を説明するための図（２）である。 図２５Ｃは、第３の実施形態を説明するための図（３）である。 図２６は、第３の実施形態を説明するための図（４）である。

以下、添付図面を参照して、画像処理システムの実施形態を詳細に説明する。

（第１の実施形態）
まず、第１の実施形態に係る画像処理システムの構成例について説明する。図１は、第１の実施形態に係る画像処理システムの構成例を示す図である。

図１に示すように、第１の実施形態に係る画像処理システム１は、超音波診断装置１００と、Ｘ線診断装置２００と、画像保管装置３００と、画像処理装置４００とを有する。図１に例示する各装置は、例えば、病院内に設置された院内ＬＡＮ（Local Area Network）５００により、直接的、又は、間接的に相互に通信可能な状態となっている。例えば、医用画像診断システムにＰＡＣＳ（Picture Archiving and Communication System）が導入されている場合、各装置は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格に則って、医用画像等を相互に送受信する。

図１に例示する各装置は、ＤＩＣＯＭ規格のデータを送受信することで、他装置から受信したデータを、自装置で読み出したり、表示したりすることが可能となる。なお、本実施形態は、他装置から受信したデータを自装置で処理可能であるならば、任意の規格に則ったデータが送受信される場合であっても良い。

超音波診断装置１００は、超音波の２次元走査を行なう超音波プローブの位置を操作者が調整することで、任意の断面の超音波画像データを生成する。また、超音波診断装置１００は、メカニカル４Ｄプローブや２Ｄアレイプローブを用いることで、超音波の３次元走査を行なって、３次元超音波画像データを生成する。また、Ｘ線診断装置２００は、Ｘ線管とＸ線検出器とを支持するＣアームの位置を固定した状態で撮影を行なうことで、２次元のＸ線画像データを生成する。なお、第１の実施形態に係る超音波診断装置１００及びＸ線診断装置２００については、後に詳述する。

画像保管装置３００は、医用画像データを保管するデータベースである。具体的には、画像保管装置３００は、超音波診断装置１００やＸ線診断装置２００から送信された医用画像データを自装置の記憶部に格納し、保管する。画像保管装置３００に保管された医用画像データは、例えば、患者ＩＤ、検査ＩＤ、装置ＩＤ、シリーズＩＤ等の付帯情報と対応付けて保管される。

画像処理装置４００は、例えば、病院内に勤務する医師や検査技師が医用画像の読影に用いるワークステーションやＰＣ（Personal Computer）等である。画像処理装置４００の操作者は、患者ＩＤ、検査ＩＤ、装置ＩＤ、シリーズＩＤ等を用いた検索を行なうことで、必要な医用画像データを画像保管装置３００から取得することができる。或いは、画像処理装置４００は、超音波診断装置１００やＸ線診断装置２００から直接、画像データを受信する場合であっても良い。また、画像処理装置４００は、医用画像を読影用に表示する他に、医用画像データに対して各種画像処理を行なうことが可能である。

以下では、超音波診断装置１００及びＸ線診断装置２００が、本実施形態に係る画像処理方法を協働して実行する場合について説明する。ただし、後述する超音波診断装置１００及びＸ線診断装置２００が行なう各種処理の一部又は全ては、画像処理装置４００により実行される場合であっても良い。

なお、画像処理システム１は、ＰＡＣＳが導入されている場合にその適用が限られるものではない。例えば、画像処理システム１は、医用画像データが添付された電子カルテを管理する電子カルテシステムが導入されている場合にも、同様に適用される。この場合、画像保管装置３００は、電子カルテを保管するデータベースである。また、例えば、画像処理システム１は、ＨＩＳ（Hospital Information System）、ＲＩＳ（Radiology Information System）が導入されている場合にも、同様に適用される。

次に、図１に示す超音波診断装置１００の構成例について、図２を用いて説明する。図２は、第１の実施形態に係る超音波診断装置の構成例を示すブロック図である。図１に例示するように、第１の実施形態に係る超音波診断装置１００は、超音波プローブ１１０と、モニタ１２０と、入力部１３０と、心電計１４０と、装置本体１５０とを有する。

超音波プローブ１１０は、超音波の送受信を行なう。例えば、超音波プローブ１１０は、複数の圧電振動子を有し、これら複数の圧電振動子は、後述する装置本体１５０が有する送受信部１５１から供給される駆動信号に基づき超音波を発生する。また、超音波プローブ１１０は、被検体Ｐからの反射波を受信して電気信号に変換する。また、超音波プローブ１１０は、圧電振動子に設けられる整合層と、圧電振動子から後方への超音波の伝播を防止するバッキング材等を有する。なお、超音波プローブ１１０は、装置本体１５０と着脱自在に接続される。

超音波プローブ１１０から被検体Ｐに超音波が送信されると、送信された超音波は、被検体Ｐの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号として超音波プローブ１１０が有する複数の圧電振動子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが、移動している血流や心臓壁等の表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して、周波数偏移を受ける。

ここで、第１の実施形態に係る超音波プローブ１１０は、超音波により被検体Ｐを２次元で走査するとともに、被検体Ｐを３次元で走査することが可能な超音波プローブである。具体的には、第１の実施形態に係る超音波プローブ１１０は、一列に配置された複数の圧電振動子により、被検体Ｐを２次元で走査するとともに、複数の圧電振動子を所定の角度（揺動角度）で揺動させることで、被検体Ｐを３次元で走査するメカニカル４Ｄプローブである。或いは、第１の実施形態に係る超音波プローブ１１０は、複数の圧電振動子がマトリックス状に配置されることで、被検体Ｐを３次元で超音波走査することが可能な２Ｄアレイプローブである。なお、２Ｄアレイプローブは、超音波を集束して送信することで、被検体Ｐを２次元で走査することも可能である。

入力部１３０は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティック等を有し、超音波診断装置１００の操作者からの各種設定要求を受け付け、装置本体１５０に対して受け付けた各種設定要求を転送する。なお、第１の実施形態に係る入力部１３０が操作者から受け付ける設定情報については、後に詳述する。

モニタ１２０は、超音波診断装置の操作者が入力部１３０を用いて各種設定要求を入力するためのＧＵＩ（Graphical User Interface）を表示したり、装置本体１５０において生成された超音波画像データ等を表示したりする。

心電計１４０は、被検体Ｐの生体信号として、被検体Ｐの心電波形（ＥＣＧ：Electrocardiogram）を取得する。心電計１４０は、取得した心電波形を装置本体１５０に送信する。

装置本体１５０は、超音波プローブ１１０が受信した反射波信号に基づいて超音波画像データを生成する装置である。図１に示す装置本体１５０は、超音波プローブ１１０が受信した２次元の反射波データに基づいて２次元の超音波画像データを生成可能な装置である。また、図１に示す装置本体１５０は、超音波プローブ１１０が受信した３次元の反射波データに基づいて３次元の超音波画像データを生成可能な装置である。

装置本体１５０は、図１に示すように、送受信部１５１と、Ｂモード処理部１５２と、ドプラ処理部１５３と、画像生成部１５４と、画像メモリ１５５と、解析部１５６と、制御部１５７と、内部記憶部１５８と、インターフェース部１５９とを有する。

送受信部１５１は、パルス発生器、送信遅延部、パルサ等を有し、超音波プローブ１１０に駆動信号を供給する。パルス発生器は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。また、送信遅延部は、超音波プローブ１１０から発生される超音波をビーム状に集束し、かつ送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルス発生器が発生する各レートパルスに対し与える。また、パルサは、レートパルスに基づくタイミングで、超音波プローブ１１０に駆動信号（駆動パルス）を印加する。すなわち、送信遅延部は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面から送信される超音波の送信方向を任意に調整する。

なお、送受信部１５１は、後述する制御部１５７の指示に基づいて、所定のスキャンシーケンスを実行するために、送信周波数、送信駆動電圧等を瞬時に変更可能な機能を有している。特に、送信駆動電圧の変更は、瞬時にその値を切り替え可能なリニアアンプ型の発信回路、又は、複数の電源ユニットを電気的に切り替える機構によって実現される。

また、送受信部１５１は、プリアンプ、Ａ／Ｄ（Analog／Digital）変換器、受信遅延部、加算器等を有し、超音波プローブ１１０が受信した反射波信号に対して各種処理を行って反射波データを生成する。プリアンプは、反射波信号をチャネル毎に増幅する。Ａ／Ｄ変換器は、増幅された反射波信号をＡ／Ｄ変換する。受信遅延部は、受信指向性を決定するために必要な遅延時間を与える。加算器は、受信遅延部によって処理された反射波信号の加算処理を行なって反射波データを生成する。加算器の加算処理により、反射波信号の受信指向性に応じた方向からの反射成分が強調され、受信指向性と送信指向性とにより超音波送受信の総合的なビームが形成される。

送受信部１５１は、被検体Ｐを２次元走査する場合、超音波プローブ１１０から２次元の超音波ビームを送信させる。そして、送受信部１５１は、超音波プローブ１１０が受信した２次元の反射波信号から２次元の反射波データを生成する。また、送受信部１５１は、被検体Ｐを３次元走査する場合、超音波プローブ１１０から３次元の超音波ビームを送信させる。そして、送受信部１５１は、超音波プローブ１１０が受信した３次元の反射波信号から３次元の反射波データを生成する。

なお、送受信部１５１からの出力信号の形態は、ＲＦ（Radio Frequency）信号と呼ばれる位相情報が含まれる信号である場合や、包絡線検波処理後の振幅情報である場合等、種々の形態が選択可能である。

Ｂモード処理部１５２は、送受信部１５１から反射波データを受信し、対数増幅、包絡線検波処理等を行なって、信号強度が輝度の明るさで表現されるデータ（Ｂモードデータ）を生成する。

ドプラ処理部１５３は、送受信部１５１から受信した反射波データから速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、速度、分散、パワー等の移動体情報を多点について抽出したデータ（ドプラデータ）を生成する。

なお、第１の実施形態に係るＢモード処理部１５２及びドプラ処理部１５３は、２次元の反射波データ及び３次元の反射波データの両方について処理可能である。すなわち、Ｂモード処理部１５２は、２次元の反射波データから２次元のＢモードデータを生成し、３次元の反射波データから３次元のＢモードデータを生成する。また、ドプラ処理部１５３は、２次元の反射波データから２次元のドプラデータを生成し、３次元の反射波データから３次元のドプラデータを生成する。

画像生成部１５４は、Ｂモード処理部１５２及びドプラ処理部１５３が生成したデータから超音波画像データを生成する。すなわち、画像生成部１５４は、Ｂモード処理部１５２が生成した２次元のＢモードデータから反射波の強度を輝度で表した２次元Ｂモード画像データを生成する。また、画像生成部１５４は、ドプラ処理部１５３が生成した２次元のドプラデータから移動体情報を表す２次元ドプラ画像データを生成する。２次元ドプラ画像データは、速度画像、分散画像、パワー画像、又は、これらを組み合わせた画像である。

ここで、画像生成部１５４は、一般的には、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換（スキャンコンバート）し、表示用の超音波画像データを生成する。具体的には、画像生成部１５４は、超音波プローブ１１０による超音波の走査形態に応じて座標変換を行なうことで、表示用の超音波画像データを生成する。また、画像生成部１５４は、スキャンコンバート以外に種々の画像処理として、例えば、スキャンコンバート後の複数の画像フレームを用いて、輝度の平均値画像を再生成する画像処理（平滑化処理）や、画像内で微分フィルタを用いる画像処理（エッジ強調処理）等を行なう。また、画像生成部１５４は、超音波画像データに、種々のパラメータの文字情報、目盛り、ボディーマーク等を合成する。

すなわち、Ｂモードデータ及びドプラデータは、スキャンコンバート処理前の超音波画像データであり、画像生成部１５４が生成するデータは、スキャンコンバート処理後の表示用の超音波画像データである。なお、Ｂモードデータ及びドプラデータは、生データ（Raw Data）とも呼ばれる。

更に、画像生成部１５４は、Ｂモード処理部１５２が生成した３次元のＢモードデータに対して座標変換を行なうことで、３次元Ｂモード画像データを生成する。また、画像生成部１５４は、ドプラ処理部１５３が生成した３次元のドプラデータに対して座標変換を行なうことで、３次元ドプラ画像データを生成する。すなわち、画像生成部１５４は、「３次元Ｂモード画像データや３次元ドプラ画像データ」を「３次元超音波画像データ」として生成する。

更に、画像生成部１５４は、３次元超音波画像データ（ボリュームデータ）をモニタ１２０にて表示するための各種の２次元画像データを生成するために、ボリュームデータに対してレンダリング処理を行なう。画像生成部１５４が行なうレンダリング処理としては、断面再構成法（ＭＰＲ：Multi Planar Reconstruction）を行なってボリュームデータからＭＰＲ画像データを生成する処理がある。また、画像生成部１５４が行なうレンダリング処理としては、ボリュームデータに対して「Curved MPR」を行なう処理や、ボリュームデータに対して「Maximum Intensity Projection」を行なう処理がある。また、画像生成部１５４が行なうレンダリング処理としては、３次元の情報を反映した２次元画像データを生成するボリュームレンダリング（ＶＲ：Volume Rendering）処理がある。

画像メモリ１５５は、画像生成部１５４が生成した表示用の画像データを記憶するメモリである。また、画像メモリ１５５は、Ｂモード処理部１５２やドプラ処理部１５３が生成したデータを記憶することも可能である。画像メモリ１５５が記憶するＢモードデータやドプラデータは、例えば、診断の後に操作者が呼び出すことが可能となっており、画像生成部１５４を経由して表示用の超音波画像データとなる。なお、画像生成部１５４は、超音波画像データと当該超音波画像データを生成するために行なわれた超音波走査の時間とを、心電計１４０から送信された心電波形に対応付けて画像メモリ１５５に格納する。後述する解析部１５６や制御部１５７は、画像メモリ１５５に格納されたデータを参照することで、超音波画像データを生成するために行なわれた超音波走査時の心時相を取得することができる。

内部記憶部１５８は、超音波送受信、画像処理及び表示処理を行なうための制御プログラムや、診断情報（例えば、患者ＩＤ、医師の所見等）や、診断プロトコルや各種ボディーマーク等の各種データを記憶する。また、内部記憶部１５８は、必要に応じて、画像メモリ１５５が記憶する画像データの保管等にも使用される。また、内部記憶部１５８が記憶するデータは、後述するインターフェース部１５９を経由して、外部の装置へ転送することができる。なお、外部装置は、例えば、図１に示すＸ線診断装置２００や、画像保管装置３００、画像処理装置４００等である。

解析部１５６は、コンピュータ支援診断（Computer-Aided Diagnosis：ＣＡＤ）を行なうために、装置本体１５０に設置される。解析部１５６は、画像メモリ１５５に格納された超音波画像データを取得して、画像解析処理を行なう。そして、解析部１５６は、解析結果を、画像メモリ１５５や内部記憶部１５８に格納する。

具体的には、解析部１５６は、被検体Ｐを超音波走査することで生成された時系列に沿った超音波画像データ群を解析して、所定組織における局所的な運動に関する解析画像データを生成する。第１の実施形態では、解析部１５６は、被検体Ｐを３次元超音波走査することで生成された時系列に沿った３次元超音波画像データ群を解析して、３次元解析画像データを生成する。

ここで、所定組織とは、心臓であり、解析部１５６は、心壁の各領域の運動に関する情報を生成する。そして、解析部１５６は、超音波画像データの心筋内膜や、心筋内膜と外膜との間に、心壁運動情報をマッピングされた解析画像データを生成する。第１の実施形態に係る解析部１５６は、３次元超音波画像データ群を用いて、３次元の心壁運動情報を生成する。

以下、第１の実施形態に係る解析部１５６が行なう解析処理について、図３〜図７を用いて説明する。図３〜図７は、第１の実施形態に係る解析部を説明するための図である。

第１の実施形態では、まず、３次元走査可能な超音波プローブ１１０を用いて、操作者は、被検体Ｐの心臓の左心系を、例えば、心尖部アプローチにより１心拍以上の期間で３次元走査する。これにより、画像生成部１５４は、１心拍以上の期間の時系列に沿った複数の３次元超音波画像データを生成し、画像メモリ１５５に格納する。画像メモリ１５５に格納された複数の３次元超音波画像データは、少なくとも左心室を含む心臓を１心拍以上の期間で超音波走査することで生成された３次元超音波画像データ群である。なお、上記の３次元超音波画像データ群は、３次元Ｂモード画像データ群である。

そして、解析部１５６は、図３に例示するように、１心拍以上の時系列に沿った複数の３次元超音波画像データを取得する。各３次元超音波画像データには、被検体Ｐの左心室が含まれている。そして、解析部１５６は、３次元超音波画像データ群から、左心室における心壁運動情報の時系列データを算出する。具体的には、解析部１５６は、画像データ間のパターンマッチングを含む処理により後述する追跡点を追跡した結果を用いて、心壁運動情報の算出処理を行なう。

より具体的には、解析部１５６は、３次元心エコー法で得られた３次元動画像データに対して３次元スペックルトラッキング（3D Speckle Tracking、以下「３ＤＴ」）を行なった結果を用いて、心壁運動情報を算出する。スペックルトラッキング法は、パターンマッチング処理と共に、例えば、オプティカルフロー法や種々の時空間補間処理を併用することで、正確な動きを推定する方法である。また、スペックルトラッキング法には、パターンマッチング処理を行なわずに、動きを推定する方法もある。

例えば、入力部１３０は、操作者から、３次元超音波画像データ群の第１フレーム（第１ボリューム）の表示要求を受け付ける。表示要求が転送された制御部１５７は、第１フレームの３次元超音波画像データを画像メモリ１５５から読み出して、モニタ１２０に表示させる。例えば、制御部１５７は、第１フレームの３次元超音波画像データを複数方向の断面にて切断した複数のＭＰＲ画像データを画像生成部１５４に生成させ、モニタ１２０に表示させる。

そして、操作者は、モニタ１２０に表示された複数のＭＰＲ画像データを参照して、３ＤＴを行なう追跡点を複数設定する。一例を挙げると、操作者は、各ＭＰＲ画像データにおいて、左心室内膜や心筋外膜の位置をトレースし、内膜輪郭及び外膜輪郭を指定する。解析部１５６は、指定された内膜輪郭及び外膜輪郭から、３次元的な内膜輪郭及び３次元的な外膜輪郭を構成する。そして、解析部１５６は、図４に例示するように、第１フレームの３次元内膜輪郭を構成する各点を追跡点として設定する。また、図示しないが、解析部１５６は、第１フレームの３次元外膜輪郭を構成する各点を追跡点として設定する。そして、解析部１５６は、第１フレームで設定された複数の追跡点それぞれに対して、テンプレートデータを設定する。テンプレートデータは、追跡点を中心とする複数のボクセルから構成される。

そして、解析部１５６は、２つのフレーム間でテンプレートデータのスペックルパターンと最も一致する領域を探索することで、テンプレートデータが次のフレームでどの位置に移動したかを追跡する。これにより、解析部１５６は、図４に示すように、第１フレームの各追跡点が、第ｎフレームのどの位置に移動したかを追跡する。なお、追跡点を設定するためのメッシュは、解析部１５６が第１フレームに含まれる左心室の心内膜面や心外膜面を検出することで設定する場合であっても良い。

解析部１５６は、左心室全体（例えば、左心室の心内膜及び左心室の心外膜）を対象として、３次元超音波画像データ群に対する３ＤＴを行なう。そして、解析部１５６は、３次元超音波画像データ群に対する３ＤＴの結果から、各追跡点にて、心壁運動情報の時系列データを生成する。例えば、解析部１５６は、心内膜及び心外膜の３ＤＴの結果から、心壁運動情報として歪み（Strain）を算出する。解析部１５６は、長軸（Longitudinal）方向の歪み（ＬＳ）や、円周（Circumferential）方向の歪み（ＣＳ）、壁厚（Radial）方向の歪み（ＲＳ）を算出する。

或いは、例えば、解析部１５６は、内膜の３ＤＴの結果から、心壁運動情報として、左室心内膜面の面積変化率（Area Change ratio：ＡＣ）を算出する。或いは、例えば、解析部１５６は、心内膜又は心外膜の３ＤＴの結果から、変位（Displacement）を算出しても良い。心壁運動情報として変位を用いる場合、解析部１５６は、長軸方向の変位（ＬＤ）や、壁厚方向の変位（ＲＤ）を算出することができる。或いは、解析部１５６は、基準時相（例えば、Ｒ波）での追跡点の位置に対する、基準位相以外の時相での追跡点の移動距離（Absolute Displacement：ＡＤ）を算出しても良い。また、解析部１５６は、心臓の動きの非同期性を捕らえるために、Strain値が一定以上大きくなった時間をマッピングする解析結果や、Strain値が最大値に達する時間をマッピングする解析結果を算出してもよい。

ここで、解析部１５６は、追跡点ごとに、心壁運動情報の時系列データを生成する場合であっても、局所的な領域ごとに、心壁運動情報の時系列データを生成する場合であっても良い。例えば、解析部１５６は、アメリカ心エコー図学会やアメリカ心臓協会が推奨する１６や１７分画の分割領域を用いて、局所的な心壁運動情報を算出する。例えば、アメリカ心エコー図学会などが推奨する分画としては、前壁中隔（ant-sept.）、前壁（ant.）、側壁（lat.）、後壁（post.）、下壁（inf.）、中隔（sept.）等が挙げられる。

そして、例えば、解析部１５６は、図５に示すように、各追跡点で得られた心壁運動情報の値をカラーに変換したうえで、３次元の内膜輪郭のサーフェスレンダリング画像にマッピングした３次元解析画像データを生成する。操作者は、視点位置を移動させることで、図５に例示する３次元解析画像データを、モニタ１２０にて様々な方向から観察することができる。或いは、例えば、解析部１５６は、図６に示すように、各追跡点で得られた心壁運動情報の値をカラーに変換したうえで、１６分画のPolar-mapにマッピングした３次元解析画像データを生成する。

なお、図５及び図６では、心壁運動情報として面積変化率を用いた場合を例示している。また、図５及び図６に例示する３次元解析画像データは、特定の時相における３次元解析画像データであり、解析部１５６は、各時相における３次元解析画像データを生成する。すなわち、解析部１５６は、時系列に沿った３次元分布画像データ群を生成する。

或いは、解析部１５６は、例えば、各追跡点で得られた心壁運動情報の値をカラーに変換したうえで、３次元超音波画像データの心内膜面と心外膜面との間にマッピングした３次元解析画像データを生成する。かかる３次元解析画像データの表示形態としては、例えば、図７に示す表示形態が挙げられる。

例えば、画像生成部１５４は、３次元解析画像データから、複数のＭＰＲ画像データを生成する。図７に示す一例では、画像生成部１５４は、領域Ａに表示される画像データとして、１６分画の３次元解析画像データから心尖部四腔像のＭＰＲ画像データを生成する。また、図７に示す一例では、画像生成部１５４は、領域Ｂに表示される画像データとして、３次元解析画像データから心尖部二腔像のＭＰＲ画像データを生成する。

また、図７に示す一例では、画像生成部１５４は、領域Ｃ３に表示される画像データとして、３次元解析画像データから心尖部に近いレベルの短軸像のＭＰＲ画像データを生成する。また、図７に示す一例では、画像生成部１５４は、領域Ｃ７に表示される画像データとして、３次元解析画像データから心基部に近いレベルの短軸像のＭＰＲ画像データを生成する。また、図７に示す一例では、画像生成部１５４は、領域Ｃ５に表示される画像データとして、３次元解析画像データから心尖部と心基部との中間に位置するレベルの短軸像のＭＰＲ画像データを生成する。

図２に戻って、制御部１５７は、超音波診断装置１００の処理全体を制御する。具体的には、制御部１５７は、入力部１３０を介して操作者から入力された各種設定要求や、内部記憶部１５８から読込んだ各種制御プログラム及び各種データに基づき、送受信部１５１、Ｂモード処理部１５２、ドプラ処理部１５３、画像生成部１５４及び解析部１５６の処理を制御する。また、制御部１５７は、画像メモリ１５５や内部記憶部１５８が記憶する表示用の超音波画像データをモニタ１２０にて表示するように制御する。また、制御部１５７は、解析部１５６の処理結果をモニタ１２０に表示するように制御する。

また、制御部１５７は、解析部１５６の処理結果や入力部１３０が操作者から受け付けた設定情報を、後述するインターフェース部１５９を経由して、外部の装置へ出力する。外部装置は、例えば、図１に示すＸ線診断装置２００や、画像保管装置３００、画像処理装置４００等である。第１の実施形態に係る制御部１５７は、出力データの出力処理を行なうとともに、出力データのデータ形式を制御するための処理部として、図１に示す出力部１５７ａを有する。なお、出力部１５７ａが行なう処理については、後に詳述する。

インターフェース部１５９は、入力部１３０、院内ＬＡＮ５００、Ｘ線診断装置２００、画像保管装置３００及び画像処理装置４００に対するインターフェースである。例えば、入力部１３０が受け付けた操作者からの各種設定情報及び各種指示は、インターフェース部１５９により、制御部１５７に転送される。また、例えば、出力部１５７ａが出力した出力データは、インターフェース部１５９により、院内ＬＡＮ５００を介して、Ｘ線診断装置２００に送信される。

次に、図１に示すＸ線診断装置２００の構成例について、図８を用いて説明する。図８は、第１の実施形態に係るＸ線診断装置の構成例を示すブロック図である。図８に例示するように、第１の実施形態に係るＸ線診断装置２００は、Ｘ線高電圧装置２１１と、Ｘ線管２１２と、Ｘ線絞り装置２１３と、天板２１４と、Ｃアーム２１５と、Ｘ線検出器２１６とを備える。また、第１の実施形態に係るＸ線診断装置２００は、Ｃアーム回転・移動機構２１７と、天板移動機構２１８と、Ｃアーム・天板機構制御部２１９と、絞り制御部２２０と、システム制御部２２１と、入力部２２２と、表示部２２３とを備える。また、第１の実施形態に係るＸ線診断装置２００は、画像データ生成部２２４と、画像データ記憶部２２５と、画像処理部２２６とを備える。

Ｘ線高電圧装置２１１は、システム制御部２２１の制御に基づいて、高電圧を発生し、発生した高電圧をＸ線管２１２に供給する。Ｘ線管２１２は、Ｘ線高電圧装置２１１から供給される高電圧を用いて、Ｘ線を発生する。

Ｘ線絞り装置２１３は、絞り制御部２２０の制御に基づいて、Ｘ線管２１２が発生したＸ線を、被検体Ｐの関心領域に対して選択的に照射されるように絞り込む。例えば、Ｘ線絞り装置２１３は、スライド可能な４枚の絞り羽根を有する。Ｘ線絞り装置２１３は、絞り制御部２２０の制御に基づいて、これらの絞り羽根をスライドさせることで、Ｘ線管２１２が発生したＸ線を絞り込んで被検体Ｐに照射させる。天板２１４は、被検体Ｐを載せるベッドであり、図示しない寝台の上に配置される。

Ｘ線検出器２１６は、被検体Ｐを透過したＸ線を検出する。例えば、Ｘ線検出器２１６は、マトリックス状に配列された検出素子を有する。各検出素子は、被検体Ｐを透過したＸ線を電気信号に変換して蓄積し、蓄積した電気信号を画像データ生成部２２４に送信する。

Ｃアーム２１５は、Ｘ線管２１２、Ｘ線絞り装置２１３及びＸ線検出器２１６を保持する。Ｘ線管２１２及びＸ線絞り装置２１３とＸ線検出器２１６とは、Ｃアーム２１５により被検体Ｐを挟んで対向するように配置される。

Ｃアーム回転・移動機構２１７は、Ｃアーム２１５を回転及び移動させるための機構であり、天板移動機構２１８は、天板２１４を移動させるための機構である。Ｃアーム・天板機構制御部２１９は、システム制御部２２１の制御に基づいて、Ｃアーム回転・移動機構２１７及び天板移動機構２１８を制御することで、Ｃアーム２１５の回転や移動、天板２１４の移動を調整する。絞り制御部２２０は、システム制御部２２１の制御に基づいて、Ｘ線絞り装置２１３が有する絞り羽根の開度を調整することで、被検体Ｐに対して照射されるＸ線の照射範囲を制御する。

画像データ生成部２２４は、Ｘ線検出器２１６によってＸ線から変換された電気信号を用いてＸ線画像データを生成し、生成したＸ線画像データを画像データ記憶部２２５に格納する。例えば、画像データ生成部２２４は、Ｘ線検出器２１６から受信した電気信号に対して、電流・電圧変換やＡ（Analog）／Ｄ（Digital）変換、パラレル・シリアル変換を行なって、Ｘ線画像データを生成する。

画像データ記憶部２２５は、画像データ生成部２２４によって生成された画像データを記憶する。画像処理部２２６は、画像データ記憶部２２５が記憶する画像データに対して各種画像処理を行う。画像処理部２２６が行なう画像処理については後に詳述する。

入力部２２２は、Ｘ線診断装置２００を操作する医師や技師等の操作者から各種指示を受け付ける。例えば、入力部２２２は、マウス、キーボード、ボタン、トラックボール、ジョイスティック等を有する。入力部２２２は、操作者から受け付けた指示を、システム制御部２２１に転送する。

表示部２２３は、操作者の指示を受け付けるためのＧＵＩ（Graphical User Interface）や、画像データ記憶部２２５が記憶する画像データ等を表示する。例えば、表示部２２３は、モニタを有する。なお、表示部２２３は、複数のモニタを有しても良い。

システム制御部２２１は、Ｘ線診断装置２００全体の動作を制御する。例えば、システム制御部２２１は、入力部２２２から転送された操作者の指示に従ってＸ線高電圧装置２１１を制御し、Ｘ線管２１２に供給する電圧を調整することで、被検体Ｐに対して照射されるＸ線量や、Ｘ線照射のＯＮ／ＯＦＦを制御する。また、例えば、システム制御部２２１は、操作者の指示に従ってＣアーム・天板機構制御部２１９を制御し、Ｃアーム２１５の回転や移動、天板２１４の移動を調整する。また、例えば、システム制御部２２１は、操作者の指示に従って絞り制御部２２０を制御し、Ｘ線絞り装置２１３が有する絞り羽根の開度を調整することで、被検体Ｐに対して照射されるＸ線の照射範囲を制御する。

また、システム制御部２２１は、操作者の指示に従って、画像データ生成部２２４による画像データ生成処理や、画像処理部２２６による画像処理等を制御する。また、システム制御部２２１は、操作者の指示を受け付けるためのＧＵＩや画像データ記憶部２２５が記憶する画像データなどを、表示部２２３のモニタに表示するように制御する。

ここで、システム制御部２２１は、超音波診断装置１００から受信した出力データを用いて各種処理を行なうために、図８に示すように、取得部２２１ａを有する。なお、取得部２２１ａが行なう処理については後に詳述する。

インターフェース部２２７は、院内ＬＡＮ５００、Ｘ線診断装置２００、画像保管装置３００及び画像処理装置４００に対するインターフェースである。例えば、本実施形態に係るインターフェース部２２７は、超音波診断装置１００が出力した出力データを受信し、受信した出力データをシステム制御部２２１が有する取得部２２１ａに転送する。

以上、第１の実施形態に係る画像処理システム１の全体構成について説明した。かかる構成において、第１の実施形態に係る画像処理システム１では、超音波診断装置１００を用いた超音波検査により、治療が必要とされる部位が特定される。具体的には、心臓再同期医療法（ＣＲＴ：Cardiac Resynchronization Therapy）において、ペースメーカの電極を留置する非同期部位が、解析部１５６が生成した解析画像データから特定される。ここで、ＣＲＴでは、医師は、Ｘ線診断装置２００によって透視撮影されたＸ線画像を参照しながら、非同期部位に最も近い静脈に電極を留置する。しかし、Ｘ線透視下では、心壁の内外膜面が判別困難であることから、Ｘ線画像データと解析画像データとの位置合わせ、すなわち、Ｘ線画像データと超音波画像データとの位置合わせが困難であった。

そこで、第１の実施形態では、超音波診断で特定された部位をＸ線透視下で判別するために、図９に示す各部が以下の処理を行なう。図９は、第１の実施形態に係る画像処理システムが行なう画像処理方法を実行する処理部を示す図である。

第１の実施形態では、まず、超音波診断装置１００が有する入力部１３０は、被検体Ｐの所定組織を撮影した第１の医用画像データにおいて、ランドマークの設定を受け付ける。具体的には、入力部１３０は、第１の医用画像データにおいて、第２の医用画像データで判別可能な特定組織に対応する位置にランドマークの設定を受け付ける。上記の第１の医用画像データは、所定組織である心臓が描出され、心臓の運動を解析可能な医用画像データである。具体的には、上記の第１の医用画像データは、心臓の運動を解析可能であり、被検体Ｐの所定組織（心臓）が描出された超音波画像データである。

また、上記の第２の医用画像データは、特定組織が映像化された医用画像データである。具体的には、第２の医用画像データは、所定組織を造影撮影して得られた医用画像データであり、造影撮影されたＸ線画像データである。或いは、具体的には、第２の医用画像データは、器具が挿入された特定組織を撮影して得られた医用画像データであり、非造影で撮影されたＸ線画像データである。上記の器具は、特定組織に挿入されたガイドワイヤである。ガイドワイヤは、Ｘ線不透過性であるため、ガイドワイヤが挿入された状態で撮影されたＸ線画像データには、造影剤を注入することなく、特定組織に対応する領域が明瞭に描出される。

例えば、第１の実施形態では、入力部１３０は、被検体Ｐの所定組織（心臓）が描出された超音波画像データにおいて、Ｘ線画像データで判別可能な特定組織に対応する位置にランドマークの設定を受け付ける。

そして、超音波診断装置１００が有する出力部１５７ａは、第１の医用画像データにおけるランドマークの位置の情報を含むデータを出力データとして出力する。第１の実施形態では、出力部１５７ａは、超音波画像データにおけるランドマークの位置の情報を含むデータを出力データとして出力する。例えば、出力部１５７ａは、解析部１５６が生成した３次元解析画像データにランドマークの位置の情報を付加したデータを出力データとして出力する。

そして、Ｘ線診断装置２００が有する取得部２２１ａは、出力データを受信し、被検体Ｐの所定組織を複数の撮影方向から撮影して得られた撮影方向に対応する複数の第２の医用画像データと、出力データから読み込んだランドマークの位置とに基づいて、第２の医用画像データの３次元撮影空間におけるランドマークの３次元位置情報を取得する。或いは、取得部２２１ａは、出力データを受信し、被検体Ｐの所定組織を１つの撮影方向から撮影して得られた撮影方向に対応する１つの第２の医用画像データと、出力データから読み込んだランドマークの位置とに基づいて、第２の医用画像データの３次元撮影空間におけるランドマークの３次元位置情報を取得する。上記の３次元撮影空間は、Ｘ線診断装置２００の３次元撮影空間である。また、上記の「複数の第２の医用画像データ」は、Ｘ線診断装置２００の３次元撮影空間において、複数の撮影方向の撮影で得られた「複数のＸ線画像データ」である。また、上記の「１つの第２の医用画像データ」は、Ｘ線診断装置２００の３次元撮影空間において、１つの撮影方向の撮影で得られた「１つのＸ線画像データ」である。

具体的には、取得部２２１ａは、「上記の複数の第２の医用画像データにおける特定組織の位置」と、「出力データから読み込んだランドマークの位置を、３次元撮影空間に配置して、上記の複数の第２の医用画像データに投影したランドマーク投影位置」とに基づいて、ランドマークの３次元位置情報を取得する。或いは、取得部２２１ａは、「上記の１つの第２の医用画像データにおける特定組織の位置」と、「出力データから読み込んだランドマークの位置を、３次元撮影空間に配置して上記の１つの第２の医用画像データに投影したランドマーク投影位置」とに基づいて、ランドマークの３次元位置情報を取得する。

換言すると、取得部２２１ａは、３次元撮影空間において、「第２の医用画像データに描出された特定組織」と、「ランドマーク」との対応付けを行なう。ここで、後述するように、ランドマークは、３点以上設定される。ランドマークが３点以上あれば、「１方向の撮影で得られた１つの第２の医用画像データ」を用いても、３次元撮影空間での対応付けが可能である。

以下では、取得部２２１ａが、「造影撮影で得られた複数のＸ線画像データ」を用いて、ランドマークの３次元位置情報を取得する場合について説明する。ただし、以下で説明する内容は、取得部２２１ａが、「造影撮影で得られた１つのＸ線画像データ」を用いて、ランドマークの３次元位置情報を取得する場合でも適用可能である。また、以下で説明する内容は、「複数のＸ線画像データ」として「ガイドワイヤ挿入時に複数の撮影方向で撮影された複数のＸ線画像データ」を用いる場合や、「１つのＸ線画像データ」として「ガイドワイヤ挿入時に１つの撮影方向で撮影された１つのＸ線画像データ」を用いる場合でも適用可能である。

例えば、取得部２２１ａは、出力データを受信し、被検体Ｐの所定組織（心臓）を複数方向から撮影した複数のＸ線画像データそれぞれにおける特定組織の位置と、出力データから読み込んだランドマークの位置をＸ線画像データの３次元撮影空間に配置して複数のＸ線画像データそれぞれに投影したランドマーク投影位置とに基づいて、３次元撮影空間におけるランドマークの３次元位置情報を取得する。

そして、Ｘ線診断装置２００が有する表示部２２３は、ランドマークの３次元位置情報に基づいて、第１の医用画像データが、所定組織の第２の医用画像データに重畳された画像データを表示する。或いは、表示部２２３は、ランドマークの３次元位置情報に基づいて、第１の医用画像データを解析することで生成された解析画像データが、所定組織の第２の医用画像データに重畳された画像データを表示する。

第１の実施形態では、表示部２２３は、ランドマークの３次元位置情報に基づいて、超音波画像データを解析することで生成された解析画像データが、所定組織（心臓）のＸ線画像データに重畳された画像データを表示する。

以下、図９に示す各部が行なう処理の一例について、説明する。図１０、図１１、図１２Ａ〜図１２Ｄは、第１の実施形態に係るランドマークを説明するための図である。

上述したように、ＣＲＴでは、心臓の周囲を走行する静脈に電極が留置される。すなわち、電極は、冠静脈（Coronary Vein）内に留置される。具体的には、電極は、左心室周囲を走行する冠静脈内に留置される。図１０の左図は、心臓を後面から見た場合に観察される冠静脈を示す図であり、図１０の右図は、心臓を前面から見た場合に観察される冠静脈を示す図である。

図１０に示すように、冠静脈は、左心房と左心室との境界（左房室間溝）に位置する冠状静脈洞（ＣＳ：Coronary Sinus）に集まり、右心房へと走行する。また、図１０に示すように、大心臓静脈（ＧＣＶ：Great Cardiac Vein）は、心臓の前面での左心室と右心室の境界（前室間溝）から始まり、左房室間溝に沿って後方に走行し、ＣＳに合流する。また、図１０に示すように、中心静脈（ＭＣＶ：Middle Cardiac Vein）は、心臓の後面での左室と右室の境界（後室間溝）に沿って走行し、ＣＳに合流する。

また、図１０に示すように、左心室周囲を走行する冠静脈としては、ＧＣＶから分岐する左辺縁静脈（ＬＭＶ：Left Marginal Vein of great cardiac vein）や、左心室後静脈（ＰＶ：Posterior Veins of left ventricle）がある。ＧＣＶ、ＭＣＶ，ＬＭＶ及びＰＶは、図１０の左図に示すように、左心室表面を心基部から心尖部に向かって走行していることから、医師は、これらの静脈から選択した静脈内において、非同期部位に最も近い位置に電極を留置する。

造影撮影により生成されたＸ線画像データ（Ｘ線造影画像データ）では、冠静脈を確認することができる。すなわち、図１１に示すように、ＣＳとＧＣＶとの分岐点、及び、ＣＳとＭＣＶとの分岐点は、Ｘ線造影画像データで確認することができる。或いは、ＣＳが走行する線は、Ｘ線造影画像データで確認することができる。

一方、超音波画像データを観察しても、冠静脈を確認することが困難である。しかし、上述したように、ＣＳは、心基部周囲に位置する。また、ＧＣＶは、心臓の前面での左心室と右心室との境界でＣＳから分岐し、ＭＣＶは、心臓の後面での左心室と右心室との境界でＣＳから分岐する。また、Ｂモードの超音波画像データでは、心基部や、左心室と右心室との境界を観察することができる。

すなわち、ＣＳとＧＣＶとの分岐点に対応する位置、及び、ＣＳとＭＣＶとの分岐点に対応する位置は、Ｂモードの超音波画像データで確認することができる。或いは、ＣＳの走行線に対応する線は、Ｂモードの超音波画像データで確認することができる。すなわち、上述した特定組織の一例は、左心室周囲を走行する冠静脈（ＣＳ、ＧＣＶ、ＭＣＶ）である。

そこで、入力部１３０は、解析画像データの生成に用いた超音波画像データ群を構成する超音波画像データにおいて、冠静脈に対応する位置にランドマークの設定を受け付ける。第１の実施形態に係る入力部１３０は、３次元解析画像データの生成に用いた３次元超音波画像データ群を構成する３次元超音波画像データに基づく２次元画像データにおいて、冠静脈に対応する位置にランドマークの設定を受け付ける。

例えば、収縮末期の３次元解析画像データを出力データに含める場合、操作者は、収縮末期の３次元超音波画像データの表示要求を入力部１３０に入力する。表示要求が転送された制御部１５７は、対応する３次元超音波画像データを画像メモリ１５５から読み出して、モニタ１２０に表示させる。例えば、制御部１５７は、３次元超音波画像データを複数レベルのＣ面で切断したＭＰＲ画像データを画像生成部１５４に生成させ、モニタ１２０に表示させる。操作者は、モニタ１２０を参照して、心基部レベルとなるように、切断面の調整を行なう。例えば、操作者は、Ｃ７レベルの断面を上下に移動させたり、Ｃ７レベルの断面を傾けたりすることで、心基部レベルのＭＰＲ画像データを表示させる。

そして、操作者は、心基部レベルのＭＰＲ画像データを参照して、ランドマークを設定する。ランドマークは、Ｘ線画像データの３次元撮影空間と超音波画像データの３次元撮影空間との位置合わせに用いられる。このため、入力部１３０が受け付けるランドマークは、「３つ以上の点」、又は、「線」、又は、「２つ以上の点及び線」となる。

例えば、操作者は、心基部レベルのＭＰＲ画像データを参照して、左房室間溝の位置、前面での左心室（ＬＶ：Left Ventricular）と右心室（ＲＶ：Right Ventricular）との境界、及び、後面でのＬＶとＲＶとの境界を確認する。

そして、例えば、入力部１３０は、図１２Ａに示すように、ＣＳとＧＣＶとの分岐点に対応する位置に点Ａの設定を受け付け、ＣＳとＭＣＶとの分岐点に対応する位置に点Ｂの設定を受け付ける。更に、例えば、入力部１３０は、図１２Ａに示すように、自由壁側の左房室間溝において、点Ａと点Ｂとの略中間点に点Ｃの設定を受け付ける。

或いは、例えば、入力部１３０は、図１２Ｂに示すように、自由壁側の左房室間溝において、ＣＳの走行線に対応する線であり、一定の太さを有する線（線Ｄ）の設定を受け付ける。

或いは、例えば、入力部１３０は、図１２Ｃに示すように、上記の点Ａ及び点Ｂの設定を受け付け上記の線Ｄの設定を受け付ける。なお、図１２Ｃに示す場合に設定される線Ｄは、点Ａ及び点Ｂを含まない線であっても良い。

なお、ランドマークの設定対象となるＭＰＲ画像データは、心基部レベルに限定されない。例えば、ランドマークの設定対象となるＭＰＲ画像データは、図１２Ｄに示すように、「心基部レベルに対応する断面Ｅ」のＭＰＲ画像データ、「心尖部レベルに近いレベルに対応する断面Ｆ」のＭＰＲ画像データ、及び、「断面Ｅと断面Ｆとの中間に位置する断面Ｇ」のＭＰＲ画像データであっても良い。かかる場合、３つのＭＲＰ画像データにおいて、図１２Ａ，図１２Ｂ及び図１２Ｃで説明したいずれかのランドマークが設定される。

そして、図１２Ａ〜図１２Ｃに例示したランドマークの位置は、出力部１５７ａの処理により、ＭＰＲ画像データが生成された３次元超音波画像データの３次元空間における座標に変換される。そして、出力部１５７ａは、超音波画像データ、又は、解析画像データ、又は、超音波画像データと解析データとの合成データを解析結果データとする。第１の実施形態では、出力部１５７ａは、３次元超音波画像データ、又は、３次元解析画像データ、又は、３次元超音波画像データ及び３次元解析画像データ、又は、３次元超音波画像データと３次元解析画像データとの３次元合成データを解析結果データとする。

上記の３次元超音波画像データは、３次元解析画像データの時相に対応する３次元超音波画像データである。例えば、上記の３次元超音波画像データは、収縮末期の３次元解析画像データに対応する収縮末期の３次元超音波画像データである。また、例えば、上記の３次元解析画像データは、図６を用いて説明した３次元解析画像データである。

そして、出力部１５７ａは、解析結果データにおけるランドマークの位置の情報を当該解析結果データに付加したデータを出力データとして出力する。本実施形態では、出力部１５７ａは、出力データをＸ線診断装置２００に出力する。

図１３Ａ、図１３Ｂ及び図１３Ｃは、第１の実施形態に係る出力データの一例を示す図である。例えば、出力部１５７ａは、図１３Ａに示すように、３次元解析画像データにおけるランドマーク（図１２Ａに示す３点）の位置の情報を３次元解析画像データに付加したデータを出力する。

或いは、例えば、出力部１５７ａは、図１３Ｂに示すように、３次元解析画像データにおけるランドマーク（図１２Ｂに示す線）の位置の情報を３次元解析画像データに付加したデータを出力する。或いは、出力部１５７ａは、図１２Ｄで説明したように、３レベルの断面それぞれで１点のランドマークが設定された場合、図１３Ｄに示すように、３次元解析画像データにおけるランドマーク（３点）の位置の情報を３次元解析画像データに付加したデータを出力する。

これにより、Ｘ線診断装置２００の取得部２２１ａは、出力データを受信する。そして、取得部２２１ａは、Ｘ線画像データの３次元撮影空間と超音波画像データの３次元撮影空間との位置合わせを、出力データを用いて実行する。図１４、図１５、図１６Ａ及び図１６Ｂは、第１の実施形態に係る取得部を説明するための図である。

まず、取得部２２１ａの制御により、Ｘ線診断装置２００は、被検体Ｐの心臓を複数方向から造影撮影して、複数のＸ線画像データを生成する。例えば、取得部２２１ａの制御により、Ｘ線管２１２は、図１４に示すように、第１方向から被検体ＰにＸ線を照射し、Ｘ線検出器２１６は、第１方向にて被検体Ｐを透過したＸ線を検出する。これにより、画像データ生成部２２４は、第１方向のＸ線画像データを生成する。また、例えば、取得部２２１ａの制御により、Ｘ線管２１２は、図１４に示すように、第２方向から被検体ＰにＸ線を照射し、Ｘ線検出器２１６は、第２方向にて被検体Ｐを透過したＸ線を検出する。これにより、画像データ生成部２２４は、第２方向のＸ線画像データを生成する。

そして、取得部２２１ａは、第１方向のＸ線画像データ及び第２方向のＸ線画像データと、出力データとを用いて、ランドマークの３次元位置情報を取得する。例えば、取得部２２１ａは、図１５に示すように、３次元解析画像データにおける３点のランドマークを、Ｘ線造影画像データに描出された冠静脈に対応付けることで、ランドマークの３次元位置情報を取得する。

まず、取得部２２１ａは、解析結果データである３次元解析画像データを、Ｘ線診断装置２００の３次元撮影空間に配置する。そして、取得部２２１ａは、複数のＸ線画像データそれぞれにおけるランドマーク投影位置を取得する。ここで、解析結果データが配置される位置は、例えば、操作者により設定される。或いは、配置位置は、例えば、予め設定された位置である。例えば、取得部２２１ａは、３次元撮影空間に配置された３次元解析画像データにおける３点のランドマークを第１方向及び第２方向に投影する。

そして、取得部２２１ａは、第１方向のＸ線画像データにおける３点の投影位置を取得し、画像処理部２２６は、第１方向のＸ線画像データに、取得部２２１ａが取得した３点の投影位置それぞれに、点（マーク）を描画する。同様に、取得部２２１ａは、第２方向のＸ線画像データにおける３点の投影位置を取得し、画像処理部２２６は、第２方向のＸ線画像データに、取得部２２１ａが取得した３点の投影位置それぞれに、点（マーク）を描画する。

そして、表示部２２３は、取得部２２１ａの制御により、複数のＸ線画像データそれぞれにランドマーク投影位置を表示する。例えば、図１６Ａの左図に示すように、表示部２２３は、３点のランドマークを第１方向で投影した位置に３つの点が描画された第１方向のＸ線画像データを表示する。また、例えば、図１６Ｂの左図に示すように、表示部２２３は、３点のランドマークを第２方向で投影した位置に３つの点が描画された第２方向のＸ線画像データを表示する。

そして、取得部２２１ａは、表示部２２３を参照する操作者が、複数のＸ線画像データそれぞれにおける特定組織（冠静脈）の位置にランドマーク投影位置を対応付ける操作に基づいて、ランドマークの３次元位置情報を取得する。

例えば、操作者は、図１６Ａの左図に示す画像を参照し、画像に描出されている３つの点それぞれを、対応する冠静脈の位置まで移動させる。これにより、３つのランドマーク投影位置それぞれは、図１６Ａの右図に示すように、第１方向のＸ線画像データに描出されているＣＳとＧＣＶとの分岐点、ＣＳ上の点及びＣＳとＭＣＶとの分岐点に対応付けられる。

また、例えば、操作者は、図１６Ｂの左図に示す画像を参照し、画像に描出されている３つの点それぞれを、対応する冠静脈の位置まで移動させる。これにより、３つのランドマーク投影位置それぞれは、図１６Ｂの右図に示すように、第２方向のＸ線画像データに描出されているＣＳとＧＣＶとの分岐点、ＣＳ上の点及びＣＳとＭＣＶとの分岐点に対応付けられる。

なお、操作者は、投影したランドマークとＸ線画像データに描出されているランドマークとが略同じ位置となるように、移動操作を行なう。また、ランドマークが線である場合、操作者は、投影した線の大部分がＣＳの走行線と重なるように、移動操作を行なう。なお、投影方向によっては、投影したランドマークの点がＸ線画像データ上で確認できない場合がある。かかる場合を考慮すると、ランドマークは、太さを有する線として設定されたり、図１２Ｄで説明したように、複数断面それぞれで、２つ以上の点として設定されたりすることが好適である。或いは、投影したランドマークの点がＸ線画像データ上で確認できるように、Ｘ線画像データの投影方向を調整しても良い。

なお、本実施形態は、ランドマークだけでなく、解析結果データを投影させても良い。すなわち、解析結果データである３次元超音波画像データや、３次元解析画像データや、これらの合成データを、複数のＸ線画像データそれぞれに投影させても良い。かかる処理を行なうことで、操作者は、左房室間溝や、前室間溝、後室間溝等も確認しながら、ランドマーク投影位置の対応付けを行なうことができる。なお、上述したように、ランドマーク投影位置の対応付けは、１方向のＸ線画像データを用いて行なわれても良い。

取得部２２１ａは、上記のランドマーク投影位置の移動量及び移動方向に応じて、３次元撮影空間に配置したランドマークの平行移動や、回転移動を行ない、これらの処理を行なった後のランドマークの位置を、ランドマークの３次元位置情報として取得する。なお、ランドマークの平行移動や、回転移動にともない、３次元解析画像データも、３次元撮影空間にて平行移動や、回転移動される。また、移動操作により、ランドマーク間の距離が変更される場合もある。かかる場合、取得部２２１ａは、３次元撮影空間に配置したランドマーク間の距離の変更処理を行なう。かかる処理が行なわれる場合、３次元解析画像データは、３次元撮影空間にて拡大されたり、縮小されたり、変形される。

そして、画像処理部２２６は、ランドマークの３次元位置情報に基づいて３次元撮影空間に再配置した３次元解析画像データ、或いは、ランドマークの３次元位置情報に基づいて３次元撮影空間に再配置して「拡大、縮小、又は、変形」した３次元解析画像データを、医師が所望する方向でリアルタイム撮影されている被検体Ｐの心臓のＸ線画像データに投影する。すなわち、画像処理部２２６は、３次元撮影空間で位置合わせされた３次元解析画像データの投影像を、心臓のＸ線画像データに重畳した画像データを生成する。なお、医師が所望する方向とは、電極の留置に適したＸ線画像データを撮影するための方向である。また、医師が所望する方向は、術中任意に変更可能であり、画像処理部２２６は、３次元解析画像データを、変更後の方向でリアルタイム撮影されている被検体Ｐの心臓のＸ線画像データに投影する。

図１７は、第１の実施形態で表示される画像データの一例を示す図である。医師は、図１７に例示する画像データを参照して、３次元解析画像データの投影像で非同期部位を確認しながら、非同期部位の最も近い位置の静脈内に、電極を留置することができる。なお、３次元解析画像データの投影像は、重畳された画像であることから、操作者の要求に応じて、表示及び非表示の切り替えが可能である。なお、本実施形態は、Ｘ線画像データに重畳される３次元解析画像データの投影対象を、非同期部位のみとしても良い。また、重畳される３次元解析画像データの投影像は、任意の不透明度に変更可能である。なお、３次元解析画像データの投影像が重畳されるＸ線画像データは、Ｘ線造影画像データであっても、非造影のＸ線画像データであっても良い。

ここで、解析結果データが３次元超音波画像データである場合には、取得部２２１ａは、ランドマークの３次元位置情報を取得後、超音波診断装置１００から対応する３次元解析画像データを取得する。或いは、解析結果データが３次元超音波画像データである場合には、医師が所望する方向で撮影されたＸ線画像データに重畳される画像データは、３次元解析画像データの投影像以外にも、３次元超音波画像データに基づく画像データであっても良い。かかる３次元超音波画像データに基づく画像データは、例えば、非同期部位の短軸面を含む複数の短軸面の超音波画像データである。

また、本実施形態は、ランドマークの３次元位置情報を取得するために、操作者が設定したランドマーク以外の情報を用いても良い。図１８は、第１の実施形態に係る変形例を説明するための図である。すなわち、出力部１５７ａは、更に、所定組織である心臓の形状情報として、少なくとも心外膜位置情報を出力データに含めて出力しても良い。かかる場合、出力部１５７ａは、形状情報として、心外膜位置情報を出力データに含めて出力する。具体的には、心外膜位置情報は、３ＤＴ処理で得られた心外膜の３次元ワイヤーフレームデータである。また、心内膜位置情報は、３ＤＴ処理で得られた心内膜の３次元ワイヤーフレームデータである。なお、本実施形態は、心内膜位置情報を出力データに含めても良い。

そして、表示部２２３は、ランドマーク投影位置とともに、心外膜位置情報を複数のＸ線画像データそれぞれに投影した心外膜投影位置を表示する。例えば、表示部２２３は、図１８に示すように、心外膜の３次元ワイヤーフレームデータを第１方向に投影したデータを、第１方向のＸ線画像データに重畳表示する。

そして、取得部２２１ａは、更に、表示部２２３を参照する操作者が心外膜投影位置を、複数のＸ線画像データそれぞれの心外膜の所定位置に対応付ける操作に基づいて、ランドマークの３次元位置情報を取得する。ここで、心外膜の所定位置は、左心室の心尖部である。心尖部は、Ｘ線画像データに明瞭に描出されていないものの、操作者が目視で判別することが可能である。本変形例では、操作者は、心外膜の３次元ワイヤーフレームデータの投影像で確認した心尖部を、Ｘ線画像データで確認した心尖部まで移動させる。これにより、本変形例では、ランドマークの３次元位置情報をより精度よく取得することができる。なお、心内膜の３次元ワイヤーフレームデータの投影像は、左房室間溝や、前室間溝、後室間溝等の確認作業を行なう際に、補助的な情報として利用することができる。

この変形例では、出力部１５７ａは、心外膜位置情報を、表示及び非表示を切り替え可能な特定情報として出力する。具体的には、出力部１５７ａは、特定情報を所定の輝度値で構成した情報として出力する。例えば、出力部１５７ａは、解析結果データを、５１２階調のうち、５１１階調の輝度値で構成されるデータとし、心外膜位置情報を、５１２階調のうち、１階調の輝度値で構成されるデータとして出力する。これにより、心外膜位置情報の表示及び非表示を簡便に切り替えることができる。心外膜投影位置が表示されていると、ランドマーク投影位置の位置合わせが困難になることが想定される。上記の構成で心外膜位置情報を出力データに含めることで、ランドマーク投影位置の位置合わせを円滑の行なうことができる。

なお、心外膜位置情報を用いない場合であり、３次元合成データを解析結果データとする場合、出力部１５７ａは、３次元解析画像データを、５１２階調のうち、５１１階調の輝度値で構成されるデータとし、３次元超音波画像データを、５１２階調のうち、１階調の輝度値で構成されるデータとして出力しても良い。これにより、３次元超音波画像データの表示及び非表示を簡便に切り替えることができる。

続いて、図１９及び図２０を用いて、第１の実施形態に係る画像処理システム１の処理の流れについて説明する。図１９は、第１の実施形態に係る超音波診断装置が行なう処理の一例を説明するためのフローチャートであり、図２０は、第１の実施形態に係るＸ線診断装置が行なう処理の一例を説明するためのフローチャートである。なお、図１９は、３次元超音波画像データのＭＰＲ画像データが表示され、かつ、３次元解析画像データが生成された後に行なわれる処理の一例を示している。

図１９に例示するように、第１の実施形態に係る超音波診断装置１００が有する入力部１３０は、操作者からランドマークの設定を受け付けたか否かを判定する（ステップＳ１０１）。ここで、ランドマークの設定を受け付けない場合（ステップＳ１０１否定）、入力部１３０は、ランドマークの設定を受け付けるまで待機する。

一方、ランドマークの設定を受け付けた場合（ステップＳ１０１肯定）、出力部１５７ａは、解析結果データとランドマークの位置の情報とを出力データとして出力し（ステップＳ１０２）、処理を終了する。

そして、図２０に例示するように、第１の実施形態に係るＸ線診断装置２００が有する取得部２２１ａは、超音波診断装置１００から出力データを受信したか否かを判定する（ステップＳ２０１）。ここで、出力データを受信していない場合（ステップＳ２０１否定）、取得部２２１ａは、出力データを受信するまで待機する。

一方、出力データを受信した場合（ステップＳ２０１肯定）、取得部２２１ａは、Ｘ線診断装置２００の各部を制御して、複数方向のＸ線画像データを生成させる（ステップＳ２０２）。具体的には、Ｘ線診断装置２００は、造影剤が注入された被検体Ｐの心臓を、複数方向から撮影する。

そして、取得部２２１ａの制御により、表示部２２３は、複数のＸ線画像データそれぞれに、ランドマーク投影位置を重畳表示する（ステップＳ２０３）。そして、取得部２２１ａは、操作者からランドマーク投影位置と、複数のＸ線画像データそれぞれにおける特定組織の位置とを対応付ける対応付け操作を受け付けたか否かを判定する（ステップＳ２０４）。ここで、対応付け操作を受け付けない場合（ステップＳ２０４否定）、取得部２２１ａは、対応付け操作を受け付けるまで待機する。

一方、対応付け操作を受け付けた場合（ステップＳ２０４肯定）、取得部２２１ａは、対応付け操作に基づいて、３次元撮影空間におけるランドマークの３次元位置情報を取得する（ステップＳ２０５）。そして、取得部２２１ａの制御により、表示部２２３は、解析画像データが、Ｘ線画像データに位置合わせされた画像データを表示し（ステップＳ２０６）、処理を終了する。

上述したように、第１の実施形態では、造影撮影により容易にＸ線画像データで判別可能な特定組織であり、超音波画像データには描出されないが、存在する位置が組織形態から判別可能な特定組織である冠静脈を用いて、超音波画像データとＸ線画像データとの位置合わせを行なう。これにより、第１の実施形態では、超音波診断で特定された部位をＸ線透視下で判別することができる。また、第１の実施形態では、位置合わせにより重畳表示可能となった３次元解析画像データの投影像を参照しながら、医師は、非同期部位近くに、電極を留置することが可能となる。

（第２の実施形態）
第２の実施形態では、解析画像データが２次元である場合について、図２１Ａ、図２１Ｂ，図２２及び図２３を用いて説明する。図２１Ａ、図２１Ｂ，図２２及び図２３は、第２の実施形態を説明するための図である。

第２の実施形態に係る画像処理システム１は、図１を用いて説明した第１の実施形態に係る画像処理システム１と同様に構成される。ただし、第２の実施形態は、超音波診断装置１００が２次元走査専用の装置であっても適用可能である。

すなわち、第２の実施形態に係る解析部１５６は、被検体Ｐを２次元超音波走査することで生成された時系列に沿った２次元超音波画像データ群を解析して、２次元解析画像データを生成する。第２の実施形態では、まず、操作者は、被検体Ｐの心臓の左心系の短軸断面を、１心拍以上の期間で２次元走査する。これにより、画像生成部１５４は、図２１Ａに示すように、１心拍以上の期間の時系列に沿った複数の２次元超音波画像データを生成し、画像メモリ１５５に格納する。画像メモリ１５５に格納された複数の２次元超音波画像データは、少なくとも左心室を含む心臓の短軸断面を１心拍以上の期間で超音波走査することで生成された２次元超音波画像データ群である。なお、第２の実施形態に係る２次元超音波画像データは、２次元Ｂモード画像データである。また、第２の実施形態は、メカニカル４Ｄプローブや２Ｄアレイプローブである超音波プローブ１１０を用いて、２次元走査を行なう場合であっても良いし、２次元走査専用の超音波プローブ１１０を用いる場合であっても良い。

そして、解析部１５６は、２次元超音波画像データ群から、心壁運動情報の時系列データを算出する。具体的には、解析部１５６は、２次元超音波画像データ間のパターンマッチングを含む処理により各追跡点を追跡した結果を用いて、心壁運動情報の算出処理を行なう。第２の実施形態では、２次元スペックルトラッキング処理（2D Speckle Tracking、以下「２ＤＴ」）が行なわれる。

例えば、入力部１３０は、操作者から、２次元超音波画像データ群の第１フレームの表示要求を受け付ける。表示要求が転送された制御部１５７は、第１フレームの２次元超音波画像データを画像メモリ１５５から読み出して、モニタ１２０に表示させる。

そして、操作者は、モニタ１２０に表示された２次元超音波画像データを参照して、２ＤＴを行なう追跡点を複数設定する。一例を挙げると、操作者は、２次元超音波画像データにおいて、左室内膜や心筋外膜の位置をトレースする。解析部１５６は、トレースされた内膜面や外膜面から２次元的な境界面を再構成する。そして、解析部１５６は、図２１Ｂに例示するように、第１フレームの内膜面及び外膜面それぞれにおいて、ペアとなる複数の追跡点を設定する。解析部１５６は、第１フレームで設定された複数の追跡点それぞれに対して、テンプレートデータを設定する。テンプレートデータは、追跡点を中心とする複数のピクセルから構成される。

そして、解析部１５６は、２つのフレーム間でテンプレートデータのスペックルパターンと最も一致する領域を探索することで、テンプレートデータが次のフレームでどの位置に移動したかを追跡する。なお、追跡点は、解析部１５６が第１フレームに含まれる左心室の内膜面や外膜面を検出することで設定する場合であっても良い。

これにより、解析部１５６は、歪みや変位等の心壁運動情報の時系列データを算出する。例えば、解析部１５６は、心内膜及び心外膜の２ＤＴの結果から、心壁運動情報として歪み（Strain）を算出する。解析部１５６は、円周方向の歪みや、壁厚方向の歪みを算出する。或いは、解析部１５６は、心内膜又は心外膜の２ＤＴの結果から、変位を算出する。解析部１５６は、円周方向の変位や、壁厚方向の円周方向の歪みや、壁厚方向の歪みを算出する。

そして、例えば、解析部１５６は、１６分画それぞれの心壁運動情報の値をカラーに変換したうえで、２次元超音波画像データの心内膜面と心外膜面との間にマッピングした２次元解析画像データを生成する。すなわち、第２の実施形態に係る解析部１５６が生成する２次元解析画像データは、図７に例示したＣ面の解析画像データに対応するデータである。

そして、第２の実施形態に係る入力部１３０は、２次元超音波画像データ群を構成する２次元超音波画像データにおいて、ランドマークの設定を受け付ける。例えば、収縮末期の２次元解析画像データが選択された場合、ランドマークは、収縮末期の２次元超音波画像データにて設定される。例えば、入力部１３０は、第１の実施形態で図１２Ｃを用いて説明した２点と太さを有する線とで構成されるランドマークを受け付ける（図２２の左図を参照）。

そして、第２の実施形態に係る出力部１５７ａは、２次元超音波画像データ、又は、２次元解析画像データ、又は、２次元超音波画像データ及び２次元解析画像データ、又は、２次元超音波画像データと２次元解析画像データとの２次元合成データを解析結果データとする。そして、出力部１５７ａは、解析結果データにおけるランドマークの位置の情報を当該解析結果データに付加したデータを出力データとして出力する。以下では、２次元超音波画像データと、当該２次元超音波画像データの心内膜面と心外膜面との間に心壁運動情報の値をカラーマッピングした２次元解析画像データとの２次元合成データを、解析結果データとする場合について説明する。

そして、第２の実施形態に係る取得部２２１ａは、第１の実施形態で説明したように、複数方向で撮影した複数のＸ線画像データと、ランドマーク投影位置とに基づいて、ランドマークの３次元位置情報を取得する。すなわち、取得部２２１ａは、図２２に示すように、２次元解析画像データにおける２点及び線のランドマークを、Ｘ線造影画像データに描出された冠静脈に対応付けることで、ランドマークの３次元位置情報を取得する。なお、第２の実施形態においても、取得部２２１ａは、１方向で撮影した１つのＸ線画像データと、ランドマーク投影位置とに基づいて、ランドマークの３次元位置情報を取得しても良い。

例えば、第２の実施形態では、第１の実施形態と同様に、２次元解析画像データを３次元撮影空間に配置したうえで、ランドマークを、第１方向のＸ線画像データと第２方向のＸ線画像データとに投影する。そして、第２の実施形態でも、操作者は、図２３の左図に示すように、ランドマーク投影位置が、Ｘ線造影画像データに描出された冠静脈に一致するように、操作を行なう。これにより、ランドマークの３次元撮影空間における位置が修正され、２次元解析画像データの３次元撮影空間における位置が修正される。なお、第２の実施形態においても、操作者の操作によっては、２次元解析画像データが変形される。

そして、第２の実施形態においても、３次元撮影空間に再配置された２次元解析画像データを医師が所望する方向へ投影することで、図２３の右図に示すように、２次元解析画像データが、心臓のＸ線画像データに重畳された画像データが表示部２２３にて表示される。なお、図２３の右図に示す一例では、２次元合成データの投影像がＸ線画像データに位置合わせされた状態で重畳表示されている。なお、第２の実施形態において、Ｘ線画像データに位置合わせされた状態で重畳表示される画像データは、例えば、非同期部位の短軸面の超音波画像データであっても良い。

なお、第２の実施形態に係る処理の流れは、解析画像データが２次元である以外、第１の実施形態と同様であるので、説明を省略する。また、第１の実施形態で説明した内容は、解析画像データが２次元である以外、可能な範囲で、第２の実施形態でも同様に適用される。

上述したように、第２の実施形態では、２次元データの処理のみ可能である超音波診断装置１００を用いる場合であっても、超音波画像データとＸ線画像データとの位置合わせを行なうことができる。なお、第２の実施形態では、位置合わせにより重畳表示可能となる投影像が、２次元解析画像データの投影像であることから、非同期部位を広範囲で確認することはできないが、医師は、非同期部位に近い静脈を確認することができるので、従来と比較して、治療効果が高い位置に電極を留置することができる。

（第３の実施形態）
第３の実施形態では、複数断面にて、２次元解析画像データが生成される場合について、図２４、図２５Ａ、図２５Ｂ、図２５Ｃ及び図２６を用いて説明する。図２４は、第３の実施形態に係る超音波診断装置の構成例を示すブロック図であり、図２５Ａ、図２５Ｂ、図２５Ｃ及び図２６は、第３の実施形態を説明するための図である。

第３の実施形態に係る画像処理システム１は、図１を用いて説明した第１の実施形態に係る画像処理システム１と同様に構成される。ただし、第３の実施形態に係る超音波診断装置１００は、第１の実施形態に係る超音波診断装置１００とは異なり、図２４に示すように、超音波プローブ１１０に位置センサ１６０が取り付けられ、更に、トランスミッター１６１が設置される。

位置センサ１６０及びトランスミッター１６１は、超音波プローブ１１０の位置情報を取得するための装置である。例えば、位置センサ１６０は、超音波プローブ１１０に取り付けられる磁気センサである。また、例えば、トランスミッター１６１は、任意の位置に配置され、自装置を中心として外側に向かって磁場を形成する装置である。

位置センサ１６０は、トランスミッター１６１によって形成された３次元の磁場を検出する。そして、位置センサ１６０は、検出した磁場の情報に基づいて、トランスミッター１６１を原点とする空間における自装置の位置（座標及び角度）を算出し、算出した位置を装置本体１５０に送信する。ここで、位置センサ１６０は、自装置が位置する３次元の座標及び角度を、超音波プローブ１１０の３次元位置情報として、装置本体１５０に送信する。具体的には、位置センサ１６０は、超音波プローブ１１０の３次元位置情報を、出力部１５７ａに送信する。

なお、本実施形態は、位置センサ１６０及びトランスミッター１６１を用いた位置検出システム以外のシステムにより、超音波プローブ１１０の位置情報を取得する場合であっても適用可能である。例えば、本実施形態は、ジャイロセンサや加速度センサ等を用いて、超音波プローブ１１０の位置情報を取得する場合であっても良い。

そして、第３の実施形態では、解析部１５６は、被検体Ｐを複数の走査断面それぞれを走査することで生成された複数の時系列に沿った２次元超音波画像データ群を解析して、複数の２次元解析画像データを生成する。そして、入力部１３０は、複数の２次元超音波画像データ群それぞれを構成する複数の２次元超音波画像データそれぞれにおいて、ランドマークの設定を受け付ける。

例えば、入力部１３０は、「Ｃ３レベルの収縮末期の２次元解析画像データに対応する２次元超音波画像データ」、「Ｃ５レベルの収縮末期の２次元解析画像データに対応する２次元超音波画像データ」及び「Ｃ７レベルの収縮末期の２次元解析画像データに対応する２次元超音波画像データ」それぞれで、図２５Ａに示すように、２点と線とで構成されるランドマークの設定を受け付ける。

そして、出力部１５７ａは、ランドマークの設定に用いた複数の２次元解析画像データそれぞれに対応する複数の２次元解析結果データそれぞれにランドマークの位置の情報を付加する。更に、出力部１５７ａは、位置センサ１６０が取得した位置情報（３次元位置情報）から定まる複数の２次元解析結果データ間の相対的位置関係を示す相対位置情報を付加する。そして、複数の２次元解析結果データそれぞれにランドマークの位置の情報が付加され、更に、相対位置情報が付加されたデータを出力データとして出力する。

そして、第３の実施形態に係る取得部２２１ａは、出力データから読み込んだ相対位置情報に基づいて、図２５Ｂに示すように、３次元撮影空間に複数の２次元解析結果データを配置する。例えば、第３の実施形態では、各２次元解析結果データにおけるランドマークを、第１方向のＸ線画像データと第２方向のＸ線画像データとに投影する。そして、第３の実施形態でも、操作者は、ランドマーク投影位置が、Ｘ線造影画像データに描出された冠静脈に一致するように、操作を行なう。これにより、図２５Ｃに示すように、３断面それぞれのランドマークの３次元撮影空間における位置が修正される。また、これにともない、各２次元解析画像データの３次元撮影空間における位置が修正される。なお、第３の実施形態においても、操作者の操作によっては、各２次元解析画像データが変形される。ここで、第３の実施形態においても、取得部２２１ａは、１方向で撮影した１つのＸ線画像データと、３断面それぞれのランドマーク投影位置とに基づいて、ランドマークの３次元位置情報を取得しても良い。

そして、第３の実施形態においても、３次元撮影空間に再配置された複数の２次元解析画像データを医師が所望する方向へ投影することで、複数の２次元解析画像データそれぞれが、心臓のＸ線画像データに重畳された画像データが表示部２２３にて表示される。例えば、第３の実施形態においては、複数の２次元合成データの投影像それぞれがＸ線画像データに位置合わせされた状態で重畳表示される。なお、第２の実施形態において、Ｘ線画像データに位置合わせされた状態で重畳表示される画像データは、例えば、非同期部位の短軸面を含む複数の短軸面の超音波画像データであっても良い。

ここで、第３の実施形態は、以下に説明する変形例により行なわれても良い。本変形例では、出力部１５７ａは、複数の２次元解析データそれぞれに対応する複数の２次元解析結果データを、位置センサ１６０が取得した位置情報に基づいて３次元空間に配置することで、３次元解析結果データとする。そして、出力部１５７ａは、３次元解析結果データにおけるランドマークの位置の情報を当該３次元解析結果データに付加したデータを出力データとして出力する。そして、取得部２２１ａは、３次元撮影空間に３次元解析結果データを配置する。この変形例では、３次元解析結果データを配置した後の処理は、第１の実施形態と同様の処理となる。

なお、上記の第３の実施形態において、２次元超音波走査が行なわれる断面は、短軸断面に限定されるものではない。例えば、第３の実施形態において、２次元超音波走査が行なわれる断面は、図２６に示すように、３つの短軸断面及び心尖部を含む長軸断面であっても良い。かかる場合、長軸断面の２次元超音波画像データには、心尖部に対応する１点がランドマークとして設定可能である。また、第１の実施形態で説明した内容は、解析画像データが複数の２次元データである以外、可能な範囲で、第３の実施形態でも同様に適用される。

上述したように、第３の実施形態では、複数の２次元解析画像データを用いることで、１つの２次元解析画像データを用いる場合と比較して、医師は、非同期部位を広範囲で確認することができる。従って、第３の実施形態では、第２の実施形態と比較して、治療効果が高い位置に電極を留置することができる。

なお、上記の第１〜第３の実施形態では、入力部１３０が点や線により示される複数のランドマークを受け付けて、表示部２２３が複数のランドマークを示す点や線を、Ｘ線画像データに投影して表示する場合について説明した。しかし、上記の第１〜第３の実施形態では、表示部２２３は、入力部１３０が受け付けた複数のランドマークそれぞれを投影した複数のランドマーク投影位置を表示する際、各ランドマークを区別可能とするように表示形態を変える場合であっても良い。

例えば、表示部２２３は、取得部２２１ａの制御により、各ランドマークを区別可能とするように、点や線として表示される複数のランドマークそれぞれの脇に、ランドマークごとに異なる文字や、記号、マーク、添え字の少なくとも１つを表示する。或いは、又は、更に、例えば、表示部２２３は、取得部２２１ａの制御により、各ランドマークを区別可能とするように、複数のランドマークそれぞれの大きさや、形、濃度、色の少なくとも１つを変更して表示する。例えば、表示部２２３は、複数の点を投影表示する際、各点の大きさ、各点の形、各点の濃さ、各点の色の少なくとも１つを変更して表示する。

これにより、操作者は、表示形態の違いにより、ランドマーク同士を区別して、各ランドマーク投影位置を対応付ける操作を容易に行なうことができる。なお、上記の表示形態の変更処理は、取得部２２１ａの制御により自動的に行なわれる場合の他に、操作者が入力部１３０を用いて点や線を複数のランドマークとして入力する際に、「Ｔ」が「Ｌ」等の文字や、記号、マーク等を、各ランドマークの脇に入力したり、複数のランドマークそれぞれを区別可能なように各ランドマークを描画したりすることで実行される場合であっても良い。

また、上記の第１〜第３の実施形態で説明した各部の処理は、画像処理装置４００が実行する場合であっても良い。例えば、解析画像データの生成処理、ランドマークの設定受け付け処理、出力データの出力処理、ランドマークの３次元位置情報の取得処理の一部又は全ては、画像処理装置４００が実行する場合であっても良い。位置合わせされた解析画像データとＸ線画像データとの重畳画像も、画像処理装置４００が生成する場合であっても良い。すなわち、上記の第１〜第３の実施形態で説明した各処理部の分散・統合の具体的形態は、図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上記の第１〜第３の実施形態では、第１の医用画像データが、超音波画像データである場合について説明した。しかし、上記の第１〜第３の実施形態で説明した内容は、第１の３次元医用画像データが、所定組織である心臓が描出され、心臓の運動を解析可能な医用画像データであるならば、適用可能である。例えば、第１〜第３の実施形態で説明した内容は、第１の医用画像データが、心筋が染影された時相のＸ線ＣＴ画像データ、又は、心筋が染影された時相のＭＲＩ画像データである場合であっても適用可能である。

また、上記の第１〜第３の実施形態では、Ｘ線画像データで判別可能な特定組織に対応する位置にランドマークを超音波画像データに設定して、Ｘ線画像データと超音波画像データとの位置合わせを行なう場合について説明した。すなわち、上記の第１〜第３の実施形態では、第２の医用画像データが、Ｘ線画像データである場合について説明した。しかし、上記の第１〜第３の実施形態で説明した画像処理方法は、第１の医用画像データと位置合わせを行なう対象が、Ｘ線画像データとは異なる種類の医用画像データであっても適用可能である。すなわち、第１〜第３の実施形態で説明した画像処理方法は、第２の医用画像データが、特定組織が映像化された医用画像データであるならば、適用可能である。例えば、第２の医用画像データは、Ｘ線ＣＴ（Computed Tomography）画像データや、ＭＲＩ（Magnetic Resonance Imaging）画像データ等である。かかる場合、画像処理システムは、被検体の所定組織が描出された超音波画像データにおいて、他種医用画像データで判別可能な特定組織に対応する位置にランドマークの設定を受け付ける。そして、画像処理システムは、超音波画像データにおけるランドマークの位置の情報を含むデータを出力データとして出力する。そして、画像処理システムは、被検体の所定組織を複数方向から撮影した複数の他種医用画像データそれぞれにおける特定組織の位置と、出力データから読み込んだランドマークの位置を他種医用画像データの３次元撮影空間に配置して複数の他種医用画像データそれぞれに投影したランドマーク投影位置とに基づいて、３次元撮影空間における前記ランドマークの３次元位置情報を取得する。そして、画像処理システムは、ランドマークの３次元位置情報に基づいて、超音波画像データを解析することで生成された解析画像データが、所定組織の他種医用画像データに重畳された画像データを表示する。かかる処理により、超音波診断で特定された部位を他種の医用画像データにおいても判別することができる。

また、上記の第１〜第３の実施形態で説明した画像処理方法は、予め用意された画像処理プログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。この画像処理プログラムは、インターネットなどのネットワークを介して配布することができる。また、この画像処理プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。

以上、説明したとおり、第１の実施形態〜第３の実施形態によれば、超音波診断で特定された部位をＸ線透視下で判別することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１００ 超音波診断装置
１３０ 入力部
１５６ 解析部
１５７ａ 出力部
２００ Ｘ線診断装置
２２１ａ 取得部
２２３ 表示部

Claims (15)

1. 被検体の所定組織が描出され、前記所定組織の運動を解析可能な第１の医用画像データにおいて、前記所定組織を造影撮影して得られた医用画像データ、又は、器具が挿入された特定組織を撮影して得られた医用画像データである第２の医用画像データで判別可能な前記特定組織に対応する位置にランドマークの設定を受け付ける入力部と、
   前記第１の医用画像データにおける前記ランドマークの位置の情報を含むデータを出力データとして出力する出力部と、
   前記出力データを受信し、前記所定組織を１つ又は複数の撮影方向から撮影して得られた撮影方向に対応する１つ又は複数の前記第２の医用画像データにおける前記特定組織の位置と、前記出力データから読み込んだ前記ランドマークの位置を前記１つ又は複数の前記第２の医用画像データの３次元撮影空間に配置して前記１つ又は複数の第２の医用画像データに投影したランドマーク投影位置とに基づいて、前記ランドマークの３次元位置情報を取得する取得部と、
   前記ランドマークの３次元位置情報に基づいて、前記第１の医用画像データ又は、前記第１の医用画像データを解析することで生成された解析画像データが、前記所定組織の第２の医用画像データに重畳された画像データを表示する表示部と、
   を備えたことを特徴とする画像処理システム。
2. 前記入力部は、前記第２の医用画像データであるＸ線画像データで判別可能な前記特定組織に対応する位置にランドマークの設定を受け付け、
   前記取得部は、前記１つ又は複数の第２の医用画像データである１つ又は複数のＸ線画像データにおける前記特定組織の位置と、前記出力データから読み込んだ前記ランドマークの位置をＸ線画像データの３次元撮影空間に配置し、
   前記表示部は、前記第１の医用画像データである超音波画像データ、又は、前記解析画像データが、前記所定組織のＸ線画像データに重畳された画像データを表示する、請求項１に記載の画像処理システム。
3. 前記表示部は、前記１つ又は複数のＸ線画像データそれぞれに前記ランドマーク投影位置を表示し、
   前記取得部は、前記表示部を参照する操作者が、前記１つ又は複数のＸ線画像データそれぞれにおける前記特定組織の位置に前記ランドマーク投影位置を対応付ける操作に基づいて、前記ランドマークの３次元位置情報を取得する、請求項２に記載の画像処理システム。
4. 前記入力部は、前記第１の医用画像データにおいて、３つ以上の点、又は、線、又は、２つ以上の点及び線を前記ランドマークとして受け付ける、請求項１〜３のいずれか１つに記載の画像処理システム。
5. 前記表示部は、前記入力部が受け付けた複数のランドマークそれぞれを投影した複数のランドマーク投影位置を表示する際、各ランドマークを区別可能とするように表示形態を変えることを特徴とする請求項４に記載の画像処理システム。
6. 前記第１の医用画像データは、前記被検体を超音波走査することで生成された超音波画像データであって、
   前記被検体を超音波走査することで生成された時系列に沿った超音波画像データ群を解析して、前記所定組織における局所的な運動に関する解析画像データを生成する解析部、
   を更に備え、
   前記入力部は、前記超音波画像データ群を構成する超音波画像データにおいて、前記ランドマークの設定を受け付け、
   前記出力部は、前記超音波画像データ、又は、前記解析画像データ、又は、前記超音波画像データと前記解析画像データとの合成データを解析結果データとし、当該解析結果データにおける前記ランドマークの位置の情報を当該解析結果データに付加したデータを前記出力データとして出力し、
   前記取得部は、前記３次元撮影空間に前記解析結果データを配置して、複数のＸ線画像データそれぞれにおける前記ランドマーク投影位置を取得する、請求項４又は５に記載の画像処理システム。
7. 前記解析部は、前記被検体を３次元超音波走査することで生成された時系列に沿った３次元超音波画像データ群を解析して、３次元解析画像データを生成し、
   前記入力部は、前記３次元超音波画像データ群を構成する３次元超音波画像データに基づく２次元画像データにおいて、前記ランドマークの設定を受け付け、
   前記出力部は、前記３次元超音波画像データ、又は、前記３次元解析画像データ、又は、前記３次元超音波画像データ及び前記３次元解析画像データ、又は、前記３次元超音波画像データと前記３次元解析画像データとの３次元合成データを前記解析結果データとする、請求項６に記載の画像処理システム。
8. 前記出力部は、更に、前記所定組織である心臓の形状情報として、少なくとも心外膜位置情報を前記出力データに含めて出力し、
   前記表示部は、前記ランドマーク投影位置とともに、前記心外膜位置情報を前記複数のＸ線画像データそれぞれに投影した心外膜投影位置を表示し、
   前記取得部は、更に、前記表示部を参照する操作者が前記心外膜投影位置を、前記複数のＸ線画像データそれぞれの心外膜の所定位置に対応付ける操作に基づいて、前記ランドマークの３次元位置情報を取得する、請求項７に記載の画像処理システム。
9. 前記出力部は、前記心外膜位置情報を、表示及び非表示を切り替え可能な特定情報として出力する、請求項８に記載の画像処理システム。
10. 前記出力部は、前記特定情報を所定の輝度値で構成した情報として出力する、請求項９に記載の画像処理システム。
11. 前記解析部は、前記被検体を２次元超音波走査することで生成された時系列に沿った２次元超音波画像データ群を解析して、２次元解析画像データを生成し、
    前記入力部は、前記２次元超音波画像データ群を構成する２次元超音波画像データにおいて、前記ランドマークの設定を受け付け、
    前記出力部は、前記２次元超音波画像データ、又は、前記２次元解析画像データ、又は、前記２次元超音波画像データ及び前記２次元解析画像データ、又は、前記２次元超音波画像データと前記２次元解析画像データとの２次元合成データを前記解析結果データとする、請求項６に記載の画像処理システム。
12. 超音波プローブの位置情報を取得する位置センサ、
    を更に備え、
    前記解析部は、前記被検体を複数の走査断面それぞれで走査することで生成された複数の時系列に沿った２次元超音波画像データ群を解析して、複数の２次元解析画像データを生成し、
    前記入力部は、前記複数の２次元超音波画像データ群それぞれを構成する複数の２次元超音波画像データそれぞれにおいて、前記ランドマークの設定を受け付け、
    前記出力部は、前記複数の２次元解析画像データそれぞれに対応する複数の２次元解析結果データそれぞれに前記ランドマークの位置の情報を付加し、更に、前記位置センサが取得した位置情報から定まる前記複数の２次元解析結果データ間の相対的位置関係を示す相対位置情報を付加したデータを前記出力データとして出力し、
    前記取得部は、前記出力データから読み込んだ相対位置情報に基づいて、前記３次元撮影空間に前記複数の２次元解析結果データを配置する、請求項１１に記載の画像処理システム。
13. 超音波プローブの位置情報を取得する位置センサ、
    を更に備え、
    前記解析部は、前記被検体を複数の走査断面それぞれで走査することで生成された複数の時系列に沿った２次元超音波画像データ群を解析して、複数の２次元解析画像データを生成し、
    前記入力部は、前記複数の２次元超音波画像データ群それぞれを構成する複数の２次元超音波画像データそれぞれにおいて、前記ランドマークの設定を受け付け、
    前記出力部は、前記複数の２次元解析画像データそれぞれに対応する複数の２次元解析結果データを、前記位置センサが取得した位置情報に基づいて３次元空間に配置することで、３次元解析結果データとし、当該３次元解析結果データにおける前記ランドマークの位置の情報を当該３次元解析結果データに付加したデータを前記出力データとして出力し、
    前記取得部は、前記３次元撮影空間に前記３次元解析結果データを配置する、請求項１１に記載の画像処理システム。
14. 被検体の所定組織が描出され、前記所定組織の運動を解析可能な第１の医用画像データにおいて、ランドマークの位置の情報を含むデータを出力データとして受信し、前記所定組織を造影撮影して得られた医用画像データ、又は、器具が挿入された特定組織を撮影して得られた医用画像データであって前記被検体の前記所定組織を１つ又は複数の撮影方向から撮影して得られた撮影方向に対応する１つ又は複数の医用画像データである第２の医用画像データにおける特定組織の位置と、前記出力データから読み込んだ前記ランドマークの位置を前記１つ又は複数の前記第２の医用画像データの３次元撮影空間に配置して前記１つ又は複数の第２の医用画像データに投影したランドマーク投影位置とに基づいて、前記３次元撮影空間における前記ランドマークの３次元位置情報を取得する取得部と、
    前記ランドマークの３次元位置情報に基づいて、前記第１の医用画像データ又は、前記第１の医用画像データを解析することで生成された解析画像データが、前記所定組織の第２の医用画像データに重畳された画像データを表示する表示部と、
    を備える、Ｘ線診断装置。
15. 入力部が、被検体の所定組織が描出され、前記所定組織の運動を解析可能な第１の医用画像データにおいて、前記所定組織を造影撮影して得られた医用画像データ、又は、器具が挿入された特定組織を撮影して得られた医用画像データである第２の医用画像データで判別可能な前記特定組織に対応する位置にランドマークの設定を受け付け、
    出力部が、前記第１の医用画像データにおける前記ランドマークの位置の情報を含むデータを出力データとして出力し、
    取得部が、前記出力データを受信し、前記被検体の前記所定組織を１つ又は複数の撮影方向から撮影して得られた撮影方向に対応する１つ又は複数の前記第２の医用画像データにおける前記特定組織の位置と、前記出力データから読み込んだ前記ランドマークの位置を前記１つ又は複数の前記第２の医用画像データの３次元撮影空間に配置して前記１つ又は複数の第２の医用画像データに投影したランドマーク投影位置とに基づいて、前記３次元撮影空間における前記ランドマークの３次元位置情報を取得し、
    表示部が、前記ランドマークの３次元位置情報に基づいて、前記第１の医用画像データ又は、前記第１の医用画像データを解析することで生成された解析画像データが、前記所定組織の第２の医用画像データに重畳された画像データを表示する、
    ことを含む、画像処理装置の作動方法。