JP5498989B2

JP5498989B2 - 画像処理装置、画像処理方法および画像処理プログラム

Info

Publication number: JP5498989B2
Application number: JP2011120353A
Authority: JP
Inventors: 元中李
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2011-05-30
Filing date: 2011-05-30
Publication date: 2014-05-21
Anticipated expiration: 2031-05-30
Also published as: JP2012245222A

Description

本発明は、ＣＴ装置やＭＲＩ装置により撮影された３次元の動画像と超音波診断装置により撮影された２次元または３次元の動画像を位置合わせして表示する画像処理装置及び画像処理方法およびプログラムに関する。

医療分野において、心臓などの所定の周期的運動を行う患者の部位に対しＣＴ装置やＭＲＩ装置などの空間分解能やコントラスト分解能に優れるモダリティにより撮影された詳細な３次元動画像が画像診断に広く用いられている。

一方、超音波診断装置により撮影される超音波動画像も、被爆等の問題がなく簡易な装置で検査することができるとともに血流による超音波の反射に基づいて血流の流れについても情報を取得することができるため、画像診断において有効である。また、超音波診断技術の発達により、超音波動画像として、被写体の所定の２次元断面について取得した従来の超音波動画像に加え、被写体の３次元画像についての超音波動画像も利用できるようになってきた。

医師らは、上記両動画像の長所を利用するために、両動画像の撮影時に同時に取得した各心電図データに基づいて両動画像の心臓の拍動のフェーズを一致させた状態で表示し、一方の画像を参照しつつ、ユーザのマニュアル操作により他方の画像の表す位置や方向を一方の画像と同じになるように変化させて、同じ位置およびフェーズを表す両動画像をディスプレイに比較可能に表示して画像診断を行っている。しかしながら、被写体に対して固定された位置や向きで撮影されるＣＴ画像またはＭＲ画像に対し、超音波プローブを任意の角度で被写体に押し当てた状態で撮像された超音波画像は被写体に対する相対的な位置や方向の特定が難しく、さらに両動画像から同じフェーズに対応するフレーム画像を特定する必要があるため、両動画像を比較可能に表示するための時間と労力が大きな負担となっていた。

特許文献１には、被検部位の超音波画像データから所定の特徴部、たとえば血流像を含む血管領域を抽出し、事前に取得されたＭＲ画像の所定の特徴部に対して超音波画像の対応する特徴部を位置合わせし、所定の特徴部が一致するように超音波画像に合わせてＭＲ画像を補正し、補正したＭＲ画像と超音波画像を重ね合わせて表示装置に表示する技術が提案されている。

また、特許文献２には、３次元のＣＴ動画像と３次元の超音波動画像を心電図データによりタイミングを同期させ、超音波動画像の空間座標系をＣＴ動画像の空間座標系に変換行列により変換して超音波画像を再構成し、再構成した両動画像を位置合わせして重ね合わせて表示する技術が提案されている。

特開２００３−１５３８７７号公報特開２００９−２２４５９号公報

しかし、特許文献１に記載された技術によれば、静止画についてＣＴ装置により撮影された３次元画像と超音波画像を空間的に位置合わせすることができても、ＣＴ装置により撮影された３次元の動画像と超音波動画像を心臓の拍動のフェーズを対応付けることができないため、両動画像間で対応するフェーズおよび空間的位置を一致させて比較可能に表示することはできない。また、特許文献２に記載した技術によれば、拍動のフェーズを一致させるために両動画像の心電図データを取得する必要があるため、いずれかの画像または両動画像の心電図データが利用できない場合には、両動画像の対応するフェーズを対応付けることが難しい。

そこで、本発明では、ＣＴ装置またはＭＲ装置により撮影された３次元動画像と超音波動画像を、周期的運動のフェーズおよび位置を一致させた比較画像を生成して表示することを容易にする画像処理装置、方法およびプログラムを提供することを目的とする。

本発明による画像処理装置は、患者の所定の周期的運動を行う部位を表す３次元動画像および前記部位を表す超音波動画像を取得する画像取得手段と、前記取得した３次元動画像および超音波動画像を構成する複数のフレーム画像から前記周期的運動に応じて形態が変化する所定の特徴部をそれぞれ抽出する特徴部抽出手段と、前記３次元動画像および前記超音波動画像の前記周期的運動のフェーズを取得するフェーズ取得手段であって、前記３次元動画像および前記超音波動画像の少なくとも一方については前記抽出された特徴部の形態に基づいて前記フェーズを取得するフェーズ取得手段と、前記抽出した特徴部と前記取得したフェーズに基づいて、前記３次元動画像および前記超音波動画像を構成する各フレーム画像の前記特徴部の位置および前記フェーズを対応付ける対応付け手段と、前記対応付けられた特徴部の位置およびフェーズに基づいて、前記３次元動画像および前記超音波動画像の前記対応付けられた特徴部の位置およびフェーズを一致させた比較画像をそれぞれ生成する画像生成手段と、前記生成された各比較画像を対比可能に表示装置に表示する表示制御手段とを備えたことを特徴とするものである。

本発明による画像処理方法は、患者の所定の周期的運動を行う部位を表す３次元動画像および前記部位を表す超音波動画像を取得し、前記取得した３次元動画像および超音波動画像を構成する複数のフレーム画像から前記周期的運動に応じて形態が変化する所定の特徴部をそれぞれ抽出し、前記３次元動画像および前記超音波動画像の前記周期的運動のフェーズを取得するとともに、前記３次元動画像および前記超音波動画像の少なくとも一方については前記抽出された特徴部の形態に基づいて前記フェーズを取得し、前記抽出した特徴部と前記取得したフェーズに基づいて、前記３次元動画像および前記超音波動画像を構成する各フレーム画像の前記特徴部の位置および前記フェーズを対応付けし、前記対応付けられた特徴部の位置およびフェーズに基づいて、前記３次元動画像および前記超音波動画像の前記対応付けられた特徴部の位置およびフェーズを一致させた比較画像をそれぞれ生成し、前記生成された各比較画像を対比可能に表示装置に表示することを特徴とするものである。

本発明による画像処理プログラムは、コンピュータを、患者の所定の周期的運動を行う部位を表す３次元動画像および前記部位を表す超音波動画像を取得する画像取得手段と、
前記取得した３次元動画像および超音波動画像を構成する複数のフレーム画像から前記周期的運動に応じて形態が変化する所定の特徴部をそれぞれ抽出する特徴部抽出手段と、前記３次元動画像および前記超音波動画像の前記周期的運動のフェーズを取得するフェーズ取得手段であって、前記３次元動画像および前記超音波動画像の少なくとも一方については前記抽出された特徴部の形態に基づいて前記フェーズを取得するフェーズ取得手段と、前記抽出した特徴部と前記取得したフェーズに基づいて、前記３次元動画像および前記超音波動画像を構成する各フレーム画像の前記特徴部の位置および前記フェーズを対応付ける対応付け手段と、前記対応付けられた特徴部の位置およびフェーズに基づいて、前記３次元動画像および前記超音波動画像の前記対応付けられた特徴部の位置およびフェーズを一致させた比較画像をそれぞれ生成する画像生成手段と、前記生成された各比較画像を対比可能に表示装置に表示する表示制御手段として機能させることを特徴とするものである。

ここで、本発明における「部位」は、所定の周期的運動を行う部位であれば何でもよく、代表的には心臓があげられる。また、所定の周期的運動とは、部位に含まれる各部分がそれぞれ所定の方向に所定の範囲で動作する再現性のある運動であれば何でもよく、心臓の拍動でも、肺の呼吸でも、関節の屈伸運動でもよい。また、本発明における前記周期的運動を行う部位が心臓である場合、前記特徴部は、心室、心房、心筋、心弁、心尖のいずれかであってもよい。この場合、例えば、前記フェーズ取得手段が前記心弁の開閉状態から前記フェーズを取得するものであることが好ましく、フェーズ取得手段が前記心弁のうち僧帽弁および／または大動脈弁の開閉状態から前記心臓の拡張期および／または収縮期の終了時を特定することにより前記フェーズを取得するものであることがさらに好ましい。

また、本発明における３次元動画像は、被写体の部位の形態を表す３次元動画像であればよく、例えば、ＣＴ画像やＭＲＩ画像により撮影された３次元動画像があげられる。

また、本発明における前記超音波動画像は、３次元動画像であってもよく、あるいは前記特徴部を含む断面を表す動画像であってもよい。

また、本発明における「周期的運動のフェーズ」とは、周期的運動を複数の段階で表すもので、周期的運動の一周期を何段階に分けたものであってもよい。

また、本発明における「対比可能に表示装置に表示する」とは、比較画像を対比させて表示させるものであればどのように表示してもよく、例えば、左右に並列表示してもよく、上下に並列表示してもよく、一方の比較画像中に他方の比較画像を子画像としてピクチャーインピクチャー方式で表示してもよい。また、１つのディスプレイに両比較画像を表示してもよく、複数のディスプレイに両比較画像を表示してもよい。また、両比較画像を同じ大きさで表示してもよく、異なる大きさで表示してもよい。

また、本発明における前記特徴部抽出手段は、前記特徴部を自動抽出するものであることが好ましい。

また、本発明における前記フェーズ取得手段は、前記３次元動画像および前記超音波動画像のうち少なくとも一方について、該動画像の付帯情報からフェーズを取得するものであってもよい。

また、本発明における前記画像生成手段は、前記３次元動画像および前記超音波動画像の付帯情報から画素間隔を取得し、取得した前記画素間隔に基づいて前記両動画像の画素間隔を一致させて前記比較画像を生成するものであってもよい。

また、本発明における前記画像生成手段は、血流のドップラーシフトに基づいてカラードップラー法により表された前記超音波動画像を比較画像として生成するものであることが好ましい。

本発明の画像処理装置、方法およびプログラムによれば、患者の所定の周期的運動を行う部位を表す３次元動画像およびその部位を表す超音波動画像を取得し、取得した３次元動画像および超音波動画像を構成する複数のフレーム画像から周期的運動に応じて形態が変化する所定の特徴部をそれぞれ抽出し、３次元動画像および超音波動画像のそれぞれについて周期的運動のフェーズを取得するとともに両動画像の少なくとも一方については抽出された特徴部の形態に基づいてフェーズを取得し、抽出した特徴部と取得したフェーズに基づいて、３次元動画像および超音波動画像を構成する各フレーム画像の特徴部の位置およびフェーズを対応付けし、対応付けられた特徴部の位置およびフェーズに基づいて、３次元動画像および超音波動画像の対応付けられた特徴部の位置およびフェーズを一致させた比較画像をそれぞれ生成し、生成された比較画像を表示装置に表示するものであるため、心電図データが利用できない場合であっても特徴部の形態に基づいて容易に３次元動画像及び超音波動画像の比較画像を生成することができる。また、３次元動画像に基づいて生成された比較画像により高空間解像度で対象部位を把握するとともに必要に応じて超音波動画像に基づいて生成された比較画像より超音波動画像からのみ得られる情報を容易に把握することができる。このため、医師らの診断効率と診断精度の向上に資する。

本発明の一実施形態における画像処理装置の概略構成を示す図本発明の一実施形態における画像処理装置の処理の流れを示す図本発明の一実施形態における画像処理装置により表示された比較画像のイメージ図本発明の一実施形態における画像処理装置の変形例により表示された比較画像のイメージ図

以下、本発明の画像処理装置、画像処理プログラムおよび画像処理方法の実施形態について、図面を参照しながら詳細に説明する。

図１に、本発明の一実施形態における画像処理装置６を含む病院システム１の概略構成を示す。病院システム１は、ローカルエリアネットワーク（ＬＡＮ）２を介して互いに接続された検査室システム３、データサーバ４、および診断用ワークステーション（ＷＳ）６により構成される。

検査室システム３は、被検体を撮影する各種のモダリティ３２と、各モダリティから出力された画像の確認や調整を行う検査室ワークステーション（ＷＳ）３１により構成される。モダリティ３２としては、心臓の形態情報を表す形態画像を取得可能なモダリティであるＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置が備えられ、さらに超音波診断装置などが備えられているものとする。これらのモダリティ３２のうちＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置は、いずれもＤＩＣＯＭ（Digital Imaging and Communication in Medicine）規格に準拠した装置であり、取得したボリュームデータに付帯情報を付し、ＤＩＣＯＭファイルとして出力する。

モダリティ３２から出力されたファイルは、検査室ＷＳ３１により、データサーバ４に転送される。データサーバ４は、高性能プロセッサと大容量メモリを備えた比較的処理能力の高いコンピュータに、データベースマネージメントサーバ（ＤＢＭＳ：Database Management Server）の機能を提供するソフトウェアプログラムを実装したものである。プログラムはストレージに記憶され、起動時にメモリにロードされ、プロセッサにより実行される。データサーバ４は、検査室ＷＳ３１から転送されたファイルを、大容量ストレージ５に記憶させる。また、データサーバ４は、診断用ＷＳ６からの検索要求に応じて、大容量ストレージ５に記憶されている複数のファイルの中から、検索条件に適ったファイルを選出し、診断用ＷＳ６に送信する。

診断用ＷＳ６は、標準的なプロセッサ、メモリおよびストレージを備えた汎用のワークステーションに、診断支援するための画像処理プログラムを実装したものである。画像処理プログラムは、ＤＶＤ等の記録媒体から、またはネットワーク上のサーバコンピュータからのダウンロードにより、診断用ＷＳ６にインストールされる。また、診断用ＷＳ６には、ディスプレイ７と、マウス、キーボード等の入力装置８が接続されている。

診断用ＷＳ６に実装される画像処理プログラムは、各種機能を実現するプログラムモジュール群により構成され、その中には、画像処理機能を実現するためのプログラムモジュール群が含まれている。これらのプログラムはストレージに記憶され、起動時にメモリにロードされ、プロセッサにより実行される。これにより、診断用ＷＳ６は、患者の所定の周期的運動を行う部位（心臓）を表す３次元動画像Ｖ１およびその部位を表す超音波動画像Ｖ２を取得する画像取得手段６１と、取得した３次元動画像Ｖ１および超音波動画像Ｖ２を構成する複数のフレーム画像から周期的運動に応じて形態が変化する所定の特徴部（僧帽弁ＭＶ）をそれぞれ抽出する特徴部抽出手段６２と、３次元動画像Ｖ１および超音波動画像Ｖ２の周期的運動のフェーズを取得するフェーズ取得手段であって、３次元動画像Ｖ１および超音波動画像Ｖ２の少なくとも一方については抽出された特徴部の形態に基づいてフェーズを取得するフェーズ取得手段６３と、抽出した特徴部と取得したフェーズに基づいて、３次元動画像Ｖ１および超音波動画像Ｖ２を構成する各フレーム画像の特徴部の位置およびフェーズを対応付ける対応付け手段６４と、対応付けられた特徴部の位置およびフェーズに基づいて、３次元動画像Ｖ１および超音波動画像Ｖ２の対応付けられた特徴部の位置およびフェーズを一致させた比較画像Ｉ１、Ｉ２をそれぞれ生成する画像生成手段６５と、生成された比較画像Ｉ１、Ｉ２を表示装置７に表示する表示制御手段６６として動作するようになる。

図２は、本実施形態の画像処理の流れを表すフローチャートである。図３に、比較画像Ｉ１、Ｉ２の表示例を示す。図２および図３を用いて、本実施形態におけるＷＳ６（画像処理装置）の各機能処理の流れについて、以下詳細に説明する。本実施形態では、心臓の検査を行う場合を例に説明する。

本実施形態の処理に先立って、心臓の検査では、ＣＴ装置等を用いて１周期の拍動を含む被写体の胸部の動画撮影が行われ、撮影された３次元動画像Ｖ１（ボリュームデータ）が付帯情報を付されＤＩＣＯＭファイルとしてデータサーバ４に転送され、大容量ストレージ５に記憶される。ボリュームデータは、３次元空間内の濃度や密度の分布を表す多数のボクセルデータの集合で構成され、各ボクセルデータ内にＸ線の吸収量等が画素値として表われる。また、超音波プローブを口から食道まで挿入して超音波撮影を行う経食道心エコー法（Transesophageal echocardiography：TEE）により同じ被写体の胸部の動画撮影が行われ、撮影された３次元超音波動画像Ｖ２がデータサーバ４に転送され、大容量ストレージ５に記憶される。

まず、初期画面において心臓の画像処理機能が選択され、所定の入力画面において患者の識別番号や検査番号などが入力されると、画像取得手段６１は、入力された情報をデータサーバ４へと送信し、大容量ストレージ５に保存されているファイルの検索および転送を要求する。

上記要求を受けたデータサーバ４は、大容量ストレージ５内のファイルを検索し、画像取得手段６１に対し、要求されたファイルを転送する。画像取得手段６１は、データサーバ４から転送されたファイルに含まれる３次元動画像Ｖ１および３次元超音波動画像Ｖ２を取得し、メモリに保存する（Ｓ０１）。

続いて特徴部抽出手段６２は、３次元動画像Ｖ１および３次元超音波動画像Ｖ２からそれぞれ所定の特徴部として左心室ＬＶと左心房ＬＤの間に位置する心臓弁である僧帽弁ＭＶを抽出する（Ｓ０２）。

ここでは、３次元動画像Ｖ１および３次元超音波動画像Ｖ２の特徴部抽出処理およびフェーズ取得処理に、Razvan Ioan Ionasec, et al., “Patient-Specific Modeling and Quantification of the Aortic and Mitral Valves From 4-D Cardiac CT and TEE”, Medical Imaging, IEEE, vol.29, 2010, pp.1636-1651に示される方法を適用する。

特徴部抽出手段６２は、上記非特許文献に記載された方法により両動画像Ｖ１、Ｖ２について、少なくとも１回の拍動周期にわたって時系列に心臓の僧帽弁ＭＶのセグメンテーションを行い、両動画像Ｖ１、Ｖ２を構成する各フレーム画像において僧帽弁ＭＶの輪郭上の各サンプル点の位置を特定する情報を抽出する。

そして、フェーズ取得手段６３は、両動画像Ｖ１、Ｖ２について、僧帽弁ＭＶの輪郭上の各サンプル点の位置に基づいて各フレーム画像の心臓の拍動のフェーズを取得する（Ｓ０３）。

ここで、心臓の拍動は、その１周期が収縮期と拡張期から構成される。そして、収縮期が終了時に、大動脈弁ＡＶが開いた状態から閉じた状態になるとともに僧帽弁ＭＶが閉じた状態から開き始める。また、拡張期の終了時に、僧帽弁ＭＶが閉じた状態になるとともに大動脈弁が閉じた状態から開き始める。フェーズ取得手段６３は、この性質を利用して、拡張期の終了時と収縮期の終了時を特定することにより、心臓の拍動のフェーズを特定する。

本実施形態では、上記非特許文献に記載された方法により所定の時間間隔ごとに両動画像Ｖ１、Ｖ２の僧帽弁ＭＶの形態を所定のパラメータによって取得し、この僧帽弁ＭＶの形態に基づいて僧帽弁ＭＶの開閉状態を特定し、僧帽弁ＭＶの開閉状態に対応する心臓の拍動のフェーズを取得する。ここで、本実施形態では、両動画像Ｖ１、Ｖ２においてそれぞれ、僧帽弁ＭＶの開閉状態と、僧帽弁ＭＶの形態を表す所定のパラメータが対応付けられて記憶されている。フェーズ取得手段６３は、各動画像Ｖ１、Ｖ２ごとに、僧帽弁ＭＶが開いた状態から閉じた状態に変化したフレームを心臓の拍動の拡張期の終了時に対応するフレームとして特定する。また、フェーズ取得手段６３は、各動画像Ｖ１、Ｖ２ごとに、僧帽弁ＭＶが閉じた状態から開いた状態（開き始めた状態）に変化したフレームを心臓の拍動の収縮期の終了時に対応するフレームとして特定する。なお、例えば、僧帽弁ＭＶの形態を表す所定のパラメータとして、僧帽弁ＭＶの輪郭上の特定の複数のサンプル点間の距離などが考えられる。

そして、対応付け手段６４は、両動画像Ｖ１、Ｖ２について、両動画像Ｖ１、Ｖ２の収縮期および拡張期の終了時のフェーズがそれぞれ一致するように、必要に応じて時間軸方向の補間処理を行って、両動画像を構成する各フレームを時間的に互いに対応付ける。ここでは、同じフェーズを表すフレーム画像同士を互いに対応付けるとともに、対応付けられたフレーム画像同士で同一の特徴の空間的位置を対応付ける。（Ｓ０４）。

対応付け手段６４は、上記処理において３次元動画像Ｖ１と３次元超音波動画像Ｖ２の１周期を表すフレーム数が異なる場合は、１周期を表すフレーム数が少ない方の動画像を基準として対応付けを行う。例えば、必要に応じて、１周期を表すフレーム数が多い動画像のフレームを適宜間引く処理を行う。また、対応付けるフレーム間でフェーズが少しずれている場合に、周知の方法により両動画像の対応するフレーム画像のフェーズを一致させるように補間処理を行ってもよい。例えば、一方の動画像を構成するフレーム画像のフェーズを取得し、他方の動画像のフレーム画像からこのフェーズの前後のフレーム画像を用いて、取得したフェーズに応じた形態の変形を周知の方法により補間したフレーム画像を生成し、フェーズを一致させて一方の動画像のフレーム画像と他方の動画像から生成したフレーム画像を対応付けることが考えられる。

画像生成手段６５は、上述の処理により３次元動画像Ｖ１から抽出した一連のフレーム画像についてボリュームレンダリング画像を生成するとともに、３次元超音波動画像Ｖ２から抽出した一連のフレーム画像について、対応付け手段６４により対応付けられた特徴部の位置、方向、サイズが一致するように３次元超音波動画像Ｖ２の座標系を３次元動画像Ｖ１の座標系に変換した画像を生成し、周知の方法により生成した両動画像Ｖ１、Ｖ２の比較画像Ｉ１、Ｉ２を生成してストレージ５に記憶する（Ｓ０５）。

詳細には、画像生成手段６５は、対応付け手段６４が対応付けた位置に基づいて、同一の特徴の空間的位置を一致させるように一方の座標系を他方の座標系に変換し、変換した座標系において、同一の特徴の空間的位置、方向、サイズを一致させるように適宜補正を行って、空間的位置合わせを行う。なお、対応付け手段６４は、空間的位置の位置合わせの際に、３次元動画像Ｖ１および３次元超音波動画像Ｖ２の画素範囲（Pixel Spacing）情報をそれぞれＤＩＣＯＭのヘッダ情報から取得し、画素範囲情報に基づいて両動画像Ｖ１、Ｖ２を適宜拡大または縮小して、３次元動画像Ｖ１および３次元超音波動画像Ｖ２から抽出した一連のフレーム画像の画素範囲を一致させる。

また、本実施形態における画像生成手段６５は、図３に示すように、３次元動画像Ｖ１に基づく画素値を所定の透明度でボリュームレンダリング法により表す比較画像Ｉ１を生成するとともに、図３の矢印Ｃに示すように３次元超音波動画像Ｖ２に基づいて画素値および血流の方向を周知のドップラーカラー法により表す比較画像Ｉ２を生成する。

なお、画像生成手段６５は、３次元動画像Ｖ１および３次元超音波動画像Ｖ２から抽出した一連のフレーム画像の比較画像Ｉ１、Ｉ２の生成方法として、同一の特徴の空間的位置、方向、サイズを一致させるように両動画像Ｖ１、Ｖ２から抽出した一連のフレーム画像の比較表示を行えるものであれば、各種の周知の生成法を適用可能である。

表示制御手段６６は、画像生成手段６５に生成された比較画像Ｉ１、Ｉ２を取得し、図３に示すように、比較画像Ｉ１、Ｉ２をディスプレイ７に表示させる（Ｓ０６）。

以上、本実施形態によれば、３次元動画像Ｖ１および超音波動画像Ｖ２の特徴部の形態に基づいて、所定の動作を行う部位の周期的運動のフェーズを取得し、両動画像のフェーズを一致させるとともに、両動画像の特徴部の位置に基づいて空間的な位置合わせを行うため、両動画像のいずれかが心電図データなどを利用できない場合であっても、両動画像を好適に対応付けることができる。また、対応付けた両動画像の比較画像Ｉ１、Ｉ２を対比可能に表示することにより、ユーザらは、３次元動画像Ｖ１に基づいた比較画像Ｉ１により高空間解像度で対象部位を把握するとともに、必要に応じて比較画像Ｉ２より超音波動画像からのみ得られる情報を容易に把握することができる。このため、効率よく正確に画像診断を行うことができる。また、本実施形態では、両動画像の比較画像Ｉ１、Ｉ２を同じ大きさで並列表示しているため、さらに両動画像を対比して観察しやすく、両動画像に表された観察対象をより容易かつ正確に把握することができる。

本実施形態では、超音波動画像Ｖ２に基づいて血流のドップラーシフトに基づいてカラードップラー法により表された比較画像Ｉ２を生成表示するため、超音波動画像からのみ得られる血流情報を比較画像Ｉ２から容易に直感的に把握することができ、好ましい。

また、本実施形態では、３次元動画像Ｖ１および３次元超音波動画像Ｖ２から自動認識処理により特徴部の形態を抽出するために、ユーザのマニュアル操作による特徴部の抽出の労力を要さず、効率よく容易に特徴部の形態が抽出できる。

また、周期的運動を行う部位が心臓であり、所定の特徴部が心弁であるため、心臓の周期的運動を心弁の開閉状態により精度良く特定でき、フェーズを好適に取得することができる。また、フェーズ取得手段が心弁のうち僧帽弁の開閉状態から心臓の拡張期および収縮期の終了時を特定することによりフェーズを取得するため、心臓の拍動に応じた特徴部の形態の変化の性質を好適に利用して、心臓の周期的運動をより精度良く特定できる。また、本実施形態においては、対応付け手段６４が、両動画像Ｖ１、Ｖ２について、複数の心臓の拍動のフェーズ（収縮期の終了時および拡張期の終了時）を一致させているため、より正確に両動画像Ｖ１、Ｖ２の対応付けができる。

また、本実施形態では、３次元動画像Ｖ１および超音波動画像Ｖ２の両方について自動認識処理によりフェーズを取得するため、容易に精度良くフェーズを取得して対応付けることができる。また、３次元動画像および３次元超音波動画像の一方について、特徴部の形態により周期的運動のフェーズを特定し、他方についてＤＩＣＯＭなどのヘッダ情報によりフェーズを取得してもよい。この場合には、一方についてのみ自動認識処理を適用することにより計算負荷の増加を抑制できるとともに効率よく両動画像のフェーズを取得することができる。

また、画像生成手段６５は、３次元動画像Ｖ１および超音波動画像Ｖ２の付帯情報から画素間隔を取得し、取得した画素間隔に基づいて両動画像の画素間隔を一致させて比較画像Ｉ１、Ｉ２を生成するものであるため、両動画像について画素間隔を容易に取得できるため、容易に精度良く両動画像のサイズを一致させて比較画像Ｉ１、Ｉ２を生成することができる。

また、本実施形態では、ＣＴ装置またはＭＲＩ装置により撮影された３次元動画像Ｖ１と３次元の超音波動画像Ｖ２とに基づいて、上記画像処理を行うため観察対象をより詳細に把握できる。

また、本実施形態による特徴部抽出処理には、Yefeng Zheng, et al., “Four-Chamber Heart Modeling and Automatic Segmentation for 3D Cardiac CT Volumes Using Marginal Space Learning and Steerable Features”, Medical Imaging, IEEE, vol.27, 2008, pp.1668-1681に示される方法を適用してもよい。なお、特徴部抽出手段６２は、構造物の特徴部を２つの３次元動画像Ｖ１、Ｖ２から抽出できる方法であれば、周知の種々の方法を適用することができる。例えば、ユーザが手動で心弁部などの特徴部の位置や形状を各３次元動画像Ｖ１、Ｖ２ごとにマウス等により入力して、かかる入力を取得して、特徴部の位置や形状を抽出してもよい。

また、フェーズ取得手段６３は、収縮期が終了する際に、大動脈弁ＡＶが開いた状態から閉じた状態になるとともに僧帽弁ＭＶが閉じた状態から開き始め、拡張期の終了時には、僧帽弁ＭＶが閉じた状態になるとともに大動脈弁が閉じた状態から開き始めるという性質を利用するいかなる方法で心臓の拍動のフェーズを判断してもよい。例えば、僧帽弁ＭＶが閉じた状態から開き始めてから（収縮期の終了時）、再度閉じた状態から開き始める（収縮期の終了時）までを心臓の拍動の１周期として検出して、両画像Ｖ１、Ｖ２を収縮期の終了時のフェーズが一致するように対応付けてもよく、僧帽弁ＭＶが開いた状態から閉じた状態になってから（拡張期の終了時）、再度僧帽弁ＭＶが開いた状態から閉じた状態になる（拡張期の終了時）までを心臓の拍動の１周期として検出して、両画像Ｖ１、Ｖ２を拡張期の終了時のフェーズが一致するように対応付けてもよい。また、例えば、僧帽弁ＭＶに替えて大動脈弁ＡＶの開閉状態により、拍動のフェーズを判断してもよく、僧帽弁ＭＶの開閉状態および大動脈弁ＡＶの開閉状態の両方の情報を重み付けして用いることにより拍動のフェーズを判断してもよい。

また、所定の特徴部として、図３に示すような左心室ＬＶ、左心房ＬＡ、右心室ＲＶ、右心房ＲＡ、心弁ＭＶ、ＡＶ、ＰＶ、ＴＶ、心尖ＡＣ、などの種々の特徴のいずれかまたはこれらの任意の組合せにより、本実施形態と同様に心臓の拍動のフェーズに応じた形態の周期的変化に基づいて、心臓の周期的運動を特定した場合には、複数の情報に基づくためより精度良くフェーズを取得することができる。

また、フェーズ取得手段６３は、両動画像Ｖ１、Ｖ２のうち、複数周期の周期的運動を含むものに関しては、複数の周期のうち、両動画像Ｖ１、Ｖ２の対応付けに用いる周期を任意に指定可能である。本実施形態によるフェーズ取得手段６３は、マウスやキーボードによりユーザの入力を受け付けて、周知の任意の方法により複数の周期のうち１つの周期を特定するものとする。例えば、３次元動画像Ｖ１または３次元超音波動画像Ｖ２に含まれる複数の周期に対応する周期選択ボタンを表示し、ユーザの周期選択を受け付けてもよく、３次元動画像Ｖ１または３次元超音波動画像Ｖ２に含まれる複数の周期の開始時間をキーボード等が入力されるように促し、入力を受け付けて周期選択を行ってもよい。

図４は、上記実施形態の変形例による比較画像Ｉ１、Ｉ２の表示例である。上記実施形態では、３次元超音波動画像Ｖ２を例に説明したが、当業者にとっては明らかであるように、図４に示すような断面のように、心室ＬＶ、ＲＶや心房ＬＡ、ＲＡや心弁ＭＶ、ＡＶ、ＰＶ、ＴＶや心尖ＡＣなどの部位に含まれる認識可能な特徴を表す断面を表すものであれば、超音波診断装置により撮影された２次元動画像でも同様に本発明を適用可能である。特徴部を含む所定の断面において、ＣＴ装置またはＭＲ装置により撮影された高空間解像度の画像を観察できると同時に血流の情報など超音波診断装置により撮影された２次元動画像にのみ得られる情報も同時に把握できるため、容易かつ正確に画像診断を行うことができる。

なお、本実施形態に限られず、所定の部位は、所定の周期的な運動を行う部位であれば何でもよく、例えば、膝の屈伸運動のような所定の周期的運動を行う関節のような部位であってもよい。膝などの屈伸運動に本発明を適用する場合には、膝関節を構成する１つ以上の部位をセグメント化し、例えば、大腿骨と頸骨の所定点間の距離など、セグメント化された各部位から膝の屈伸状態を表すパラメータを取得し、屈伸状態を表すパラメータに基づいて曲げた状態から伸ばした状態までのフェーズを取得することが考えられる。

また、表示制御手段６６は、比較画像を対比させて表示させるものであればどのように表示してもよく、例えば、左右に並列表示してもよく、上下に並列表示してもよく、一方の比較画像中に他方の比較画像を子画像としてピクチャーインピクチャー方式で表示してもよい。また、１つのディスプレイに両比較画像を表示してもよく、複数のディスプレイに両比較画像を表示してもよい。また、両比較画像を同じ大きさで表示してもよく、異なる大きさで表示してもよい。上記各実施形態では、両比較画像Ｉ１，Ｉ２を同じ大きさで並列表示したため、医師らは比較画像Ｉ１、Ｉ２を対比しやすく、効率よく正確に画像診断を行うことができる。

なお、ＣＴ装置またはＭＲＩ装置により撮影された３次元動画像Ｖ１と超音波動画像Ｖ２との位置合わせは、超音波動画像Ｖ２の座標系にＣＴ装置またはＭＲＩ装置により撮影された３次元動画像Ｖ１の座標系を変換するものであってもよい。

また、対応付け手段６４は、ＣＴ装置またはＭＲＩ装置により撮影された３次元動画像Ｖ１と超音波動画像Ｖ２とのフェーズの対応付けを、１回の周期的運動の一部についてのみ行ってもよく、１回の周期的運動について行ってもよく、複数の周期的運動について行ってもよい。

また、各実施形態において、本発明の画像処理プログラムが一台の診断用ＷＳに実装されて画像処理装置として機能する場合について説明したが、画像処理プログラムを複数台のコンピュータに分散させてインストールして、複数台のコンピュータが画像処理装置として機能するようにしてもよい。

１病院システム
３検査室システム
４データサーバ
５大容量ストレージ
６診断用ワークステーション
７ディスプレイ
８入力装置
３２モダリティ
６１画像取得手段
６２特徴部抽出手段
６３フェーズ取得手段
６４対応付け手段
６５画像生成手段
６６表示制御手段

Claims

患者の所定の周期的運動を行う心臓を表す３次元動画像および前記心臓を表す超音波動画像を取得する画像取得手段と、
前記取得した３次元動画像および超音波動画像を構成する複数のフレーム画像から前記周期的運動に応じて形態が変化する心弁をそれぞれ抽出する特徴部抽出手段と、
前記３次元動画像および前記超音波動画像の前記周期的運動のフェーズを取得するフェーズ取得手段であって、前記３次元動画像および前記超音波動画像の少なくとも一方については前記抽出された心弁の輪郭上に設けられた複数のサンプル点により特定される前記心弁の開閉状態を表す形態に基づいて、前記心弁の開閉状態に応じた前記フェーズを取得するフェーズ取得手段と、
前記抽出した心弁と前記取得したフェーズに基づいて、前記３次元動画像および前記超音波動画像を構成する各フレーム画像の前記心弁の位置および前記フェーズを対応付ける対応付け手段と、
前記３次元動画像および前記超音波動画像の前記対応付けられたフェーズを一致させ、かつ、該フェーズを一致させた３次元動画像および該超音波動画像の前記対応付けられた心弁の位置を一致させた比較画像をそれぞれ生成する画像生成手段と、
前記生成された各比較画像を対比可能に表示装置に表示する表示制御手段とを備えたことを特徴とする画像処理装置。
前記特徴部抽出手段は、前記心弁を自動抽出するものであることを特徴とする請求項１記載の画像処理装置。
前記フェーズ取得手段が前記心弁のうち僧帽弁および／または大動脈弁の開閉状態から前記心臓の拡張期および／または収縮期の終了時を特定することにより前記フェーズを取得するものであることを特徴とする請求項１または２記載の画像処理装置。
前記フェーズ取得手段が、前記大動脈弁が閉じた状態であり、かつ、前記僧帽弁が閉じた状態から開き始める状態である場合に、前記フレーム画像に前記心臓の収縮期の終了時を特定し、前記僧帽弁が閉じた状態であり、かつ、前記大動脈弁が閉じた状態から開き始める状態である場合に、前記心臓の拡張期の終了時を特定して前記フェーズを取得することを特徴とする請求項３記載の画像処理装置。
前記画像生成手段は、前記３次元動画像および前記超音波動画像の付帯情報から画素間隔を取得し、取得した前記画素間隔に基づいて前記両動画像の画素間隔を一致させて前記比較画像を生成するものであることを特徴とする請求項１から４のいずれか１項記載の画像処理装置。
前記画像生成手段は、血流のドップラーシフトに基づくカラードップラー法により表された前記比較画像を生成するものであることを特徴とする請求項１から５のいずれか１項記載の画像処理装置。
前記超音波動画像が、前記心弁を含む断面を表す動画像であることを特徴とする請求項１から６のいずれか１項記載の画像処理装置。
患者の所定の周期的運動を行う心臓を表す３次元動画像および前記心臓を表す超音波動画像を取得し、
前記取得した３次元動画像および超音波動画像を構成する複数のフレーム画像から前記周期的運動に応じて形態が変化する心弁をそれぞれ抽出し、
前記３次元動画像および前記超音波動画像の前記周期的運動のフェーズを取得するとともに、前記３次元動画像および前記超音波動画像の少なくとも一方については前記抽出された心弁の輪郭上に設けられた複数のサンプル点により特定される前記心弁の開閉状態を表す形態に基づいて、前記心弁の開閉状態に応じた前記フェーズを取得し、
前記抽出した心弁と前記取得したフェーズに基づいて、前記３次元動画像および前記超音波動画像を構成する各フレーム画像の前記心弁の位置および前記フェーズを対応付けし、
前記３次元動画像および前記超音波動画像の前記対応付けられたフェーズを一致させ、かつ、該フェーズを一致させた３次元動画像および該超音波動画像の前記対応付けられた心弁の位置を一致させた比較画像をそれぞれ生成し、
前記生成された各比較画像を対比可能に表示装置に表示することを特徴とする画像処理方法。
コンピュータを、
患者の所定の周期的運動を行う心臓を表す３次元動画像および前記心臓を表す超音波動画像を取得する画像取得手段と、
前記取得した３次元動画像および超音波動画像を構成する複数のフレーム画像から前記周期的運動に応じて形態が変化する心弁をそれぞれ抽出する特徴部抽出手段と、
前記３次元動画像および前記超音波動画像の前記周期的運動のフェーズを取得するフェーズ取得手段であって、前記３次元動画像および前記超音波動画像の少なくとも一方については前記抽出された心弁の輪郭上に設けられた複数のサンプル点により特定される前記心弁の開閉状態を表す形態に基づいて、前記心弁の開閉状態に応じた前記フェーズを取得するフェーズ取得手段と、
前記抽出した心弁と前記取得したフェーズに基づいて、前記３次元動画像および前記超音波動画像を構成する各フレーム画像の前記心弁の位置および前記フェーズを対応付ける対応付け手段と、
前記３次元動画像および前記超音波動画像の前記対応付けられたフェーズを一致させ、かつ、該フェーズを一致させた３次元動画像および該超音波動画像の前記対応付けられた心弁の位置を一致させた比較画像をそれぞれ生成する画像生成手段と、
前記生成された各比較画像を対比可能に表示装置に表示する表示制御手段として機能させることを特徴とする画像処理プログラム。