JP5523656B2

JP5523656B2 - 画像処理装置

Info

Publication number: JP5523656B2
Application number: JP2007050701A
Authority: JP
Inventors: 卓弥坂口
Original assignee: Toshiba Corp; Toshiba Medical Systems Corp
Current assignee: Toshiba Corp; Canon Medical Systems Corp
Priority date: 2006-03-01
Filing date: 2007-02-28
Publication date: 2014-06-18
Anticipated expiration: 2027-02-28
Also published as: JP2007260391A

Description

本発明は、撮影角度の異なる複数の医用画像から血管等の立体画像を生成し表示する画像処理装置に関する。

図１９に示すように、撮影角度の異なる少なくとも２枚の医用画像、典型的にはＸ線画像から解剖学的に同一点を複数指定し、それら位置関係から３次元の血管像を構築する技術がある。これら２枚のＸ線画像は図２０に示すように心臓の同じ位相であることが望ましい。心拍位相が異なると、心臓の動きにともない特徴部位の３次元位置が異なるため、幾何学的関係を得る大前提が崩れてしまい、立体構築が正確におこなえない。

撮像方法としては、主に次の３手法が知られている。
ａ）１方向から撮像し、撮像系を回転させ、異なる時刻にもう１方向から撮像する。
ｂ）図２１Ａ、図２１Ｂに示すように、撮像系を連続回転させながら繰り返し撮像する。
ｃ）２系統の撮像系を有するバイプレーンシステムを用い、２枚を同時刻に撮像する。

方法ｃ）は同時刻の撮像が可能なため最も好ましいが、バイプレーンシステムを保有していない施設では実現不可能である。方法ａ）は最も一般的な撮像法である。

ｂ）は近年注目されるようになった撮像法であり、血管の立体構造と、動きが同時に観察できることから、注目されている。多くの画像から好適な２枚を抽出できる。抽出した２枚の画像を図２０に例示するように同画面に並べて表示し、対応する点を指定する。

この方法ｂ）では、抽出した画像によっては血管の分岐が重なってしまい、対応部位を指定することが困難な場合がある。特に左冠状動脈のように血管が複雑に分岐走行する場合には、重なりが頻繁に発生してしまう。対応点の指定に誤差が生ずると、空間幾何学関係の構築と誤差となり、立体表示画像の精度が低下してしまう。が参考される。
米国特許第６５０１８４８号明細書

本発明の目的は、複雑な構造であっても対応点の指定精度を向上させ得ることにある。

本発明の画像処理装置は、同一対象に関する撮影角度の異なる複数の医用画像のデータを記憶する記憶部と、記憶部から読み出された前記医用画像のデータを表示する表示部と、複数の医用画像を動画像として再生させるとともに、前記医用画像の再生を一時的に停止させるために、前記記憶部と前記表示部とを制御する制御部とを具備する。

本発明によれば、複雑な構造であっても対応点の指定精度を向上させることができる。

以下、図面を参照して本発明の実施形態による画像処理装置を説明する。なお、ここでは、画像処理装置はＸ線撮影装置に組み込まれるものとして説明するが、もちろん単独で構成可能である。また、本実施例の画像処理装置は、少なくとも２方向から撮影した画像から３次元画像を再構成する機能を有する装置であり、画像の種類等については特に限定するものではない。

本実施形態では、入り組んだ血管等の複雑な構造であっても、画像間で解剖学的に同一の点（対応点）を画像毎に手動で指定するに際してその指定精度を向上させるための独自の特徴を有している。図１に示すように、回転動画像を動画像として撮影時と同じフレームレート（等速）で再生表示し、所定の規則として典型的には特定の心拍位相（例えば８０％）に対応するフレームにおいて一時的に停止させ、静止画として表示させる。オペレータが特徴部位をクリックしたら、再び動画像として再生表示を再開し、同心拍位相のフレームおいて一時停止させ、オペレータの特徴部位の指定を待機する。人間は動画像では特徴的な部位を追跡していく能力に優れている。単に静止画として対応する２枚を並べて表示するよりも、それら２枚の画像の間を又はその前後を含めて動画像としてつなぐことにより特徴的な部位の動きを目視で追従することが容易になる。つまり、回転動画像を見ながら特徴部位を目で追っていけるので、例えば血管が重なってしまった場合なども対応する特徴部位指定の精度が、静止画表示の場合より向上し、結果として立体画像の画質向上が期待できる
ここで、以下説明で使用する用語について定義する。
心臓血管立体表示；血管を楕円や多角形と近似（モデル化）して、少数方向の投影情報から立体構築をモデル化するもの。
心拍位相；心臓心拍の周期性を0〜１００%の数値であらわしたもの。通常は心電図のＲ波のタイミングを０とし、次のＲ波の他ミングを１００とし、その間を１００等分して計算する。
同心拍位相；心拍位相が同じ（近い）こと。典型的には検出器は３０ｆｐｓ(frames/sec)程度のフレームレートで撮像し、心拍を１拍／秒（６０拍／分）とすると、３０フレーム／拍程度の画像が得られる。よって１００／３０＝３.３３％程度の時間分解能で心拍位相を調べることができる。
拡張末期；心拍運動のうち、心臓が拡張して、停止しているように見える時相である。上記心拍位相では７０％〜８０％程度のあたりが拡張末期と呼ばれる。
回転撮影；ここで使う「回転」は被検体のまわりに撮像系（Ｘ線管と検出器のペア）を回転させること。回動ともいう。一般的には、３０°／秒でＣアームが回転する。１回の撮影で１８０°を要すると仮定すると、１回の撮影あたり６秒を要する。心拍が１拍／秒、１°ごとに１枚の画像を撮影をすると、１回の撮影あたり、６拍分の医用画像、典型的にはＸ線画像データとして、１８０枚のＸ線画像が収集される。
２Ｄ；２次元画像。Ｘ線診断装置で得られる画像は２Ｄ画像である。
３Ｄ；３次元画像。
バイプレーン；撮像系を２系統備えるＸ線診断装置。２方向から同時撮像が可能である。

ＥＣＧ；心電図。
特徴部位；血管の分岐部や狭窄など、対象の中の特徴的な形態を有する部位をいう。
特徴点；特徴部位上に指定した点。
ループ再生；時間的に連続する一連の画像群を動画像として再生し、それを繰り返すことをいう。撮像後に画像観察する場合、その中の９０フレームを何度も繰り返して（ループさせて）見ることが多い。

呼吸；呼吸により被検体が動く。呼吸には周期性がある。そこで被験者にセンサーをとりつけて呼吸運動を把握しようとする。MRIの場合は、鼻にセンサーをつけることがある。
ＩＶＵＳ；血管内超音波（Intra-vascular ultrasound）。アイバスと発音する。
３次元画像データ；次のＡ）、Ｂ）の２種を含む。Ａ）種の３次元画像データは、主にＣＴやＭＲＩにより発生する。Ｘ線診断装置でもボリューム再構成されたデータは当該Ａ）種の３次元画像データに該当する。Ａ）種の３次元画像データは、３次元領域内全てのボクセルについてそれぞれ値を有する。具体的には例えば512×512×512の３次元領域では、134,217,728個の値が与えられる。Ｂ）種の３次元画像データは、３次元領域を定義するベクトル量（ベクトルデータ）として与えられる。具体的には例えば血管の中心線座標と直径とから構成される。表示装置は中心線座標と直径とに対応する領域を塗りつぶす。Ｂ）種の３次元画像データのデータ量は、Ａ）種の３次元画像データのデータ量より断然少ない。

図２は本実施例に係る画像処理装置を装備したＸ線撮影装置を示している。Ｘ線撮影装置は、図３に示すガントリを有する。Ｘ線管１１２と、Ｘ線管１１２に被検体Ｐを挟んで正対するＸ線検出器１１４とがＣアーム１１６に搭載される。Ｘ線検出器１１４は、典型的には、入射Ｘ線を直接的又は間接的に電荷に変換する複数の検出素子（画素）が２次元状に配列されてなる固体平面検出器である。Ｘ線管１１２は例えば床置型スタンド１２０に２軸回転自在に支持されたＣアーム１１６の一端に取り付けられ、Ｘ線検出器１１４はＣアーム１１６の他端に取り付けられる。

本実施例に係る画像処理装置を装備したＸ線撮影装置は、被検体の心電図を測定する心電計（ＥＣＧ）１１８、架台制御部１１１を有する。架台制御部１１１は、インタフェース１２１を介して接続された操作卓１２３からの操作者指示にしたがってＣアーム１１６の撮影角度を任意に制御するとともに、その撮影角度に関するデータを図示しないセンサから取得する。撮影角度に関するデータは、Ｘ線制御部１１３からの管電圧印加によりＸ線管１１２から発生されるＸ線に同期してＸ線検出器１１４から検出器制御部１１５を介して繰り返し発生されるＸ線画像データ及び各Ｘ線画像撮影時の心拍位相データとともに、画像記憶部１１７に記憶される。

図２１に示したような回転撮影では撮影角度が連続的に変化する複数のＸ線画像が例えば３０ｆｐｓで略１８０°の角度範囲にわたって収集される。この撮影期間は典型的には１０心拍程度の時間長を有する。

表示部１２７は、ＣＲＴ等の表示装置であり、画像表示制御部１２５を介して接続される。血管抽出部１１９はＸ線画像データから、例えば閾値処理により造影された血管の像を抽出する。

再生制御部１２９は、画像記憶部１１７に記憶されたＸ線画像データの読み出しを制御して表示部１２７の動画像表示を制御する。やや具体的には、再生制御部１２９は、画像記憶部１１７に記憶されたＸ線画像データを動画像として撮影時のフレームレート（撮影フレームレート）と等価な３０ｆｐｓのフレームレート（再生フレームレート）で再生するとともに、その再生期間中において複数のＸ線画像の中で所定の規則に対応する少なくとも２枚のＸ線画像が表示された時点でその画像の表示を一時的に停止させる。典型的には、再生制御部１２９は、特定の心拍位相に対応するとともに、撮影角度の差が略９０度である少なくとも２枚のＸ線画像の表示を一時的に停止させる。なお、再生制御部１２９は、複数のＸ線画像を撮影順序と同じ順方向に繰り返し再生（ループ再生）をさせる。

立体画像再構成部１３１は、少なくとも２枚のＸ線画像上で操作者により指定された複数の特徴点の位置関係に基づいて、各Ｘ線画像から血管抽出部１１９により抽出された血管像の立体画像データを再構成する。

次に、再生制御部１２９による特徴点指定操作を支援するための動画像再生制御について図４、図５Ａを参照して説明する。図４に示すように、記憶されたＸ線画像データファイルの一覧からオペレータが指示した動画像ファイル（静止画像群）を呼び出し再生表示する（Ｓ０１）。この動画像は９０フレームの静止画像の群からなると仮定する。１ループ目は９０枚のＸ線画像を撮影時のレートと同じフレームレート（再生速度（等倍））で一時停止することなく連続的に再生する（Ｓ０２）。引き続き２ループ目で９０枚のＸ線画像を１枚目から順方向に再生を開始し、最初に到来する特定の心拍位相として例えば心臓拡張末期の心拍位相（例えば８０％）に対応するＸ線画像で再生表示を一時的に停止する（Ｓ０３、Ｓ０４）。図６に示すように、オペレータが操作卓１２３のマウスを操作して当該一時停止されたＸ線画像上で特徴部位をクリックする（Ｓ０５）。クリックした画像座標のデータは画像記憶部１１７又は図示しないメモリに格納される（Ｓ０６）。クリックをトリガとして、１秒程度の所定のタイムラグを隔てて、再生表示を再開する（Ｓ０７）。

先に一時停止したＸ線画像と同じ心拍位相であって、先に一時停止したＸ線画像と撮影角度の差が図７に示すように略９０°開いているＸ線画像で再生表示を一時的に停止する（Ｓ０８）。実際には、先に一時停止したＸ線画像と撮影角度の差が９０°±１０°であるＸ線画像で再生表示が一時停止される。また、先に一時停止したＸ線画像と同じ心拍位相であっても、先に一時停止したＸ線画像と撮影角度の差が略９０°から外れているＸ線画像の一時停止はスキップして、そのまま等倍での再生表示が継続される。

オペレータが特徴部位一箇所をマウスクリックする（Ｓ０９）。クリックした画像座標のデータを格納する（Ｓ１０）。クリックを受け付けたら再生表示を再開し、Ｓ０３に戻る。３ループ目では同様に一時停止再生するが、この時取得する座標は、先の特徴部位とは異なる第二の特徴部位座標としてメモリに格納する。所定数、少なくとも２ペアの特徴部位座標が取得されたら再生を終了し、血管抽出部１１９で抽出された血管領域に関して立体画像再構成部１３２で立体画像データが構築される。構築された血管の立体画像のデータは立体画像データ記憶部１３２に記憶される。

なお、上記では、再生とその一時停止という観点で説明したが、再生が継続的になされ、そのフレームレートの変化という観点で発明を捉えることができる。図５Ｂは再生フレームレートの時間変化を示している。図５Ｂに示すように、撮影時とほぼ同じフレームレート（等速）で動画像として再生表示を開始する。特定の心拍位相（例えば８０％）でその再生を一時的に停止され、特徴点がクリックされ、その後に等速再生を再開する。等速再生を停止してからクリックによって等速再生に復帰するまでの期間をΔｔ１、Δｔ２…とすると、再生フレームレートは、撮影時と同じフレームレートと、停止期間の逆数として得られる低フレームレート（１／Δｔ１，１／Δｔ２…）とで変化する。なお、図５Ｃに示すように、再生停止から一定時間経過（Δｔ）の後に自動的に再生に復帰する場合、再生フレームレートは、撮影時と同じフレームレートと、１／Δｔとの間で変化する。

このように再生／一時停止を繰り返すことで、人間の動画像に対する特徴的な部位を追跡していく能力を活用して、特徴部位を高精度で指定することができ、結果として立体画像の画質向上が期待できる
なお、特定の心拍位相は心臓拡張期である必要は無く、オペレータが指定する任意の心拍位相で良い。また、一回の一時停止で一の特徴点を指定すると説明したが、複数の特徴点を指定するようにしても良い。２個の場合は、２箇所でマウスクリックされたら、一時停止を自動的に終了して、所定のタイムラグ後に再生表示を自動的に再開する。また、マウスクリック後は自動再生開始しなくても、再生開始ボタンが押されたり、キーボードが押されたら再生開始させることでも良い。マウスでなくてもタッチパネルなど任意のデバイスでもよい。また、一時停止するＸ線画像の撮影角度差は略９０°である必要性は無く、任意に指定することができる。ループ数（繰り返し再生回数）は任意であり、欲しい特徴部位のペアだけループを回す。例えばキーボードから特定キーが押されたら再生終了する。

また、参照信号は心電波形信号に限らない。「画像上の特徴部位の周期的移動」として例えばＸ線画像を一方向に投影したラインイメージのピーク点の周期的な移動から同様に心拍位相を同定するようにしても良い。心拍位相に代えて、呼吸位相であっても良い。

さらに、一時停止させるのは２方向（２フレーム）に限定する必要はなく、９０フレームの中で所定規則を満たした３フレーム、またはそれ以上のＸ線画像で一時停止するようにしてもよい。また、撮影角度差の条件を除外して、単に特定位相、例えばすべての心臓拡張期（８０％）で一時停止させてもよい。また、特定位相は単一である必要はなく、２種類以上、例えばすべての心臓拡張期（８０％）とすべての心臓収縮期（１５％）で一時停止させてもよい。

特定の心拍位相は心臓拡張期（８０％）を規定値としても良いし、事前に任意にオペレータが指定してもよいし、さらには図８に示すように２ループ目の再生時に、オペレータが手動で一時停止し（Ｓ１１）、その心拍位相を特定位相として２ループ目以降で自動的に一時停止するようにしても良い（Ｓ１２）。

また、上述では、動画像を撮影順序と同じ順方向に再生し、それを繰り返すことを説明したが、図９に示すように、動画像を撮影順序と同じ順方向に再生し、続いて逆方向に再生し、このように再生方向を交互に繰り返すようにしても良い。この方法によると特徴部位が重なった場合も、両方向から動きが観察でき、人間は補間しようとするので、より精度があがる。

Ｓ０５やＳ０９で特徴点をクリックし、２ループ目以降の再生に際しては、一時停止する画像上のクリックした場所にクリックマーカを表示するようにしても良い（図６に例示するように例えば白く表示する）。それにより、逆再生したときに、先にクリックした場所が正しくあっていたかどうかを確認しやすくなる。

上述では、立体構築を目的とする特徴点指定操作について述べたが、単なる診断のための観察において利用してもよい。この場合は、一時停止解除（再生再開）をオペレーターから指示させてもよいし、図１０に示すように、一時停止から所定時間（例えば５秒）が経過した時点で自動的に再生再開させてもよい（Ｓ１３、Ｓ１４）。

心臓のように動く臓器ではなく、動きが小さい臓器の場合は、心拍信号に依存して一時停止させるのではなく、図１１に示すように、撮影角度が所定の角度、例えば１０°変化するごとに一時停止させるのもよい（Ｓ１６）。この手法は、連続する２Ｄ画像に限らず、立体構築画像や３次元画像にも適応可能である。

回転させて表示する画像データではなく、例えば頭部から足の先まで直線的にＸ線管１１２等を移動しながら撮影した画像データにおいては、図１２に示すように、心臓等の特定の撮影位置、又は所定の長さ間隔、例えば１０ｃｍの移動ごとに一時停止させるものでもよい（Ｓ１７）。

ルーチンの「検査」では、病院ごとにあらかじめ観察する角度を決め、すべての患者さんで同じ観察角度からの撮像をしていることが多い。あらかじめの観察角度は装置に記憶させておくことができるようになっている（オートポジショニング機能）。そこで、図１３に示すように、回転撮像データがプリセット角度の画像を含んでいる場合、その（メモリに記憶されている）角度で一時停止させるようにしてもよい（Ｓ１８）。

上述の説明では、特定の心拍位相で一時停止させるものであったが、心拍中の特定の期間に限り、その再生速度（再生フレームレート）を撮影フレームレートよりも低く（速く）するものでもよい。例えば図１４、図１５に示すように、例えば、Ａ区間は収縮期を含む期間（７０〜１００％）とし、心臓の運動が比較的大きい期間とする。Ｂ区間を心臓拡張期を含む期間（０〜６９％）とし、心臓の運動が比較的小さく、観察しやすい期間とする。Ａ区間では、撮影時のレート（３０ｆｐｓ）より低いレート（例えば２０ｆｐｓ）で低速で再生し、心臓の運動が比較的小さいＢ区間では等倍速で再生する（Ｓ２１、Ｓ２２）。心臓の運動が大きいＡ区間ではゆっくりと再生させる。

以上はＸ線診断装置で得られた画像の表示について述べてきたが、本実施形態はＸ線診断装置に限定しない。例えば、図１７Ａ、図１７Ｂに示すように、血管内超音波装置（IVUS）での画像表示についても適応可能である。IVUSの一般的な使い方として、例えば１フレーム／秒の収集レートを仮定すると、血管内に入れた後、一定速度（例えば1mm/sec）で移動させて複数の２Ｄ超音波画像を表示する。よって超音波画像のフレームと移動距離の対応がとれている。そこで図１６、図１７Ａに示すように、例えば２０フレームおきに一時停止させると、２ｃｍおきに一時停止させていることと等価となる（Ｓ２３）。

同様に、Ｘ線ＣＴやＭＲＩで得られた再構成画像を図１８に示すように血管内で視点を移動しながらその前方視野を動画像表示するいわゆるフライスルー表示する場合にも、ある一定距離ごとに一時停止させることにより、距離感がわかりやすくなる効果がある。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

図１は発明の実施形態による作用効果の概略説明図である。図２は実施形態によるＸ線診断装置の構成を示す図である。図３は図２のＸ線診断装置の撮影部の側面図である。図４は本実施形態による再生動作手順を示すフローチャートである。図５Ａは図４の手順を模式的に示す図である。図５Ｂは図５Ａの動作をフレームレートの変化という観点で示す図である。図５Ｃは図５Ａの他の動作をフレームレートの変化という観点で示す図である。図６は図４のＳ０５のクリックマーカを示す図である。図７は図４のＳ０８の補足図である。図８は本実施形態による他の再生動作手順を示すフローチャートである。図９は本実施形態による他の再生ループを示す図である。図１０は本実施形態による他の再生動作手順を示すフローチャートである。図１１は本実施形態による他の再生動作手順を示すフローチャートである。図１２は本実施形態による他の再生動作手順を示すフローチャートである。図１３は本実施形態による他の再生動作手順を示すフローチャートである。図１４は本実施形態による他の再生動作手順を示すフローチャートである。図１５は図１４の全体補足図である。図１６は本実施形態による他の再生動作手順を示すフローチャートである。図１７Ａは本実施形態による他の画像表示例を示す図である。図１７Ｂは本実施形態による他の画像表示例を示す図である。図１８は本実施形態による他の画像表示例を示す図である。図１９は従来の特徴点指定操作の補足図である。図２０は従来の特徴点指定操作に際して表示される画像を示す図である。図２１Ａは従来の回転撮影を示す図である。図２１Ｂは従来の回転撮影を示す図である。

符号の説明

１１２…Ｘ線管、１１４…Ｘ線検出器、１１６…Ｃアーム、１１８…心電計（ＥＣＧ）、１１１…架台制御部、１２１…インタフェース、１２３…操作卓、１１３…Ｘ線制御部、１１５…検出器制御部、１１７…画像記憶部。

Claims

同一対象に関する撮影角度の異なる複数の医用画像のデータを記憶する記憶部と、
前記記憶部から読み出された前記医用画像のデータを表示する表示部と、
前記複数の医用画像を動画像として再生させるとともに、前記動画像の再生を一時停止させるために前記記憶部と前記表示部とを制御する制御部とを具備し、
前記制御部は、複数の医用画像の中の特定の心拍位相に対応する第１の医用画像の表示を一時停止し、特定の心拍位相に対応するものであって第１の医用画像と撮影角度の差が所定角である第２の医用画像の表示を一時停止し、前記複数の医用画像の中の前記第１、第２の医用画像以外の他の医用画像を撮影時と比べ略等速で再生表示をするよう動画再生の制御を行うことを特徴とする画像処理装置。
前記第１の医用画像の撮影角度に対する前記第２の医用画像の撮影角度の差は略９０度であることを特徴とする請求項１記載の画像処理装置。
前記制御部は、前記複数の医用画像を順方向に繰り返し再生をさせることを特徴とする請求項１記載の画像処理装置。
前記制御部は、前記複数の医用画像を順方向と逆方向とで交互に向きを変えて繰り返し再生をさせることを特徴とする請求項１記載の画像処理装置。
前記制御部は、前記一時停止された第１、第２の医用画像上の特徴点がクリックされることに応じて再生を再開することを特徴とする請求項１記載の画像処理装置。