JP5242144B2 - ３次元画像処理装置 - Google Patents

Description

本発明は、撮影方向が異なる複数のＸ線画像から３次元画像を再構成する３次元画像処理装置及びＸ線診断装置に関する。

近年、Ｘ線コンピュータ断層撮影方法と同様の手法で、撮影方向が異なる複数のＸ線画像から３次元画像を再構成する技術が検討されている。この技術は例えば心臓血管の検査に有用とされる。しかし、拍動に従って心臓血管は動くので、モーションアーチファクトが問題になる。

この問題を解決するには、心臓血管の動きを補正する必要がある。さらに心臓の動きは一定でないので、モデルに基づく動き補正では不十分であり、実画像に基づく動き補正が必要である。

実画像に基づく心臓血管の動き補正には、オペレータが画像上の特徴点を指定する必要がある。オペレータの誤指定という人的ミスは、再構成画像の画質を低下させてしまう。指定ミスの多くは、関心対象（狭窄やステント）に血管がオーバーラップしているケース、投影により見掛け上奥行きが短縮されて表示されてしまうケース(Foreshortening)、動きが激しく被検体がぼけて映っているケース、画像間での特徴点の対応が混乱しているという人的ミスのケース、等でみうけられる。

全方向画像でオペレーターが画像上の特徴点を指定する手間を軽減するため、コンピューターにより特徴点を抽出させることは有用である。しかしコンピューターによる特徴点抽出では誤差を生ずることもある。具体的には、関心対象（狭窄やステント）のトラッキング部分で他血管がオーバーラップしている、Foreshortening、動きが激しく被写体がぼけて映っている、対象が変形している等を原因として起こる。対処方法としてさまざまな技術手段があるが、現実的にはコンピュータによる特徴点抽出誤差をすべての臨床ケースでゼロにするのは困難である。

本発明の目的は、多方向のＸ線画像から再構成する３次元画像を画質改善することにある。

本発明の第１局面は、撮影方向が相違する複数の画像のデータを記憶する記憶部と、前記複数の画像中から選択された少なくとも２枚の選択画像上に、操作者の操作に従って少なくとも１つの特徴点を指定する特徴点指定部と、前記特徴点を指定するための前記操作者の操作を支援するための情報を発生する操作支援部と、前記選択画像に対応する撮影方向と前記指定された特徴点の選択画像上での２次元位置とに基づいて前記特徴点に関する３次元位置を計算する３次元位置計算部と、前記複数の画像中の非選択画像に対応する撮影方向と、前記計算された特徴点の３次元位置とに基づいて、前記非選択画像上での前記特徴点の２次元位置を計算する２次元位置計算部と、前記非選択画像から特徴点を抽出する特徴点抽出部と、前記計算した特徴点の２次元位置に対する前記抽出した特徴点の２次元位置の位置ずれを、前記非選択画像各々について計算する位置ずれ計算部と、前記計算された位置ずれに基づいて前記非選択画像の位置を補正する補正部と、前記選択画像と前記補正された非選択画像とに基づいて、３次元画像を再構成する画像再構成部とを具備することを特徴とする３次元画像処理装置を提供する。
本発明の第２局面は、撮影方向が相違する複数の画像のデータを記憶する記憶部と、前記複数の画像中から選択された少なくとも２枚の選択画像上に、操作者の操作に従って少なくとも１つの特徴点を指定する特徴点指定部と、前記選択画像に対応する撮影方向と前記指定された特徴点の選択画像上での２次元位置とに基づいて前記特徴点に関する３次元位置を計算する３次元位置計算部と、前記複数の画像中の非選択画像に対応する撮影方向と、前記計算された特徴点の３次元位置とに基づいて、前記非選択画像上での前記特徴点の２次元位置を計算する２次元位置計算部と、前記非選択画像から特徴点を抽出する特徴点抽出部と、前記特徴点抽出部による特徴点の抽出結果を表示する表示部と、前記計算した特徴点の２次元位置に対する前記抽出した特徴点の２次元位置の位置ずれを、前記非選択画像各々について計算する位置ずれ計算部と、前記計算された位置ずれに基づいて前記非選択画像の位置を補正する補正部と、前記選択画像と前記補正された非選択画像とに基づいて、３次元画像を再構成する画像再構成部とを具備することを特徴とする３次元画像処理装置を提供する。
本発明の第３局面は、Ｘ線を発生するＸ線管と、前記Ｘ線管のＸ線を絞る開度可変のＸ線絞りと、被検体を透過したＸ線を検出するＸ線検出器と、前記Ｘ線管を前記Ｘ線検出器とともに前記被検体の周囲を回転する回転機構と、前記Ｘ線管が前記Ｘ線検出器とともに前記被検体の周囲を回転しながら繰り返し撮影した撮影方向が相違する複数の画像のデータに基づいて、３次元画像を再構成する画像再構成部と、前記Ｘ線検出器による少なくとも１フレームの画像上に関心領域を設定する関心領域設定部と、前記設定された関心領域に基づいて前記Ｘ線絞りの開度を制御する制御部とを具備することを特徴とするＸ線診断装置を提供する。

本発明によれば、多方向のＸ線画像から再構成する３次元画像を画質改善することができる。

以下、図面を参照して本発明の実施例による３次元画像処理装置及びＸ線診断装置を説明する。なお、ここでは、３次元画像処理装置はＸ線撮影装置に組み込まれるものとして説明するが、もちろん単独で構成可能である。また、３次元画像処理装置の機能をコンピュータに実現させるためのプログラムとして構成可能であり、またそれを記憶したコンピュータで読み取り可能な記憶媒体として提供され得る。また対象被検体を心臓血管として説明するが、心臓血管以外の臓器や、ステントなど体内に挿入するデバイスでも３次元画像処理が可能である。

図１は本実施例に係る３次元画像処理装置を装備したＸ線撮影装置を示している。撮影架台１は図２に示すように、Ｘ線管２１とＸ線検出器２２とを有している。高電圧発生部２５はＸ線管２１の電極間に印加するための高電圧を発生する。Ｘ線管２１は高電圧の印加を受けてＸ線を発生する。Ｘ線検出器２２は、典型的には、入射Ｘ線を直接的又は間接的に電荷に変換する複数の検出素子（画素）が２次元状に配列されてなる固体平面検出器である。Ｘ線管２１は例えば床置型のＣアーム２３の一端に取り付けられ、Ｘ線検出器２２はＣアーム２３の他端に取り付けられる。Ｘ線検出器２２は、寝台２６上に載置された被検体Ｐを挟んでＸ線管２１に対向する。Ｃアーム２３はスタンド２４に回転自在に支持される。Ｃアーム２３が回転しながら撮影を繰り返すことで、３次元画像再構成に必要な多方向のＸ線画像（透過画像）を取得することができる。

Ｃアーム２３の回転、高電圧発生部２５からＸ線管２１への高電圧の印加、及びＸ線検出器２２の信号読み出しが撮影制御部２により制御され、それにより撮影動作が実行され、Ｘ線画像（投影画像）のデータが発生される。このＸ線画像のデータを記憶するために画像記憶部３が設けられる。図示しないが、被検体Ｐの心電図を取得するために被検体Ｐには心電計が装着される。心電図解析部６は、心電図からＸ線画像を撮影した時の心位相を同定する。心位相とはＲ波とＲ波の間隔における各時点を表し、通常は百分率で表す。Ｘ線画像各々のデータには撮影時の心位相のデータが関連付けられる。画像記憶部３に記憶された多方向のＸ線画像から３次元画像のデータを再構成するための画像再構成部１４が設けられる。

さらに、呼吸や心拍動等に起因する多方向のＸ線画像間での画像座標系における被検体像の位置ずれを補正するためのシステムとして、Ｘ線画像を表示するためのモニタ４、特徴点の指定操作等のための入力デバイス５、特徴点指定画像選択部７、特徴点指定支援部８、特徴点３次元座標計算部９、特徴点投影処理部１０、特徴点抽出部（トラッキング部）１１、位置ズレ計算部１２、動き補正部１３、画像処理部１５が設けられている。

特徴点指定画像選択部７は、画像記憶部３に記憶された多方向のＸ線画像から同じ心位相に対応する少なくとも２フレームのＸ線画像（キー画像という）のデータを選択する。初期的条件のもとでは、例えば拡張末期に取得された５フレームのＸ線画像のデータが、キー画像として、選択される。キー画像は必要に応じて画像処理部１５で画像処理を受けて、特徴点指定支援部６のもとでモニタ４に表示される。キー画像には特徴点指定支援部６で発生された支援情報が重ねて表示される。支援情報としては、詳細は後述するが、操作者が入力デバイス５を介してキー画像上の解剖学上に特徴的な点（特徴点）を指定する操作を支援するための情報、具体的には指定済みのキー画像上の特徴点の２次元座標と撮影方向とから幾何学的計算により未指定のキー画像上に特徴点が位置することが予測される予測エリアである。

特徴点３次元座標計算部９は、複数のキー画像上に指定された複数の特徴点の２次元座標と、各々の撮影方向とに基づいて、幾何学的計算により特徴点の３次元座標（３次元位置）を計算する。特徴点投影処理部１０は、計算された特徴点の３次元座標と、キー画像以外の残りの画像（ノンキー画像）の撮影方向とに基づいて、ノンキー画像各々に投影される特徴点の２次元座標を計算する。特徴点トラッキング部１１は、ノンキー画像各々から特徴点を抽出する。位置ズレ計算部１２は、特徴点投影処理部１０により計算された特徴点の２次元座標に対する、特徴点抽出部１１によりノンキー画像から抽出した特徴点の２次元座標の位置ズレをノンキー画像毎に計算する。動き補正部１３は、位置ズレ計算部１２で計算された位置ズレに従って、ノンキー画像の位置を補正する。キー画像と、位置補正されたノンキー画像とに基づいて、再構成処理部１４により３次元画像のデータが再構成される。

図３には本実施例において画像収集から３次元画像の発生までの全体的な動作概要を示し、図５には本実施例による３次元画像処理装置の一連の処理手順を流れ図で示している。撮像制御部２の制御のもとで、Ｃアーム２３が連続的に回転し、その間に撮影が繰り返される。例えば、Ｃアーム２３は５０度／秒の速度で回転される。それにより撮影方向の異なる複数のＸ線画像のデータが収集され、撮影方向のデータを関連付けられて、画像記憶部３に記憶される（Ｓ１、Ｓ１１）。例えばＣアーム２３が４秒間に２００度回転する間に２００フレームのＸ線画像が収集される。特徴点指定画像選択部７により、２００フレームのＸ線画像の中から同じ心位相、例えば図４に示すように拡張末期に撮影した数フレームのキー画像が選択される（Ｓ２）。同じ心位相では、例えば血管はほぼ同じ３次元位置にある。

数フレームのキー画像は特徴点支援部８により撮影順に従って順番に１フレームずつモニタ４に表示され、操作者による入力デバイス５の指定操作に従って各キー画像上で特徴点が指定される（Ｓ１２）。特徴点としては、解剖学上（形態上）で比較的識別容易な例えば血管分岐部、狭窄部、ステントのマーカーが採用される。

この特徴点の指定操作は特徴点指定支援部８の支援を受ける。この支援処理は本実施例で特徴的であり、やや具体的には最初の第１フレーム目のキー画像上で特徴点が指定されると（Ｓ３）、その第１フレーム目のキー画像上での２次元座標と、第１フレーム目のキー画像の撮影方向と、第２フレーム目のキー画像の撮影方向とに基づいて逆投影処理により第２フレーム目のキー画像上に特徴点が位置すると予測される予測エリアが決定され、第２フレーム目のキー画像に重ねて表示される（Ｓ４）。同様に、第２フレーム目のキー画像上で特徴点が指定されると、その第１、第２フレーム目のキー画像上での特徴点の２次元座標と、第１、第２フレーム目のキー画像の撮影方向とに基づいて逆投影処理により第３フレーム目のキー画像上に特徴点が位置すると予測される予測エリアが決定され、第３フレーム目のキー画像に重ねて表示される。このように特徴点が指定される度に、次のキー画像上に、特徴点が位置すると予測される予測エリアが表示される。

全てのキー画像について特徴点の指定が完了すると、特徴点３次元座標計算部９により特徴点の３次元座標が計算される（Ｓ１３）。計算された特徴点の３次元座標と、キー画像以外の残りのノンキー画像の撮影方向とに基づいて、再投影処理により、特徴点が投影されるノンキー画像上での特徴点の２次元座標が計算される（Ｓ５、Ｓ１４）。この特徴点の２次元座標を、計算上の特徴点の２次元座標と称する。

続いて、複数のノンキー画像にて特徴点が抽出される（Ｓ６、Ｓ１５）。抽出された特徴点の２次元座標を、実際上の特徴点の２次元座標と称して、上記計算の特徴点の２次元座標と区別する。抽出処理としては、画像に映っている被検体像はフレーム間でほんの少ししか移動しない状況において、特徴点として第Ｎフレーム目の画像において例えば３１×３１程度の小さな領域を設定した場合、隣接する第（Ｎ＋１）フレーム目のノンキー画像において最も形態類似した領域を探すことであり、これを逐次繰りかえすことにより、最初に設定した小領域の特徴点の移動軌跡を得ることができる（トラッキング）。類似度の計算方法としては、Sum of square distance、 Sum of square distance、相互相関法、Mutual informationなどの周知の計算方法を任意に採用すればよい。

位置ズレ計算部１２では、計算の特徴点の２次元座標に対する実際上の特徴点の２次元座標の位置ズレが動き補正関数として計算される（Ｓ７）。計算された位置ズレに従ってノンキー画像を位置補正し（Ｓ８、Ｓ１６）、補正したノンキー画像とキー画像とに基づいて３次元画像のデータが再構成され（Ｓ９、Ｓ１７）、画像処理部１５でレンダリングされ、モニタ４に表示される（Ｓ１８）。

（特徴点の指定操作の支援）
以下、図６を参照して、特徴点指定支援部８による特徴点の指定操作の支援処理について説明する。キー画像が選択され（Ｓ２１）、その中の第１フレーム目のキー画像がモニタ４に表示される（Ｓ２２）。操作者による入力デバイス５の操作に従って第１フレーム目のキー画像上に特徴点が指定される（Ｓ２３）。次に第２フレーム目のキー画像が表示される（Ｓ２４）。第２フレーム目のキー画像とは、第１フレーム目のキー画像が発生されたときの心位相と同じ心位相のタイミングで発生され、第１フレーム目のキー画像とは異なる方向から撮影された画像である。

特徴点指定支援部８は、第２フレーム目のキー画像上に特徴点が位置するであろう予測エリアを決定し（Ｓ２５）、第２フレーム目のキー画像に重ねて表示する（Ｓ２６）。第２フレーム目のキー画像のための予測エリアは、図７に示すように、Ｘ線管２１の焦点に相当する位置から第１フレーム目のキー画像上に指定された特徴点への投影線を、第２フレーム目のキー画像の撮影時のＸ線管２１の焦点に相当する位置からＸ線検出器２２の検出面に相当する面に投影して描かれるいわゆるエピポーラ線として決定される。エピポーラ線上のいずれかの位置に特徴点が位置することが予測される。ただし心臓運動の非周期性があるので対応する点は必ずしもエピポーラ線の上に位置するとは限らない。操作者はエピポーラ線の線上又はその周辺で特徴点を探索する。図８に示すように、エピポーラ線の周囲に均等に所定幅の余白（マージン）を与えて拡大し、２次元の予測エリアとして表示してもよい。これにより心臓運動の非周期性があっても、ほぼこの予測エリア内に特徴点が収まることが多いので、操作者の特徴点指定操作の支援性が高まる。予測エリアの支援を受けて操作者による入力デバイス５の操作に従って第２フレーム目のキー画像上に特徴点が指定される（Ｓ２７）。ここで、指定点が予測エリアの外側に位置するとき、「指定点が予測エリアの外側である」旨の警告メッセージがモニタ４に表示され（Ｓ２８）、それを受けた操作者による入力デバイス５の再操作により第２フレーム目のキー画像上に特徴点が修正される（Ｓ２９）。

次に第３フレーム目のキー画像が表示され（Ｓ３０）、その第３フレーム目のキー画像上に表示すべき予測エリアが決定される（Ｓ３１）。既に第１、第２フレーム目のキー画像上で特徴点を指定済みであり、これから第３フレーム目のキー画像上で特徴点を指定しようとするとき、図９に示すように、既に指定した特徴点への投影線Ｌ１，Ｌ２が描けるため、特徴点の３次元位置は投影線Ｌ１，Ｌ２の交点であると推定できる。そこで交点を第３フレーム目のキー画像に投影すれば、それが予測座標となる。しかし実際には、心臓運動の非周期性の特性から、投影線Ｌ１，Ｌ２は交差しないことが多い。そこで投影線Ｌ１，Ｌ２を結ぶ最短の直線（短絡線）を特定し、その短絡線を第３フレーム目のキー画像に投影する。図８と同様に、投影された短絡線像の周囲にマージンをつけた楕円エリアを予測エリアとして決定し（Ｓ３１）、第３フレーム目のキー画像に重ねて表示する（Ｓ３２）。予測エリアの支援を受けて操作者による入力デバイス５の操作に従って第３フレーム目のキー画像上に特徴点が指定される（Ｓ３３）。ここで、指定点が予測エリアの外側に位置するとき、「指定点が予測エリアの外側である」旨の警告メッセージがモニタ４に表示され（Ｓ３４）、それを受けた操作者による入力デバイス５の再操作により第３フレーム目のキー画像上に特徴点が修正される（Ｓ３５）。

第４フレーム目以降の場合は、図１１に示すように、既に投影線Ｌ１，Ｌ２，Ｌ３のように多数の投影線が描け、それらの交点が特徴点の３次元位置として推定できている。ただし、心臓運動の非周期性の特性から、投影線Ｌ１，Ｌ２，Ｌ３は公差しない。そこで投影線Ｌ１，Ｌ２の短絡線の中間点、投影線Ｌ２，Ｌ３の短絡線の中間点、投影線Ｌ１，Ｌ３の短絡線の中間点をそれぞれ第４フレーム目のキー画像に投影する。投影された３点の重心を求め、その重心を中心として当該３点をすべて含むようにマージンをつけた円又は楕円エリアを予測エリアとして決定する。

第４フレーム目以降のための予測エリア決定の他の手法として、図１２に示すように、投影線Ｌ１，Ｌ２の短絡線、投影線Ｌ２，Ｌ３の短絡線、投影線Ｌ１，Ｌ３の短絡線をそれぞれ第４フレーム目のキー画像に投影する。投影された３本の短絡線像の重心を求め、その重心を中心として当該３線をすべて含むようにマージンをつけた円又は楕円エリアを予測エリアとして決定する。

また、例えば第５フレーム目以降では、図１２に示すように、心臓運動が不整脈をおこした場合など、心臓運動の非周期性が甚だ不安定な場合に、投影線Ｌ１，Ｌ２の短絡線の中間点、投影線Ｌ２，Ｌ３の短絡線の中間点、投影線Ｌ１，Ｌ３の短絡線の中間点．．．の重心座標を求め、かつ分散σを求める。各中間点が当該重心から３σ以内の距離にある場合これを正常点とみなし、重心から３σ超の距離にあればこれを異常点をみなして除外する。除外後、残った中間点で再度重心の計算と除外の確認を行い、全ての中間点が正常点になったらその点を特徴点の推定３次元座標として決定する。

上述の説明では、最も使われると考えられる具体的数値を用いて記述したが、数値は例であり、これに限定されるものではない。例えば、マージンの大きさは任意に設定可能であり、予測エリアは楕円でなくても円でも矩形でも任意形でもよく、重心は重心でなくても平均（中心）でも良く、３σは２σでも良く、分散σでなくても別の指標でも良い。

尚、指定済みのフレームが６以上に増加すると、投影線が交わる範囲の信頼性があがっていくことが考えられる。この場合、図１３、図１４に示すように、表示される楕円の精度はだんだん向上していくので、フレーム数が増えるにつれマージンを小さくしたりしても良い。

上述では、同じ心位相の画像をキー画像として選択したが、図１５に示すように、操作者が任意に指定した異なる心位相の画像をキー画像として選択するようにしてもよい。

また、上述では、全てのキー画像に対して特徴点の指定を完了した時点で、ノンキー画像に対してトラッキング処理を実施したが、図１６に示すように、あるフレームのキー画像上で特徴点を指定した後であって、次のフレームのキー画像上で特徴点を指定する前に、ノンキー画像に対して特徴点のトラッキングを実施するようにしてもよい。図１６の例では心位相１０のフレームで操作者により特徴点が指定され、その空間的に近隣、例えばキー画像を中心として投影方向が３０度の範囲内であるノンキー画像に対して特徴点のトラッキング処理を実施する。遠く離れたフレームではトラッキング誤差が大きくなってしまうため、操作者に特徴点指定を求める。ここで例えば心位相７０％のフレームで指定する。心位相７０のフレームで指定する場合、すでに指定済みの心位相７０の他フレームから求める方法を上述した。ここでは、図１７のように指定済みではないがトラッキング済みの心位相７０と同じ心位相の他のフレームを次の特徴点指定対象とする。トラッキング済みの心位相７０の他フレームが２フレーム以上あれば、上述同様の手法で予測エリアを推定することができる。

なお、上述の特徴点指定支援モードは、操作者の指示に従ってON/OFFすることができる。また、予測エリアの表示も、ON/OFFを選択できる。また、「アシスト」ボタンが押されたときに、予測エリアを表示するようにしてもよい。

ここで、最終的に実現したい処理アルゴリズムでは、「特徴点の３次元座標を求めてキー画像に投影する」ことにあり、このためには、最低２方向からの複数のキー画像上で特徴点座標が得られていることが必要となる。また複数のキー画像は同じ心位相に対応する。このため画像を収集しながら心電図信号（ECG)を取得し、心電図波形を参考にして、同心位相の画像を選択する。具体的には例えば２００度方向から２００枚の画像を得たとし、その間の心拍運動が５心拍あったとすると５枚の同心位相のフレームが存在していることになるので、５枚のうちどれか２枚を選べばよい。しかし現実の心臓の動きを考えると、心臓は周期的な動きをするとは言え、厳密には周期的運動ではない。よって５枚のうち任意の２枚を選んで３次元空間で投影線を描いた場合、その投影線は交わらないことがほとんどである。交わらなくても少しずれている程度であれば、投影線と投影線の中点を定義すれば、ほぼ良いと考えられる。ところが一部の患者さんにおいて例えば不整脈があった場合には、投影線と投影線は大きくずれる。この場合、無理に中点を定義してしまうと、計算される３次元座標は変なところに計算されてしまう。これは最終的な３次元画像の形をゆがめてしまうことになる。

そこで、図１８に示すように、特徴点指定支援部８は、第２フレーム以降で特徴点が指定されたとき、複数の投影線Ｌの短絡線の中から最大距離を抽出し、その最大距離を閾値と比較し、最大距離が閾値を超過しているとき、キー画像の再選択を促すためのメッセージを表示する（Ｓ４２、Ｓ４４）。具体的にはＧＵＩ上に「キー画像再選択」のボタンを配置し、それを指定可能状態に変化させる。

また、特徴点を指定するためにキー画像を予測エリアとともに表示するが、キー画像を収集画像のままで表示した場合、Ｘ線条件と被検体条件によっては、特徴点部分が真っ黒になったり真っ白になったりしておいて非常に見づらいことがある。そこで表示するキー画像は、収集画像そのものではなく、図１９に示すように、画像処理部１５で特徴点の視認性を向上するような濃度変換等の画像処理（前処理）を施したキー画像を表示する。画像処理としては、一般的な画像処理でよく、例えば、ガンマ補正、濃度圧縮、ヒストグラム平坦化、ハイパスフィルタなどのような処理を選択、組みあわせる。また、図２０に示すように、予測エリアが設定されている場合は、その予測エリア領域内にとって最適となる画像処理をほどこして表示する。これにより画像全体を濃度最適化するときよりもさらに予測エリアが見やすくなる。

また、特徴点を指定するためにキー画像を予測エリアとともに表示するが、キー画像を収集画像のままで表示した場合、予測エリアは画像全体と比較して小さく、見にくいことがある（図２２）。そこで、図２１に示すように、画像処理部１５で、キー画像を拡大し（Ｓ４７）、その拡大されたキー画像を予測エリアを中心としてモニタ４に表示する（図２３）。これにより操作者は予測エリアが見やすくなり、かつマウスクリックがしやすくなる。

また画像処理としては、複数のキー画像各々の平均輝度がほぼ等価になるように複数のキー画像の濃度を変調するものであってもよい。本実施例では、典型的には心臓の回転撮像が対象である。心臓が位置する場所は、体厚が大きく変化する。そのため収集画像は、フレーム毎に画像輝度が大きく変動する。具体的には、正面から撮像された画像は体厚が薄いため明るい。側面から撮像した画像は体厚が厚いため、暗くなる。これら輝度をできるだけ揃えるために、平均輝度が等価になるように輝度変調をキー画像にかける。輝度はフレーム間で急激に変化するものではなく、正面から側面にかけて徐々に変化する。

また、画像処理として、背景除去処理も有効である。３次元再構成の対象は典型的には心臓血管であり、肺野、骨等は不要である。心臓血管が強調されるような処理が効果的である。具体的には、心臓血管のサイズ以外の部分のコントラストを低下するために、バンドパスフィルタリング処理や、Morphologyフィルタリング処理が好ましい。また、心臓血管は動的であるので、静止部分を除去する処理も効果的である。具体的には、複数のＸ線画像を動き補正しないで再構成処理に通して心臓血管以外の被検体に関する３次元画像を発生し、その３次元画像を撮影方向に関して投影処理して投影画像を生成し、その投影画像を元のＸ線画像とを差分する。

また、第１フレーム目のキー画像上に特徴点を指定した後、次のキー画像上で特徴点をトラッキングし、そのトラッキングした点を中心とした所定サイズの関心領域（ＲＯＩ）を設定し、ＲＯＩ内で心臓血管のコントラストが最適になるように濃度変調処理をかける。

また、少なくとも２フレームのキー画像が必要とされる。精度を考慮すると、実際には５〜１０フレームが使われる。キー画像のフレーム数が多くなると、過去に指定したフレーム上でどのように特徴点を指定したかを忘れてしまい、よって参照したくなることがある。様々な表示例を以下に示す。

図２４Ａ，図２４Ｂ，図２４Ｃに示すように、特徴点指定支援部８は、モニタ４に第２フレーム以降のキー画像を表示する際には、過去に指定したフレームを並べて表示する。または図２５Ａ，図２５Ｂ，図２５Ｃに示すように、特徴点指定支援部８は、モニタ４に第２フレーム以降のキー画像を表示する際には、直前に指定したフレームを並べて表示する。図２６Ａ，図２６Ｂ，図２６Ｃに示すように、特徴点指定支援部８は、モニタ４に第２フレーム以降のキー画像を表示する際には、特徴点指定段階のキー画像を中心として特徴点指定済みの２フレームのキー画像を左右にを並べて表示する。図２７Ａ，図２７Ｂ，図２７Ｃに示すように、特徴点指定支援部８は、モニタ４に第２フレーム以降のキー画像を表示する際には、特徴点指定段階のキー画像を大きく表示し、特徴点指定済みのキー画像をサムネイルで表示する。図２８Ａ，図２８Ｂ，図２８Ｃに示すように、特徴点指定支援部８は、モニタ４に第２フレーム以降のキー画像を表示する際には、特徴点指定段階のキー画像を全体表示し、特徴点指定済みのキー画像の特徴点を中心とした一部分を表示する。また、図２８Ｄに示すように、指定対象画像がその前後の画像とともに円弧状に配列されてもよい。さらに、図２８Ｅに示すように、中央の指定対象画像がその前後の画像よりも大きく表示されてもよい。

上述では、エピポーラ線等の予測エリアが決定され、キー画像に重ねて表示された。予測エリアに代えて又は予測エリアとともに、支援部８で血管中心線を生成し、キー画像に重ねて表示するようにしても良い。その処理方法としては、同心位相の２以上のキー画像上で血管中心線を手動又は領域抽出により自動的に取得し、それら血管中心線の２次元座標から血管中心線の３次元座標を計算し、他のキー画像のフレームに投影することにより生成する。表示に際しては、本管の血管中心線と、分岐血管の血管中心線とは異なる色で表示することが好ましい。また、特徴点指定支援部８は、図２９に示すように、いずれかのキー画像上で血管中心線上の各位置での血管の直径（幅）を求めて、血管モデルを生成し、表示するようにしても良い。

（特徴点トラッキング）
図３０に示すように、特徴点抽出（トラッキング）部１１により、上記Ｓ１５のトラッキング結果は操作者確認のためにモニタ４に表示される（Ｓ５１）。つまり、特徴点トラッキング部１１が出してきたトラッキング結果を、操作者が目視で確認する。トラッキング結果が適当であらば、ＯＫボタンを押して、そのまま次の処理Ｓ１６に進む。トラッキング結果が不適当のときは、操作者はＮＧボタンを押すとともに、特徴点の位置をマニュアルで修正する（Ｓ５２）。これによりトラッキングエラーによる画質低下を抑えることができる。

特徴点トラッキング部１１では、トラッキング処理が完了したら自動的に、図３１、図４６に例示するように、トラッキングされた特徴点を示すマーカーを非選択画像上に重ねて表示する（オーバーレイ表示）。マーカーは、白、黒、もしくはカラーで表示される。マーカーの形状としては、図３２に示すように、点、丸、十字、四角又は中央が欠落している十字が典型的である。なお、四角のマーカーは、トラッキングに用いたテンプレートの大きさを有する。また、図３３に示すように、トラッキングされた特徴点を示すマーカーを、一つ前の非選択画像からトラッキングした特徴点のマーカー及び次の非選択画像からトラッキングした特徴点のマーカーとともに現行の非選択画像上に重ねて表示するようにしてもよい。これらマーカーを線で結び特徴点の移動を表す軌跡として表示してもよい。

なお、対象画像は２００フレーム程度あり、動画として表示される。動画中の１フレームの画像に対し、そのフレームのトラッキング結果が表示される。動画表示されるインターフェースには、ひとコマ送り表示、ゆっくり再生表示、逆方向再生表示、の表示を可能とし、操作のためのアイコンもしくはキーボード機能を有する。画像内の複数の部位に複数の特徴点が指定され、複数の特徴点について並行にトラッキングされた場合は、複数のトラッキング結果が表示される。複数のトラッキング結果は、区別されるために、色、形、太さ、番号、などが相違して表示される。複数の特徴点がトラッキングされた場合は、ひとつひとつが独立して別々に表示できる。また独立表示を選択できるアイコンやメニューなどのインターフェースを備え付ける。

トラッキング対象の非選択画像（100〜200フレーム程度）と特徴点指定対象の選択画像（2〜10フレーム程度）とが区別され得るように、例えば、前者は赤で後者は黒でトラッキング結果を色付け表示する。表示画像は画像処理部１５によりウインドウ処理、ガンマ調整、拡大縮小が可能である。

トラッキング結果の表示例として、特徴点トラッキング部１１は、図３４に示すように、トラッキングした特徴点の座標、例えばＸ座標の変化をグラフとして表示することも可能である。また、図３５に示すように、特徴点トラッキング部１１は、画像処理部１５により画像を拡大させ、トラッキングした特徴点の座標を中心として拡大表示させることも可能である。それにより、画像が小さすぎると特徴点の位置を修正しにくいので拡大して修正作業を容易にすることができる。画像だけだとどこを拡大したらいいのかわからない。トラキング結果座標があればそこを拡大表示すればよいとわかる。また、図３５に示すように、特徴点トラッキング部１１は、画像処理部１５により、特徴点付近の濃度に基づいて画像全体の濃度を調整させてもよい。画像全体の濃度情報から自動濃度調整すると、トラッキング座標付近にとっては最適になっているとは必ずしもいえない。トラッキング座標付近のデータで最適化できば、トラッキング座標付近が見やすくなり、修正しやすくなる。

表示画像は１画面表示もしくは並べて（Tile）表示されることができる。図３６に示すように、３フレームの画像が同時表示される。注目画像を中心に配置し、その左右に前後のフレームを表示する。また、注目画像を中心に配置し、その左右に例えば５フレーム前の画像と５フレーム後の画像を表示する。また、注目画像を中心に配置し、その左右に操作者が任意に指定した２枚の画像を表示する。さらに、注目画像を静止画として表示し、その隣りに全２００フレームのＸ線画像を回転動画として表示する。

トラッキング結果の修正、つまり抽出した特徴点の位置の変更に関して、その操作方法は次の通りである。図３７に示すように、マウス等で画像上の所望位置がクリックされると、特徴点の旧座標が消えて、新座標に置き換わる。図３８に示すように、変更ボタンがクリックされると、トラッキングされた特徴点が修正可能対象となる。その中の修正対象点がクリックされ、マウス等で画像上の所望位置がクリックされると、当該修正対象点の旧座標が消えて、新座標に置き換わる。図３９に示すように、変更ボタンがクリックされ、マウス等で画像上の所望位置がクリックし、トラッキングされた特徴点の中の修正対象点がクリックされると、当該修正対象点の旧座標が消えて、新座標に置き換わる。図４０、図４７に示すように、マウス操作により、トラッキングされた特徴点の中の修正対象点を、旧座標から新座標へドラッグ＆ドロップする。

また、修正候補が表示されてもよい。相関が２番目に或いは３番目に高い座標が候補として表示される。そこをクリックするとその候補が選ばれる。前後のフレームの中間点が候補として表示される。確定ボタンのクリックにより特徴点の位置が確定する。

図４１に示すように、あるフレームで特徴点の位置が修正されると（Ｓ５２）、処理がトラッキング（Ｓ１５）に戻り、その修正位置から近傍の他のフレームでトラッキングが再度実行される。再実行したトラッキング結果を確認して必要であれば別のフレームもマニュアル修正操作する。

図４２に示すように、まず自動的なトラッキング結果から、トラッキング結果の確認及び修正は実施しないで、動き補正処理（Ｓ１６）を得て３次元画像を再構成処理（Ｓ１７）し、表示する（Ｓ１８）ようにしても良い。一方、操作者は３次元画像の表示結果を確認し（Ｓ５１）、修正の可否を判断し（Ｓ５２）修正したトラッキング結果に従って動き補正処理（Ｓ１６’）を得て再構成処理（Ｓ１７’）により３次元画像を再構成し、画質が向上した３次元画像を表示する（Ｓ１８’）。これにより、まずはそこそこの画質の再構成画像を高速に表示し、その後、修正操作の後に高画質の再構成画像が表示される。

また、図４３に示すように、操作者はトラッキング結果を処理途中で確認するのではなく、まずいったん再構成された画像を見る。この画像が不適当と判断されたとき、トラッキング結果を確認（Ｓ５１）、修正（Ｓ５２）するという使い方も可能である。

また、図４４に示すように、特徴点トラッキング部１１は、トラッキングの結果を自動診断し、不適当と判定されたとき、操作者に特徴点の増加、つまり追加入力を促すためのメッセージを表示する（Ｓ５３）。自動診断とは、図４５に例示するように、画像間で相関値を観測し、相関値が閾値を超えたら不適当と判断する。また画像間の相関値の積分を観測し、積分値が閾値を超えたら不適当と判断する。つまり、フレーム間の相関値が閾値以下になった場合、そのフレーム以降の結果は誤差が大きくなると考え、このフレームで追加入力を求める。フレーム間の相関値を累積加算させていく。あるフレームでの累積加算値が閾値以上になった場合、そのフレーム以降の結果は誤差が大きくなると考え、このフレームで追加入力を求める。不適当と判断された場合は、追加入力を求める画面が自動的に表示される。

（Ｘ線画像の撮像方法）
上記回転撮像では、特に関心領域（被検体の部分）が小さい場合には、図４８に示すように、Ｘ線照射野を関心領域に制限することで、被曝低減効果が期待できる。図４９に示すように、関心領域はふたつの黒いマーカーの間と周辺だけであり、この例だと画面の下半分はまったく無駄な被曝となっている。また、図５０に示すように、関心領域はふたつの黒いマーカーの間と周辺だけであり、この例でも画面の下半分はまったく無駄な被曝となっている。また、回転と運動に伴って関心領域の位置がY方向にずれていることがわかる。

ここでは、回転撮像において被曝を低減させる方法として、関心領域を設定し、関心領域以外に絞りを入れてＸ線を照射しないようにする。さらに具体的には、２次元画像の１枚で関心領域を指定し、関心領域以外に絞りを入れて回転撮像する。さらに具体的には、２次元画像の１枚で関心領域を指定し、２次元画像内での動きをトラッキングして動く領域を設定し、動く領域以外に絞りを入れて回転撮像する。これにより被曝を最小限にして撮像することができる。以下詳細に説明する。

図５１、図５２に示すように、回転撮像においては、Ｃアーム２３がスライド回転（φ）又は軸回転（θ）され、Ｘ線管２１が検出器２２とともに連続的に回転され、その間に撮影が繰り返される。

図５３に示すように、撮像制御部２は、まずＸ線管２１と検出器２２をある位置に固定して、動画を撮像する（Ｓ６１）。この際、対象が血管の場合は造影を必要とする。ステント等の体内デバイスの場合は造影はしない。動画は最低１心拍分を撮像する。撮像レートは任意であり通常は７〜３０fpsの場合が多い。収集した動画のうち、ある１フレーム（第Ｎ番目）が表示される。操作者はこのフレームで特徴点を指定する（Ｓ６２）。特徴点は１点もしくは複数点とする。コンピューターは特徴点に対してマージンをもたせ特徴領域を設定する。例えば中心が特徴点としてマウスで領域指定されると、撮像制御部２は、選択された特徴点座標を中心として例えば31x31領域を特徴領域として記憶する。

撮像制御部２は、動画において隣接するフレーム（第Ｎ＋１番目）の中で、この特徴領域と最も類似している場所を例えば相互相関値が最大になるようにサーチする。検出された場所を中心とした31x31領域を新しい特徴領域としてメモリに保存する。次に撮像制御部２は、（第Ｎ＋２番目）のフレームにおいて、（第Ｎ＋１番目）のフレームで保存された特徴領域と最も類似している場所をサーチする。同様にして撮像制御部２は、第Ｍ番目のフレームまで、いわゆるトラッキングをおこなう。第Ｎ番目のフレームと第Ｍ番目のフレームは最低でも心臓心拍の１心拍分を有する。図５４に示すように、撮像制御部２は、第Ｎ番目のフレームから第Ｍ番目のフレームまでに動いた範囲の最大範囲を計算し、これを関心領域として設定する（Ｓ６３）。

撮像制御部２は、設定された関心領域に基づいて絞り２７の開度（絞り領域）を計算する。そのために、まず、撮像制御部２は、図５５に示すように、関心領域とＸ線管２１を結ぶ直線を、回転撮像における他方向からの画像に投影する。直線は他方向の２次元画像において線として描くことができる。これは一般にエピポーラ幾何学である。投影された線はエピポーララインと呼ぶ。他方向の画像においては図５４に示すようにエピポーララインの中が、被写体が運動する範囲であり、エピポーラーラインの外は被写体がこない領域であると判断できる。この計算を撮影を予定している全方向についておこなえば、撮影方向ごとに絞って良い範囲が求められる。こうして求められた範囲に絞りを入れて回転撮像をおこなう。

図５７に示すように、絞る範囲は撮影方向ごと（フレームごと）に変えるのが最も好ましい。図５８に示すように、撮影方向ごとの関心領域をカバーする最大関心領域を計算し、その範囲を共通の絞る範囲として全撮影方向で共通に固定させても良い。尚、心臓のように周期性がありながらも、完全には周期的な運動をしない臓器の場合には、図５６に示すように、関心領域に対して少しマージンをつけて、拡大した関心領域により絞り範囲を決定するべきである。

なお、従来の心臓再構成方法では、特徴点を指定し、その特徴点をトラッキングしていた。本実施例で提案する処理法では、２次元画像上で既に特徴点を指定している。そこで従来の特徴点指定と合わせると同じものを２度指定してもらわなければならなくなる。そこでこれを１回にする。このため以下の手法を採用する。まず、最初の２次元画像の撮像は、後でおこなう回転撮像で予定している撮像角度のひとつの角度と同じ角度で行うこととする。２次元撮像と回転撮像を実行する。次に、回転撮像から２次元画像と同じ角度の画像１枚を抽出する。２次元撮像から、回転画像から抽出した１枚と同じ心位相の画像を抽出する。これにより抽出された２枚の画像は、同じ角度で同じ心位相の画像となっている。２次元撮像で指定された特徴領域をテンプレートとし、回転画像から抽出された１画像の内で最も類似している座標を検索する。そして、検索された画像を、心臓動き補正用トラッキング用の初期座標と定める。

上記２次元トラッキングは除くことができる。ある１方向の画像（動画でも静止画でもよい）において、操作者が関心領域を設定する。ここで指定される関心領域は上記運動領域に相当する。実際的には、図５９に示すように、例えば１方向での動画を見ながら、見たい領域がカバーされるような領域を目視で設定する。図５３のＳ６４と同じである。これは静止臓器でも動く臓器でも用いることができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

図１は、本実施例の３次元画像処理装置の構成を示す。 図２は、図１の撮影架台の構造を示す。 図３は、本実施例の全体動作の概略を示す。 図４は、図３のＳ２の補足図である。 図５は、図３に対応するフローチャートである。 図６は、図５のＳ１２に対応するフローチャートである。 図７は、図６のＳ２６の予測エリアの表示例を示す。 図８は、図６のＳ２６の予測エリアの他の例を示す。 図９は、図６のＳ３２の予測エリアの表示例を示す。 図１０は、本実施例において、４フレーム目以降の予測エリアの表示例を示す。 図１１は、本実施例において、４フレーム目以降の予測エリアの他の表示例を示す。 図１２は、本実施例において、４フレーム目以降の他の予測エリアの他の表示例を示す。 図１３は、本実施例において、縮小された予測エリアの表示例を示す。 図１４は、本実施例において、縮小された予測エリアの表示例を示す。 図１５は、図３のＳ２の選択画像（キーフレーム）の選択方法の他の例を示す図である。 図１６は、図５の特徴点指定ステップＳ１２の直後にトラッキングステップＳ１５を配置する手順の補足図である。 図１７は、図６のＳ２５の予測エリアの他の決定例を示す。 図１８は、図６の変形例を示す図である。 図１９は、図６の変形例を示す図である。 図２０は、図６の変形例を示す図である。 図２１は、図６の変形例を示す図である。 図２２は、図２１のＳ４７、Ｓ４８の補足図である。 図２３は、図２１のＳ４７、Ｓ４８の補足図である。 図２４Ａは、本実施例において、１フレーム目の画像上に特徴点を指定する段階の画面例を示す図である。 図２４Ｂは、本実施例において、２フレーム目の画像上に特徴点を指定する段階の画面例を示す図である。 図２４Ｃは、本実施例において、３フレーム目の画像上に特徴点を指定する段階の画面例を示す図である。 図２５Ａは、本実施例において、１フレーム目の画像上に特徴点を指定する段階の他の画面例を示す図である。 図２５Ｂは、本実施例において、２フレーム目の画像上に特徴点を指定する段階の他の画面例を示す図である。 図２５Ｃは、本実施例において、３フレーム目の画像上に特徴点を指定する段階の他の画面例を示す図である。 図２６Ａは、本実施例において、１フレーム目の画像上に特徴点を指定する段階の他の画面例を示す図である。 図２６Ｂは、本実施例において、２フレーム目の画像上に特徴点を指定する段階の他の画面例を示す図である。 図２６Ｃは、本実施例において、３フレーム目の画像上に特徴点を指定する段階の他の画面例を示す図である。 図２７Ａは、本実施例において、１フレーム目の画像上に特徴点を指定する段階の他の画面例を示す図である。 図２７Ｂは、本実施例において、２フレーム目の画像上に特徴点を指定する段階の他の画面例を示す図である。 図２７Ｃは、本実施例において、３フレーム目の画像上に特徴点を指定する段階の他の画面例を示す図である。 図２８Ａは、本実施例において、１フレーム目の画像上に特徴点を指定する段階の他の画面例を示す図である。 図２８Ｂは、本実施例において、２フレーム目の画像上に特徴点を指定する段階の他の画面例を示す図である。 図２８Ｃは、本実施例において、３フレーム目の画像上に特徴点を指定する段階の他の画面例を示す図である。 図２８Ｄは、本実施例において、画像のスクロール表示例を示す図である。 図２８Ｅは、本実施例において、画像の他のスクロール表示例を示す図である。 図２９は、本実施例において、画像に重ねて表示される血管モデルを示す図である。 図３０は、図５のＳ１５のトラッキング結果の修正処理を示す図である。 図３１は、図３０のＳ５１によるトラッキング結果の表示例を示す図である。 図３２は、図３０のＳ５１によるトラッキング結果のマーカー例を示す図である。 図３３は、図３０のＳ５１によるトラッキング結果の軌跡表示例を示す図である。 図３４は、図３０のＳ５１によるトラッキング結果のグラフ表示例を示す図である。 図３５は、図３０のＳ５１によるトラッキング結果の拡大表示例を示す図である。 図３６は、図３０のＳ５１による複数のトラッキング結果を並べて表示する例を示す図である。 図３７は、図３０のＳ５２におけるトラッキング結果の修正手順を示す図である。 図３８は、図３０のＳ５２におけるトラッキング結果の修正手順を示す図である。 図３９は、図３０のＳ５２におけるトラッキング結果の修正手順を示す図である。 図４０は、図３０のＳ５２におけるトラッキング結果の修正手順を示す図である。 図４１は、図３０のトラッキング処理の他の修正手順を示す図である。 図４２は、図３０のトラッキング修正結果の他の活用例を示す図である。 図４３は、図３０のトラッキング修正結果の他の活用例を示す図である。 図４４は、図３０のトラッキング結果の自動判定処理を示す図である。 図４５は、図４４のトラッキング結果の自動判定処理の具体例を示す図である。 図４６は、図３０のトラッキング結果の具体的な表示例を示す図である。 図４７は、図３０のトラッキング結果を修正するための具体的な表示例を示す図である。 図４８は、図１の撮像制御部によるＸ線絞りの絞り範囲を示す図である。 図４９は、図１の撮像制御部によるＸ線絞りの絞り範囲を複数方向について示す図である。 図５０は、図１の撮像制御部によるＸ線絞りの絞り範囲を複数方向について示す図である。 図５１は、図１のＣアームの回転撮像角度を示す図である。 図５２は、図５２のＣアームの回転撮像角度を示す図である。 図５３は、図１の撮像制御部による絞り領域の決定手順を示す図である。 図５４は、図５３のＳ６３の補足図である。 図５５は、図５３のＳ６４の補足図である。 図５６は、図５５のＳ６４の絞り領域の決定方法の説明図である。 図５７は、図５５のＳ６４でフレーム毎に決定された絞り領域を示す詳細図である。 図５８は、図５５のＳ６４でフレーム共通に決定された絞り領域を示す詳細図である。 図５９は、図５３の関心領域の他の設定法の説明図である。

符号の説明

１…撮影架台、２…撮影制御部、３…画像記憶部、４…モニタ、５…入力デバイス、６…心電図解析部、７…特徴点指定画像選択部、８…特徴点指定支援部、９…特徴点３次元座標計算部、１０…特徴点投影処理部、１１…特徴点抽出部（トラッキング部）、１２…位置ズレ計算部、１３…動き補正部、１４…画像再構成部、１５…画像処理部、２１…Ｘ線管、２２…Ｘ線検出器、２５…高電圧発生部、２３…Ｃアーム、２６…寝台、２４…スタンド。

Claims (23)

1. 撮影方向が相違する複数の画像のデータを記憶する記憶部と、
   前記複数の画像中から選択された少なくとも２枚の選択画像上に、操作者の操作に従って少なくとも１つの特徴点を指定する特徴点指定部と、
   前記特徴点を指定するための前記操作者の操作を支援するための情報を発生する操作支援部と、
   前記選択画像に対応する撮影方向と前記指定された特徴点の選択画像上での２次元位置とに基づいて前記特徴点に関する３次元位置を計算する３次元位置計算部と、
   前記複数の画像中の非選択画像に対応する撮影方向と、前記計算された特徴点の３次元位置とに基づいて、前記非選択画像上での前記特徴点の２次元位置を計算する２次元位置計算部と、
   前記非選択画像から特徴点を抽出する特徴点抽出部と、
   前記計算した特徴点の２次元位置に対する前記抽出した特徴点の２次元位置の位置ずれを、前記非選択画像各々について計算する位置ずれ計算部と、
   前記計算された位置ずれに基づいて前記非選択画像の位置を補正する補正部と、
   前記選択画像と前記位置を補正された非選択画像とに基づいて、３次元画像を再構成する画像再構成部とを具備し、
   前記操作支援部は、前記複数の選択画像上に指定された特徴点への投影線が所定距離以上離間しているとき、前記選択画像の変更を促すメッセージを表示することを特徴とする３次元画像処理装置。
2. 前記操作支援部は、前記選択画像中の少なくとも１枚の選択画像上に指定された特徴点の２次元位置と、前記選択画像の撮影方向とに基づいて、前記選択画像中の他の選択画像上における前記特徴点が位置する予測エリアを決定することを特徴とする請求項１記載の３次元画像処理装置。
3. 前記操作支援部は、前記決定された予測エリアを前記他の選択画像とともに表示することを特徴とする請求項２記載の３次元画像処理装置。
4. 前記選択画像は、同じ心位相に対応することを特徴とする請求項１記載の３次元画像処理装置。
5. 前記操作支援部は、前記選択画像に対応する撮影方向と、前記複数の選択画像上に指定された特徴点に関する複数の２次元位置とに基づいて、他の選択画像上における前記特徴点の予測位置を計算することを特徴とする請求項１記載の３次元画像処理装置。
6. 前記操作支援部は、前記選択画像に対応する撮影方向と、前記複数の選択画像上に指定された特徴点に関する複数の２次元位置とに基づいて、他の選択画像上における前記特徴点の予測位置を計算し、前記予測位置を表すマーク又は前記予測位置を含む予測エリアを表すマークを前記他の選択画像上に重ねて表示することを特徴とする請求項１記載の３次元画像処理装置。
7. 前記操作支援部は、前記選択画像に対応する撮影方向と、前記複数の選択画像上に指定された特徴点に関する複数の２次元位置とに基づいて、他の選択画像上における前記特徴点の予測ラインを計算し、前記予測ラインを表すマーク又は前記予測ラインを含む予測エリアを表すマークを前記他の選択画像上に重ねて表示することを特徴とする請求項１記載の３次元画像処理装置。
8. 前記操作支援部は、前記複数の選択画像から血管領域を特定し、前記血管領域に基づいて血管中心線を表すマーク又は血管モデルを前記他の選択画像上に重ねて表示することを特徴とする請求項１記載の３次元画像処理装置。
9. 前記操作支援部は、操作者の操作に従って前記他の選択画像上に指定された特徴点の位置が前記予測エリアから外れているとき、警告を発生することを特徴とする請求項２記載の３次元画像処理装置。
10. 前記選択画像を画像処理する画像処理部をさらに備えることを特徴とする請求項１記載の３次元画像処理装置。
11. 前記画像処理部は、前記選択画像を濃度変換することを特徴とする請求項１０記載の３次元画像処理装置。
12. 前記選択画像を拡大処理する画像処理部と、前記拡大された選択画像を前記指定された特徴点を中心として表示する表示部とをさらに備えることを特徴とする請求項１記載の３次元画像処理装置。
13. 前記特徴点を指定済みの単一の選択画像を、前記特徴点を未指定の選択画像とともに表示する表示部とをさらに備えることを特徴とする請求項１記載の３次元画像処理装置。
14. 前記特徴点を指定済みの複数の選択画像を、前記特徴点を未指定の選択画像とともに表示する表示部とをさらに備えることを特徴とする請求項１記載の３次元画像処理装置。
15. 撮影方向が相違する複数の画像のデータを記憶する記憶部と、
    前記複数の画像中から選択された少なくとも２枚の選択画像上に、操作者の操作に従って少なくとも１つの特徴点を指定する特徴点指定部と、
    前記選択画像に対応する撮影方向と前記指定された特徴点の選択画像上での２次元位置とに基づいて前記特徴点に関する３次元位置を計算する３次元位置計算部と、
    前記複数の画像中の非選択画像に対応する撮影方向と、前記計算された特徴点の３次元位置とに基づいて、前記非選択画像上での前記特徴点の２次元位置を計算する２次元位置計算部と、
    前記非選択画像から特徴点を抽出する特徴点抽出部と、
    前記特徴点抽出部による特徴点の抽出結果を表示する表示部と、
    前記計算した特徴点の２次元位置に対する前記抽出した特徴点の２次元位置の位置ずれを、前記非選択画像各々について計算する位置ずれ計算部と、
    前記計算された位置ずれに基づいて前記非選択画像の位置を補正する補正部と、
    前記選択画像と前記位置を補正された非選択画像とに基づいて、３次元画像を再構成する画像再構成部とを具備し、
    前記表示部は、前記特徴点抽出部により抽出された特徴点の座標変化を表すグラフを表示することを特徴とする３次元画像処理装置。
16. 前記表示部は、前記特徴点抽出部により抽出された特徴点を表す点、丸、十字又は四角のマークを前記非選択画像上に重ねて表示することを特徴とする請求項１５記載の３次元画像処理装置。
17. 前記表示部は、前記特徴点抽出部により抽出された特徴点を他の非選択画像から抽出された特徴点とともに前記非選択画像上に重ねて表示することを特徴とする請求項１５記載の３次元画像処理装置。
18. 前記表示部は、前記特徴点抽出部により抽出された特徴点を中心として前記非選択画像を拡大表示することを特徴とする請求項１５記載の３次元画像処理装置。
19. 前記表示部は、前記特徴点抽出部により前記複数の非選択画像から抽出された複数の特徴点を前記複数の非選択画像とともに表示することを特徴とする請求項１５記載の３次元画像処理装置。
20. 撮影方向が相違する複数の画像のデータを記憶する記憶部と、
    前記複数の画像中から選択された少なくとも２枚の選択画像上に、操作者の操作に従って少なくとも１つの特徴点を指定する特徴点指定部と、
    前記選択画像に対応する撮影方向と前記指定された特徴点の選択画像上での２次元位置とに基づいて前記特徴点に関する３次元位置を計算する３次元位置計算部と、
    前記複数の画像中の非選択画像に対応する撮影方向と、前記計算された特徴点の３次元位置とに基づいて、前記非選択画像上での前記特徴点の２次元位置を計算する２次元位置計算部と、
    前記非選択画像から特徴点を抽出する特徴点抽出部と、
    前記特徴点抽出部による特徴点の抽出結果を表示する表示部と、
    前記計算した特徴点の２次元位置に対する前記抽出した特徴点の２次元位置の位置ずれを、前記非選択画像各々について計算する位置ずれ計算部と、
    前記計算された位置ずれに基づいて前記非選択画像の位置を補正する補正部と、
    前記選択画像と前記位置を補正された非選択画像とに基づいて、３次元画像を再構成する画像再構成部とを具備し、
    前記特徴点抽出部により抽出された特徴点の位置を修正操作するための操作部をさらに備えることを特徴とする３次元画像処理装置。
21. 撮影方向が相違する複数の画像のデータを記憶する記憶部と、
    前記複数の画像中から選択された少なくとも２枚の選択画像上に、操作者の操作に従って少なくとも１つの特徴点を指定する特徴点指定部と、
    前記選択画像に対応する撮影方向と前記指定された特徴点の選択画像上での２次元位置とに基づいて前記特徴点に関する３次元位置を計算する３次元位置計算部と、
    前記複数の画像中の非選択画像に対応する撮影方向と、前記計算された特徴点の３次元位置とに基づいて、前記非選択画像上での前記特徴点の２次元位置を計算する２次元位置計算部と、
    前記非選択画像から特徴点を抽出する特徴点抽出部と、
    前記特徴点抽出部による特徴点の抽出結果を表示する表示部と、
    前記計算した特徴点の２次元位置に対する前記抽出した特徴点の２次元位置の位置ずれを、前記非選択画像各々について計算する位置ずれ計算部と、
    前記計算された位置ずれに基づいて前記非選択画像の位置を補正する補正部と、
    前記選択画像と前記位置を補正された非選択画像とに基づいて、３次元画像を再構成する画像再構成部とを具備し、
    前記画像再構成部は、前記特徴点抽出部により抽出された特徴点から計算した位置ずれにより位置補正した非選択画像と前記選択画像とに基づいて第１の３次元画像を再構成し、前記操作部により修正された抽出された特徴点から計算した位置ずれにより位置補正した非選択画像と前記選択画像とに基づいて第２の３次元画像を再構成することを特徴とする３次元画像処理装置。
22. 撮影方向が相違する複数の画像のデータを記憶する記憶部と、
    前記複数の画像中から選択された少なくとも２枚の選択画像上に、操作者の操作に従って少なくとも１つの特徴点を指定する特徴点指定部と、
    前記選択画像に対応する撮影方向と前記指定された特徴点の選択画像上での２次元位置とに基づいて前記特徴点に関する３次元位置を計算する３次元位置計算部と、
    前記複数の画像中の非選択画像に対応する撮影方向と、前記計算された特徴点の３次元位置とに基づいて、前記非選択画像上での前記特徴点の２次元位置を計算する２次元位置計算部と、
    前記非選択画像から特徴点を抽出する特徴点抽出部と、
    前記特徴点抽出部による特徴点の抽出結果を表示する表示部と、
    前記計算した特徴点の２次元位置に対する前記抽出した特徴点の２次元位置の位置ずれを、前記非選択画像各々について計算する位置ずれ計算部と、
    前記計算された位置ずれに基づいて前記非選択画像の位置を補正する補正部と、
    前記選択画像と前記位置を補正された非選択画像とに基づいて、３次元画像を再構成する画像再構成部とを具備し、
    前記特徴点抽出部により抽出された特徴点の追加の可否を前記非選択画像間の相関値により判定する判定部をさらに備えることを特徴とする３次元画像処理装置。
23. 撮影方向が相違する複数の画像のデータを記憶する記憶部と、
    前記複数の画像中から選択された少なくとも２枚の選択画像上に、操作者の操作に従って少なくともひとつの特徴点を指定する特徴点指定部と、
    前記選択画像に対応する撮影方向と前記指定された特徴点の選択画像上での２次元位置とに基づいて前記特徴点に関する３次元位置を計算する３次元位置計算部と、
    前記複数の画像中の非選択画像に対応する撮影方向と、前記計算された特徴点の３次元位置とに基づいて、前記非選択画像上での前記特徴点の２次元位置を計算する２次元位置計算部と、
    前記非選択画像から特徴点を抽出する特徴点抽出部と、
    前記計算した特徴点の２次元位置に対する前記抽出した特徴点の２次元位置の位置ずれを、前記非選択画像各々について計算する位置ずれ計算部と、
    前記計算された位置ずれに基づいて前記非選択画像の位置を補正する補正部と、
    前記選択画像と前記位置を補正された非選択画像とに基づいて、３次元画像を再構成する画像再構成部と、
    前記特徴点抽出部により抽出された特徴点の追加の可否を前記非選択画像間の相関値により判定する判定部とを具備することを特徴とする３次元画像処理装置。

Images