JP5558674B2 - ３次元画像処理装置及びｘ線診断装置 - Google Patents

Description

本発明は、撮影方向が異なる複数のＸ線画像から３次元画像を再構成する３次元画像処理装置に関する。

動く被検体、具体例としては心臓血管の３次元画像再構成処理をしたい。心臓血管は動く。従来の手法で再構成すると動きボケが大きく、再構成画像の画質は診断には使えない。これに対応する手法としていくつかの手法が提案されている。例えば、画像上での部位の位置を補正し、補正された画像により３次元画像を再構成する。

この手法は、撮影角度の異なる例えば２００フレームの画像を発生する。オペレータは、２００フレームから、離散的な数フレームを選択する。オペレータは、選択した数フレーム上で解剖学上特徴的な部位（特徴点）を手動で指定する。システムは、指定した特徴点と撮影角度とから幾何学的計算により特徴点の３次元座標を計算する。また、システムは、選択したフレームの区間ごとに特徴点がトラッキングされる。システムは、幾何学的に計算した特徴点を各フレームに投影し、投影位置と、トラッキングした特徴点の位置とのずれを補正する（位置ずれ補正）。

これによりあたかも静止したかのように画像変形したうえで、再構成処理をおこなうことができるため、再構成画像は動きボケの無い鮮明な画像が得られる。

しかし、オペレータが特徴点を指定するためのフレームを選択する作業には任意性があり、その任意性が、再構成画像の画質を不安定にする。

例えば、図１のように、フレームが偏って選択された場合には、区間Ａ，Ｂ，Ｃ，Ｄのトラッキング対象のフレーム数（トラッキング区間長）ＮＡ，ＮＢ，ＮＣ，ＮＤのばらつきが大きい。区間Ａのトラッキング精度は比較的低く、区間Ｄのトラッキング精度は比較的高い。トラッキング精度が極端に低い区間が存在すると、その区間においては「位置補正」の程度が低下する。そては、最終的な再構成画像の画質を低下させる。すなわち、再構成画像の画質は、トラッキング対象のフレーム数の多少に依存して変動するので、再構成画像の画質は、フレームの選択に応じて不安定になる。

本発明の目的は、トラッキング区間長の変動を抑えることで、再構成画像の画質の安定化を図ることにある。

本発明の第１局面に係る３次元画像処理装置は、撮影方向が相違する複数の画像のデータを心拍位相に関する情報とともに記憶する記憶部と、複数の画像から複数のキー画像を選択するキー画像選択部と、選択されたキー画像上に操作者の操作に従って特徴点を指定する特徴点指定部と、指定された特徴点の位置に基づいて複数の画像から３次元画像を再構成する画像再構成部とを具備し、キー画像選択部は、心拍位相が同一であって、撮影方向が略所定角度離れたペアの画像と、ペアの画像の間を所定数で略均等に分割する角度ずつ離れた複数の画像とを、キー画像として選択する。

本発明の第２局面に係る３次元画像処理装置は、撮影方向が相違する複数の画像のデータを心拍位相に関する情報とともに記憶する記憶部と、前記複数の画像から複数のキー画像を選択するキー画像選択部と、前記選択されたキー画像上に、操作者の操作に従って特徴点を指定する特徴点指定部と、前記指定された特徴点の位置に基づいて、前記複数の画像から３次元画像を再構成する画像再構成部とを具備し、前記キー画像選択部は、心拍数が第１閾値以下のとき、１心拍あたり２フレームの割合で前記キー画像を選択し、心拍数が前記第１閾値より高いとき、１心拍あたり１フレームの割合で前記キー画像を選択する。

本発明の第３局面に係る３次元画像処理装置は、撮影方向が相違する複数の画像のデータを心拍位相に関する情報とともに記憶する記憶部と、前記複数の画像から複数のキー画像を選択するキー画像選択部と、前記選択されたキー画像上に、操作者の操作に従って特徴点を指定する特徴点指定部と、前記指定された特徴点の位置に基づいて、前記複数の画像から３次元画像を再構成する画像再構成部とを具備し、前記キー画像選択部は、前記複数の画像の収集期間が第１心拍数以下のとき、１心拍あたり２フレームの割合で前記キー画像を選択し、前記複数の画像の収集期間が前記第１心拍数より高いとき、１心拍あたり１フレームの割合で前記キー画像を選択する。

本発明の第４局面に係る３次元画像処理装置は、撮影方向が相違する複数の画像のデータを心拍位相に関する情報とともに記憶する記憶部と、前記複数の画像から複数のキー画像を選択するキー画像選択部と、前記選択されたキー画像上に、操作者の操作に従って特徴点を指定する特徴点指定部と、前記キー画像各々の指定された特徴点を起点として前記複数の画像上の前記特徴点を追跡する特徴点追跡部と、前記追跡された特徴点の位置を前記複数の画像上に表示する表示部と、前記指定された特徴点の位置と前記追跡された特徴点の位置とに基づいて、前記複数の画像から３次元画像を再構成する画像再構成部と、前記選択されたキー画像の間の任意の画像を新たなキー画像として追加させるためのコマンドを入力するための入力部とを具備する。

本発明によれば、トラッキング区間長の変動を抑えることで、再構成画像の画質の安定化を図ることができる。

以下、図面を参照して本発明の実施例による３次元画像処理装置を説明する。ここでは、３次元画像処理装置はＸ線システムに組み込まれるものとして説明するが、もちろん単独で構成可能である。なお、説明に先立って、以下の通り語句を定義する。

Ｘ線システム；Ｃアーム方式の装置を指す。Ｘ線源と検出器が対向して設置されており、さらにＣアームが支えており、ＣアームはＸ線源と検出器を対向したまま同時に回転させる。Ｘ線システムによる回転撮像は、ＣＴ（900deg/sec）の架台回転と異なり、Ｃアームはゆっくりと回転する（50deg/sec）。このため再構成に必要な１８０度の情報を得るのに、ＣＴでは１心拍中に得られるのに対し、Ｘ線では５心拍程度しないといけない。このため心臓などの動く被検体を撮像する場合は、動きが無視できない。

回転撮像；被写体を中心として回転させながら、例えば１フレーム／度のレートで撮像する撮像方法。

トラッキング；例えば1024×1024の２次元画像が複数フレームある状況であって、画像に映っている被検体はフレーム間でほんの少ししか移動しない状況において、第Ｎ画像において例えば31×31程度の小さな領域を設定した場合、隣接する第N+1フレームにおいて最も類似した領域を探すこと。これを繰り返すことにより、最初に設定した小領域の移動軌跡を得ることができる。類似度の計算方法としては、Sum of square distance、 Sum of square distance、相互相関法、Mutual informationなどの計算方法が知られている。

特徴点、特徴パターン；具体的には血管の分岐部、狭窄部、ステントのマーカー、など、画像上で特徴的に区別されるパターンのこと。

特徴点指定操作；画面に表示された画像上にマウスカーソルを動かし、マウスクリックする動作。

フレーム；連続する静止画像群のうちの一枚の画像のこと。文中では「枚」と同意義で用いる。

RR間隔；心電図信号のR波と次のR波の間の間隔（時間）のこと。

心拍位相；心電図信号のR波と次のR波の間隔を100等分し、0〜100%で表現したもの。例えばRR70％は、R波と次のR波の間隔のうち先のR波から７０％の距離（時間）にある位置をいう。

同心拍位相；複数の心拍を通じて収集された画像データーのうち、同じ心拍位相に位置するフレームのこと。収集は離散的であるので、厳密に同心拍位相のフレームが得られる可能性は極めて低く、現実的にはほぼ同じ心拍位相に位置するフレームを指す。

図２は本実施例に係る３次元画像処理装置を装備したＸ線撮影装置を示している。撮影架台１は図３に示すようにＸ線管２１とＸ線検出器２２とを有している。高電圧発生部２５はＸ線管２１の電極間に印加するための高電圧を発生し、またＸ線管２１の陰極フィラメントに供給するフィラメント電流を発生する。Ｘ線管２１は高電圧の印加及びフィラメント電流の供給を受けてＸ線を発生する。Ｘ線検出器２２は、典型的には、入射Ｘ線を直接的又は間接的に電荷に変換する複数の検出素子（画素）が２次元状に配列されてなる固体平面検出器である。Ｘ線管２１は例えば床置型のＣアーム２３の一端に取り付けられ、Ｘ線検出器２２はＣアーム２３の他端に取り付けられる。Ｘ線検出器２２は、寝台２６上に載置された被検体Ｐを挟んでＸ線管２１に対向する。Ｃアーム２３はスタンド２４に回転自在に支持される。Ｃアーム２３が回転しながら撮影を繰り返すことで、３次元画像再構成に必要な多方向のＸ線画像（透過画像）を取得することができる。

撮影制御部２は、回転撮像を実行し、Ｘ線画像（投影画像）のデータを発生させるために、Ｃアーム２３の回転、高電圧発生部２５からＸ線管２１への高電圧の印加、及びＸ線検出器２２の信号読み出しを制御する。このＸ線画像のデータを記憶するために画像記憶部３が設けられる。図示しないが、被検体Ｐの心電図を取得するために被検体Ｐには心電計が装着される。心電図解析部６は、心電図からＸ線画像を撮影した時の心拍位相を同定する。心拍位相とはＲ波とＲ波の間隔における各時点を表し、通常は百分率で表す。Ｘ線画像各々のデータには撮影時の心拍位相のデータが関連付けられる。画像記憶部３に記憶された多方向のＸ線画像から３次元画像のデータを再構成するための画像再構成部１４が設けられる。

さらに、呼吸や心拍動等に起因する多方向のＸ線画像間での画像座標系における被検体像の位置ずれを補正するためのシステムとして、Ｘ線画像を表示するためのモニタ４、特徴点の指定操作等のための入力デバイス５、キー画像選択部７、特徴点３次元座標計算部９、特徴点投影処理部１０、特徴点抽出部（トラッキング部）１１、位置ズレ計算部１２、動き補正部１３、画像処理部１５が設けられている。

キー画像選択部７は、画像記憶部３に記憶された多方向のＸ線画像から複数フレームのＸ線画像（キー画像という）を選択する。キー画像は、オペレータが特徴点を手動で指定するための特定の画像である。キー画像選択処理の詳細については後述する。

特徴点３次元座標計算部９は、図５の示すように、ペアのキー画像（後述するように第１のキー画像）上に指定された複数の特徴点の２次元座標と、各々の撮影方向とに基づいて、幾何学的計算により特徴点の３次元座標（３次元位置）を計算する。特徴点投影処理部１０は、計算された特徴点の３次元座標と、キー画像以外の残りの画像（ノンキー画像）の撮影方向とに基づいて、ノンキー画像各々に投影される特徴点の２次元座標を計算する。特徴点トラッキング部１１は、キー画像上に指定された特徴点を起点としてノンキー画像上の特徴点を撮影順に沿って追跡する。

位置ズレ計算部１２は、特徴点投影処理部１０により計算された特徴点の２次元座標と、特徴点トラッキング部１１により追跡した特徴点の２次元座標との位置ズレを、画像毎に計算する。動き補正部１３は、位置ズレ計算部１２で計算された位置ズレに従って、ノンキー画像の位置を補正する。キー画像と、位置補正されたノンキー画像とに基づいて、再構成処理部１４により３次元画像のデータが再構成される。

図４には本実施例において画像収集から３次元画像の発生までの全体的な動作概要を示している。撮像制御部２の制御のもとで、Ｃアーム２３が連続的に回転し、その間に撮影が繰り返される。例えば、Ｃアーム２３は５０度／秒の速度で回転される。それにより撮影方向の異なる複数のＸ線画像のデータが収集され、撮影方向のデータを関連付けられて、画像記憶部３に記憶される（Ｓ１）。例えばＣアーム２３が４秒間に２００度回転する間に２００フレームのＸ線画像が収集される。

キー画像選択部７により、２００フレームのＸ線画像の中から例えば８フレームのキー画像が選択される（Ｓ２）。

複数フレームのキー画像は特徴点支援部８により撮影順に従って順番に１フレームずつモニタ４に表示され、操作者による入力デバイス５の指定操作に従って各キー画像上で特徴点が指定される（Ｓ３）。特徴点としては、解剖学上（形態上）で比較的識別容易な例えば血管分岐部、狭窄部、ステントのマーカーが採用される。

全てのキー画像について特徴点の指定が完了すると、特徴点３次元座標計算部９により特徴点の３次元座標が計算される（Ｓ４）。計算された特徴点の３次元座標と、キー画像以外の残りのノンキー画像の撮影方向とに基づいて、再投影処理により、特徴点が投影されるノンキー画像上での特徴点の２次元座標が計算される（Ｓ５）。この特徴点の２次元座標を、計算上の特徴点の２次元座標と称する。

図６に示すように、キー画像上の指定された特徴点を起点として、次のキー画像直前の複数のノンキー画像を対象として順次、特徴点が追跡される（Ｓ６）。比較的高いトラッキング精度は、比較的少ないトラッキングするフレーム数（比較的短いトラッキング区間長）により得られる。比較的低いトラッキング精度は、比較的多いトラッキングするフレーム数（比較的長いトラッキング区間長）により得られる。オペレータによる特徴点指定の作業負担は、トラッキングするフレーム数が比較的多いときには多く、トラッキングするフレーム数が比較的少ないときには少ない。

トラッキングされた特徴点の２次元座標を、実際上の特徴点の２次元座標と称して、上記計算の特徴点の２次元座標と区別する。トラッキング処理としては、画像に映っている被検体像はフレーム間でほんの少ししか移動しない状況において、特徴点として第Ｎフレーム目のキー画像において例えば３１×３１程度の小さな領域を設定した場合、隣接する第（Ｎ＋１）フレーム目のノンキー画像において最も形態類似した領域を探すことであり、これを撮影順に沿って逐次繰りかえすことにより、最初に設定した小領域の特徴点の移動軌跡を得ることができる（トラッキング）。類似度の計算方法としては、Sum of square distance、 Sum of square distance、相互相関法、Mutual informationなどの周知の計算方法を任意に採用すればよい。

位置ズレ計算部１２では、計算の特徴点の２次元座標に対する実際上の特徴点の２次元座標の位置ズレが動き補正関数として計算される（Ｓ７）。計算された位置ズレに従ってノンキー画像を位置補正し（Ｓ８）、補正したノンキー画像とキー画像とに基づいて３次元画像のデータが再構成され（Ｓ９）、画像処理部１５でレンダリングされ、モニタ４に表示される。

（キー画像選択処理の第１の手法）
図７に示すように、心拍位相が同一であり、かつ撮影角度が最も９０度に近似したペアのＸ線画像（第１のキー画像）を、基点となる画像として、複数のＸ線画像から選択する。一方の第１のキー画像の撮影角度と他方の第１のキー画像の撮影角度との角度差を所定数で略均等に分割する角度ずつ離れた複数の画像を第２のキー画像として選択する。第１のキー画像と第２のキー画像とが、キー画像として出力される。

具体的には、はじめに撮影角度が約９０度離れた同じ心拍位相のペアの画像が第１のキー画像として選択される。次に、選択されたペアの第１のキー画像間を略等間隔で分割した角度で撮影した画像が第２キー画像として選択される。例えばペアの第１キー画像の間を4分割するように、22度おきに第２キー画像を選択する。またペアの第１キー画像の外側についても第１キー画像を基点として22度おきに第２キー画像を選択する。これにより200枚から第１、第２のキー画像を合わせて9枚のキー画像が自動選択される。こうして得られた9枚のキー画像が順次モニターに表示される。オペレータは9枚のキー画像各々上に特徴点を指定する。

最初のペアの第１キー画像の心拍位相は等価でなければならない。典型的には、このペアの第１キー画像上の指定された特徴点の２次元座標と、ペアの第１キー画像各々の撮影方向とに基づいて、幾何学的計算により特徴点の３次元座標（３次元位置）が計算される。特徴点投影処理部１０により、計算された特徴点の３次元座標と、キー画像以外の残りの画像（ノンキー画像）の撮影方向とに基づいて、ノンキー画像各々に投影される特徴点の２次元座標を計算する。特徴点トラッキング部１１は、キー画像上に指定された特徴点を起点としてノンキー画像上の特徴点を撮影順に沿って追跡する。

この第１の手法によれば、従来の課題、つまり同心拍位相を選択していたため、高心拍時には指定数が増えて手間が増し、低心拍時には間隔が広がって性能が落ち、最終画質が安定しないという課題を解決できる。すなわち。本手法では、キー画像が、等間隔に選択されるため、トラッキング区間長が心拍数に依存しないで安定するので、トラッキング精度が安定し、そして最終画質が安定する。また、キー画像を等間隔で選択するため、オペレータの作業負担が変動しない。さらに、トラッキング区間長が常に一定になるため、トラッキング結果が安定しやすい。

（キー画像選択処理の第２の手法）
本第２の手法では、同心拍位相でフレーム自動選択するが、心拍数が比較的低いときには１心拍につき複数のフレームを選択し、心拍数が比較的高いときには１心拍又は複数心拍につき一フレームを選択する。

Ｘ線源２１と検出器２２を被検体まわりに回転する。回転は例えば２００度おこなう。仮に撮像系を５０ frames/secのレートで駆動し、支持器を50 deg/secの速度で回転させたとき、撮像時間は200 deg÷50deg/sec＝4sec、撮像枚数は4sec×50 frames/sec＝200frameの画像が得られる。このとき、被検体の心拍数が120beat/minだったとすると、撮像中に8心拍することになる。

まず、心拍数が第１閾値、例えば75 beat/minより高く第２閾値、例えば150beat/min以下の定常状態では、図９に示すように、各心拍から同じ心拍位相を特定し、その中から1心拍につき1枚の同心拍位相の画像を自動的に選択する。これにより200枚から8枚の画像が自動選択される。あらかじめ心拍位相はプリセットしておく。例えばプリセット値がRR70%とすると、各心拍からRR70%に最も近いフレームが選択される。なお、第１閾値は６０−８０beat/minの範囲のいずれかの値に設定され、典型的には７５に設定される。第２閾値は１２０−１５０beat/minの範囲のいずれかの値に設定され、典型的には１５０に設定される。

心拍数が75 beat/min以下の定常状態よりも低い状態では、各心拍から２つの心拍位相を特定し、1心拍につき２枚の心拍位相の画像を自動的に選択する。それによりトラッキング精度の低下を抑制できる。つまり、心拍数が低い状態のときに、定常状態と同じ頻度でキー画像を選択すると、キー画像数が極端に少なくなって、トラッキング区間長が非常に長くなってしまい、トラッキング精度が低下してしまう。そのトラッキング低下を抑制できる。

例えば心拍数が40beat/minであった場合、撮像中に2.6心拍しかしない。この場合、2乃至3枚の画像しか選択されない。2乃至3枚のキー画像しか無いと、トラッキング区間長が長くなってしまうため、トラッキング精度が極端に低下する恐れがある。そこで、心拍数が極端に遅い場合（例えば75 beat/min以下の場合）は、プリセットされた心拍位相に加え、他の心拍位相を加え、１心拍に２枚のキー画像を自動選択するようにする。具体的には例えばRR70%がプリセットされていた場合、RR20%も追加して、40beat/minの患者さんでも5枚は選択されるようにする。

さらに、心拍数が例えば150 beat/minより高い状態で、定常状態と同じ頻度でキー画像を選択すると、選択されるキー画像数が極端に多くなってしまう。この場合は、自動的に間引きする。

例えば心拍数が240 beat/minであった場合、撮像中に16心拍し、16枚の画像が自動選択される。トラッキングの性能が16枚でも8枚でも同等であった場合、16枚はオペレータの負担を増やす反面、画質向上には寄与しないことになる。よってこの場合は、1心拍に１枚ではなく、2心拍に1枚を自動選択するようにする。具体的には例えば心拍数が240beat/minであった場合、8枚が自動選択される。これにより画質は劣化させずにオペレータの負担を軽減することができる。

このように本手法では、図１０Ａ、図１０Ｂに示すように、トラッキング区間長が心拍数にあまり依存しないで比較的安定するので、トラッキング精度が比較的安定し、そして最終画質が比較的安定する。また、キー画像を等間隔で選択するため、オペレータの作業負担が変動しない。さらに、トラッキング区間長が常に一定になるため、トラッキング結果が安定しやすい。

さらに、本手法では、同じ心拍位相を選択することで、心臓はほぼ同じような形をしている。よって特徴点を選択する場合に心拍に伴う形の変形影響が少なく、オペレータが特徴点指定しやすい。また、選択されるキー画像が同心拍位相になっているため、このうち任意の2枚を用いて、特徴点の３次元座標計算ができる。また2枚での特徴点の３次元座標計算に限定されず、3枚あるいは8枚で特徴点の３次元座標計算することができる。この場合、多くのキー画像からの平均値となるため、３次元座標計算の安定性が増す（１フレームに大きなノイズがあっても他から抑制される）。

（キー画像選択処理の第３の手法）
本手法は、トラッキング結果が良好でなかったとき、キー画像を追加するものである。
心拍位相が同一であり、かつ撮影角度の差が約９０度に最も近いペアの画像をキー画像として選択する。オペレータはこのペアのキー画像上で特徴点を指定する。次に、図１１に示すように、キー画像の指定された特徴点を基点としてトラッキング処理が行われる。トラッキング結果は１画像ずつ随時画面に表示される。オペレータは画面を目視し、自動トラッキングが特徴点からずれていないかどうかを監視する。もしずれたら、そこで入力デバイス５上の「Stop」ボタンを押す。キー画像選択部７は、「Stop」ボタンが押されたとき、その時点で表示されている画像又はその画像から所定数前の画像を、キー画像として追加する。当該追加されたキー画像は、特徴点の指定をオペレータに促すために、表示される。

本手法では、オペレータに求める特徴点指定作業を最小限にできる。トラッキング結果が良ければ２枚だけでよい。トラッキング結果が悪い場合は追加することにより画質を確保できる。

（キー画像選択処理の第４の手法）
本手法も、トラッキング結果が良好でなかったとき、キー画像を追加するものである。
心拍位相が同一であり、かつ撮影角度の差が約９０度に最も近いペアの画像をキー画像として選択する。オペレータはこのペアのキー画像上で特徴点を指定する。次に、図１２に示すように、キー画像の指定された特徴点を基点としてトラッキング処理が行われる。トラッキング結果が良好でないことをトラッキング処理部１１が判断したき、キー画像選択部７は、ペアのキー画像間の略中央に位置する画像を、キー画像として追加する。これを繰り返す。

尚、トラッキング結果の良否の判断法として、以下のいずれか又は他の手法を採用する。

（１）相関値をモニターする。
トラッキングの手法として、相互相関手法を採用する場合を例にとる。この場合、フレーム間で良い相関が取れれば相関値は高くなる。一方、背景に他物体が重なったりしてフレーム間で良い相関が得られなかった場合は相関値は低くなる。そこで、トラッキング処理部１１で相関値を監視し、高い相関値が保たれている間は良いトラッキングができていると判断し、相関値が低くなったらトラッキングが悪い結果であったと判断する。

（２）相関値の積を監視する。
トラッキング処理部１１は上記相関値の積を監視する。例えばフレームiとフレームi+1間の相関値をＣiとする。ここで相関値Ciとは正規化された値であり、０＜Ｃi＜１とする。次にＳ＝Σ（１−Ｃi）とする。Ｓをモニターし、Ｓが所定の値以上になればトラッキング結果が悪い結果であったと判断する。

（３）キー画像Ｎからキー画像Ｎ＋１まで順番にトラッキングを行う。キー画像Ｎ＋１でトラッキングされた特徴点の位置と、キー画像Ｎ＋１上に指定された特徴点の位置との距離を計測する。当該距離が所定値より短いときは、トラッキング結果が良であると判定し、当該距離が所定値より長いときは、トラッキング結果が否であると判定する。

（キー画像選択処理の第５の手法）
本手法では、ずらした心拍位相を順次選択する。１心拍につき１枚の異なる心拍位相の画像をキー画像として自動的に選択する。図１３に示すように、例えば第1心拍からは心拍位相０％（RR0%）のフレームを選択する。第2心拍からはRR25%のフレームを選択する。第3心拍からはRR50%のフレームを選択する。第4心拍からはRR75%のフレームを選択する。第5心拍からはRR0%のフレームを選択する。第6心拍からはRR25%のフレームを選択する。第7心拍からはRR50%のフレームを選択する。第8心拍からはRR75%のフレームを選択する。

これにより200枚から8枚の画像が自動選択される。こうして得られた8枚の画像を順次モニターに表示し、オペレータに特徴点入力を求める。

あらかじめ選択対象の心拍位相はプリセットされる。プリセットされる選択対象の心拍位相のうち少なくとも２つの心拍位相は等価に設定される。

本手法によると、RR0,25,50,75%の各位相で2枚あるので、４位相で特徴点の３次元座標計算ができる。RR0,25,50,75%で４枚の再構成画像を発生する。４枚の再構成画像を順番に切り替えて表示することで、あたかも心臓が動いているような画像を観察することができる。

（変形例１）
図１４に示すように、不整脈があった場合は、その心拍からは自動選択しないようにする。不整脈がある心拍では、心臓の動きは非定常であるため、オペレータは特徴点指定がしづらくなる。そこでオペレータに困難な作業をさせないようにするため、不整脈があるフレームは自動選択させないこととする。不整脈の判定は、心拍数（RR間隔）をモニターしておき、RR間隔が急激に短くなったり長くなったりする心拍を閾値で判定する。

また、図１５に示すように、不整脈があった場合は、その心拍では多数のフレームを自動選択するようにしてもよい。不整脈がある心拍では、心臓の動きは非定常であるため、トラッキング性能が劣化する。そこで敢えて多くのフレームでの特徴点入力を求めることにより、トラッキング性能を安定させ、画質を安定させる。

（変形例２）
上記第１乃至第５の手法によってキー画像は安定的に自動選択される。しかしオペレータの判断により、オペレータが、自動選択されたキー画像を変更する機能をさらに備える。例えば、上記第１乃至第５の手法によってフレーム#34がキー画像として自動選択されたとする。フレーム#34のキー画像が画面に表示され、オペレータに特徴点選択を促す。しかしオペレータの判断により、オペレータが画面端に表示された「→」マーク、あるいはキーボードの「→」キーを操作すると、自動選択された画像の隣の画像#35がキー画像として新たに設定される。オペレータは#35で特徴点指定することが可能となる。

例えば、自動選択されたキー画像において特徴点が血管と重なっていた場合、オペレータは特徴点を同定し難い。このようなケースでは、特徴点が血管と重なっていない自動選択されたフレームに近傍するフレームを変更する（置き換える）ことができる。

また、オペレータの判断により、オペレータは画面に表示された「add→」マーク、あるいはキーボードの「ctrl」＋「→」キーを用いて近傍フレーム#35をキー画像に追加する。

例えば、自動選択されたキー画像において特徴点が血管と重なっていた場合、オペレータは特徴点を同定し難く、かつその近傍フレームでの追跡精度が低下する。このようなケースでは、自動選択されたフレームに近傍するフレームをキー画像に追加することができる。それにより追跡精度を安定化することができる。

ただし、手動微調整を許可した場合、選択されたフレームをすべて集めても、本機能の最低必須要件である「選択されるうち最低２フレームは同じ心拍位相であること」が満たされない可能性が出てくる。このため以下のいずれかの手法を追加する。

自動選択あるいは自動+手動微調整し、最終的にオペレータが特徴点指定した全フレームを確認し、あらかじめプリセットした心拍位相のフレームが２フレーム以上無かった場合には、追加で同心拍位相フレームを自動選択して、特徴点入力を求めることを特徴とする
自動選択、又は自動選択及び手動微調整し、最終的にオペレータが特徴点指定した全フレームを確認し、あらかじめプリセットした心拍位相のフレームが２フレーム以上無く、かつ他の心拍位相にて、同心拍位相のフレームが２フレーム以上あった場合には、その心拍位相で再構成処理してよいかをオペレータに尋ねるインターフェースを有することを特徴とする。

自動選択、又は自動選択及び手動微調整し、最終的にオペレータが特徴点指定した全フレームを確認し、あらかじめプリセットした心拍位相のフレームが２フレーム以上無く、かつ他の心拍位相にて、同心拍位相のフレームが２フレーム以上あった場合には、その心拍位相で再構成処理することを特徴とする。

（変形例３）
被検体の心電図においてＲ波が検出できないとき、又はＲＲ間隔が極端にばらつくとき、キー画像選択部７は、初期的に自動選択したキー画像を破棄し、心拍位相に関わりなく、強制的に等時間間隔でキー画像を選択する。またはキー画像選択部７は、初期的に自動選択したキー画像を破棄するとともに、キー画像の手動指定を促す。

（変形例４）
キー画像選択部７は、上記手法１〜５のもとで初期的に自動選択したキー画像に、複数の画像の中から両端の画像、つまり最初に収集した画像と最後に収集した画像とをキー画像として加える。これは収集した全フレームをトラッキングするためであり、こうすれば一旦の画像から、初期的に自動選択されたキー画像までの区間のトラッキングが可能になる。

図１は、従来のトラッキング区間長の不安定を示す。 図２は、本実施例の３次元画像処理装置の構成を示す。 図３は、図１の撮影架台の構造を示す。 図４は、本実施例の全体動作の概略を示す。 図５は、図４の特徴点の逆投影処理Ｓ４の説明補足図である。 図６は、図４の特徴点のトラッキング処理Ｓ６の説明補足図である。 図７は、図４のキー画像選択処理Ｓ２の第１の手法に関する説明補足図である。 図８Ａは、図７のときの高心拍数におけるトラッキング区間長を例示する。 図８Ｂは、図７のときの低心拍数におけるトラッキング区間長を例示する。 図９は、図４のキー画像選択処理Ｓ２の第２の手法に関する説明補足図である。 図１０Ａは、図９のときの高心拍数におけるトラッキング区間長を例示する。 図１０Ｂは、図９のときの低心拍数におけるトラッキング区間長を例示する。 図１１は、図４のキー画像選択処理Ｓ２の第３の手法に関する説明補足図である。 図１２は、図４のキー画像選択処理Ｓ２の第４の手法に関する説明補足図である。 図１３は、図４のキー画像選択処理Ｓ２の第５の手法に関する説明補足図である。 図１４は、本実施例の変形例を示す。 図１５は、本実施例の変形例を示す。

符号の説明

１…撮影架台、２１…Ｘ線管、２２…Ｘ線検出器、２５…高電圧発生部、２３…床置型のＣアーム、２６…寝台、２４…スタンド、２…撮影制御部、３…画像記憶部、６…心電図解析部、１４…画像再構成部、４…モニタ、５…入力デバイス、７…キー画像選択部、９…特徴点３次元座標計算部、１０…特徴点投影処理部、１１…特徴点抽出部（トラッキング部）、１２…位置ズレ計算部、１３…動き補正部、１５…画像処理部。

Claims (4)

1. 撮影方向が相違する複数の画像のデータを心拍位相に関する情報とともに記憶する記憶部と、
   前記複数の画像から複数のキー画像を選択するキー画像選択部と、
   前記選択されたキー画像上に、操作者の操作に従って特徴点を指定する特徴点指定部と、
   前記指定された特徴点の位置に基づいて、前記複数の画像から３次元画像を再構成する画像再構成部とを具備し、
   前記キー画像選択部は、心拍位相が同一であって撮影方向が略所定角度離れたペアの画像と、前記ペアの画像の間を略均等に分割する角度ずつ離れた複数の画像とを前記キー画像として選択する３次元画像処理装置。
2. 前記キー画像選択部は、撮影方向が略９０度離れた前記ペアの画像を選択する請求項１記載の３次元画像処理装置。
3. 前記キー画像選択部は、心拍位相が同一であって、撮影方向が９０度に最も近い前記ペアの画像を選択する請求項１記載の３次元画像処理装置。
4. 前記画像再構成部は、
   前記キー画像の撮影方向と前記指定された特徴点のフレーム内の位置とに基づいて前記特徴点に関する３次元位置を計算する３次元位置計算部と、
   前記計算された特徴点の３次元位置と前記複数の画像の撮影方向とに基づいて、前記複数の画像各々上での前記特徴点のフレーム内の位置を計算するフレーム内位置計算部と、
   前記キー画像各々の指定された特徴点を起点として前記複数の画像上の前記特徴点を追跡する特徴点追跡部と、
   前記計算された特徴点の位置と前記追跡した特徴点の位置とのずれを、前記複数の画像各々について計算する位置ずれ計算部と、
   前記計算された位置ずれに基づいて前記複数の画像の位置を補正する位置補正部と、
   前記補正された複数の画像と撮影方向とに基づいて、前記３次元画像を再構成する画像再構成部とを有する請求項１記載の３次元画像処理装置。

Images