JP6831373B2 - 蛍光透視法における低フレームレートの空間フリッカの除去 - Google Patents

Description

本発明は、画像処理モジュール、画像処理方法、撮像装置、コンピュータプログラム要素及びコンピュータ読取可能媒体に関する。

介入型Ｘ線検査の使用は、適用される電離放射線によって生じる重大なリスクと関連付けられる。高ピークの皮膚Ｘ線量に起因する短期間の放射線障害及び癌等の長期障害は、よく知られた問題である。したがって、可能な限り放射線量を減らす方法を見つけるために、医業では継続的な努力がなされている。

動画像シーケンス（すなわち、蛍光透視法又は血管造影法）に依拠する介入型又は診断検査の場合には、取得フレームレートを低下させることによって、適用されるＸ線量を減らし、したがって個々の被爆数を減少させるという選択肢がある。臨床現場では日常的に、８ｆｐｓ（フレーム／秒（frame per second））以下の低フレームレートが使用される。

しかしながら、この手法は、撮像中に発生する動きがストップモーション特徴による不自然なビュー経験につながる可能性があるので、動画像シーケンスの品質を損なう可能性がある。

よりスムーズなビュー経験を可能にするために、過去には、前及び後のフレームから追加のフレームが補間される画像処理スキームが提案されている。しかしながら、これらのスキームは時々遅すぎることが分かっている。

したがって、動画像のための画像処理の代替形態が必要とされ得る。

本発明の目的は、独立請求項の主題によって解決され、更なる実施形態は従属請求項に組み込まれる。以下で説明される本発明の態様は、画像処理方法、撮像装置、コンピュータプログラム要素及びコンピュータ読取可能媒体に等しく当てはまることに留意されたい。

本発明の第１態様によると、画像処理モジュールが提供される。画像処理モジュールは：
ｉ）撮像機器（ＩＭ：imaging apparatus）により撮像機器の第１幾何学的構成で取得される対象物の第１入力画像と、ｉｉ）第１幾何学的構成から撮像機器の第２幾何学的構成への変更の仕様とを受け取るために構成される１つ以上の入力インタフェースと；
少なくとも１つの幾何学的変形（geometrical transformation）を第１入力画像に適用することによって対象物の新たな画像（以下では「フィラーフレーム」とも呼ばれる）を計算するように構成されるアップサンプラであって、幾何学的変形は撮像機器の幾何学的構成における変更に対応する、アップサンプラと；
を備える。

本発明による画像処理モジュールの一実施形態によると、画像処理は、ディスプレイユニット上において、先に第１入力画像と次に新たな画像という順次視覚化をもたらすように構成されるビジュアライザを備える。

本発明による画像処理モジュールの別の実施形態によると、ビジュアライザは、順次視覚化の後に、撮像機器の第２幾何学的構成で取得される第２入力画像の視覚化をもたらすように動作する。

本発明による画像処理モジュールは、リアルタイムで、すなわち、もたらされる場合、変更が行われている間に動作することができる。取得された画像（特に、第１入力画像と第２入力画像）のシーケンスに計算されたフィラーの挿入は、スムーズな遷移のモーションピクチャを生成することを与え、したがって、ストップモーション効果を補償することができる。１つ以上の計算されるフィラー画像は、取得されるべき第２の次の画像の近似である。したがって、時間順に表示すると、最初のイメージとフィラーフレームの画像により、スムーズな視覚的体験が与えられるであろう。

本発明による画像処理モジュールの別の実施形態によると、第１幾何学的構成から第２幾何学的構成への変更の仕様は、撮像機器に関するハードウェア測定データの形式で供給される。これらのハードウェア測定値を、撮像機器の幾何学的構成の指定された変更に影響を与えた又は影響を与えることになる１つ以上の手動又は自動のアクチュエータでピックアップすることができる。これは、応答性の高い、したがってレイテンシの低い第２画像の現実的な近似として、フィラーフレームを計算することを可能にする。

本発明による画像処理モジュールの別の実施形態によると、アップサンプラにより、複数のフィラーフレームが、撮像機器の幾何学的構成の変更について受け取られる複数の仕様の各々について１つずつ計算され、複数のフィラーフレームの数は、ビジュアライザのリフレッシュレートに依存する。これにより、視覚的印象を更に改善することができ、ディスプレイモジュールをより効率的に使用することができる。第２フレームの受信を待つ最新の利用可能な画像を繰り返し表示するのではなく、第２画像が受信されるまでフィラー画像を順次表示する。

本発明による画像処理モジュールの別の実施形態によると、撮像機器はＸ線撮像機器であり、撮像機器の幾何学的構成は、（ｉ）撮像される対象物が画像取得中にその上に存在している支持部（support）の位置及び／又は向きと；（ｉｉ）Ｘ線撮像機器のＸ線源の位置及び／又は向きと；（ｉｉｉ）撮像機器の検出器の位置及び／又は向きと；（ｉｖ）コリメータコンポーネントの位置及び／又は向き、のうちの少なくとも１つ又は組合せを含む。

本発明による画像処理モジュールの別の実施形態によると、少なくとも１つのフィラーフレームは、第１入力画像から保持される画像情報と、幾何学的変形の適用に起因して失われる第１入力画像からの画像情報を置き換えるプレースホルダデータ（placeholder data）とを備える。プレースホルダデータは、例えば表示されているフィラー画像に「人工的（artificial）」情報が含まれているという事実をユーザ（観察者）に対して視覚的に警告するために使用することができる。あるいは、観察者の気を散らさないように情報の損失を「隠す」ようにプレースホルダデータを構成することが望ましいことがある。

本発明による画像処理モジュールの別の実施形態によると、幾何学的変形は、撮像機器の幾何学的構成における変更に対応する量だけ第１入力画像を基準座標系に対して移動させることを含む。これは、ユーザの視覚的体験をスムーズにするのに更に役立つ。

言い換えると、本発明による画像処理モジュールは、先の画像及び撮像機器の幾何学的構成の変更に関する知識から、アップサンプリングされた画像シーケンスを作成することを可能にする。後に続く、後の画像の知識は必要とされないので、取得画像のペアを処理することに依拠する画像ベースの補間方法と比較して、提案されるモジュールの応答性を向上させることができる。提案された方法では、画像ペアからの補間はないが、フィラーフレームは、好ましくは、単一の利用可能な取得画像Ｉ１と、指定された撮像ジオメトリの変更から外挿される。好ましくは、幾何学的構成の変更の仕様は、第１入力画像を供給するイメージャに関して取得されるハードウェア測定値に基づく。好ましくは、仕様は準リアルタイムで供給される。この仕様は、機械的／電気的／光学的な測定技術からの読取値に代えて又はこれに加えて、モーションエンコーダから得られた情報に基づいてよい。幾何学的構成の変更の仕様のための読取値は、変更を行うか変更しようとしている１つ以上のアクチュエータとインタフェースする適切なピックアップ回路によって供給され得る。撮像機器の外部に配置された位置及び／又は動きセンサも、それぞれのアクチュエータ及び／又は動きエンコーダによって内部的に供給される読取値に代えて又はこれに加えて想定される。

本発明による画像処理モジュールを、いくつかの方法で有利に使用することができる。例えば提案される撮像モジュールは、撮像機器の取得フレームレートｆを変更することなく、よりスムーズな視聴体験を可能にする。反対に、取得フレームレートをｆ_２＜ｆに下げることができる。通常、このようなシーケンスを表示するとき、知覚されるスムーズさは、より高いフレームレートｆで記録されたシーケンスと比べて劣るであろう。しかし、提案される画像処理モジュールでは、低レートシーケンスをアップサンプリングして、より高いレートｆで記録された画像シーケンスによるものと同様のスムーズレベルで視聴体験を確保することができる。これはX線量を効果的に減少させることを可能にする。

本発明の更なる態様によると、画像処理方法が提供される。この方法は：
ｉ）撮像機器により撮像機器の第１幾何学的構成で取得される対象物の第１入力画像と、ｉｉ）第１幾何学的構成から撮像機器の第２幾何学的構成への変更の仕様とを受け取るステップと；
少なくとも１つの変形を第１入力画像に適用することによってフィラーフレームを計算するステップであって、変形は撮像機器の幾何学的構成の変更に対応するステップと；
を備える。

本発明による画像処理方法の一実施形態によると、これは、ディスプレイユニット上に、先に第１入力画像と次にフィラーフレームを順次表示するステップを更に備える。

本発明の別の態様によると、撮像装置が提供され、この撮像装置は：
上述の実施形態のいずれか１つによるモジュールと、
該モジュールによる処理のために少なくとも１つの入力画像を供給する撮像機器と、
を備える。

本発明による撮像装置の一実施形態によると、これは、入力画像及びモジュールによって生成された画像データを表示するための表示ユニットを更に備える。

本発明の別の態様によると、上述の実施形態のいずれか１つのよるモジュールを制御するためのコンピュータプログラム要素が提供され、コンピュータプログラム要素は、処理ユニットによって実行されると、画像処理方法の上述の実施形態のいずれか１つの方法のステップを実行するように適合される。

本発明の別の態様によると、上述のプログラム要素を記憶しているコンピュータ読取可能媒体が提供される。

本明細書で想定される画像処理モジュール、画像処理方法、撮像装置、コンピュータプログラム要素及びコンピュータ読取可能媒体の主な適用分野は、Ｘ線撮像、特に蛍光透視法又は血管造影法である。具体的には、撮像機器はＸ線撮像機器であってよい。このようなＸ線撮像機器は、蛍光透視法、血管造影法、診断用Ｘ線及び／又は介入型Ｘ線のために配置されてよい。しかしながら、提案されるモジュールの他の適用は本明細書では除外されない。提案される画像処理モジュールは、より一般的に、他の撮像モダリティにおける画像スタビライザコンポーネントとして使用されてもよい。

本明細書において、「撮像機器の幾何学的構成（geometrical configuration）」とは、撮像されるシステムの関心領域に対するＸ線源及び／又は検出器の３Ｄ空間における任意の所与の相互構成を指す。これは更に、例えば視野に影響を与えるコリメーション等によるＸ線ビームの操作を含む。以下では、撮像機器の幾何学的構成を「撮像ジオメトリ（imaging geometry）」と略称する。

本発明の例示的な実施形態を、以下の図面を参照して説明する。
撮像装置を示す図である。 第１実施形態によるアップサンプリングされた画像シーケンスを示す図である。 第２実施形態によるアップサンプリングされた画像シーケンスを示す図である。 画像処理方法のフローチャートを示す図である。

図１を参照すると、撮像機器ＩＭを備える撮像装置１００が示されている。

一実施形態において、撮像機器は、Ｘ線源ＸＲ及びＸ線放射感応検出器Ｄを備える。より具体的な実施形態は、蛍光透視撮像機器又は血管造影撮像機器を含む。主な焦点はＸ線撮像であり、本発明はこの文脈で説明されるが、他の、特に非Ｘ線撮像機器は本明細書では除外されない。

Ｘ線源ＸＲ及び／又は検出器Ｄは、Ｘ線源ＸＲ及び／又は検出器Ｄの間で想定される検査領域に対して移動可能である。検査領域は、撮像されるべき対象物ＯＢを受け取るように適切に間隔があけられる。一実施形態では、撮像機器は、検査テーブル等の支持部Ｔを含み、対象物（又はその一部）は、撮像中、この支持部の上で検査領域内に存在する。

一実施形態において、Ｘ線源ＸＲ及び／又は検出器Ｄはガントリ上に配置される。ガントリは、検査領域の周囲又は検査領域に対して回転可能かつ／又は並進移動可能であり、したがって、検査領域内での対象物に対する又は少なくともその関心領域（ＲＯＩ）に対するＸ線源ＸＲ及び／又は検出器Ｄの動きを可能にする。

一実施形態において、Ｘ線撮像機器は更に、イメージャＩＭの視野を制限するコリメーション機器（ＣＯＬ）を含む。高密度材料から形成される１つ以上のコリメータブレードがＸ線ビームへ配置され、所与の撮像タスクのために放射線の不要な部分をブロックアウトする。コリメータブレードの配置及び／又は向きは（１つ以上のアクチュエータによって）自動的に又は手動で達成される。

撮像される対象物ＯＢは、有生物又は無生物とすることができる。主に想定されるような介入又は診断目的のための医療用途では、有生の「対象物」は、動物又は人間の患者又はその関連する部分である。

撮像機器ＩＭは、ＲＯＩの１つ以上の投影画像を取得することを可能にする。Ｘ線投影イメージ法は、対象物の内部構成又は構造に関する情報を符号化する。Ｘ線撮像機器によって取得される、好ましくは２Ｄ（２次元）の結像を、モニタＭに表示することができる。

動作において、Ｘ線源ＸＲはＸ線を放出し、このＸ線は検査領域内の関心領域にまたがって投影される。投影された放射線はＲＯＩ内の物質（matter）と相互作用する。この相互作用の結果、放射線へ変調されている内部構造に関する情報が得られ、そのように変調された放射線は次いで検出器Ｄに入射する。検出器は、入射放射線に応答して電気信号を生成する複数の放射線感応素子（ピクセル）を含む。電気信号は、適切なＤＡＳ回路（図示せず）によってデジタル生データに変換される。次いで、生データは、信号処理回路の１つ以上の段階を通過し、変調情報を抽出して、（従来のラジオグラフィーにおけるような）吸収又は屈折（位相差画像撮影（phase contrast imaging））又は小角散乱（暗視野）のような関心のある量（a quantity of interest）の所望の空間分布を符号化する１つ以上のデジタル画像を生成する。後の場合のために情報を抽出することができるように、撮像機器は、放射線が検出器に入射する前に付加的に相互作用する適切な干渉計機器を更に含んでよい。

イメージャＩＭの有効視野を増加させること又は所与の撮像タスクのために医学的に関連する画像を取得することができるように、イメージャＩＭの撮像ジオメトリを変更することができる。撮像ジオメトリは、撮像される関心領域に対するＸ線源及び／又は検出器の３Ｄ空間における相互構成を定義する。すなわち、調整可能な撮像ジオメトリのおかげで様々な投影方向からの結像を取得することができる。一般に、撮像ジオメトリは、Ｘ線放射が検出器と空間的にどのように相互作用するかに影響を及ぼすシステムコンポーネント、又はより具体的にはＸ線光学コンポーネントの位置及び／又は向きによって定義される。撮像ジオメトリの定義は、Ｘ線ビームに対するコリメータブレード（存在する場合）の向き及び／又は位置も含まれる。

撮像ジオメトリの変更に影響を与える可能性がある方法は、撮像装置の特定の構成に依存する。例えばＸ線イメージャＩＭが、Ｃアームタイプのイメージャのような回転可能なガントリＧを有する実施形態では、撮像ジオメトリの変更は、撮像される対象物ＯＢに対してＣアームを回転させる及び／又は並進移動させることによって達成され得る。これらの自由度は、図１では矢印ａ、ｂによって示されている。このようにして、少なくとも（撮影される）ＲＯＩに対するＸ線源の位置を、ＣアームＧを回転させ又は並進移動させることによりＸ線源をある位置から別の位置へ移動させることによって変更することができる。他の実施形態は、代わりに固定式の検出器を想定しているが、移動可能なＸ線源だけである。撮像ジオメトリを変更する別の方法は、イメージャの有効視野を調整するために、その上に対象物がある検査テーブルを移動させることによるものである。矢印ｃによって概略的に示されるように、テーブルＴは、存在する場合、撮像機器ＩＭの（少なくとも瞬間的な）光軸に対して第１軸に沿って並進移動可能であってよく、あるいはテーブルが２つの空間的次元で独立に並進移動可能であってもよい、すなわち、第１軸に沿った並進移動に加えて、テーブルは第１軸を横切る第２軸に沿って並進移動可能である。

撮像ジオメトリにおける変更は、撮像機器ＩＭのそれぞれの機械部分（machine part）に関連付けられるステッパモータ又はサーボモータ等のような適切な（好ましくは自動の）アクチュエータＡを制御することによって達成される。それぞれの機械部分は、例えばＸ線源、あるいはガントリ（その上に設置される線源ＸＲを有する）及び／又は検査テーブルＴ等とすることができる。１つ以上のアクチュエータＡは、アクチュエータコントローラ回路ＡＣによって制御される。アクチュエータ制御回路ＡＣは、オペレータコンソールＣＯＮから発行された制御信号に応答する。一実施形態では、コンソールＣＯＮは、ユーザが撮像ジオメトリを正確に調整することを可能にするジョイスティック装置ＪＳなどのユーザ入力デバイスを含む。例えばジョイスティックＪＳは、ユーザがＸ線源及び／又は検出器を回転又は並進移動させ、かつ／又は検査テーブルＴを並進移動又は傾斜させること等を可能にする。ユーザ入力デバイスは、ユーザが適切な制御コマンドを発行することを可能にする。制御コマンドは、有線又は無線通信インフラストラクチャを介してアクチュエータ制御回路ＡＣへ転送される。制御コマンドは、その後、アクチュエータ制御回路ＡＣによってより低いレベルの機械信号へ変換され、次いで１つ以上のアクチュエータＡを作動させて撮像ジオメトリにおける所望の変更をもたらす。例えば制御コマンドは、Ｃアームを回転させるべき回転角度を指定してよく、あるいは検査テーブルＴを並進移動させるべき距離（センチメートル又はミリメートル、あるいは任意の他の適切な長さの単位で）を指定してもよい。

イメージャが所望の撮像ジオメトリを想定すると、１回以上の撮像の実行で２つ以上のＸ線画像Ｉ１及びＩ２のシーケンスが取得される。各撮像実行では、あるフレームレートで、例えば５〜１０ｆｐｓでＸ線画像Ｉ１、Ｉ２の１つのシーケンスを取得するために、Ｘ線露光のバースト（a burst of X-ray exposures）が発行される。２回の撮像実行の間に撮像ジオメトリの変更が必要とされることがあり、新たなジオメトリがＸ線撮像装置によって想定されると、次いで新しい結像シーケンスが取得される。また、実行中に画像が取得されている間に撮像ジオメトリが変更されている場合もあり得る。

投影画像Ｉ１、Ｉ２のシーケンスは、ディスプレイユニットＭ上に時間シーケンスで表示可能であり、これにより、対象物ＯＢの内部ダイナミクス、及び／又は対象物ＯＢ内に存在する（医療）デバイスの位置をユーザがモニタリングすることを可能にする、モーションピクチャを本質的に生成する。本明細書で想定される用途の１つの例示的な分野を挙げると、例えば蛍光透視ガイダンスの下での心臓インターベンションでは、カテーテルは、患者の心臓血管系を通って病変部位（例えば狭窄）まで進められる。モーションピクチャは、そのコース全体を通してカテーテルの位置を追跡することを可能にする。また、生理学的活動をモニタリングしてパフォーマンスを評価することもできる。例えば吸収画像ベースの血管造影（absorption imagery based angiography）では、心臓血管系の一部の心臓活動又は灌流を、元となるモーションピクチャ及び取得された画像のシーケンスを表示することによってモニタすることができ、一方、ある量の造影剤が関心領域に存在し、必要な放射線不透過性を与えることができる。

モーションピクチャのモニタにおける視覚的外観又は品質は時折、スムーズでない遷移を含むことがあり、このような遷移は、後に取得される画像Ｉ１とＩ２の間の画像構造のぎくしゃくした（jerky）又はちらつく（flicker）動きとして知覚される。これは、所与の撮像実行中又は２回連続する撮像実行の間の撮像ジオメトリの変更によって引き起こされる可能性がある。

撮像シーケンスの視覚的にスムーズな表示を確実にするために、提案される撮像装置１００は、撮像ジオメトリ変更中に２つの異なる画像取得の間に発生した動きを一緒に符号化する１つ以上のフィラーフレームを生成することによって、画像フリッカを補償するように動作する画像プロセッサ又はモジュールＩＰを備える。フィラーフレームは、１つ以上の変形（transformation）を前の画像に適用することによって生成される。変形は、撮像ジオメトリの変更によって引き起こされる動きをキャプチャする。画像プロセッサは、撮像機器ＩＭに関連付けられるワークステーションＷＳ上でソフトウェアモジュールとして動作してよい。あるいは、画像プロセッサＩＰの一部又は全てのコンポーネントが、適切にプログラムされたＦＰＧＡ（フィールドプログラマブルゲートアレイ）のようなハードウェア内に、あるいはハードワイヤード集積回路（ＩＣ）チップとして配置されてよい。

図１の下の部分は、画像プロセッサＩＰの機能部分のブロック図を拡大して示している。画像プロセッサＩＰは、入力ポートＩＮ及び出力ポートＯＵＴと、アップサンプラＵＳと、ビジュアライザＶＩＳを備える。

非常に広く言えば、画像プロセッサＩＰは、撮像機器ＩＭによって取得される２つの連続画像Ｉ１とＩ２の間に含めるために、１つ以上のフィラーフレームＩ＋を計算する。フィラーフレームは、ここではＩ１として参照される、先に取得されたフレームｉと、好ましくは、Ｘ線画像Ｉ１が取得されてから発生したか、まだ発生している撮像ジオメトリの変更について撮像装置から取得されるリアルタイム情報とに基づいて計算される。この情報は、（先の画像Ｉ１が取得された）第１撮像ジオメトリから、後の画像Ｉ２が取得されたか又は取得されることになる第２撮像ジオメトリへの変更を指定する。先の画像Ｉ１と撮像ジオメトリ変更の仕様の両方とも、１つ以上の入力ポートＩＮで受け取られる。この入力に基づいて、アップサンプラＵＳは、取得したフレームＩ１とＩ２の間のシーケンスとして挿入するために、単一又は好ましくは複数のフィラーフレームＩ＋を先の画像Ｉ１から計算し、これにより、アップサンプルされた画像シーケンスを形成する。次に、先の画像Ｉ１及び１つ以上のフィラーフレームが、ビジュアライザＶＩＳの動作によって順次表示される。ビジュアライザＶＩＳは、モニタＭでディスプレイ生成を駆動するビデオソフトウェアと相互作用する。より具体的には、ビジュアライザＶＩＳによって達成される順次表示は、先のフレームＩ１で開始し、その後、１つ以上のフィラーフレームがモニタＭ上に順次表示される。最終的に、最後のフィラーフレームＩ＋が表示された後に表示されるのは後のフレームＩ２である。モニタＭ上の人間の観察者によって見られるような表示シーケンスは、先の画像Ｉ１からフィラーフレームＩ＋を介して後のフレームＩ２へとスムーズに移行する。フィラーフレームは、本質的に、先の画像から、第１撮像ジオメトリから第２撮像ジオメトリへの変更に関与したか関与することになる動きに関する知識から、外挿される。フィラーフレームの外挿には、後のＸ線画像Ｉ２自体の知識は必要とされない。これは、２つの実際に取得された画像の間の補間に依存する以前のアプローチで一般的である遅延時間を短縮することを可能にする。言い換えると、本明細書で提案されるアプローチでは、プロセッサＩＰは、撮像ジオメトリの変更によって引き起こされる動きについて事前に「通知」される。その後、第２撮像ジオメトリが実際に仮定される前であっても、あるいは後のＸ線画像Ｉ２が実際に取得される前であっても、フィラーフレームを計算することができる。フィラーフレームは、これらのフィラーフレームがシネ・シーケンス（cine sequence）で表示されるときに画像フリッカが除去されるか、最終的に後の画像Ｉ２が表示されるときに画像フリッカが少なくとも低減されるように、この動きを一緒に符号化するように計算される。フィラーフレームは、後の画像Ｉ２がどのように見えるかについての推定に対する、先の画像Ｉ１からの段階的な遷移又は「モーフィング（morphings）」である。特に、シーケンス内の最後のフィラーフレームは、次のイメージＩ２の良好な近似であることが期待される。そして、先の画像Ｉ１とフィラーフレームＩ＋を順次表示することにより、先の画像と後の画像との間のこの遷移をソフトにすることができ、これにより、フリッカ低減を達成することができる。

撮像ジオメトリにおける変更のこのリアルタイム仕様を、アクチュエータに配置されるかアクチュエータに関連して配置される一般的な電気光学センサによって取得することができる。撮像ジオメトリ情報の変更を、アクチュエータとインタフェースすることにより直接得ることもでき、あるいは例えばユーザ入力手段によって発行される制御コマンドをインターセプトすることによって推測することもできる。

アップサンプラＵＳは、フリッカ低減効果を達成するために、１つ以上の画像変形を先の画像Ｉ１に適用することによってフィラーフレームを計算する。変形は、少なくとも近似で、１つ以上のベクトル又は行列のような適切な関数式に関して、指定された画像ジオメトリの変更を符号化する。変形は、画像ジオメトリの読取値の変化から計算される。一実施形態において、変形はシフト操作である。シフト変形は、先のＸ線画像Ｉ１を、撮像ジオメトリの変更に使用されるか又は使用されることになる変位（displacement）に対応するか又は近似する量だけシフトするために適用される。より一般的には、変形は、剛性変形又は非剛性変形、あるいはＸ線撮像機器の画像信号経路内で生じる拡大効果を説明することを可能にする変形である。

一般に、撮像ジオメトリ変更ごとの動きをより小さなコンポーネントに分解することによって、単一のフィラーフレームだけではなく、複数のこのようなフィラーフレームが計算される。そのような小さなコンポーネントの数は、事前設定されるかユーザによって調整可能な、使用されるべきアップサンプリングファクタに対応する。最終的に第２画像フレームＩ２が表示されるまで、１つ以上のフィラーフレームＩ＋が、先のフレームＩ１の表示の後に順次表示される。１つ以上のフィラーフレームＩ＋を計算するために、先のフレームＩ１に１つずつ適用されるそれぞれのシフト変形が、基準座標系に対してとられる。例えば一実施形態では、基準座標系は、モニタＭに表示されるときに、先の画像Ｉ１のエッジによって指定される。

図２は、提案される画像処理機器ＩＰの動作の説明図である。上の列は、所与のフレームレート、例えば６ｆｐｓで取得された２つの画像Ｉ１及びＩ２を示す。取得フレームレートは、通常、３ｆｐｓ〜１５ｆｐｓの範囲内である。下の列は、２つのフレームＩ１とＩ２の間に挿入され、そのシーケンスで表示される４つのフィラー画像Ｉ＋を示す。このように、フレームレートは６ｆｐｓから３０ｆｐｓまで５倍に増加した。破線は基準基線を示し、矢印は、この例では画像スクリーンＭの垂直なｙ軸に沿った正の方向に、単純シフトとして先の画像Ｉ１に適用されるピクセル変形の効果を示す。言い換えると、フィラー画像は、この場合、先のＸ線画像Ｉ１のシフトされたコピーである。個々のフィラーフレームＩ＋にまたがる個々のシフトの蓄積が、点線の矢印の傾きによって示される。シフトのために、なんらかの画像情報が失われ、未定義又は空白領域（void region）２０５として現れる。空白領域２０５は、例えば空白ピクセル位置（void pixel positions）を（図のように）黒色又は別の適切な色で埋めることによってレンダリングされ得る。周囲の真の画像情報に比べて、このような空白２０５の意図的に目立つレンダリングは、空白領域２０５が模擬情報（mocked information）を表すことを明確に示すために選択されることがあり、そのような情報には、解釈的（診断的又は他の方法の）値を付加すべきでない。

他の代替的な実施形態では、画像情報の損失を視聴者から効果的に隠すよう、隣接ピクセル情報からの補間によって空白領域２０５を埋めることができる。特に、空白ピクセル位置を、移動方向の最後のピクセルラインで埋めることができる（すなわち、既知の画像Ｉ１の最後のラインが数回繰り返される）。図３はこれの実例である。この実施形態は、先に言及した実施形態のように、ギャップ領域が目立つように埋められた場合に生じる可能性がある、視聴者の視覚的注意散漫の種類を回避するのに役立つ。

好ましくは、（イメージャによって供給される）２つの連続するＸ線画像Ｉ１、Ｉ２の間に挿入されるフィラーフレームの数は、Ｘ線イメージャのフレームレートとディスプレイユニットＭのリフレッシュレートとの間の比に対して調整される。リフレッシュレート（通常、約６０ｆｐｓ又はそれ以上）は、２つの連続画像を表示するのに必要な最小時間を定義する。Ｘ線イメージャのフレームレートは通常、モニタＭのリフレッシュレートよりかなり低い。画像変形はその後、先のＸ線画像に対して部分ごとに段階的に累積的に適用される部分（parts）へ細分され、上記の図２、３の図と同様に必要なフィラーフレームの数Ｎを計算する。アップサンプリングファクタＮ＋１を決定するこの数Ｎを、モニタリフレッシュレートとＸ線イメージャのフレームレートとの間の比に対して調整することができる。非限定的な数値例として、５ｆｐｓのＸ線画像取得レート及び６０ｆｐｓのモニタのリフレッシュレートを所与とすると、６０／５−１＝１１フィラーフレームが計算される。受け取ったジオメトリ変更の仕様が、２つの連続画像Ｉ１、Ｉ２の間に５ｃｍ（やはり、これは純粋に例示であって限定ではない）の患者のベッドの並進移動を必要とする場合、この距離は５／１２ｃｍの部分シフトベクトルに細分される。（一緒に組み合わせて合計５ｃｍのシフトになる）これらの部分シフトを、その後、５／１２＊ｉ（ｉ＝１．．．１２）により先の画像Ｉ１に対して累積的に適用し、各ｉについてフィラーフレーム

を得る。

提案されるフィラーフレームを使用した結果、特に、複数のフィラー画像が上記のように計算されて連続するＸ線画像Ｉ１、Ｉ２の間に挿入されるとき、名目的なＸ線露出速度よりもかなり高い、スクリーンＭに対する有効な「画像リフレッシュレート」が得られる。

一実施形態では、アップサンプリングファクタは、ユーザ入力に基づいて調整可能であることが想定される。ユーザは、リフレッシュレート及び／又は取得レートを指定する。この入力は、その後、アップサンプラＵＳに転送され、ここで、フィラーフレームを計算するためのアップサンプリングファクタが上記のように比に基づいて調整される。あるいは、アップサンプリングファクタは自動的に調整される。

次に図４のフローチャートを参照して、画像プロセッサＩＰによって実施される画像処理方法をより詳細に説明する。本明細書では、フローチャート及び対応する説明は、必ずしも図１に示されるアーキテクチャに結びつけられるだけではなく、スタンドアロンの命令として当業者が読むこともできることが理解されよう。

ステップＳ４１０において、撮像機器によって取得された第１入力画像Ｉ１が受け取られる。フレームＩ１は、撮像機器によって第１撮像ジオメトリで取得されたものであると仮定する。入力画像フレームＩ１に加えて、その入力画像Ｉ１と必ずしも同時にではないが、第１撮像ジオメトリから第２撮像ジオメトリへの変更を指定する仕様が受け取られる。この仕様は、図４では、（「第１」撮像ジオメトリを示す）「（Ｘ_１，Ｙ_１）」と、（「第２」撮像ジオメトリを示す）「（Ｘ_２，Ｙ_２）」という座標で概略的に示されているが、本明細書では他のフォーマット、特に角度仕様（angular specifications）を除外していないことを理解されたい。

撮像ジオメトリにおける変更の仕様は、制御コマンドによって、あるいは撮像ジオメトリにおける変更をもたらす際に関与する１つ以上のアクチュエータに関連付けられる１つ以上のモーションエンコーダによって供給されるようなリアルタイム読取値又は測定値によって、具現化されることが可能である。アクチュエータを駆動するために使用される信号も、撮像ジオメトリ仕様として（適切な変換後に）使用することができる。例えば患者ベッドが（cm又はmm又は他の適切な単位で指定可能な）ある量だけ並進移動される実施形態では、この量が、その撮像ジオメトリの変更の仕様に含まれる。その並進移動量を、その並進移動をもたらすアクチュエータＡに関連付けられるモーションエンコーダから直接得ることができる。好ましくは、準リアルタイムの応答性を促進するために、仕様は、関連する機械部分に適用されるべき速度読取値（速度及び方向）として得られる。他の実施形態では、読み取りは事後的（post-factum）であり、既に経験した変位を指定する。この後者の場合、応答時間に若干の遅れが生じるが、しかしながら、一般に、視聴者によって経験されるようなリアルタイムの印象を、感知できるほどに妨げるものではないことが分かっている。

他の例又はジオメトリ変更の仕様は、関心領域の周りのＸ線源による回転の程度（in degree）である。より一般的には、仕様は、Ｘ線管、検出器の面又は患者ベッドのうちの１つ以上の軸の周りの向きの変化のそれぞれに関する傾斜データも含んでよい。

仕様は、おそらく異なる軸に沿った１つ以上の並進移動と、１つ以上の回転等のような動きの組合せを指定してもよい。仕様は、好ましくは、その（自動の）アクチュエータを介して撮像機器から供給される。

撮像装置が完全にモーター化されていない場合、レバー又は他の歯車機構のような手動操作可能なアクチュエータを含んでもよい。例えば一部の患者ベッドは、適切な歯車機構を介してベッドＴに結合された１つ以上のハンドホイールを操作するユーザによって移動される。これらの場合、適切な内部センサを手動アクチュエータに設置して、アクチュエータ機構を用いた回転／並進移動等のような動きを、影響される患者の動きに（適切な変換後に）直接的又は間接的に対応するデジタル読取値に変換することができる。あるいは、関連するアクチュエータに内部センサ機器を設置するのではなく、代わりに撮像機器の外部のセンサを使用してもよい。例えば１つ以上の光電子センサのシステムを撮像機器の外側に設置して、特定の手動操作可能なアクチュエータ（手又はサムホイール等）を回した回数を測定してよく、その後、これらのカウントを患者の運動距離に変換することができる。もちろん、このように光電子センサを使用することは、自動アクチュエータによって引き起こされる撮像ジオメトリ変更を測定する際にも適切である。一般に、アクチュエータが自動又は手動である場合、本明細書では、撮像ジオメトリ仕様の変更を捕捉するための光学的、電気的又は機械的な任意の測定技術が想定される。

撮像ジオメトリ変更の仕様が測定されると、フローのコントロールはステップＳ４２０にわたり、ジオメトリの変更の仕様に基づいて１つ以上のフィラー画像が計算される。１つ以上のフィラーフレームＩ＋を計算するためのステップ４２０は、２つのサブステップを含む。

一方のサブステップ４２０ａにおいて、画像変形が、指定された画像ジオメトリ変更に基づいて計算される。例えば一実施形態において、並進又はシフトベクトルが、受け取った撮像ジオメトリ変更の仕様から抽出される。場合によっては、仕様に記録された動き（シフト及び／又は回転）を（ピクセル情報への変換後に）直接とって変形を指示することができる。これは、基礎となる動きが線形であるか否かにかかわらず、有効変位Δｘ≦１ｃｍの場合に特に当てはまることが分かっている。これは、基礎となる投影ジオメトリによって引き起こされる影響を無視することができる場合に、便利な形式の動き線形化（convenient form of motion linearization）を提供する。他の場合において、撮像ジオメトリ変更が１ｃｍを超える並進移動を含む場合、必要な画像変形の定義のため有効な動きコンポーネントに到達するために、例えば変換操作のための１つ以上の前処理段階が必要とされることがある。一実施形態では、この前処理は、第１画像フレームＩ１を取得した画像形成ジオメトリにおける検出器の画像面への投影によって、仕様に記録された動き／変位をコンポーネントに分解することを含むことがある。一部の実施形態において、変換は、実際に指定された変位の逆数をとって、撮像設定によって引き起こされる可能性のある鏡面効果を考慮することを含んでもよい。一実施形態では、変換段階／動作は、画像信号経路で発生するＸ線光学倍率も考慮する。例えばＣアームＸ線撮像では、アイソセンター（iso-center）を通る患者の並進移動は倍率（magnification factor）２を生じる可能性がある。言い換えると、検査領域内の実際の動きは、実際の動きの２倍の拡大される又は「仮想」の動きとして画像面に記録される。速度又は距離に関連するこれらの倍率効果（magnification effects）を、適切な量だけジオメトリ変更仕様を調整するために適用することができる事前データとして事前に知ることができる。そうでなければ、そのような事前の知識がない場合、倍率は単純な較正測定で取得されてもよい。すなわち、移動可能な試験対象物の２つの試験画像のみが取得され、２つ（又はそれ以上）試験画像が取得される間に試験対象物が受けた既知の変位又は速度から倍率を計算する。

前述のように、画像変形の設定は、ピクセルの次元への変換が含まれる。この操作は、検出器のピクセルピッチに基づく。例えばｖ＝４ｃｍ／ｓの速度及びｆ＝８ｆｐｓのフレーム速度でのテーブル移動を想定すると、２回の連続的な取得の間の動きはΔｘ＝５ｍｍになる。さらに、１５４μｍのピクセルピッチを想定すると、これは約〜２２ピクセルの跳ね上がり（jump）に相当する。したがって、変形を、ｘ方向の３３画素のシフトベクトルによって定義することができる。

サブステップＳ４２０ｂでは、ステップＳ４２０ａで決定された１つ以上の変形が、好ましくは、撮像機器によって供給される最新の利用可能な画像フレームＩ１に適用される。変形は、画像フレームＩ１にピクセル単位で適用され、それによって、基準座標系に対してそのフレームを回転又は並進移動させるか、一実施形態では並進移動のみさせる。（図２、３では水平の破線として示される）基準座標系は、例えば第１画像Ｉ１が表示されることになる画面Ｍ上のウィンドウ部分によって定義されてもよい。

ステップＳ４３０では、第１入力画像及び１つ以上のフィラーフレームが画面上への表示のためにレンダリングされる。第１画像Ｉ１が最初に表示され、次いでフィラーフレームが順次表示される。最後に、モニタＭに表示されるのは、撮像機器から供給される第２画像Ｉ２である。

この方法は、イメージャによって供給される元の画像Ｉ１からのアップサンプリングされたシーケンスと、撮像ジオメトリ仕様の変更から計算される１つ以上の変形を計算することを可能にする。フィラーフレームは、後に続く画像Ｉ２の知識を必要とせずに計算される。アップサンプリングされたシーケンスは、順次表示される画像情報の間のスムーズな遷移を有する、より現実的な視覚的体験を視聴者に提示する。特に、撮像ジオメトリの変更によって引き起こされるフリッカを除去することができ、あるいは少なくとも低減することができる。

撮像ジオメトリの更なる変更のための新たな仕様を受け取ると、上述のステップが繰り返されることは理解されよう。言い換えると、上述のステップは、この時までに先の画像Ｉ１ではなく新たな入力画像Ｉ２について繰り返される。提案される方法及びシステムは、イメージャＭＩのジオメトリ要素のうちの１つ以上の要素の準連続的な動きによって引き起こされる撮像ジオメトリの準連続的変化に応答して、これと共同して、フィラーフレームの準連続的ストリームを生成することが想定される。

以下は、変形を部分に細分することによって複数のフィラーフレームが計算される、提案された方法を例示するための非限定的な数値である。受け取った仕様による撮像機器ＩＭのリアルタイム座標は、画像ピクセル変位

に変換される。ここで、

は、（画像Ｉ１が取得された）時点ｔ_１より後の時点ｔ_１における既知の位置であり、x(t1)は、画像Ｉ１の瞬間における既知の位置である。提案されるアルゴリズムの実装は、以下のステップを含む：

− ｔ１で取得された元の第１画像Ｉ１はｔ１で表示される。
− Ｉ１は

だけ並進移動される。その結果はｔ_１＋１＊Δｔ／５において表示される。
− Ｉ１は

だけ並進移動される。その結果はｔ_１＋２＊Δｔ／５において表示される。
− Ｉ１は

だけ並進移動される。その結果はｔ_１＋３＊Δｔ／５において表示される。
− Ｉ１は

だけ並進移動される。その結果はｔ_１＋４＊Δｔ／５において表示される。
− Ｉ２はｔ_２において表示され、ｔ２は、次のＸ線画像Ｉ２が取得される時間である。

これについての最適な表示レートは、一般的に画面リフレッシュレート（通常６０Ｈｚ）であり、時間的なアップサンプリングファクタは前述のように選択される。数値の例では、ステップ２〜５でフィラー画像を取得するための画像Ｉ１の変形は、表示ステップとインターレースされる。あるいは、フィラー画像の一部又は全てが最初に計算され、次いで、変換ステップの一部又は全てが完了した後に表示ステップが実行される。

提案される画像処理コンポーネント及び方法を、例えば撮像ジオメトリ変更仕様をピックアップするために適切なモーションエンコーダをインストールすることにより、既存のイメージャのアドオンとして使用することができる。

本発明の別の例示的な実施形態では、適切なシステム上で、先の実施形態のうちの１つによる方法の方法ステップを実行するように適合されることにより特徴付けられるコンピュータプログラム又はコンピュータプログラム要素が提供される。

したがって、コンピュータプログラム要素は、コンピュータユニット（ワークステーション等）に格納されてもよく、このようなコンピュータユニットも本発明の実施形態の一部であってもよい。このコンピューティングユニットは、上述の方法のステップを実行するか、実行を誘導するように適合されてもよい。さらに、コンピューティングユニットは、上述のモジュールの構成要素を制御又は動作するように構成されてもよい。コンピューティングユニットは、自動的に動作するよう、かつ／又はユーザの注文を実行するよう構成され得る。コンピュータプログラムは、データプロセッサのワーキングメモリにロードされてよい。したがって、データプロセッサは、本発明の方法を実行するように装備されてよい。

本発明のこの例示的な実施形態は、最初から本発明を使用するコンピュータプログラムと、最新の手段によって既存のプログラムを本発明を使用するプログラムに変換するコンピュータプログラムの双方を対象とする。

さらに、コンピュータプログラム要素は、上述の方法の例示的な実施形態の手順を遂行するために必要な全てのステップを提供することができる。

本発明の更なる例示的実施形態によれば、ＣＤ−ＲＯＭ等のコンピュータ読取可能媒体が提示され、ここで、コンピュータ読取可能媒体は、その上に記憶されたコンピュータプログラム要素を有する。コンピュータプログラム要素は以前のセクションによって説明されている。

コンピュータプログラムは、他のハードウェアと一緒に又はその一部として供給される光記憶媒体又は固体媒体のような適切な媒体（必ずではないが、特に非一時媒体）に記憶及び／又は分散されてもよいが、インターネット、あるいは他の有線又は無線電気通信システムを介する等により、他の形態で分散されてもよい。

しかしながら、コンピュータプログラムを、ワールドワイドウェブのようなネットワークを介して提示してもよく、このようなネットワークからデータプロセッサのワーキングメモリへダウンロードすることができる。本発明の更なる例示的な実施形態によれば、ダウンロードするために利用可能なコンピュータプログラム要素を作成するための媒体が提供される。このコンピュータプログラム要素は、前述した本発明の実施形態のうちの１つによる方法を実行するように構成される。

本発明の実施形態は、異なる主題に関連して説明されることに留意されたい。特に、一部の実施形態は、方法のタイプの請求項に関連して説明され、他の実施形態は、デバイスのタイプの請求項に関連して説明される。しかしながら、当業者であれば、別段の記載がない限り、上記及び以下の説明から、あるタイプの主題に属する特徴の任意の組合せに加えて、異なる主題に関する特徴の間の任意の組合せも本出願で開示されているように見なされると推察するであろう。なお、全ての機能を組み合わせることは、機能の単純な合計を超える相乗効果を与える。

本発明は、図面及び前述の説明において詳細に図示され、説明されているが、そのような図示及び説明は、説明的又は例示的であって、限定的ではないものとして見なされるべきである。本発明は開示された実施形態に限定されない。開示された実施形態に対する他の変形は、図面、開示及び従属請求項の研究から、特許請求に係る発明を実施する際に当業者によって理解され、達成され得る。

特許請求の範囲において、「備える（comprising）」という用語は、他の要素又はステップを除外するものではなく、不定冠詞「a」又は「an」は複数を除外しない。単一のプロセッサ又は他のユニットが、請求項に列挙されるいくつかのアイテムの機能を遂行することがある。特定の手段が相互に異なる従属請求項に列挙されているという単なる事実は、これらの手段の組合せを有利に用いることができないことを示すものではない。特許請求の範囲内のいかなる参照符号も、その範囲を限定するものとして解釈されるべきではない。

Claims (9)

1. 低フレームレートで画像フリッカを低減又は除去するように構成される画像処理モジュールであって：
   プロセッサ実行可能命令を格納するよう構成されるメモリと；
   当該画像処理モジュールが、
   ｉ）撮像機器により、該撮像機器の第１幾何学的構成で取得される対象物の第１入力画像と、ｉｉ）前記第１幾何学的構成から前記撮像機器の第２幾何学的構成への変更の仕様とを受け取り、
   前記仕様に基づいて、前記第１入力画像から外挿によって前記対象物の新たな画像を計算し、
   先に前記第１入力画像、次に前記新たな画像、次に前記第２幾何学的構成で取得される第２画像を順次表示する
   ために前記プロセッサ実行可能命令を実行するように構成される少なくとも１つのプロセッサと；
   を備える、画像処理モジュール。
2. 前記仕様は、前記撮像機器に関するハードウェア測定データとして供給される、
   請求項１に記載の画像処理モジュール。
3. 前記少なくとも１つのプロセッサは、前記撮像機器の幾何学的構成の変更について受け取られる複数の仕様の各々について１つずつ、複数の新たな画像を計算するように更に構成され、前記複数の新たな画像の数は、リフレッシュレートに依存する、
   請求項１に記載の画像処理モジュール。
4. 前記撮像機器はＸ線撮像機器であり、前記Ｘ線撮像機器の幾何学的構成は、（ｉ）画像取得中に撮像される前記対象物を支持するための支持部の位置及び／又は向きと；（ｉｉ）前記Ｘ線撮像機器のＸ線源の位置及び／又は向きと；（ｉｉｉ）前記Ｘ線撮像機器の検出器の位置及び／又は向きと；（ｉｖ）コリメータの位置及び／又は向き、のうちの少なくとも１つを含む、
   請求項１に記載の画像処理モジュール。
5. 前記新たな画像は、前記第１入力画像から保持される画像情報と、前記外挿に起因して失われる前記第１入力画像からの画像情報を置き換えるプレースホルダデータとを備える、
   請求項１に記載の画像処理モジュール。
6. 前記外挿は、前記変更に対応する量だけ前記第１入力画像を基準座標系に対して移動させることを含む、
   請求項１に記載の画像処理モジュール。
7. 前記撮像機器は、蛍光透視Ｘ線撮像機器である、
   請求項１に記載の画像処理モジュール。
8. 低フレームレートで画像フリッカを低減又は除去する画像処理方法であって：
   撮像機器により該撮像機器の第１幾何学的構成で取得される対象物の第１入力画像を受け取るステップと；
   前記第１幾何学的構成から前記撮像機器の第２幾何学的構成への変更の仕様を受け取るステップと；
   前記仕様に基づいて、前記第１入力画像から外挿によって新たな画像を計算するステップと；
   前記撮像機器の前記第２幾何学的構成で取得される第２画像を受け取るステップと；
   先に前記第１入力画像、次に前記新たな画像、次に前記第２画像を順次表示するステップと；
   を備える方法。
9. プロセッサによって実行されると、該プロセッサに、低フレームレートで画像フリッカを低減又は除去する画像処理方法を実行させる１つ以上の実行可能命令を有する、非一時的コンピュータ読取可能媒体であって、前記方法が：
   撮像機器により該撮像機器の第１幾何学的構成で取得される対象物の第１入力画像を受け取るステップと；
   前記第１幾何学的構成から前記撮像機器の第２幾何学的構成への変更の仕様を受け取るステップと；
   前記仕様に基づいて、前記第１入力画像から外挿によって新たな画像を計算するステップと；
   前記撮像機器の前記第２幾何学的構成で取得される第２画像を受け取るステップと；
   先に前記第１入力画像、次に前記新たな画像、次に前記第２画像を順次表示するステップと；
   を備える、非一時的コンピュータ読取可能媒体。

Images