JP6404815B2 - マルチチャネルx線イメージングのための画像ストリームの時間的アライメント及び信号対ノイズ比の改善 - Google Patents

マルチチャネルx線イメージングのための画像ストリームの時間的アライメント及び信号対ノイズ比の改善 Download PDF

Info

Publication number
JP6404815B2
JP6404815B2 JP2015519467A JP2015519467A JP6404815B2 JP 6404815 B2 JP6404815 B2 JP 6404815B2 JP 2015519467 A JP2015519467 A JP 2015519467A JP 2015519467 A JP2015519467 A JP 2015519467A JP 6404815 B2 JP6404815 B2 JP 6404815B2
Authority
JP
Japan
Prior art keywords
frame
channel
frames
image
collected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015519467A
Other languages
English (en)
Other versions
JP2015521886A (ja
JP2015521886A5 (ja
Inventor
ヘイドラン ステインハウゼル
ヘイドラン ステインハウゼル
アレクサンデル ヨハンネス アドミラール
アレクサンデル ヨハンネス アドミラール
フランス ヘンク クレメル
フランス ヘンク クレメル
パウス ロビン ピーテル デ
パウス ロビン ピーテル デ
ハルトフ マルクス ヨハンネス ハルメン デン
ハルトフ マルクス ヨハンネス ハルメン デン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2015521886A publication Critical patent/JP2015521886A/ja
Publication of JP2015521886A5 publication Critical patent/JP2015521886A5/ja
Application granted granted Critical
Publication of JP6404815B2 publication Critical patent/JP6404815B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/022Stereoscopic imaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/40Arrangements for generating radiation specially adapted for radiation diagnosis
    • A61B6/4007Arrangements for generating radiation specially adapted for radiation diagnosis characterised by using a plurality of source units
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/005Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38Registration of image sequences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/466Displaying means of special interest adapted to display 3D data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/464Dual or multimodal imaging, i.e. combining two or more imaging modalities

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は画像処理装置、画像処理法、画像処理システム、コンピュータプログラム要素、及びコンピュータ可読媒体に関する。
各チャネル毎に一つ、画像のストリーム("フレーム")が収集され、その後スクリーン上に表示され得る処理画像へと処理される、マルチチャネルイメージングシステムが知られている。こうしたマルチチャネルイメージングシステムの例は、2チャネルにおけるフレームストリームが生成され、そして例えば関心領域の3D表現をインターベンショナルラジオロジストに提供するために3D(三次元)画像に結合される、ステレオスコピックシステムである。しかしながら上記処理画像はしばしば画像アーチファクトに悩まされることが報告されている。
アーチファクト補正法はUS7,668,361に記載されている。
従ってマルチチャネルイメージングシステムの動作を改善する代替的な装置が必要であり得る。本発明の目的は独立クレームの主題によって解決され、さらなる実施形態は従属クレームに組み込まれる。本発明の下記態様は、画像処理法、画像処理システム、コンピュータプログラム要素、及びコンピュータ可読媒体に等しく当てはまることが留意されるべきである。
本発明の第1の態様によれば、以下を有する画像処理装置が提供される:
i)第1のチャネルを通じて、関心対象に対して第1の投影方向において両方とも収集される第1及び第2のフレームであって、第1のフレームは第2のフレームの前に収集される、第1及び第2のフレームを、並びに、ii)第2のチャネルを通じて、対象に対して第2の投影方向において収集される第3のフレームを、受信するための入力インターフェース;
第1のフレームと、後に収集される第2のフレームとから、推定中間フレームを計算するように構成される推定器;
推定中間フレームを第2のチャネルの第3のフレームと時間的にアラインするように構成されるアライナ;
上記推定フレームと第3のフレームを時間的にアラインされたフレームのペアとして出力するように構成される出力インターフェース。
一実施形態によれば、第3のフレームは第1のフレームの後、第2のフレームの前に収集される。この実施形態において、推定器は補間器として動作する。推定フレームは第3のフレームの収集時間を用いることによって第1及び第2のフレームから補間される。補間されたフレームは第3のフレームの収集時間によって定義される第1のストリームにおけるインスタンスを"埋める(fill)"ように第1及び第2のフレームの収集時間の間の"中間"フレームを形成する。言い換えれば、第1のチャネルフレームが収集されないインスタンスに対してフレームが間に置かれる。推定/補間フレームを各チャネル若しくはストリームに含むことによって、フレームペアリングは第1のチャネルにおけるフレーム収集レートの"仮想"増加をもたらす。
一実施形態によれば、第2のフレームの後に収集される新たな第2のチャネルフレームの受信時に、推定器は前の第3のフレームと新たな第2のチャネルフレームから新たな推定画像を計算するように構成される。アライナは新たな推定された若しくは補間された中間画像を第2のフレームとアラインするように構成される。出力ユニットは新たな推定画像と第2のフレームをアラインされたフレームの新たなペアとして出力し、それによって装置は二つのチャネルに対して複数の時間的にアラインされたペアを生成する。言い換えれば、いずれかのチャネルについて計算される推定フレームはその後、ストリームを時間においてアラインするように、他方からの各フレームとペアにされる。
一実施形態によれば、装置は第1及び第2のフレームにおける、又は第3のフレーム及び新たな第2のチャネルフレームにおける画像情報に基づいて、第1及び第2のフレームの収集中、又は第3のフレーム及び新たな第2のチャネルフレームの収集中の対象の動きを検出するように構成される動き検出器若しくは推定器をさらに有し、補間器は、もしあれば、検出された動きを用いて上記補間を計算する。
一実施形態によれば、装置は同じチャネルにおいて二つのフレームから時間にわたって(時間的に)推定若しくは補間するように動作する。時間的補間は動き推定と、一実施形態においてはソフト閾値化との組み合わせを用いて、二つの収集フレームから補間フレームについての正確な推定を得る。実際のフレームと推定フレームを時間においてアラインすること(時間的アライニング)により、二つ(若しくはそれ以上)のチャネル間の時間距離が効果的に無効にされ、その結果時間距離によって生じるアーチファクトを除去するか若しくは少なくとも軽減することができる。これまでに、時間距離を減らすための努力がなされた。しかしながら、本明細書で提案される装置により、66msに至るまでの大きな時間距離でも、この装置によって修正若しくは補正されることができる。装置は例えばフレームを収集するのに同じフレームレートとタイミングを用いて標準の(モノスコピック)イメージングの速度の半分でのステレオスコピックイメージングも可能にする。言い換えれば、3Dイメージングの効果が活用されることができ、さらにx線線量はモノスコピックイメージングほど低く抑えられることができる。推定された若しくは補間されたフレームを他方のチャネルからの各フレームとペアにすることによって、フレームペアにおける各フレームは、(3D画像結合器若しくは任意の他のポストプロセッサなどのポストプロセッサによって)同時に収集されたかのように処理される。ペアリングはペア内の各推定フレームを、他方の実際に収集されたフレームの収集時間でインデックスを付けることによってなされ得る。
一実施形態によれば、推定器は推定された若しくは補間されたフレームを第3のフレームへ向かってモーフィングするように構成される。装置は、それぞれ、第3の画像における信号対ノイズ比を改善するようにそのようにモーフィングされた推定フレームを第3のフレームとマージするように構成されるか、又は第3の画像若しくは第2のフレームにおける信号対ノイズ比を改善するように新たな補間フレームを第2のフレームとマージするように構成される、画像マージャを有する。例えば、ステレオスコピックイメージングにおいて、左チャネルにおいて収集されるフレームは右チャネルにおける信号対ノイズ比を改善するために使用されることができ、その逆もまた同様である。言い換えれば一つ若しくはそれ以上のチャネルに対する線量要件が軽減され得る。一実施形態によれば動き推定及びソフト閾値化法がマージング動作のために使用され得る。モーフィング動作は先述の動きベースの補間と同様であるが、二つの異なる投影方向において対象をイメージングすることによって生じる対象の見かけの動きを補正する動き補正をさらに含む。
一実施形態によれば、二つのチャネルにおける画像フレームは交互に収集される。
一実施形態によれば、第2のチャネルにおけるフレームレートは第1のチャネルにおけるフレームレートよりも低い。より具体的に、一実施形態によれば、新たな第2のチャネルフレームを収集する第2のチャネルにおけるリフレッシュは、i)動き検出器が第3のフレームと前の第2のチャネルフレームに基づいて動きを検出し、この動きがプリセットのユーザ調節可能な閾値を超えること、ii)対象から受信されるECG信号のいずれか一方によってトリガされる。
これはチャネルの一方におけるリフレッシュが、顕著な患者若しくは対象の動きにつながりそうな医療イベント若しくは他のイベントによってトリガされるので、x線線量のさらなる軽減を可能にする。こうした動きがない限り、新たな情報が得られないので、チャネルの一方はリフレッシュされない。しかしながら小さな動きはより高いフレーム若しくはリフレッシュレートを持つ他方のチャネルにおいてたどられる、若しくは追跡される。この実施形態において、第2のチャネルにおける低いリフレッシュレートのために、二つの連続する第1のチャネル画像フレームの収集時間の間に第2のチャネルフレームは収集されないかもしれない。この場合推定器は補外器として動作し、動き検出器と、受信した第1のチャネルフレームの各収集時間とを用いて補外して、ペースの遅い第2のチャネルにおいて前のフレームから推定される第2のチャネルフレームを得る。
一実施形態によれば、二つのチャネルにおける各フレームレートは対象のダイナミクスの時間スケールによりよく適応できるように独立してユーザ調節可能である。
一実施形態によれば、装置は出力された一つ若しくは複数のフレームペアを3D対応スクリーン上での表示用の3D画像に処理するように構成される3D画像プロセッサ若しくは結合器をさらに有する。そして装置はステレオスコピックイメージングのために使用され得る。しかしながら各ペアにおけるフレームを3D画像へ結合するのではなく、他のポストプロセッサモジュールが代替的に若しくは付加的に使用されてもよい。一実施形態によればデュアルエネルギーイメージングのためのプロセッサが使用され、フレームペアは改善された硬組織‐軟組織差別化を可能にする画像を得るように結合される。
一実施形態によれば、第1及び第2のチャネルはi)ステレオスコピックイメージングシステム、ii)バイプレーンイメージングシステム、iii)デュアルエネルギーイメージングシステムのいずれか一つにおける二つの個別チャネルである。一実施形態によれば、ステレオスコピック若しくはデュアルエネルギーイメージングシステムはバイプレーンであり得るので、各投影方向に一つの二つのX線管、各X線管に一つの二つの検出器がある。代替的な実施形態において、単一検出器が代わりに使用され得る。
マルチチャネルイメージングシステムにおいて信号対ノイズ比を改善する必要性もあり得る。本発明の第2の態様によれば、以下を有する画像処理装置が提供される:
i)第1のチャネルを通じて、関心対象に対して第1の投影方向において収集される第1のフレームを、並びに、ii)第2のチャネルを通じて、対象に対して第2の投影方向において収集される第2のフレームを、受信するための入力インターフェース;
第1のフレームを第2のフレームへ向かってモーフィングして、そのようにモーフィングされたフレームを得るように構成される推定器;
そのようにモーフィングされたフレームを第2のフレームとマージして第2のフレームにおける信号対ノイズ比を改善するように構成される画像マージャ。
これは同じチャネルからの画像のみではなく他のチャネルからの画像とマージすることによって信号対ノイズ比が改善され得るので、少ないx線線量の使用を可能にする。一実施形態によれば第1の画像は同じ第1のチャネルからの一つ以上のフレームと付加的にマージされる。本発明の第1の態様にかかる画像処理装置においてなされるように各チャネルにおいて別々に"時間"において推定するのではなく、本発明の第2の態様にかかるイメージング装置は二つの異なる投影角にわたって効果的にモーフィングするように二つのチャネルにわたってモーフィングするように構成される。言い換えれば第2の態様によれば、第1の態様におけるようにペアリングをもたらすための推定は必要ないかもしれない。任意の第1のチャネル画像は、その信号対ノイズ比が改善される第2のチャネル画像へと(マージの目的で)モーフィングされ得る。一実施形態によれば、その結果は第2のチャネルフレームの直後に若しくは直前に収集された第1のチャネル画像を選ぶことによって改善され得る。
代替的な実施形態によれば、クロスチャネルモーフィングは第2のチャネルにおける推定によって補完されるので、推定器は、上記本発明の第1の態様においてなされる方法と同様に推定された第1のチャネルフレームを得るために、最初にノイズの多い第2のチャネルフレームの収集時間へ時間的に"下げて"第1のチャネルにおける補外若しくは補間をするように"コンポーネントワイズ"に動作する。そして推定器は上記推定された第1のチャネルフレームを第2のチャネルフレームにわたってモーフィングする。
両態様は"チャネル横断的(trans‐channel)"アプローチを実施することによってマルチチャネルイメージングセッション中の患者に対する線量の削減に役立つ、すなわち一方のチャネルからの情報は他方における画像情報を改善する若しくは補完するために使用される。
[定義]
"連続する(第1若しくは第2のチャネル)フレーム"とは本明細書において、同じチャネルにおいて、後のフレームが前のフレームの直後にあるので、その二つの間に同じチャネルからさらなるフレームはないが、一般に(両チャネルにおけるフレームレートがほぼ等しい場合)二つの連続する(第1若しくは第2のチャネル)フレーム間で収集される他方のチャネルにおけるフレームがあることを意味する。
二つのフレームストリーム若しくはチャネル間の"時間距離"は、異なるチャネルにおいて二つの連続フレーム収集間で経過する時間である。
以下の図面を参照して本発明の実施形態例が記載される。
x線イメージング処理システムである。 画像処理の方法のフローチャートである。
図1を参照すると、マルチチャネルx線画像処理システム("イメージャ")100が示される。
一実施形態においてマルチチャネルイメージャ100は右チャネルCRと左チャネルCLの2チャネルを持つステレオスコピックイメージャである。イメージャ100の全体の動作はコンピュータコンソールCCによって制御される。
x線ビームpR,pLを有するx線放射は、右x線源XR及び左x線源XLからそれぞれ放出される。常にx線源XR,XLのうち一方のみがそれらの各x線pR若しくはpLを放出する。そしてx線pR若しくはpLは対象OBとそれぞれ相互作用した後、単一検出器Dによって検出される。代替的に、バイプレーン構成が使用される場合、各x線源若しくは管XL,XRに一つずつ、二つの検出器があってもよい。二つのx線管XL,XR及び一つ以上の検出器はフレーム(cアームなど)若しくはガントリ(不図示)に配置される。一実施形態によれば、フレーム、従ってx線管XL,XR及び一つ以上の検出器Dの位置は両ストリームの画像収集中に固定されていると仮定される。対象OBは診察台(不図示)の上に、二つのx線管XR,XLのいずれか一方と検出器Dの間に位置付けられる。対象OBは、各x線pR,pLが放射線技師によって検査されるべき関心領域において対象OBに衝突し相互作用するように、二つのx線管XR,XLに対して位置付けられる患者であり得る。対象OBにおいて物質と相互作用するとき、x線ビームpR及びpLは減衰される。この減衰のレベルは対象OBを通って移動する際の各x線のpL,pR組織内経路における対象物質の密度に依存する。検出器Dは、各々衝突する減衰したx線pL若しくはpRの各部分を電子信号に変換する検出器セルのグリッド(不図示)から成る。そしてこの電子信号はデータ収集システム(DAS‐不図示)によって各デジタル値に変換され、これは所与の収集時間にx線ビームpR若しくはpLのいずれかによるいずれか一照射について投影画像を形成する2次元アレイへ統合される。従って各投影画像は左x線管XL若しくは右XR管のいずれかと、上記投影画像の収集時間とに関連する。デジタル値はx線pR,pLの一方の各部分によって経験される減衰レベルをあらわす。従って画像は異なる密度を持つ対象の解剖学的構造の投影図若しくは"フットプリント"を記録する。
投影画像の左のストリームLF若しくはシーケンス("フレーム")LF,LF,LFは左のx線管XLから生じるx線ビームpLについて収集される。そして左チャネルストリームLFは左チャネルCLに沿って画像プロセッサIPへ転送されるが、その目的と動作は以下でより詳細に説明される。同様に、右チャネルストリームRFが右のx線源XRから生じるx線ビームpRについて収集される。右ストリームRFは同様に右チャネルCRを介して上記画像プロセッサIPへ転送される。そして二つのフレームストリームRF,LFは上記画像プロセッサIPにおいて適切な入力ユニット102によって受信される。そして上記処理から得られる画像情報は出力ユニット108によって3D画像結合器3DCへ転送され、これは受信した画像情報を3D画像情報3DIに変換し、そしてこれはモニタMでのビューのためにレンダリングされ得る。そして放射線技師などのユーザは患者OBの関心領域の3D表現を見ることができる。一実施形態によれば、左及び右ストリームLF,RFは、フレーム若しくはガントリが異なるストリームLF,RFからの収集間で静止したままである間に、収集される。図1に概略的に図示される通り、各x線ビームpR,pLが異なる投影方向において対象OBに入射するように、二つのx線源XR,XLは互いに対してわずかにオフセットされる。理想的には二つのx線ビームは対象OBが同じ空間配置にある間に対象OBを照射する。しかしながら実際には、検出器の電子機器が各照射を記録するために必要な積分時間のために、二つのx線管は同時に検出器を照射することができない。しかしバイプレーン構成が使用されるとしても、さもなければ一方のチャネルのコンプトン散乱が他方のチャネル上の画像を歪め、その結果信号対ノイズ比を減少させるので、左右のチャネルはやはり同時には収集されない。
従っていかなる二つの左右ストリームフレームの間にも時間的なオフセット、すなわち"距離"が存在する。この時間オフセットtΔの間に、画像化対象OBの空間配置は変化する可能性が高いので、いかなる二つの連続する左右画像も、一般に同じ配置すなわち"シーン"を記録しない。この空間配置の変化は、動き回る患者によって、又は心臓及び若しくは呼吸活動によってもたらされ得る。しかしながら3D画像結合器3DCの動作は、任意の二つの連続左右画像によって記録されるものはOBのまさに同じ(内部)空間配置であるという原理に基づく。二つの連続する左チャネル及び右チャネルフレームLF,RF2i+1間での配置の空間的変化は、3D画像結合器3DCによって出力される結合3D画像3DIにおいて画像アーチファクトを生じる。
二つの左チャネル及び右チャネルフレームRF2i+1,LF2iは同時に収集されることができないので、二つの画像ストリームRF及びLFは時間においてミスアラインしている("時間的ミスアライメント")。言い換えれば、他方のストリームLF,RFにおいて他のフレームが収集されなかったときに収集されている、一方のストリームRF,LFにおける少なくとも一つのフレームがある。時間的ミスアライメントの一実施例が図1に図示され、ここでは各々異なるストリームからの二つのフレームは同じ収集時間を持たない。この時間的ミスアライメントのケースは、一実施形態について図1に例示される通りストリームにおけるフレームが交互に連続して収集される画像収集プロトコルの結果である。この時間的ミスアライメントは互い違いに図示される二つのストリームRF及びLFによって図1に図示される。二つのストリームRF及びLFは二つのチャネルCL,CRにわたって連続的にただし交互に収集される。
大まかに言って、本明細書で提案される画像プロセッサIPは本質的に、二つのストリームLS,RS間の時間的ミスアライメント若しくは時間距離を無効にする若しくは除去するのに役立つ。その結果再構成された3D画像3DIにおける画像アーチファクトが軽減され得る。
[動作]
画像プロセッサIPは、それぞれ適切な入力ユニット102において左ストリーム及び右ストリームRF,LFを受信するために左及び右チャネルCL,CRを介してイメージャ100に通信可能であるように結合される。各フレームRF2i+1,LF2iは、i)図1にt‐tとして概略的に図示されるその個々の収集時間、及びii)これが左若しくは右チャネルフレームであるかどうか、によってインデックス付けされると仮定される。この情報はフレームRF2i+1,LF2iの各々に組み込まれるメタデータから導出され得るか、又はイメージャ100から若しくはこのメタデータが保持されるデータベースから入力ユニット102によって要求され得る。
一実施形態において、受信フレームRF2i+1,LF2iは適切なデータ構造で記憶され、そしてこのデータ構造は新たなフレームが入力ユニットにおいて受信されると更新される。データ構造はインデックス付フレームをそれらの収集時間に従った順序に順序付けて保持する。フレーム自体をデータ構造に記憶するのではなく、代わりに画像プロセッサIPがデータベース(不図示)から各フレームを読み出すことを可能にする適切なリファレンスが記憶されてもよいことが理解され得る。
そして推定器104は任意の二つの連続する左チャネルフレームLF2i、例えばLF及びLFを、そこから左チャネル中間画像LIFを推定するために読み込む。一実施形態によれば、推定器104は動き検出器110を含む。動き検出器110は連続する時間的隣接画像LF及びLFの各々における画像情報を用いて、各左チャネルフレームLF及びLFの収集時間t及びtの間の期間を通して対象OBが経験した動きを記述する動きベクトルを推定する。動き検出器110はソフト閾値化の有無にかかわらずブロックマッチングアルゴリズムに基づいて動作し得るか、又はオプティカルフロー法に基づいて動作し得る。
一実施形態にかかるブロックマッチングにおいて、連続する左フレームLF及びLFの各々はn×nピクセルのブロックにセグメント化される。そして二つのフレームの各々における画像部分若しくはブロックがブロック内の画像部分のピクセル値若しくは形状に従って二つのフレームにわたって比較されマッチされる。類似と決定されるマッチする画像部分は、対象OBの一つの同じ解剖学的構造のフットプリントであると仮定される。そして二つの左フレームLF及びLFは共通座標系に沿ってレジストレーションされる。動き推定は、他方のフレームLFにおける対応する近傍におけるベストマッチを検索し、そうしてブロックマッチングをなすことによって、一方のフレームLFにおける各ブロックについて動きベクトルを計算することによって実行される。マッチングのために、一方のフレームLFの1ブロックを他方のフレームLFのブロックへマップする剛体若しくは非剛体線形変換が計算され得る。その結果は動き若しくは変位ベクトルの2Dアレイであり、そしてこれは推定若しくは補間のために使用される。動き若しくは変位ベクトルの2Dアレイは対象OBのダイナミクスを記述する動的変換を定義する。変換は、各解剖学的構造のシフト及び/又は膨張若しくは収縮、従って各収集時間の間の期間tからtにおける対象OBの空間配置変化を記述する。言い換えれば対象OB若しくは関心領域のダイナミクスがそれによって推定され得る。そして推定器104はデータ構造におけるルックアップ動作によって、左チャネルフレームLF及びLFの収集時間の間に収集された右チャネルフレームRFの収集時間tを確立する。そして計算された変換は二つの連続する左チャネル画像LF及びLFのうち早い方LFに適用され、そしてこの変換は中間左チャネルフレームLIFを計算するように所望の中間右チャネルフレームインスタントtにおいて評価される。一実施形態において、中間期間t‐t及びt‐tの部分が比較され、変換は早い方のフレームLFに比例して適用される。例えば、t‐t=t‐tである場合、変位ベクトルはその長さの半分に0.5倍にスケールされ、それらスケールされたベクトルが、補間された左チャネルフレームLIFに達するように第1のフレームLFに適用される。代替的に、各ベクトルの方向を反転して、動的変換が遅い方のフレームLFに適用され、それによって前進補間ではなく後退補間をもたらしてもよい。言い換えれば、中間左チャネルフレームLIFは、左チャネル画像が実際に収集されなかったときに、もし中間時間tにおいて左手x線源XLを用いることによって収集されていたとすればそのように見えていたであろうフレームの推定である。さらに言い換えれば、右チャネルフレームRF2i+1が二つの連続する左チャネルフレームLF2i,LF2(i+1)(i=1,2,…)の各収集時間t2i,t2i+1の間に収集される、二つの連続する左チャネル画像LF2i,LF2(i+1)(i=1,2,…)の場合、推定器104は右チャネルフレームRF2i+1とペアにするために中間左チャネルフレームLIF2i+1を計算する動的補間器として動作する。動き検出器110は各中間右チャネルフレームRIF2iを計算するために全く類似した方法で動作する。
画像プロセッサの上記動作は、異なる収集プロトコルに従って、一つでなく複数の左チャネル画像がある期間にわたって一つの"ブロック"において収集され、そのときはじめてイメージングシステムが右チャネルに切り替え、同様に右チャネルフレームのブロックを収集する場合などにも適用され得る。言い換えれば、イメージャ100は図1に示す通り一回の収集後に一方のx線管XR,XLから他方のチャネルへ行ったり来たりしないが、他方のx線管XR,XLへの切り替えはチャネルCR,CLにつき複数回の収集後に起こり得る。このブロック収集実施形態において、前の補間は上記と同じ方法で適用されるが、ここでは例えば第1のチャネルフレームの二つの時間的隣接ブロック間で収集されている右チャネルフレームブロックにおけるフレームの収集時間の各々につき一つ、複数の補間がある。
そしてアライナ106が、実際に収集されたフレームRF1と上記補間された中間フレームLIFをアライン若しくは関連付け、時間においてアラインされたフレームペアを形成する。そしてこのペアは中間時間tでインデックス付けされてから3D画像結合器3DCへ転送される。そして結合器3DCはアラインされたペアからの画像情報を結合し、それらが同時に収集されたものとして処理し、インデックス付インスタンスtにおいて対象OBのビュー若しくは画像3DIを生成する。このように右チャネルフレームRF及び二つの左手画像LF及びLFの間の時間距離が補正若しくは除去される。
上記計算は、各右チャネルフレームRF2i+1とペアにされる各中間左チャネルフレームLIF2i+1(i=2,3,…)のシーケンスを計算するために各連続左チャネルフレームLF2i,LF2(i+1)(i=1,2,…)について繰り返される。全く類似した動作が補間器104とアライナ106によって右チャネル画像RF2i+1に適用され、補間された右チャネル中間画像RIF2iのシーケンスを計算する。そしてこの右チャネル中間フレームRIF2iの各々はアライナ106によって、各二つの右チャネルフレームRF2i+1,RF2(i+1)+1(i=0,1,2)の収集時間の間に収集された各左チャネルフレームLF2iとアラインされる。推定器104とアライナ106の全く類似した動作は先述の"ブロック"収集実施形態について実行される。
言い換えれば、画像プロセッサIPは、各"時間ギャップ"を埋めて二つのストリーム間に時間におけるアライメントをもたらすように、各ストリームおいて補間された若しくは推定されたフレームを用いることによって二つの画像ストリームを効果的に"インターリーブ"してフレームペアFPのシーケンスを生成するように動作する。
一実施形態によれば、画像プロセッサIPは"リアルタイムに"動作する、つまりいずれかのチャネルにおける補間されたフレームの各々は他方のチャネルにおける新たなフレームの受信時に計算される。
一実施形態によれば、画像プロセッサIPは、最初に各チャネルにおいてプリセットされた数のフレームが受信されてから、上記計算がバッファリングされたフレームのサブシーケンスに対して実行される、遅延バッファモードでも動作し得る。
一実施形態によれば、補間器104とアライナ106は二つのストリーム間を行ったり来たりすることによって補間されたフレームの各々とそれらのアライニングを計算するように動作する。代替的な実施形態において推定器104はまず一方のチャネルにおけるフレームのシーケンスに動作してから、右ストリームにおけるフレームのシーケンスに動作するように切り替える。
一実施形態によれば、各チャネルにおける"リフレッシュ"若しくはフレーム収集レートは別々に独立して設定され得る。一実施形態において、この機能はイメージャ100の動作を制御するために使用される制御コンソールCCによって提供され得る。さらにより具体的に一実施形態によれば、一方のチャネルにおけるリフレッシュレートはもう一方よりも低い。例えば右チャネルCRを担う右x線管XRのリフレッシュレートは、左チャネルCLを担う左x線管XLのリフレッシュレートよりも低く設定される。特に一実施形態によれば、右チャネルにおけるリフレッシュは特定イベントを条件としてなされる。一実施形態によればそのイベントはECG収集ユニットを介して対象OBから収集されるECG信号である。このように右手チャネルCRは対象OBにおいて所望の心臓心拍位相が観察される場合にのみリフレッシュする。このように、患者は比較的静止したままであるので、所望の心拍位相の二つの間で画像の収集はいかなる新しい情報も追加しないので、患者に対する線量が低く抑えられる。この等しくないフレームレートの実施形態において、右チャネルフレームレートと比較して高い左チャネルのフレームレートのために、二つの連続する左チャネルフレームの各収集時間の間に収集される右チャネルフレームはない可能性がある。この場合推定器104は補外器として動作し、前の右チャネルフレームから得られる動的情報を用いて、最新の利用可能な右チャネルフレームが、速いペースの左チャネルフレームの各収集時間において右x線管XRによって収集されていたとしたらどのように見えていたであろうかを"予測する"。この実施形態において、動き推定器104は補間モードに関連して上記したのと同様に動作する。言い換えれば、動き推定器は二つ以上の前の右チャネルフレーム間のダイナミクスを記述する動的変換を計算する。そしてこの変換は最新の右チャネルフレームに適用され、そして速いペースの左チャネルを介して同時に受信された左チャネル画像の収集時間によって定義されるインスタンスにおいて評価される。このように予測された右フレームが生成され出力される。しかしながら、右チャネルがリフレッシュされ新たな右チャネルフレームが収集されるとすぐに、推定器104は、この新たに受信された右チャネルフレームの直前及び直後にどの二つの左チャネルフレームが収集されたかを確立し、そして推定器104は上記の通り補間モードに戻り、新たに受信された右チャネルフレームについて中間左チャネルフレームを計算する。補外若しくは補間のいずれの場合も、アライナ106は左チャネルフレームを予測された右チャネルフレームの各々とペアにするか、又は新たに受信された右チャネルフレームを補間された中間左チャネルフレームとペアにし、出力ユニット108がそのように計算されたフレームペアを3D画像結合器3DCへ出力する。
代替的に、画像プロセッサのリアルタイム動作がユーザによって望まれない若しくは必要とされない場合、一実施形態によれば画像プロセッサIPはバッファモードで動作することができる。このモードにおいて、速い方の左チャネルにおけるフレームはバッファに蓄積される。遅い方のチャネルが最終的にリフレッシュをするとき、及び新たな右フレームが入力ユニットIUにおいて受信されるとき、推定器104は補間モードで動作し、新たに受信された右チャネル及び前の右チャネル画像に基づいて、バッファリングされた左フレームの各々につき一つ、一つ以上の補間された中間右チャネルフレームを計算し、そしてアライナはこれを上記の通りペアにする。そしてフレームペアは出力ユニットOUを介して3D画像結合器3DCへ転送される。一実施形態によれば、リアルタイムモードで動作するときでも、予測フレームを持つ、前に計算されたペアをリアリティチェックするためにバッファ動作が依然として使用され得る。そしてユーザは"時間をさかのぼってスクロール"し、今や以前の予測されたものではなく補間されたフレームを含むペアに基づいて、以前に計算された3D画像を再計算されたものと比較し得る。
一実施形態によれば、画像プロセッサIPはマージャ112も有し、左チャネルCL若しくは右チャネルCRのいずれかにおける任意の所定フレームについて信号対ノイズ比を改善するように構成される信号対ノイズ比"ブースタ"として動作する。一実施形態によれば、マージャはソフト閾値化を用いて信号対ノイズを改善する。任意の2フレームを統合若しくはマージするとき、二つの画像フレームのピクセル間のグレイレベルの差("デルタ")が所定閾値内である場合のみピクセルは統合若しくはマージされる。この閾値の値は静的な値であり得るが、画像中のノイズ量を測定することによっても決定され得る。その信号対ノイズ比が改善されるフレーム(本明細書では以下"ノイズの多いフレーム"とよぶ)が左チャネルフレームLF2iであると仮定すると、マージャ112は一実施形態に従ってノイズの多いフレームの画像情報を同じチャネルにおける一つ若しくは複数のフレームとマージするように動作する。付加的に若しくは代替的に、提案される画像プロセッサIPはノイズの多いフレームを他方のチャネルの他の右チャネルフレームからの画像情報と、特にノイズの多いフレームがペアになっている中間補間右チャネルフレームRIF2iとマージするようにも構成される。言い換えれば、画像プロセッサはマージのために使用され得る利用可能なフレームのプールを拡大し、それによってより多くの画像情報が使用されることを可能にし、従って信号対ノイズ比を増すことができる。マージング動作は十分に類似する画像部分と情報を保持し、そうでない情報を拒絶する及び/又は平均する。十分に類似する左及び右チャネル画像にわたる画像コンテンツはより高い忠実度を持ち、ノイズではなく有用な("ペイロード")信号に起因する。マージするとき、推定器は他のチャネルからのマージされるフレームをノイズの多いフレームに向かってモーフィングするモーフィングモードで動作する。
一実施形態において、左チャネルフレームから右チャネルフレームへのモーフィングを実現するために、推定器は補外モードで動作し、そしてここでさらに、x線管XR及びXL間のオフセットによって生じる、それに対応する検出器面にわたるセグメント化された画像部分若しくはブロックの"仮想"の動きを補正するように動作する。同様にモーフィングは右チャネルフレームから左チャネルフレームへ逆方向になされることができる。言い換えれば、モーフィングされたフレームは、所望の時間において収集されたフレームが、それぞれ他方のx線管XL,XRによって収集されていたとしたらどのように見えていたであろうかの推定である。上記x線管XR,XLの角度若しくは横方向オフセットは、フレームにおけるメタデータから導出され得るか又はイメージャ100から直接要求され得るか若しくはデータベースから読み出され得るイメージングジオメトリの一部である。画像プロセッサは右チャネルフレームのいずれをも、ノイズの多い左チャネルフレームとマージするためにモーフィングするように動作し得るが、より高い若しくは良好な信号対ノイズ比の結果は、補間画像がノイズの多い画像に類似する可能性が高いのでノイズと真の信号との間の分離が容易に達成され得るので、ノイズの多い画像とペアにされている補間フレームについてモーフィングすることによって実現され得る。
一態様によれば、画像プロセッサIPはアライナ106なしでも動作し得るが、他のチャネルからの任意のユーザ指定可能な一つ若しくは複数のフレーム"について(over)"モーフィングし、それをノイズの多いフレームとマージすることによってチャネルの一方における任意のフレームの信号対ノイズ比を改善するためだけに、マージャ112と動作する。この実施形態において、アライニングステップは実行されず、補間された中間フレームは推定器110によって計算されない。
図1において二つのチャネルCRとCLは画像プロセッサIPに別々に入力するように図示される。しかしながらこれは一実施形態例に過ぎない。別の実施形態によれば、画像プロセッサIPに入力する単一チャネルがあり、それぞれ左若しくは右x線源XR,XLによる照射から生じる各左右フレームはフレームのメタデータをスキャンする適切なスイッチによって入力ユニット102において二つの各チャネルへ解像される。
さらなる実施形態によれば、イメージャ100は図1に図示の通り二つの個別のx線管XR,XLを含まなくてもよいが、可動焦点若しくは二つの異なる焦点を持つ単一のx線管を含み、二つのチャネルは、焦点が二つの位置のうちのそれぞれ一つであるとき、又は二つの焦点のうちそれぞれ一つが使用されるときにとられるフレームに対応する。WO2010/146504は互いに対して変位した二つの焦点を生じることができるx線管を記載し、各焦点は異なる投影方向を持つx線ビームを生じる。さらに他の実施形態において、各チャネルは異なるエネルギー(keV)レベルにおいて動作する単一の若しくは複数のx線管に対応し得る。
当然のことながら上記において左若しくは右チャネルについて固有なことは何もない。画像プロセッサIPの様々な動作モードと実施形態が主に左チャネルに関して説明されていることは明確さと明瞭さのために過ぎない。同じことは右チャネルとそのフレームについて準用し、また当然のことながら一部の実施形態において低い方のフレームレートを持つのは左チャネルであり、右チャネルが速いペースのチャネルである。
一実施形態によれば画像プロセッサIPは"リープフロッグ"モードで動作し得る。言い換えればいずれかのチャネルにおける任意の二つの連続フレームに動作するのではなく、画像プロセッサはチャネルごとに選択可能な数のフレームを効果的にスキップするように構成されることができ、このフレームは画像プロセッサIPによって考慮されず、無視される。例えば一実施形態においてIP画像プロセッサは任意の他の若しくは任意のj番目のフレーム(j>3)に動作し、フレームの左若しくは右ストリームの各々における真のサブシーケンスに効果的に動作するように構成され得る。一実施形態によれば、画像プロセッサはインスタントセッション若しくは画像収集実行のための要望通りにいずれかのチャネルCR,CLにおいて、若しくは両チャネルCR及びCLにおいて、リープフロッグモード動作を可能にする。
一部の実施形態においてイメージャは2チャネルよりも多く例えば3チャネルにわたって動作し得るので、上記はステレオスコピックイメージングに限定されない。3チャネル実施形態において、画像プロセッサIPは時間においてアラインされる3チャネルにわたってトリプレットを出力するように動作し得る。さらに他の3チャネル以上の実施形態において、画像プロセッサは3及びそれ以上のチャネルから2チャネルの任意の組み合わせ若しくは選択についてアラインされたフレームのペアを出力するように動作し得る。
一実施形態において3D結合器3DCは画像プロセッサIPとは別のモジュールとして構成され得る。結合器3DCは画像プロセッサがアドオンとして含まれ得る既存のステレオスコピックイメージングシステムの一部であり得る。代替的な実施形態において、結合器3DCは画像プロセッサIPの一部として含まれる。一実施形態によれば、画像プロセッサIPは専用FPGAとして若しくはハードワイヤードスタンドアロンチップとして構成され得るか、又はコンソールCC上でモジュールとして実行し得る。画像プロセッサIPはMatlab(登録商標)若しくはSimulink(登録商標)などの適切な科学計算プラットフォームにおいてプログラムされ、ライブラリに保存されるC++若しくはCルーチンへと変換され、中央操作コンソールCCによって要求されるときにリンクされ得る。
図2を参照すると、上記画像プロセッサIPの動作の基礎となる画像処理法についてフローチャートが示される。
ステップS205において二つのフレームが第1のチャネルを通じて受信され、一方のフレームは他方の後に収集される。第1のチャネルフレームの両方はx線管‐検出器配置によって第1の投影方向に沿って対象から収集されている。第1の投影方向と異なる第2の投影方向において対象から収集される第2のチャネルを通じて受信される少なくとも一つの画像若しくはフレームもある。
ステップS210において推定フレームが二つの第1のチャネルフレームから計算される。一実施形態によれば、第2のチャネルフレームが、早い方の第1のチャネルフレームの後及び遅い方の第1のチャネルフレームの前に収集される。この実施形態において、推定は第2のチャネルフレームの収集時間を用いる補間であり、推定フレームは二つの第1のチャネルフレーム間で時間において補間される中間フレームである。
そしてステップS215において上記推定フレームは第2のチャネルフレームとアラインされる。
ステップS220において推定フレームと第2のチャネルフレームは時間的にアラインされたフレームのペアとして出力される。
一実施形態によれば、アラインされたフレームのペアは第2のチャネルフレームの収集時間に対応する瞬間3Dビューを生成する3D画像プロセッサにおける入力になり得、上記ペアは専用3Dゴーグルでのビューのための3D対応スクリーン上での表示のためにレンダリングされ得る。前のステップS210‐S220は新たに入ってくる受信された第1のチャネルフレーム、及び新たに受信された第1のチャネルフレームの前に収集される最新の利用可能な第1のチャネルフレームの各々について繰り返される。言い換えれば一実施形態によれば、ステップS210‐S220は任意の二つの連続する第1のチャネルフレーム及びそれら二つの間で収集される任意の第2のチャネルフレームについて繰り返される。そのように計算された中間フレームは各々、各二つの連続する第2のチャネルフレームの間に収集される各第2のチャネルフレームとペアにされる。このようにペアにされた第1及び第2のチャネルフレームのストリームが生成され、これはフレームが入ってくるたびに連続的に更新される。このように、表示される3D画像の対応する更新は各フレームペアが出力されるときにそれらを連続的に3D処理することによってもたらされ得る。
一実施形態によればステップS210‐S220は、推定される(中間の)第2のチャネルフレームを得て、各第2のチャネルフレーム間で収集されている対応する第1のチャネルフレームと上記第2のチャネルの中間フレームをペアにするように、任意の二つの連続する第2のチャネルフレームにも逆に適用されることもできる。
一実施形態によれば、早い方の第1のチャネルフレームは第2のチャネルフレームの前に収集された全ての第1のチャネルフレームのうち最も遅く、遅い方の第1のチャネルフレームは第2のチャネルフレームの後に収集された全フレームのうち最も早い。早い方及び遅い方の第1のチャネルフレームは第2のチャネルフレームの時間的に直近の近傍である。同様に連続する第2のチャネルフレームは各第1のチャネルフレームの直近の近傍である。しかしながら、別の実施形態によれば方法は第2のチャネルフレームの直前若しくは直後に収集されない第1のチャネルフレームにリープフロッグ形式で適用されてもよい。先と同様に、第1のチャネルフレームの時間的に直近の近傍ではないかもしれない第2のチャネルフレームに同じことが準用する。
上記方法の動作により、各チャネルにおける両ストリームは、二つの連続するフレーム間の一方のチャネルにおける時間的ギャップが補間フレームによって"埋められる"ので、効果的にアラインされる。
上記方法は3(若しくはそれ以上の)チャネルシステムにも適用され得る。この実施形態において、フレームペアではなくフレームトリプレットがステップS220において出力される。代替的な実施形態によれば、上記動作は3チャネルから任意の2チャネルについて実行される。
一実施形態によれば、推定ステップS210はステップS212における動き検出のステップを含む。この動き検出ステップS212において、二つの連続フレームの収集中に起こった画像化対象の動きが検出される。そしてそのように検出された動きは、同じ動きを前のフレームに適用することによって若しくはその動きの反転を後のフレームに適用することによって、及び右チャネルフレームの収集時間においてこの動きを評価することによって、補間された中間フレームを計算するために使用される。
一実施形態によれば、第2のチャネルのリフレッシュレートは二つの連続フレーム間で動きが検出されるか否かに左右される。動きが検出される場合、閾値を用いてこの動きがこの閾値を超えるかどうかが決定され、新たな第2のチャネル画像が収集されるようにリフレッシュ要求が有効なx線管に発せられる。この実施形態において対象の動きに密接に従うのは第1の画像におけるフレームのみであり、上記情報は、二つの連続する第1のチャネルフレーム間で観察される動きがそうした第2のリフレッシュ及び従って線量照射を保証するために十分なほど有意であるとみなされる場合に、右チャネル画像によって時折しか補完されない。一実施形態によれば、動きの程度を測定する閾値は、動き推定ステップS212において計算される各変位若しくは動きベクトルによってピクセルで測定される変位である。上記ベクトルは共通座標軸に沿ってレジストレーションされるときの二つの連続フレームにわたる関連画像部分のシフト、回転、収縮若しくは膨張から明らかなように、対象の空間配置における変化を測定する。
一実施形態によれば、第2のチャネルのリフレッシュは例えば対象の心拍位相をあらわす受信されたECG信号によってトリガされ得る。他の実施形態では、上記対象若しくは患者の空間配置を示す他の信号(対象の呼吸サイクルを示す信号など)が受信され得る。
第2のチャネルにおけるフレームレートが第1のチャネルにおいてよりも低いとき、二つの連続する第1のチャネルフレームの収集時間の間に第2のチャネルフレームが収集されないという状況が起こり得る。この場合、上記推定ステップS210は補外ステップとして実施される。一実施形態において、動き検出は最新の及び前の第2のチャネルフレームに適用される。そしてこの動きが最新の第2のチャネルフレームに適用され、フレームが二つの第1のチャネル画像の各収集時間へ補外される。そしてそのように予測された第2のチャネルフレームは各第1のチャネルフレームとペアにされて、この等しくないフレームレートの実施形態においてアライメントをもたらす。
一実施形態によれば二つのチャネルのいずれか一方について計算された各推定中間フレームを他方のチャネルのフレームとマージするステップS214もある。それによって他方のチャネルにおける信号対ノイズ比が改善され得る。一実施形態においてこのステップは補間フレームを他方のチャネルへモーフィングすることを含む。一態様において信号対ノイズ比改善をもたらす上記マージング及びモーフィングステップS214はアライニングステップを伴わずに、中間フレームの推定すら伴わずに実行され得る。中間フレームが推定されないとき、1チャネルからの任意のフレームは、投影方向間の横方向若しくは角度オフセットを用いて上記オフセットによって生じる見かけの動きを補正することによって、及び/又はモーフィングされるフレームの同じチャネルにおける前のフレームを用いた動き推定を用いることによって、モーフィングされ得る。
本発明の別の実施形態例において、先の実施形態の一つにかかる方法の方法ステップを適切なシステム上で実行するように構成されることを特徴とするコンピュータプログラム若しくはコンピュータプログラム要素が提供される。
従ってコンピュータプログラム要素は本発明の一実施形態の一部でもあり得るコンピュータユニット上に記憶され得る。このコンピュータユニットは上記方法のステップを実行するように若しくはステップの実行を誘導するように構成され得る。さらに、これは上記装置の構成要素を操作するように構成され得る。コンピュータユニットは自動的に動作するように及び/又はユーザの命令を実行するように構成され得る。コンピュータプログラムはデータプロセッサのワーキングメモリにロードされ得る。従ってデータプロセッサは本発明の方法を実行するように装備され得る。
本発明のこの実施形態例は、最初から本発明を用いるコンピュータプログラム及びアップデートによって既存のプログラムを本発明を用いるプログラムに変えるコンピュータプログラムの両方をカバーする。
さらに、コンピュータプログラム要素は上記方法の一実施形態例の手順を実行するために必要な全ステップを提供することができてもよい。
本発明のさらなる実施形態例によれば、CD‐ROMなどのコンピュータ可読媒体が提供され、コンピュータ可読媒体は前節によって記載されるコンピュータプログラム要素を記憶する。
コンピュータプログラムは、他のハードウェアと一緒に若しくはその一部として供給される光記憶媒体若しくは固体媒体などの適切な媒体上に記憶及び/又は分散され得るが、インターネット又は他の有線若しくは無線通信システムなどを介して他の形式で分散されてもよい。
しかしながら、コンピュータプログラムはワールドワイドウェブのようなネットワークを介して提供されてもよく、こうしたネットワークからデータプロセッサのワーキングメモリにダウンロードされ得る。本発明のさらなる実施形態例によれば、コンピュータプログラム要素をダウンロードに利用可能にするための媒体が提供され、このコンピュータプログラム要素は本発明の前記実施形態の一つにかかる方法を実行するように構成される。
本発明の実施形態は異なる主題に関連して記載されることが留意されるべきである。特に、一部の実施形態は方法タイプクレームに関連して記載され、一方他の実施形態は装置タイプクレームに関連して記載される。しかしながら、当業者は、他に明記されない限り、あるタイプの主題に属する特徴の任意の組み合わせに加えて、異なる主題に関する特徴間のいかなる組み合わせも本願とともに開示されるとみなされることを、上記及び下記から推測するだろう。しかしながら、全特徴は組み合わされて特徴の単なる総和にとどまらない相乗効果をもたらすことができる。
本発明は図面及び上記説明に詳細に図示され記載されているが、かかる図示と記載は例示若しくは説明であって限定ではないとみなされるものとする。本発明は開示の実施形態に限定されない。開示の実施形態への他の変更は、図面、開示及び従属クレームの考察から、請求される発明を実践する上で当業者によって理解されもたらされることができる。
クレーム中、"有する"という語は他の要素若しくはステップを除外せず、不定冠詞"a"若しくは"an"は複数を除外しない。単一のプロセッサ若しくは他のユニットはクレームに列挙される複数の項目の機能を満たし得る。特定の手段が道後に異なる従属クレームに列挙されるという単なる事実は、これら手段の組み合わせが有利に使用されることができないことを示さない。クレーム中の任意の参照符号は範囲を限定するものと解釈されるべきではない。

Claims (13)

  1. 画像処理システムであって、
    関心対象に対して第1の投影方向において収集されるフレームの第1のストリーム、及び
    前記対象に対して第2の投影方向において収集されるフレームの第2のストリーム
    を供給する少なくとも2チャネルのx線イメージャと、
    i)前記第1のストリームから、第1のフレームは第2のフレームの前に収集される、前記第1及び第2のフレームを、
    ii)前記第2のストリームから、第3のフレームを、
    受信するための入力インターフェースと、
    前記第1のフレーム及び後に収集される前記第2のフレームから、推定フレームを計算する推定器と、
    前記推定フレームを前記第2のストリームの前記第3のフレームと時間的にアラインするアライナと、
    前記推定フレームと前記第3のフレームを時間的にアラインされるフレームのペアとして出力する出力インターフェースと
    前記二つのストリームに対して時間的にアラインされるフレームの前記出力ペアに基づいて画像を表示するためのスクリーンと
    を有する、画像処理システム。
  2. 前記第3のフレームが前記第1のフレームの後及び前記第2のフレームの前に収集され、前記推定フレームは前記推定器が前記第3のフレームの収集時間を用いて前記第1及び第2のフレームから補間される、請求項1に記載の画像処理システム。
  3. 前記第2のフレームの後に収集される新たな第2のチャネルフレームを受信すると、前記推定器が前の前記第3のフレームと前記新たな第2のチャネルフレームから新たな推定フレームを計算し、前記アライナが前記新たな推定フレームを前記第2のフレームとアラインし、出力ユニットが前記新たな推定フレームと前記第2のフレームをアラインされるフレームの新たなペアとして出力し、それによって装置が前記二つのチャネルについて複数の時間的にアラインされるペアを生成する、請求項1又は2に記載の画像処理システム。
  4. 前記第1及び第2のフレームにおける、若しくは前記第3のフレーム及び前記新たな第2のチャネルフレームにおける画像情報に基づいて、前記第1及び第2のフレームの収集中、若しくは前記第3のフレーム及び前記新たな第2のチャネルフレームの収集中の、前記対象の動きを検出する動き検出器をさらに有し、前記推定器が、もしあれば検出された前記動きを用いて前記推定を計算する、請求項1乃至3のいずれか一項に記載の画像処理システム。
  5. 前記推定器が前記推定フレームを前記第3のフレームへ向かってモーフィングし、前記装置が、
    前記第3のフレームにおける信号対ノイズ比を改善するように前記モーフィングされた推定フレームを前記第3のフレームとマージする、又はそれぞれ前記第3のフレーム若しくは前記第2のフレームにおける信号対ノイズ比を改善するように前記新たな推定された若しくは補間されたフレームを前記第2のフレームとマージする、画像マージャをさらに有する、
    請求項1乃至4のいずれか一項に記載の画像処理システム。
  6. 前記二つのチャネルにおけるフレームが交互に収集される、請求項1乃至5のいずれか一項に記載の画像処理システム。
  7. 前記第2のチャネルにおけるフレームレートが前記第1のチャネルにおけるフレームレートよりも低い、請求項1乃至6のいずれか一項に記載の画像処理システム。
  8. 前記新たな第2のチャネルフレームを収集する前記第2のチャネルにおけるリフレッシュが、i)前記動き検出器が前記第3のフレーム及び前の第2のチャネルフレームに基づいて動きを検出し、前記動きがプリセットのユーザ調節可能な閾値を超えること、及びii)前記対象から受信されるECG信号のいずれか一つによってトリガされる、請求項3乃至7のいずれか一項に記載の画像処理システム。
  9. 前記二つのチャネルにおける各フレームレートが独立してユーザ調節可能である、請求項1乃至7のいずれか一項に記載の画像処理システム。
  10. 前記出力された一つ若しくは複数のフレームペアを三次元対応スクリーン上での表示用の三次元画像へ処理する三次元画像プロセッサをさらに有する、請求項1乃至9のいずれか一項に記載の画像処理システム。
  11. 前記第1及び第2のチャネルが、i)ステレオスコピックシステム、ii)バイプレーンイメージングシステム、iii)デュアルエネルギーイメージングシステムのいずれか一つにおける二つの個別チャネルである、請求項1乃至10のいずれか一項に記載の画像処理システム。
  12. 処理ユニットによって実行されるときに、
    第1のチャネルを通じて、i)関心対象に対して第1の投影方向において両方とも収集される第1及び第2のフレームであって、前記第1のフレームは前記第2のフレームの前に収集される、第1及び第2のフレームを、第2のチャネルを通じて、ii)前記対象に対して第2の投影方向において収集される第3のフレームを、受信するステップと、
    前記第1のフレームと後に収集される前記第2のフレームとから推定フレームを推定するステップと、
    前記推定フレームを前記第2のチャネルの第3のフレームと時間的にアラインするステップと、
    前記推定フレームと第3のフレームを時間的にアラインされるフレームのペアとして出力するステップと、
    前記時間的にアラインされるフレームの前記出力ペアに基づいて画像を表示するステップと
    を実行する、請求項1乃至11のいずれか一項に記載のシステムを制御するためのコンピュータプログラム要素。
  13. 請求項12に記載のプログラム要素を記憶したコンピュータ可読媒体。
JP2015519467A 2012-07-05 2013-07-01 マルチチャネルx線イメージングのための画像ストリームの時間的アライメント及び信号対ノイズ比の改善 Active JP6404815B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261668046P 2012-07-05 2012-07-05
US61/668,046 2012-07-05
PCT/IB2013/055393 WO2014006556A1 (en) 2012-07-05 2013-07-01 Temporal alignment of and signal-to-noise-ratio enhancment in image streams for multi-channel x-ray imaging

Publications (3)

Publication Number Publication Date
JP2015521886A JP2015521886A (ja) 2015-08-03
JP2015521886A5 JP2015521886A5 (ja) 2016-08-18
JP6404815B2 true JP6404815B2 (ja) 2018-10-17

Family

ID=48953416

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015519467A Active JP6404815B2 (ja) 2012-07-05 2013-07-01 マルチチャネルx線イメージングのための画像ストリームの時間的アライメント及び信号対ノイズ比の改善

Country Status (5)

Country Link
US (1) US10887492B2 (ja)
EP (1) EP2869769B1 (ja)
JP (1) JP6404815B2 (ja)
CN (1) CN104427939B (ja)
WO (1) WO2014006556A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150237327A1 (en) * 2015-04-30 2015-08-20 3-D XRay Technologies, L.L.C. Process for creating a three dimensional x-ray image using a single x-ray emitter
KR101725891B1 (ko) 2015-08-05 2017-04-11 삼성전자주식회사 단층 영상 장치 및 그에 따른 단층 영상 복원 방법
US10789674B2 (en) * 2015-09-25 2020-09-29 Koninklijke Philips N.V. Spacial flicker removal at low frame rates in fluoroscopy

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5841833A (en) 1991-02-13 1998-11-24 Lunar Corporation Dual-energy x-ray detector providing spatial and temporal interpolation
JPH09173328A (ja) * 1995-12-27 1997-07-08 Toshiba Corp X線診断装置
US6268846B1 (en) * 1998-06-22 2001-07-31 Adobe Systems Incorporated 3D graphics based on images and morphing
JP2002185862A (ja) * 2000-12-15 2002-06-28 Mega Chips Corp 画像信号のノイズ除去方法
US6393097B1 (en) 2000-12-22 2002-05-21 Ge Medical Systems Global Technology Company, Llc Digital detector method for dual energy imaging
US7447536B2 (en) * 2002-11-12 2008-11-04 G.E. Medical Systems Global Technology Company, Llc System and method for measurement of local lung function using electron beam CT
JP2004321310A (ja) 2003-04-22 2004-11-18 Canon Inc 放射線撮像装置
US7209538B2 (en) * 2003-08-07 2007-04-24 Xoran Technologies, Inc. Intraoperative stereo imaging system
JP4451730B2 (ja) 2003-09-25 2010-04-14 富士フイルム株式会社 動画生成装置、方法及びプログラム
JP4459678B2 (ja) * 2004-03-26 2010-04-28 富士フイルム株式会社 放射線動態画像取得方法および装置
CN100580701C (zh) * 2004-07-07 2010-01-13 皇家飞利浦电子股份有限公司 用于校正层析x射线摄影图像中的时间伪像的系统和方法
US20060125920A1 (en) * 2004-12-10 2006-06-15 Microsoft Corporation Matching un-synchronized image portions
CN102077572B (zh) * 2008-06-19 2014-06-11 松下电器产业株式会社 用于在成像系统中防止运动模糊和重影的方法及装置
US8411137B2 (en) * 2008-07-16 2013-04-02 Dolby Laboratories Licensing Corporation Dual projection system with inversely synchronized channel projections
WO2010146504A1 (en) 2009-06-17 2010-12-23 Philips Intellectual Property & Standards Gmbh X-ray tube for generating two focal spots and medical device comprising same
JP2011139222A (ja) * 2009-12-28 2011-07-14 Toshiba Corp 立体画像処理装置、tv受信機及び立体画像処理方法
US9014424B2 (en) * 2010-03-02 2015-04-21 Brainlab Ag Tracking representations of indicator body parts
FR2958824A1 (fr) * 2010-04-09 2011-10-14 Thomson Licensing Procede de traitement d'images stereoscopiques et dispositif correspondant
US9277164B2 (en) * 2010-07-06 2016-03-01 Mark Lane Apparatus, system, and method for tagging objects in a video stream
WO2012123843A1 (en) 2011-03-15 2012-09-20 Koninklijke Philips Electronics N.V. Stereoscopic imaging

Also Published As

Publication number Publication date
US20150172516A1 (en) 2015-06-18
JP2015521886A (ja) 2015-08-03
US10887492B2 (en) 2021-01-05
EP2869769B1 (en) 2020-05-27
WO2014006556A1 (en) 2014-01-09
CN104427939B (zh) 2018-04-24
EP2869769A1 (en) 2015-05-13
CN104427939A (zh) 2015-03-18

Similar Documents

Publication Publication Date Title
EP1869643B1 (en) Image processing device and method for blood flow imaging
EP2661735B1 (en) Method and apparatus to detect and correct motion in list-mode pet data with a gated signal
US20100201786A1 (en) Method and apparatus for reconstructing an image
US7940892B2 (en) Energy substraction method and apparatus
JP5643218B2 (ja) X線ct装置及びx線ct装置による画像表示方法
WO2012123850A1 (en) Medical imaging device for providing an image representation supporting in positioning an intervention device
WO2002050775A1 (en) Three dimensional image reconstruction from single plane x-ray fluorograms
US10575811B2 (en) X-ray diagnosis apparatus, image processing apparatus, and image diagnosis aiding method
JP6404815B2 (ja) マルチチャネルx線イメージングのための画像ストリームの時間的アライメント及び信号対ノイズ比の改善
JP4777164B2 (ja) 心拍位相決定装置、プログラム及びx線診断装置
US9830685B2 (en) Method for the determination of dual energy image data records and X-ray facility
JP4322459B2 (ja) X線診断装置
JP6274506B2 (ja) X線診断装置
JP2021133243A (ja) デジタルマンモグラフィイメージングのための方法およびシステム
CN106780651B (zh) 一种心脏螺旋ct图像重建方法及装置
JP4996128B2 (ja) 医用画像処理装置及び医用画像処理方法
JP2007260398A (ja) 心臓のコンピュータ断層撮影表示における階段状アーチファクトの低減方法およびメモリ媒体
US12014491B2 (en) Correcting motion-related distortions in radiographic scans
WO2011031134A1 (en) Image processing method and system
WO2015072072A1 (ja) 画像処理装置及びその作動方法、撮影装置及びその作動方法、撮影システム、並びにコンピュータプログラム
JP6640550B2 (ja) X線診断装置
KR101226479B1 (ko) 씨티에서 스카우트 영상 획득 방법
JP7187217B2 (ja) 医用画像処理装置、x線診断装置及び医用画像処理プログラム
JP2003190147A (ja) X線ct装置及び画像処理装置
CN1938729A (zh) 用于3D x射线成像的装置和方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160630

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160630

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170502

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171012

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180627

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180913

R150 Certificate of patent or registration of utility model

Ref document number: 6404815

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250