JP6216770B2 - 形状検知によるアーティファクト除去 - Google Patents

形状検知によるアーティファクト除去 Download PDF

Info

Publication number
JP6216770B2
JP6216770B2 JP2015506326A JP2015506326A JP6216770B2 JP 6216770 B2 JP6216770 B2 JP 6216770B2 JP 2015506326 A JP2015506326 A JP 2015506326A JP 2015506326 A JP2015506326 A JP 2015506326A JP 6216770 B2 JP6216770 B2 JP 6216770B2
Authority
JP
Japan
Prior art keywords
image
imaging
shape
shape detection
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015506326A
Other languages
English (en)
Other versions
JP2015514491A (ja
Inventor
グラス,ミヒャエル
シェーファー,ディルク
マンツケ,ロベルト
チャン,レイモンド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2015514491A publication Critical patent/JP2015514491A/ja
Application granted granted Critical
Publication of JP6216770B2 publication Critical patent/JP6216770B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5252Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data removing objects from field of view, e.g. removing patient table from a CT image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2061Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • G06T2207/10121Fluoroscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30021Catheter; Guide wire

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Description

本開示は、医療機器及び撮像に関し、特に、機器アーティファクトを画像から除去することで画質を高めるために機器形状検知を用いることに関する。
血管造影研究において、インターベンショナル・プロシージャの間、カテーテルは、関心のある血管構造内に造影剤を注入するのに用いられる。そのようなプロシージャの例には、冠動脈造影プロシージャ、例えば、経皮経管冠動脈インターベンション(Percutaneous Transluminal Coronary Intervention)(PTCI)、又は経カテーテル大動脈弁移植(Transcatheter Aortic-Valve Implantation)(TAVI)のような弁膜プロシージャがある。バルーン、ステント、及び他のフィルタ装置プロシージャもカテーテルに基づく配備を有し、頻繁に、3D体積再構成(例えば、3D atriography)及び視覚化のために投影を取得するよう回転式X線(RX)撮像の必要性が存在する。造影剤により強調された投影は、そのような3D画像再構成のための入力として使用され得る。
カテーテルは、造影剤を適用するための必要条件であるが、再構成された視野内でカテーテルを見ることは、必ずしも有利なものでない。これは、特に、カテーテルが部分的にしか視野内にない場合(全ての投影において可視的でない。)、カテーテルが回転シーケンスの一部においてしか造影剤により満たされない場合、又は取得中にカテーテルが強震動を示す場合に、好ましくない。
本原理に従って、撮像用医療システムは、プロセッサと、該プロセッサへ結合されるメモリとを含む。前記メモリは、医療機器へ結合される形状検知システムから形状検知データを受信するよう構成される形状検知モジュールを含む。前記形状検知システムは、前記医療機器の形状及び位置を測定するよう構成される。画像生成モジュールは、前記形状検知システムによって測定される前記医療機器の少なくとも形状及び位置に基づき、生成画像から前記医療機器の画像アーティファクトを検出してデジタル除去するよう構成される。
他の医療システムは、医療機器と、該医療機器の形状及び位置を測定するよう前記医療機器へ結合される形状検知システムとを含む。撮像システムは、対象を撮像するよう構成され、前記医療機器の画像アーティファクトは、前記対象の画像において少なくとも部分的に存在する。画像生成モジュールは、前記形状検知システムによって測定される前記医療機器の少なくとも形状及び位置に基づき、生成画像から前記医療機器の少なくとも前記画像アーティファクトを検出してデジタル除去するよう構成される。
画像処理方法は、機器から形状検知データを集めるステップと、内部画像ボリュームにおいて前記機器を撮像するステップと、前記機器からの前記形状検知データを用いることによって、前記内部画像ボリュームにおいて前記機器によって引き起こされる画像アーティファクトを検出するステップと、画像補間処理及び前記形状検知データを用いることによって、前記画像アーティファクトを除去するステップとを含む。
本開示の上記及び他の目的、特徴及び利点は、添付の図面に関連して読まれるべきその実例となる実施形態の以下の詳細な説明から明らかになるであろう。
一実施形態に従って、画像アーティファクトを識別して除去するために形状検知データを用いる画像アーティファクト除去システムを示すブロック/フロー図である。 一例に従って、心臓に入るカテーテルを示す透視画像である。 一例に従って、画像処理によって検出されて強調表示されたカテーテルを示す透視画像である。 一例に従って、心臓におけるカテーテル投影アーティファクトを示す透視画像である。 本原理に従って除去されたカテーテル投影アーティファクトを示す透視画像である。 実例となる実施形態に従って、画像処理方法を示すフロー図である。
本開示は、図面を参照して、好ましい実施形態の以下の説明を詳細に提示するであろう。
本原理に従って、安全で且つ実時間の、画像からの機器の識別及び除去が、提供される。このような、画像からの機器の識別及び除去は、関連する画像アーティファクトの影響を最小限にすることから、有益な特徴である。かかる解決法は、X線又は他の放射線のための撮像視野におけるカテーテル、埋め込み電極リード、ガイドワイヤ、等に適用可能である。
特に有用な実施形態においては、光学式形状検知(optical shape sensing)(OSS)が、機器の位置、形状及び向きを検出するのに用いられる。OSSは、カテーテル、ガイドワイヤ、電極リード、又は他の可撓な細長い機器に組み込み可能であり且つ患者の体外の解析ユニットへ接続される特別の光ファイバを利用する。ファイバの位置及び形状は、機器の一端へ接続されている解析ユニットにおいて、基準に対する光のレイリー散乱のモデリング及び解析を用いて、実時間で測定される。それによって、機器のその範囲に沿った位置が撮像空間において知られる。機器の形状及び位置に関する空間情報は、造影剤注入及び回転投影取得の間に、補間方法並びに撮像における既知の機器ジオメトリ及び特性により、投影画像上の機器の位置を計算し、投影から機器を除去するのに使用され得る。
形状検知情報は、装置特性のエキスパートデータベース又はライブラリ(例えば、3Dモデル又は以前の場合若しくはデータセット(履歴データ)に基づく。)と組み合わされて、全体の投影データセット内の機器のフットプリント又はX線影の簡単な除去を可能にするであろう。機器の検出及び追跡に関連したプロセッシングオーバヘッドは取り除かれ得る。エキスパートデータベース又はライブラリはまた、目前にあるプロシージャの適応最適化のために標準の機械学習法によって拡張され得る。
本発明は医療機器に関して記載されるであろう点が、更に理解されるべきである。しかしながら、本発明の教示は、よりずっと幅広く、機器又は対象を画像から除去するのに形状検知を用いることができるあらゆる撮像システムに適用可能である。幾つかの実施形態において、本原理は、複雑な生物学的又は機械的システムを追跡又は解析する際に用いられる。特に、本原理は、生物学的システムの内部追跡及び撮像プロシージャ、肺、胃腸管、排出器、脳、心臓、血管、等のような身体の全領域におけるプロシージャに適用可能である。図面において表されている要素は、ハードウェア及びソフトウェアの様々な組み合わせにおいて実施され、単一の要素又は複数の要素において組み合わされ得る機能を提供してよい。
図面に示されている様々な要素の機能は、専用のハードウェア及び適切なソフトウェアに関連してソフトウェアを実行可能なハードウェアの使用を通じて提供され得る。プロセッサによって提供される場合に、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、又は一部が共有され得る複数の個別のプロセッサによって、提供され得る。加えて、語「プロセッサ」又は「コントローラ」の明示的使用は、ソフトウェアを実行可能なハードウェアのみに言及すると解釈されるべきではなく、制限なしに、デジタル信号プロセッサ(“DSP”)ハードウェア、ソフトウェアを記憶するための読み出し専用メモリ(“ROM”)、ランダムアクセスメモリ(“RAM”)、不揮発性ストレージ、等を暗に含むことができる。
加えて、本発明の原理、態様、及び実施形態を本願で挙げている全ての記述、並びにそれらの具体例は、それらの構造的及び機能的等価物の両方を包含するよう意図される。加えて、そのような等価物は、現在知られている等価物及び将来開発される等価物(すなわち、構造にかかわらず、同じ機能を実行するよう開発されるあらゆる要素)の両方を含むことが意図される。よって、例えば、本願で提示されるブロック図は、本発明の原理を具現する実例となるシステムコンポーネント及び/又は回路の概念図を表すことが当業者によって認識されるであろう。同様に、あらゆるフローチャート、フロー図及び同様のものは、コンピュータ可読記憶媒体において実質的に表現され、そうしてコンピュータ又はプロセッサによって、そのようなコンピュータ又はプロセッサが明示的に示されていようとなかろうと実行され得る様々な処理を表すことが認識されるであろう。
加えて、本発明の実施形態は、コンピュータ又は何らかの命令実行システムによる又はそれに関連した使用のためにプログラムコードを提供するコンピュータにより使用可能な又はコンピュータにより読出可能な記憶媒体からアクセス可能なコンピュータプログラムプロダクトの形をとることができる。この説明のために、コンピュータにより使用可能な又はコンピュータにより読出可能な記憶媒体は、命令実行システム、装置、又はデバイスによる又はそれに関連した使用のためにプログラムを包含し、記憶し、伝送し、伝播し、又は転送することができるあらゆる装置であることができる。媒体は、電子、磁気、光、電磁気、赤外線、若しくは半導体システム(又は装置又はデバイス)又は伝播媒体であることができる。コンピュータ読出可能な媒体、すなわち、コンピュータ可読媒体の例には、半導体又は固体状態メモリ、磁気テープ、取り外し可能なコンピュータディスケット、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、硬質磁気ディスク及び光ディスクがある。光ディスクの目下の例には、コンパクトディスク−読み出し専用メモリ(CD−ROM)、コンパクトディスク−リード/ライト(CD−R/W)、ブルーレイ及びDVDがある。
ここで、同じ符号は同じか又は類似する要素を表す図面のうち最初に、図1を参照して、矯正撮像のためのシステム100が、一実施形態に従って実例として示されている。システム100は、外科的処置のための画像をレンダリングするのに用いられてよい。このとき、機器又は他の対象のアーティファクトを画像から除去することで利点が得られる。システム100は、様々な用途、例えば、多断面再構成等のための実時間の撮像又は記憶された撮像のために用いられてよい。システム100は、ワークステーション又はコンソール112を含んでよく、それから、プロシージャが監督及び/又は管理される。ワークステーション112は、望ましくは、1又はそれ以上のプロセッサと、プログラム及びアプリケーションを格納するメモリ116とを含む。メモリ116は、形状検知装置又はシステム104からの光フィードバック信号を解釈するよう構成される光学式検知及び解釈モジュール(又は解析モジュール)115を格納してよい。光学式検知モジュール115は、医療装置若しくは機器102及び/又はその周囲の領域に関連した変形、偏位及び他の変化を再構成するために光信号フィードバック(及び何らかの他のフィードバック、例えば、電磁気(EM)追跡)を使用するよう構成される。医療装置102は、カテーテル、ガイドワイヤ、プローブ、内視鏡、ロボット、電極、フィルタ装置、バルーン装置、電極リード、又は他の機器若しくは医療部品、等を含んでよい。
ワークステーション112は、撮像システム110によって提供される被検体の内部画像を見るためのディスプレイ118を含んでよい。撮像システム110は、例えば、磁気共鳴撮像(MRI)システム、透視システム、コンピュータ断層撮影(CT)システム、超音波(US)、等を含んでよい。ディスプレイ118はまた、ユーザがワークステーション112並びにそのコンポーネント及び機能と対話することを可能にしてよい。これは更に、ワークステーション112とのユーザインタラクションを可能にするようキーボード、マウス、ジョイスティック又は何らかの他の周辺機器若しくはコントロールを含むことができるインターフェース120によって容易にされる。
装置102にある形状検知システム104は、セットパターン又はパターンにおいて装置102へ結合される1又はそれ以上の光ファイバ126を含む。光ファイバ126は、ケーブル布線127を通じてワークステーション112へ接続する。ケーブル布線127は、必要に応じて光ファイバ、電気接続、他の器具類、等を含んでよい。
ワークステーション112は、形状検知システム104が光ファイバ形状検知を含む場合に、光ファイバ126に光を供給する光源106を含んでよい。更に、光学式インタロゲーションユニット108が、全てのファイバから戻る光を検出するために用いられてよい。これは、インターベンショナル装置102の形状、向き、等を解釈するのに使用されるであろうひずみ又は他のパラメータの決定を可能にする。光信号は、調整を行い、エラーにアクセスし、装置102の形状及び位置を決定し、且つ装置102(又はシステム100)を較正するためにフィードバックとして用いられるであろう。
形状検知装置104は、望ましくは、1又はそれ以上のファイバ126を含み、1又はそれ以上のファイバ126は、装置102の形状の検出及び補正/較正のためにそれらのジオメトリを利用するよう構成される。光ファイバを備える形状検知システム104は、光ファイバブラッググレーチングセンサに基づいてよい。ファイバブラッググレーチング(fiber Bragg grating)(FBG)は、特定の波長の光を反射して残り全てを伝送する小区画の光ファイバである。これは、波長に特有の誘電体ミラーを生成するようファイバコアにおいて屈折率の周期変動を加えることによって達成される。従って、ファイバブラッググレーチングは、特定の波長をブロックするためのインラインの光学フィルタとして、又は波長に特有の反射器として、使用され得る。
ファイバブラッググレーチングの動作の背後にある基本原理は、屈折率が変化するインターフェースの夫々でのフレネル反射である。幾つかの波長に関し、様々な周期の反射光は同位相にあり、それにより、建設的干渉が反射について存在し、結果として破壊的干渉が伝送について存在する。ブラッグ波長は、ひずみ及び温度に敏感である。これは、ブラッググレーチングが光ファイバセンサにおいて検知素子として使用され得ることを意味する。FBGセンサにおいて、測定量(例えば、ひずみ)は、ブラッグ波長におけるシフトを引き起こす。
この技術の1つの利点は、様々なセンサ素子がファイバの長さにわたって分布することができる点である。構造において埋め込まれるファイバの長さに沿って様々なセンサ(ゲージ)を備える3又はそれ以上のコアを組み込むことは、かかる構造の3次元形状が、通常は1mmよりも良い精度で、正確に決定されることを可能にする。ファイバの長さに沿って、様々な位置で、多数のFBGセンサが位置付けられ得る(例えば、3又はそれ以上のファイバ検知コア)。夫々のFBGのひずみ測定から、構造の湾曲がその位置で推測され得る。多数の測定点から、全体の3次元形状が決定される。
光ファイバブラッググレーチングに対する代替案として、従来の光ファイバにおける固有の後方散乱が利用され得る。1つのそのようなアプローチは、標準のシングルモード通信ファイバにおいてレイリー散乱を使用することである。レイリー散乱は、ファイバコアにおける屈折率のランダムな変動の結果として起こる。そのようなランダムな変動は、グレーチング長さに沿って振幅及び位相のランダムな変化を伴うブラッググレーチングとしてモデル化され得る。マルチコアファイバの単一長さ内を通る3又はそれ以上のコアにおいてこのような効果を用いることによって、関心のある面の3D形状及びダイナミクスが追跡され得る。記載されるものによって限定されない他の形状検知技術がまた、用いられてよいことが理解されるべきである。
光ファイバ126は、装置102(例えば、カテーテル、ガイドワイヤ、電極リード、又は他の可撓な細長い機器)に組み込まれ、患者又は被検体の身体又は撮像ボリューム131の外にある解析ユニット115へ接続され得る。ファイバ126の位置及び形状は、メモリ116において記憶される解析モジュール115において、基準に対する光散乱又は後方反射のモデリング及び解析を用いて、実時間で測定される。それによって、装置102の、その範囲に沿った位置は、撮像システム110、例えば、X線システム、CTシステム、等の撮像空間において知られる。
一実施形態において、撮像システム110は、回転X線システムを含んでよく、装置102は、造影剤分注カテーテルを含んでよい。装置102の形状及び位置に関する空間情報は、造影剤注入及び回転投影取得の間に、画像134(ディスプレイ118において見られ得る。)においてカテーテル102の位置を計算するのに使用され得る。光学式検知モジュール115は、装置102の形状及び位置を正確に計算することができるので、画像生成部148は、この情報及び他の情報を使用して、画像134から除去されるアーティファクトを特定することができる。画像生成部148は、形状検知情報に基づき装置102(例えば、カテーテル)を識別して除去することができ、形状検知情報を他の情報とともに、画像アーティファクトを除去するために用いてよい。画像生成部148は、画像134から装置102及び/又は装置102による画像アーティファクトを除去するよう画像のピクセルを変更するために、画像インペインティング又は他の画像処理技術のような適切な補間方法を用いてよい。カテーテル/装置のジオメトリ及びX線撮像の特性を知ると、カテーテル(又は他の装置)102が占有する画像部分の正確な決定が正確に決定され得る。
形状検知情報は、装置特性のエキスパートデータベース又はライブラリ142と組み合わされて、より自信を持って画像134において装置102及びそのアーティファクトを特定するために使用されてよい。データベース又はライブラリ142は、3Dモデル132又は以前の場合/履歴データ136の記憶画像を含んでよい。モデル132は、装置102が導入される前に撮られた画像に基づき生成されてよく、それにより、アーティファクトを有するか又は装置102が存在する画像との比較が行われ得る。履歴データ136は、以前に収集された画像フレームを含んでよく、それにより、装置102の部分及びそれらの以前の軌跡が決定され、アーティファクトが起こり得る場所を予測するのに用いられ得る。ライブラリ142はまた、画像及び画像比較の適応最適化のために機械学習法146及び他の既知の学習法を用いて拡張され得る。最適化された画像は、現在のプロシージャ、特定の患者、特定の環境、等に基づき、形状検知のために追跡される装置102のアーティファクトを画像134からより容易に除去するために用いられ得る。
例えば、モデル132及び/又は履歴データ136の設計及び開発は、経験又は履歴情報に基づき、例えば、画像データ又はアーティファクトデータから、挙動を導出又は記録することを含んでよい。機械学習モジュール146は、時間とともに関心のある特性を捕捉するために標本(データ)を利用することができる。データは、装置の形状及び位置を含む観測された変数の間の関係を表す標本として見なされ得る。機械学習モジュール146は、複雑なパターンを認識し、機器投影、機器画像、機器アーティファクト、等が画像134にありそうなデータに基づき知的な決定を行うよう自動的に学習することができる。形状検知データは、学習をよりずっと簡単に且つよりずっと容易にする。
そのような適応最適化は、全体の投影データセット(又は画像134)内の装置フットプリント、アーティファクト、X線影、等のより簡単な除去を可能にするであろう。本原理を用いることによって、カテーテル又は装置の検出及び追跡に関連するプロセッシングオーバヘッドは取り除かれ得る。
他の実施形態において、動いている構造の、例えば、心臓における、全ての回転血管造影取得に関し、光学式形状検知システム104によって追跡されるカテーテル又は装置102の動き情報は、生理学的信号を導出するために用いられ得る。生理学的信号は、例えば、心電図(ECG)信号、呼吸動作による心臓の変位を示す信号、又は物理的な動的動きを表す何らかの他の信号に対応する、センサ装置121によって測定される信号を含んでよい。この動き情報は、ゲート制御又は動き補償された再構成のために使用され得る。装置102の形状検知システム104の形状測定は、空間及び時間において投影取得と関連付けられ、既知の原因による動き情報は、画像生成モジュール148における画像処理のために計算に入れられ得る。動き又はその欠如(呼吸停止コマンド、ハイパーペーシング(hyper pacing)、及びアデノシン)が計算に入れられてよく、あるいは、他のセンサ信号が動きデータを集めるために用いられてよい。
インターベンショナル設定において、形状検知可能な装置(102,104)は、X線(CT)撮像空間にレジストレーションされてよい。レジストレーションは、例えば、既知の、ファントムベースの較正ステップを用いて、実行されてよい。回転X線取得が体積X線撮像のために実行され、形状検知可能な装置が、夫々の取得位置について、X線視野内にある場合に、X線において可視的な装置と形状検知からのその形状との空間的一致が存在する。X線画像における形状は、しかしながら、切り縮められてよい。システムのいずれかのシステムラグに起因して、しかしながら、(形状検知からの)形状と、X線において可視的であるものとの間には、時間的な不一致が存在し得る。時間的一致は、形状検知と撮像との間で望ましい。これは、システムラグのデータ及び較正の両方の時間スタンピング、又は時間基準を提供するために生理学的信号を用いることのような他の方法によって、達成され得る。
形状検知データ及びX線投影は、他の外部信号(例えば、インターベンショナルスイートにおける外部事象から、又はECG、血流、呼吸情報、等のような生理的ストリームからの信号)を介して、あるいは、連続的に取得されたマルチモーダル(形状測定/X線)測定の時間アノテーション、又は予想可能な若しくは回顧的な方法におけるそれらのデータセットのトリガ取得を可能にする内部クロックを介して、同期され得る。そのような同期されたストリームは、形状検知データ及びX線測定のインターリービングと、形状検知に基づく、X線投影からの機器の除去、及びその後の3D体積再構成の精度の向上とを可能にする。
他の実施形態において、X線画像と形状検知データとの間の相関は、光学的形状検知ファイバ(126)に取り付けられるか又はそれに組み込まれるようシンチレーティングファイバのクラッディング(例えば、透視画像において可視的なファイバのクラッディング)を用いて、実行されてよい。クラッディングがX線視野内にある場合に、クラッディングの画像は、形状信号をX線画像と時間的に相関させるために用いられてよい。形状及びX線情報は、同じクロックで伝わる必要はない。フレーム間動作でさえ、この方法を用いるために補償されてよい。
図2A及び図2Bを参照すると、透視画像200は、心室投影の例を実例として示す。蛍光透視がここで例として記載されているが、他の撮像モダリティが蛍光透視に代えて、又は蛍光透視に加えて(例えば、他の撮像モダリティ、例えば、コンピュータ断層撮影(CT)、磁気共鳴(MR)等と組み合わせて使用される。)用いられてよいことが理解されるべきである。
図2Aは、左心室内のカテーテル202及び注入点204を含む画像200を含む。図2Bは、検出されたカテーテル206を含む同じ投影を示す。検出されたカテーテル206は、光学式形状検知により決定されたその位置及び形状を有する。検出されたカテーテル206は、その視認性を改善するよう画像処理技術によって強調表示される。
図3A及び図3Bを参照すると、3次元回転X線(3D−RX)心臓データセット画像300が実例として示されている。図3Aにおいて、画像300は、検出及び除去されていない複数のカテーテル投影302を示す。それらの投影は、回転X線撮像の結果として起こる。図3Bにおいて、例となる3D−RX心臓データセット304は、カテーテル投影が本原理に従って検出されて除去された後に、表される。
3D情報を生成するために回転血管造影法を用いる心房細動(AFIB)及び他の器質的心疾患プロシージャにおいて、造影剤を放つカテーテル先端に起因するアーティファクトは、図3A及び図3Bにおいて表されるように、一連の回転投影302からカテーテルを消すことによって、回避される。結果として得られる断層撮影画像におけるアーティファクトは、それによって回避される。カテーテル追跡(例えば、形状検知による。)と夫々のX線投影との時間同期は、問題の動的性質に対処する。方法は、アーティファクトを導入することなしに、再構成された画像への動的なカテーテル構造のその後の付加を含むよう拡張され得る。これは、例えば、最初に装置及び装置投影を画像から除去し(て、アーティファクトを減じ)、次いで装置構造が再構成された画像に加えられることによって、達成され得る。これは、隣接する生体構造に対する相対位置が重要であるインプラントにとって特に重要である。また、画像は、投影が除去され、シミュレーション(又は実際の装置)がプロシージャ中に視覚化され得るように、実時間において表示されてよいことが留意されるべきである。
図4を参照すると、ブロック図が、1つの実例となる実施形態に従って画像処理方法を記載するために示されている。ブロック402で、機器は、形状検知システムを含むよう構成される。機器は、撮像ボリューム内に入れられて、ボリュームを撮像するのを支援するために用いられ且つ実用的機能を実行するために用いられる。1つの実例となる実施形態において、機器は、造影剤を心腔に注入するカテーテルを含む。撮像システムは、X線システム(例えば、CT)及び特に回転式X線システムを含んでよい。ブロック404で、形状検知データが機器から集められる。これは、撮像空間において機器の形状及び位置を明らかにする反射光信号の形をとってよい。ブロック406で、機器は、内部画像ボリュームとともに撮像される。
撮像の間、特に、放射線が用いられる場合に、反射、影及び他のアーティファクトが起こり得る。ブロック408で、画像ボリュームにおいて機器によって引き起こされる画像アーティファクトは、機器からの形状検知データを用いることによって検出される。形状検知データは、様々な画像投影及び角度における機器の位置及び形状を示す。それらの画像は、アーティファクトを識別するよう、モデル、履歴データ、等のうちの1又はそれ以上及び形状検知データに照らして精査される。
ブロック410で、メモリにおいて記憶されるモデルが、アーティファクトと比較されてよく、医療機器のジオメトリがまた、形状検知システムからの情報に従ってアーティファクトの検出及び除去のために比較において考慮されてよい。ブロック412で、以前のイベントの履歴データが、形状検知システムからの情報に従って、アーティファクトの検出及び除去のために、アーティファクト(例えば、機器の動きの経過)を含む画像と比較されてよい。ブロック414で、画像アーティファクトの除去は、以前の場合、モデル、等に基づきアーティファクトをより良く且つより正確に識別するよう機械学習を用いることによって、最適化されてよい。
ブロック420で、画像アーティファクトは、画像補間処理及び形状検知データを用いることによって除去される。画像補間処理は、医療画像又は同様のものからアーティファクト及び機器画像を除去するようピクセルを調整することができるインペインティング画像処理又は他の画像処理を含んでよい。ブロック422で、画像アーティファクトは、望ましくは、画像データを収集しながら同時に除去される。これは、実時間の又はほぼ実時間の画像補正(アーティファクトの除去、等)をもたらす。
ブロック424で、機器が画像から除去される場合(あるいは、それが除去されない場合でさえ)、医療機器のシミュレーション画像が、生成画像における視覚化のために生成されてよい。アーティファクトがなく且つ形状検知データに基づく機器の仮想画像は、実時間又はほぼ実時間において、機器の形状及び位置の有用な情報をユーザに提供するであろう。ブロック426で、生理学的信号が、患者の動きを計算に入れるよう、形状検知データに関連付けられてよい。生理学的信号は、心臓の鼓動を計算に入れるよう用いられ得るECG信号を含んでよい。他の実施形態において、呼吸センサは、呼吸による動きを計算に入れてよく、動きセンサは、筋肉の動きを計算に入れてよい、等。ブロック428で、プロシージャ又は動作は、必要に応じて続く。
添付の特許請求の範囲を解釈する際に、以下の点が理解されるべきである:
a)語「有する(comprising)」は、所与の請求項に挙げられている以外の他の要素又は動作の存在を除外しない;
b)要素の単称(冠詞“a”又は“an”)は、そのような要素の複数個の存在を除外しない;
c)特許請求の範囲における如何なる参照符号も、その適用範囲を制限しない;
d)幾つかの“手段(means)”は、同じ物又はハードウェア若しくはハードウェアにより実施される構造又は機能によって表されてよい;
e)動作の具体的な順序は、特に示されない限りは要求されるよう意図されない。
形状検知によるアーティファクト除去のための好ましい実施形態(制限ではなく実例であるよう意図される。)を記載してきたが、変更及び変形が上記の教示に照らして当業者によってなされ得ることが知られる。従って、変更は、添付の特許請求の範囲によって要点を述べられるような本願で開示される実施形態の適用範囲内にある本開示の特定の実施形態においてなされてよいことが理解されるべきである。このように、特に特許法によって求められるように詳細を記載してきたが、請求されて、特許によって保護されることを望まれるものは、添付の特許請求の範囲において示される。

Claims (15)

  1. プロセッサと、
    医療機器へ結合され、該医療機器の形状及び位置を測定するよう構成される形状検知システムと、
    対象の画像を生成するよう構成される撮像システムと、
    前記プロセッサへ結合されるメモリとを有し、
    前記メモリは、
    前記形状検知システムから、形状検知データを受信するよう構成される光学式形状検知モジュールと、
    前記形状検知システムによって測定される前記医療機器の少なくとも形状及び位置に基づき、前記撮像システムからの生成画像から前記医療機器の画像アーティファクトを検出してデジタル除去するよう構成される画像生成モジュールと
    を含む、撮像用医療システム。
  2. 前記画像生成モジュールは、実時間の画像補正をもたらすよう、画像データを収集することと同時に前記画像アーティファクトをデジタル除去する、
    請求項1に記載の撮像用医療システム。
  3. 経時変化を把握するよう形状検知データに関連する生理学的信号
    を更に有する請求項1に記載の撮像用医療システム。
  4. 医療機器と、
    前記医療機器の形状及び位置を測定するよう該医療機器へ結合される形状検知システムと、
    対象を撮像するよう構成され、前記医療機器の画像アーティファクトが前記対象の画像において少なくとも部分的に存在する、撮像システムと、
    前記形状検知システムによって測定される前記医療機器の少なくとも形状及び位置に基づき、生成画像から前記医療機器の少なくとも前記画像アーティファクトを検出してデジタル除去するよう構成される画像生成モジュールと
    を有する撮像用医療システム。
  5. メモリにおいて記憶され、前記形状検知システムからの情報に従って前記画像アーティファクトの検出及び除去のために該画像アーティファクトを伴う画像と比較するのに用いられるモデル
    を更に有する請求項4に記載の撮像用医療システム。
  6. メモリにおいて記憶され、前記形状検知システムからの情報に従って前記画像アーティファクトの検出及び除去のために該画像アーティファクトを伴う画像と比較するのに用いられる以前のイベントの履歴データストレージ
    を更に有する請求項4に記載の撮像用医療システム。
  7. メモリにおいて記憶され、前記画像アーティファクトの識別及び除去を最適化するよう構成される機械学習モジュール
    を更に有する請求項4に記載の撮像用医療システム。
  8. 前記画像生成モジュールは、画像補間処理を用いて前記形状検知システムからの情報に従って前記画像アーティファクトをデジタル除去する、
    請求項4に記載の撮像用医療システム。
  9. 前記画像補間処理は、インペインティング画像処理を含む、
    請求項8に記載の撮像用医療システム。
  10. 前記画像生成モジュールは、前記画像アーティファクトをデジタル除去し、前記生成画像における視覚化のために前記医療機器のシミュレーション画像を生成する、
    請求項4に記載の撮像用医療システム。
  11. 前記画像生成モジュールは、実時間の画像補正をもたらすよう、画像データを収集することと同時に前記画像アーティファクトをデジタル除去する、
    請求項4に記載の撮像用医療システム。
  12. 経時変化を把握するよう形状検知データに関連する生理学的信号を測定するよう構成される検知装置
    を更に有する請求項4に記載の撮像用医療システム。
  13. 機器から形状検知データを集めるステップと、
    内部画像ボリュームにおいて前記機器を撮像するステップと、
    前記機器からの前記形状検知データを用いることによって、前記内部画像ボリュームにおいて前記機器によって引き起こされる画像アーティファクトを検出するステップと、
    画像補間処理及び前記形状検知データを用いることによって、前記画像アーティファクトを除去するステップと
    を有する画像処理方法。
  14. 生成画像における視覚化のために前記機器のシミュレーション画像を生成するステップ
    を更に有する請求項13に記載の画像処理方法。
  15. 前記画像アーティファクトは、実時間の画像補正をもたらすよう、画像データを収集しながら同時に除去される、
    請求項13に記載の画像処理方法。
JP2015506326A 2012-04-23 2013-03-29 形状検知によるアーティファクト除去 Expired - Fee Related JP6216770B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US61/617,313 2012-03-29
US201261617313P 2012-04-23 2012-04-23
PCT/IB2013/052536 WO2013144912A1 (en) 2012-03-29 2013-03-29 Artifact removal using shape sensing

Publications (2)

Publication Number Publication Date
JP2015514491A JP2015514491A (ja) 2015-05-21
JP6216770B2 true JP6216770B2 (ja) 2017-10-18

Family

ID=48471049

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015506326A Expired - Fee Related JP6216770B2 (ja) 2012-04-23 2013-03-29 形状検知によるアーティファクト除去

Country Status (7)

Country Link
US (1) US20160242854A1 (ja)
EP (1) EP2830502B1 (ja)
JP (1) JP6216770B2 (ja)
CN (1) CN104244830B (ja)
BR (1) BR112014026073A2 (ja)
RU (1) RU2014143669A (ja)
WO (1) WO2013144912A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015010859A1 (en) * 2013-07-23 2015-01-29 Koninklijke Philips N.V. Registration system for registering an imaging device with a tracking device
EP3142563B1 (en) 2014-05-16 2018-02-07 Koninklijke Philips N.V. Device for modifying an imaging of a tee probe in x-ray data
CN106716071B (zh) * 2014-09-08 2021-08-24 皇家飞利浦有限公司 利用光学形状感测的对表面接触的检测
US11844576B2 (en) 2015-01-22 2023-12-19 Koninklijke Philips N.V. Endograft visualization with optical shape sensing
WO2016116823A1 (en) 2015-01-22 2016-07-28 Koninklijke Philips N.V. Endograft visualization with pre-integrated or removable optical shape sensing attachments
US10398402B2 (en) 2015-02-23 2019-09-03 Siemens Healthcare Gmbh Method and system for automated positioning of a medical diagnostic device
US10430688B2 (en) * 2015-05-27 2019-10-01 Siemens Medical Solutions Usa, Inc. Knowledge-based ultrasound image enhancement
US9836664B1 (en) * 2016-05-27 2017-12-05 Intuit Inc. Method and system for identifying and addressing imaging artifacts to enable a software system to provide financial services based on an image of a financial document
US10387765B2 (en) * 2016-06-23 2019-08-20 Siemens Healthcare Gmbh Image correction using a deep generative machine-learning model
US10132891B2 (en) * 2016-09-16 2018-11-20 General Electric Company System and method for attenuation correction of a surface coil in a PET-MRI system
DE102016217984A1 (de) * 2016-09-20 2018-04-05 Siemens Healthcare Gmbh Sinogrammbasierte Streustrahlenkorrektur in der Computertomographie
US11039805B2 (en) * 2017-01-05 2021-06-22 General Electric Company Deep learning based estimation of data for use in tomographic reconstruction
WO2019034944A1 (en) * 2017-08-17 2019-02-21 Navix International Limited RECONSTRUCTION OF ANATOMIC STRUCTURE FROM INTRACORPORATE MEASUREMENTS
US11238562B2 (en) 2017-08-17 2022-02-01 Koninklijke Philips N.V. Ultrasound system with deep learning network for image artifact identification and removal
CN107595278A (zh) * 2017-09-19 2018-01-19 深圳市大耳马科技有限公司 一种生成医学影像设备门控信号的方法、装置及系统
DE102017217550A1 (de) 2017-10-02 2019-04-04 Siemens Healthcare Gmbh Identifikation von Bildartefakten mittels maschinellen Lernens
US10930064B2 (en) * 2018-02-08 2021-02-23 Covidien Lp Imaging reconstruction system and method
EP3628230A1 (en) * 2018-09-27 2020-04-01 Koninklijke Philips N.V. X-ray imaging system with foreign object reduction
JP7309988B2 (ja) * 2018-11-27 2023-07-18 キヤノンメディカルシステムズ株式会社 医用画像処理装置および医用画像処理方法
JP7144292B2 (ja) * 2018-11-27 2022-09-29 キヤノンメディカルシステムズ株式会社 医用画像処理装置および医用画像処理方法
EP3692918B1 (de) * 2019-02-08 2021-05-19 Siemens Healthcare GmbH Lernbasierte korrektur von rasterartefakten in der röntgenbildgebung
EP3930614A1 (en) * 2019-02-28 2022-01-05 Koninklijke Philips N.V. Feedback continuous positioning control of end-effectors
GB201906103D0 (en) 2019-05-01 2019-06-12 Cambridge Entpr Ltd Method and apparatus for analysing intracoronary images
WO2021001710A1 (en) 2019-07-02 2021-01-07 Technology Innovation Momentum Fund (Israel) Limited Partnership Interrogation of arrays of equally spaced weak reflectors in optical fibers
US20230005135A1 (en) * 2020-01-14 2023-01-05 Koninklijke Philips N.V. Image enhancement based on fiber optic shape-sensing
CN111329587A (zh) * 2020-02-19 2020-06-26 上海理工大学 利用形状传感光纤网格进行手术配准系统
CN114152212A (zh) 2020-08-18 2022-03-08 索尼集团公司 电子装置和方法
WO2022248967A1 (en) * 2021-05-24 2022-12-01 Ramot At Tel-Aviv University Ltd. Shape sensing of multimode optical fibers
CN114298934B (zh) * 2021-12-24 2022-12-09 北京朗视仪器股份有限公司 一种基于像素调节的面颊夹显影弱化方法、装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6118845A (en) * 1998-06-29 2000-09-12 Surgical Navigation Technologies, Inc. System and methods for the reduction and elimination of image artifacts in the calibration of X-ray imagers
US6990368B2 (en) * 2002-04-04 2006-01-24 Surgical Navigation Technologies, Inc. Method and apparatus for virtual digital subtraction angiography
US20060239585A1 (en) * 2005-04-04 2006-10-26 Valadez Gerardo H System and method for reducing artifacts in motion corrected dynamic image sequences
US8050523B2 (en) * 2007-04-20 2011-11-01 Koninklijke Philips Electronics N.V. Optical fiber shape sensing systems
CN102016923A (zh) * 2008-05-06 2011-04-13 皇家飞利浦电子股份有限公司 图像伪影的减少
JP5142821B2 (ja) * 2008-05-26 2013-02-13 株式会社東芝 画像診断装置および画像表示装置
US20100030063A1 (en) * 2008-07-31 2010-02-04 Medtronic, Inc. System and method for tracking an instrument
EP2624780B1 (en) * 2010-10-08 2024-02-14 Koninklijke Philips N.V. Flexible tether with integrated sensors for dynamic instrument tracking
US9317920B2 (en) * 2011-11-30 2016-04-19 Rush University Medical Center System and methods for identification of implanted medical devices and/or detection of retained surgical foreign objects from medical images

Also Published As

Publication number Publication date
EP2830502A1 (en) 2015-02-04
WO2013144912A1 (en) 2013-10-03
CN104244830B (zh) 2017-11-14
JP2015514491A (ja) 2015-05-21
CN104244830A (zh) 2014-12-24
BR112014026073A2 (pt) 2017-06-27
US20160242854A1 (en) 2016-08-25
RU2014143669A (ru) 2016-05-27
EP2830502B1 (en) 2016-07-13

Similar Documents

Publication Publication Date Title
JP6216770B2 (ja) 形状検知によるアーティファクト除去
JP6411459B2 (ja) 冠血流予備量比シミュレーションに対する形状感知超音波プローブ
JP6129750B2 (ja) 血管内の装置の形状を用いた血管画像の非剛体モーフィング
US9907527B2 (en) Vascular data processing and image registration systems, methods, and apparatuses
JP6114748B2 (ja) 光学ファイバー形状データを用いる湾曲マルチプラナ再構成
AU2013387679B2 (en) Vascular data processing and image registration systems, methods, and apparatuses
EP2717774B1 (en) Dynamic constraining with optical shape sensing
US8275448B2 (en) Method for reconstructing a 3D presentation
US10925567B2 (en) Adaptive imaging and frame rate optimizing based on real-time shape sensing of medical instruments
JP2017217495A (ja) リアルタイムの内蔵の機械機能を評価するための形状検出する装置
US11406278B2 (en) Non-rigid-body morphing of vessel image using intravascular device shape
WO2015071343A1 (en) Detection of rotational angle of an interventional device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160325

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170925

R150 Certificate of patent or registration of utility model

Ref document number: 6216770

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees