JP6936882B2 - ビューイング面決定を伴う医用ビューイングシステム - Google Patents

ビューイング面決定を伴う医用ビューイングシステム Download PDF

Info

Publication number
JP6936882B2
JP6936882B2 JP2020018846A JP2020018846A JP6936882B2 JP 6936882 B2 JP6936882 B2 JP 6936882B2 JP 2020018846 A JP2020018846 A JP 2020018846A JP 2020018846 A JP2020018846 A JP 2020018846A JP 6936882 B2 JP6936882 B2 JP 6936882B2
Authority
JP
Japan
Prior art keywords
image
echocardiographic
ray
processing unit
ray image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020018846A
Other languages
English (en)
Other versions
JP2020073100A (ja
Inventor
アレクサンドラ ポポヴィック
アレクサンドラ ポポヴィック
ジョン アラン ブラッケン
ジョン アラン ブラッケン
デイヴィッド ポール ノーナン
デイヴィッド ポール ノーナン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2020073100A publication Critical patent/JP2020073100A/ja
Application granted granted Critical
Publication of JP6936882B2 publication Critical patent/JP6936882B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/467Arrangements for interfacing with the operator or the patient characterised by special input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明はビューイング面決定を伴う医用ビューイングシステム、ビューイング面決定を伴う医用画像を提供するための方法、かかるシステムを制御するためのコンピュータプログラム要素、及びコンピュータ可読媒体に関する。
X線イメージング(透視法)は心臓インターベンションにとって重要なイメージングモダリティである。より多くの軟組織情報を要する手術、例えば構造的心疾患の治療のガイダンスを提供するために、経食道心エコー検査(TEE)情報が利用される。超音波イメージングの形のTEEイメージングは、例えばインターベンション装置とその周辺の解剖学的構造を同時に示すことができる。
X線イメージングをライブ3D TEEイメージングで補完することが提案されている。この場合、組織コントラストの乏しいX線画像の欠点は3D TEE画像からの軟組織情報を用いて緩和される。この目的で、X線画像とTEE画像がレジストレーションされる必要がある。例えば、Jainらによる論文、"3D TEE Registration with X‐Ray Fluoroscopy for Interventional Cardiac Applications",Functional Imaging and Modeling of the Heart,LNCS vol.5529,pp.321‐329,Springer(Heidelberg)2009は、電磁トラッキングシステムを用いるレジストレーションを記載する。
X線及びTEE画像がこのようにレジストレーションされるとき、X線画像情報を最適に補完するTEEデータからのビューを識別する必要がある。
WO2007/049207 A1は被検者について収集される3D画像データから複数の標準2D心エコービューを生成するためのシステムと方法を開示する。医師は、一つの可視化面が標準2Dビューに対応するように3Dプローブを位置付け、そして他の標準2Dビューを自動的に位置決めして生成するために事前に計算された相対座標が使用される。代替的に、特定の特徴を識別するためにランドマーク抽出アルゴリズムが使用され、そこから各可視化面が位置決めされることができ、標準2Dビューが生成される。
インターベンション装置(弁クリップ、プラグ…)にとって最適なビューイング面を3D TEE画像において位置決めすることは、特に困難で時間がかかり、臨床ワークフローを妨害し、伝達不良の可能性を増す。今までのところ、かかるビューイング面を定義することは3D TEE画像自体を操作することを要してきた。例えば、これらの画像の回転とクロッピング(すなわち切断面の定義)を可能にするユーザインターフェースが提供され得る。かかる動作は最適面が見つかるまで必要なだけ頻繁に繰り返して手動で実行される必要がある。典型的に、許容可能な結果が得られる前に多数の回転及びクロッピング動作が要求される。しばしば、付加的に、3Dプローブ位置と配向の微調整も要求される。
最後に、装置にとって適切なビューイング面は、装置が留置、展開、若しくは機能評価されているかどうかに依存して、手術を通じて変化し得る。従って、装置にとって複数の理想ビューイング面が単一のインターベンション手術にわたって要求され得る。従って、手術を中断して最適ビューイング面を見つけ出す退屈なプロセスを繰り返すことが要求され得る。
従って、超音波画像、特に3D TEE画像において装置ビューイング面を選択及び提供するプロセスを改良する医用ビューイングシステムを提供する必要があり得る。
本発明の目的は独立クレームの主題によって解決され、さらなる実施形態は従属クレームに組み込まれる。本発明によれば、医用ビューイングシステムはX線画像収集装置と、心エコー画像収集装置と、処理ユニットとを有する。X線画像収集装置はX線イメージング面においてX線画像を収集するように適応され、X線画像はインターベンション装置を含む。心エコー画像収集装置は心エコー画像、好適には3D TEE画像を収集するように適応される。システムはX線画像においてインターベンション装置を有するビューイング面を示すためのインジケータを提供するためのユーザインターフェースをさらに含む。処理ユニットはX線画像と心エコー画像を一緒にレジストレーション若しくは融合させるため、そして識別されたビューイング面に従って心エコー画像のビューを選択若しくは提供するために適応される。インジケータは好適にはX線画像中のインジケータラインであり得、この場合ビューイング面はインジケータラインを有し、X線イメージング面に垂直なものとして定義され得る。
識別されるビューイング面は有利に、弁クリップ若しくはプラグなどのインターベンション装置の特定の面に関連する。
インターベンション手術中、心エコー画像、好適には3D TEE画像におけるインターベンション装置にとって適切なビューイング面の決定を改良、単純化、及び高速化するために、最初にX線画像中にインジケータを描くことによって装置のビューイング面選択が識別され得る。例えば、X線イメージング面に垂直なビューイング面を定義するインジケータラインが描かれる。X線及び心エコー画像が一緒にレジストレーション(若しくは融合)されると、X線画像中でユーザによって識別される、インターベンション装置にとって所望の若しくは最適なビューイング面に対応する心エコー画像のビューが自動的に表示され得る。
本発明にかかる医用ビューイングシステムはこのように心エコー画像に対するビューイング面決定を可能にするように構成される。本発明は、これらの手術をガイドするために使用されるX線画像に既に存在する補完装置情報を使用することによって、心エコー画像において所望の装置ビューイング面を選択するプロセスを単純化し、加速し、改良する。特に、本発明者らはインターベンション装置が一般にライブX線画像においてよく認識できることを認識した。従って、発明者らは心エコー画像におけるインターベンション装置の最適ビューのセットアップにおいてX線画像中に示される装置情報を利用することを洞察した。
有利に、これはインターベンション装置にとって最適ビューを見つけるために心エコー画像を回転及びクロッピングすることを減らす若しくは除外するのにさえ役立つ。結果として、心エコー技師が術中にする必要がある心エコープローブ調節の回数も削減され得る。
X線画像収集装置は好適にはCアームアセンブリを有し、これはX線源とX線源の真向かいに取り付けられるX線検出器を持つCアーム構造、並びにCアーム構造の回転運動のためのモータードライブを含む。Cアーム構造は、可変ビューイング角度において複数のX線投影を収集する、回転軸まわり及びISOセンターまわりの回転スキャンを実行するために設けられる。X線画像収集装置に接続される処理ユニットはCアーム構造の動きとX線画像の収集を制御することができる。
心エコーイメージング装置はその先端に超音波トランスデューサを含むプローブを持つイメージング装置として理解されるものとし、当該プローブはライブ超音波画像及び/又はドップラ評価を提供するために患者の身体の中に入れられる若しくは患者の身体の上に置かれ得る。プローブは患者の食道に挿入される経食道心エコー(TEE)プローブ、又は患者の胸部上に置かれる経胸壁心エコー(TTE)プローブなど、様々な異なるプローブから選ばれ得る。特に、TEEは心臓専門医に心臓組織のリアルタイム三次元(3D)超音波イメージングを提供する。
処理ユニットはプロセッサ、メモリ、並びにユーザ入力及びX線画像収集装置と心エコーイメージング装置からのライブ画像データを受信するため、及びデータと制御信号を出力するためのインターフェースを持つ、計算ユニットとして理解されるものとする。さらに、処理ユニットは上述の機能を実行するための複数のアルゴリズムを実行するために適応される。
上述の通り、インジケータはX線画像中のインジケータラインであり得、そのためビューイング面はインジケータラインを有し、X線イメージング面と垂直に広がる。この場合、ビューイング面は完全に固定され、TEEビューイング面を見つけるためのクロッピングと回転の両方が大幅に削減され、又は除外さえされ得る。
しかしながら、インジケータを補完する追加表示も可能である。その場合、処理ユニットはX線画像中で定義されるインジケータと一緒に、この場合X線イメージング面に垂直でなく傾斜し得るビューイング面を決定する、心エコー画像中の追加表示の決定のために適応され得る。追加表示は、例えばユーザによって、ユーザがインターベンション装置に加えてビューイング面に存在させたい3D TEE画像中のランドマークへ付着される。
代替的に、インジケータはX線イメージング面に垂直な投影ラインを決定するX線画像中のインジケータ点であり得る。ビューイング面は投影ラインまわりの画像データの回転によって選択され得る。
イメージングラインはさらに、例えば複数の2D心エコー画像中のイメージングバンドへ、又は複数の3D心エコー画像中のイメージング円柱、球、立方体、プリズム若しくは同様のものへ拡張され得る。言い換えれば、識別されるビューイング面はビューイングボリュームへ拡張され得る。処理ユニットはさらに複数の心エコー画像中のイメージングライン、イメージングバンド、及び/又はイメージング円柱の回転のために適応され得る。これらの可能性は心エコー画像において所望の装置ビューイング面を選択及び提供するプロセスをさらに改良する。
一実施例において、処理ユニットは異なるX線イメージング面における異なるX線画像中のインジケータの決定のために適応され得る。異なるX線イメージング面における異なるX線画像は、単一CアームシステムからのマルチX線イメージング投影角によって、又はバイプレーンX線Cアームシステムからの同時X線イメージング面によって実現され得る。
さらなる実施例において、処理ユニットは定義されたインジケータを提示する心エコー準備画像をX線イメージング面において提供するように適応され得る。この準備画像も心エコー画像中のインターベンション装置にとって適切なビューイング面の決定をさらに単純化し加速する。
さらなる実施例において、処理ユニットはX線画像において心エコー画像収集装置のイメージング範囲若しくは視野を提示するように適応され得る。処理ユニットはさらに適切なビューイング面の決定をさらに改良するためにX線画像において心エコープローブを提示するように適応され得る。
好適には、心エコー画像収集装置は経食道心エコー(TEE)画像収集装置である。これは小児若しくは成人心エコープローブを有し得る。
好適には、X線画像収集装置と心エコー画像収集装置は患者における解剖学的構造に対するインターベンション装置の画像を収集するように適応される。それらは構造的心疾患インターベンションの特定タスク若しくはステージについて特定ビューにおけるインターベンション装置の画像も収集し得る。インジケータの決定は、特定の規定ビューイング面が自動的に見つけられるように、X線画像において装置上に手動で若しくは自動的に面決定インジケータを置くことも有し、これは様々な構造的心疾患インターベンション中の特定タスクにとって有用であり得る。インジケータの決定は、心エコー画像に対するビューイング面を識別するインジケータが自動的に見つけられるように、装置自体の上に物理的に面決定インジケータを置くことも有し得る。
好適には、X線画像収集装置と心エコー画像収集装置はライブ若しくは連続画像を収集するように適応され、処理ユニットはほぼリアルタイムのフレームレートでライブ若しくは連続画像をレジストレーションし、識別されるビューイング面において心エコー画像を自動的に提供するために適応される。
識別されるビューイング面は装置(弁クリップ、プラグ…)若しくは特定の解剖学的構造の特定の面に関連し得る。医用ビューイングシステムはX線画像において関心装置若しくは構造を自動的に位置特定し、装置に対するTEE画像中の特定のプリセットビューの生成を自動化し、これは特定の構造的心疾患インターベンションの特定タスクをガイドするために使用され得る。医用ビューステムは従ってクリックされるときにX線画像中の装置若しくは構造上に面決定インジケータを自動的に置き、X線画像において装置若しくは構造を自動的に位置特定し、及び/又は識別された若しくはプリセットのビューイング面において心エコー画像を自動的に生成する、各制御ボタン及び/又はアイコンを有し得る。これは広範な構造的心疾患インターベンション(すなわち僧房弁クリップ、左心耳閉鎖術など)を改良し得る。
本発明の医用ビューイングシステムのための応用は、主にインターベンション心臓病学の分野において、融合X線/TEEイメージングを用いるときの装置ビューを改良するのに適している。しかしながら、このアプローチは例えば小線源療法などの複合X線及び超音波イメージングを使用する他の医用アプリケーションにも拡張され得る。
本発明によれば、ビューイング面決定を伴う医用画像を提供するための方法も提示される。これは以下のステップを有する:
インターベンション装置を含むX線画像を収集するステップと、
心エコー画像を収集するステップと、
インターベンション装置を有するビューイング面を示すインジケータをX線画像中に提供するステップと、
X線画像と心エコー画像をレジストレーションするステップと、
識別されたビューイング面に従って心エコー画像のビューを選択し提供するステップ。
独立クレームにかかる、医用ビューイングシステム、ビューイング面決定を伴う医用画像を提供するための方法、かかるシステムを制御するためのコンピュータプログラム要素、及びかかるコンピュータプログラム要素を記憶したコンピュータ可読媒体は、特に従属クレームに定義される同様の及び/又は同一の好適な実施形態を持つことが理解されるものとする。本発明の好適な実施形態は各独立クレームとの従属クレームの任意の組み合わせでもあり得ることがさらに理解されるものとする。本発明のこれらの及び他の態様は以降に記載の実施形態から明らかとなり、それらを参照して解明される。
本発明の実施形態例は添付の図面を参照して以下に記載される。
例示的な医用ビューイングシステムを有する医用システムの略図である。 X線画像の略図である。 3D TEE画像の略図である。 2D TEE画像の略図である。 追加3D TEE画像の略図である。 追加2D TEE画像の略図である。 3D心エコー準備画像の略図を示す。 ビューイング面決定を伴う医用画像を提供するための方法の一実施例の基本ステップを示す。
ライブX線イメージング(透視法)及びライブ経食道心エコー(TEE)イメージングがインターベンション心臓病手術をガイドするために使用される。こうした手術中、インターベンション心臓専門医は装置周辺の解剖学的構造に対する患者の中の装置(例えば弁クリップ、プラグ及び人工弁)の配向を見たいことが多い。これは心臓専門医が装置を留置、展開及び機能評価するのを助ける。TEEプローブの連続手動調節と一緒に、画像の繰り返しの回転及びクロッピングを回避するために、本発明にかかるビューイング面決定を伴う医用ビューイングシステムは、これらの手術をガイドするために使用されるX線画像に既に存在する補完装置情報を用いることによって、心エコー画像において所望の装置ビューイング面を選択するプロセスを単純化し、加速し、改良する。これは最適ビューを見つけ出すための心エコー画像回転及びクロッピングの量を最小限にし、心エコー技師が術中にする必要がある心エコープローブ調節の回数を削減するのに役立つ。
図1は医用システムの一実施例の略図である。医用システムは本発明にかかる医用ビューイングシステム10の一実施例を有する。医用システムは例えば患者用の支持台9、支持台9用の制御ユニット8、造影剤注入器7、及び多数の入力を伴う大画面ディスプレイ6をさらに有する。
本発明にかかる例示的な医用ビューイングシステム10はX線画像収集装置1、心エコー画像収集装置2、及び処理ユニット3を有する。X線画像収集装置1と心エコー画像収集装置2は処理ユニット3と接続される。
X線画像収集装置1はX線源11、X線検出器12、及びX線計算ユニット31を有する。X線源11とX線検出器12はそれぞれCアーム13の両端に配置される。X線源11とX線検出器12はX線計算ユニット31と接続される。X線画像収集装置1はX線イメージング面においてX線画像を収集する。Cアーム13からのマルチX線イメージング投影角によって、又はバイプレーンX線Cアームシステム(不図示)からの同時X線イメージング面によって、異なるX線イメージング面において異なるX線画像が得られる。
心エコー画像収集装置2は超音波若しくはTEEプローブ21、心エコー計算ユニット32、心エコーイメージング装置33、及び心エコーイメージング装置33用のディスプレイ22を有する。超音波若しくはTEEプローブ21は心エコー計算ユニット32と接続される心エコーイメージング装置33と接続される。
処理ユニット3は1ピースであることができるが、ここでは別々に配置される複数のユニットに分けられる。上記の通り、処理ユニット3はX線計算ユニット31、心エコー計算ユニット32、及び心エコーイメージング装置33を有する。処理ユニット3は画像データ提供ユニット34、画像データ処理ユニット35、ライブX線及びライブ心エコー画像をレジストレーションするためのレジストレーションシステム36、並びにレジストレーションされたライブX線及び心エコー画像を提示するためのディスプレイ37をさらに有する。レジストレーションされたライブX線及び心エコー画像は大画面ディスプレイ6にも提示され得る。画像データ提供ユニット34と画像データ処理ユニット35は接続され、X線計算ユニット31及び心エコーイメージング装置33による入力を受信する。画像データ提供ユニット34と画像データ処理ユニット35はさらに接続され、レジストレーションシステム36とディスプレイ37及び6へ出力を与える。
処理ユニット3は、心エコー画像収集装置2によってとられる心エコー画像についてビューイング面を決定するために、X線画像収集装置1によってとられるX線画像においてインジケータを自動的に定義する、又は定義するために使用される。処理ユニット3はさらにX線画像と心エコー画像を一緒にレジストレーション又は融合する。両ステップはレジストレーションシステム36とディスプレイ37を用いて人によって制御若しくはモニタリングされ得る。そして、処理ユニット3は厳密にX線画像を用いて識別されるビューイング面において心エコー画像を提供する。
図2は装置、特に心臓の左心耳(LAA)を閉鎖するために使用されるプラグ50を示すX線画像の略図である。プラグ50はダンベル形状を持つ。X線画像はTEEプローブ21も示す。オーバーレイとして、所望の配向でプラグ50を通過するインジケータライン41がプラグ50を通して描かれる。インジケータライン41は示されたX線イメージング面に垂直な心エコー画像についてのビューイング面を決定する。
追加オーバーレイが、X線画像における心エコー画像収集装置3のイメージングフィールド若しくは範囲38を提示する円錐を示し、これは心エコー画像についてビューイング面を選択するプロセスをさらに改良する。
図3Aは3D TEE画像の略図であり、図3Bは2D TEE画像の略図であり、両方とも左心耳を閉鎖するために使用されるプラグ50の断面を示す。TEE画像はおおよそ、図1について説明した通りX線画像を用いて識別されるビューイング面にある。TEE画像はX線イメージング面に垂直である。TEE画像はインジケータライン41によって定義されるビューイング面において自動的に生成される。
図4はプラグ50の断面を示す追加3D TEE画像の略図である。追加表示42がTEE画像において定義される。追加表示42は、X線画像中に定義されるインジケータと一緒に、X線イメージング面に対して垂直でない若しくは傾斜している、別のビューイング面を決定する。
言い換えれば、例えば図2に図示の通りX線画像においてインジケータライン41を最初に描くことによって、傾斜ビューイング面が識別される。二番目に、X線画像面に垂直なTEE画像に追加表示42が置かれ、例えば図4に図示の通り傾斜ビューイング面を定義するために必要な追加点を提供する。例えば、追加表示42はTEE画像中に見えるランドマーク上に置かれる。
X線画像において、プラグ50若しくはカテーテル先端などの装置上に置かれる単一インジケータ点からビューイング面を生成することも可能である。2D X線画像が深さ情報を持たないので、この点は2D X線画像から3D TEEボリューム上へ投影ラインとして投影する。この投影ラインもX線画像に垂直である。そして関心ボリュームがラインを中心とする3D TEE画像からクロップされ得る。ボリュームのサイズと形状は装置にフォーカスするようにユーザによって選択され得る。付加的に、装置とその周辺関心領域の代替的な2D TEEビューイング面が、そのラインに厚さを割り当て、3D TEE画像ボリュームからのライン内に含まれるデータを2D TEE画像バンドもしくはビューイング面へ抽出することによって、生成され得る。特定装置配向において2D TEE画像バンド若しくはビューイング面を生成するために、3D TEE画像は2D TEE画像バンドの厚さを定義するラインの厚さを変える前に、所望のビューイング面を見つけ出すために最初に投影ラインまわりに回転され得る。
言い換えれば、インジケータはX線画像に垂直な心エコー画像中の投影ラインを決定するX線画像中のインジケータ点でもあり得る。この場合、ユーザは最適ビューイング面を見つけ出すために投影ラインまわりに3D TEE画像を回転させる必要が依然あり得るが、TEE画像におけるいかなるクロッピング動作も除去される。
図5はX線画像中のインジケータ点によって識別されたイメージング投影ライン43を示すかかる2D TEE画像の略図である。イメージングライン43は、ビューイング面を決定するため及びイメージングバンドを形成するために、矢印及び拡大ライン44によって図5に図示の通り任意に拡大されることができる。3D TEE画像のイメージングライン43は2D TEE画像のイメージングラインへ変換されることもでき、又は2D TEEビューイング面を狭めるために使用されることができる。
イメージングライン43は任意に回転され、そしてイメージングバンドへ拡張されることもできる。イメージングライン43はイメージング円柱(不図示)を形成するようにビューイングボリュームへ拡張されることもできる。
プラグ50若しくはカテーテル先端などの装置上の単一関心点は、関心点の二つの異なるX線投影画像上にインジケータを位置付けることによって三次元において位置特定されることができる。異なるX線画像はCアーム13からのマルチX線イメージング投影角によって、又はバイプレーンX線Cアームシステムからの同時X線イメージング面によって、異なるX線イメージング面において実現され得る。そして関心点はX線及びTEE画像がレジストレーションされた後に3D TEE画像ボリュームにおいて自動的に正確に位置決めされることができる。その後、ユーザによって選択されるボリューム若しくは面サイズ及び形状においてその点を中心として、関心装置の追加画像クロッピングがなされることができる。
図6は図2のX線画像と同様のインジケータライン41のオーバーレイとプラグ50の断面を示す3D心エコー準備画像の略図である。3D TEE準備画像は図2のX線画像と同じ投影角に配向している。インジケータライン41は図2のX線画像と同じビューイング投影に配向される3D TEE準備画像の上に重ねられる。この種の3D TEE準備画像は所望のビューイング面を定義し位置決めするのにさらに役立つ補完情報を提供し得る。同じ目的で、図6の左下隅に、TEEプローブ21のモデルがTEEプローブ21のX線画像にレジストレーションされる。
図7はビューイング面決定を伴う医用画像を提供するための方法の一実施例の基本ステップを示す。これは必ずしもこの順ではないが、以下のステップを有する:
ステップS1において、X線画像を収集し、ステップS2において、複数の心エコー画像を収集し、ステップS3において、心エコー画像に対するビューイング面を示すX線画像中のインジケータを決定し、ステップS4において、X線画像と複数の心エコー画像をレジストレーションし、ステップS5において、識別されたビューイング面において複数の心エコー画像の一つを選択し提供するステップ。
本発明の別の実施形態例において、適切なシステム上で先の実施形態の一つにかかる方法の方法ステップを実行するように適応されることを特徴とする、コンピュータプログラム若しくはコンピュータプログラム要素が提供される。
コンピュータプログラム要素は従ってコンピュータユニット上に記憶され得、これも本発明の一実施形態の一部であり得る。このコンピュータユニットは上記方法のステップを実行するか若しくは実行を誘導するように適応され得る。さらに、これは上記装置の構成要素を操作するように適応され得る。コンピュータユニットは自動的に作動するか及び/又はユーザの命令を実行するように適応され得る。コンピュータプログラムはデータプロセッサのワーキングメモリへロードされ得る。データプロセッサは従って本発明の方法を実行するように装備され得る。
本発明のこの実施形態例は、はじめから本発明を使用するコンピュータプログラムと、既存のプログラムをアップデートによって本発明を使用するプログラムへ変えるコンピュータプログラムの両方をカバーする。
さらに、コンピュータプログラム要素は上記方法の一実施形態例の手順を満たすために必要な全ステップを提供することができてもよい。
本発明のさらなる実施形態例によれば、CD‐ROMなどのコンピュータ可読媒体が提示され、コンピュータ可読媒体は前節によって記載されたコンピュータプログラム要素を記憶する。
コンピュータプログラムは、他のハードウェアと一緒に若しくはその一部として供給される光学記憶媒体若しくはソリッドステート媒体などの適切な媒体上に記憶及び/又は分散され得るが、インターネット又は他の有線若しくは無線通信システムなどを介して他の形式で分散されてもよい。
しかしながら、コンピュータプログラムはワールドワイドウェブのようなネットワークを介して提示されてもよく、かかるネットワークからデータプロセッサのワーキングメモリにダウンロードされることができる。本発明のさらなる実施形態例によれば、コンピュータプログラム要素をダウンロードに利用可能にするための媒体が提供され、かかるコンピュータプログラム要素は本発明の前記実施形態の一つにかかる方法を実行するように構成される。
本発明の実施形態は異なる主題に関して記載されることが留意されるべきである。特に、一部の実施形態は方法タイプクレームに関して記載されるが、他の実施形態は装置タイプクレームに関して記載される。しかしながら、当業者は上記及び下記から、他に明記されない限り、一つのタイプの主題に属する特徴の任意の組み合わせに加えて、異なる主題に関する特徴間の任意の組み合わせも本願とともに開示されるとみなされることを推測するだろう。しかしながら、全特徴は組み合わされて特徴の単なる総和以上の相乗効果をもたらし得る。
本発明は図面と先の説明において詳細に図示され記載されているが、かかる図示と記載は例示若しくは説明であって限定ではないとみなされるものとする。本発明は開示の実施形態に限定されない。開示の実施形態への他の変更は、図面、開示及び従属クレームの考察から、請求される発明を実施する当業者によって理解されもたらされることができる。
クレーム中、"有する"という語は他の要素若しくはステップを除外せず、不定冠詞"a"若しくは"an"は複数を除外しない。単一のプロセッサ若しくは他のユニットはクレームに列挙される複数の項目の機能を満たし得る。特定の手段が相互に異なる従属クレームに列挙されるという単なる事実は、これら手段の組み合わせが有利に使用されることができないことを示さない。クレーム中の任意の参照符号は範囲を限定するものと解釈されてはならない。
1:X線画像収集装置
2:心エコー画像収集装置
3:処理ユニット
6:ディスプレイ
7:造影剤注入器
8:制御ユニット
9:支持台
10:医用ビューイングシステム
11:X線源
12:X線検出器
13:Cアーム
21:超音波若しくはTEEプローブ
22:ディスプレイ
31:X線計算ユニット
32:心エコー計算ユニット
33:心エコーイメージング装置
34:画像データ提供ユニット
35:画像データ処理ユニット
36:レジストレーションシステム
37:ディスプレイ
38:イメージングフィールド
41:インジケータライン
42:追加表示
43:イメージングライン
44:拡大ライン
50:プラグ

Claims (12)

  1. 医用ビューイングシステムであって、
    X線イメージング面においてX線画像を収集するX線画像収集装置であって、前記X線画像がインターベンション装置を含む、X線画像収集装置と、
    心エコー画像を収集する心エコー画像収集装置と、
    処理ユニットと、
    前記X線イメージング面に垂直な、前記インターベンション装置を有する観察面を示すためのインジケータを前記X線画像において提供するユーザインターフェースと
    を有し、
    前記処理ユニットが、前記X線画像と前記心エコー画像をレジストレーションし、前記心エコー画像が、3D心エコー画像又は複数の2D心エコー画像を有し、前記処理ユニットが、前記3D心エコー画像から前記観察面における2Dビューを生成する又は前記複数の2D心エコー画像から前記観察面における2D心エコー画像を選択する、
    医用ビューイングシステム。
  2. 前記処理ユニットがさらに、前記インジケータと一緒に、前記X線イメージング面に垂直でない観察面を定義する、前記心エコー画像における追加のインジケータを決定する、請求項1に記載の医用ビューイングシステム。
  3. 前記処理ユニットが、前記観察面を厚さ方向に拡張することにより観察ボリュームへ拡張させる、請求項1又は2に記載の医用ビューイングシステム。
  4. 前記処理ユニットがさらに、前記X線画像における前記インジケータ及び前記X線画像とは異なるX線イメージング面における他のX線画像中の他のインジケータから前記インターベンション装置の関心点を三次元において位置特定する、請求項1からのいずれか一項に記載の医用ビューイングシステム。
  5. 前記X線画像収集装置又は前記心エコー画像収集装置が、ユーザによって選択されるボリューム若しくは面サイズ及び形状において前記関心点を中心として、追加画像クロッピングを行う、請求項に記載の医用ビューイングシステム。
  6. 前記処理ユニットがさらに、心エコー準備画像として、前記X線イメージング面における前記インジケータを提示する心エコー画像を提供するように適応される、請求項1からのいずれか一項に記載の医用ビューイングシステム。
  7. 前記処理ユニットがさらに、前記X線画像において前記観察面内の前記心エコー画像収集装置のイメージング範囲を提示する、請求項1からのいずれか一項に記載の医用ビューイングシステム。
  8. 前記心エコー画像収集装置が3D経食道心エコー(TEE)画像収集装置である、請求項1からのいずれか一項に記載の医用ビューイングシステム。
  9. 前記X線画像収集装置と前記心エコー画像収集装置がライブ画像を収集し、前記処理ユニットがほぼリアルタイムのフレームレートで前記ライブ画像をレジストレーションし、前記観察面において前記心エコー画像を自動的に提供する、請求項1からのいずれか一項に記載の医用ビューイングシステム。
  10. 観察面決定を伴う医用ビューイングシステムの作動方法であって、前記システムが、X線画像収集装置、心エコー画像収集装置、ユーザインターフェース及び処理ユニットを有し、前記方法は、
    前記X線画像収集装置が、X線イメージング面においてインターベンション装置を含むX線画像を収集するステップと、
    前記心エコー画像収集装置が、心エコー画像を収集するステップであって、前記心エコー画像が、3D心エコー画像又は複数の2D心エコー画像を有する、ステップと、
    前記ユーザインターフェースが、前記X線イメージング面に垂直な、前記インターベンション装置を有する観察面を示すインジケータを前記X線画像において提供するステップと、
    前記処理ユニットが、前記X線画像と前記心エコー画像をレジストレーションするステップと、
    前記処理ユニットが、前記3D心エコー画像から前記観察面における2Dビューを生成する又は前記複数の2D心エコー画像から前記観察面における2D心エコー画像を選択するステップと
    を有する、方法。
  11. 処理ユニットによって実行されるときに、請求項10に記載の方法ステップを実行するように適応される、請求項1からのいずれか一項に記載のシステムを制御するためのコンピュータプログラム。
  12. 請求項11に記載のコンピュータプログラムを記憶したコンピュータ可読媒体。
JP2020018846A 2014-03-21 2020-02-06 ビューイング面決定を伴う医用ビューイングシステム Active JP6936882B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14161136.8 2014-03-21
EP14161136 2014-03-21
JP2016555277A JP6659562B2 (ja) 2014-03-21 2015-03-11 ビューイング面決定を伴う医用ビューイングシステム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016555277A Division JP6659562B2 (ja) 2014-03-21 2015-03-11 ビューイング面決定を伴う医用ビューイングシステム

Publications (2)

Publication Number Publication Date
JP2020073100A JP2020073100A (ja) 2020-05-14
JP6936882B2 true JP6936882B2 (ja) 2021-09-22

Family

ID=50342242

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016555277A Active JP6659562B2 (ja) 2014-03-21 2015-03-11 ビューイング面決定を伴う医用ビューイングシステム
JP2020018846A Active JP6936882B2 (ja) 2014-03-21 2020-02-06 ビューイング面決定を伴う医用ビューイングシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016555277A Active JP6659562B2 (ja) 2014-03-21 2015-03-11 ビューイング面決定を伴う医用ビューイングシステム

Country Status (5)

Country Link
US (1) US10402990B2 (ja)
EP (1) EP3120332B1 (ja)
JP (2) JP6659562B2 (ja)
CN (1) CN106133797B (ja)
WO (1) WO2015140014A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3091928B1 (en) * 2013-11-25 2019-04-03 Koninklijke Philips N.V. Medical viewing system with a viewing angle optimization function
WO2015140014A1 (en) * 2014-03-21 2015-09-24 Koninklijke Philips N.V. Medical viewing system with a viewing plane determination
EP3420914A1 (en) * 2017-06-30 2019-01-02 Koninklijke Philips N.V. Ultrasound system and method
US11432875B2 (en) * 2017-09-28 2022-09-06 Siemens Medical Solutions Usa, Inc. Left atrial appendage closure guidance in medical imaging
EP3564903A1 (en) 2018-05-01 2019-11-06 Koninklijke Philips N.V. Lower to higher resolution image fusion
CN108805913B (zh) * 2018-05-14 2021-12-03 首都医科大学附属北京安贞医院 一种冠状动脉ct影像与心脏超声应变成像的融合方法
JP7258483B2 (ja) * 2018-07-05 2023-04-17 キヤノンメディカルシステムズ株式会社 医用情報処理システム、医用情報処理装置及び超音波診断装置
EP3659514A1 (en) * 2018-11-29 2020-06-03 Koninklijke Philips N.V. Image-based device identification and localization

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1699361B1 (en) 2003-12-22 2009-12-09 Koninklijke Philips Electronics N.V. System for guiding a medical instrument in a patient body
US7831073B2 (en) 2005-06-29 2010-11-09 Accuray Incorporated Precision registration of X-ray images to cone-beam CT scan for image-guided radiation treatment
WO2007049207A1 (en) * 2005-10-27 2007-05-03 Koninklijke Philips Electronics N.V. System and method for generating for display two-dimensional echocardiography views from a three-dimensional image
JP5291619B2 (ja) * 2006-05-24 2013-09-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 座標系レジストレーション
US20130046172A1 (en) * 2007-03-14 2013-02-21 Kathryn A. McKenzie Waitzman Methods and systems for locating a feeding tube inside of a person
US8213693B1 (en) * 2007-05-16 2012-07-03 General Electric Company System and method to track and navigate a tool through an imaged subject
JP5404066B2 (ja) 2009-01-13 2014-01-29 株式会社東芝 医用画像表示システム
CN102651999B (zh) * 2009-12-09 2015-07-22 皇家飞利浦电子股份有限公司 超声和x射线系统的组合
CN102713976B (zh) * 2010-01-12 2017-05-24 皇家飞利浦电子股份有限公司 对介入装置进行导航
US8641757B2 (en) 2010-09-10 2014-02-04 Edwards Lifesciences Corporation Systems for rapidly deploying surgical heart valves
US9687204B2 (en) * 2011-05-20 2017-06-27 Siemens Healthcare Gmbh Method and system for registration of ultrasound and physiological models to X-ray fluoroscopic images
WO2013114257A2 (en) * 2012-02-03 2013-08-08 Koninklijke Philips N.V. Imaging apparatus for imaging an object
US9247880B2 (en) 2012-02-23 2016-02-02 Siemens Aktiengesellschaft Image fusion for interventional guidance
US9449381B2 (en) * 2012-09-10 2016-09-20 Arizona Board Of Regents, A Body Corporate Of The State Of Arizona, Acting For And On Behalf Of Arizona State University Methods, systems, and media for generating and analyzing medical images having elongated structures
WO2015140014A1 (en) * 2014-03-21 2015-09-24 Koninklijke Philips N.V. Medical viewing system with a viewing plane determination

Also Published As

Publication number Publication date
WO2015140014A1 (en) 2015-09-24
CN106133797B (zh) 2021-03-02
EP3120332A1 (en) 2017-01-25
JP6659562B2 (ja) 2020-03-04
US10402990B2 (en) 2019-09-03
JP2017507723A (ja) 2017-03-23
JP2020073100A (ja) 2020-05-14
CN106133797A (zh) 2016-11-16
EP3120332B1 (en) 2023-11-15
US20170132796A1 (en) 2017-05-11

Similar Documents

Publication Publication Date Title
JP6936882B2 (ja) ビューイング面決定を伴う医用ビューイングシステム
US10650513B2 (en) Method and system for tomosynthesis imaging
US10055848B2 (en) Three-dimensional image segmentation based on a two-dimensional image information
JP6030340B2 (ja) 最適投影画像をコンピュータの実行により決定するための方法と装置
JP6559532B2 (ja) X線透視画像のリアルタイムシミュレーション
US20130257910A1 (en) Apparatus and method for lesion diagnosis
US10991069B2 (en) Method and apparatus for registration of medical images
JP2022078028A (ja) 医療処置で使用するための医療装置の選択
JP5844732B2 (ja) インターベンション装置を観察するためのシステム及び方法
US9990725B2 (en) Medical image processing apparatus and medical image registration method using virtual reference point for registering images
EP3886715B1 (en) Image-based device tracking
CN109598752A (zh) 图像处理装置及其控制方法、计算机可读存储介质
WO2016131955A1 (en) Automatic 3d model based tracking of deformable medical devices with variable appearance
JP5458207B2 (ja) 画像表示装置及び画像表示方法
JP2008206965A (ja) 医用画像生成装置、方法およびプログラム
JP5623144B2 (ja) 3d画像に対応するビューを2d画像上に重ね合わせている医用撮像方法及び、対象の注目領域の画像を収集するシステム
JP6400286B2 (ja) X線ct装置、及びx線ct装置の制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20201210

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210827

R150 Certificate of patent or registration of utility model

Ref document number: 6936882

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150