JP6878439B2 - 体部の3次元モデル - Google Patents

体部の3次元モデル Download PDF

Info

Publication number
JP6878439B2
JP6878439B2 JP2018533911A JP2018533911A JP6878439B2 JP 6878439 B2 JP6878439 B2 JP 6878439B2 JP 2018533911 A JP2018533911 A JP 2018533911A JP 2018533911 A JP2018533911 A JP 2018533911A JP 6878439 B2 JP6878439 B2 JP 6878439B2
Authority
JP
Japan
Prior art keywords
model
vascular structure
ray image
modeled
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018533911A
Other languages
English (en)
Other versions
JP2019500146A (ja
Inventor
ヴィンセント モーリス アンドレ オーヴレイ
ヴィンセント モーリス アンドレ オーヴレイ
ラウル フローレント
ラウル フローレント
ロマーヌ イザベル マリエ‐ベルナルド ガウリアウ
ロマーヌ イザベル マリエ‐ベルナルド ガウリアウ
アレクサンドラ グロス
アレクサンドラ グロス
ユルゲン ウェーゼ
ユルゲン ウェーゼ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2019500146A publication Critical patent/JP2019500146A/ja
Application granted granted Critical
Publication of JP6878439B2 publication Critical patent/JP6878439B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • G06T2207/10124Digitally reconstructed radiograph [DRR]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、典型的には臨床的介入報告書(clinical interventional report)のために使用される、体の部分(以後、体部)の患者固有の3Dモデル(以後、患者固有3Dモデル)を提供する装置、典型的には臨床的介入報告書のために使用される体部の患者固有3Dモデルを提供する医療システム、及び典型的には臨床的介入報告書のために使用される体部の患者固有3Dモデルを提供する方法、並びにコンピュータ・プログラム要素及びコンピュータ可読媒体に関する。
血管治療において、例えば心臓狭窄を治療する経皮的冠動脈形成術(PTCA)において、血管治療に関する情報が提供される必要がある。血管治療の重要な結果は、冠動脈の展開図(flattened diagram)に注釈を付けることによって文書記録される。具体的には、臨床医は、例えば冠動脈の略展開図上で狭窄の位置を特定することによってどの狭窄が治療されたのか、また、それらの重大度を記述しなければならない。
米国特許出願公開第2010/0098309A1号は、患者のボリュメトリックデータを分析し、使用するシステム及び方法について説明している。患者を特徴付けるボリュメトリックデータは、コンピュータ断層撮影デバイス(CT)、磁気共鳴イメージャ(MR)又は他の断層撮影モダリティといった撮像モダリティを使用して得られる。ボリュメトリックデータ又は当該データから導出される画像スライスは、解剖学アトラスからの解剖学的画像又はモデルデータと比較され、これにより、患者データが身体構造と関連付けられる。解剖学的関連性は、患者の診断又は治療に有用でありうる情報を取り出すために、データベース内の検索用語として使用される。
しかしながら、冠動脈の平面概略図と、血管造影画像(angiographic image)中で観察される実際の血管構造との隔たりは大きく、その結果、臨床医が、血管造影画像中の特徴を、冠動脈の概略図上の特徴と一致させることは簡単ではない。このことは、集団内の冠動脈樹(coronary tree)の変動性(variability)をも考慮したときに特にそうである。
血管造影図(angiogram)を解釈する改良された技法があれば有利であろう。
本発明のこの課題は、独立請求項の主題によって解決される。従属請求項には追加の実施形態が含まれている。以下で説明する本発明の諸態様は、体部の患者固有3Dモデルを提供する装置、体部の患者固有3Dモデルを提供する医療システム、体部の患者固有3Dモデルを提供する方法、並びにコンピュータ・プログラム要素及びコンピュータ可読媒体にも当てはまることに留意すべきである。
第1の態様によれば、体部の患者固有3Dモデルを提供する装置が提供される。この装置は、
− 入力ユニットと、
− 処理ユニットと
を備える。
入力ユニットは、患者の体部の血管構造の2DのX線画像データを含む少なくとも1つの2DのX線画像を提供するように構成されている。入力ユニットはさらに、その体部の3Dモデルを提供するように構成されている。この3Dモデルは、モデル化された3D血管構造を含み、少なくとも1つのパラメータが、このモデル化された3D血管構造の見え方(appearance)を指令する。この3Dモデルは、その体部の総称モデル(generic model)である。処理ユニットは、このモデル化された3D血管構造を、血管構造の2DのX線画像データと突き合わせて、前記少なくとも1つのパラメータを決定するように構成されている。処理ユニットはさらに、この3Dモデルを、決定された前記少なくとも1つのパラメータの関数として更新するように構成されている。処理ユニットは、この3Dモデルから決定された情報に基づいて医療報告書を作成するように構成されている。
言い換えると、体部が心臓である例では、冠動脈の基本的な3Dモデル(以後、基本3Dモデル)が、観察された血管造影シーケンス(angiographic sequence)に依存し、観察された血管造影シーケンスに基づいて漸進的に適合される。別の言い方をすれば、セグメントの長さ、どの枝が存在するのか、どの枝がどの枝から及びどこ(枝の位置)から分枝するのか、枝の向き(orientation)及び湾曲(curvature)などの、モデル化された3D血管構造(例えば分枝構造)(言い換えると、心臓の例では、冠動脈構造)の見え方が患者の心臓を表すまで、前記少なくとも1つのパラメータを適合させることによって、モデル化された3D血管構造の見え方を修正することができる。したがって、前記少なくとも1つのパラメータを適合させることは、枝の位置、長さ、向き及び湾曲を変化させることに関係することができ、そのため、この適合は、スケーリング・ファクタ(scaling factor)の適用を含むと考えることができる。このような「内部」モデル・パラメータに関するスケーリング・ファクタは、アフィン変換(affine transformation)を含むことができる。言い換えると、体部のモデルのサイズを一様に変化させることができるだけでなく、体部のモデルを横切って体部のモデルのサイズを異なる比率でスケーリングすることもできる。スケーリング・ファクタは、体部のモデルの一方の末端では体部のサイズが変更されておらず、体部のモデルのもう一方の末端では体部のサイズが変更されているような態様で、体部のモデルを横切って直線的に増大させることができる。体部のモデルの中間部分は、これらの2つの末端間で直線的に又は非直線的にスケーリングすることができる。したがって、冠動脈樹の構造を、患者の冠動脈樹の構造と一致するように適合させることができるだけでなく、患者間の体部のサイズの変化を考慮するために、モデルのサイズを変化させることもできる。このようにして、血管構造の2DのX線画像データ(血管造影図)を体部の総称3Dモデルとともに使用して、体部の患者固有3Dモデルを生成する。用語「血管造影図」は、患者の心臓領域の血管及び/又は心臓の外側の血管構造の視覚化に関する。
言い換えると、モデル化された3D血管構造を、2DのX線画像データ(例えば血管造影図)と突き合わせることによって、モデル化された3D血管構造の見え方を指令又は規定する1つ又は複数のパラメータを決定することができる。次いで、決定されたパラメータを使用して、体部の改良された3Dモデルを提供することができる。モデル化された3D血管構造を、体部を貫く異なるアンギュレーション(angulation)で取得されたいくつかの異なる2DのX線画像と突き合わせることによって、体部の患者固有3Dモデルが提供されるまで、体部の3Dモデルを漸進的に改良することができ、又は、いくつかの画像を同時に3Dモデルと突き合わせると、体部の3Dモデルを、単一の計算に基づいて改良することができる。
このようにすると、3Dモデルの見え方を支配している少なくとも1つのパラメータを、体部の1つ又は複数の血管造影図に基づいて決定することにより、体部の総称3Dモデルを使用して、体部の患者固有3Dモデルを生み出すことができる。このようにすると、患者の心臓の血管造影図などの患者の体部の2DのX線画像を、医療手技中の異なる時点において取得することができ、患者の体部の2DのX線画像を数秒又は数分だけ分離することができ、患者の体部の2DのX線画像を使用して、体部の患者固有3Dモデルを生成することができる。異なる日に取得された2DのX線画像、又は患者の治療期間中に同じ病院で若しくは異なる病院で取得された2DのX線画像を使用して、患者のその時点の状態を表す体部の3Dモデルを生成することができ、その3Dモデルは、1つ又は複数の新たな血管造影図(心臓の場合)が使用可能になったときに、その血管造影図に基づいて改良される。
このように、体部の患者固有3Dモデルは、CTスキャンなどのボリューメトリック画像の取得を実行する必要なしに決定され、この3Dモデルは、2D画像だけから決定される。これをさらに説明すると、CT又はC−アームCTが、患者の周りを回転したときに一連の2D画像をスキャナとして取得し、この一連の2D画像から3Dボリュームを計算する。言い換えると、このCT由来のボリュームは、2D画像だけから導出される。この状況では、患者固有でない総称3Dモデル又は患者の古い3Dモデルとすることができる体部の3Dモデルが提供され、この3Dモデルが、2DのX線画像に基づいて更新される。この2DのX線画像は、異なる日に取得することができ、又は数秒若しくは数分だけ分離することができる。この3Dモデルは、2D画像をモデルの3D血管構造と突き合わせることによって更新される。
次いで、この体部の患者固有3Dモデルをいくつかの臨床的手技で使用して、例えば、患者固有3Dモデルの生成において使用した2DのX線画像データの報告を助け又は増強することができる。このような機能を提供するのに、いくつかの例では、この患者固有モデルが近似のモデルであるだけでよい。
言い換えると、(血管造影シーケンスからの血管造影図などの)X線画像を、患者固有3Dモデルに由来するモデル化された血管樹(例えば冠動脈樹)の2D投影図(2D projection)に関連づけることができる。このモデル化された血管樹の2D投影図は、血管造影図の取得中に適用された視点(perspective)と同様の視点から提示される。
別の言い方をすれば、血管構造の全ての枝構造が分かっている、体部の患者固有3Dモデルを生成することができる。次いで、モデル化された3D血管構造の2D投影図が、血管造影図の取得中に使用されたアンギュレーションと同じアンギュレーションで提示されるような態様で、この3Dモデルを適当に操作することができる。次いで、この3Dモデル中の3D血管構造は分かっているため、すなわち、血管樹の全ての構成部分が分かっており、それらを名指しすることができるため、3Dモデル血管構造の2D投影図は、2D血管造影図内の構造をより容易に解釈することを可能にすることができる。また、モデル化された3D血管構造の2D投影図の構造は分かっているため、臨床医は、モデル化された3D血管構造の2D投影図を参照することにより、血管造影図中の血管構造の部分の識別を容易に決定することができる。臨床医は、3Dモデルの一致した2D投影図を参照することにより、血管造影図中の動脈を、それらの動脈の解剖学的名称によって容易に識別することができる。この一致した2D投影図は、その心臓3Dモデルが、あたかも血管造影図を取得するのに使用した方向と同じ方向からX線分析を受けたものであるかのように、モデル化された血管構造の2D投影図を示す。
言い換えると、検査中に取得された血管造影図を自動的に利用することにより、冠動脈図を適合させる目的に使用することができる心臓の患者固有3Dモデルを生成することができる。この適合により冠動脈図も患者固有になる。これによって、観察された血管造影図と冠動脈図との間に存在する相違が低減し、より直観的でより正確な注釈が可能になり、特定の解剖学的構造の手動選択が回避される。さらに、このような報告書の解釈はより容易であり、誤った解釈の低減につながる。これは、観察された血管造影シーケンスと成功裏に又は同時に突き合わされた冠動脈の3D幾何学的モデルに依存することによって達成される。別の言い方をすれば、結果として得られる患者固有の冠動脈モデルを、報告に適した形態に変形することができる。この形態を、正しい解剖学的構造、分枝及びセグメント重要性(significance)を有する平面2Dモデルとすることができる。又は、ユーザがモデルを回転させることができるディジタル報告書の場合、この形態を直接に、適合された3Dモデルとすることもできる。
一例では、処理ユニットが、モデル化された3D血管構造を、血管構造の2DのX線画像データと突き合わせるように構成されている。処理ユニットは、体部の3Dモデルの2D投影図を決定するように構成されており、体部の3Dモデルの2D投影図は、モデル化された3D血管構造の2D投影図を含む。処理ユニットは、適合されたモデル化された3D血管構造の2D投影図が、患者の体部の血管構造の2DのX線画像データを表すような態様で、前記少なくとも1つのパラメータを適合させるように構成されている。適合された前記少なくとも1つのパラメータは、決定された前記少なくとも1つのパラメータを形成する。
別の言い方をすれば、取得された血管造影シーケンスの血管造影図を、再投影された3Dモデルと(同じ視点から)突き合わせる。血管造影画像と投影されたモデルとの間で観察される差異を低減させるため、3Dモデル(したがって3Dモデルの2D投影図)の見え方を指令しているパラメータを適合させる。これは、ポーズ推定(pose estimation)、すなわち、血管造影図が撮影されたときの体部(例えば心臓)の向きに適当に一致する3Dモデルの向きの推定を含むことができる。このポーズは、モデル内部パラメータの前に又はモデル内部パラメータと一緒に推定することができる(2D再投影図の大きな差異に帰着するポーズ・パラメータは、より細かな相違に帰着するポーズ・パラメータよりも前に、又はより細かな相違に帰着するポーズ・パラメータと一緒に設定することができる)。
必要な場合には、この適合が、それぞれの血管造影シーケンスについて逐次的に実行される。このことは、全ての血管造影図が使用されること、又は使用可能な血管造影図のサブセットだけが使用されることを意味する。
言い換えると、3Dモデルの前記少なくとも1つのパラメータに対する最適化プロセスを実行して、その3Dモデルの2D投影図が、観察された血管造影図と一致するようにする。
一例では、処理ユニットが、修正されたモデル化された3D血管構造の2D投影図が、血管構造の前記少なくとも2DのX線画像データを表すまで、前記少なくとも1つのパラメータを修正するように構成されている。このようにして、前記少なくとも1つのパラメータを適合させる。
言い換えると、3D血管構造の歪ませた2D投影図が実際の血管造影図と最もよく一致するまで、3Dモデル及び3Dモデルの3D血管構造の2D投影図を歪ませるために、3Dモデルのパラメータを変化させる。ここで3Dモデルの新たなパラメータが、改良されたモデルの決定されたパラメータとなる。次いで、異なる視点から撮影された血管造影図から、このプロセスを実行することができる。その場合、そのモデルは、その同じ視点から見られる。或いは、これを、異なる血管造影図に対して同時に実行することもできる。
一例では、処理ユニットが、モデル化された3D血管構造を、血管構造の2DのX線画像データと突き合わせるように構成されている。処理ユニットは、体部の3Dモデルを変形するように構成されている。体部の3Dモデルのこの変形は、体部の3Dモデルのポーズの決定を含む。
言い換えると、処理ユニットは、3Dモデルの2D投影図中の血管構造が実際に取得された血管造影図中の血管構造と一致するまで、又は少なくともほぼ一致するまで、3Dモデルの例えば回転及び/又は平行移動によって、3Dモデルを変形するように構成されている。別の言い方をすれば、3Dモデルの2D投影図中の血管構造が、血管造影図中の血管構造の2DのX線画像データとほぼ相関するまで、3Dモデルを変形させる。次いで、血管造影図が取得されたときの患者の心臓の向きと同じ向きに3Dモデルを配置する。次いで、3Dモデルが患者の体部(例えば心臓)とコヒーレント(coherent)となるように、前記少なくとも1つのパラメータを適合させることができる。
一例では、入力ユニットが、前記少なくとも1つの2DのX線画像を取得するのに使用したX線取得ユニットの幾何学的構成に関する情報を提供するように構成されており、体部の3Dモデルの前記変形が、X線取得ユニットの幾何学的構成に関するこの情報の利用を含む。
言い換えると、3Dモデルの2D投影図が2D血管造影図と既によく似ているような態様で、患者の体部に対応する位置に3Dモデルを配置し向きを定めるために、患者に対するX線源及び検出器の位置に関する情報を、体部をX線が通過した方向がほぼ分かっているような態様で使用することができる。
別の言い方をすれば、(検討中の図に対応する2D図を与える)検討対象の血管造影図に対応するC−アーム・アンギュレーションで、3D冠動脈モデルを投影することができる。次いで、3D幾何学的パラメータに対する最適化プロセスを実行して、2D図が、観察された血管造影図と一致するようにすることができる。
一例では、処理ユニットが、体部の変形された3Dモデルに関連したモデル化された3D血管構造の前記少なくとも1つの2D投影図にユーザが注釈をつけることを可能にするように構成されており、処理ユニットが、体部の3Dモデルのモデル化された3D血管構造にその注釈を適用するように構成されている。
言い換えると、臨床医は、自分の所見を平明且つ正確に記入することができる。臨床医は、冠動脈樹に注釈をつける目的に使用したい血管造影画像(2DのX線画像)/2D図(モデル化された3D血管構造の2D投影図)対を選ぶことができる。(例えば狭窄症の位置を特定するために)これらの図のうちの一方の図を編集すると、それらの全ての図が更新される(それらの図は全て、同じ物体の特定の図を示すためである(総称3Dモデル))。
一例では、処理ユニットが、体部の変形された3Dモデルに関連したモデル化された3D血管構造の前記少なくとも1つの2D投影図、及び/又は体部の変形された3Dモデルに関連したモデル化された3D血管構造、及び/又は体部の変形された3Dモデルを報告するための報告フォーマットをユーザが選択することを可能にするように構成されている。
言い換えると、臨床医は、報告書中で情報を示したいフォーマットを選択することができる。簡単なアプローチは、血管造影図/再投影2D図対のうちのいくつかを報告書にエクスポートするものである。こうすることによって、報告書を読んだ臨床医は、その検査の所見の性質を直観的且つ正確に理解することができる。ユーザは、ユーザの所見をより簡潔且つコンパクトに要約した別のグラフィックを作成することもできる。ユーザは、(モデル化された3D血管構造から構築された)平面概略2D図、又は3D樹(モデル化された3D血管構造)に頼ることができる。ユーザはこの3D樹をディジタル報告書中で回転させる。一例では、上記の図のうちの1つ又は複数の図に注釈をつけることができる。
このようにすると、臨床医は、自分の所見を(例えば2D画像、再投影3Dモデル又は3Dモデルをクリックすることによって、必要ならば異なる2D画像又は投影図上にそれらの所見を入力することによって)記入することができる。
別の言い方をすれば、臨床医又はユーザは、報告書の中で自分の所見を提示したいフォーマットを選ぶことができる。臨床医又はユーザは、血管造影図/注釈付き2D投影モデル図対のうちのいくつかに頼ることができ、且つ/又はコンパクトな概略図(平面2D図、ディジタル報告書中の編集可能な3D図)を作成することができる。
一例では、処理ユニットが、モデル化された3D血管構造を、血管構造の2DのX線画像データと突き合わせるように構成されている。処理ユニットは、血管構造の前記少なくとも1つの2DのX線画像中の血管構造の少なくとも1つのセグメントを示すように構成されている。処理ユニットは、前記少なくとも1つのセグメントに関する少なくとも1つの測定を実行し、血管構造の前記少なくとも1つの2DのX線画像中の血管構造の前記少なくとも1つのセグメントを、モデル化された3D血管構造の対応する少なくとも1つのセグメントに関連づけるように構成されている。処理ユニットは、前記少なくとも1つのパラメータを、この少なくとも1つの測定の関数として適合させるように構成されている。適合された前記少なくとも1つのパラメータは、決定された前記少なくとも1つのパラメータを形成する。
一例では、前記少なくとも1つの2DのX線画像が複数の画像を含み、処理ユニットが、それらの複数の画像の中から、注入がうまくいった2DのX線画像を選択するように構成されている。
一例では、前記少なくとも1つの2DのX線画像を取得するのに使用したX線取得ユニットが、前記少なくとも1つの2DのX線画像を取得したときに静止していた。
このようにすると、検査中に、規則的なX線シーケンスを、例えば静止C−アーム取得ユニットによって、特定のプロトコルで又は特定のシーケンスでそれらの画像を取得する必要なしに取得することができる。言い換えると、前記少なくとも1つのX線画像が複数の画像を含むときには、特定の画像を取得するために臨床医がC−アーム・システムを配置したときに、それらの画像を取得することができる。そのため、それらの画像は、数秒又は数分だけ分離することができ、異なる日にまたがる異なる検査中に取得された画像に適用することさえもできる。
第2の態様によれば、体部の患者固有3Dモデルを提供する医療システムが提供される。このシステムは、
− X線画像取得ユニットと、
− 体部の患者固有3Dモデルを提供する、上記の例及び態様のいずれかに記載の装置と、
− 出力ユニットと
を備える。
X線画像取得ユニットは、前記少なくとも1つの2DのX線画像を提供するように構成されている。出力ユニットは、体部の患者固有3Dモデルを表すデータを出力するように構成されている。
体部の患者固有3Dモデルを提供する医療システムを提供することによって、総称的な体部でない患者の体部の正確な3Dモデルが臨床医に自動的に提供される。この3Dモデルは、例えば発生した体部の介入に関連した必要な報告情報を準備する際に使用可能である。例えば、心臓(体部の例)の血管造影図と同じアンギュレーションを有する、3Dモデルの2D投影図を使用することによって、患者の冠動脈樹の部分の名称に関する情報が臨床医に提供される。このことは、実施する予定の介入と実施した介入の両方の完全で正確な報告を可能にする。このようにすると、臨床医は、将来において血管造影図を容易に見直し、それらの血管造影図の空間的コンテキストを理解することができ、異なる臨床医がそれらの血管造影図を見直すことができ、それらの血管造影図中で観察された血管構造に関する情報を、画像を解釈する必要なしに、異なる臨床医に自動的に提供することができる。臨床医にはさらに、さまざまな血管造影図間の対応も提供される。
第3の態様によれば、体部の患者固有3Dモデルを提供する方法が提供される。この方法は、
a)患者の体部の血管構造の2DのX線画像データを含む少なくとも1つの2DのX線画像を提供すること、及び
b)その体部の3Dモデルを提供すること
を含み、この3Dモデルは、モデル化された3D血管構造を含み、少なくとも1つのパラメータが、このモデル化された3D血管構造の見え方を指令し、この3Dモデルが、その体部の総称モデルであり、この方法はさらに、
c)このモデル化された3D血管構造を、血管構造の2DのX線画像データと突き合わせて、前記少なくとも1つのパラメータを決定すること、
d)この3Dモデルを、決定された前記少なくとも1つのパラメータの関数として更新すること、及び
e)この3Dモデルから決定された情報に基づいて医療報告書を作成すること
を含む。
別の態様によれば、上で説明した装置を制御するコンピュータ・プログラム要素が提供される。このコンピュータ・プログラム要素は、このコンピュータ・プログラム要素が処理ユニットによって実行されたときに、上で説明した方法のステップを実行するように適合されている。
別の態様によれば、上で説明したコンピュータ要素を記憶したコンピュータ可読媒体が提供される。
有利には、上記の態様によって提供される利益は、他の全ての態様によっても等しく提供される。逆もまた真である。
上記の態様及び例は、以下で説明する実施形態から明白になり、以下で説明する実施形態を参照することによって解明される。
以下では、例示的な実施形態を、以下の図面を参照して説明する。
体部の患者固有3Dモデルを提供する装置の例の概略的な構成を示す図である。 体部の患者固有3Dモデルを提供する医療システムの例の概略的な構成を示す図である。 体部の患者固有3Dモデルを提供する方法の例を示す図である。 平面冠動脈図の例を示す図である。 体部の患者固有3Dモデルを提供することの部分として2Dセグメントの標識付けが適用された例示的な画像を示す図である。 図5に示した情報と同じ情報を示す図である。この図では、画像の代わりに概略図が使用されている。 血管構造の合成図を提供する方法のワークフローの例を示す図である。 体部の3Dモデルの例を示す図である。
図1は、体部の患者固有3Dモデルを提供する装置10の例を示す。この装置は、入力ユニット20と処理ユニット30とを備える。入力ユニット20は、患者の体部の血管構造の2DのX線画像データを含む少なくとも1つの2DのX線画像を処理ユニット30に提供するように構成されている。入力ユニット20はさらに、その体部の3Dモデルを処理ユニット30に提供するように構成されている。この3Dモデルは、モデル化された3D血管構造を含み、少なくとも1つのパラメータが、このモデル化された3D血管構造の見え方を指令する。処理ユニット30は、このモデル化された3D血管構造を、血管構造の2DのX線画像データと突き合わせて、前記少なくとも1つのパラメータを決定するように構成されている。処理ユニット30はさらに、この3Dモデルを、決定された前記少なくとも1つのパラメータの関数として更新するように構成されている。処理ユニット30は、この3Dモデルから決定された情報に基づいて医療報告書を作成するように構成されている。
一例では、その体部が心臓であり、3Dモデルが、冠動脈の幾何学的モデルである。一例では、モデル化された3D血管構造の見え方が、3Dモデルの血管構造の分枝関係に関係すると考えることができる。一例では、モデル化された3D血管構造の見え方が、以下のうちの任意の1つ若しくは全部、又は以下のものの任意の組合せに関する:1本の枝と別の枝との角度、特定の枝が存在するか否か、どの枝がどの枝から生じているのか、枝の長さ、(それぞれの枝の異なるセグメントを規定する)分岐(bifurcation)の位置、セグメントの半径の精度、及び異なるセグメントの湾曲の精度。言い換えると、心臓の例では、モデル化された3D血管構造の見え方が冠動脈構造を規定する。一例では、体部の患者固有3Dモデルを提供するために、モデル化された3D血管構造を、血管構造の2DのX線画像データと突き合わせることによって、前記少なくとも1つのパラメータのデフォルト値を改定することができる。別の言い方をすれば、前記少なくとも1つのパラメータが例えば、どのセグメントがどのセグメントに連結されるのか、セグメントの長さ(セグメントが分枝する方式と解釈することができる)、それぞれのセグメントの見え方、太さ、向き、蛇行(tortuosity)、及びモデルの向き、ポーズを指令する。
一例では、前記少なくとも1つのパラメータが、突き合わされた異なる2DのX線画像データに対して、(例えば心臓では)心臓を貫く異なる角度での血管造影図、及び/又は心臓を貫く角度は同じだが、血管構造の異なる部分に造影剤が注入されており、したがって目に見えはっきり識別できる形で観察される血管造影図に対して、漸進的に更新される。
一例では、向きが異なるいくつかの2DのX線画像、例えば心臓を貫く向きが異なるいくつかの2DのX線画像を、モデル化された3D血管構造と同時に突き合わせて、前記少なくとも1つのパラメータを決定する。このようにすると、前記少なくとも1つのパラメータを決定するために単一の計算が使用され、3Dモデルを漸進的に適合させる必要は必ずしもない。
一例では、突き合わせることが、調べること及び/又は比較することを含む。
一例では、3Dモデルの3D血管構造が分かっている。すなわち、血管樹の全ての(又は少なくとも一部の)構成部分が分かっており、それらを名指しする(それらに注釈をつける)ことができる。
一例では、処理ユニットが、体部の3Dモデルの2D投影図を決定するように構成されており、体部の2D投影図が、モデル化された3D血管構造の2D投影図を含む。
心臓を体部の例とした例では、2DのX線画像中の血管構造が2D冠動脈樹に対応し、この例では、この2D冠動脈樹がセグメント化される。(連続)血管エネルギー・マップ(vessel energy map)を構築し、次いで血管エネルギー・マップをしきい値処理してセグメント化を達成する、リッジ・フィルタ(ridge filter)の拡張に基づく画像処理法の例が、以下の参考文献、すなわち「Improved vessel enhancement for fully automatic coronary modelling」、V.Auvray、U.Jandt、R.Florent、D.Schafer、SPIE Medical imaging 2009に出ている。一例では、体部の3Dモデルが、血管の予想される位置及び血管の「存在し得ない」位置に関する情報を伝えるために、セグメント化においてさらに利用される。
一例では、2DのX線画像中の血管構造のはっきりと画定された枝が識別される。一例では、2DのX線画像中の血管構造のはっきりと画定された枝が識別され、残りの枝が、この2DのX線画像(血管造影図)によるさらなる分析から除かれる。
一例では、処理ユニットが、体部の3Dモデルの2D投影図を決定するように構成されており、この2D投影図が、モデル化された3D血管構造の2D投影図を含む。このようにすると、3Dモデルのポーズが、X線検査(例えば血管造影図)中の体部のポーズ、例えば心臓のポーズと同じとなるような態様で、3Dモデルの向きが適当に決められたときに、2D投影図が、血管造影図中の血管構造に対応する血管構造を有する容易に解釈可能なモデル化された出力を提供する。
一例では、処理ユニットが、ディジタル医療報告書に挿入することができる体部の3Dモデル、例えば心臓の3Dモデルを生成するように構成されている。このようにすると、例えば、ディジタル報告書の読者がディジタル報告書内の血管造影図を見たときに、心臓の関連3Dモデルを、血管造影図を撮影したときの心臓の向きと同じ向きに向けることができる。ディジタル報告書内で、この3Dモデルはさらに、モデル化された2D投影図から血管造影図中の血管構造をより容易に解釈することができるような態様で、見ている血管造影図と一致した、3Dモデルの2D投影図を生成することができる。
一例によれば、処理ユニットが、モデル化された3D血管構造を、血管構造の2DのX線画像データと突き合わせるように構成されている。処理ユニットは、体部の3Dモデルの2D投影図を決定するように構成されており、体部の3Dモデルの2D投影図は、モデル化された3D血管構造の2D投影図を含む。処理ユニットは、適合されたモデル化された3D血管構造の2D投影図が、患者の体部の血管構造の2DのX線画像データを表すような態様で、前記少なくとも1つのパラメータを適合させるように構成されている。適合された前記少なくとも1つのパラメータは、決定された前記少なくとも1つのパラメータを形成する。
一例では、処理ユニットが、適合された少なくとも1つのパラメータに基づいて3Dモデルを適合させ、3D血管構造を適合させ、体部の適合された3Dモデルの2D投影図を決定するように構成されている。
一例では、3D血管構造の歪ませた2D投影図が実際の血管造影図と最もよく一致するまで、3Dモデル及び3Dモデルの3D血管構造の2D投影図を歪ませるために、上で論じたポーズを含む3Dモデルのパラメータを変化させる。ここで3Dモデルの新たなパラメータが、改良されたモデルの決定されたパラメータとなる。次いで、異なる視点から撮影された血管造影図から、このプロセスを実行することができる。その場合、そのモデルは、その同じ視点から見られる。或いは、それらのパラメータを変化させ、2D血管造影図の全体とすぐに突き合わせることができる。最良の整列(alignment)を与える一組のパラメータを選択する。このような状況では、モデルの「内部」パラメータは、全ての血管造影図に対して同じとすることができるが、「外部」ポーズ・パラメータは、血管造影図ごとに変えることができる。
言い換えると、3Dモデルの前記少なくとも1つのパラメータに対する最適化プロセスを実行して、その3Dモデルの2D投影図が、観察された血管造影図と一致するようにする。別の言い方をすれば、この最適化プロセスは、3D/2D位置合せ(registration)に使用されるプロセスと同様のプロセスである。3Dモデルの2D投影図を血管造影図と一致させることに関する情報は、以下の2つの参照文献、1)「Projection.based motion compensation and reconstruction of coronary segments and cardiac implantable devices using rotational X−ray angiography」、Gert Schoonenberg、Raoul Florent、Pierre Lelong、Onno Wink、Daniel Ruijters、John Carroll、Bart ter Haar Romeny、Medical Image Analysis、13巻、5号、2009年10月、785〜792ページと、2)「Model−based segmentation of the left main coronary bifurcation from 2D angiograms」、R.Lacroix、R.Florent、V.Auvray、ISBI 2012とに出ている。
一例では、前記少なくとも1つのパラメータを適合させることが、エネルギー関数を定義することを含み、このエネルギー関数は、モデル化された3D血管構造のその時点の2D投影図が、血管構造(例えば血管造影図中の冠動脈樹)の2DのX線画像データとどれくらいよく一致しているのかを特徴づける。
一例では、エネルギー関数を定義することが、血管造影図をフィルタにかけることによって血管エネルギー・マップを計算すること、及びモデル化された3D血管構造の2D投影図と重なる血管エネルギーを合計することを含む。3Dモデルの前記少なくとも1つのパラメータが、モデル化された3D血管構造の2D投影図が血管造影図中の血管によく対応するような態様のものである場合、血管エネルギーは高く、3Dモデルの前記少なくとも1つのパラメータが、血管造影図とコヒーレントでない場合、そのような対応はなく、血管エネルギーは低い。異なる血管造影図についてこのエネルギーを同時に計算する(再投影された中心線に沿って血管造影図血管エネルギーを合計する)ことができることに留意すべきである。
一例では、生成されている3Dモデルの血管構造の関連2D投影図を用いて、前記少なくとも1つのパラメータの、サンプリング係数までの全ての可能な構成を調べ、最も高いエネルギーを与えるものが、最適な前記少なくとも1つのパラメータを有する3Dモデルに対応する。
一例では、このエネルギーが、少なくとも1つのパラメータに関して微分可能であり、このエネルギーの微分は、整列を向上させるために前記少なくとも1つのパラメータを適合させるべき方向を示す。最急降下法(gradient descent)は、前記少なくとも1つのパラメータの(局所的に)最適な選択に速くたどり着く。このようにすると、全ての可能なパラメータを調べる場合よりも速く、必要な前記少なくとも1つのパラメータを決定することができる。
一例では、ガウス・フィルタリング(Gaussian filtering)を適用することによって血管エネルギー・マップを適合させる。このようにすると、この単純な適合が、総称3Dモデルを使用して患者3D冠動脈樹を考慮することに起因する不確かさを考慮するために、エネルギー・マップをぼかす。モデル適合が進むにつれて、ぼかしのレベルを低下させることができ、その時点のモデルは、患者の実際の3D冠動脈樹により近くなる。
血管エネルギー・マップの計算は例えば論文「Improved vessel enhancement for fully automatic coronary modelling」、V.Auvray、U.Jandt、R.Florent、D.Schafer、SPIE Medical imaging 2009に記載されている。
一例では、体部の3Dモデルの2D投影図を血管構造の2DのX線画像データと整列させることが、血管造影図中のいくつかの特異点(例えば分枝点)を純粋な2D画像処理によって識別することを含む。これらの点は、モデル化された3D血管構造の2D投影図中の選択された点が血管造影図中の対応する特異点と一致するように3Dモデルに対する前記少なくとも1つのパラメータを設定するためのアンカー(anchor)の役目を果たす。言い換えると、モデル化された3D血管構造の2D投影図と血管造影図とを整列させるように、特定の方法が設計される。このような特定の方法の例が論文「Model−based segmentation of the left main coronary bifurcation from 2D angiograms」、R.Lacroix、R.Florent、V.Auvray、ISBI 2012に記載されている。
一例では、処理ユニットが、画像処理ユニットを使用することによって、体部の3Dモデルの2D投影図を決定するように構成されている。
一例では、前記少なくとも1つのパラメータを適合させるために、処理ユニットが、モデル化された3D血管構造の2D投影図が血管構造の2DのX線画像データを表すような態様で、モデル化された3D血管構造の2D投影図を歪ませるように構成されている。
言い換えると、2Dモデル化された血管構造が血管造影図中の血管構造と一致するまで2D投影図を歪ませることによって、モデル自体の2D投影図が使用される。次いで、歪ませる際に使用した運動パラメータが、直接に、モデル化された3D血管構造の歪んだ2D投影図を与える3Dモデルの前記少なくとも1つのパラメータとなり、それによって、適合された少なくとも1つのパラメータを決定することを可能にする。
一例によれば、前記少なくとも1つのパラメータを適合させるために、処理ユニットが、修正されたモデル化された3D血管構造の2D投影図が、血管構造の前記少なくとも2DのX線画像データを表すまで、前記少なくとも1つのパラメータを修正するように構成されている。
一例では、前記少なくとも1つのパラメータを適合させるために、処理ユニットが、体部の3Dモデルの2D投影図を血管構造の2DのX線画像データに位置合せするように構成されている。
一例では、体部の3Dモデルの2D投影図の位置合せが、モデル化された3D血管構造の2D投影図と血管構造の2DのX線画像データとの位置合せを含む。
用語「位置合せ」は、モデル化された3D血管構造の2D投影図が、血管構造の2DのX線画像データ中の血管樹に空間的に対応する血管樹を有するような態様の体部の3Dモデルの変形に関する。言い換えると、モデル化された3D血管構造の2D投影図中の血管構造が、血管構造の2DのX線画像データの血管構造と最適に同様となるまで、前記少なくとも1つのパラメータを変更し又は適合させる。又は、言い換えると、実際のX線画像中の血管とモデル化された画像中の血管とが、可能な限り同様である。
一例では、適合されたモデル化された3D血管構造の2D投影図中の血管構造の第1の部分が、血管構造の2DのX線画像データ中の血管構造の対応する第1の部分と整列し、適合されたモデル化された3D血管構造の2D投影図中の血管構造の少なくとも第2の部分が、血管構造の2DのX線画像データ中の血管構造の対応する少なくとも第2の部分と整列するような態様で、前記少なくとも1つのパラメータを適合させるように、処理ユニットが構成されている。
例えば、モデル化された3D血管構造の2D投影図中の位置を、対応する血管造影画像中の位置に平行移動させる。一例では、モデル化された3D血管構造の2D投影図中の少なくともいくつかの特徴(例えばA、B、C)を、前記少なくとも1つの2DのX線画像(血管造影図)中の少なくともいくつかの同様の特徴(例えばA’、B’、C’)と整列させ、又は前記少なくとも1つの2DのX線画像(血管造影図)中の少なくともいくつかの同様の特徴(例えばA’、B’、C’)上に投影する。モデル化された3D血管構造の2D投影図中の特徴A、B、Cは当初、血管造影図中の特徴A’、B’、C’と一致していないことがあり、その場合、それらの特徴が一致するまで、前記少なくとも1つのパラメータを適合させる。その結果、患者の心臓内の分枝構造とよりぴったりと一致するように、3Dモデル中の分枝構造が変化する。言い換えると、モデル化された3D血管構造の見え方が、患者の心臓の血管構造の見え方とぴったりと一致する。一例では、整列することが、モデル化された3D血管構造の2D投影図の領域を、前記少なくとも1つの2DのX線画像(血管造影図)の等価の領域の上に置くことを含む。
一例によれば、処理ユニットが、モデル化された3D血管構造を、血管構造の2DのX線画像データと突き合わせるように構成されていることが、処理ユニットが、体部の3Dモデルを変形するように構成されていることを含み、体部の3Dモデルのこの変形が、体部の3Dモデルのポーズの決定を含む。
一例では、変形されたモデル化された3D血管構造の2D投影図が、患者の体部の血管構造の2DのX線画像データを表すまで、3Dモデルのポーズの決定が実行される。
このようにすると、血管造影図のアンギュレーションと同じアンギュレーションで向き及び位置が決められた3Dモデルに関して、このモデルを改良するために、モデル化された3D血管構造を、血管構造の2DのX線画像データと突き合わせて、前記少なくとも1つのパラメータを決定することができる。言い換えると、3Dモデルを見る視線が、血管構造の2DのX線画像データ(血管造影図)を生み出す際にX線が体部を通過する経路と同様となるような態様で、3Dモデルを、空間的に回転及び/又は平行移動させる必要があることがある。一例では、3Dモデルの変形の後に、血管造影図(血管構造の2DのX線画像データ)に対するアンギュレーションと同じアンギュレーションで3Dモデルが配置されるような態様で、モデル化された3D血管構造の2D投影図を歪ませ、3Dモデルの見え方を指令する前記少なくとも1つのパラメータを適当に適合させることにより、2D投影図を、血管構造の2DのX線画像データの血管構造と一致させることができる。次いで、別の血管造影図(血管構造の2DのX線画像データ)を選択することができる。この血管造影図は、第1の血管造影図とは異なる方向から心臓を通過したX線に関することができる。次いで、3Dモデル血管構造の2D投影図がこの別の血管造影図と同様となるような態様で(3Dモデルは、新たな血管造影図の心臓と同じアンギュレーションにある)、最初に改良した3Dモデルを同様に変形する(空間的に回転及び/又は平行移動させる)ことができ、3Dモデルをさらに改良するために、最初に改良した3Dモデルを、上で論じた前記少なくとも1つのパラメータを変更することによって歪ませることができる。さまざまな方向から心臓に向かって撮影した複数の血管造影図について、このプロセスを繰り返すことができ、これによって心臓の患者固有3Dモデルを得ることができる。
言い換えると、3Dモデルが患者の体部、例えば心臓及びポーズと一致するように、3Dモデルの「内部パラメータ」を決定することができる。すなわち、医療報告書に挿入する情報を提供するために、患者固有モデルが適当な向きに向けられるように、3Dモデルの向きに関する「外部パラメータ」を決定することができる。例えば、3Dモデルの2D投影図が、血管造影図中の血管構造と一致した患者固有の合成血管構造を提供するような態様で、血管造影図が撮影されたときの患者の心臓のポーズと同じポーズの3Dモデルを提供すること。これを使用して血管造影図を解釈することができる。又は、このポーズは、ディジタル報告書に挿入することができる3Dモデルであって、ディジタル報告書内で、例えばモデル化された心臓の向きが自動的に、調べている血管造影図の向きを向く3Dモデルを提供することに関係することができる。
一例では、血管造影図の取得時に、スキャン中に血管造影図を取得するたびに、3Dモデルを漸進的に適合させることができる。
一例では、患者固有3Dモデルを決定するときに、患者の全ての血管造影図が既に取得されている。このような例では、前記少なくとも1つのパラメータを決定するときに、全ての血管造影図を検討することができる。このようにすると、最適なものにより速く到達することができ、実際には大域的な最適を表さない局所的な極小に陥る可能性が低くなる。
別の言い方をすれば、一例では、3Dモデルの3D血管構造の2D投影図が、血管造影図(血管構造の2DのX線画像)の血管構造と可能な限り同じように見えるような態様で、体部の3Dモデルを変形、例えば回転及び/又は平行移動させることができる。このようにすると、血管造影図が撮影されたときの患者の心臓の位置及び向きが、モデル化された3D血管構造の2D投影図を与える3Dモデルの位置及び向きと同様になる。このことは、適合されたモデル化された3D血管構造の2D投影図が血管構造の2DのX線画像データを表すような態様で前記少なくとも1つのパラメータを適合させると、モデルの血管構造の見え方が、患者の心臓内の血管構造の見え方と非常に密接に相関するように変化することを意味する。
体部の例が心臓である一例では、造影剤をその位置にしか注入しなかったため、又は血管が重なると、注入された領域の一部が乱れて見えるために、心臓の血管造影図が、血管構造のある領域だけしか、目に見え、はっきり識別できる形で示さないことがある。この状況では、適合された3Dモデル血管構造の2D投影図が血管構造の2DのX線画像データを表すような態様で適合させている前記少なくとも1つのパラメータが、目に見え、はっきり識別できる形で血管構造が示された領域のモデル化された3D血管構造(冠動脈構造)の見え方を規定するパラメータだけに関係する。第1の血管造影図と同じアンギュレーションで撮影された別の血管造影図が、血管構造の別の領域に、その領域の血管構造が、目に見え、はっきり識別できる形で提示されるような態様で注入された造影剤を有することができ、異なる視点から撮影された血管造影図は、ある状況において、別の視点からは乱れて見える下位樹を、目に見え、はっきり識別できる形で示すことができる。次いで、この位置におけるモデル化された3D血管構造の見え方を定義するパラメータを適合させることができる。このようにすると、体部の患者固有3Dモデルに向かってモデルを漸進的に改良するために、同じアンギュレーションの血管造影図及び異なるアンギュレーションの血管造影図を使用して、前記少なくとも1つのパラメータを漸進的に適合させることができる。言い換えると、一例では、1つの血管造影図が左冠動脈樹の注入に関係し、同じアンギュレーションの第2の血管造影図が右冠動脈樹の注入に関係する。
一例では、処理ユニットが、画像処理ユニットを使用することによって、体部の3Dモデルを変形するように構成されている。
一例では、この変形が、2DのX線画像データ中の血管構造の少なくとも1つの部分を、3Dモデル血管構造の2D投影図中の血管構造の対応する少なくとも1つの部分と整列させるように、処理ユニットが構成されていることを含む。例えば、モデル化された3D血管構造の2D投影図中の位置を、対応する血管造影画像中の位置に平行移動させる。一例では、モデル化された3D血管構造の2D投影図中の少なくともいくつかの特徴(例えばA、B、C)を、前記少なくとも1つの2DのX線画像(血管造影図)中の少なくともいくつかの同様の特徴(例えばA’、B’、C’)と整列させ、又は前記少なくとも1つの2DのX線画像(血管造影図)中の少なくともいくつかの同様の特徴(例えばA’、B’、C’)上に投影する。一例では、整列することが、モデル化された3D血管構造の2D投影図の領域を、前記少なくとも1つの2DのX線画像(血管造影図)の等価の領域の上に置くことを含む。
一例では、3Dモデルのポーズの改良が、モデル化された3D血管構造の2D投影図が、2DのX線画像(血管造影図)上で観察したときの冠動脈樹とできるだけよく一致するように、3Dモデルの3D位置を漸進的にアフィン変換することを含む。
一例では、アフィン変換することが、エネルギー関数を定義することを含み、このエネルギー関数は、モデル化された3D血管構造のその時点の2D投影図が、血管造影図中の冠動脈樹とどれくらいよく一致しているのかを特徴づける。
一例では、エネルギー関数を定義することが、血管造影図をフィルタにかけることによって血管エネルギー・マップを計算すること、及びモデル化された3D血管構造の2D投影図と重なる血管エネルギーを合計することを含む。3Dモデルのポーズが、モデル化された3D血管構造の2D投影図が血管造影図中の血管によく対応するような態様のものである場合、血管エネルギーは高く、3Dモデルのポーズが、正しい向きに置かれた3Dモデルにつながらない場合、そのような対応はなく、血管エネルギーは低い。一例では、生成されている3Dモデルの血管構造の関連2D投影図を用いて、サンプリング係数までの全ての可能なポーズを調べ、最も高いエネルギーを与えるものが、最良のポーズを有する3Dモデルに対応する。
一例では、このエネルギーが、ポーズ・パラメータ(平行移動及び回転)に関して微分可能であり、このエネルギーの微分は、整列を向上させるためにポーズ・パラメータを適合させるべき方向を示す。言い換えると、最急降下法は、ポーズの(局所的に)最適な選択に速くたどり着く。このようにすると、全ての可能なポーズを調べる場合よりも速く、必要なポーズを決定することができる。
一例では、ガウス・フィルタリングを適用することによって血管エネルギー・マップを適合させる。このようにすると、この単純な適合が、実際の冠状動脈樹に対するモデルの不正確さを統合するために、エネルギー・マップをぼかす。
一例では、体部の3Dモデルの2D投影図を血管構造の2DのX線画像データと位置合せすることが、血管造影図中のいくつかの特異点(例えば分枝点)を純粋な2D画像処理によって識別することを含む。これらの点は、モデル化された3D血管構造の2D投影図中の点が血管造影図中の対応する特異点と一致するように3Dモデルに対するポーズ・パラメータを設定するためのアンカーの役目を果たす。言い換えると、3Dモデルと血管造影図とを整列させるように、特定の方法が設計される。
一例では、体部の3Dモデルの変形が、体部の3Dモデルの回転を含む。一例では、この回転が、x、y又はz軸を軸とした回転を含む。一例では、体部の3Dモデルの変形が、体部の3Dモデルの平行移動を含む。一例では、この平行移動が、x、y又はz軸に沿った平行移動を含む。
一例によれば、入力ユニットが、前記少なくとも1つの2DのX線画像を取得するのに使用したX線取得ユニット40の幾何学的構成に関する情報を提供するように構成されており、体部の3Dモデルの前記変形が、X線取得ユニットの幾何学的構成に関するこの情報の利用を含む。
一例では、幾何学的構成に関する情報が、X線取得ユニットのアンギュレーション及び源−像距離(source to image distance)SIDを含む。一例では、3Dモデルが最初、アイソセンタ(isocenter)、例えばC−アーム・ジオメトリに基づくアイソセンタに配置される。
一例では、体部の3Dモデルの変形が、体部の3Dモデルの2D投影図と血管構造の2DのX線画像データとの位置合せを含む。一例では、体部の3Dモデルの2D投影図の位置合せが、モデル化された3D血管構造の2D投影図と血管構造の2DのX線画像データとの位置合せを含む。ここでは、用語「位置合せ」が、モデル化された3D血管構造の2D投影図が、血管構造の2DのX線画像データ中の血管樹に空間的に対応する血管樹を有するような態様の体部の3Dモデルの変形に関する。言い換えると、モデル化された3D血管構造の2D投影図中の血管構造が、血管構造の2DのX線画像データの血管構造と同様となるまで、3Dモデルを回転及び/又は平行移動させる。又は、言い換えると、実際のX線画像中の血管とモデル化された合成画像中の血管とが、そのモデルに関して可能な限り同様である。この点に関して、3Dモデルは、血管造影図の元となった心臓の向き及び位置を表す、その3Dモデルの2D投影図に対する向き及び位置を有する。このようにすると、モデル化された3D血管構造を、2DのX線画像と突き合わせて、前記少なくとも1つのパラメータを決定することができる。
一例によれば、処理ユニットが、体部の変形された3Dモデルに関連したモデル化された3D血管構造の前記少なくとも1つの2D投影図にユーザが注釈をつけることを可能にするように構成されており、処理ユニットが、体部の3Dモデルのモデル化された3D血管構造にその注釈を適用するように構成されている。
一例では、注釈ユニット50又は注釈モジュール50が、体部の変形された3Dモデルに関連したモデル化された3D血管構造の前記少なくとも1つの2D投影図にユーザが注釈をつけることを可能にするように構成されており、処理ユニット又は注釈ユニット若しくは注釈モジュールが、体部の3Dモデルのモデル化された3D血管構造にその注釈を適用するように構成されている。
一例によれば、処理ユニットが、体部の変形された3Dモデルに関連したモデル化された3D血管構造の前記少なくとも1つの2D投影図、及び/又は体部の変形された3Dモデルに関連したモデル化された3D血管構造、及び/又は体部の変形された3Dモデルを報告するための報告フォーマットをユーザが選択することを可能にするように構成されている。
一例では、報告ユニット60又は報告モジュール60が、前記少なくとも1つの2DのX線画像、及び/又は体部の変形された3Dモデルに関連したモデル化された3D血管構造の2D投影図、及び/又は体部の変形された3Dモデルに関連したモデル化された3D血管構造、及び/又は体部の変形された3Dモデルを報告するための報告フォーマットをユーザが選択することを可能にするように構成されている。
一例では、見ている血管造影図のアンギュレーションと同じアンギュレーションで3Dモデルが提示されるような態様で、3Dモデルを、見ている血管造影図と一緒に自動的に回転させるように、処理ユニットが構成されている。
一例によれば、処理ユニットが、モデル化された3D血管構造を、血管構造の2DのX線画像データと突き合わせるように構成されている。処理ユニットは、血管構造の前記少なくとも1つの2DのX線画像中の血管構造の少なくとも1つのセグメントを示すように構成されている。処理ユニットは、前記少なくとも1つのセグメントに関する少なくとも1つの測定を実行し、血管構造の前記少なくとも1つの2DのX線画像中の血管構造の前記少なくとも1つのセグメントを、モデル化された3D血管構造の対応する少なくとも1つのセグメントに関連づけるように構成されている。処理ユニットは、前記少なくとも1つのパラメータを、この少なくとも1つの測定の関数として適合させるように構成されている。適合された前記少なくとも1つのパラメータは、決定された前記少なくとも1つのパラメータを形成する。
一例では、血管造影図上の目に見える血管セグメントをモデルのセグメントに明確に関連づけるために、血管造影図上の目に見える血管セグメントが識別される。
言い換えると、2DのX線画像上のこれらのセグメントに対していくつかの測定(セグメントの長さ、太さ、蛇行)が実行され、このことが、検討対象のセグメントのモデル・パラメータ(前記少なくとも1つのパラメータ)を設定する(適合させる)ことを可能にする。一例では、体部の3Dモデルの2D投影図が必要ない。一例では、画像の位置合せが必要ない。
一例では、血管造影図中の冠動脈セグメントが識別される。一例では、血管造影図の2D血管セグメント化が企図される。一例では、血管造影図の2D血管セグメント化の標識付けが企図される。血管セグメント化の実行に関する情報は、例えば以下の論文「A review of vessel extraction techniques and algorithms」、C.Kirbas及びF.Quek、ACM Computing surveys、36巻、2号、81〜121ページ、2004年に出ている。
一例では、血管造影図の2D血管セグメント化が、血管造影図(血管構造の2DのX線画像)を、血管強調法(vessel enhancement method)によってフィルタにかけ、次いでそれをしきい値処理することを含む。血管強調法の例は例えば以下の論文「Improved vessel enhancement for fully automatic coronary modelling」、V.Auvray、U.Jandt、R.Florent、D.Schafer、SPIE Medical imaging 2009に出ている。
一例では、血管構造の2DのX線画像中のセグメント(例えば血管造影図中の冠動脈セグメント)を識別することが、機械学習の利用を含む。
一例では、機械学習の利用が、血管構造の2DのX線画像(血管造影図)中の血管点にメトリック(metric)を関連づけることを含む。このメトリックは、血管エネルギー、血管造影図中の位置、血管造影図を取得しているときのシステムのアンギュレーション、血管の太さ、近隣の血管を含むことができる。一例では、それぞれの血管点がどの枝に属するのかを指定するグラウンド・トルース(ground truth)が決定される。一例では、機械学習の利用が、血管構造の2DのX線画像中の冠動脈セグメントをこれらのメトリックと相関させることを含む。一例では、この相関によって、学習された規則が生成される。このようにして、新たな血管造影図を検討するときに、血管造影図中のどこにどのセグメントが存在するのかを判断するために、この学習された規則を、セグメント化された全ての点に適用する。こうすると、モデル化された3D血管構造中の分岐間の距離を計算し、異なる代替の分枝を決定し、更新された3Dモデルを与える枝の向きを設定することは簡単であり、3Dモデルが血管造影図のアンギュレーションと同じアンギュレーションを有するような向きに3Dモデルが配置された場合、更新された3Dモデルの2D投影図は、ここで検討中の血管造影図とコヒーレントとなる。
一例では、処理ユニットが、血管構造の前記少なくとも1つの2DのX線画像中の血管構造の少なくとも1つのセグメントを示すように構成されていることが、機械学習を利用して、血管の中心線に沿って位置を分類することを含む。
一例では、前記少なくとも1つの測定が、セグメントの長さ、セグメントの太さ、セグメントの蛇行、セグメントがどのように共に分枝する のか、及び主動脈上のどこに分岐が位置するのかのうちの1つ又は複数の測定を含む。
一例では、処理ユニットが、前記少なくとも1つの2DのX線画像及び/又は関連したモデル化された3D血管構造の2D投影図にユーザが注釈をつけることを可能にするように構成されており、処理ユニットが、体部の3Dモデルのモデル化された3D血管構造にその注釈を適用するように構成されている。
一例によれば、前記少なくとも1つの2DのX線画像が複数の画像を含み、処理ユニットが、それらの複数の画像の中から、注入がうまくいった2DのX線画像を選択するように構成されている。
一例では、注入がうまくいった2DのX線画像の取得中に造影剤が存在する。例えば、血管構造の画像データを、目に見え、はっきり識別できる形で提供するために、血管構造の少なくとも一部分に造影剤が注入されている。言い換えると、注入がうまくいった画像中では、注入された動脈、例えば冠動脈がよく見える。血管構造の少なくとも一部分に対する用語「目に見え、はっきり識別できる」は、手動又は自動で血管構造の位置を特定することができ、且つ/又は血管構造を識別することができ、且つ/又は血管構造の輪郭を描くことができるような態様で提示されている血管構造の少なくとも一部分に関する。画像取得時、例えばX線血管造影中に血管構造に注入された造影剤により、画像を、目に見え、はっきり識別できるものにすることができる。
一例では、前記少なくとも1つの2DのX線画像が複数の画像を含み、処理ユニットが、それらの複数の画像の中から、第1の2DのX線画像及び第2の2DのX線画像を選択するように構成されており、処理ユニットが、第2の2DのX線画像を、第1の2DのX線画像に対して相関した画像(correlated image)である画像として選択するように構成されている。
用語「相関した画像」は、第2の2DのX線画像が第1の2DのX線画像に対して相関しているような態様での第2の2DのX線画像の選択に関する。例えば、第1の2DのX線画像と第2の2DのX線画像を、心周期に関して相関させることができる。言い換えると、これらの2つの画像間では、体部(例えば心臓)が同様の状態にあることが予想される。これは、第1の2DのX線画像を与えた心臓と第2の2DのX線画像を与えた心臓との間で空間的に対応する血管樹につながる。言い換えると、心臓を貫く異なるアンギュレーションに関係しうる複数の2DのX線画像を、3Dモデルを血管構造の2DのX線画像と突き合わせたときに前記少なくとも1つのパラメータを決定することを可能にする目的に最適に使用することができる。これによって単純化が提供される。これは、心周期の変化に関して、心臓の3Dモデルが動的モデルである必要がないためであり、動的モデルである必要がないのは、心周期内、呼吸周期内などの固定された瞬間に関するX線画像を選択することができるためである。
一例では、前記少なくとも1つの2DのX線画像を取得するのに使用したX線取得ユニット40が、前記少なくとも1つの2DのX線画像を取得したときに静止していた。
一例では、この装置が出力ユニットを備え、出力ユニットは、前記少なくとも1つの2DのX線画像を表すデータを出力するように構成されており、モデル化された3D血管構造の2D投影図を表すデータを出力するように構成されている。
図2は、体部の患者固有3Dモデルを提供する医療システム100の例を示す。このシステムは、X線画像取得ユニット40と、体部の患者固有3Dモデルを提供する、上で説明した図1に基づく装置10と、出力ユニット110とを備える。X線画像取得ユニット40は、前記少なくとも1つの2DのX線画像を、通信ケーブル120を介して前記装置に提供するように構成されている。装置10は、適当な通信ケーブル接続を介して出力ユニット110と通信し、出力ユニット110は、体部の患者固有3Dモデルを表すデータを出力するように構成されている。
一例では、出力ユニットが、モデル化された3D血管構造の2D投影図を表すデータを出力するように構成されている。一例では、出力ユニットが、2DのX線画像を表すデータを出力するように構成されている。一例では、出力ユニットが、前記少なくとも1つの2DのX線画像を出力し、モデル化された3D血管構造の2D投影図の画像を出力するように構成されている。
一例では、X線画像取得ユニットがX線画像化デバイスを備える。一例では、X線画像取得ユニットが、蛍光透視画像化デバイス(fluoroscopic imaging device)、例えば蛍光透視低線量X線デバイスを備える。一例では、X線画像取得ユニットが、血管造影画像化デバイスを備える。
一例では、出力されたデータが、血管治療又は血管介入が成功したかどうかを臨床医が判定することを可能にする目的に使用可能である。
一例では、このシステムが、心臓狭窄症を治療するためのカテーテル試験室での経皮的経管的冠動脈形成術(PTCA)に対して使用される。
図3は、体部の患者固有3Dモデルを提供する方法200の一例の基本ステップを示す。この方法は以下のステップを有する。
ステップa)とも呼ぶ第1の提供ステップ210では、患者の体部の血管構造の2DのX線画像データを含む少なくとも1つの2DのX線画像を提供する。
ステップb)とも呼ぶ第2の提供ステップ220では、その体部の3Dモデルを提供する。この3Dモデルは、モデル化された3D血管構造を含み、少なくとも1つのパラメータが、このモデル化された3D血管構造の見え方を指令する。
ステップc)とも呼ぶ突合せステップ230では、このモデル化された3D血管構造を、血管構造の2DのX線画像データと突き合わせて、前記少なくとも1つのパラメータを決定する。
ステップd)とも呼ぶ更新ステップ240では、この3Dモデルを、決定された前記少なくとも1つのパラメータの関数として更新する。
ステップe)とも呼ぶ作成ステップ250では、この3Dモデルから決定された情報に基づいて医療報告書を作成する。
一例では、ステップc)が、体部の3Dモデルの2D投影図を決定すること260を含む。体部の3Dモデルの2D投影図は、モデル化された3D血管構造の2D投影図を含む。ステップc)はさらに、適合されたモデル化された3D血管構造の2D投影図が、患者の体部の血管構造の2DのX線画像データを表すような態様で、前記少なくとも1つのパラメータを適合させること270を含み、適合された前記少なくとも1つのパラメータが、決定された前記少なくとも1つのパラメータを形成する。
一例では、前記少なくとも1つのパラメータを適合させることが、修正されたモデル化された3D血管構造の2D投影図が、血管構造の2DのX線画像データを表すまで、前記少なくとも1つのパラメータを修正することを含む。一例では、前記少なくとも1つのパラメータを適合させることが、体部の3Dモデルの2D投影図を、血管構造の2DのX線画像データに対して位置合せすることを含む。
一例では、ステップc)が、体部の3Dモデルを変形すること280を含み、この変形は、体部の3Dモデルのポーズの改良を含む。
一例では、ステップc)が、前記少なくとも1つの2DのX線画像を取得するのに使用したX線取得ユニットの幾何学的構成に関する情報を提供すること290を含む。一例では、モデル化された3D血管構造を血管構造の2DのX線画像データと突き合わせることが、X線取得ユニットの幾何学的構成に関するこの情報の利用を含む。一例では、体部の3Dモデルを変形することが、X線取得ユニットの幾何学的構成に関するこの情報の利用を含む。
一例では、ステップc)が、血管構造の前記少なくとも1つの2DのX線画像中の血管構造の少なくとも1つのセグメントを示すこと300、前記少なくとも1つのセグメントに関する少なくとも1つの測定を実行すること、及び血管構造の前記少なくとも1つの2DのX線画像中の血管構造の前記少なくとも1つのセグメントを、モデル化された3D血管構造の対応する少なくとも1つのセグメントに関連づけることを含み、前記少なくとも1つのパラメータを適合させることが、前記少なくとも1つの測定の関数として実行され、適合された前記少なくとも1つのパラメータが、決定された前記少なくとも1つのパラメータを形成する。
一例では、この方法は、前記少なくとも1つの2DのX線画像、及び/又はモデル化された3D血管構造の2D投影図、及び/又はモデル化された3D血管構造、及び/又は体部の3Dモデルを報告するための報告フォーマットをユーザが選択することを可能にする310、ステップe)を有する。
一例では、前記少なくとも1つの2DのX線画像が複数の画像を含み、この方法は、それらの複数の画像の中から、注入がうまくいった2DのX線画像を選択することを含む。
一例では、前記少なくとも1つの2DのX線画像が複数の画像を含み、この方法は、それらの複数の画像の中から、第1の2DのX線画像及び第2の2DのX線画像を選択することを含み、第2の2DのX線画像が、第1の2DのX線画像に対して相関した画像である画像として選択される。
次に、体部の患者固有3Dモデルを提供する装置及び方法の例を、図4〜図8を参照してより詳細に説明する。
図4を参照することによって、対処する問題を概観する。図4は、平面冠動脈図の例を示す。可能な全ての冠動脈樹を本質的に複雑な3D構造によって提示することを可能にするためには、冠動脈図が非常に概略的でなければならない。例えば、右冠動脈樹及び左冠動脈樹は、並べて平らに提示される。2次枝(縁枝、中隔枝、対角枝...)の経路は主に、重なりを取り除くことによって図を可読に保つ必要性によって指図される。この図は本質的に概略的であり、したがって、この図と、血管造影画像上で観察される動脈の実際の構造及び経路との隔たりは大きい。
そのため、このような総称動脈モデルを、観察された血管造影画像に関係づけることは簡単ではない。図への記入には、臨床医による努力が必要であり、臨床医は、頭の中で、検査シーケンス上で観察した注入された血管を、解剖学的(意味論的(semantic))モデルに投影し、次いで総称図に戻る必要がある。
図4に関して、対処する問題を続けて参照する。総称動脈モデルと現実(観察された血管造影画像)との間の最も強い偏差は、冠動脈分枝の構造に関する。
後下降動脈(posterior descending artery:PDA)は、右冠動脈(症例の65%)、左冠動脈(10%)又はその両方(共優性。症例の25%)に接続されている。
第3の枝、ラムス(ramus)は、症例の15%で存在する。
円錐枝(conus branch)は、大動脈から(症例の20〜30%)、回旋動脈から(10%)、又は右冠動脈から(60〜70%)直接に生じる。
他の多くの異常は患者の1%未満と考えられる。
さらに、異なる血管セグメントを連結する分岐の位置は、患者により大きく異なる。
例えば、第1対角枝は、回旋枝/LAD分岐の近くにあることがあり、これにより、事実上、三分枝となっていることがあり、又は、回旋枝/LAD分岐から数cm離れたところにあることがある。
LMの長さは大きく異なるため、回旋枝及びLADが大動脈から直接に始まっていることもある。
さらに、これらの枝、特に2次血管は、重要性において大幅に異なる。例えば、場合によっては、第2対角枝が遠位LADに匹敵する太さを有し、その一方で、別の患者では第2対角枝が細かく細い。
そのため、臨床医は、第1のステップで、総称動脈モデルを、患者の実際の解剖学的構造に手動で適合させる必要がある。次いで、自分の所見を報告書に記入するため、臨床医は、頭の中で、検査シーケンス上で観察した注入された血管を、分岐の位置及び血管の重要性が不正確な非常に総称的な図に投影する必要がある。このプロセスは面倒であり、誤差を生じることがある。さらに、第2の臨床医が、報告書を読み、それを理解する必要があるとき、特に、狭窄の正確な位置の詳細な理解が必要であるときに、逆方向の作業を実行する際に、曖昧さが生じうる。
図4を参照して概説した問題は、冠動脈図を適合させるために、検査中に取得された血管造影シーケンスを自動的に利用することによって対処することができる。この適合により冠動脈図は患者固有になる。これによって、観察された血管造影図と冠動脈図との間に存在する相違が低減し、より直観的でより正確な注釈が可能になる。さらに、このような報告書の解釈はより容易であり、誤った解釈の低減につながる。最後に、これにより、臨床医は、特定の解剖学的構造の手動選択から解放される。検査中に取得された血管造影シーケンスに依存することによって、患者の心臓のCTを取得する必要がなくなることに留意すべきである(これは、臨床的ルーチンではまれである)。
人為的に平面化した完全な1つの2D図を表示する代わりに、血管構造の完全な3D図が利用され、その3Dが、取得した血管造影図と同様の一連の2D図に再投影される。
より詳細には、冠動脈の3D幾何学的モデルが利用される。このモデルは、動脈樹を、図4の2D平面モデルと同じ解剖学的セグメントに分解する。体部の3Dモデルの例が図8に示されている。この例では体部が心臓である。体部の3Dモデルに関する追加の情報は、以下の報告書、すなわち「Intrathoracic spatial location of specified coronary segments on the normal human heart.Applications in quantitative arteriography,assessment of regional risk and contraction,and anatomic display」、J.T.Dodge Jr、B.G.Brown、E.L.Bolson、及びH.T.Dodge、Circulation、78巻、5号、1167ページ、1988年に出ている。
しかしながら、観察された血管造影シーケンスに基づいて漸進的に適合させた冠動脈の基本3Dモデルに依存することによって、体部の総称3Dモデルを、正確な情報を提供する際により使用に適したものにすることができる。
より精確には、取得されたそれぞれの血管造影シーケンスを、(同じ視点からの)再投影された3Dモデルからの2D合成画像と突き合わせる。血管造影画像と3Dモデルの2D投影図との間で観察される差異を低減させるために、3Dモデル(したがってその2D投影図)の見え方を指令するパラメータを適合させる。この適合は、血管造影シーケンスごとに逐次的に実行される。或いは、この適合を、異なる血管造影シーケンスに対して同時に実行することもできる。
最後に、結果として得られた患者固有の冠動脈モデルを、報告書に適した形態に変形する。この形態を、正しい解剖学的構造、分枝及びセグメント重要性を有する平面2Dモデルとすることができる。又は、ユーザがモデルを回転させることができるディジタル報告書の場合、この形態を直接に、適合された3Dモデルとすることもできる。
基本3Dモデル
上で論じたとおり、このプロセスは、冠動脈の3D幾何学的モデルに基づく。このモデルは例えば以下のものを含む:
分枝関係(どの枝がどの枝から生じているのか)。これは、解剖学的構造の制約を強く受けるが、上述のとおり、ある変動性が存在する(冠動脈樹の優占度、円錐枝及びラムスの位置)。
枝の長さ。
(それぞれの枝の異なるセグメントを規定する)分岐の位置。
セグメントの半径の精度。
異なるセグメントの湾曲の精度。
言い換えると、冠動脈樹の3Dモデルの見え方を規定、指令又は指定するパラメータが存在し、冠動脈樹の3Dモデルの見え方は、上で論じた「内部」パラメータと同様に、3Dモデルの位置、向き又はポーズなどの「外部」パラメータにも関係しうる。「外部」パラメータは、3Dモデルを、その3D状態において、又は2D投影図が得られるときに、血管造影図などの医療データの解釈を助ける目的に使用することを可能にする。言い換えると、これらのパラメータが正しく決定されたときに、3Dモデルは、患者に関して、及び血管造影図などの医療用画像データを取得したときに患者がどのような位置又は向きに配置されていたのかに関して、3D患者固有モデルとなる。総称3Dモデルに関しては最初にあるデフォルト値に設定されるこれらのモデル・パラメータは、処理のその時点にあるときのモデルを、新たに取得された血管造影シーケンスと突き合わせることによって決定又は推定される。
1つの血管造影画像との比較によるモデルの更新
3Dモデルが所与の1つの血管造影図とコヒーレントになるように3D幾何学的パラメータを設定する目的には、さまざまなアプローチを使用することができる。
(検討中の図に対応する2D図を与える)検討対象の血管造影図に対応するC−アーム・アンギュレーションで、3D冠動脈モデルを投影して、2D合成血管造影図を形成することができる。言い換えると、特定の血管造影図のためのX線源及び検出器の配置についての知識を使用して、3Dモデルの向き又はポーズが、血管造影図を取得したときの(画像取得システムに対する)患者の心臓の向き又はポーズと同様に又は同じになるような態様で、3Dモデルの向きを定める。次いで、3D幾何学的パラメータに対する最適化プロセスを実行して、2D図が、観察された血管造影図と一致するようにする。3D/2D位置合せに使用される最適化プロセスと同様の最適化プロセスを実行することができる。
しかしながら、3Dモデルの記述が十分でない場合には、3Dモデルの再投影された2D図が、実際の血管造影図に比べて、依然として非常に概略的なものになる可能性がある。これにより、最適化プロセスは悪条件下で実行される。したがって、別のアプローチは、血管造影図上の目に見える血管セグメントを3Dモデルのセグメントに明確に関連づけるために、血管造影図上の目に見える血管セグメントを識別するアプローチである。次いで、血管造影画像上のこれらのセグメントに対して測定(例えばセグメントの長さ、太さ、蛇行)を実行する。これによって、検討対象のセグメントの3Dモデルのパラメータの設定が可能になる。
この第2のアプローチは、3Dモデルの投影も、画像の位置合せも必要としない。一方で、このアプローチは、冠動脈セグメントの識別を必要とし、冠動脈セグメントの識別は、2D血管系セグメント化並びにその標識付けを前提とする。血管強調法によって血管造影図をフィルタにかけ、次いでそれをしきい値処理することができる。異なるセグメントの識別に関しては、機械学習技法を使用することができる。(大きな)学習データベース上で、血管のそれぞれの点に、多数のメトリック(血管エネルギー、画像中の位置、前記画像を取得しているときのシステムのアンギュレーション、太さ、近隣の血管など)を関連づけ、それぞれの血管点がどの枝に属しているのかを指定するグラウンド・トルースを与える。次いで、結果(解剖学的セグメント)と特徴とを(それらを組み合わせ、しきい値処理し、それらを線形的に加えることによって)どのように相関させるのかを学習する機械学習アルゴリズム(ランダム・フォレスト(random forest)、ディープ・ラーニング(deep learning)、SVM...)を走らせる。このような2Dセグメント標識付けの結果が図5及び図6に示されている。
次に、新たな画像を検討するときに、画像中のどこにどのセグメントが存在するのかを判断するために、この学習された規則を、セグメント化された全ての点に適用する。こうすると、分岐間の(再投影された)距離を計算し、異なる代替の分枝を決定して、枝の向きを設定することは簡単である。
上で論じたとおり、3Dモデルを患者固有にするために決定することができる3Dモデルのパラメータは、3Dモデルの向き又はポーズを含むことができる。
次に、血管造影シーケンスごとに、そのシーケンスの中から、注入がうまくいった1つの画像を自動的に選択する(注入された冠動脈がよく見え、フレームが同じ心臓期に属する場合、その所与の心臓期の最もよく注入された画像が選択される)。注入がうまくいったこのような画像を、上で論じた「内部」モデル・パラメータを更新するときに使用することができる。
3D幾何学的モデルを投影して2D図を生成する。これは最初、C−アーム・ジオメトリに基づくアイソセンタ(C−アーム・ジオメトリのアンギュレーション及びその源−像距離SIDによって規定される)に配置される。
3D幾何学的モデルのポーズは、その3D幾何学的モデルが、実際に観察された注入された冠動脈樹にできるだけ対応するように改良される。一例では、モデルの空間的位置に対して(3つの平行移動パラメータ)、及びわずかな回転に対して(3つのパラメータ)、改良された推定値が計算される。
最初のポーズ(第2のステップ)からスタートして、この方法は、3Dモデルの2D投影図が、2D画像(血管造影図)上で観察したときの冠動脈樹とできるだけよく一致するように、3Dモデルの位置を漸進的にアフィン変換する。これは、エネルギー関数を定義することによって実行することができ、このエネルギー関数は、再投影されたその時点のモデルが、観察された冠動脈とどれくらいよく一致しているのかを詳細に記述する。例えば、観察された画像をフィルタにかけることによって血管エネルギー・マップを計算することができ、再投影された3Dモデルと重なる血管エネルギーを合計することができる。そのポーズが血管によく対応する場合、血管エネルギーは高く、それが血管の外にある場合、血管エネルギーは低い。
可能な最良のポーズを確実に得るため、適格な全ての変形(平行移動、回転及び拡大縮小)、又はサンプリングされた少なくとも1つの変形を計算することができる。最も高いエネルギーを与えるものを選択する。或いは、このエネルギーが、ポーズ・パラメータに関して微分可能であり、そのエネルギーの微分が、整列を向上させるためにポーズ・パラメータを適合させるべき方向を示すような態様で、エネルギーを計算することもできる。このようにすると、最急降下法が、ポーズの(局所的に)最適な選択に速くたどり着く。一例では、2D再投影図が利用される、微分可能なエネルギーに基づく同じアプローチ又は同様のアプローチで、モデルの内部パラメータの適合を実行することができることに留意すべきである。
可能な最良のポーズの決定を容易にするため、(対応する患者の真の3D冠動脈樹に対する)モデルの不正確さを、本発明者の一致基準上の不正確さに変換するために、適合は、(ガウス・フィルタリングによって)エネルギー・マップをぼかすことである。
或いは、血管造影図中のいくつかの特異点(例えば分枝点)を純粋な2D画像処理によって明確に識別することを含む、3Dモデルと血管造影図とを整列させる特定の方法を設計することもできる。これらのいくつかの点は、(再投影された分枝点が血管造影図から抽出された分枝点と一致するように)3Dモデルを設定するためのアンカーの役目を果たす。
3Dモデルのポーズの決定を使用し、3Dモデルを適当な向きに配置することによって、3Dモデルの内部パラメータの決定を助けることができることは明らかである。例えば、特定の画像を取得するためのX線画像取得機器の位置に関する情報が分かっていないことがあり、又は、分かっている場合でも、その情報が、3Dモデルの正しい向きを決定することを可能にするのに必要な情報の忠実度を有していないことがある。その場合、冠動脈構造の分枝関係などの3Dモデルの内部パラメータを決定するプロセスの一部として、ポーズを決定することができる。さらに、3Dモデルのポーズを決定するための上記のプロセスを、上述のプロセスによって患者固有であると既に判定された3Dモデルに対して使用することもできる。これは、3Dモデルの2D投影図が血管造影図のそれと一致するように、3Dモデルのポーズを決定することができるため、又は、血管造影図をディジタル方式で見たときに、3Dモデルが、X線画像取得ユニットが心臓を見たときの心臓の3Dモデルを提示するように自動的に向きを変えるような態様で、3Dモデル自体を、例えばディジタル報告書の中で正しい向きに配置することができるためである。
このようにすると、以下の2つのモジュールで3Dモデルを利用することができる。
注釈モジュール。このモジュールは、臨床医が、自分の所見を平明且つ正確に記入することを可能にする。
臨床医は、冠動脈樹に注釈をつける目的に使用したい3Dモデルの関連2D投影図とともに、血管造影画像を選ぶことができる。(例えば狭窄症の位置を特定するために)これらの図のうちの一方の図を編集すると、それらの全ての図が更新される(それらの図は全て、同じ物体の特定の図を示すためである(総称3Dモデル))。
ユーザは、冠動脈樹に関する臨床医の所見を報告するのに最も適切な図を選択することができる。
本質的に、ユーザは、狭窄の位置を正確に決定するために、狭窄を最も明瞭に示すことができる(短縮化(foreshortening)及び重なりによる乱れがほとんどない)図を選択することができる。
報告モジュール。このモジュールは、臨床医が、報告書中で情報を示したいフォーマットを選択することを可能にする。
血管造影図若しくは一連の血管造影図、及び/又は3Dモデルの関連2D投影図を報告書にエクスポートすることができる。こうすることによって、報告書を読んだ臨床医は、その検査の所見の性質を直観的且つ正確に理解することができる。言い換えると、このことには、この報告書を読んだ第2の臨床医が、この検査の所見をより速く且つより正確に理解するのを助けるという追加の利点がある。
ユーザは、ユーザの所見をより簡潔且つコンパクトに要約した別のグラフィックを作成することもできる。
ユーザは、モデル化された3D血管構造の2D投影図に頼ることができる。この2D投影図は、1つの固有の図上で全ての情報を示すという利点を有する。
又は、ユーザは、注釈がつけられた3D樹に頼ることができる。ユーザはこの3D樹をディジタル報告書中で回転させる。
一例では、ディジタル報告書中のモデル化された3D血管構造が、モデルと一緒に参照される血管造影図のアンギュレーションまで自動的に回転する。このアンギュレーションは、そのディジタル報告書中で、この3Dモデルとともに、異なる血管造影図が見られたときには変化する。このようにすると、その報告書を見た臨床医は、モデルを自由に回転させることができ、このことは、例えばフォローアップ検査の場合に、臨床医が、これらの動脈の3Dジオメトリを理解するのに役立つ。
全体として、本発明は、図への記入を、より平明で簡単に済むものとし、これによって、後にその報告書を読む別の臨床医へのよりスムーズな情報伝達が可能になる。
図7は、体部の患者固有3Dモデルを提供するための詳細なワークフロー、及び医療報告書の中で使用するためのその3Dモデルの利用を示す。このプロセスは、主要な4つのステップA〜Dを含む。
血管造影セグメント化
第1のステップでは、2D冠動脈樹をセグメント化する必要がある。さまざまな画像処理法、例えば、この件に関する上掲の参照文献に記載されたリッジ・フィルタの拡張に基づく画像処理法を使用することができる。その時点で、3D冠動脈モデルは既に利用することができる。たとえ3D冠動脈モデルがまだ患者に対してあまりよく適合していない場合であっても、その3D冠動脈モデルは、血管の予想される位置(及び血管の「存在し得ない」位置)に関する情報を既に伝えることができる。これは反復プロセスであり、そのため、特定の反復ステップにおけるこの時点でのある程度の誤差は許容される。
利用可能な枝の決定
冠動脈樹の全ての枝が、検討対象の血管造影図上でよく見えるというわけではない。第1に、注入がうまくいかなかった枝又は全く注入されなかった枝があることがある。第2に、いくつかの枝が重なることがしばしば起こる。その結果、血管造影図上のそれらの投影は曖昧であり、その血管造影図からそれらの幾何学的パラメータを決定することは危険である。したがって、はっきりと画定された枝は識別され、はっきりと画定されていない残りの枝は、この1つの血管造影図によって実行される分析から除かれる。臨床医は、検査中に全ての枝を調べるため、それぞれの枝を明瞭に観察することを可能にするアンギュレーションを逐次的に選択することにより、その時点の血管造影図を調べるときに無視された枝は後に処理され(それらの幾何学的パラメータが推定され)る。
血管造影枝の決定及び標識付け
冠動脈モデルとセグメント化された冠動脈樹(2値マスク)とを一致させるため、セグメント化された枝に標識付けする。すなわち、冠動脈樹を異なる枝にサブセグメント化し、セグメントに名称をつける。これは、最初に取得のアンギュレーションにモデルを投影し、次いで2値セグメント化を(不完全な)モデルと整列させることによって達成することができる。これが、見出し「1つの血管造影画像との比較によるモデルの更新」の下で論じたアプローチ1である。
或いは、ある機械学習を利用して、血管の中心線に沿って位置を分類してもよい。これが、見出し「1つの血管造影画像との比較によるモデルの更新」の下で論じたアプローチ2である。この場合も、このプロセスの最初の反復中におけるこの時点でのある程度の誤差は許容される。
モデル・パラメータの適合
3Dモデルの明確な投影及び歪みの場合(アプローチ1)、推定された運動パラメータが、直接に、適合された3D幾何学的パラメータになる。アプローチ2の場合には、幾何学的モデルをよりよく規定するために、標識付けされたセグメントに関するいくつかの測定を実行する。次いで、セグメントがどのように共に分枝するのか、及び主動脈上のどこに分岐が位置するのかを決定することができる。セグメントの長さ、並びにそれらの幅及び蛇行パラメータを推定することができる。
モデルは適合されているため、反復は、ステップA〜Cをより高い正確さで解決することを可能にする。したがって、次の血管造影シーケンスに移る前に、このプロセスを何回か繰り返すことができる。しかしながら、反復は必須ではない。
分かりやすくするために、ステップA〜Dを別々に説明した。実際には、これらのステップをより密接に結合することができ、最高の効率を得るために、これらのステップを場合によっては合体することさえもできる。例えば、投影されたモデルとセグメント化された血管造影図との間の整列(C)はさらに、モデル・パラメータの適合(D)を含むことができ、これは、適切な変形の余地を広げるため、そのモデルは、セグメント化された樹との整列を受けることができる。
血管造影シーケンス上でループするグローバル・スキームの反復を企図することができる。例えば、最初の血管造影図に基づいて実行されたモデル適合が、不完全な平均のモデルから開始されたため、不完全であることがある。しかしながら、n個(典型的には10個)の血管造影シーケンスを処理した後に使用可能なはるかに良好な(より患者固有の)モデルを利用することによって、誤差を考慮又は補正することができる。
結果の提示
医療報告書に含める情報を提供する際に3Dモデルを利用するいくつかの異なるアプローチがある。
図4に示されているものと同様の2D概略モデルを生成することができる。このモデルでは、血管構造が概略的に示されており、重なりがない。しかしながら、概略図が、患者の分枝とコヒーレントな正しい分枝を有する(PDAが正確に取り付けられており、ラムス及び円錐が正しく配置されている)ことを保証するためには、患者固有の3Dモデルが使用される。
同じアンギュレーションで取得された関連血管造影図と対をなす、3Dモデルの一連の2D投影図を生成することができる。この合成血管造影図は、正しい分枝システム、正しい枝の長さ、及び前記枝に沿った正しい分岐位置を有する。血管構造の重なりがある可能性があり、又は、別々の図に異なる枝が提示されることもある。しかしながら、この合成血管造影図内の枝構造自体は分かっており、適当に注釈をつけることができる。
この患者固有3Dモデルを3Dで直接に提示することができる(図8参照)。ユーザは、このモデルを回転させ、編集し、好みの視点から再投影することができる。
別の例示的な実施形態では、上記実施形態のうちの1つによる方法のステップを適切なシステム上で実行するように構成されていることを特徴とするコンピュータプログラム又はコンピュータプログラム要素が提供される。
したがって、コンピュータプログラム要素は、コンピュータユニットに記憶されていてもよい。当該コンピュータユニットも、一実施形態の一部であってよい。当該コンピュータユニットは、上記方法のステップを行うか又はステップの実行を誘導する。更に、コンピュータユニットは、上記装置のコンポーネントを動作させる。コンピュータユニットは、自動的に動作するか及び/又はユーザの命令を実行する。コンピュータプログラムが、データプロセッサの作業メモリにロードされてよい。したがって、データプロセッサは、上記実施形態のうちの1つによる方法を実行する能力を備えている。
本発明のこの例示的な実施形態は、最初から本発明を使用するコンピュータプログラムと、アップデートによって、既存のプログラムを、本発明を使用するプログラムに変えるコンピュータプログラムとの両方を対象とする。
更に、コンピュータプログラム要素は、上記方法の例示的な実施形態の手順を満たすすべての必要なステップを提供することができる。
本発明の更なる例示的な実施形態によれば、CD−ROMといったコンピュータ可読媒体が提示される。コンピュータ可読媒体に、コンピュータプログラム要素が記憶され、コンピュータプログラム要素は上記セクションに説明されている。
コンピュータプログラムは、他のハードウェアと共に又は他のハードウェアの一部として供給される光学記憶媒体又は固体媒体といった適切な媒体上に記憶される及び/又は分散配置されるが、インターネット又は他の有線若しくは無線通信システムを介した形態といった他の形態で分配されてもよい。
しかし、コンピュータプログラムは、ワールドワイドウェブといったネットワーク上に提示され、当該ネットワークからデータプロセッサの作業メモリにダウンロードされてもよい。本発明の更なる例示的な実施形態によれば、ダウンロード用にコンピュータプログラム要素を利用可能にする媒体が提供され、当該コンピュータプログラム要素は、本発明の上記実施形態のうちの1つによる方法を行うように構成される。
なお、本発明の実施形態は、様々な主題を参照して説明されている。具体的には、方法タイプのクレームを参照して説明される実施形態もあれば、デバイスタイプのクレームを参照して説明される実施形態もある。しかし、当業者であれば、上記及び以下の説明から、特に明記されない限り、1つのタイプの主題に属する特徴の任意の組み合わせに加えて、様々な主題に関連する特徴の任意の組み合わせも、本願によって開示されていると見なされると理解できるであろう。しかし、すべての特徴は、特徴の単なる足し合わせ以上の相乗効果を提供する限り、組み合わされることが可能である。
本発明は、図面及び上記説明において詳細に例示され、説明されたが、当該例示及び説明は、例示的に見なされるべきであり、限定的に見なされるべきではない。本発明は、開示される実施形態に限定されない。開示された実施形態の他の変形態様は、図面、開示内容及び従属請求項の検討から、請求項に係る発明を実施する当業者によって理解され、実施される。
請求項において、「含む」との用語は、他の要素又はステップを排除するものではなく、また、「a」又は「an」との不定冠詞も、複数形を排除するものではない。単一のプロセッサ又は他のユニットが、請求項に引用される幾つかのアイテムの機能を果たしてもよい。特定の手段が相互に異なる従属請求項に記載されることだけで、これらの手段の組み合わせを有利に使用することができないことを示すものではない。請求項における任意の参照符号は、範囲を限定するものと解釈されるべきではない。

Claims (14)

  1. 体部の患者固有3Dモデルを提供する装置であって、前記装置は、
    入力ユニットと、
    処理ユニットと
    を備え、
    前記入力ユニットが、患者の体部の血管構造の2DのX線画像データを含む少なくとも1つの2DのX線画像を提供し、
    前記入力ユニットが、前記体部の3Dモデルを提供し、前記3Dモデルが、モデル化された3D血管構造を含み、少なくとも1つのパラメータが、前記モデル化された3D血管構造の見え方を指令し、前記3Dモデルが前記体部の総称モデルであり、
    前記処理ユニットが、前記モデル化された3D血管構造を、前記血管構造の前記2DのX線画像データと突き合わせて、前記少なくとも1つのパラメータを決定し、
    前記処理ユニットが、前記3Dモデルを、決定された前記少なくとも1つのパラメータの関数として更新し、
    前記処理ユニットが、前記3Dモデルから決定された情報に基づいて医療報告書を作成する、
    装置。
  2. 前記処理ユニットが、前記体部の前記3Dモデルの2D投影図を決定し、前記体部の前記3Dモデルの前記2D投影図が、前記モデル化された3D血管構造の2D投影図を含み、前記処理ユニットは、前記モデル化された3D血管構造の2D投影図が前記患者の前記体部の前記血管構造の前記2DのX線画像データを表すような態様で、前記モデル化された3D血管構造の2D投影図に前記少なくとも1つのパラメータを適合させ、適合された前記少なくとも1つのパラメータが、決定された前記少なくとも1つのパラメータを形成する、請求項1に記載の装置。
  3. 前記少なくとも1つのパラメータを適合させるために、前記処理ユニットは、修正された前記モデル化された3D血管構造の前記2D投影図が、前記血管構造の前記少なくとも2DのX線画像データを表すまで、前記少なくとも1つのパラメータを修正する、請求項2に記載の装置。
  4. 前記処理ユニットが、前記体部の前記3Dモデルを変形し、前記体部の前記3Dモデルの前記変形が、前記体部の前記3Dモデルのポーズの決定を含む、請求項2又は3に記載の装置。
  5. 前記入力ユニットが、前記少なくとも1つの2DのX線画像を取得するのに使用したX線取得ユニットの幾何学的構成に関する情報を提供し、前記体部の前記3Dモデルの前記変形が、前記X線取得ユニットの前記幾何学的構成に関する前記情報の利用を含む、請求項4に記載の装置。
  6. 前記処理ユニットが、前記体部の変形された前記3Dモデルに関連した前記モデル化された3D血管構造の少なくとも1つの2D投影図にユーザが注釈をつけることを可能にし、前記処理ユニットが、前記体部の前記3Dモデルの前記モデル化された3D血管構造に前記注釈を適用する、請求項2乃至5のいずれか一項に記載の装置。
  7. 前記処理ユニットが、前記体部の変形された前記3Dモデルに関連した前記モデル化された3D血管構造の少なくとも1つの2D投影図、前記体部の変形された前記3Dモデルに関連した前記モデル化された3D血管構造、及び/又は、前記体部の変形された前記3Dモデルを、報告するための報告フォーマットをユーザが選択することを可能にする、請求項2乃至6のいずれか一項に記載の装置。
  8. 前記処理ユニットが、前記血管構造の前記少なくとも1つの2DのX線画像中の前記血管構造の少なくとも1つのセグメントを示し、前記少なくとも1つのセグメントに関する少なくとも1つの測定を実行し、前記血管構造の前記少なくとも1つの2DのX線画像中の前記血管構造の前記少なくとも1つのセグメントを、前記モデル化された3D血管構造の対応する少なくとも1つのセグメントに関連づけ、前記処理ユニットが、前記少なくとも1つのパラメータを、前記少なくとも1つの測定の関数として適合させ、適合された前記少なくとも1つのパラメータが、決定された前記少なくとも1つのパラメータを形成する、請求項1に記載の装置。
  9. 前記少なくとも1つの2DのX線画像が複数の画像を含み、前記処理ユニットが、前記複数の画像の中から、注入がうまくいった2DのX線画像を選択する、請求項1乃至8のいずれか一項に記載の装置。
  10. 前記少なくとも1つの2DのX線画像を取得するのに使用したX線取得ユニットが、前記少なくとも1つの2DのX線画像を取得したときに静止していた、請求項1乃至9のいずれか一項に記載の装置。
  11. 体部の患者固有3Dモデルを提供する医療システムであって、前記医療システムは、
    X線画像取得ユニットと、
    体部の患者固有3Dモデルを提供する請求項1乃至10のいずれか一項に記載の装置と、
    出力ユニットと
    を備え、
    前記X線画像取得ユニットが、前記少なくとも1つの2DのX線画像を提供し、
    前記出力ユニットが、前記体部の前記患者固有3Dモデルを表すデータを出力する、
    医療システム。
  12. 体部の患者固有3Dモデルを提供する方法であって、前記方法は、
    a)患者の体部の血管構造の2DのX線画像データを含む少なくとも1つの2DのX線画像を提供するステップと、
    b)前記体部の3Dモデルを提供するステップであって、前記3Dモデルが、モデル化された3D血管構造を含み、少なくとも1つのパラメータが、前記モデル化された3D血管構造の見え方を指令し、前記3Dモデルが前記体部の総称モデルである、ステップと、
    c)前記モデル化された3D血管構造を、前記血管構造の前記2DのX線画像データと突き合わせて、前記少なくとも1つのパラメータを決定するステップと、
    d)前記3Dモデルを、決定された前記少なくとも1つのパラメータの関数として更新するステップと、
    e)前記3Dモデルから決定された情報に基づいて医療報告書を作成するステップと
    を有する方法。
  13. 請求項1乃至11のいずれか一項に記載の装置を制御するコンピュータ・プログラムであって、処理装置によって実行されたときに請求項12に記載の方法を実行するコンピュータ・プログラム。
  14. 請求項13に記載のコンピュータ・プログラムを記憶した、コンピュータ可読媒体。
JP2018533911A 2015-12-30 2016-12-21 体部の3次元モデル Active JP6878439B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15307184.0 2015-12-30
EP15307184 2015-12-30
PCT/EP2016/082044 WO2017114700A1 (en) 2015-12-30 2016-12-21 Three dimensional model of a body part

Publications (2)

Publication Number Publication Date
JP2019500146A JP2019500146A (ja) 2019-01-10
JP6878439B2 true JP6878439B2 (ja) 2021-05-26

Family

ID=55085517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018533911A Active JP6878439B2 (ja) 2015-12-30 2016-12-21 体部の3次元モデル

Country Status (5)

Country Link
US (1) US11200750B2 (ja)
EP (1) EP3398170B1 (ja)
JP (1) JP6878439B2 (ja)
CN (1) CN108496205B (ja)
WO (1) WO2017114700A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9814433B2 (en) * 2012-10-24 2017-11-14 Cathworks Ltd. Creating a vascular tree model
EP4241694A3 (en) 2016-05-16 2023-12-20 Cathworks Ltd. Selection of vascular paths from images
JP7036742B2 (ja) 2016-05-16 2022-03-15 キャスワークス リミテッド 血管評価システム
DE102016215971A1 (de) * 2016-08-25 2018-03-01 Siemens Healthcare Gmbh Segmentierung einer Angiographie unter Verwendung einer bestehenden dreidimensionalen Rekonstruktion
EP3564961A1 (en) * 2018-05-03 2019-11-06 Koninklijke Philips N.V. Interactive coronary labeling using interventional x-ray images and deep learning
US11861764B2 (en) * 2018-08-07 2024-01-02 Siemens Healthcare Gmbh 3D depth reconstruction of vessels in 2D medical images
EP3644274A1 (en) * 2018-10-26 2020-04-29 Koninklijke Philips N.V. Orientation detection for vessel segmentation
US11010896B2 (en) * 2018-12-17 2021-05-18 Bodygram, Inc. Methods and systems for generating 3D datasets to train deep learning networks for measurements estimation
JP7341667B2 (ja) * 2019-02-08 2023-09-11 キヤノンメディカルシステムズ株式会社 医用画像処理装置、x線診断装置及び医用情報処理システム
US12039685B2 (en) 2019-09-23 2024-07-16 Cathworks Ltd. Methods, apparatus, and system for synchronization between a three-dimensional vascular model and an imaging device
US11798299B2 (en) * 2019-10-31 2023-10-24 Bodygram, Inc. Methods and systems for generating 3D datasets to train deep learning networks for measurements estimation
US20210228262A1 (en) 2020-01-29 2021-07-29 Covidien Lp System and methods for identifying vessels within tissue
KR20240006038A (ko) * 2021-05-05 2024-01-12 하트플로우, 인크. 평면 맵핑을 결정하기 위해 전자 이미지들을 처리하기 위한 시스템들 및 방법들
JP7112140B1 (ja) 2021-12-21 2022-08-03 株式会社 マイネ 撮像支援方法、撮像支援プログラム、撮像支援システム
JP2024032079A (ja) 2022-08-29 2024-03-12 富士通株式会社 病変検出方法および病変検出プログラム
WO2024083538A1 (en) * 2022-10-20 2024-04-25 Koninklijke Philips N.V. Three-dimensional coronary tree reconstruction

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003144B2 (en) 2000-02-11 2006-02-21 The United States Of America As Represented By The Department Of Health And Human Services Vessel delineation in magnetic resonance angiographic images
DE10162272A1 (de) * 2001-12-19 2003-07-10 Philips Intellectual Property Verfahren zur Unterstützung der Orientierung im Gefäßsystem
CN100443050C (zh) * 2002-06-04 2008-12-17 皇家飞利浦电子股份有限公司 基于旋转血管造影术的冠状动脉结构混合3d重建
EP1646317A1 (en) * 2003-07-10 2006-04-19 Koninklijke Philips Electronics N.V. Apparatus and method for navigating an instrument through an anatomical structure
US7197170B2 (en) 2003-11-10 2007-03-27 M2S, Inc. Anatomical visualization and measurement system
US20060098010A1 (en) 2004-03-09 2006-05-11 Jeff Dwyer Anatomical visualization and measurement system
US7639847B2 (en) 2004-09-08 2009-12-29 Ge Medical Systems Information Technologies, Inc. Coronary artery tree imaging system and method
US7702137B2 (en) 2004-11-10 2010-04-20 M2S, Inc. Anatomical visualization and measurement system
US7787683B2 (en) 2004-12-20 2010-08-31 Siemens Medical Solutions Usa, Inc. Tree structure based 2D to 3D registration
DE102005036564A1 (de) 2005-08-03 2007-02-22 Siemens Ag Betriebsverfahren für eine bildgebende medizintechnische Anlage und hiermit korrespondierende Gegenstände
WO2007026598A1 (ja) 2005-08-31 2007-03-08 Gifu University 医用画像処理装置及び画像処理方法
WO2008130906A1 (en) * 2007-04-17 2008-10-30 Mikos, Ltd. System and method for using three dimensional infrared imaging to provide psychological profiles of individuals
US10045755B2 (en) * 2008-03-17 2018-08-14 Koninklijke Philips N.V. Perfusion imaging system with a patient specific perfusion model
US8369585B2 (en) * 2008-10-17 2013-02-05 Siemens Aktiengesellschaft Automatic classification of information in images
WO2011123669A1 (en) * 2010-03-31 2011-10-06 St. Jude Medical, Atrial Fibrillation Division, Inc. Intuitive user interface control for remote catheter navigation and 3d mapping and visualization systems
BR112012002884A2 (pt) * 2009-08-12 2017-12-19 Koninl Philips Electronics Nv sistema de formação de imagens médicas para gerar dados de um objeto de características de uma região de interesse de um objeto, método para a geração de dados de um objeto de características de uma região de interesse de um objeto, elemento de programa de computador para controlar um aparelho e meio que pode ser lido por computador
EP2595542A1 (en) * 2010-07-19 2013-05-29 Koninklijke Philips Electronics N.V. 3d-originated cardiac roadmapping
US9317919B2 (en) * 2010-11-12 2016-04-19 Koninklijke Philips N.V. Identifying individual sub-regions of the cardiovascular system for calcium scoring
CN103379861B (zh) * 2011-02-07 2016-08-10 皇家飞利浦有限公司 用于在血管介入程序中提供支持介入设备的准确定位的图像表示的医学成像设备
DE102011076233B4 (de) * 2011-02-09 2013-04-18 Siemens Aktiengesellschaft Verfahren und Computersystem zur Erkennung einer statistisch relevanten Normvariante der Gefaßstruktur eines Patienten mit Hilfe tomographischer Bilddatensatze
DE102011005847B4 (de) * 2011-03-21 2017-04-27 Siemens Healthcare Gmbh Röntgeneinrichtung
CA2850476A1 (en) * 2011-08-26 2013-03-07 EBM Corporation Bloodstream simulation system for simulating blood vessel treatment effect, method therefor, and computer software program
US8867822B2 (en) 2011-10-14 2014-10-21 Fujifilm Corporation Model-based coronary artery calcium scoring
AU2013212268B2 (en) 2012-01-24 2017-02-02 Smith & Nephew, Inc. Porous structure and methods of making same
JP2013233413A (ja) * 2012-04-09 2013-11-21 Toshiba Corp X線診断装置
EP2779090B1 (en) * 2013-03-11 2018-09-19 Siemens Healthcare GmbH Assignment of localisation data
CN105103191B (zh) * 2013-04-03 2019-05-10 皇家飞利浦有限公司 血管分割
DE102013219737B4 (de) * 2013-09-30 2019-05-09 Siemens Healthcare Gmbh Angiographisches Untersuchungsverfahren eines Gefäßsystems
EP3060129B1 (en) * 2013-10-25 2022-04-06 Philips Image Guided Therapy Corporation Systems for vessel assessment
US20150254043A1 (en) 2014-03-04 2015-09-10 Sung Jae Hwang Display property determination
US10470732B2 (en) * 2014-09-30 2019-11-12 Siemens Healthcare Gmbh System and method for generating a time-encoded blood flow image from an arbitrary projection

Also Published As

Publication number Publication date
US20190019347A1 (en) 2019-01-17
EP3398170A1 (en) 2018-11-07
JP2019500146A (ja) 2019-01-10
CN108496205A (zh) 2018-09-04
WO2017114700A1 (en) 2017-07-06
CN108496205B (zh) 2023-08-15
EP3398170B1 (en) 2019-10-30
US11200750B2 (en) 2021-12-14

Similar Documents

Publication Publication Date Title
JP6878439B2 (ja) 体部の3次元モデル
JP7039442B2 (ja) 血管モデルの作成方法
US8315355B2 (en) Method for operating C-arm systems during repeated angiographic medical procedures
JP4374234B2 (ja) 医療的侵襲処置計画の方法及び装置
US7778686B2 (en) Method and apparatus for medical intervention procedure planning and location and navigation of an intervention tool
Rivest-Henault et al. Nonrigid 2D/3D registration of coronary artery models with live fluoroscopy for guidance of cardiac interventions
JP5950782B2 (ja) ライブ蛍光透視画像を用いた冠動脈モデルの非剛体2d/3dレジストレーション
US8942455B2 (en) 2D/3D image registration method
JP6509446B2 (ja) 血管構造の合成表現
KR102372046B1 (ko) 인공지능 기술을 이용한 혈관 구조 추출 방법, 이를 수행하기 위한 기록 매체 및 장치
CN111657978A (zh) 解剖体表示与实况图像的配对
US9058664B2 (en) 2D-2D fusion for interventional guidance in trans-catheter aortic valve implantation
KR101785293B1 (ko) 3d cta 영상 정보를 활용한 2d xa 영상에서의 자동 혈관 구조 해석 방법, 이를 수행하기 위한 기록 매체 및 장치
CN108430376B (zh) 提供投影数据集
CN114332285A (zh) 一种冠状动脉路径图的生成方法、装置、可读存储介质
US20190076105A1 (en) Hemodynamic parameters for co-registration
KR20210112436A (ko) 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법, 이를 수행하기 위한 기록 매체 및 장치
CN113538403A (zh) 一种虚拟dsa影像获取装置、方法、介质及电子设备
Drechsler et al. Closing the Gap: From Planning to Intervention in Cardiology

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210428

R150 Certificate of patent or registration of utility model

Ref document number: 6878439

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250