JP6619431B2 - 解剖学的構造のモデルベースセグメンテーション - Google Patents

解剖学的構造のモデルベースセグメンテーション Download PDF

Info

Publication number
JP6619431B2
JP6619431B2 JP2017523460A JP2017523460A JP6619431B2 JP 6619431 B2 JP6619431 B2 JP 6619431B2 JP 2017523460 A JP2017523460 A JP 2017523460A JP 2017523460 A JP2017523460 A JP 2017523460A JP 6619431 B2 JP6619431 B2 JP 6619431B2
Authority
JP
Japan
Prior art keywords
model
medical image
image
patient
anatomy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017523460A
Other languages
English (en)
Other versions
JP2018504149A5 (ja
JP2018504149A (ja
Inventor
フランク マイケル ウェーバー
フランク マイケル ウェーバー
クリスティアン バーガー
クリスティアン バーガー
ニルス ナイホフ
ニルス ナイホフ
フィリップ ポール マズール
フィリップ ポール マズール
イリーナ ワチター‐ステール
イリーナ ワチター‐ステール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2018504149A publication Critical patent/JP2018504149A/ja
Publication of JP2018504149A5 publication Critical patent/JP2018504149A5/ja
Application granted granted Critical
Publication of JP6619431B2 publication Critical patent/JP6619431B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20128Atlas-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、医用画像(医学的画像)における解剖学的構造のモデルベースのセグメンテーションを実行するためのシステム及び方法に関する。さらに、本発明は、かかるシステムを有するワークステーション及び画像形成装置、並びに、かかる方法をプロセッサシステムに実行させるための命令を有するコンピュータプログラム製品に関する。
医学的画像における様々な解剖学的構造の堅牢な自動セグメント化は、臨床ワークフローを改善するための鍵となるものである。ここで、セグメント化という用語は、例えば、解剖学的構造の境界の描写、境界によって囲まれたボクセルのラベル付けなどによって、医学的画像における解剖学的構造の識別を指す。そのようなセグメンテーションが実行されると、例えば、心臓構造、心室質量、駆出率、及び、壁厚などの臨床パラメータを抽出することが可能である。追加的又は代替的に、セグメント化は、ユーザがセグメント化から臨床情報又は解剖学的情報を収集することを可能にするためにユーザに提示されてもよい。
モデルを用いて医学的画像内の解剖学的構造を分割することが知られている。このようなセグメンテーションのタイプは、モデルベースセグメンテーションとも呼ばれる。モデルは、モデルデータによって定義することができる。モデルデータは、解剖学的構造の幾何形状を、例えば三角形の多区画メッシュの形態で定義することができる。モデル内の各部分にアフィン変換を割り当てることによって、患者間及び病期間の形状の変動性をモデル化することができる。アフィン変換は、異なる座標軸及び剪断に沿った平行移動、回転、スケーリングをカバーする。さらに、メッシュの規則性は、モデルの異なる部分間の遷移におけるアフィン変換の補間によって維持されてもよい。このようなアフィン変換は、しばしば、いわゆる「変形可能な」モデルの構成要素として使用される。
医学的画像の画像データにモデルを適用することは、メッシュベースのモデルの場合に「メッシュ適応」とも呼ばれる適応技術を含むことができる。従って、そのような適用は、「適応」又は「適合」とも呼ばれる。適合技術は、モデルを画像データに適応させる外部エネルギー項及びモデルの剛性を維持する内部エネルギー項に基づいてエネルギー関数を最適化することができる。
そのようなモデルを医学的画像に適用するための適合技術と同様に、上述したタイプのモデル及び他のタイプは、それ自体が既知である。
例えば、O.Ecabertらによる、「CT画像における心臓の自動モデルベースセグメンテーション」(医療イメージングにおけるIEEE会議、2008年、27(9)、第1189頁乃至第1201頁)と題された刊行物は、3次元(3D)CT(Computed Tomography)画像からの心臓の自動セグメンテーションのためのモデルベースアプローチについて述べている。
医学的画像は、患者の解剖学的構造の一部のみを示すことがある。この理由は、医学的画像を取得する際に使用される撮像モダリティが、患者の内部の限られた視界を提供するだけである可能性があるからである。解剖学的構造の一部のみを示す医学的画像のその他の理由は、他の部分が閉塞されてもよく、使用された画像化様式において目に見えないなどであってもよい。
患者の解剖学的構造の一部のみを示す医学的画像にモデルを適合させるためのシステム又は方法を有することが有益であろう。また、適合モデルの更なる処理を容易にすることが有利である。
本発明の第1の態様は、モデルベースセグメンテーションのためのシステムであって、前記システムは、
患者の解剖学的構造の第1の部分を示す一方で前記解剖学的構造の第2の部分を示さない前記患者の医学的画像を表す画像データにアクセスするための画像インタフェースと、
解剖学的構造のタイプをセグメント化するためのモデルを規定するモデルデータを有するデータストレージと、
前記医学的画像の前記画像データに前記モデルを適用することによって前記医学的画像のモデルベースセグメンテーションを実行するためのセグメンテーションサブシステムと、を有し、
前記モデルベースセグメンテーションは、
(i)前記患者の前記医学的画像における前記解剖学的構造の前記第1の部分に適合された第1のモデル部分と、
(ii)前記医学的画像の対応する部分に適合されていない前記解剖学的構造の前記第2の部分を表す第2のモデル部分と、
を持つ適合モデルを供給し、
前記セグメンテーションサブシステムは、前記適合モデルの更なる処理において前記第1のモデル部分が前記第2のモデル部分から区別されることを可能にするために、前記第1のモデルを識別するメタデータを生成する、システムを提供する。
本発明の他の態様は、上記システムを有するワークステーション又はイメージング装置を提供する。
本発明の他の態様は、モデルベースセグメンテーションのための方法であって、
患者の解剖学的構造の第1の部分を示す一方で前記解剖学的構造の第2の部分を示さない前記患者の医学的画像を表す画像データにアクセスするステップと、
解剖学的構造のタイプをセグメント化するためのモデルを規定するモデルデータを供給するステップと、
前記医学的画像の前記画像データに前記モデルを適用することによって前記医学的画像のモデルベースセグメンテーションを実行するステップと、を有し、
前記モデルベースセグメンテーションは、
(i)前記患者の前記医学的画像における前記解剖学的構造の前記第1の部分に適合された第1のモデル部分と、
(ii)前記医学的画像の対応する部分に適合されていない前記解剖学的構造の前記第2の部分を表す第2のモデル部分と、
を持つ適合モデルを供給し、
前記方法は、
前記適合モデルの更なる処理において前記第1のモデル部分が前記第2のモデル部分から区別されることを可能にするために、前記第1のモデルを識別するメタデータを生成するステップを更に有する方法を提供する。
本発明の他の態様は、プロセッサシステムに上記方法を実行させるための命令を有するコンピュータプログラム製品を提供する。
上記手段は、患者の医学的画像を得ることを含む。患者の医学的画像は、例えば、超音波、CT、磁気共鳴(MR)画像などの様々な画像化様式を使用して取得することができる。さらに、医学的画像に示されるような解剖学的構造のタイプをセグメント化するためのモデルを定義するモデルデータが提供される。解剖学的構造は、例えば、臓器、臓器系、器官の特定部分などであってもよい。このように、モデルは、人間の心臓、人間の脳等をセグメント化するように構成することができる。このモデルは、最初は患者非固有のモデルであってもよい。モデルデータは、半導体メモリ、磁気又は光ディスクなどのデータ記憶装置に含まれてもよい。さらに、セグメンテーションサブシステムは、医学的画像のモデルベースセグメンテーションを実行するために、即ち、医学的画像の画像データにモデルを適用することによって提供される。その目的のために、セグメンテーションサブシステムは、適合技術を使用することができる。そのような適合技術は、例えば、複数の操作を定義するデータによって表すことができる。この段落で説明される機能性は、解剖学的構造のモデルベースセグメンテーションの分野からそれ自体は既知であることに留意されたい。
システムによってアクセスされる医学的画像は、患者の解剖学的構造の第1の部分を示すが、解剖学的構造の第2の部分を示さない。医学的画像が解剖学的構造の一部のみを示す様々な理由があり得る。例えば、経食道心エコー検査(TEE)では、しばしば心臓の小さな部分のみが撮像される。従って、医学的画像の画像データにモデルを適用する場合、セグメンテーションサブシステムは、モデルの第1のモデル部分を患者の医学的画像の画像データに局所的に、即ち、解剖学的構造の第1の部分を示す画像データに基づいて、適合させることができる。しかしながら、医学的画像が解剖学的構造の第2の部分を示さないため、即ち、医学的画像において存在しないかかる画像データのため、モデルの第2のモデル部分は、医学的画像内の対応する画像データに局所的に適合されない場合がある。従って、部分的にパーソナライズされた、即ち、患者の医学的画像に局所的に適合された一方、部分的にパーソナライズされていないモデルが得られる。この点において、第2の部分は局所的に適合されていないが、一般的には依然として医学的画像に適合することができる、即ち、第1の部分が画像データに適合したことに基づいて、モデルの第2の部分において、変更が生じる、又は、変更を与える。
セグメンテーションサブシステムは、適合モデルの更なる処理において適合モデル部分が第2の(パーソナライズされていない)モデル部分と区別されることを可能にするために、第1の(パーソナライズされた)モデル部分を識別するメタデータを生成するように構成される。例えば、メッシュモデルの場合、メタデータは、パーソナライズされたモデル部分に属する頂点及び/又はエッジを識別することができる。別の例は、メッシュモデル自体が、各頂点及び/又はエッジに対して、頂点及び/又はエッジがモデルのパーソナライズされた部分又はパーソナライズされていない部分に属するかどうかを識別する状態情報を含むことができるということである。
本発明者は、医学的画像が解剖学的構造の一部分のみを示す場合には、医学的画像に適用されるモデルが部分的にパーソナライズされてもよいことを認識した。従って、適合モデルは、部分的には、非局所的にパーソナライズされ、それによって大部分の平均で患者非固有のモデルを依然として表すことがあるという点で誤解を招く可能性がある。モデルの一部がパーソナライズされているかどうかは、適合モデルの更なる処理に影響を与える可能性がある。例えば、セグメンテーションサブシステムは、患者の更なる医学的画像へのアクセスを有する場合、既にパーソナライズされたモデル部分を適合させるのを控え、代わりに更なる医学的画像を使用してパーソナライズされていないモデル部分のみをパーソナライズすることができる。別の例は、適合モデルを視覚化するときに、モデルのどの部分がパーソナライズされたか、及び、モデルのどの部分がパーソナライズされていないかを視覚的にユーザに示すことが望ましい場合がある。生成されたメタデータの他の有利な使用も同様に存在し、そのようなメタデータが様々な適切な形態をとり得ることが理解されるであろう。
オプションで、システムは、適合モデルのレンダリングを提供する出力画像を生成するためのディスプレイプロセッサを更に有し、ディスプレイプロセッサは、出力画像において第2のモデル部分から第1のモデル部分を区別してレンダリングするためのメタデータに基づいて異なるレンダリング技術を選択するように構成される。従って、ディスプレイプロセッサは、適応されたモデルを出力画像に視覚化し、メタデータに基づいて適応モデルのパーソナライズされた部分および非パーソナライズされた部分を視覚化するために異なるレンダリング技術を使用する。異なるレンダリング技法の例には、異なる色の使用、三角形面の異なる透明度又は陰影付けなどが含まれるが、これらに限定されない。例えば、適合モデルのパーソナライズされていない部分は、透明な三角形面を有する輪郭又はワイヤフレームとしてのみレンダリングされてもよいが、適合モデルのパーソナライズされた部分は、ソリッド又はほぼソリッドな三角形の面を持つようにレンダリングすることができる。本発明のこの態様は、適合モデルの一部がパーソナライズ化されていなくても、完全なモデルをレンダリングしてユーザに解剖学的コンテキストを提供することが依然として有用であるという洞察に基づいている。しかし、通常の視覚化は、モデル全体がパーソナライズされていることを示唆している可能性がある。適合モデルのパーソナライズされていない部分を適合モデルのパーソナライズされた部分とは異なるようにレンダリングすることによって、この情報はユーザに視覚的に伝達される。
オプションで、ディスプレイプロセッサは、下層の医学的画像上のオーバーレイとして適合モデルをレンダリングするように構成され、その下層の医学的画像は、医学的画像又は患者の他の医学的画像である。適合モデルを適応された医学的画像上に、又は、患者の他の医学的画像上にレンダリングすることによって、ユーザは、適合モデルによって表される解剖学的情報を、下層の医学的画像に一致させることができる。また、他の医学的画像は、解剖学的構造を示すが、異なる撮像モダリティを使用して、異なる時間に取得されてもよいことに留意されたい。さらに、適合モデルは、適合画像を下層の画像に少なくとも粗くマッチさせるように、出力画像において医学的画像に登録することができる。
オプションで、モデルは、患者の超音波画像に適合され、ディスプレイプロセッサは、適合モデルを患者のX線画像上のオーバーレイとしてレンダリングするように構成される。従って、出力画像は、患者のX線画像の上に重ね合わされた超音波画像を使用して部分的にパーソナライズ化された適合モデルを示す。
オプションで、医学的画像は、患者の内部の限られた視野を提供し、ディスプレイプロセッサは、医学的画像の限定された視野内の解剖学的構造を表すモデルのモデル部分と、限られた視野の外側の解剖学を表すモデルの他のモデル部分とを出力画像において区別するように構成される。医学的画像は、比較的狭い視野を提供することができる。例えば、超音波画像は、典型的には、X線画像よりも狭い視野を提供する。従って、医学的画像は、解剖学的構造を部分的にのみ示すことができる。出力画像において、医学的画像の限定された視野内の解剖学的構造を表すモデルのモデル部分と、限定された視界の外側の解剖学的構造を表すモデルの別のモデル部分とを区別することによって、ユーザは、超音波画像上に重ね合わされるのではなく、X線画像の上に重ねられたモデルを見ながら、医学的画像の視野を拡大することができる。前記区別のために、異なる色の使用、三角形面の異なる透明度又は陰影付けなどを含むが、これらに限定されない異なるレンダリング技法を使用することができることに留意されたい。
オプションで、セグメンテーションサブシステムは、医学的画像の画像データにモデルを適用した後に、適合モデルを第2の医学的画像の画像データに適用し、それにより適合モデルをさらに適合させるように構成され、第2の医学的画像は、解剖学的構造の第2の部分を少なくとも示しており、適合モデルの第2のモデル部分は、第2の医学的画像における解剖学的構造の第2の部分に適合されている。従って、適合モデルは、第1の医学的画像からパーソナライズされた第1のモデル部分、第2の医学的画像からパーソナライズされた第2のモデル部分などを含むことができる。さらに、1又は複数のパーソナライズされていないモデル部分があってもよい。有利には、ディスプレイプロセッサは、異なるレンダリング技術を使用することによって、異なるモデル部分間の出力画像を区別し、それにより、それぞれのモデル部分がパーソナライズされたかどうかをユーザに示すことができ、それぞれのモデル部分がパーソナライズされている場合、現在表示されている医学的画像又は患者の別の医学的画像にパーソナライズされているかどうかをユーザに示すことができる。
オプションで、セグメンテーションサブシステムは、モデルの各モデル部分に状態を割り当てるように構成され、ディスプレイプロセッサは、出力画像において各モデル部分をレンダリングする場合に割り当てられた状態に基づいて異なるレンダリング技術を選択するように構成され、セグメンテーションサブシステムは、
各モデル部分が下層の医学的画像に適合されているかどうか、
各モデル部分が下層の医学的画像において示される解剖学的構造を表すかどうか、
各モデル部分が下層の医学的画像よりも患者の他の医学的画像に適合されているかどうか、のうちの少なくとも1つに基づいて各モデル部分に状態を割り当てるように構成される。
オプションで、第1のモデル部分は、医学的画像において部分的にのみ示されている解剖学的構造の解剖学的部分を表し、セグメンテーションサブシステムは、
医学的画像に第1のモデル部分を適合させるための局所変形を推定し、
局所変形の推定において、医学的画像に部分的にのみ示される解剖学的部分を説明する正則化表現を適用するように構成される。
本発明のこの態様は、解剖学的部分が医学的画像内に部分的にしか示されておらず、特に小さな部分のみが示されている場合、変換が不十分であるか、又は、誤って判断される可能性があるという洞察に基づいている。これは、非現実的及び/又は歪みのある変換をもたらし、セグメンテーションの結果を損なう可能性がある。解剖学的部分が医学的画像に部分的にしか示されていないことを説明する変換推定に正則化表現を適用することによって、変換推定値は安定化される。
オプションで、正則化表現は、より少ない解剖学的部分が医学的画像に表示されているときに、より強い正則化を提供する。従って、解剖学的部分のより小さい部分が示されるとき、変換推定はより安定化される。
オプションで、正則化表現は、チホノフ正則化を提供する。
オプションで、セグメンテーションサブシステムは、第1のモデル部分が患者の医学的画像における解剖学的構造の第1の部分に適合された後、又は、適合される間、モデルの第2のモデル部分に第1のモデル部分の形状を外挿することによって、モデルを解剖学的構造の第2の部分に適合させるように構成される。
オプションで、外挿を実行するステップは、第1モデル部分及び第2モデル部分の頂点及び/又はエッジ間に存在する関係に基づいて定義された内部エネルギー項を最小化するステップを有する。
上記によれば、解剖学的構造を部分的にしか示さない医学的画像のモデルベースセグメンテーションを実行するためのシステム及び方法が提供されてもよい。それに応じて、モデルが、医学的画像の画像データに適用され、モデルベースセグメンテーションは、患者の医学的画像における解剖学的構造の第1の部分に適合された第1のモデル部分と、医学的画像の対応する部分に適合されていない解剖学的構造の第2の部分を表す第2のモデル部分とを持つ適合モデルを供給する。適合モデルの更なる処理において、第1モデル部分を識別して第1モデル部分を第2モデル部分と区別できるようにするメタデータが生成されてもよい。有利には、メタデータは、モデルのどの部分がパーソナライズされ、どの部分がパーソナライズされていないかを視覚的にユーザに示す出力画像を生成するために使用されてもよい。適合モデルの更なる処理におけるメタデータの他の有利な使用も考えられている。
当然のことながら、当該技術分野における当業者によって、本発明の上記実施形態、実装例、及び/又は、態様のうちの2つ又は複数が、有用と考えられる任意の方法で組み合わせられ得る。
本システムの説明された修正及び変形に対応する、撮像装置、ワークステーション、方法、及び/又は、コンピュータプログラム製品の修正及び変形が、本開示に基づき、当該技術分野における当業者によって実行され得る。
当業者であれば、本方法が、種々の取得モダリティによって得られた、マルチ次元画像データに対して適用されてよいことが正しく理解されよう。これらに限定されるわけではないが、標準X線画像、コンピュータトモグラフィ(CT)、磁気共鳴画像(MRI)、超音波(US)、ポジトロン断層撮影(PET)、単一光子放射断層撮影(SPECT)、及び、核医学(NM)といったものである。
本発明は、独立請求項において規定される。好適な実施形態が、従属請求項において規定される。
本発明のこれらの態様及び他の態様が、以下に説明される実施形態を参照して明らかとなる。
図1は、モデルベースセグメンテーションのためのシステムのブロック図を示している。 図2は、モデルベースセグメンテーションのための方法のフローチャートを示している。 図3は、上記方法を実行するためのコンピュータプログラム製品を示している。 図4は、モデルが超音波画像の視野内の解剖学的構造を示すか否かに依存してモデルが異なって視覚化されるシステムのディスプレイプロセッサによって生成される出力画像の一例を示している。 図5は、モデルが超音波画像の上にオーバレイされるシステムのディスプレイプロセッサによって生成される出力画像の他の例を示している。 図6は、医学的画像に第1のモデル部分を適合させるための局所変形を推定する際の正則化表現の使用を図示している。 図7は、グローバルリジッド/アフィン変換後のセグメンテーションの結果を示している。 図8は、変換を推定する際に正則化表現を用いない場合のローカルリジッド/アフィン変換後のセグメンテーションの結果を示している。 図9は、変換を推定する際に正則化を用いた場合のローカルリジッド/アフィン変換後のセグメンテーションの結果を示している。 異なる図面において同じ参照番号を有するアイテムは、同じ構造的特徴及び同じ機能を有するか、又は、同じ信号であることに注意すべきである。そのようなアイテムの機能及び/又は構造が説明されている場合、詳細な説明においてそれらの繰り返しの説明の必要はない。
図1は、モデルベースセグメンテーションのためのシステム100を示している。システム100は、患者の医学的画像を表す画像データ022にアクセスするための画像インタフェース120を有する。図1の例では、画像インタフェース120は、外部画像レポジトリ020に接続されるように示されている。例えば、画像レポジトリ020は、システム100が接続され得る、又は、含まれ得る病院情報システム(HIS:Hospital Information System)の画像アーカイブ及び通信システム(PACS:Picture Archiving and Communication System)に構成される、又は、その一部であってもよい。従って、システム100は、医学的画像022へのアクセスを得ることができる。一般的に、画像インタフェース120は、インターネットなどのローカル又はワイドエリアネットワークへのネットワークインターフェース、内部又は外部のデータ記憶装置への記憶インターフェースなど、様々な形態をとることができる。
この本文及び適宜、医学的画像への言及は、医学的画像の画像データへの言及として理解されるべきであることに留意されたい。
システム100は、医学的画像022に示されるような解剖学的構造のタイプをセグメント化するためのモデルを規定するモデルデータ142を有するデータストレージ140を更に有する。例えば、モデルデータ142は、三角形のメッシュのようなモデルを規定し得る。データ記憶装置140は、システム100の内部構成要素として示されており、例えば、ハードディスクなどのディスクベースのデータ記憶装置、ROM又はRAMメモリなどの半導体ベースのデータ記憶装置、記憶媒体読取装置に挿入されたリムーバブル記憶媒体等を含み得る。データ記憶装置140は、例えば、モデルデータ142を有するリムーバブル記憶媒体の形で別個に設けられてもよいことに留意されたい。
システム100は、医学的画像の画像データにモデルを適用することによって、医学的画像のモデルベースセグメンテーションを実行するためのセグメンテーションサブシステム160を更に有する。当該目的のため、セグメンテーションサブシステム160は、画像インタフェース120から画像データ022を受け取り、データストレージ140からモデルデータ142を受け取るように示されている。本発明によれば、医学的画像は、解剖学的構造の第2の部分を示さない一方、患者の解剖学的構造の第1の部分を示すことができる。セグメンテーションサブシステム160は、(i)患者の医学的画像における解剖学的構造の第1の部分に適合された第1のモデル部分と、(ii)医学的画像の対応する部分に適合されなかった解剖学的構造の第2の部分を表す第2のモデル部分とを持つ適合モデルを供給するように構成される。さらに、セグメンテーションサブシステム160は、適合モデルの更なる処理において第2のモデル部分から第1のモデル部分を区別できるようにするため、モデルの第1のモデル部分を識別するメタデータを有する出力データ162を生成するように構成される。
図1は、システム100のオプションの態様を更に示しており、当該システム100は、適合モデルのレンダリングを提供する出力画像182を生成するように構成されたディスプレイプロセッサ180を有していてもよい。図1は、出力画像182をディスプレイ080に供給するディスプレイプロセッサ180を示している。あるいは、出力画像182は、例えば、画像インタフェース120を介して画像レポジトリ020に格納されてもよく、更なる分析などのための他のエンティティに供給され得る。ディスプレイプロセッサ180は、異なるレンダリング技術を用いることによって、出力画像182において第1のモデル部分と第2のモデル部分とを区別するように構成されてもよい。当該目的のため、ディスプレイプロセッサ180は、セグメンテーションサブシステム160の出力データ162から得られるように、適合モデル及びメタデータを使用してもよい。例えば、メッシュモデルの場合、メタデータは、第1の、即ち、パーソナライズ化されたモデル部分に属する頂点及び/又はエッジを識別し得る。他の例では、メッシュモデル自体が、各頂点及び/又はエッジに対して、頂点及び/又はエッジが、モデルのパーソナライズ化された、又は、パーソナライズ化されていない部分に属するかどうかを識別する状態情報を有していてもよい。異なるレンダリング技術の例は、異なる色の使用、三角形面の異なる透明度の使用などを含むが、これらに限定されない。
図1に示す別のオプションの態様は、ディスプレイプロセッサ180が適合モデルを医学的画像上のオーバレイとしてレンダリングし得る。そのために、ディスプレイプロセッサ180は、画像インタフェース120から医学的画像の画像データ122を内部で受信することができる。あるいは、患者の別の医学的画像が、出力画像における適合モデルのオーバーレイのための基礎となる(下層の)医学的画像として使用されてもよい。
システム100の様々なオプションの態様を含むシステム100の様々な動作が、図4〜図9を参照してより詳細に説明されることに留意されたい。
システム100は、ワークステーション又はイメージング(撮像)装置などの単一の機器又は装置として、あるいは、その中に組み込まれてもよい。かかる機器又は装置は、適切なソフトウェアを実行する1又は複数のマイクロプロセッサを有していてもよい。当該ソフトウェアは、対応するメモリ、例えば、RAMなどの揮発性メモリ、又は、フラッシュなどの不揮発性メモリにダウンロード及び/又は格納されていてもよい。あるいは、上記システムの機能ユニットは、例えば、フィールドプログラマブルゲートアレイ(FPGA)のようなプログラマブルロジックの形態で機器又は装置に実装されてもよい。一般に、システムの各機能ユニットは、回路の形態で実施することができる。システム100は、例えば、異なる機器又は装置を含む、配布された態様で実装されてもよいことに留意されたい。例えば、配布は、クライアント−サーバモデルに従っていてもよい。
図2は、モデルベースセグメンテーションを実行するための方法200を示している。当該方法200は、図1のシステム100の動作に対応していてもよい。しかしながら、これは限定ではなく、方法200は、1又は複数の異なる機器又は装置を使用して実行されてもよい。方法200は、「画像データにアクセス」と称される動作において、患者の医学的画像を表す画像データにアクセスするステップ210を有し、医学的画像は、患者の解剖学的構造の第1の部分を示す一方、解剖学的構造の第2の部分を示していない。方法200は、「モデルデータを提供」と称される動作において、解剖学的構造のタイプをセグメント化するためのモデルを定義するモデルデータを提供するステップ220をさらに有する。方法200は、「モデルベースの分割を実行」と称される動作において、医学的画像の画像データにモデルを適用することによって医学的画像のモデベースセグメンテーションを実行するステップ230を更に有し、モデルベースセグメンテーションは、(i)患者の医学的画像において解剖学的構造の第1の部分に適合された第1のモデル部分と、(ii)医学的画像の対応する部分に適合していない解剖学的構造の第2の部分を表す第2のモデル部分とを持つ適合モデルを供給する。方法200は、「メタデータ生成」と称される動作において、適合モデルの更なる処理において第1モデル部分を第2モデル部分から区別できるように第1モデル部分を識別するメタデータを生成するステップ240を更に有する。
上記動作は、適用可能であれば、例えば、入力/出力関係によって必要とされる特定の順序に従って、任意の適切な順序、例えば連続的に、同時に、又は、それらの組み合わせで実行されてもよいことが理解されよう。
方法200は、コンピュータ実装された方法として、専用ハードウェアとして、又は、両方の組み合わせとして、コンピュータ上で実施され得る。図3にも図示されているように、例えば、実行可能コードのようなコンピュータに関する命令は、機械読み取り可能な物理的マークのシリーズ260の形態で、及び/又は、異なる電気的、磁気的、又は、光学的な特性又は値を持つ一連の要素として、コンピュータ可読媒体250に格納され得る。実行可能コードは、一時的又は非一時的な方法で格納され得る。コンピュータ可読媒体の例には、メモリデバイス、光学記憶デバイス、集積回路、サーバ、オンラインソフトウェアなどが含まれる。図3は、光ディスク250を示す。
システム及び方法の様々なオプションの態様を含む、図1のシステムの動作、及び、図2の方法が、以下により詳細に説明され得る。これらの例は、モデルがメッシュモデルであり、解剖学的構造が人間の心臓であり、セグメンテーションサブシステムのメタデータが、適合モデルの視覚化を生成するために使用されることに留意されたい。しかしながら、これらの態様は、本発明を限定するものではなく、むしろその説明に対してコンテキストを供給するのに役立つ。
モデルベースセグメンテーションは、医学的画像における臓器境界を自動的に検出するために使用され得る。背景技術において紹介された「CT画像における心臓の自動モデルベースセグメンテーション」刊行物に記載されているように、モデルベースセグメンテーションは、本来、例えば心臓、及び、幾らかの周辺領域などのセグメントに対して完全な器官を含む画像に対して実行されていた。しかしながら、モデルベースセグメンテーションは、組織又は他の解剖学的構造の一部のみ、しばしば、僅かな部分のみしか示していない画像にも適用され得る。例えば、超音波画像において、特に、経食道心エコー検査(TEE)中に取得される超音波画像では、典型的には、心臓の小さな部分のみが画像化される。セグメント化後、超音波画像上に2D又は3Dのオーバーレイとして心臓モデルを表示することが望ましい場合がある。しかしながら、患者の内部の超音波画像の視野(FOV)が心臓よりも小さく、従って、心臓のみを部分的にしか示さない場合、心臓モデルは超音波画像の境界に及ぶ可能性がある。画像のFOV外では画像情報が利用できないので、ここではモデルの形状は、主に、モデルの平均形状、例えばパーソナライズされていない基準形状によって与えられる。パーソナライズされていないにもかかわらず、ユーザにコンテキストを提供するために完全なモデルを表示することは、依然として有用な場合がある。しかしながら、通常の視覚化は、FOV領域外の解剖学的構造を表すモデルの部分もパーソナライズされ、誤解を招く可能性があることを示唆している可能性がある。これは、TEEセグメンテーションからのモデルが、元の画像のFOVに含まれていたモデル部分を直接見ることができなくなるため、X線画像のような別の医学的画像上にオーバーレイされる場合に特に重要である。
図4は、システムによって生成され得る出力画像の一例を示しており、これは、上記を扱うものである。即ち、出力画像において、モデル400は、超音波画像のFOV内にモデルが解剖学的構造を表すか否かにより異なって視覚化される。医学的画像のFOV内の解剖学的構造を表すモデルは、「FOVの内側」と称され、逆に、医学的画像のFOV外の解剖学的構造を表すモデルは、「FOVの外側」と称されることに留意されたい。図4を更に参照すると、ここでは、超音波画像のFOV030内のモデルの一部410は、実線の色付き三角形で示され、FOV030外の残りの部分420は、レンダリングされるそのエッジのみによって「ワイヤフレーム」として示されている。このような異なる視覚化は、システムによって生成される2Dモデル視覚化にも適用され得ることに留意されたい。例えば、FOV内のモデルの一部は色で塗りつぶされてもよく、FOV外のモデルの部分は外部輪郭としてのみ示されてもよい。
多くの場合、局所的に適合された、即ち、パーソナライズされたモデルの部分が、医学的画像のFOV内の解剖学的構造を表すモデルの部分に対応することに留意されたい。しかしながら、そうである必要はない。例えば、モデルのより小さい部分が、医学的画像に示されるものよりもパーソナライズされてもよい。別の例は、パーソナライゼーションが、異なるFOVを有する患者の別の医学的画像に関して実行されていてもよいことである。具体的な例としては、以下があり得る。
モデルは、第1のFOVを提供する医学的画像を使用してパーソナライズ化されてもよい。続いて、第2の医学的画像が受信されて、第2のFOVを提供してもよい。例えば、TEEプローブの位置が変更されている間に、両方の医学的画像がTEE中に取得されてもよい。モデルは、(例えば、ライブトラッキング中のスピードの理由で)第2のFOVにまだ適合されていないことがある。しかしながら、第2のFOVの位置は、例えば、X線画像内のTEEプローブを追跡することから、第1のFOVに関して知ることができる。従って、パーソナライズされたモデル部分は、完全に又は部分的に第2のFOV外に配置され得る。
モデルは第1のFOVでパーソナライズされてもよく、第2のFOVを使用してパーソナライゼーションがモデルの別の部分に拡張されてもよい。従って、モデルの全体的なパーソナライズされた部分は、第2のFOVよりも大きくてもよい。
このモデルは、CT画像を使用して完全にパーソナライズされているかもしれないが、超音波画像上にオーバーレイとして視覚化されてもよい。従って、パーソナライズされた領域は、解剖学的構造全体をカバーすることができるが、基礎をなす超音波画像に対応するFOVは、モデルのごく一部にしか対応していない。
従って、パーソナライズされた領域がFOVと一致しない場合、パーソナライズされた領域及びFOV領域に対して異なる視覚化が使用されてもよい。例えば、セグメンテーションサブシステムは、モデルの各モデル部分に状態を割り当てるように構成されてもよく、ディスプレイプロセッサは、出力画像内のそれぞれのモデル部分をレンダリングするときに、割り当てられた状態に基づいて異なるレンダリング技術間で選択するように構成されてもよい。次に、セグメンテーションサブシステムは、それぞれのモデル部分が基礎となる医学的画像に適合されているかどうか、及び/又は、それぞれのモデル部分が基礎となる医学的画像において示されている解剖学的構造を表しているかどうか、及び/又は、それぞれのモデル部分が基礎となる医学的画像よりも患者の別の医学的画像に適合されているかどうか、に基づいて、それぞれのモデル部分に状態を割り当ててもよい。基礎となる医学的画像が画像シーケンスの一部である場合、状態は、それぞれのモデル部分がどの医学的画像に適合されたかを示してもよい。これは、出力画像におけるモデルの視覚化にタイミング情報を追加することを可能にする。例えば、モデル部分が以前の心臓サイクルでパーソナライズされていた場合、視覚化は、例えば、それぞれのモデル部品の色を灰色に彩色することによって、パーソナライゼーションがどのように「古い」かを示すことができる。別の例は、現在の画像の心臓位相が分かっている場合、視覚化は、医学的画像の心臓位相が、それぞれのモデル部分がパーソナライズされた現在の心臓フェーズにどれくらい近いかを示すことができる。
モデル部分が、特定の画像のFOV内の解剖学的構造を表すかどうかは、以下のように決定されてもよい。ここで、モデルは、特定の座標系の座標として定義された点と三角形で構成されているものとする。適合後、医学的画像に関する異なる点及び三角形の位置を知ることができる。さらに、医学的画像のFOVの位置は、同じ座標系で決定されてもよい。即ち、(例えば、イメージングシステムから)事前に位置を知ることができ、又は、その後に(例えば、3D又は4Dでの閾値処理などの画像処理方法を適用することによって)位置を決定することができる。点/三角形の位置とFOVの位置とが共通の画像座標系にある場合、FOV領域の内側又は外側にあれば、モデルの各点/三角形に対して決定され得る。モデルの外側領域は、より微妙に視覚化されてもよく(例えば、半透明であるか、又は、三角形の面がない面のみを示してもよい)、一方、内側領域は、より目立つように(例えば、実線面及び異なる色で)視覚化されてもよい。あるいは、完全なメッシュ(内側+外側領域)が同様の不透明度を有する視覚化されてもよく、FOV内の部分は、より目立つ視覚化(例えば、色)を用いて再び重ねられてもよい。
図5は、システムのディスプレイプロセッサによって生成された出力画像の別の例を示しており、このモデルでは、医学的画像、即ち、超音波画像の上にモデルが重ね合わされている。様々な他の可視化シナリオも同様に考えられる。例えば、モデルは、患者の超音波画像に適合されることができ、ディスプレイプロセッサは、適合モデルを患者のX線画像上のオーバーレイとしてレンダリングすることができる。
図6〜図9は、以下に関連している。セグメンテーションサブシステムによって実行されるような、モデルの典型的な適合は、まず、グローバル剛体/アフィン変換を使用してモデルの平均形状を修正して、モデルと画像との位置合わせを改善することを伴い得る。この変換は、FOV内で可視である全てモデル部分から推定され得る。第2に、心臓モデルのような多区画モデルの場合、モデルと医学的画像との間のアラインメントを更に改善するために、心臓モデルの異なる区画(例えば、左/右心室、左/右心房)について複数のローカル剛性/アフィン変換が推定され得る。しかしながら、区画がFOV内で部分的にしか見えない場合、その区画の変換パラメータは、FOV内の対応する画像点を検出することができるモデル点からのみ推定され得る。結果として、変換は過小決定され、(例えば、医学的画像のノイズのために)誤った画像点が検出されている場合、誤って判定される可能性がある。これは、非現実的かつ歪んだ変形をもたらし、セグメンテーション結果を損なう可能性がある。
上記に対処するために、システムは、変換推定に正則化表現を適用してもよい。正則化は、区画の広い領域がFOV内にある場合、正則化がこの明確に定義された問題に対して無視できる影響を及ぼすように決定され得る。しかしながら、大きな領域がFOV外にある場合、正則化は、平均モデル形状からの非現実的な偏差を抑制することによって変換推定を安定化してもよい。さらに、FOV外の領域については、形状は、セグメンテーションモデルの形状制約メカニズムを使用して、FOV内の領域から外挿され得る。
さらにモデルが心臓モデルである例を参照すると、心臓モデルが医学的画像に大まかに位置付けられると、心臓モデルは幾つかのステップで医学的画像に適合され得る。第1に、移動、回転、スケーリング、及び、せん断に基づくモデルと画像との間のアラインメントを提供するために、全てのモデル点に対してグローバル剛性/アフィン変換が推定され得る。第2に、左/右心室及び左/右心房のような、各区画に1つずつ、複数のローカル剛性/アフィン変換が推定され得る。これらの変換は、幾つかの患者又は心臓の位相において、異なる区画の相対的なサイズ又は向きが変化し得るため、推定され得る。区画ごとに異なる変換を推定することにより、これらの変動を補償し、より正確な区画化を得ることができる。
変換パラメータは、以下のように推定され得る。モデルメッシュの各三角形iについて、例えば、訓練された画像特徴(メッシュ表面に近い大きな画像勾配など)を使用して、画像内で目標点xが検出され得る。画像点xに対する三角形の中心c(q)(推定されるべき変換パラメータqの関数である)を引き付ける外部エネルギー方程式の簡略版は、以下のように記述することができる。
Figure 0006619431
式(1)は、最適化変換パラメータ1を計算し、ひいては、cをxに最適に整列させるために最小化され得る。式(1)を最小にするために特異値分解(SVD:singular value decomposition)が採用され得る。最適化の間、単一のシステム行列Uが反転され得る。図6に示されるように、行列Uの対角は、それぞれの心臓モデル510〜514においてそれぞれ図6に図示された臓器区画520〜524のうちの1つを表す複数の部分行列から構成され得る。行列Uを反転するとき、これらの区画の各々について十分な数の目標点が予想される。限定されたFOVの場合、特定の区画のメッシュ三角形の大部分は、画像情報が欠落している可能性があるため、対象点を検出しない可能性がある。極端な場合には、1つの変換に対応する完全な成分がFOV外にある可能性がある。これは、行列Uがこの構成要素のための排他的にゼロのエントリを示し、それによって直観的な行列反転を信頼できないようにする不適切に調整された方程式系につながる可能性がある。
この行列反転を安定化させるために、チホノフ正則化装置のような正則化が採用され得る。行列Uの条件数は、Uの対角に小さな値λを加えることによって増加され得る。完全なシステム行列Uの特異値を考慮すると、λ=0.01σmaxの値が適切であり得る。ここで、σmaxは、Uの最大特異値である(一般に、左心室などの十分に調整された部分行列から得られる)。
図7〜図9は、適用される正則化の効果を図示している。図7は、これまでの適合モデル401のオーバーレイの形でのグローバル剛性/アフィン変換後のセグメンテーション結果を示す。観察されるように、左心房及び右心房のような心臓構成要素ならびに右心室の外境界は、FOVの外側に延びている。これらの構成要素の表面で利用可能な画像情報は殆どないので、U内のこれらの構成要素の対応する部分行列は、ゼロに近い値を有する。SVDを用いた悪条件行列Uの直接的な反転は、正則化が適用されない場合、ローカル剛体/アフィン変換の間に非現実的な心臓形状の変形をもたらす。このことは、このようにして適合されたモデル402のオーバレイの形で図8に示されている。図9の適合モデル403に示されるように、適用されたチホノフ正則化は、対角上に値λを有するユニティ行列を強制することによってこれらの部分行列を安定化させ、正則化された行列Uを反転すると、それらの区画の変換パラメータが不変に保たれる。
FOV外の領域については、モデルの形状は、モデルの形状制約メカニズムを使用して、FOV内のモデル部分から外挿され得ることが理解されよう。即ち、内部エネルギー項を最小化することによってモデルが外挿されることができ、これは(単純化バージョンで)以下に対応することができる。
Figure 0006619431
ここで、vは、メッシュ頂点を示し、vは、その隣接点の1つを示す。大域変換Tの下での平均メッシュ内の対応する頂点mとmとの間の差からの任意の偏差は、内部エネルギーに寄与し得る。FOV外にはターゲット画像点xが存在しないので、外部エネルギーはそこに寄与しない(式(1)参照)。従って、内部エネルギーを最小限にすることは、FOV内の適合した形状によって設定された境界条件の下で可能な限り平均形状に類似した形状をFOV外に保つことができる。
本発明は、心臓のような変形構造に有利に適合させることができる動的モデルにも適用されることが理解されよう。
当然のことながら、本発明は、コンピュータプログラム、特に、本発明を実施するために適合された、媒体に記録されたコンピュータプログラムにも拡張される。当該プログラムは、ソースコード、オブジェクトコード、部分的にコンパイルされた形式などの中間的なソースコード及びオブジェクトコードの形式、あるいは、本発明に従った方法の実施において適切に使用される任意の他の形式であってもよい。また、当然のことながら、上記プログラムは、多くの異なるアーキテクチュアル設計を有していてもよい。例えば、本発明に従った方法又はシステムの機能を実装するプログラムコードは、1又は複数のサブルーチンに分割されてもよい。これらのサブルーチン上に機能を分布させる多くの様々な態様が、当業者にとって明らかであろう。当該サブルーチンは、自己含有型のプログラムを形成するように1つの実行可能なファイルに一緒に格納されてもよい。かかる実行可能なファイルは、例えば、プロセッサ命令及び/又はインタープリタ命令(例えば、Java(登録商標)インタープリタ命令)などの、コンピュータ実行可能な命令を有していてもよい。主なプログラムは、上記サブルーチンの少なくとも1つに対する少なくとも1つの呼び出しを含む。また、上記サブルーチンは、互いを呼び出す機能を有していてもよい。コンピュータプログラム製品に関する実施形態は、上記方法の少なくとも1つの処理ステップの各々に対応するコンピュータ実行可能な命令を有する。これらの命令は、サブルーチンに分割されてもよく、及び/又は、静的又は動的にリンクされた1又は複数のファイルに格納されてもよい。
コンピュータプログラムの媒体は、プログラムを運ぶことが可能な任意のエンティティ又は装置であってもよい。例えば、上記媒体は、CD−ROMなどのROMなどのストレージ媒体、あるいは、ハードディスクなどの磁気記録媒体を含んでいてもよい。さらに、上記媒体は、電気ケーブル、光ケーブル、無線、又は、他の手段により伝達可能な、電気信号又は光信号などの送信可能な媒体であってもよい。上記プログラムが上記信号により実現される場合、上記媒体は、かかるケーブル又は他の装置又は他の手段によって構成され得る。あるいは、上記媒体は、プログラムが埋め込まれた集積回路であってもよく、当該集積回路は、関連する方法を実行、又は、実行に際し使用されるように、適合している。
上記実施形態は、本発明を限定しようとするものではなく、当該技術分野における当業者は、添付の請求項の範囲から逸脱することなく、多くの代替的な実施形態を設計可能であることに留意すべきである。請求項中、括弧内の任意の参照符号は、請求項を限定するものとして解釈されるべきではない。「有する」なる動詞及びその活用形の使用は、請求項に記載されたもの以外の要素又はステップの存在を除外しない。要素の単数形は、かかる要素が複数存在することを除外しない。本発明は、幾つかの別個の要素を有するハードウェアにより実装されてもよいし、適切にプログラムされたコンピュータにより実装されてもよい。幾つかの手段を列挙している装置請求項では、これらのうち幾つかは、全く同一のハードウェアによって実現されてもよい。特定の特徴が相互に異なる従属請求項において言及されているという単なる事実は、これらの特徴の組み合わせが好適に用いられないということを示すものではない。
以下の参照番号のリストは、図面の解釈を容易にするために提供され、請求項を限定するものとして解釈されるべきではない。
020 画像リポジトリ
022〜026 医学的画像を表すデータ
030 視野
080 ディスプレイ
100 モデルベースセグメンテーションを実行するためのシステム
120 画像インタフェース
140 データストレージ
142 モデルデータ
160 セグメンテーションサブシステム
162 セグメンテーションサブシステムのための出力データ
180 ディスプレイプロセッサ
182 出力画像を表すデータ
200 モデルベースセグメンテーションのための方法
210 画像データへのアクセス
220 モデルデータ供給
230 モデルベースセグメンテーションの実行
240 メタデータの生成
250 コンピュータ読取り可能な媒体
260 命令
400〜403 適合モデル
410 医学的画像に適合されたモデル部分
420 医学的画像に適合されないモデル部分
500 システム行列U
510〜514 人の心臓
520〜524 人の心臓の区画

Claims (15)

  1. モデルベースセグメンテーションのためのシステムであって、前記システムは、
    医学的画像の視野内の患者の解剖学的構造の第1の部分を示す一方で前記医学的画像の視野外の前記解剖学的構造の第2の部分を示さない前記患者の医学的画像を表す画像データにアクセスするための画像インタフェースと、
    前記解剖学的構造のタイプをセグメント化するためのモデルを規定するモデルデータを有するデータストレージと、
    前記医学的画像の前記画像データに前記モデルを適用することによって前記医学的画像のモデルベースセグメンテーションを実行するためのセグメンテーションサブシステムと、
    を有し、
    前記モデルベースセグメンテーションは、
    (i)前記患者の前記医学的画像における前記解剖学的構造の前記第1の部分に対応する、前記患者に固有の第1のモデル部分と、
    (ii)前記医学的画像の対応する部分に適合されていない前記解剖学的構造の前記第2の部分を表す第2のモデル部分と、
    を持つ適合モデルを供給し、
    前記セグメンテーションサブシステムは、前記適合モデルの更なる処理において前記第1のモデル部分が前記第2のモデル部分から区別されることを可能にするために、前記第1のモデル部分を識別するメタデータを生成する、システム。
  2. 前記システムが、前記適合モデルのレンダリングを供給する出力画像を生成するためのディスプレイプロセッサを更に有し、前記ディスプレイプロセッサが、前記出力画像において前記第2のモデル部分から前記第1のモデル部分を区別してレンダリングするための前記メタデータに基づいて異なるレンダリング技術を選択する、請求項1に記載のシステム。
  3. 前記ディスプレイプロセッサが、前記医学的画像又は前記患者の他の医学的画像である下層の医学的画像の上のオーバレイとして前記適合モデルをレンダリングする、請求項2に記載のシステム。
  4. 前記モデルが、前記患者の超音波画像に適合され、前記ディスプレイプロセッサが、前記患者のX線画像の上のオーバレイとして前記適合モデルをレンダリングする、請求項3に記載のシステム。
  5. 前記ディスプレイプロセッサが、前記出力画像において前記医学的画像の前記視野内の解剖学的構造を表す前記適合モデルの前記第1のモデル部分と前記視野外の解剖学的構造を表す前記適合モデルの前記第2のモデル部分とを区別する、請求項2に記載のシステム。
  6. 前記セグメンテーションサブシステムが、前記モデルを前記医学的画像の前記画像データに適用後、前記適合モデルを前記解剖学的構造の前記第2の部分を少なくとも示す、他の視野を有する第2の医学的画像の画像データに適用することにより、前記適合モデルを更に適合させるように更に構成され、前記適合モデルの前記第2のモデル部分が、前記第2の医学的画像における前記解剖学的構造の前記第2の部分に適合されている、請求項1に記載のシステム。
  7. 前記セグメンテーションサブシステムが、第1及び第2のモデル部分にそれぞれ状態を割り当て、前記ディスプレイプロセッサが、前記出力画像において前記第1及び第2のモデル部分をレンダリングする場合に前記割り当てられた状態に基づいて異なるレンダリング技術を選択する
    ように更に、構成される、請求項3に記載のシステム。
  8. 前記第1のモデル部分が、前記医学的画像において部分的にのみ示されている前記解剖学的構造の解剖学的部分を表し、前記セグメンテーションサブシステムが、
    前記医学的画像に前記第1のモデル部分を適合させるための局所変形を推定し、
    前記局所変形の推定において、前記医学的画像に部分的にのみ示される前記解剖学的部分を説明する正則化表現を適用する、
    ように更に構成される、請求項1に記載のシステム。
  9. 前記正則化表現が、前記医学的画像に示される前記解剖学的部分が少ないほど、より強力な正則化を供給する、請求項8に記載のシステム。
  10. 前記正則化表現が、チホノフ正則化を供給する、請求項8に記載のシステム。
  11. モデルベースセグメンテーションのためのシステムであって、前記システムは、
    患者の解剖学的構造の第1の部分を示す一方で前記解剖学的構造の第2の部分を示さない前記患者の医学的画像を表す画像データにアクセスするための画像インタフェースと、
    前記解剖学的構造のタイプをセグメント化するためのモデルを規定するモデルデータを有するデータストレージと、
    前記医学的画像の前記画像データに前記モデルを適用することによって前記医学的画像のモデルベースセグメンテーションを実行するためのセグメンテーションサブシステムと、
    を有し、
    前記モデルベースセグメンテーションは、
    (i)前記患者の前記医学的画像における前記解剖学的構造の前記第1の部分に適合された第1のモデル部分と、
    (ii)前記医学的画像の対応する部分に適合されていない前記解剖学的構造の前記第2の部分を表す第2のモデル部分と、
    を持つ適合モデルを供給し、
    前記セグメンテーションサブシステムは、前記適合モデルの更なる処理において前記第1のモデル部分が前記第2のモデル部分から区別されることを可能にするために、前記第1のモデル部分を識別するメタデータを生成するように構成され、
    前記第1のモデル部分が前記患者の前記医学的画像における前記解剖学的構造の前記第1の部分に適合された後、又は、適合される間、前記セグメンテーションサブシステムが、前記モデルの前記第2のモデル部分に前記第1のモデル部分の形状を外挿することによって、前記モデルを前記解剖学的構造の前記第2の部分に適合させるように更に構成される、システム。
  12. 前記外挿を実行するステップが、前記第1のモデル部分及び前記第2のモデル部分の頂点及び/又はエッジ間に存在する関係に基づいて定義された内部エネルギー項を最小化するステップを有する、請求項11に記載のシステム。
  13. モデルベースセグメンテーションのための方法であって、
    医学的画像の視野内の患者の解剖学的構造の第1の部分を示す一方で前記医学的画像の視野外の前記解剖学的構造の第2の部分を示さない前記患者の医学的画像を表す画像データにアクセスするステップと、
    解剖学的構造のタイプをセグメント化するためのモデルを規定するモデルデータを供給するステップと、
    前記医学的画像の前記画像データに前記モデルを適用することによって前記医学的画像のモデルベースセグメンテーションを実行するステップと、
    を有し、
    前記モデルベースセグメンテーションは、
    (i)前記患者の前記医学的画像における前記解剖学的構造の前記第1の部分に対応する、前記患者に固有の第1のモデル部分と、
    (ii)前記医学的画像の対応する部分に適合されていない前記解剖学的構造の前記第2の部分を表す第2のモデル部分と、
    を持つ適合モデルを供給し、
    前記方法は、
    前記適合モデルの更なる処理において前記第1のモデル部分が前記第2のモデル部分から区別されることを可能にするために、前記第1のモデル部分を識別するメタデータを生成するステップを更に有する、方法。
  14. プロセッサシステムによって実行されるとき、前記プロセッサシステムに請求項13に記載の方法のステップを実行させる命令を記憶する、非一時的コンピュータ読取り可能な媒体。
  15. 前記セグメンテーションサブシステムは、
    前記第1及び第2のモデル部分が前記下層の医学的画像に適応されているか否か、
    前記第1及び第2のモデル部分が前記下層の医学的画像に示される解剖学的構造を表すか否か、
    前記第1及び第2のモデル部分が前記下層の医学的画像以外の、前記患者の他の医学的画像に適合されているか否か
    のうちの少なくとも1つに基づいて前記状態を前記第1及び第2のモデル部分に割り当てるようにさらに構成される、請求項7に記載のシステム。
JP2017523460A 2014-11-28 2015-11-13 解剖学的構造のモデルベースセグメンテーション Active JP6619431B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14195386.9 2014-11-28
EP14195386 2014-11-28
PCT/EP2015/076495 WO2016083147A1 (en) 2014-11-28 2015-11-13 Model-based segmentation of an anatomical structure

Publications (3)

Publication Number Publication Date
JP2018504149A JP2018504149A (ja) 2018-02-15
JP2018504149A5 JP2018504149A5 (ja) 2019-04-11
JP6619431B2 true JP6619431B2 (ja) 2019-12-11

Family

ID=52006858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017523460A Active JP6619431B2 (ja) 2014-11-28 2015-11-13 解剖学的構造のモデルベースセグメンテーション

Country Status (5)

Country Link
US (1) US10402970B2 (ja)
EP (1) EP3224803A1 (ja)
JP (1) JP6619431B2 (ja)
CN (1) CN107004269B (ja)
WO (1) WO2016083147A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10431000B2 (en) * 2017-07-18 2019-10-01 Sony Corporation Robust mesh tracking and fusion by using part-based key frames and priori model
EP3441944A1 (en) * 2017-08-07 2019-02-13 Koninklijke Philips N.V. Volume rendering of volumetric image data with interactive segmentation
CN107802276B (zh) * 2017-09-01 2020-11-27 深圳市菲森科技有限公司 头颅影像的描迹图绘制装置和方法
EP3462461A1 (de) * 2017-09-28 2019-04-03 Siemens Healthcare GmbH Personalisiertes patientenmodell

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7092749B2 (en) 2003-06-11 2006-08-15 Siemens Medical Solutions Usa, Inc. System and method for adapting the behavior of a diagnostic medical ultrasound system based on anatomic features present in ultrasound images
WO2005009206A2 (en) * 2003-06-25 2005-02-03 Besson Guy M Dynamic multi-spectral imaging system
US20090267941A1 (en) * 2005-04-29 2009-10-29 Koninklijke Philips Electronics N. V. Multi-surface modelling
US9129387B2 (en) * 2005-06-21 2015-09-08 Koninklijke Philips N.V. Progressive model-based adaptation
ATE534098T1 (de) * 2005-09-23 2011-12-15 Koninkl Philips Electronics Nv Verfahren und system zur anpassung eines geometrischen modells mit mehreren teil- transformationen
JP5377310B2 (ja) * 2006-08-29 2013-12-25 コーニンクレッカ フィリップス エヌ ヴェ 胸部ct撮像における心運動アーチファクトの削減
US7925068B2 (en) * 2007-02-01 2011-04-12 General Electric Company Method and apparatus for forming a guide image for an ultrasound image scanner
WO2008130906A1 (en) 2007-04-17 2008-10-30 Mikos, Ltd. System and method for using three dimensional infrared imaging to provide psychological profiles of individuals
EP2171686B1 (en) * 2007-07-27 2014-01-01 Koninklijke Philips N.V. Interactive atlas to image registration
US8369585B2 (en) * 2008-10-17 2013-02-05 Siemens Aktiengesellschaft Automatic classification of information in images
CN102460509B (zh) * 2009-06-24 2015-01-07 皇家飞利浦电子股份有限公司 基于图像信息建立结构的轮廓
RU2595757C2 (ru) * 2010-12-02 2016-08-27 Конинклейке Филипс Электроникс Н.В. Устройство совмещения изображений
US8923590B2 (en) * 2011-01-20 2014-12-30 Siemens Aktiengesellschaft Method and system for 3D cardiac motion estimation from single scan of C-arm angiography
WO2012123852A1 (en) 2011-03-17 2012-09-20 Koninklijke Philips Electronics N.V. Modeling of a body volume from projections
BR112014013935A2 (pt) * 2011-12-12 2017-06-13 Koninklijke Philips Nv dispositivo de processamento de imagem, e, meio legível por computador
US10210956B2 (en) * 2012-10-24 2019-02-19 Cathworks Ltd. Diagnostically useful results in real time
RU2654611C2 (ru) 2012-11-20 2018-05-21 Конинклейке Филипс Н.В. Автоматическое позиционирование стандартных плоскостей для оценки сердца плода в режиме реального времени
WO2015082269A1 (en) * 2013-12-04 2015-06-11 Koninklijke Philips N.V. Model-based segmentation of an anatomical structure.
CN105849773B (zh) * 2013-12-17 2020-06-09 皇家飞利浦有限公司 解剖结构的基于模型的分割

Also Published As

Publication number Publication date
EP3224803A1 (en) 2017-10-04
WO2016083147A1 (en) 2016-06-02
US20170337680A1 (en) 2017-11-23
US10402970B2 (en) 2019-09-03
CN107004269A (zh) 2017-08-01
CN107004269B (zh) 2021-06-08
JP2018504149A (ja) 2018-02-15

Similar Documents

Publication Publication Date Title
CN105849773B (zh) 解剖结构的基于模型的分割
US10282846B2 (en) Model-based segmentation of an anatomical structure
JP2017511188A5 (ja)
JP4991697B2 (ja) データセットにおいて構造体を分割する方法、システム及びコンピュータプログラム
US10002420B2 (en) Model-based segmentation of an anatomical structure
JP7467348B2 (ja) 医用画像データの表示
JP6619431B2 (ja) 解剖学的構造のモデルベースセグメンテーション
CN108876794A (zh) 体积图像数据中的动脉瘤与载瘤血管的隔离
CN110546685B (zh) 图像分割和分割预测
US20170357406A1 (en) Medical image display system and method for providing user interface enabling three-dimensional mesh to be edited on three-dimensional volume
US20180064409A1 (en) Simultaneously displaying medical images
Zeng et al. Liver segmentation in magnetic resonance imaging via mean shape fitting with fully convolutional neural networks
US9558568B2 (en) Visualization method for a human skeleton from a medical scan
EP3570249A1 (en) Preprocessing medical image data for machine learning
US20190287253A1 (en) A method and apparatus for segmenting two dimensional images of an anatomical structure
Wan et al. Variational reconstruction of left cardiac structure from CMR images
Müller 3-D Imaging of the Heart Chambers with C-arm CT
Beichel et al. Segmentation of Diseased Livers: A 3D Refinement Approach

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190228

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190228

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191114

R150 Certificate of patent or registration of utility model

Ref document number: 6619431

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250