JP5957629B1 - 診療計画を導くための画像の構造形状を自動的に表示する方法及び装置 - Google Patents

診療計画を導くための画像の構造形状を自動的に表示する方法及び装置 Download PDF

Info

Publication number
JP5957629B1
JP5957629B1 JP2016511160A JP2016511160A JP5957629B1 JP 5957629 B1 JP5957629 B1 JP 5957629B1 JP 2016511160 A JP2016511160 A JP 2016511160A JP 2016511160 A JP2016511160 A JP 2016511160A JP 5957629 B1 JP5957629 B1 JP 5957629B1
Authority
JP
Japan
Prior art keywords
landmark
image
shape
interest
detector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016511160A
Other languages
English (en)
Other versions
JP2016522708A (ja
Inventor
エン シュウ
エン シュウ
シャオ ハン
シャオ ハン
リンドン エス ヒバード
リンドン エス ヒバード
バージル エム ウィルカット
バージル エム ウィルカット
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Impac Medical Systems Inc
Original Assignee
Impac Medical Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Impac Medical Systems Inc filed Critical Impac Medical Systems Inc
Application granted granted Critical
Publication of JP5957629B1 publication Critical patent/JP5957629B1/ja
Publication of JP2016522708A publication Critical patent/JP2016522708A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20128—Atlas-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

訓練されたランドマーク検出器と形状改善ツールを用いて画像データ上に構造の自動表示を実行する技術が開示されている。ランドマーク検出器を訓練し、画像データポイントの複数のウインドウ上に強度変化を表示する画像特徴に基づき画像データ内のランドマークを検出することができる。ランドマーク検出器を訓練するために、機械学習アルゴリズムを用いることができる。訓練されたランドマーク検出器により検出された画像データ内のランドマークを用いて、形状改善を繰り返して初期設定を行い、それにより、例えば前立腺の注目構造についての改善された形状評価を算出することができる。

Description

本発明は、診療計画を導くための画像の構造形状を自動的に表示する方法及び装置に関する。
［０００１］
注目構造の形状を画像内に自動的に詳細に表示する方法の効率と正確さを改善するための技術が当技術分野で必要とされている。例えば、患者の画像内に前立腺などの構造の形状を正確に詳細に表示することが大いに必要とされている。前立腺の形状を正確に詳細に表示することにより、例えば放射線療法などの診療を行うための計画をずっと効果的に提供することができる。
［０００２］
本技術分野におけるこの必要性を満足しようと努力して、本願発明者は、画像データ内の注目構造を自動的に表示する装置であって、前記画像データは、注目領域の被写体画像を有し、前記注目領域は、前記注目構造を含み、前記画像は、複数のデータポイントを有し、前記データポイントは、複数の強度値を有し、前記装置は、（１）複数の前記データポイントについての複数の特徴であって、前記データポイントの複数のウインドウ上に強度変化を示す特徴を算出し、（２）前記算出された特徴を訓練されたランドマーク検出器に適用することに基づいて前記画像内の複数のランドマークについての複数の位置を検出し、（３）前記検出されたランドマーク位置に基づいて前記注目構造についての形状評価を生成し、（４）前記形状評価を形状改善ツールによって改善し、もって前記注目構造についての改善された形状評価を算出するように構成されたプロセッサーを有する装置を開示する。典型的な実施形態の装置により、形状改善ツールが前記画像のより狭い領域を用いて初期の形状近似を改善するために用いられながら、ランドマーク検出が、前記画像の広い領域に基づく構造形状の有用な初期の概略な近似を提供することができる。したがって、典型的な実施形態では、前記画像の局所的及び全体的な外観が注目構造の形状を改善するのに用いることができる。
［０００３］
他の観点により、本願発明者は、画像データ内の注目構造を自動的に表示する方法であって、前記画像データは、注目領域の被写体画像を有し、前記注目領域は、前記注目構造を含み、前記画像は、複数のデータポイントを有し、前記データポイントは、複数の強度値を有し、前記方法は、（１）複数の前記データポイントについての複数の特徴であって、前記データポイントの複数のウインドウ上に強度変化を示す特徴を算出し、（２）前記算出された特徴を訓練されたランドマーク検出器に適用することに基づいて前記画像内の複数のランドマークについての複数の位置を検出し、（３）前記検出されたランドマーク位置に基づいて前記注目構造についての形状評価を生成し、（４）前記形状評価を形状改善ツールによって改善し、もって前記注目構造についての改善された形状評価を算出するように構成されたプロセッサーを有する方法であり、各ステップがプロセッサーにより実行される方法を開示する。
［０００４］
更に、本願発明者は、画像データ内の注目構造を自動的に表示するコンピュータプログラム製品であって、前記画像データは、注目領域の被写体画像を有し、前記注目領域は、前記注目構造を含み、前記画像は、複数のデータポイントを有し、前記データポイントは、複数の強度値を有し、非一時的なコンピュータ読取り可能な記録媒体に設けられプロセッサーにより実行可能な複数の命令を有する前記コンピュータプログラム製品は、（１）複数の前記データポイントについての複数の特徴であって、前記データポイントの複数のウインドウ上に強度変化を示す特徴を算出し、（２）前記算出された特徴を訓練されたランドマーク検出器に適用することに基づいて前記画像内の複数のランドマークについての複数の位置を検出し、（３）前記検出されたランドマーク位置に基づいて前記注目構造についての形状評価を生成し、（４）前記形状評価を形状改善ツールによって改善し、もって前記注目構造についての改善された形状評価を算出するコンピュータプログラム製品を開示する。
［０００５］
更に他の観点により、本願発明者は、複数のアトラス画像を用いてランドマーク検出器を訓練する装置であって、前記アトラス画像は、注目構造に関するランドマークについての位置情報を含み、前記装置は、（１）前記アトラス画像から複数の陽性のサンプル及び複数の陰性のサンプルを収集し、（２）前記収集した陽性及び陰性のサンプルについての複数のHaar-like特徴を算出し、（３）前記算出したHaar-like特徴及び前記算出したHaar-like特徴に関連する位置データを機械学習アルゴリズムに適用し、ランドマーク検出器を訓練し、前記ランドマークを検出するように構成されたプロセッサーを有する装置を開示する。
［０００６］
更になお他の観点により、本願発明者は、（１）画像内の前立腺に対する第１のランドマーク位置の選択に対応する入力を受信し、（２）前記加増内の前記前立腺の輪郭を表すデータにアクセスし、（３）前記第１のランドマーク位置に適用された空間距離基準により前記輪郭に沿って前記前立腺に対する複数の追加のランドマーク位置を自動的に選択し、（４）前記画像に関連させて前記第１のランドマーク位置と前記追加のランドマーク位置を記憶するように構成されたプロセッサーを有する装置を開示する。これに対応する方法及びコンピュータプログラム製品も開示されている。
［０００７］
更になお、本願発明者は、（１）画像内の構造に関するランドマークについての複数の候補位置を、確率分布図に基づく単一のランドマーク位置に分解し、前記確率分布図は、前記ランドマークについてのガウス分布モデルに従って定義され、（２）前記分解操作を複数の異なるランドマークについて繰り返し、（３）前記単一のランドマーク位置に基づく前記構造についての形状評価の初期設定を行い、（４）前記形状評価を繰り返し改善するように構成されているプロセッサーを有する装置を開示する。
［００１０］
本願発明の上記及び他の特徴や利点は、後述する明細書及び図面を参照して当業者にとって明らかである。
図１は、訓練されたランドマーク検出器及び形状改善ツールを用いて被写体画像を処理する典型的な実施形態を示す。 図２は、被写体画像内の構造形状の自動表示と協働してランドマーク検出器及び境界検出器を訓練する典型的な処理フローを示す。 図３は、アトラス画像データを用いてランドマーク検出器を訓練する典型的な実施形態を示す。 図４Ａは、機械学習アルゴリズムを用いてランドマーク検出器を訓練する典型的な処理フローを示す。 図４Ｂは、典型的な実施形態においてHaar-like特徴を計算する実施例を示す。 図４Ｃは、典型的な実施形態においてHaar-like特徴を計算する実施例を示す。 図５は、注目構造における複数のランドマークを表示する典型的な画像を示す。 図６Ａは、訓練されたランドマーク検出器を新しい被写体画像に適用してランドマークの位置を検出する典型的な処理フローを示す。 図６Ｂは、検出段階における画像のスライドウインドウについてHaar-like特徴を計算する実施例を示す。 図６Ｃは、訓練されたランドマーク検出器を新しい被写体画像に適用してランドマークの位置を検出する典型的な処理フローを示す。 図７は、ランドマーク検出結果を表示する典型的な画像を示す。 図８は、注目構造における境界情報を有する典型的なアトラス画像を示す。 図９は、訓練された境界検出器と形状辞書を活用する典型的な実施形態において形状改善を行う典型的な処理フローを示す。 図１０は、典型的な実施形態における注目構造の形状改善を示す。 図１１は、治療計画に関連して用いられる注目構造の３次元(３Ｄ)ボリュームを生成する改善された輪郭評価の典型的なセットを示す。 図１２は、形状辞書を更新する典型的な実施形態を示す。 図１３は、変形可能な形状モデルを活用する典型的な実施形態において形状改善を行う典型的な処理フローを示す。
［００２４］
ここでは、機械学習アルゴリズムを用いて自動化されたランドマーク検出器を訓練することと、訓練されたランドマーク検出器及び形状改善ツールを用いて画像データ内の注目構造の自動的な輪郭矯正を行うことの両者に関する種々の実施形態について述べる。
［００２５］
ここに記述される技術を用いて処理される画像は、当然のことながらいくつかの形態をとることができる。種々の典型的な実施形態において、画像はＣＴ画像などの医用画像であり得る。しかし、当然のことながら異なるタイプの画像を採用することができる。例えば、磁気共鳴（ＭＲ）画像や超音波画像などの画像タイプも、ここに記述される技術を用いて処理することができる。画像は、複数の画像データポイントを有し、その位置は座標系を通して表すことができる。
［００２６］
図１は、画像データ内の構造形状を自動的に詳細に表示する典型的な実施形態を示す。図１に示すように、プロセッサー１００は処理論理回路１０４を実装するように構成されており、それにより、１又はそれ以上の訓練されたランドマーク検出器１０８及び形状改善ツール１１０の助けを借りて新しい被写体画像１０６を処理し、注目構造についての１又はそれ以上の改善された輪郭１１２を生成することができる。改善された輪郭データ１１２は、いくつかの形状をとることができる。例えば、輪郭データは、注目構造の境界線上におかれる複数の画像データポイントを有し（例えば６０データポイントが輪郭上に均一に分布し）、各々のポイントが画像内の座標によって表示される。また、被写体画像１０６は、当然のことながら２次元(２Ｄ)画像か３次元(３Ｄ)画像のいずれでもよい。
［００２７］
プロセッサー１００は、当然のことながらここに記述される自動表示機能を実行する十分な計算能力をもつプロセッサーであればよい。プロセッサー１００は、ネットワークを介して任意に配信される複数のプロセッサーを有するものでもよい。処理論理回路１０４に実行させるプログラミング命令は、プロセッサー１００によりアクセスされ実行される非一時的なコンピュータ読取可能な記憶媒体（例えば、メモリ１０２)に格納することができる。メモリ１０２は、当然のことながら複数のメモリ装置を有するものでもよく、任意に複数に配信されるメモリ装置及び／又は異なるタイプのメモリ装置であってもよい。
［００２８］
訓練されたランドマーク検出器１０８は、画像１０６のデータポイントを処理し画像１０６内の特定のランドマークの存在と位置を自動的に検出するように構成されている。典型的な実施形態において、各々の訓練されたランドマーク検出器１０８は異なるランドマークを検出するように構成されているが、しかしそのような場合に限定する必要はない。ランドマーク検出器１０８は、いくつかの形態、例えば一組のマシン実行可能な規則をとることができる。更にまた、実施者の必要に応じて、訓練されたランドマーク検出器１０８を、画像の複数のポイントを並行して処理するように構成することができるが、しかしそのような場合に限定する必要はない。以下に記述するように、ランドマークは、画像データポイントの種々の特徴の分析を通して検出することができる。異なるランドマークは、異なる構造及び他の要因のために用いられることが期待される。検出されたランドマークは、以下に記述するように、構造についての初期形状評価を行うために用いることができる。
［００２９］
プロセッサー１００は、形状改善ツール１１０及び訓練されたランドマーク検出器１０８の出力を活用して、画像１０６内の注目構造の境界を自動的に評価する。採用できる形状改善ツール１１０の例として、いくつかの形態をとることができる境界検出器があり、一組のマシン実行可能な規則を有する訓練された境界検出器が含まれる。採用できる形状改善ツールのもう一つの例として、形状変形アルゴリズムがある。更にまた、実施者の必要に応じて、形状改善ツール１１０を、画像の複数のポイントを並行して処理するように構成することができるが、しかしそのような場合に限定する必要はない。形状改善ツール１１０は、注目構造の境界を評価しその評価された境界を調節する操作を繰り返し行い、改善された輪郭データ１１２を生成することができる。
［００３０］
図２は、被写体画像１０６が改善された輪郭１１２を生成するためにどのように処理されるかについて詳述する典型的な処理フローを示す。図２の（垂直破線に対する）左半分は、一般に処理論理回路１０４によって実行される操作に対応する処理フローを示す。図２の（垂直破線に対する）右半分は、機械学習アルゴリズムを用いるランドマーク検出器１０８及び境界検出器１１０を訓練するために実行される処理フローを示す。典型的な実施形態において、図２の左半分がオンラインで実行される一方、図２の右半分はオフラインで実行される。即ち、種々の検出器を訓練する仕事は、新しい被写体画像１０６が生成されたり処理されたりするより前に実行される。このように、訓練されたランドマーク検出器１０８及び訓練された境界検出器は、新しい被写体画像１０６を処理する必要がある時までに既に画像データを処理する準備がされている。その結果、処理論理回路１０４は、改善された輪郭評価を効率的な方法で生成することができ、新しい被写体画像を撮影した後直ちに改善された輪郭データを用いたい場合に特に有益である。しかし、当然のことながら、必要であれば、実施者は新しい被写体画像の処理と合致させて検出器を訓練する仕事を実行することもあり得る。
［００３１］
オフライン操作において、例えばアトラス画像２００のような訓練データは、機械学習アルゴリズムを用いて処理され、訓練されたランドマーク検出器及び境界検出器を生み出すことができる。アトラス画像２００は、訓練処理に対する注目情報について参考データとなる注釈を含むことが望ましい。例えば、ランドマーク検出器を訓練するために用いられるアトラス画像２００は、ランドマークがそれらのアトラス画像の何処に位置しているかの識別を含むことができる。同様に、境界検出器を訓練するために用いられるアトラス画像２００は、注目構造の境界が何処に位置しているかの識別を含むことができる。場合によっては、アトラス画像は、ランドマーク情報及び境界情報の両方を含み、そのようなアトラス画像がランドマーク検出器及び境界検出器の両方を訓練するのに用いられることもあり得るが、しかしそのような場合に限定する必要はない。アトラス画像に含まれる注釈は、訓練された専門職員の手動技術によって或いは自動化した技術によって提供されることができるが、自動化した結果の正確さの確認の後に提供されることが望ましい。そのようなものとして、典型的な実施形態において、訓練データのコーパスは、ランドマーク及び境界が従前の画像に存在することの信頼できる識別として役に立つことができる。典型的な実施形態において、アトラス画像２００は、新しい画像１０６の被写体である人物以外の人々の画像であり得るが、しかしそのような場合に限定する必要はない。場合によっては、アトラス画像２００は、被写体である彼自身／彼女自身の従前の画像であってもよい。
［００３２］
ステップ２０２において、アトラス画像は、ランドマーク及び境界を評価する際の参考となる共通フレームを生み出すように整列する。この画像の整列/登録の操作のために、いくつかの技術が用いられる。例えば、厳正な変換技術が、ステップ２０２において用いられる。そのような厳正な変換は、アトラス画像のボリューム・データのスライス上でペアで実行される。適切で厳正な変換技術の一例として類似変換があるが、例えば相互情報に基づく登録やアフィン変換などの他の技術を採用することもできる。このことについては、論文「Zitova et al., ”Image registration methods: a survey”, Image and Vision Computing, ２１, p. 977-１000 (２003)」に記載されている。なお、この論文の全ての開示内容はこの引用により本明細書に含まれる。スケール、回転、x方向移動、及びy方向移動の４つの自由度がある。
［００３３］
ステップ２０４において、整列したアトラス画像は、機械学習アルゴリズムを用いてランドマーク検出器１０８を訓練する処理がなされる。図２の実施例に示すように、注目ランドマークの各々について異なる訓練操作を実行することができる。この訓練がどのように実行されるかについては、図３及び図４に詳細に述べる。図５は、異なる注目ランドマーク５０２の位置を表示する前立腺の領域の典型的な画像５００を示す。異なる検出器１０８は、各々のランドマーク５０２を探し出すように訓練することができる。
［００３４］
この実施例において、異なるランドマーク５０２は、前立腺の領域の５つの解剖学的なポイントである。これらのランドマーク・ポイントは、隣接する非前立腺の領域と比較して良好なコントラストをもつ予期された前立腺の解剖学的な構造に十分に近接するように選択される。典型的な実施形態において、各アトラス画像スライスに、前立腺の注釈付きのグラウンドトルース（ground-truth）輪郭がある。そのようなグラウンドトルース輪郭は、（輪郭上に）６０の均一に分散されたポイントによって表示され、各々のポイントはアトラス画像スライス内のｘ−ｙ座標によって表示される。
［００３５］
最上部中央のランドマーク５０２１は、専門職員又は他の適切な熟練者によって輪郭ポイントの１つから手動で選択することができる。典型的な実施形態において、最上部中央のランドマーク５０２１は、グラウンドトルース輪郭上であって、左右の恥骨に対して略等距離となる画像の中央部に位置する。即ち、訓練された人は、（図５に示す透視画像を基準にして）右側の恥骨の最左翼部と左側の恥骨の最右翼部とから略等距離にあるグラウンドトルース輪郭に沿った位置を選択し、最上部中央のランドマーク５０２１としての機能を果たさせることができる。残りの４つのランドマーク・ポイントは、大まかに距離に対応する選択基準に従って自動的に選択することができる。
例えば、残りの４つのランドマーク・ポイントは、ランドマーク・ポイントの間にギャップが形成されるように輪郭ポイントから選択してもよい。中央のランドマーク・ポイント５０２１から時計回りに１０輪郭ポイントだけ移動し（そこをランドマーク・ポイント５０２２とし）、更に時計回りに１０輪郭ポイントだけ移動し（そこをランドマーク・ポイント５０２３とし）、更に時計回りに２０輪郭ポイントだけ移動し（そこをランドマーク・ポイント５０２４とし）、更に時計回りに１０輪郭ポイントだけ移動する（そこをランドマーク・ポイント５０２５とする）と、ランドマーク・ポイント５０２５とランドマーク・ポイント５０２１との間に１０輪郭ポイントのギャップが残るようにすることができる。当然のことながら、実施者の要求に応じて、ランドマーク・ポイント間には異なる間隔基準が採用され得る。
［００３６］
図３は、処理論理回路３０４を実行するために互いに協働するように構成されるプロセッサー３００及びメモリ３０２を示す。ここでの論理処理は、図２のステップ２０２、２０４において実行される。プロセッサー３００及びメモリ３０２は、プロセッサー１００及びメモリ１０２と任意に同じであり得るが、しかしそのような場合に限定する必要はない。処理論理回路３０４は、プロセッサー３００によるアクセス及び実行のために非一時的なコンピュータ読取り可能な記憶媒体(例えば、記憶３０２)内に常駐する。図４Ａは、処理論理回路３０４がステップ２０２、２０４を実行する典型的な処理フローを示す。
［００３７］
図４Ａに示す実施例において、異なるアトラス２００（例えば２００１、２００２・・・）は、３Ｄ画像ボリュームを有している。ステップ４００において、プロセッサーは、３Ｄボリューム・データから２Ｄスライスを抽出する。ステップ４０２において、共通のアトラスから抜き出された２Ｄスライスは、望ましくはペアワイズ法によって整列する。前述のように、この整列処理は、厳正な変換技術又は他の適切な画像登録技術を用いることができる。整列したスライスは、注目構造を含む注目領域を示す。例えば、注目構造が前立腺である実施形態において、画像スライスが、前立腺の全領域、恥骨結合の全部又は一部、及び直腸の全部又は一部を覆うことが期待される。
［００３８］
ステップ４０４において、プロセッサーは、整列した２Ｄスライスから複数の訓練サンプルを収集する。陽性の訓練サンプル及び陰性の訓練サンプルの両方を収集することができる。例えば、あるランドマーク・ポイントそれ自体及びそのランドマーク・ポイントに空間的に近いとみなされる複数のランドマーク・ポイントを２Ｄスライスから収集し、その２Ｄスライスの陽性サンプルのセットと定義することができる。一例として、あるランドマーク・ポイントから１ｍｍの距離にある領域は、陽性サンプルが選択される領域であるとされる。陽性サンプルは、この領域内でランダムに選択される。陰性サンプルに関しては、プロセッサーが、注目ランドマークに近くないとみなされる２Ｄスライスから複数のポイントを選択する。ランドマーク・ポイントに対する大きな距離しきい値は、陰性領域を定義するのに用いることができる。プロセッサーは、この陰性領域から陰性サンプルをランダムに選択するように構成されてもよい。更にプロセッサーは、このような選択を行うことにより、陽性サンプルと陰性サンプルとの比率が約１対１．５となるようにしてもよい。
［００３９］
ステップ４０６において、プロセッサーは、画像データポイントのウインドウ上に強度変化を表示する収集された訓練サンプルについての特徴を算出する。例えば、その特徴はHaar-like特徴であってもよい。Haar-like特徴は、各々のサンプル位置に矩形領域を表示するのに用いることができる。図４Ｂに、画像４５０の矩形領域４５２（又はウインドウ）が選択される実施例を示す。Haar-like特徴は、暗い「＋」領域４５４内の画素強度の総和と白い「−」領域４５６内の画素強度の総和との差として算出される。図４Ｃに示すように、「＋」領域及び「−」領域に対応してウインドウ上に生じるいくつかのパターンを採用することができる。典型的な実施形態において、図４Ｃの左下に示されるウインドウ上のパターンを採用することができる。そのような実施形態では特に、ステップ４０６において、検出ウインドウ内の被写体サンプル・ポイントを中心とする４つの隣接した矩形領域を考慮することができる。各々の矩形領域内の画素強度はそれぞれ合算され、これら合算された総計の差が計算される。各々の総計の差は、そのサンプルの特徴ベクトルの値として記録される。抽出された特徴ベクトルのサイズは、検出ウインドウのサイズによって変化する。典型的な実施形態においては、ウィンドウのサイズは２４ｍｍ×２４ｍｍであるが、当然のことながら異なるウィンドウのサイズが採用されることもあり得る。Haar-like特徴を算出する方法については、論文「Viola, et al., “Rapid object detecting using a boosted cascade of simple f features” Proc. of IEEE Conf. on Computer Vision and Pattern Recognition p. 5１１- 5１8(２00１)」に記載されいる。なお、この論文の全ての開示内容はこの引用により本明細書に含まれる。
［００４０］
ステップ４０８において、プロセッサーは、収集されたサンプル及びそれらの算出された特徴を機械学習アルゴリズムに適用してランドマーク検出器を訓練し、注目ランドマークとして適正なポイントと適正でないポイントとを識別する。Haar-like特徴は弱い学習者又は分類器であるため、比較的多数のHaar-like特徴が、対象を正確に記述するために好んで用いられる。このため、Haar-like特徴は、一連の単純な分類器によって組織され学習されて、強い学習者となっていく。典型的な実施形態において、この目的のために用いられる機械学習アルゴリズムは、LogitBoost機械学習アルゴリズムである。
［００４１］
LogitBoostアルゴリズムは、弱い分類器から学習するのに用いることがでる。特に、弱い分類器は、連続して訓練される。訓練の重み分布は、前の分類器の正確な分類に従って繰り返される中で更新される。誤分類されたサンプルの重みは、次の繰り返しにより増大するが、正しく分類されたサンプルの重みは、減少する。次の分類器は、そのように再加重された分布で訓練される。各々の分類器の重みの変化量は、分類器の分類エラーに比例する。LogitBoostアルゴリズムを用いることにより、適応可能なニュートン・ステップ（Newton steps）は、適応可能なシンメトリック・ロジスティック・モデル（symmetric logistic model）に適合することができる。このアプローチは、不完全に分類されたサンプルに余り重点を置かないという点で有益であり、その後、これらのサンプルは、計算から除外されることになる。ステップ４０８は、このようにして訓練されたランドマーク検出器１０８を生み出す操作を行い、注目ランドマークiを適応性があり安定性があるものにする。訓練されたランドマーク検出器１０８は、注目ランドマークiに対して一群の訓練された単純な分類器となることができ、各々の分類器は、その重要性を定義する訓練されたしきい値及び訓練された重み値を有している。以下に記述するように、これらのパラメータは、検出段階において活用することができる。
［００４２］
LogitBoost機械学習アルゴリズムは、論文「Friedman et al., “Additive logistic regression: a statistical view of boosting” Annals of Statistics, 28(2), p. 337-407 (2000)」に記載されている。なお、この論文の全ての開示内容はこの引用により本明細書に含まれる。しかし、当然のことながら、ランドマーク検出器１０８を訓練するために他の機械学習アルゴリズムを採用することも可能であり、例えばAda Boost、Float Boost、Any Boostの機械学習アルゴリズムが採用可能である。
［００４３］
図４Ａの処理フローは、当然のことながら各々の注目ランドマークに対して別々に実行することができる。異なるプロセッサー及びメモリは、任意に異なるランドマーク検出器１０８を訓練するように構成することができる。
［００４４］
図２に戻ると、ステップ２０６において、整列したアトラス画像が、機械学習アルゴリズムを用いて境界検出器を訓練するように処理される。この操作は、プロセッサー及びメモリにより、図３に記述したものと同様の方法によって実行することができる。典型的な実施形態において、ステップ２０６における機械学習アルゴリズムは、ランダムフォレスト（ＲＦ）機械学習アルゴリズムであってもよい（論文「Breiman, Leo, “Random Forests” Machine Learning, 45 (1): 5-32, 2001」を参照のこと。なお、この論文の全ての開示内容はこの引用により本明細書に含まれる）。図８は、注目構造の境界情報を表示するアトラス画像８００の実施例を示す(なお、この境界は、各画像８００内の白い領域と黒い領域との間の移行によって定義される)。
［００４５］
この例におけるＲＦアルゴリズムは、決定木（decision tree）の集合である訓練された境界検出器を生み出すために操作される。各々の決定木は、木のような構造に構成される一組の決定ルールである。決定木の各ノードは決定ルールを適用するが、それはしばしばテスト機能又は分割機能と呼ばれている。各テスト機能は、特徴又は特徴値を入力し、(イエス/ノー)のバイナリ出力を生じる。イエス/ノーの応答に基づいて、入力データは、カレント・ノード（current node）の左側か右側のいずれかのチャイルド・ノード（child-node）に送られる。チャイルド・ノードは、新たな特徴値に基づくもう一つのテストを行う。これは、いわゆる「リーフ・ノード（leaf-node」」に達するまで繰り返される。「リーフ・ノード」は、「チルドレン（children）」ノードのない木ノード（tree node）である。各々のリーフ・ノードにはそれと関連した分類ラベルがあるが、しかし、時々、特定の分類(例えば、境界ステータス)に属している可能性を示す確率値でもあり得る。ルールは、例えば次のようなバイナリ出力を伴うテスト機能として表される。
Figure 0005957629
この式において、viは、i番目の特徴値を意味し、ai及びbiは、２つのしきい値である。このように、境界検出器は、ＲＦアルゴリズムを用いて訓練され、決定木のアンサンブルという形態をとることができ、各々の木は、木又はフローチャートのような構造に組織された一組の決定ルールであり、各々の内部（ノン・リーフ）ノードは、特徴についてのテスト(即ち、決定ルール)を意味し、各々のブランチ（branch）は、テストの結果を表し、各々のリーフ(又は端末)ノードは、分類ラベル(例えば、境界ステータス)を保持する。
［００４６］
ステップ２０６において、複数の木は、必要に応じ並行して形作られることができ、その後、各々の木は、他と独立して訓練される。訓練サンプルは、ＲＦアルゴリズムを用いて木を「傾斜させる」、即ち各々の内部の木ノードにどの決定ルールを用いるかを決定する。ＲＦアルゴリズムにとって、各々の木は、訓練データのランダムなサブセットを用いて形作られ、異なる木が高度に無相関になるようにする。訓練サンプルが収集され、それらの特徴が木のために算出されると、その木は、一度に１つのノードを加えることによって再帰的に形作られる。各々のノードにおいて、ＲＦアルゴリズムは、カレント・ノードに到達する訓練データを最も効率的に分割する最良の決定ルールを見出すことを目標とする。バイナリ分類の場合、「最良の分割」とは、ノードの各々のブランチが同じクラスからできるだけ多くのサンプルを含むことを意味する。このように、ＲＦアルゴリズムによる訓練又は学習の過程は、カレント・ノードにおいてどの特徴を用いるか、また、訓練データを最も良好に分割するのに如何なるしきい値を適用するかを決定することを目標とする。ＲＦアルゴリズムにより、全ての特徴のごく僅かのランダムなサブセットが、各々のノードで考慮され、その「最良の」特徴が、全ての特徴を用いる代わりにこのランダムなサブセットの中から選択される。このランダム化は、複数の木をできるだけ独立したものすることを再び目標とする。新たに追加された各々のノードは、入力される（訓練）データを２つのブランチ(２つのサブセット)に分割し、各々のサブセットは、後続のチャイルド・ノードで再びテストされる。このようにして、各々の(非リーフ)ノードは、２つのチャイルド・ノードを有することができる。木は、全てが同じクラスに属する各々のチャイルド・ノードに訓練データが到着するまで成長を継続する。チャイルド・ノードは、その木のリーフ・ノードになり、そのチャイルド・ノードに到達した訓練データのクラスのラベルは、そのリーフ・ノードのラベルになる。
［００４７］
一般公開されているいくつかのＲＦアルゴリズム実装があり、例えばＷｅｋａ機械学習ソフトウェア・パッケージはオンラインで利用でき、そこにはＲＦアルゴリズムのソフトウェア・パッケージが含まれる。これらのソフトウェア・パッケージも、訓練サンプルを機械学習アルゴリズムに適用することができる既知のインターフェースを含んでいる。更に、そのようなソフトウェア・パッケージによって生み出される訓練された境界検出器は、例えばマシン実行ルールのような決定木を表すテキスト・ファイルのような形をとることができる。
［００４８］
ＲＦアルゴリズムは、このように必要に応じて複数のクラスを必然的に取り扱い、即ち１台の検出器にいくつかの構造（及び背景）を分類させることができる。
ＲＦベースの検出器の出力は、入力データがどのクラスに属するかという確率評価であってもよく、そのことは、他の学習アルゴリズムが生じるかという困難な決定よりも好ましい。このことに加えて、ＲＦアルゴリズムは、検出器の訓練と検出器アプリケーションの両方において速く、入力データの非常に大きな容量に対処することができる。
［００４９］
しかし、当然のことながら、他の機械学習アルゴリズムも、実施者の必要に応じて、ステップ２０６において採用することがあり得る。ステップ２０６において採用できる他の学習アルゴリズムの例として、LogitBoostアルゴリズムだけでなく論文「Witten, I.H., Frank, E., Hall, M. A.: Data Mining: Practical machine learning tools and techniques」に記載されているアルゴリズムがある。論文「Third Edition, Morgan Kaufmann Publishers (2011)」の全ての開示内容は、この引用により本明細書に含まれ、例えば、Support Vector Machine (SVM)やAdaBoost機械学習アルゴリズム等も含まれる。
［００５０］
一旦ランドマーク検出器１０８及び境界検出器が訓練されると、システムは、新しい被写体画像１０６を処理する準備が整う。図２のオンライン部分に戻ると、ステップ２０８において、新しい被写体画像が生成される。ステップ２０８においては、適切な画像生成技術及び装置を用いることができる。更にまた、生成された画像１０６は、当然のことながら２Ｄ画像又は３Ｄ画像であり得る。３Ｄ画像ボリュームが生成されるならば、ステップ２０８は、３Ｄ画像ボリュームの２Ｄスライスを生成するだけでなく、(前に述べたように、画像登録技術を用いる) ２Ｄスライスの整列処理を含むことができる。
［００５１］
ステップ２１０において、プロセッサーは、訓練されたランドマーク検出器１０８を用いて新しい被写体画像１０６を処理し、画像データ内の注目ランドマークの位置を検出する。その際に、ステップ２１０は、被写体画像データポイントのウインドウ上の強度変化を示す特徴を算出し、これら算出した特徴を訓練されたランドマーク検出器に適用することができる。図６Ａ、図６Ｃは、ステップ２１０における典型的な処理フローを示す。図６Ａの処理フローは、当然のことながらシステムに採用された各々のランドマーク検出器１０８において繰り返されることができる。このように、５台のランドマーク検出器が５つの異なるランドマークを検出するのに用いられるならば、図６Ａ(又は、少なくとも図６Ａのステップ６０２−６０８)の処理フローは、各々の注目ランドマークごとに繰り返すことができる。同様に、図６Ｃの処理フローも各々の注目ランドマークごとに繰り返すことができる。
［００５２］
ステップ６００において、プロセッサーは、新しい被写体画像１０６の２Ｄスライスを選択して処理する。ステップ６０２において、プロセッサーは、選択された画像スライスのポイントを注目ランドマークについての訓練されたランドマーク検出器１０８に適用する。このステップは、選択された画像スライスの全てのポイントについて、又は、目標とされた画像ポイントのサブセットについて、操作することができる。例えば、注目ランドマークが画像スライスの限定可能な部分(例えば、画像の左半分)に存在することが知られているならば、ステップ６０２は、処理のために望ましい画像部分内のポイントだけを選択するように設定することができる。ステップ６０２において、処理された画像ポイントは、注目ランドマークの候補としての適合性に関してスコアが記録される。ポイントのスコアを記録するために、ランドマーク検出器１０８の訓練について上述した特徴は、画像スライス・ポイントについて算出される（例えば、Haar-like特徴）。画像スライス・ポイント及び算出された特徴は、注目ランドマークについてのランドマーク検出器１０８に適用され、注目ランドマークの候補としての適合性を示す各ポイントのスコアを算出する。
［００５３］
ステップ６０４において、算出されたポイントのスコアは、定義済みのしきい値と比較される。このしきい値は、実施者の必要に基づいて設定変更が可能である。しきい値を超えるスコアを有するこれらのポイントは、ランドマーク・ポイントとして分類することができる（ステップ６０６）。
［００５４］
更に詳しく言えば、ステップ６０２-６０４において、定義済みの目標サイズのウインドウが画像スライスの上を移動し、画像のサブセクションごとに、Haar-like特徴が算出される。図６Ｂは、このスライドするウインドウの概念を示す。Haar-like特徴のウインドウのサイズに対応してスライドするウインドウは、画像６５０の全ての望ましい位置の上をスライドしていく。図６Ｂは、６５２、６５４，６５６に対応して３つの異なる位置のスライドするウインドウの例を示す。Haar-like特徴は、訓練段階における場合と同様の方法で算出することができる。画像スライスからそれぞれ算出されたHaar-like特徴について、（被写体ランドマークiについての）訓練されたランドマーク検出器１０８iの各々の分類器は、その訓練されたしきい値に従って二者択一の決定を行う。このようにして、訓練されたランドマーク検出器１０８が１０個一組の分類器を含んでいるならば、各々の分類器はその関連するしきい値に基づく二者択一の決定に達する。特定のスライドするウインドウの位置についてのHaar-like特徴に関するランドマーク検出器の最終決定は、（各々の分類器の関連した重みを用いた）個々の分類器からの決定の加重和である。この加重和が定義済みの設定変更可能なしきい値をパスするならば、そのスライドするウインドウの位置の中心は、検出されたランドマーク・ポイントとしてマークされる。
［００５５］
ある場合には、スライドするウインドウの複数の位置について算出されたHaar-like特徴が、複数のポイントを所定のランドマークについてのランドマーク・ポイントとして検出されることもある。また、他の場合には、検出されたランドマーク・ポイントが正常な/期待された範囲から逸脱することもある（異常ポイント）。そのようなシナリオにおけるランドマーク位置の解消を助けるために、被写体ランドマークについて各々検出されたランドマーク・ポイントは、ランドマークの分布モデルに基づいて全ての他のランドマークの候補位置を投票により決定する。
［００５６］
一例として、この分散モデルは、ランドマーク・ポイントが訓練データのスライス間における相互の相対的な距離に従ってどのように分散されるかというガウス分布モデルであってもよい。そのようなモデルを用いると、１つのランドマーク・ポイントが唯一の候補位置を投票により決定する代わりに、他の複数のランドマーク・ポイントの各々が、構築されたガウス分布に従う確率分布図を投票により決定する。その場合、確率分布図における投票された値の合計は１になるようにする。
［００５７］
その結果、その投票ステージの後（そして、図６Ａの処理フローが繰り返され、画像スライスに関する全ての被写体ランドマークについてのランドマーク・ポイントを検出した後)、プロセッサーは、図６Ｃの処理フローに従ってランドマーク位置を最終的に決定することができる。ステップ６１０において、プロセッサーは、新しい被写体画像スライスを選択する。前述のように、このステージにおいて、図６Ａの処理フローが繰り返され、ランドマーク・ポイントを検出し、選択されたスライスにおける全てのランドマークに関する候補ランドマーク位置に対する票を集める。ステップ６１２において、プロセッサーは、選択されたスライスに関する被写体ランドマークについての検出されたランドマーク・ポイントを選択する（ステップ６０６を参照）。ステップ６１４において、プロセッサーは、他のランドマークの検出されたランドマーク・ポイントによって投じられた被写体ランドマークの候補位置についての投票を再調査する（ステップ６０８を参照）。この一環として、スライスに関する被写体ランドマークについての自動化された投票処理による確率分布図は、統合された確率分布図の合計が１になるように統合することができる。プロセッサーは、定義済みで設定変更可能なしきい値を越える統合された確率分布図から候補位置を選択する。次に、ステップ６１６において、プロセッサーは、ステップ６１２から検出されたランドマーク・ポイントの位置及びステップ６１４によってセットされたしきい値をパスした候補位置を平均化することにより、被写体ランドマークの位置を決定することができる（もしあれば）。このアプローチは、複数のランドマーク検出器を効果的にグループ化し、同時に異常検出の影響を大幅に低減することができる。検出されたランドマーク・ポイントを投票されたランドマーク・ポイントと結合するもう一つの例として、統合された確率分布図は、ステップ６１２から検出されたランドマーク・ポイントを含むこともできる。検出されたランドマーク・ポイントと投票されたランドマーク位置との間の相対的な重み付けは、指定することができ、個々の投票されたランドマーク位置に対してよりも検出されたランドマーク位置に対してより強い重みを置くことが望ましい（例えば、検出されたランドマーク・ポイントが「１」の重みであるのに対し、投票されたランドマーク位置は集計された重みの合計が「１」になるように重み付けをする）。更にまた、最も高いスコアの付いた位置を、ランドマーク位置として選択することができる。即ち、特定のしきい値を超えるスコアの付いた全ての位置の平均の位置を、ランドマーク位置として選択することができる。
［００５８］
図６Ａ、図６Ｃの処理フローは、必要に応じて次の画像スライスを処理するためにステップ６００に戻ることができる。新しい被写体画像１０６についての全ての画像スライスを処理する際に、各々のスライスは、注目ランドマークの位置を決定することができる。図７は、一例として５台の訓練されたランドマーク検出器１０８を異なる画像スライス７００に適用した結果を示しており、各々の画像スライス７００は、注目ランドマークの検出された位置７０２を表示する。
［００５９］
ステップ２１０から検出されたランドマークの位置は、形状モデル・アルゴリズムに入力される形状の初期設定として用いることができる。次にステップ２１２では、検出されたランドマーク・ポイントから形状評価の初期設定をする操作を行い、更に繰り返しその形状評価を改善する。図９は、ステップ２１２の典型的な処理フローを示す。
［００６０］
形状の初期設定及び改善には、例えば形状モデル・アルゴリズムを採用することができるが、これについては例えば論文「S. Zhang et al., “Shape Prior Modeling Using Spare Representation and Online Dictionary Learning”, Medical Image Computing and Computer-Assisted Intervention (MICCAI) 2012, 15 (Pt 3): 435-42」に記載されている。なお、この論文の全ての開示内容はこの引用により本明細書に含まれる。ステップ９００において、形状評価の初期設定は、検出されたランドマーク・ポイント及び形状辞書９０４を用いて行われる。初期形状は、下記の式（２）におけるＳから推測することができる。
［００６１］
このように、まばらな形状モデルは、この形状を推測する形状優先方法として採用することができる。それは、形状辞書９０４内のまばらな形状のセットを選択し、それらを一体に構成して入力形状を推測し／改善する。このモデルは、入力形状例の２つのまばら観察を利用する：（１）入力形状は、形状辞書内の形状のまばらな一次結合によってほぼ表すことができる；（２）入力形状の各部は、大きな誤差であってもまばらな誤差であれば含んでもよい。複雑な形状変化のモデル化、非ガウス分布の誤差の取り扱い、及び入力形状の局所的な詳細情報の保存という形状優先モデルの３つの問題を軽減することができる。
［００６２］
次に、ステップ９０２において、改善を繰り返すごとに、アルゴリズムは、以下の最適化機能を最小化する。
Figure 0005957629
この式において、ｖＳは、入力形状のポイントのサブセットであり、Ｄは、全ての訓練形状を表す形状辞書９０４であり、Ｔ（ｖＳ，β）は、パラメータβのグローバルな変換演算子であって、一次結合の重み係数を表示するＤｘと同じスペースに入力形状を整列させるものであり、ｅは、大きな残余誤差をモードするベクトルである。Ｓは、あるポイントがサブセットｖＳにあるかどうかを表示するバイナリ対角行列である。Ｓが非常にまばらで僅かのポイントを含むだけである場合、上記の式は、ランドマークに基づく形状の初期設定の公式となり、改善プロセスの最初のステップ９００となる。その後、エッジ・ポイントが訓練された境界線検出器９０６によって改善されると、より多くのポイントが上記の式に入力されるようになる。その場合、Ｓは更に高密度となるが、最適化プロセスは本質的に同一である。次に、解決された形状は、別のラウンドのエッジ改善のために境界検出器９０６に送り返される。繰り返しのたびに、訓練された境界検出器９０６は、形状ポイントの近くの複数のポイント(例えば、形状ポイントのノーマル方向に沿った６ポイント)を処理することができるようになる。各々のポイントについて、訓練された境界検出器９０６は、そのポイントが構造と非構造の間の「境界上」にあるかどうかに関する確率を生成することができる。次に、プロセッサーは、最も高い確率でポイントを選択し、更新されたエッジ・ポイントとすることができる。図１０は、１つのスライスのグラウンド・トルースな形状１００２と比較して改善された形状１０００の例を表している。繰り返しのプロセスは、（１）繰り返しが一定の回数（例えば１０回）に達した場合、又は（２）最小の残余誤差が一定の値に達した場合に、一旦停止する。
［００６３］
繰り返し改善を行った結果、ステップ２１２は改善された輪郭評価１１2を生み出す。ステップ２１２では、スライス単位で作動して、新しい被写体画像１０６のスライスごとに改善された輪郭１１2を生成することもできる。注目構造の３Ｄボリュームは、改善された２Ｄ輪郭１１2から生成され、治療計画ソフトウェアに配信され、治療計画を計算し/更新することができる。図１１は、注目構造が前立腺である実施形態の場合の３Ｄボリュームの例を示す。しかし、改善された輪郭データは、当然のことながら、治療計画に用途を限定する必要はなく、介入ガイド治療の用途にも同様に用いてもよい。
［００６４］
実施者にとって必要であれば、辞書学習技術は、全ての訓練形状を用いる代わりに簡潔な形状辞書９０４を訓練することを採用し、算出効率を改善することができる。まばらな一次結合戦略の１つの前提は、入力形状が訓練形状によって定義される凸包内にあること、即ち、訓練形状が十分に表現されていなければならないということである。
しかし、この前提は、この全てのセグメンテーション問題、例えば前立腺のセグメンテーション問題にあてはまるものではないかもしれない。まばらな形状モデルの表現容量を適応的に増加させることが望ましく、そうすれば新しいタイプの形状を取り扱うことができる。一つの解決策は、新しくセグメント化された形状を形状辞書９０４に含むこと、即ち全ての利用可能な形状で辞書９０４を再訓練することである。しかし、このアプローチは、データが増大すると算出効率を著しく減少させることになるであろう。もう一つの解決は、図１２に示すように、オンライン学習方法を適用して、適応的かつ効率的に新しい形状を形状辞書９０４に組み込むことである。スクラッチから辞書を再構築する代わりに、新しい訓練形状が組み込まれると、既存の辞書９０４は、ブロック座標降下アプローチを用いて更新される。ダイナミックに更新される辞書を用いると、まばらな形状モデルは、多数の訓練形状から実行時効率を犠牲にすることのなくモデル形状に優雅にスケールアップすることができる。論文「Mairal, et al., “Online dictionary learning for sparse coding” ,Proc. of the 26th Annual International Conference on Machine Learning, p. 689-696 (2009)」を参照のこと。なお、この論文の全ての開示内容はこの引用により本明細書に含まれる。この方法は、K-SVDアルゴリズムを用いて初期形状辞書を構築することから出発する。新しい形状が組み込まれると、それは収束するまで繰り返し２つのステージを使用する。２つのステージとは、まばらなコーディング１２００と辞書更新１２０２である。まばらなコーディング１２００は、信号ごとにまばらな係数を発見することを目的とし、辞書更新１２０２は、全ての発見された係数に基づいて辞書を更新することを目的とする。
［００６５］
確率近似に基づき、辞書９０４は、ブロック座標降下を用いて効率的に更新される。それは、パラメータ・フリーの方法であり、いかなる学習率チューニングも必要としない。辞書更新ステップ１２０２において、訓練形状を必要とする代わりに、僅かの新しく組み込まれたデータを活用することに注意することが重要である。辞書更新は、それによって非常により速くなる。このようにして、形状辞書は、選択された新しいデータを用いて効率的に更新されたオンラインとなることができる。このオンラインで更新された辞書を用いると、形状構成の実行時効率がより多くの訓練形状で犠牲にされることはない。これに加えて、それは優雅にスケールアップされて、理論的には無限の数の訓練形状を含むことができる。
［００６６］
更にまた、上述したように、境界検出器及び形状辞書以外の形状改善ツール１１0は、異なる実施形態において採用されることもあり得る。例えば、図１３に示すように、形状変形にも用いることができる。図１３に示す実施形態において、形状改善の繰り返し１３００は、変形し易い形状モデル１３０２を採用する。前に述べたように、ステップ９００からの形状データは、大雑把に構造形状(例えば、前立腺の形状)の位置を決定し、初期設定として用いられる。それから、形状改善１３００は、強力な変形し易いモデル１３０２を用いて前立腺の正確なセグメント化を行う。このモデルは、画像から派生した勾配と領域の両方のタームによって推進される。勾配データのタームは、勾配マップ、エッジ距離マップ、又はその両方の組合せを含むことができる。勾配情報に依存するだけのモデルは、局所的な最小値にはまり込んで抜け出せなくなることもあり得る。領域情報は、不明瞭な境界又は複雑な構造に起因するこれらの問題を軽減することができる。領域タームは、モデル内部の出現統計についての制約をコード化する。強度統計を用いたモジュールを考慮すると、対象領域は、最新のモデル内部の強度分布に従って予測される。前景の対象と背景の確率の両方を有すると、バイナリの地図が得られ、Bayesian Decisionルールを適用することにより予測された対象領域を表示することができる。次に、関連構成要素の分析がバイナリの地図に適用され、最新のモデルに重なる関連構成要素が検索される。この関連領域が、最新の注目領域（ＲＯＩ）と見なされる。勾配データのタームと領域データのタームは、予測されたＲＯＩ境界の方へモデルを変形させる双方向のバルーン力を提供する。これは、柔軟なモデルの初期設定が対象に重なって行われるか或いは対象の内部で行われるかを許容する。これらの外部エネルギーのタームを画像力として用いると、この強力な変形し易いモデルは、対象の境界を正確に発見するように機能する。
［００６７］
本発明は好ましい実施形態に関連して上述されたが、本発明の範囲内でこれら実施形態に様々な改良を行ってもよい。本発明へのそのよう改良は、ここに記載した技術を参照することにより認識されるであろう。したがって、本発明の全範囲は、ここに記載するクレームとその法律的に等価な内容によってのみ画定される。

Claims (21)

  1. 画像データ内の注目構造を表示する装置であって、
    前記画像データは、注目領域の被写体画像を有し、
    前記注目領域は、前記注目構造を含み、
    前記画像は、複数のデータポイントを有し、
    前記データポイントは、複数の強度値を有し、
    前記装置は、
    複数の前記データポイントについての複数の特徴であって、前記データポイントの複数のウインドウ上に強度変化を示す特徴を算出し、
    前記算出された特徴を訓練されたランドマーク検出器に適用することに基づいて前記画像内の複数のランドマークについての複数の位置を検出し、
    前記検出されたランドマーク位置に基づいて前記注目構造についての形状評価を生成し、
    形状辞書からのまばらな形状モデルに基づいて、前記注目構造についての形状評価を反復して改善する
    ように構成されたプロセッサーを有する
    ことを特徴とする装置。
  2. 請求項１記載の装置において、
    前記訓練されたランドマーク検出器は、複数の訓練されたランドマーク検出器を有し、
    各々の訓練されたランドマーク検出器は、それぞれ異なるランドマークを検出するように構成されている
    ことを特徴とする装置。
  3. 請求項１記載の装置において、
    前記プロセッサーは、更に、機械学習アルゴリズムを用いてアトラス画像データを処理し、前記訓練されたランドマーク検出器を訓練するように構成されており、
    前記アトラス画像データは、あるランドマークが複数のアトラス画像内の何処に位置するかの識別を含んでいる
    ことを特徴とする装置。
  4. 請求項３記載の装置において、
    前記機械学習アルゴリズムは、LogitBoost機械学習アルゴリズムを有する
    ことを特徴とする装置。
  5. 請求項３記載の装置において、
    前記アトラス画像は、３次元（３Ｄ）アトラス画像を有し、
    前記プロセッサーは、更に、
    前記３Ｄアトラス画像から２次元（２Ｄ）アトラス画像スライスを抽出し、
    前記２Ｄアトラス画像スライスを画像登録技術に従って整列させ、
    複数の前記アトラス画像スライスの各々から複数の陽性のサンプル及び複数の陰性のサンプルを収集し、
    複数の前記アトラス画像スライスの各々について前記収集した陽性及び陰性のサンプルについての特徴を算出し、
    前記収集した陽性及び陰性のサンプルと前記算出した特徴を前記機械学習アルゴリズムに適用し、ランドマーク検出器を訓練し、注目ランドマークを検出することにより、
    前記アトラス画像データ処理ステップを処理するように構成されている
    ことを特徴とする装置。
  6. 請求項１記載の装置において、
    前記プロセッサーは、更に、
    前記算出された特徴を前記訓練されたランドマーク検出器に適用して、複数の候補データポイントのスコアを記録し、
    前記スコアをしきい値と比較し、
    前記比較に基づいて前記候補データポイントを注目ランドマークに関する適格性で分類することにより、
    前記検出操作を実行するように構成されている
    ことを特徴とする装置。
  7. 請求項６記載の装置において、
    前記プロセッサーは、更に、前記注目ランドマークに分類された候補データポイントの位置及びランドマーク分布モデルに基づく前記注目ランドマーク以外の前記ランドマークの複数の位置についての確率分布図を生成することにより、前記検出操作を実行するように構成されている
    ことを特徴とする装置。
  8. 請求項７記載の装置において、
    前記プロセッサーは、更に、
    前記確率分布図上のどの位置が別のしきい値を超えるスコアを記録するかを決定し、
    前記別のしきい値を超えるスコアを記録する前記確率分布図から前記位置を平均化することにより前記ランドマーク位置を決定することにより、
    前記検出操作を実行するように構成されている
    ことを特徴とする装置。
  9. 請求項６記載の装置において、
    前記プロセッサーは、更に、
    前記データポイントのサブセットを選択し、
    前記適用操作を前記選択されたデータポイントのサブセットに限定する
    ように構成されている
    ことを特徴とする装置。
  10. 請求項１記載の装置において、
    前記改善された形状評価は、前記注目構造の輪郭を有し、
    前記プロセッサーは、更に、前記輪郭に基づき前記注目構造についての放射線治療計画を定義するように構成されている
    ことを特徴とする装置。
  11. 請求項１記載の装置において、
    前記画像は、コンピュータ断層撮影画像を有する
    ことを特徴とする装置。
  12. 請求項１１記載の装置において、
    前記注目構造は、前立腺を有する
    ことを特徴とする装置。
  13. 複数のアトラス画像を用いてランドマーク検出器を訓練する装置であって、
    前記アトラス画像は、注目構造に関するランドマークについての位置情報を含み、
    前記装置は、
    前記アトラス画像から複数の陽性のサンプル及び複数の陰性のサンプルを収集し、
    前記収集した陽性及び陰性のサンプルについての複数のサンプル特徴を算出し、前記サンプル特徴は複数の陽性及び陰性のサンプルについての強度変化を示し、
    前記算出したサンプル特徴及び前記算出したサンプル特徴に関連する位置データを機械学習アルゴリズムに適用し、ランドマーク検出器を訓練し、前記ランドマークを検出する
    ように構成されたプロセッサーを有する
    ことを特徴とする装置。
  14. 画像データ内の注目構造を表示する装置であって、
    前記装置は、
    画像内の構造についての複数のランドマークを検出し、
    各検出されたランドマークに対して、各他の検出されたランドマークに対する位置の確率をマッピングした少なくともひとつの確率分布図を生成し、
    前記確率分布図に基づいて、前記検出されたランドマークの位置を決定し、
    前記決定されたランドマークの位置に基づいて、前記構造についての形状評価を生成する
    ように構成されているプロセッサーを有する
    ことを特徴とする装置。
  15. 請求項１４記載の装置において、
    前記プロセッサーは、更に、形状改善ツールにより前記形状評価を改善し、それにより前記注目構造に対する改善形状評価を算出するように構成されており、
    前記形状改善ツールは、訓練された境界検出器を有し、
    前記プロセッサーは、更に、前記訓練された境界検出器を用いて前記形状評価の境界を評価することにより前記改善操作を実行するように構成されている
    ことを特徴とする装置。
  16. 請求項１５記載の装置において、
    前記プロセッサーは、更に、機械学習アルゴリズムを用いてアトラス画像を処理し、前記境界検出器を訓練するように構成されており、
    前記アトラス画像データは、前記注目構造についての境界が複数のアトラス画像内の何処に位置するかの識別を含む
    ことを特徴とする装置。
  17. 請求項１６記載の装置において、
    前記機械学習アルゴリズムは、ランダムフォレスト機械学習アルゴリズムを有する
    ことを特徴とする装置。
  18. 請求項１５記載の装置において、
    前記形状改善ツールは、更に、形状辞書を有し、
    前記プロセッサーは、更に、前記改善操作を繰り返し実行し、まばらな形状モデルに基づく前記形状評価を改善するように構成されている
    ことを特徴とする装置。
  19. 請求項１８記載の装置において、
    前記プロセッサーは、更に、前記注目構造についての前記改善された形状評価に基づいて前記形状辞書のオンライン更新を行うように構成されている
    ことを特徴とする装置。
  20. 請求項１４記載の装置において、
    各確率分布図は、それぞれの前記ランドマークに対する分布モデルにより定義されている
    ことを特徴とする装置。
  21. 請求項１４記載の装置において、
    前記プロセッサーは、更に、
    複数の追加のランドマークを検出し、
    各検出された追加のランドマークに対して、各他の検出された追加のランドマークに対する位置の確率をマッピングした少なくともひとつの確率分布図を生成し、
    前記追加のランドマークに対する前記確率分布図に基づいて、前記追加のランドマークの位置を決定し、
    前記決定された追加のランドマークの位置に基づいて、前記構造についての形状評価を生成する
    ように構成されているプロセッサーを有する
    ことを特徴とする装置。
JP2016511160A 2013-05-03 2014-05-02 診療計画を導くための画像の構造形状を自動的に表示する方法及び装置 Active JP5957629B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/886,853 2013-05-03
US13/886,853 US9122959B2 (en) 2013-05-03 2013-05-03 Method and apparatus for automated delineation of structure shape for image guided treatment planning
PCT/IB2014/061157 WO2014178029A1 (en) 2013-05-03 2014-05-02 Method and apparatus for automated delineation of structure shape for image guided treatment planning

Publications (2)

Publication Number Publication Date
JP5957629B1 true JP5957629B1 (ja) 2016-07-27
JP2016522708A JP2016522708A (ja) 2016-08-04

Family

ID=50942722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016511160A Active JP5957629B1 (ja) 2013-05-03 2014-05-02 診療計画を導くための画像の構造形状を自動的に表示する方法及び装置

Country Status (6)

Country Link
US (1) US9122959B2 (ja)
EP (2) EP3422292A1 (ja)
JP (1) JP5957629B1 (ja)
CN (2) CN108550156B (ja)
AU (3) AU2014261044A1 (ja)
WO (1) WO2014178029A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2819093B1 (en) * 2013-06-24 2016-05-11 RaySearch Laboratories AB Method and system for atlas-based segmentation
US9767380B2 (en) * 2015-04-13 2017-09-19 Varian Medical Systems International Ag. Image comparison tool tolerant to deformable image matching
US10592820B2 (en) * 2016-06-09 2020-03-17 International Business Machines Corporation Sequential learning technique for medical image segmentation
US10410348B2 (en) * 2016-12-21 2019-09-10 Elekta, Inc. Online learning enhanced atlas-based auto-segmentation
EP3376472A1 (en) 2017-03-13 2018-09-19 Koninklijke Philips N.V. Anatomical measurements from ultrasound data
US10032281B1 (en) * 2017-05-03 2018-07-24 Siemens Healthcare Gmbh Multi-scale deep reinforcement machine learning for N-dimensional segmentation in medical imaging
EP3486674A1 (en) * 2017-11-17 2019-05-22 Koninklijke Philips N.V. Artificial intelligence-enabled localization of anatomical landmarks
US20200065706A1 (en) * 2018-08-24 2020-02-27 Htc Corporation Method for verifying training data, training system, and computer program product
CN109712138B (zh) * 2018-12-29 2020-09-08 苏州大学 基于外观字典学习和形状稀疏表示的图像分割方法
CN110033454B (zh) * 2019-04-19 2021-01-05 河北大学 Ct图像中大面积粘连肺边界组织的肺肿瘤的分割方法
US11210673B2 (en) * 2019-05-29 2021-12-28 Advanced New Technologies Co., Ltd. Transaction feature generation
EP3913574B1 (en) * 2020-05-21 2022-12-21 Tata Consultancy Services Limited Anatomical landmark detection and identification from digital radiography images containing severe skeletal deformations
US11869226B2 (en) * 2020-10-25 2024-01-09 Pixart Imaging Inc. Computer readable recording medium which can perform image pattern determining method
KR102617378B1 (ko) * 2020-12-11 2023-12-27 알피니언메디칼시스템 주식회사 의료지표 측정방법 및 이를 위한 초음파 진단장치

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1779324B1 (en) * 2004-08-09 2018-01-17 Koninklijke Philips N.V. Segmentation based on region-competitive deformable mesh adaptation
JP5133505B2 (ja) * 2005-06-24 2013-01-30 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像判定装置およびｘ線ｃｔ装置
US7876938B2 (en) * 2005-10-06 2011-01-25 Siemens Medical Solutions Usa, Inc. System and method for whole body landmark detection, segmentation and change quantification in digital images
US20080081339A1 (en) * 2006-10-03 2008-04-03 The Brigham And Women's Hospital, Inc. Tumor associated markers in the diagnosis of prostate cancer
EP2006803A1 (en) * 2007-06-19 2008-12-24 Agfa HealthCare NV Method of segmenting anatomic entities in 3D digital medical images
US9785858B2 (en) * 2008-09-26 2017-10-10 Siemens Healthcare Gmbh Method and system for hierarchical parsing and semantic navigation of full body computed tomography data
US20100280987A1 (en) * 2009-04-18 2010-11-04 Andrey Loboda Methods and gene expression signature for assessing ras pathway activity
GB0913930D0 (en) * 2009-08-07 2009-09-16 Ucl Business Plc Apparatus and method for registering two medical images
US8422753B2 (en) * 2009-10-22 2013-04-16 Siemens Corporation Method and system for automatic extraction of personalized left atrium models
US9025841B2 (en) * 2009-11-18 2015-05-05 Siemens Aktiengesellschaft Method and system for segmentation of the prostate in 3D magnetic resonance images
US8391579B2 (en) * 2010-03-11 2013-03-05 Siemens Corporation Method and system for automatic detection and segmentation of axillary lymph nodes
EP2424117A3 (en) * 2010-08-24 2013-01-02 Her Majesty the Queen in Right of Canada, as represented by the Minister of Industry, through The Communications Research Centre Canada Sparse data compression
KR101194290B1 (ko) * 2010-09-24 2012-10-29 삼성메디슨 주식회사 이미지 필터링을 이용한 3차원 초음파 검사기 및 3차원 초음파 검사기의 동작 방법
BR112013009962A2 (pt) * 2010-10-27 2021-05-25 Koninklijke Philips Electronics N.V. sistema,estação de trabalho e método.
US8675943B2 (en) * 2010-11-29 2014-03-18 Siemens Aktiengesellschaft Method and system for heart isolation in cardiac computed tomography volumes for patients with coronary artery bypasses
EP2498222B1 (en) * 2011-03-09 2019-08-14 Siemens Healthcare GmbH Method and system for regression-based 4D mitral valve segmentation from 2D+T magnetic resonance imaging slices
US9042620B2 (en) 2011-03-10 2015-05-26 Siemens Corporation Method and system for multi-organ segmentation using learning-based segmentation and level set optimization
US9122950B2 (en) * 2013-03-01 2015-09-01 Impac Medical Systems, Inc. Method and apparatus for learning-enhanced atlas-based auto-segmentation
US20140272914A1 (en) * 2013-03-15 2014-09-18 William Marsh Rice University Sparse Factor Analysis for Learning Analytics and Content Analytics

Also Published As

Publication number Publication date
CN108550156A (zh) 2018-09-18
AU2017200435A1 (en) 2017-02-16
EP2992506A1 (en) 2016-03-09
US9122959B2 (en) 2015-09-01
EP3422292A1 (en) 2019-01-02
JP2016522708A (ja) 2016-08-04
US20140328527A1 (en) 2014-11-06
CN105474262B (zh) 2017-12-08
AU2018253501B2 (en) 2019-08-15
AU2018253501A1 (en) 2018-11-15
CN108550156B (zh) 2022-07-22
AU2014261044A1 (en) 2015-11-12
CN105474262A (zh) 2016-04-06
EP2992506B1 (en) 2018-07-11
WO2014178029A1 (en) 2014-11-06

Similar Documents

Publication Publication Date Title
JP5957629B1 (ja) 診療計画を導くための画像の構造形状を自動的に表示する方法及び装置
Wang et al. Chestnet: A deep neural network for classification of thoracic diseases on chest radiography
ES2967682T3 (es) Diagnóstico asistido por ordenador mediante redes neuronales profundas
Cheng et al. Automatic magnetic resonance prostate segmentation by deep learning with holistically nested networks
US10147185B2 (en) Interactive segmentation
Rohlfing et al. Performance-based classifier combination in atlas-based image segmentation using expectation-maximization parameter estimation
US20180260951A1 (en) Deep Image-to-Image Recurrent Network with Shape Basis for Automatic Vertebra Labeling in Large-Scale 3D CT Volumes
RU2530220C1 (ru) Система и способ для автоматической регистрации анатомических точек в объемных медицинских изображениях
EP2929509B1 (en) Automatic spatial context based multi-object segmentation in 3d images
CN108446741B (zh) 机器学习超参数重要性评估方法、系统及存储介质
US8605969B2 (en) Method and system for multiple object detection by sequential Monte Carlo and hierarchical detection network
CN109102490A (zh) 自动图像注册质量评估
JP6325322B2 (ja) 医用画像処理装置、医用画像処理方法および医用画像処理プログラム
CN113728335A (zh) 用于3d图像的分类和可视化的方法和系统
WO2006029227A2 (en) System and method for anatomical structure parsing and detection
JP2008080132A (ja) 高次元画像空間内の対象を検出するためのシステム及び方法
Davis et al. On the segmentation and classification of hand radiographs
Davis et al. Automated bone age assessment using feature extraction
US20220083878A1 (en) Label inference system
Aswathy et al. A tumour segmentation approach from FLAIR MRI brain images using SVM and genetic algorithm
CN106056146B (zh) 基于逻辑回归的视觉跟踪方法
Sutradhar et al. Multi-modal case study on MRI brain tumor detection using support vector machine, random forest, decision tree, K-nearest neighbor, temporal convolution & transfer learning
US20220319002A1 (en) Tumor cell isolines
Akrami et al. Addressing variance shrinkage in variational autoencoders using quantile regression
Young et al. Classification of Alzheimer's disease patients with hippocampal shape wrapper-based feature selection and support vector machine

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160620

R150 Certificate of patent or registration of utility model

Ref document number: 5957629

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250