JP6742421B2 - 内視鏡的医療画像のセグメンテーションのためのシステムおよび方法 - Google Patents
内視鏡的医療画像のセグメンテーションのためのシステムおよび方法 Download PDFInfo
- Publication number
- JP6742421B2 JP6742421B2 JP2018538580A JP2018538580A JP6742421B2 JP 6742421 B2 JP6742421 B2 JP 6742421B2 JP 2018538580 A JP2018538580 A JP 2018538580A JP 2018538580 A JP2018538580 A JP 2018538580A JP 6742421 B2 JP6742421 B2 JP 6742421B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- medical image
- medical
- images
- label map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
- G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
- G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5294—Devices using data or image processing specially adapted for radiation diagnosis involving using additional data, e.g. patient information, image labeling, acquisition parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
- G06F18/41—Interactive pattern learning with a human teacher
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20128—Atlas-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30081—Prostate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Pulmonology (AREA)
- Human Computer Interaction (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Description
（関連出願との相互参照）
［００１］
本出願は、２０１６年１月２５日に提出された米国仮出願第６２／２８１，６５２号の優先権の利益を主張し、その全内容は参照により本明細書に組み込まれる。
［００１］
本出願は、２０１６年１月２５日に提出された米国仮出願第６２／２８１，６５２号の優先権の利益を主張し、その全内容は参照により本明細書に組み込まれる。
（技術分野）
［００２］
本開示は、一般に、画像セグメンテーションに関する。より詳しくは、本開示は、患者の次の画像のセグメンテーションを助けるために、患者の以前の画像情報を使用する、正確な医用画像セグメンテーションのためのシステムおよび方法に関する。
［００２］
本開示は、一般に、画像セグメンテーションに関する。より詳しくは、本開示は、患者の次の画像のセグメンテーションを助けるために、患者の以前の画像情報を使用する、正確な医用画像セグメンテーションのためのシステムおよび方法に関する。
［００３］
画像セグメンテーション技術は、医用画像をセグメント化し、画像内の解剖学的構造間の輪郭を決定するために広く使用されている。例えば、放射線療法では、輪郭形成時間を短縮し、様々な病院にわたって輪郭の精度と一貫性を改善するために、臓器の自動セグメンテーションが通常行われる。しかしながら、画像の自動セグメンテーションは、ノイズ、限られた画像コントラストおよび／または低画質のために、いまだ非常に困難な作業である。例えば、癌患者を治療するために使用され得るいくつかのコンピュータ断層撮影（ＣＴ）画像またはコーンビームコンピュータ断層撮影（ＣＢＣＴ）画像などの、より低い画質を有する医用画像は、ほとんどの軟部組織構造に対してより低いコントラストおよび小さなテクスチャを有することが知られている。したがって、主として画像のコントラストに基づく従来の画像セグメンテーション方法は、背景と、関心のある解剖学的構造（例えば臓器または腫瘍）との間、または医用画像内の異なる解剖学的構造の間の正確な輪郭を見つけることができないことが多い。
画像セグメンテーション技術は、医用画像をセグメント化し、画像内の解剖学的構造間の輪郭を決定するために広く使用されている。例えば、放射線療法では、輪郭形成時間を短縮し、様々な病院にわたって輪郭の精度と一貫性を改善するために、臓器の自動セグメンテーションが通常行われる。しかしながら、画像の自動セグメンテーションは、ノイズ、限られた画像コントラストおよび／または低画質のために、いまだ非常に困難な作業である。例えば、癌患者を治療するために使用され得るいくつかのコンピュータ断層撮影（ＣＴ）画像またはコーンビームコンピュータ断層撮影（ＣＢＣＴ）画像などの、より低い画質を有する医用画像は、ほとんどの軟部組織構造に対してより低いコントラストおよび小さなテクスチャを有することが知られている。したがって、主として画像のコントラストに基づく従来の画像セグメンテーション方法は、背景と、関心のある解剖学的構造（例えば臓器または腫瘍）との間、または医用画像内の異なる解剖学的構造の間の正確な輪郭を見つけることができないことが多い。
［００４］
医用画像セグメンテーションの主な２つの方法には、アトラスベースの自動セグメンテーションと統計学習セグメンテーションとがある。アトラスベースの自動セグメンテーション（ＡＢＡＳ）は、解剖学的標識画像を非標識画像に登録し、標識が画像（例えば、前立腺、膀胱、直腸など）の解剖学的構造を識別するラベルを転送する。統計学的学習セグメンテーションは、画像内の解剖学的構造のボクセル特性に従って画像ボクセルを分類し、ボクセル特性は、例えば、強度、テクスチャ特徴などを含む。
医用画像セグメンテーションの主な２つの方法には、アトラスベースの自動セグメンテーションと統計学習セグメンテーションとがある。アトラスベースの自動セグメンテーション（ＡＢＡＳ）は、解剖学的標識画像を非標識画像に登録し、標識が画像（例えば、前立腺、膀胱、直腸など）の解剖学的構造を識別するラベルを転送する。統計学的学習セグメンテーションは、画像内の解剖学的構造のボクセル特性に従って画像ボクセルを分類し、ボクセル特性は、例えば、強度、テクスチャ特徴などを含む。
［００５］
図１は、典型的な前立腺癌患者からの例示的な３次元（３Ｄ）ＣＴ画像を示す。図１（Ａ）は、患者の膀胱、前立腺および直腸を含む３Ｄビューの患者の骨盤領域を示す。図１（Ｂ）、（Ｃ）および（Ｄ）は、この骨盤領域の３ＤＣＴ画像からの軸方向、矢状および冠状の図である。図１（Ｂ）、（Ｃ）および（Ｄ）に示すように、患者の前立腺境界の大部分は見えない。すなわち、前立腺を他の解剖学的構造から容易に区別することができず、または前立腺の輪郭を決定することができない。これと比較して、図１（Ｅ）、（Ｆ）および（Ｇ）は、同じ３ＤＣＴ画像上で予測される前立腺輪郭を示す。図１に示すように、画像に提示されるコントラストおよびテクスチャのみに基づく従来の画像セグメンテーション方法は、この例示的な３ＤＣＴ画像をセグメント化するために使用された場合に失敗する可能性が高い。
図１は、典型的な前立腺癌患者からの例示的な３次元（３Ｄ）ＣＴ画像を示す。図１（Ａ）は、患者の膀胱、前立腺および直腸を含む３Ｄビューの患者の骨盤領域を示す。図１（Ｂ）、（Ｃ）および（Ｄ）は、この骨盤領域の３ＤＣＴ画像からの軸方向、矢状および冠状の図である。図１（Ｂ）、（Ｃ）および（Ｄ）に示すように、患者の前立腺境界の大部分は見えない。すなわち、前立腺を他の解剖学的構造から容易に区別することができず、または前立腺の輪郭を決定することができない。これと比較して、図１（Ｅ）、（Ｆ）および（Ｇ）は、同じ３ＤＣＴ画像上で予測される前立腺輪郭を示す。図１に示すように、画像に提示されるコントラストおよびテクスチャのみに基づく従来の画像セグメンテーション方法は、この例示的な３ＤＣＴ画像をセグメント化するために使用された場合に失敗する可能性が高い。
［００６］
近年、機械学習技術の発展により、低画質画像の画像セグメンテーションが改善されている。例えば、教師付き学習アルゴリズムは、医用画像の各ピクセルまたはボクセルが表す解剖学的構造を予測するようにコンピュータを「訓練」することができる。そのような予測は、通常、ピクセルまたはボクセルの特徴を入力として使用する。したがって、セグメンテーションのパフォーマンスは、使用可能な特徴のタイプに大きく依存する。今日まで、ほとんどの学習ベースの画像セグメンテーション方法は、主に画像強度および画像テクスチャなどの局所画像特徴に基づいている。結果として、これらのセグメンテーション方法は、図１に示す３ＤＣＴ画像のような低品質画像に対して依然として最適ではない。
近年、機械学習技術の発展により、低画質画像の画像セグメンテーションが改善されている。例えば、教師付き学習アルゴリズムは、医用画像の各ピクセルまたはボクセルが表す解剖学的構造を予測するようにコンピュータを「訓練」することができる。そのような予測は、通常、ピクセルまたはボクセルの特徴を入力として使用する。したがって、セグメンテーションのパフォーマンスは、使用可能な特徴のタイプに大きく依存する。今日まで、ほとんどの学習ベースの画像セグメンテーション方法は、主に画像強度および画像テクスチャなどの局所画像特徴に基づいている。結果として、これらのセグメンテーション方法は、図１に示す３ＤＣＴ画像のような低品質画像に対して依然として最適ではない。
［００７］
ＣＴ画像からの解剖学的構造の正確なセグメンテーションは、依然として困難な問題である。同じ患者のセグメント化された連続画像は、適応計画のレビュー／再計画および線量蓄積において特別な有用性を有する。連続画像は、集団のものとは異なる確率分布を必ずサンプリングし、したがって、新しい連続画像のセグメンテーションを支援する情報を提供すべきである。
ＣＴ画像からの解剖学的構造の正確なセグメンテーションは、依然として困難な問題である。同じ患者のセグメント化された連続画像は、適応計画のレビュー／再計画および線量蓄積において特別な有用性を有する。連続画像は、集団のものとは異なる確率分布を必ずサンプリングし、したがって、新しい連続画像のセグメンテーションを支援する情報を提供すべきである。
［００８］
改善されたセグメンテーション精度を得るために、アトラスと統計的方法を組み合わせる方法もある。例えば、１つの方法は、そのオンライン学習と、位置適応型画像コンテキストへの患者固有の分類を基づいている。位置適応分類器は、静的画像出現特徴および画像コンテキスト特徴に関しても訓練される。このような方法は、放射線治療が進行するにつれて患者の前立腺セグメンテーションを精緻化する目的を持って連続した前立腺画像に用いられてきた。しかしながら、データは、ボクセルパッチ対の空間分布を特徴そのものとして用い、さらにランダムフォレスト（ＲＦ）法を用いて、３次元データオブジェクトとして扱う必要がある。
改善されたセグメンテーション精度を得るために、アトラスと統計的方法を組み合わせる方法もある。例えば、１つの方法は、そのオンライン学習と、位置適応型画像コンテキストへの患者固有の分類を基づいている。位置適応分類器は、静的画像出現特徴および画像コンテキスト特徴に関しても訓練される。このような方法は、放射線治療が進行するにつれて患者の前立腺セグメンテーションを精緻化する目的を持って連続した前立腺画像に用いられてきた。しかしながら、データは、ボクセルパッチ対の空間分布を特徴そのものとして用い、さらにランダムフォレスト（ＲＦ）法を用いて、３次元データオブジェクトとして扱う必要がある。
［００９］
代替的に、別の方法は、頸部−子宮の連続ＣＴ画像のアトラスベースのセグメンテーションの研究において、膀胱容積メトリックとランドマーク位置とを従来の変形可能な位置合わせと組み合わせることを提案する。しかしながら、この方法は、高価であり、ランドマークの使用は人間の介入を必要とするので、エラーを起こしやすい。
代替的に、別の方法は、頸部−子宮の連続ＣＴ画像のアトラスベースのセグメンテーションの研究において、膀胱容積メトリックとランドマーク位置とを従来の変形可能な位置合わせと組み合わせることを提案する。しかしながら、この方法は、高価であり、ランドマークの使用は人間の介入を必要とするので、エラーを起こしやすい。
［０１０］
さらに、別の方法は、脳組織セグメンテーション（半監督学習モードで）のためのランダムフォレストを使用し、決定フォレストが解剖学的標識された手術前画像および同じ患者の非標識術後画像について訓練されるものである。しかし、このアプローチは登録ステップがないので、したがってアトラスベースの登録で有用な情報を活用することができない。
さらに、別の方法は、脳組織セグメンテーション（半監督学習モードで）のためのランダムフォレストを使用し、決定フォレストが解剖学的標識された手術前画像および同じ患者の非標識術後画像について訓練されるものである。しかし、このアプローチは登録ステップがないので、したがってアトラスベースの登録で有用な情報を活用することができない。
［０１１］
さらに、ランダムフォレストのセグメンテーションと画像の登録が組み合わされて画像セグメンテーションを実行する。これにより、患者間のセグメンテーションが可能になり、「アトラスフォレスト」のメカニズムを通じて、複数の患者の画像が共通の座標フレームに登録され、フォレストモデルに対して１つの画像が登録される。しかしながら、この方法は、得られるモデルを提供するために、訓練データの異なる構成を必要とする。
さらに、ランダムフォレストのセグメンテーションと画像の登録が組み合わされて画像セグメンテーションを実行する。これにより、患者間のセグメンテーションが可能になり、「アトラスフォレスト」のメカニズムを通じて、複数の患者の画像が共通の座標フレームに登録され、フォレストモデルに対して１つの画像が登録される。しかしながら、この方法は、得られるモデルを提供するために、訓練データの異なる構成を必要とする。
［０１２］
さらに、変形可能レジストレーションとランダムフォレストとを組み合わせた方法を用いて、歯のコーンビームＣＴ画像から顔面および歯の骨をセグメンテーションする。患者画像は、セグメンテーションの初期予測または推定のためにアトラスに登録される。これには、シーケンスの各段階で訓練される特徴の一部としてコンテキスト特徴を使用する一連のランダムフォレスト分類器が続く。しかし、この方法には、同じ患者の以前の画像に基づいてランダムフォレストモデルを形成するために、変形可能な位置合わせおよびランダムフォレスト分類器を使用する必要がある。
さらに、変形可能レジストレーションとランダムフォレストとを組み合わせた方法を用いて、歯のコーンビームＣＴ画像から顔面および歯の骨をセグメンテーションする。患者画像は、セグメンテーションの初期予測または推定のためにアトラスに登録される。これには、シーケンスの各段階で訓練される特徴の一部としてコンテキスト特徴を使用する一連のランダムフォレスト分類器が続く。しかし、この方法には、同じ患者の以前の画像に基づいてランダムフォレストモデルを形成するために、変形可能な位置合わせおよびランダムフォレスト分類器を使用する必要がある。
［０１３］
開示された方法およびシステムは、放射線治療または関連分野における医用画像のセグメンテーション性能を改善するために、アトラスベースのセグメンテーションおよび統計学的学習を組み合わせ、患者内画像および構造情報と母集団を組み合わせ、患者セグメンテーションモデルの便利な更新を可能にすることによって、上述したひとつ又はそれ以上の問題を解決するように設計されている。
開示された方法およびシステムは、放射線治療または関連分野における医用画像のセグメンテーション性能を改善するために、アトラスベースのセグメンテーションおよび統計学的学習を組み合わせ、患者内画像および構造情報と母集団を組み合わせ、患者セグメンテーションモデルの便利な更新を可能にすることによって、上述したひとつ又はそれ以上の問題を解決するように設計されている。
［０１４］
本開示の特定の実施形態は、医用画像をセグメント化するためのシステムに関する。システムは、画像取得装置によって取得された複数の医用画像を格納するように構成されたデータベースを含むことができる。複数の医用画像は、オブジェクトの少なくとも１つの第１の医用画像と、オブジェクトの第２の医用画像とを含み、各第１の医用画像は、第１の構造ラベルマップに関連付けられる。システムは、少なくとも１つの第１の医用画像を第２の医用画像に登録し、登録された第１の医用画像および対応する第１の構造ラベルマップを使用して分類器モデルを決定し、前記分類器モデルを使用して前記第２の医用画像に関連付けられる、第２の構造ラベルマップを決定するプロセッサをさらに含むことができる。
本開示の特定の実施形態は、医用画像をセグメント化するためのシステムに関する。システムは、画像取得装置によって取得された複数の医用画像を格納するように構成されたデータベースを含むことができる。複数の医用画像は、オブジェクトの少なくとも１つの第１の医用画像と、オブジェクトの第２の医用画像とを含み、各第１の医用画像は、第１の構造ラベルマップに関連付けられる。システムは、少なくとも１つの第１の医用画像を第２の医用画像に登録し、登録された第１の医用画像および対応する第１の構造ラベルマップを使用して分類器モデルを決定し、前記分類器モデルを使用して前記第２の医用画像に関連付けられる、第２の構造ラベルマップを決定するプロセッサをさらに含むことができる。
［０１５］
本開示の特定の実施形態は、医用画像をセグメント化するためのコンピュータ実装方法に関する。この方法は、少なくとも１つのプロセッサによって実行される動作を含むことができる。この動作は、画像取得装置によって取得された複数の医用画像を格納するように構成されたデータベースから、第１の構造ラベルマップに関連する、対象の少なくとも１つの第１の医用画像および対象の第２の医用画像を受信することを含むことができる。この動作は、少なくとも１つの第１の医用画像を第２の医用画像に登録すること、登録された第１の医用画像および対応する第１の構造ラベルマップを使用して分類器モデルを決定すること、分類器モデルを使用して第２の医用画像に関連する第２の構造ラベルマップを決定することを含むことができる。
本開示の特定の実施形態は、医用画像をセグメント化するためのコンピュータ実装方法に関する。この方法は、少なくとも１つのプロセッサによって実行される動作を含むことができる。この動作は、画像取得装置によって取得された複数の医用画像を格納するように構成されたデータベースから、第１の構造ラベルマップに関連する、対象の少なくとも１つの第１の医用画像および対象の第２の医用画像を受信することを含むことができる。この動作は、少なくとも１つの第１の医用画像を第２の医用画像に登録すること、登録された第１の医用画像および対応する第１の構造ラベルマップを使用して分類器モデルを決定すること、分類器モデルを使用して第２の医用画像に関連する第２の構造ラベルマップを決定することを含むことができる。
［０１６］
本開示のいくつかの実施形態は、少なくとも１つのプロセッサによって実行可能なときに、少なくとも１つのプロセッサに医用画像をセグメント化する方法を実行させる命令を含む、非一時的なコンピュータ可読媒体に関する。この方法は、画像取得装置によって取得された複数の医用画像を格納するように構成されたデータベースから、第１の構造ラベルマップに関連する、対象の少なくとも１つの第１の医用画像および対象の第２の医用画像を受信することを含むことができる。この方法は、少なくとも１つの第１の医用画像を第２の医用画像に登録すること、登録された第１の医用画像および対応する第１の構造ラベルマップを使用して分類器モデルを決定すること、分類器モデルを使用して第２の医用画像に関連する第２の構造ラベルマップを決定することを含むことができる。
本開示のいくつかの実施形態は、少なくとも１つのプロセッサによって実行可能なときに、少なくとも１つのプロセッサに医用画像をセグメント化する方法を実行させる命令を含む、非一時的なコンピュータ可読媒体に関する。この方法は、画像取得装置によって取得された複数の医用画像を格納するように構成されたデータベースから、第１の構造ラベルマップに関連する、対象の少なくとも１つの第１の医用画像および対象の第２の医用画像を受信することを含むことができる。この方法は、少なくとも１つの第１の医用画像を第２の医用画像に登録すること、登録された第１の医用画像および対応する第１の構造ラベルマップを使用して分類器モデルを決定すること、分類器モデルを使用して第２の医用画像に関連する第２の構造ラベルマップを決定することを含むことができる。
［０１７］
本開示のさらなる特徴および利点は、以下の説明に部分的に記載され、部分的には説明から明らかになり、または本開示の実施によって習得することができる。本開示の特徴および利点は、添付の特許請求の範囲における要素および組み合わせによって実現され、達成される。
本開示のさらなる特徴および利点は、以下の説明に部分的に記載され、部分的には説明から明らかになり、または本開示の実施によって習得することができる。本開示の特徴および利点は、添付の特許請求の範囲における要素および組み合わせによって実現され、達成される。
［０１８］
前述の一般的な説明および以下の詳細な説明は例示的で説明的なものに過ぎず、特許請求の範囲に記載された本発明を限定するものではないことを理解されたい。
前述の一般的な説明および以下の詳細な説明は例示的で説明的なものに過ぎず、特許請求の範囲に記載された本発明を限定するものではないことを理解されたい。
［０１９］
添付の図面は、本明細書の一部を構成し、いくつかの実施形態を説明と共に示し、開示された原理を説明する役割を果たす。
添付の図面は、本明細書の一部を構成し、いくつかの実施形態を説明と共に示し、開示された原理を説明する役割を果たす。
［０２０］
図１は、典型的な前立腺癌患者からの例示的な三次元ＣＴ画像を示す図である。
［０２１］
図２Ａは、本開示のいくつかの実施形態による例示的な放射線治療システム１００を示すブロック図である。
［０２２］
図２Ｂは、本開示のいくつかの実施形態による例示的な画像誘導放射線治療装置を示す図である。
［０２３］
図３は、本開示のいくつかの実施形態による例示的な画像セグメンテーションシステムを示す図である。
［０２４］
図４は、本開示のいくつかの実施形態による例示的な医用画像処理装置を示す図である。
［０２５］
図５は、本開示のいくつかの実施形態による例示的な画像セグメンテーションプロセスを示すフローチャートである。
［０２６］
図６は、本開示のいくつかの実施形態による、例示的な訓練方法を示すフローチャートである。
［０２７］
開示された原理の実施例および特徴が本明細書に記載されているが、開示された実施形態の精神および範囲から逸脱することなく、修正、適応および他の実施が可能である。また、「備える（comprising）」、「有する（having）」、「含む（containing）」、および「含む（including）」という言葉および他の同様の形態は、意味が等価であるように意図され、これらのいずれか１つに続く項目単語は、項目または項目の網羅的なリストを意味するものではなく、また、リストされた項目または項目のみに限定されることを意味するものではない。単数形「ａ」、「ａｎ」および「ｔｈｅ」は、文脈上他に明確に指示されていない限り、複数の参照を含むことが意図される。
開示された原理の実施例および特徴が本明細書に記載されているが、開示された実施形態の精神および範囲から逸脱することなく、修正、適応および他の実施が可能である。また、「備える（comprising）」、「有する（having）」、「含む（containing）」、および「含む（including）」という言葉および他の同様の形態は、意味が等価であるように意図され、これらのいずれか１つに続く項目単語は、項目または項目の網羅的なリストを意味するものではなく、また、リストされた項目または項目のみに限定されることを意味するものではない。単数形「ａ」、「ａｎ」および「ｔｈｅ」は、文脈上他に明確に指示されていない限り、複数の参照を含むことが意図される。
［０２８］
本開示によるシステムおよび方法は、同じ対象の以前の画像に基づいて導出されたマッピングされたアトラスを使用して訓練された学習アルゴリズムを使用して、対象の医用画像をセグメント化することに関する。具体的には、本開示の実施形態は、前日の画像およびその構造について学習された患者固有のＲＦモデルを組み込んだ、連続ＣＴ画像のアトラスベースの自動セグメンテーション（ＡＢＡＳ）およびランダムフォレスト（ＲＦ）セグメンテーションの様々な組合せを提供する。
本開示によるシステムおよび方法は、同じ対象の以前の画像に基づいて導出されたマッピングされたアトラスを使用して訓練された学習アルゴリズムを使用して、対象の医用画像をセグメント化することに関する。具体的には、本開示の実施形態は、前日の画像およびその構造について学習された患者固有のＲＦモデルを組み込んだ、連続ＣＴ画像のアトラスベースの自動セグメンテーション（ＡＢＡＳ）およびランダムフォレスト（ＲＦ）セグメンテーションの様々な組合せを提供する。
［０２９］
本明細書で使用する「学習アルゴリズム」は、既存の情報または知識に基づいてモデルまたはパターンを学習することができる任意のアルゴリズムを指す。学習されたモデルまたはパターンは、新しい情報または知識の入力を使用して出力を予測または推定するために使用することができる。例えば、学習アルゴリズムは、機械学習アルゴリズムまたは任意の他の適切な学習アルゴリズムであってもよい。いくつかの実施形態では、ＳＶＭ（Support Vector Machine）、Ａｄａｂｏｏｓｔ／Ｌｏｇｉｔｂｏｏｓｔ、ランダムフォレスト、およびニューラルネットワーク（例えば、畳み込みニューラルネットワーク）などの監視学習アルゴリズムを使用することができる。いくつかの他の実施形態では、半教師付き学習アルゴリズムを使用することもできる。
本明細書で使用する「学習アルゴリズム」は、既存の情報または知識に基づいてモデルまたはパターンを学習することができる任意のアルゴリズムを指す。学習されたモデルまたはパターンは、新しい情報または知識の入力を使用して出力を予測または推定するために使用することができる。例えば、学習アルゴリズムは、機械学習アルゴリズムまたは任意の他の適切な学習アルゴリズムであってもよい。いくつかの実施形態では、ＳＶＭ（Support Vector Machine）、Ａｄａｂｏｏｓｔ／Ｌｏｇｉｔｂｏｏｓｔ、ランダムフォレスト、およびニューラルネットワーク（例えば、畳み込みニューラルネットワーク）などの監視学習アルゴリズムを使用することができる。いくつかの他の実施形態では、半教師付き学習アルゴリズムを使用することもできる。
［０３０］
教師付き学習は、学習データのセットを与えられた予測モデルを推定する機械学習の枝である。訓練データの各個々のサンプルは、データベクトル（一連の測定値など）および所望の出力値を含むペアである。監視学習アルゴリズムは、訓練データを分析し、予測関数を生成する。予測関数は、異なるグループを識別するラベルのリストなど、出力が離散的である場合に、分類器または分類器モデルと呼ばれます。いったん訓練によって得られた予測関数は、有効な入力に対する正しい出力値を予測することができる。
教師付き学習は、学習データのセットを与えられた予測モデルを推定する機械学習の枝である。訓練データの各個々のサンプルは、データベクトル（一連の測定値など）および所望の出力値を含むペアである。監視学習アルゴリズムは、訓練データを分析し、予測関数を生成する。予測関数は、異なるグループを識別するラベルのリストなど、出力が離散的である場合に、分類器または分類器モデルと呼ばれます。いったん訓練によって得られた予測関数は、有効な入力に対する正しい出力値を予測することができる。
［０３１］
開示された実施形態によれば、画像セグメンテーションは、医療画像の各画像点を解剖学的構造の１つに分類する学習ベースの分類関数として定式化することができる。本明細書で使用される「画像点」は、基礎をなすオブジェクト内の物理的な点に対応するデジタル画像内の画像要素を指す。例えば、画像点は、２Ｄ画像内のピクセルまたは３Ｄ画像内のボクセルである。
開示された実施形態によれば、画像セグメンテーションは、医療画像の各画像点を解剖学的構造の１つに分類する学習ベースの分類関数として定式化することができる。本明細書で使用される「画像点」は、基礎をなすオブジェクト内の物理的な点に対応するデジタル画像内の画像要素を指す。例えば、画像点は、２Ｄ画像内のピクセルまたは３Ｄ画像内のボクセルである。
［０３２］
開示された実施形態によれば、画像セグメンテーションは、画像点ではなく画像ブロックを分類することもできる。本明細書で使用される場合、「画像ブロック」は、一緒に分類されるべき画像点のグループである。例えば、画像ブロックは、２Ｄ画像内のスーパーピクセル、または３Ｄ画像内のスーパーボクセルであってもよい。画像ブロック内の画像点が同じ解剖学的構造に属することが分かっている場合、画像ブロックに基づいて分類する方がより効率的かつ正確である可能性がある。したがって、用語「画像点」が本開示を通して使用されるときはいつでも、それは、上記で定義されるような基本「画像点」および「画像ブロック」の両方をカバーすることを意図する。
開示された実施形態によれば、画像セグメンテーションは、画像点ではなく画像ブロックを分類することもできる。本明細書で使用される場合、「画像ブロック」は、一緒に分類されるべき画像点のグループである。例えば、画像ブロックは、２Ｄ画像内のスーパーピクセル、または３Ｄ画像内のスーパーボクセルであってもよい。画像ブロック内の画像点が同じ解剖学的構造に属することが分かっている場合、画像ブロックに基づいて分類する方がより効率的かつ正確である可能性がある。したがって、用語「画像点」が本開示を通して使用されるときはいつでも、それは、上記で定義されるような基本「画像点」および「画像ブロック」の両方をカバーすることを意図する。
［０３３］
開示されたシステムおよび方法は、画像の推定構造ラベルマップを提供する。ラベルマップは、対応する画像点を特定の関心構造内にあるものとして識別する構造ラベルのマップを参照する。あるいは、この開示によれば、ラベルマップは、構造に属する画像点の確率をそれぞれ表す構造ラベルを含む確率マップであってもよい。例えば、複数の構造を含む画像を分割する場合、画像点の構造ラベルは、考慮中の構造のそれぞれに画像点がどの程度含まれる可能性があるかを示す確率値のセットを提供することができる。
開示されたシステムおよび方法は、画像の推定構造ラベルマップを提供する。ラベルマップは、対応する画像点を特定の関心構造内にあるものとして識別する構造ラベルのマップを参照する。あるいは、この開示によれば、ラベルマップは、構造に属する画像点の確率をそれぞれ表す構造ラベルを含む確率マップであってもよい。例えば、複数の構造を含む画像を分割する場合、画像点の構造ラベルは、考慮中の構造のそれぞれに画像点がどの程度含まれる可能性があるかを示す確率値のセットを提供することができる。
［０３４］
開示された実施形態によれば、分類器は訓練画像のセットを使用して訓練される。本明細書で使用される「訓練画像」は、画像点が既に分類されラベル付けされている画像である。例えば、訓練画像はアトラスであってもよい。本明細書において一貫して使用されるように、「アトラス」は、画像点および画像点がどの構造に属しているかを示す対応する構造描写（注釈）を含む。アトラス内の画像（アトラス画像とも呼ばれる）は、より早い時間に撮影された対象患者の以前の画像とすることができる。構造の描写は、例えば、構造ラベルマップ、構造体表面、または構造輪郭として表すことができる。以下の説明では、構造図の例としてラベルマップを使用し、構造体サーフェスや等高線のシナリオにも同様に適用される。
開示された実施形態によれば、分類器は訓練画像のセットを使用して訓練される。本明細書で使用される「訓練画像」は、画像点が既に分類されラベル付けされている画像である。例えば、訓練画像はアトラスであってもよい。本明細書において一貫して使用されるように、「アトラス」は、画像点および画像点がどの構造に属しているかを示す対応する構造描写（注釈）を含む。アトラス内の画像（アトラス画像とも呼ばれる）は、より早い時間に撮影された対象患者の以前の画像とすることができる。構造の描写は、例えば、構造ラベルマップ、構造体表面、または構造輪郭として表すことができる。以下の説明では、構造図の例としてラベルマップを使用し、構造体サーフェスや等高線のシナリオにも同様に適用される。
［０３５］
開示された実施形態によれば、訓練プロセスは、アトラス画像から抽出された特徴および対応する構造描写を使用して分類器を訓練する。以下でより詳細に説明するプロセスを使用して適切に訓練されると、そのようなアルゴリズムを使用して新しい画像を分割することができる。
開示された実施形態によれば、訓練プロセスは、アトラス画像から抽出された特徴および対応する構造描写を使用して分類器を訓練する。以下でより詳細に説明するプロセスを使用して適切に訓練されると、そのようなアルゴリズムを使用して新しい画像を分割することができる。
［０３６］
開示された実施形態によれば、訓練プロセスで使用されるアトラスは、セグメント化される新しい画像と同じ対象の先行する画像から導き出されてもよい。このような訓練画像とセグメント化される新しい画像との間の類似性は、セグメント化の精度および効率を改善することができる。いくつかの実施形態では、分類器を訓練するために使用されるアトラスは、事前に訓練された分類器を使用して以前の画像をセグメント化することによって得ることができる。いくつかの実施形態では、使用されるアトラスは、現在の画像に登録されてもよい。
開示された実施形態によれば、訓練プロセスで使用されるアトラスは、セグメント化される新しい画像と同じ対象の先行する画像から導き出されてもよい。このような訓練画像とセグメント化される新しい画像との間の類似性は、セグメント化の精度および効率を改善することができる。いくつかの実施形態では、分類器を訓練するために使用されるアトラスは、事前に訓練された分類器を使用して以前の画像をセグメント化することによって得ることができる。いくつかの実施形態では、使用されるアトラスは、現在の画像に登録されてもよい。
［０３７］
開示された実施形態によれば、放射線療法の過程で得られた患者内画像が使用される。患者内画像は、典型的には、所定の治療に対する患者の応答をチェックするために画像間の１日以上で取得される。患者の先行する画像情報を用いて同じ患者の解剖学的構造の連続画像の解剖学的構造を描写することは、後続画像のセグメント化を助ける。適応治療計画の評価／再計画と線量蓄積のためには、正確な連続画像セグメンテーションが前提条件である。
開示された実施形態によれば、放射線療法の過程で得られた患者内画像が使用される。患者内画像は、典型的には、所定の治療に対する患者の応答をチェックするために画像間の１日以上で取得される。患者の先行する画像情報を用いて同じ患者の解剖学的構造の連続画像の解剖学的構造を描写することは、後続画像のセグメント化を助ける。適応治療計画の評価／再計画と線量蓄積のためには、正確な連続画像セグメンテーションが前提条件である。
［０３８］
開示された実施形態によれば、連続ＣＴ画像のアトラスベースの自動セグメンテーション（ＡＢＡＳ）および統計学的学習（ＳＬ：Statistical Learning）セグメンテーションの組み合わせは、適応計画中および用量蓄積の決定中に同じ患者のセグメント化された連続画像を改善し得る。この組み合わせはまた、予測精度を高め、したがって画像セグメンテーションの品質を改善することができる。さらに、統計モデルを形成するために後日の画像に変形可能に登録された先行日の画像および構造の使用は、未登録画像に基づくモデルよりも正確なセグメント化を提供することができる。
開示された実施形態によれば、連続ＣＴ画像のアトラスベースの自動セグメンテーション（ＡＢＡＳ）および統計学的学習（ＳＬ：Statistical Learning）セグメンテーションの組み合わせは、適応計画中および用量蓄積の決定中に同じ患者のセグメント化された連続画像を改善し得る。この組み合わせはまた、予測精度を高め、したがって画像セグメンテーションの品質を改善することができる。さらに、統計モデルを形成するために後日の画像に変形可能に登録された先行日の画像および構造の使用は、未登録画像に基づくモデルよりも正確なセグメント化を提供することができる。
［０３９］
アトラスベースのセグメンテーションは、そのボクセル（アトラス）に付けられた解剖学的ラベルがターゲット画像に登録された後、対応するターゲットボクセルにアトラスラベルを割り当てる。統計的学習は、ラベルが特徴空間の領域に関連付けられている分類器プログラムを使用して、ターゲットボクセルラベルを割り当てる。特徴は、ボクセル強度、外観（局所的変動測定）、および画像の構造的特性を含む。ラベル−特徴の関連付けは、分類された画像について分類プログラムを訓練することによって学習される。
アトラスベースのセグメンテーションは、そのボクセル（アトラス）に付けられた解剖学的ラベルがターゲット画像に登録された後、対応するターゲットボクセルにアトラスラベルを割り当てる。統計的学習は、ラベルが特徴空間の領域に関連付けられている分類器プログラムを使用して、ターゲットボクセルラベルを割り当てる。特徴は、ボクセル強度、外観（局所的変動測定）、および画像の構造的特性を含む。ラベル−特徴の関連付けは、分類された画像について分類プログラムを訓練することによって学習される。
［０４０］
一実施形態では、使用される統計的学習方法は、ランダムフォレスト（ＲＦ）方法である。ランダムフォレストとは、決定木のセットである。訓練データ（ボクセルパッチのボクセル平均強度、およびインデックスボクセルの周りにランダムに配置されたパッチのペアなど）のランダムサンプル、およびデータに埋め込まれた変数のランダムな選択から始めて、このメソッドは、サンプルをラベルカテゴリに分類し、データサンプルを分割し、次にスプリットデータを、最良の分割が見つかるノードの次のペアまで追跡する。一実施形態では、この方法は、最大ツリー深度で終了するまで、または最小サンプルサイズに達するまで再帰的に実行される。ターミナルツリーノード（例えば、リーフ）は、ラベル割り当てを提供する。このように訓練されたツリーは、新しい特徴データがツリーのノードを介して処理されるときに分類を実行する。複数のツリーは、分類器の識別力を高める。ランダムフォレスト分類器はオーバーフィッティング（過学習、過剰適合）に抵抗し、効率的なイメージセグメンテーションに使用できる。前日の画像およびその構造について学んだ患者固有のＲＦモデルを組み込んだセグメンテーション手法は、集団モデルを単独で使用する方法よりも正確なセグメンテーションを提供する。
一実施形態では、使用される統計的学習方法は、ランダムフォレスト（ＲＦ）方法である。ランダムフォレストとは、決定木のセットである。訓練データ（ボクセルパッチのボクセル平均強度、およびインデックスボクセルの周りにランダムに配置されたパッチのペアなど）のランダムサンプル、およびデータに埋め込まれた変数のランダムな選択から始めて、このメソッドは、サンプルをラベルカテゴリに分類し、データサンプルを分割し、次にスプリットデータを、最良の分割が見つかるノードの次のペアまで追跡する。一実施形態では、この方法は、最大ツリー深度で終了するまで、または最小サンプルサイズに達するまで再帰的に実行される。ターミナルツリーノード（例えば、リーフ）は、ラベル割り当てを提供する。このように訓練されたツリーは、新しい特徴データがツリーのノードを介して処理されるときに分類を実行する。複数のツリーは、分類器の識別力を高める。ランダムフォレスト分類器はオーバーフィッティング（過学習、過剰適合）に抵抗し、効率的なイメージセグメンテーションに使用できる。前日の画像およびその構造について学んだ患者固有のＲＦモデルを組み込んだセグメンテーション手法は、集団モデルを単独で使用する方法よりも正確なセグメンテーションを提供する。
［０４１］
アトラスベースの自動セグメンテーション（ＡＢＡＳ）とランダムフォレスト（ＲＦ）セグメンテーションとの組み合わせは、本開示による例示的な組み合わせとして使用されるが、他の統計的学習アルゴリズムおよびアトラスベースの自動セグメンテーション（ＡＢＡＳ）との様々な組み合わせが考慮される。さらに、Ｘ線、ＣＴ、ＣＢＣＴ、螺旋ＣＴ、磁気共鳴イメージング（ＭＲＩ）、超音波（ＵＳ）、ポジトロン断層法（ＰＥＴ）単一フォトン放射断層撮影装置（ＳＰＥＣＴ）、および光学イメージングを含むが、これらに限定されない。さらに、開示された画像セグメンテーションシステムおよび方法は、２Ｄ画像および３Ｄ画像の両方をセグメント化するように適合させることができる。
アトラスベースの自動セグメンテーション（ＡＢＡＳ）とランダムフォレスト（ＲＦ）セグメンテーションとの組み合わせは、本開示による例示的な組み合わせとして使用されるが、他の統計的学習アルゴリズムおよびアトラスベースの自動セグメンテーション（ＡＢＡＳ）との様々な組み合わせが考慮される。さらに、Ｘ線、ＣＴ、ＣＢＣＴ、螺旋ＣＴ、磁気共鳴イメージング（ＭＲＩ）、超音波（ＵＳ）、ポジトロン断層法（ＰＥＴ）単一フォトン放射断層撮影装置（ＳＰＥＣＴ）、および光学イメージングを含むが、これらに限定されない。さらに、開示された画像セグメンテーションシステムおよび方法は、２Ｄ画像および３Ｄ画像の両方をセグメント化するように適合させることができる。
［０４２］
以下、添付図面を参照して例示的な実施形態を説明する。便宜上、同じ参照番号は、図面全体にわたって同じまたは同様の部分を指すために使用される。
以下、添付図面を参照して例示的な実施形態を説明する。便宜上、同じ参照番号は、図面全体にわたって同じまたは同様の部分を指すために使用される。
［０４３］
図２Ａは、本開示のいくつかの実施形態による例示的な放射線治療システム１００を示すブロック図である。放射線療法システム１００は、ＩＧＲＴシステムであってもよい。図２Ａに示すように、放射線治療システム１００は、制御コンソール１１０と、データベース１２０と、放射線治療装置１３０と、画像取得装置１４０とを含むことができる。いくつかの実施形態では、図２Ａの破線のボックス１５０によって示されるように、放射線治療装置１３０および画像取得装置１４０は、単一の画像ガイド放射線治療装置１５０に統合されてもよい。いくつかの実施形態では、放射線治療装置１３０および画像取得装置１４０は、別々の装置であってもよい。いくつかの実施形態では、図２Ａの放射線治療装置１３０と画像取得装置１４０との間に点線で示すように、放射線治療装置１３０および画像取得装置１４０を互いに物理的にまたは通信可能に接続することができる。
図２Ａは、本開示のいくつかの実施形態による例示的な放射線治療システム１００を示すブロック図である。放射線療法システム１００は、ＩＧＲＴシステムであってもよい。図２Ａに示すように、放射線治療システム１００は、制御コンソール１１０と、データベース１２０と、放射線治療装置１３０と、画像取得装置１４０とを含むことができる。いくつかの実施形態では、図２Ａの破線のボックス１５０によって示されるように、放射線治療装置１３０および画像取得装置１４０は、単一の画像ガイド放射線治療装置１５０に統合されてもよい。いくつかの実施形態では、放射線治療装置１３０および画像取得装置１４０は、別々の装置であってもよい。いくつかの実施形態では、図２Ａの放射線治療装置１３０と画像取得装置１４０との間に点線で示すように、放射線治療装置１３０および画像取得装置１４０を互いに物理的にまたは通信可能に接続することができる。
［０４４］
制御コンソール１１０は、放射線治療装置１３０および画像取得装置１４０を制御し、および／または治療計画、処置実行、画像取得、画像処理、動作追跡、動作管理、または他のタスクなどの機能または動作を実行するためのハードウェアおよびソフトウェア構成要素を含むことができる。放射線療法のプロセスに関与している。制御コンソール１１０のハードウェアコンポーネントは、１つ以上のコンピュータ（例えば、汎用コンピュータ、ワークステーション、サーバ、端末、ポータブル／モバイルデバイスなど）；プロセッサデバイス（例えば、中央演算処理装置（ＣＰＵ）、グラフィックス処理ユニット、マイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特殊目的または特別設計されたプロセッサなど）；メモリ／記憶装置（例えば、読出専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、ハードドライブ、光ディスク、ソリッドステートドライブ（ＳＳＤ）など）；入力デバイス（例えば、キーボード、マウス、タッチスクリーン、マイク、ボタン、ノブ、トラックボール、レバー、ハンドル、ジョイスティックなど）；出力デバイス（例えば、ディスプレイ、プリンタ、スピーカ、振動装置など）または他の適合したハードウェアを含むことができる。制御コンソール１１０のソフトウェアコンポーネントは、オペレーションシステムソフトウェア、アプリケーションソフトウェアなどを含むことができる。例えば、図２Ａに示すように、制御コンソール１１０は、制御コンソール１１０のメモリ／記憶装置に格納される治療計画／配信ソフトウェア１１５を含むことができる。ソフトウェア１１５は、以下に詳細に説明するプロセスを実行するためのコンピュータ可読および実行可能コードまたは命令を含むことができる。例えば、制御コンソール１１０のプロセッサ装置は、コードまたは命令にアクセスして実行するためにソフトウェア１１５を記憶するメモリ／記憶装置に通信可能に接続され得る。コードまたは命令の実行は、開示された実施形態と一致する１つまたは複数の機能を達成するために、プロセッサ装置に動作を実行させることができる。
制御コンソール１１０は、放射線治療装置１３０および画像取得装置１４０を制御し、および／または治療計画、処置実行、画像取得、画像処理、動作追跡、動作管理、または他のタスクなどの機能または動作を実行するためのハードウェアおよびソフトウェア構成要素を含むことができる。放射線療法のプロセスに関与している。制御コンソール１１０のハードウェアコンポーネントは、１つ以上のコンピュータ（例えば、汎用コンピュータ、ワークステーション、サーバ、端末、ポータブル／モバイルデバイスなど）；プロセッサデバイス（例えば、中央演算処理装置（ＣＰＵ）、グラフィックス処理ユニット、マイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特殊目的または特別設計されたプロセッサなど）；メモリ／記憶装置（例えば、読出専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、ハードドライブ、光ディスク、ソリッドステートドライブ（ＳＳＤ）など）；入力デバイス（例えば、キーボード、マウス、タッチスクリーン、マイク、ボタン、ノブ、トラックボール、レバー、ハンドル、ジョイスティックなど）；出力デバイス（例えば、ディスプレイ、プリンタ、スピーカ、振動装置など）または他の適合したハードウェアを含むことができる。制御コンソール１１０のソフトウェアコンポーネントは、オペレーションシステムソフトウェア、アプリケーションソフトウェアなどを含むことができる。例えば、図２Ａに示すように、制御コンソール１１０は、制御コンソール１１０のメモリ／記憶装置に格納される治療計画／配信ソフトウェア１１５を含むことができる。ソフトウェア１１５は、以下に詳細に説明するプロセスを実行するためのコンピュータ可読および実行可能コードまたは命令を含むことができる。例えば、制御コンソール１１０のプロセッサ装置は、コードまたは命令にアクセスして実行するためにソフトウェア１１５を記憶するメモリ／記憶装置に通信可能に接続され得る。コードまたは命令の実行は、開示された実施形態と一致する１つまたは複数の機能を達成するために、プロセッサ装置に動作を実行させることができる。
［０４５］
制御コンソール１１０は、データベース１２０に通信可能に接続され、データにアクセスすることができる。いくつかの実施形態では、データベース１２０は、制御コンソール１１０の近傍にある１つまたは複数のハードドライブ、光ディスク、および／またはサーバなどのローカルハードウェアデバイスを使用するように実装することができる。いくつかの実施形態では、データベース１２０は、制御コンソール１１０に関して遠隔に配置されたデータセンターまたはサーバに実装されてもよい。制御コンソール１１０は、有線または無線通信を介してデータベース１２０に格納されたデータにアクセスすることができる。
制御コンソール１１０は、データベース１２０に通信可能に接続され、データにアクセスすることができる。いくつかの実施形態では、データベース１２０は、制御コンソール１１０の近傍にある１つまたは複数のハードドライブ、光ディスク、および／またはサーバなどのローカルハードウェアデバイスを使用するように実装することができる。いくつかの実施形態では、データベース１２０は、制御コンソール１１０に関して遠隔に配置されたデータセンターまたはサーバに実装されてもよい。制御コンソール１１０は、有線または無線通信を介してデータベース１２０に格納されたデータにアクセスすることができる。
［０４６］
データベース１２０は、患者データ１２２を含むことができる。患者データは、（１）患者の解剖学的領域、臓器、または関心領域のセグメンテーションデータ（例えば、ＭＲＩ、ＣＴ、Ｘ線、ＰＥＴ、ＳＰＥＣＴなど）に関連する画像データ；（２）機能的器官モデリングデータ（例えば、直列対並列器官、および適切な用量応答モデル）；（３）放射線量データ（例えば、線量−体積ヒストグラム（ＤＶＨ）情報を含むことができる）；または（４）患者または治療経過に関する他の臨床情報のような情報を含むことができる。
データベース１２０は、患者データ１２２を含むことができる。患者データは、（１）患者の解剖学的領域、臓器、または関心領域のセグメンテーションデータ（例えば、ＭＲＩ、ＣＴ、Ｘ線、ＰＥＴ、ＳＰＥＣＴなど）に関連する画像データ；（２）機能的器官モデリングデータ（例えば、直列対並列器官、および適切な用量応答モデル）；（３）放射線量データ（例えば、線量−体積ヒストグラム（ＤＶＨ）情報を含むことができる）；または（４）患者または治療経過に関する他の臨床情報のような情報を含むことができる。
［０４７］
データベース１２０は、マシンデータ１２４を含むことができる。マシンデータ１２４は、放射線治療装置１３０、画像取得装置１４０、または放射線ビームサイズ、アーク配置、オン／オフ時間期間、放射線治療計画データ、マルチリーフコリメータ（ＭＬＣ）構成、ＭＲＩパルスシーケンスなどのような放射線療法に関連する他の機械に関連する情報を含むことができる。
データベース１２０は、マシンデータ１２４を含むことができる。マシンデータ１２４は、放射線治療装置１３０、画像取得装置１４０、または放射線ビームサイズ、アーク配置、オン／オフ時間期間、放射線治療計画データ、マルチリーフコリメータ（ＭＬＣ）構成、ＭＲＩパルスシーケンスなどのような放射線療法に関連する他の機械に関連する情報を含むことができる。
［０４８］
画像取得装置１４０は、患者の医用画像を提供することができる。例えば、画像取得装置１４０は、ＭＲＩ画像（例えば、２Ｄ（２次元）ＭＲＩ、３Ｄ（３次元）ＭＲＩ、２Ｄ（２次元）ングＭＲＩ、４Ｄ（４次元）容積ＭＲＩ、４Ｄ（４次元）ｃｉｎｅＭＲＩ）；コンピュータ断層撮影（ＣＴ）画像；コーンビームＣＴ画像；陽電子放射断層撮影（ＰＥＴ）画像；機能的ＭＲＩ画像（例えば、ｆＭＲＩ、ＤＣＥ−ＭＲＩ、拡散ＭＲＩ）；Ｘ線画像；透視画像；超音波画像；放射線治療ポータル画像；シングルフォトエミッションコンピュータ断層撮影（ＳＰＥＣＴ）画像；等のひとつまたはそれ以上を提供することができる。したがって、画像取得装置１４０は、ＭＲＩ画像化装置、ＣＴ画像化装置、ＰＥＴ画像化装置、超音波画像化装置、蛍光透視装置、ＳＰＥＣＴ画像化装置、または患者の医用画像を取得するための他の医療装置を含むことができる。
画像取得装置１４０は、患者の医用画像を提供することができる。例えば、画像取得装置１４０は、ＭＲＩ画像（例えば、２Ｄ（２次元）ＭＲＩ、３Ｄ（３次元）ＭＲＩ、２Ｄ（２次元）ングＭＲＩ、４Ｄ（４次元）容積ＭＲＩ、４Ｄ（４次元）ｃｉｎｅＭＲＩ）；コンピュータ断層撮影（ＣＴ）画像；コーンビームＣＴ画像；陽電子放射断層撮影（ＰＥＴ）画像；機能的ＭＲＩ画像（例えば、ｆＭＲＩ、ＤＣＥ−ＭＲＩ、拡散ＭＲＩ）；Ｘ線画像；透視画像；超音波画像；放射線治療ポータル画像；シングルフォトエミッションコンピュータ断層撮影（ＳＰＥＣＴ）画像；等のひとつまたはそれ以上を提供することができる。したがって、画像取得装置１４０は、ＭＲＩ画像化装置、ＣＴ画像化装置、ＰＥＴ画像化装置、超音波画像化装置、蛍光透視装置、ＳＰＥＣＴ画像化装置、または患者の医用画像を取得するための他の医療装置を含むことができる。
［０４９］
放射線治療装置１３０は、Ｌｅｋｓｅｌｌガンマナイフ、線形加速器またはＬＩＮＡＣ、または、制御可能な方法で患者の解剖学的関心領域に放射線を送達することができる他の適切な装置を含むことができる。
放射線治療装置１３０は、Ｌｅｋｓｅｌｌガンマナイフ、線形加速器またはＬＩＮＡＣ、または、制御可能な方法で患者の解剖学的関心領域に放射線を送達することができる他の適切な装置を含むことができる。
［０５０］
図２Ｂは、開示された実施形態と一致する例示的な画像ガイド放射線治療システム２００を示す。いくつかの実施形態によれば、開示された画像セグメンテーションシステムは、図２Ａを参照して説明したような放射線療法システムの一部であってもよい。図示されているように、システム２００は、カウチ２１０、画像取得装置２２０、および放射線送達装置２３０を含むことができる。システム２００は、放射線治療計画に従って患者に放射線治療を行う。
図２Ｂは、開示された実施形態と一致する例示的な画像ガイド放射線治療システム２００を示す。いくつかの実施形態によれば、開示された画像セグメンテーションシステムは、図２Ａを参照して説明したような放射線療法システムの一部であってもよい。図示されているように、システム２００は、カウチ２１０、画像取得装置２２０、および放射線送達装置２３０を含むことができる。システム２００は、放射線治療計画に従って患者に放射線治療を行う。
［０５１］
カウチ２１０は、治療セッション中に患者（図示せず）を支持することができる。いくつかの実施態様では、カウチ２１０は、カウチ２１０上に置かれた患者をシステム２００内および／または外に動かすことができるように、水平移動軸（「Ｉ」と表示されている）に沿って移動することができる。また、カウチ２１０は、並進軸を横切る中心垂直回転軸の周りを回転してもよい。このような移動または回転を可能にするために、カウチ２１０は、寝台が様々な方向に移動し、様々な軸に沿って回転することを可能にするモータ（図示せず）を有することができる。コントローラ（図示せず）は、治療計画に従って患者を適切に配置するために、これらの動きまたは回転を制御することができる。
カウチ２１０は、治療セッション中に患者（図示せず）を支持することができる。いくつかの実施態様では、カウチ２１０は、カウチ２１０上に置かれた患者をシステム２００内および／または外に動かすことができるように、水平移動軸（「Ｉ」と表示されている）に沿って移動することができる。また、カウチ２１０は、並進軸を横切る中心垂直回転軸の周りを回転してもよい。このような移動または回転を可能にするために、カウチ２１０は、寝台が様々な方向に移動し、様々な軸に沿って回転することを可能にするモータ（図示せず）を有することができる。コントローラ（図示せず）は、治療計画に従って患者を適切に配置するために、これらの動きまたは回転を制御することができる。
［０５２］
いくつかの実施形態では、画像取得装置２２０は、治療セッションの前、最中および／または後に患者の２Ｄ（２次元）または３Ｄ（３次元）ＭＲＩ画像を取得するために使用されるＭＲＩ装置を含むことができる。画像取得装置２２０は、磁気共鳴撮像のための主磁場を生成するための磁石２２１を含むことができる。磁石２２１の動作によって生成される磁力線は、中心平行移動軸Ｉに実質的に平行であってもよい。磁石２２１は、並進軸Ｉに平行に延びる軸を有する１つ以上のコイルを含むことができる。いくつかの実施形態では、磁石２２１の１つ以上のコイルは、磁石２２１の中央窓２２３にコイルがないように離間されていてもよい。他の実施形態では、磁石２２１のコイルは、放射線治療装置２３０によって生成された波長の放射線に対して実質的に透明であるように、十分に薄いか、または密度が低減されてもよい。画像取得装置２２０は、また磁石２２１の外側の磁場を相殺または低減するために、磁石２２１の外側にほぼ等しい大きさおよび反対極性の磁場を生成することができる１つまたは複数の遮蔽コイルを含むことができる。以下に説明するように、放射線治療装置２３０の放射線源２３１は、磁界が打ち消される領域、少なくとも第１の順番に減少される領域に配置されてもよい。
いくつかの実施形態では、画像取得装置２２０は、治療セッションの前、最中および／または後に患者の２Ｄ（２次元）または３Ｄ（３次元）ＭＲＩ画像を取得するために使用されるＭＲＩ装置を含むことができる。画像取得装置２２０は、磁気共鳴撮像のための主磁場を生成するための磁石２２１を含むことができる。磁石２２１の動作によって生成される磁力線は、中心平行移動軸Ｉに実質的に平行であってもよい。磁石２２１は、並進軸Ｉに平行に延びる軸を有する１つ以上のコイルを含むことができる。いくつかの実施形態では、磁石２２１の１つ以上のコイルは、磁石２２１の中央窓２２３にコイルがないように離間されていてもよい。他の実施形態では、磁石２２１のコイルは、放射線治療装置２３０によって生成された波長の放射線に対して実質的に透明であるように、十分に薄いか、または密度が低減されてもよい。画像取得装置２２０は、また磁石２２１の外側の磁場を相殺または低減するために、磁石２２１の外側にほぼ等しい大きさおよび反対極性の磁場を生成することができる１つまたは複数の遮蔽コイルを含むことができる。以下に説明するように、放射線治療装置２３０の放射線源２３１は、磁界が打ち消される領域、少なくとも第１の順番に減少される領域に配置されてもよい。
［０５３］
画像取得装置２２０は、また主磁場に重畳される勾配磁場を生成することができる２つの勾配コイル２２５，２２６を含むことができる。コイル２２５，２２６は、その位置を決定することができるように陽子の空間符号化を可能にする合成磁界に勾配を生成することができる。勾配コイル２２５，２２６は、磁石２２１と共通の中心軸の周りに配置され、その中心軸に沿って変位することができる。変位により、コイル２２５とコイル２２６との間にギャップすなわち窓が形成されることがある。磁石２２１がコイル間の中央ウィンドウ２２３を含む実施形態では、２つのウィンドウが互いに位置合わせされる。いくつかの実施形態では、画像取得装置２２０は、Ｘ線、ＣＴ、ＣＢＣＴ、螺旋ＣＴ、ＰＥＴ、ＳＰＥＣＴ、光学断層撮影、蛍光画像化、超音波イメージング、または放射線治療のポータルイメージングデバイスなどのＭＲＩ以外のイメージング装置であってもよい。
画像取得装置２２０は、また主磁場に重畳される勾配磁場を生成することができる２つの勾配コイル２２５，２２６を含むことができる。コイル２２５，２２６は、その位置を決定することができるように陽子の空間符号化を可能にする合成磁界に勾配を生成することができる。勾配コイル２２５，２２６は、磁石２２１と共通の中心軸の周りに配置され、その中心軸に沿って変位することができる。変位により、コイル２２５とコイル２２６との間にギャップすなわち窓が形成されることがある。磁石２２１がコイル間の中央ウィンドウ２２３を含む実施形態では、２つのウィンドウが互いに位置合わせされる。いくつかの実施形態では、画像取得装置２２０は、Ｘ線、ＣＴ、ＣＢＣＴ、螺旋ＣＴ、ＰＥＴ、ＳＰＥＣＴ、光学断層撮影、蛍光画像化、超音波イメージング、または放射線治療のポータルイメージングデバイスなどのＭＲＩ以外のイメージング装置であってもよい。
［０５４］
放射線治療装置２３０は、Ｘ線源または線形加速器などの放射線源２３１と、マルチリーフコリメータ（ＭＬＣ）２３３とを含むことができる。放射線治療装置２３０は、シャーシ２３５に取り付けられてもよい。カウチ２１０が治療領域に挿入されると、１つまたは複数のシャーシモータ（図示せず）が、カウチ２１０の周りでシャーシ２３５を回転させることができる。一実施形態では、カウチ２１０が治療領域に挿入されると、シャーシ２３５はカウチ２１０の周りで連続的に回転可能である。シャーシ２３５は、好ましくは、放射線源２３１に対向して配置され、放射線源２３１と検出器との間にシャーシ３３５の回転軸が配置された、取り付けられた放射線検出器（図示せず）を有してもよい。さらに、放射線治療装置２３０は、例えば、カウチ２１０、画像取得装置２２０、および放射線治療装置２３０のうちの１つまたは複数を制御するために使用される制御回路（図示せず）を含むことができる。放射線治療装置２３０の制御回路は、システム２００内に一体化されていてもよいし、システム２００から離れていてもよい。
放射線治療装置２３０は、Ｘ線源または線形加速器などの放射線源２３１と、マルチリーフコリメータ（ＭＬＣ）２３３とを含むことができる。放射線治療装置２３０は、シャーシ２３５に取り付けられてもよい。カウチ２１０が治療領域に挿入されると、１つまたは複数のシャーシモータ（図示せず）が、カウチ２１０の周りでシャーシ２３５を回転させることができる。一実施形態では、カウチ２１０が治療領域に挿入されると、シャーシ２３５はカウチ２１０の周りで連続的に回転可能である。シャーシ２３５は、好ましくは、放射線源２３１に対向して配置され、放射線源２３１と検出器との間にシャーシ３３５の回転軸が配置された、取り付けられた放射線検出器（図示せず）を有してもよい。さらに、放射線治療装置２３０は、例えば、カウチ２１０、画像取得装置２２０、および放射線治療装置２３０のうちの１つまたは複数を制御するために使用される制御回路（図示せず）を含むことができる。放射線治療装置２３０の制御回路は、システム２００内に一体化されていてもよいし、システム２００から離れていてもよい。
［０５５］
放射線療法の治療セッションの間に、患者はソファー２１０上に配置される。次いで、システム２００は、磁気コイル２２１，２２５，２２６、およびシャーシ２３５によって画定された治療領域に寝台３１０を移動させる。次に、制御コンソール２４０は、放射線治療計画に従ってコイル２２５と２２６の間の窓を通して患者に放射線を送達するように、放射線源２３１、ＭＬＣ２３３、およびシャーシモータを制御する。
放射線療法の治療セッションの間に、患者はソファー２１０上に配置される。次いで、システム２００は、磁気コイル２２１，２２５，２２６、およびシャーシ２３５によって画定された治療領域に寝台３１０を移動させる。次に、制御コンソール２４０は、放射線治療計画に従ってコイル２２５と２２６の間の窓を通して患者に放射線を送達するように、放射線源２３１、ＭＬＣ２３３、およびシャーシモータを制御する。
［０５６］
図３は、本開示のいくつかの実施形態による医用画像をセグメント化するための例示的な画像セグメンテーションシステム３００を示す。画像セグメンテーションシステム３００は、医用画像データベース３０１、分類器訓練ユニット３０２、構造分類ユニット３０３、およびネットワーク３０５を含むことができる。いくつかの実施形態では、画像セグメンテーションシステム３００は、図３に示されたコンポーネントをおおよそ含むことができる。例えば、解剖学的分類器が予め訓練されて提供される場合、画像分類システム３００は、構造分類ユニット３０３、医用画像データベース３０１のみを含み、任意にネットワーク３０５を含むことができる。
図３は、本開示のいくつかの実施形態による医用画像をセグメント化するための例示的な画像セグメンテーションシステム３００を示す。画像セグメンテーションシステム３００は、医用画像データベース３０１、分類器訓練ユニット３０２、構造分類ユニット３０３、およびネットワーク３０５を含むことができる。いくつかの実施形態では、画像セグメンテーションシステム３００は、図３に示されたコンポーネントをおおよそ含むことができる。例えば、解剖学的分類器が予め訓練されて提供される場合、画像分類システム３００は、構造分類ユニット３０３、医用画像データベース３０１のみを含み、任意にネットワーク３０５を含むことができる。
［０５７］
いくつかの実施形態では、画像セグメンテーションシステム３００の様々なコンポーネントは、互いに遠隔に位置し、ネットワーク３０５を介して接続されてもよい。いくつかの代替の実施形態では、画像セグメンテーションシステム３００の特定の構成要素は、同一のサイトまたは１つの装置の内部に配置されてもよい。例えば、医用画像データベース３０１は、分類器訓練ユニット３０２を備えた現場に配置されてもよく、または分類器訓練ユニット３０２の一部であってもよい。別の例として、分類器訓練ユニット３０２および構造分類ユニット３０３は、同じコンピュータまたは処理装置の内部にあってもよい。
いくつかの実施形態では、画像セグメンテーションシステム３００の様々なコンポーネントは、互いに遠隔に位置し、ネットワーク３０５を介して接続されてもよい。いくつかの代替の実施形態では、画像セグメンテーションシステム３００の特定の構成要素は、同一のサイトまたは１つの装置の内部に配置されてもよい。例えば、医用画像データベース３０１は、分類器訓練ユニット３０２を備えた現場に配置されてもよく、または分類器訓練ユニット３０２の一部であってもよい。別の例として、分類器訓練ユニット３０２および構造分類ユニット３０３は、同じコンピュータまたは処理装置の内部にあってもよい。
［０５８］
画像セグメンテーションシステム３００は、医用画像データベース３０１に記憶された連続的な患者内ＣＴ画像をセグメント化するために使用されてもよい。本開示によれば、「連続画像」は、患者の一連の放射線治療セッション中に取得された画像であってもよい。連続放射線治療セッションは、患者の放射線治療計画に従って、設定された頻度（例えば、毎日、毎週など）または離散的な時点で実行されてもよい。シリアル画像は、現在の画像および以前の画像を含むことができる。いくつかの実施形態では、「現在の画像」は、患者の今日の医療画像、例えば、現在の日に発生した患者の治療セッション中に撮影された画像であってもよい。図３に示すように、分類器学習ユニット３０２は、医用画像データベース３０１と通信して、同じ患者の１つ以上の「先行画像」を受信することができる。「先行画像」は、同じ患者の治療セッション中に撮影されたが、前日に発生した画像であってもよい。医用画像データベース３０１に格納された先行画像は、以前の放射線治療処理セッションの画像を含む医用画像データベースから取得することができる。
画像セグメンテーションシステム３００は、医用画像データベース３０１に記憶された連続的な患者内ＣＴ画像をセグメント化するために使用されてもよい。本開示によれば、「連続画像」は、患者の一連の放射線治療セッション中に取得された画像であってもよい。連続放射線治療セッションは、患者の放射線治療計画に従って、設定された頻度（例えば、毎日、毎週など）または離散的な時点で実行されてもよい。シリアル画像は、現在の画像および以前の画像を含むことができる。いくつかの実施形態では、「現在の画像」は、患者の今日の医療画像、例えば、現在の日に発生した患者の治療セッション中に撮影された画像であってもよい。図３に示すように、分類器学習ユニット３０２は、医用画像データベース３０１と通信して、同じ患者の１つ以上の「先行画像」を受信することができる。「先行画像」は、同じ患者の治療セッション中に撮影されたが、前日に発生した画像であってもよい。医用画像データベース３０１に格納された先行画像は、以前の放射線治療処理セッションの画像を含む医用画像データベースから取得することができる。
［０５９］
いくつかの実施形態では、先行画像は予めセグメント化することができる。例えば、以前の画像は、画像セグメンテーションシステム３００によって自動的に、またはユーザ３１３によって手動でセグメント化することができる。ユーザ３１３は、先行画像に関連するエキスパート構造ラベルマップを提供するエキスパート、例えば、医学的画像における解剖学的構造に精通した放射線科医または別の医師であってもよい。その場合、従来の画像およびそれらの対応する構造ラベルマップは、構造分類器を訓練するために分類器訓練ユニット３０２によって容易に使用できるアトラスになる。
いくつかの実施形態では、先行画像は予めセグメント化することができる。例えば、以前の画像は、画像セグメンテーションシステム３００によって自動的に、またはユーザ３１３によって手動でセグメント化することができる。ユーザ３１３は、先行画像に関連するエキスパート構造ラベルマップを提供するエキスパート、例えば、医学的画像における解剖学的構造に精通した放射線科医または別の医師であってもよい。その場合、従来の画像およびそれらの対応する構造ラベルマップは、構造分類器を訓練するために分類器訓練ユニット３０２によって容易に使用できるアトラスになる。
［０６０］
前の画像が予めセグメント化されていない場合、セグメント化のために構造分類ユニット３０３に送られてもよい。いくつかの実施形態では、構造分類ユニット３０３は、最新の訓練された分類器を使用して、以前の画像をセグメント化してもよいし、セグメント化のために以前に訓練された分類器を併合してもよい。構造分類ユニット３０３は、各先行画像について構造ラベルマップを提供することができる。次に、構造分類ユニット３０３は、訓練画像として分類器訓練ユニット３０２に、それらの対応する構造ラベルマップと共に先行画像からなるアトラスを提供することができる。
前の画像が予めセグメント化されていない場合、セグメント化のために構造分類ユニット３０３に送られてもよい。いくつかの実施形態では、構造分類ユニット３０３は、最新の訓練された分類器を使用して、以前の画像をセグメント化してもよいし、セグメント化のために以前に訓練された分類器を併合してもよい。構造分類ユニット３０３は、各先行画像について構造ラベルマップを提供することができる。次に、構造分類ユニット３０３は、訓練画像として分類器訓練ユニット３０２に、それらの対応する構造ラベルマップと共に先行画像からなるアトラスを提供することができる。
［０６１］
分類器訓練ユニット３０２は、医用画像データベース３０１から受け取った訓練画像を使用して、学習アルゴリズムを使用して構造分類器を生成することができる。図３に示すように、分類器訓練ユニット３０２は、アトラス登録モジュール３２１、特徴抽出モジュール３２２、および訓練モジュール３２３を含むことができる。分類器訓練ユニット３０２は、医療画像データベース３０１、ネットワーク３０５、および／またはユーザ３１２と通信するための入力および出力インターフェース（図示せず）をさらに含むことができる。いくつかの実施形態によれば、分類器訓練ユニット３０２は、解剖学的分類器訓練プロセスを実行するソフトウェアによって特別にプログラムされたハードウェア（例えば、図４に開示されるようなもの）で実施されてもよい。
分類器訓練ユニット３０２は、医用画像データベース３０１から受け取った訓練画像を使用して、学習アルゴリズムを使用して構造分類器を生成することができる。図３に示すように、分類器訓練ユニット３０２は、アトラス登録モジュール３２１、特徴抽出モジュール３２２、および訓練モジュール３２３を含むことができる。分類器訓練ユニット３０２は、医療画像データベース３０１、ネットワーク３０５、および／またはユーザ３１２と通信するための入力および出力インターフェース（図示せず）をさらに含むことができる。いくつかの実施形態によれば、分類器訓練ユニット３０２は、解剖学的分類器訓練プロセスを実行するソフトウェアによって特別にプログラムされたハードウェア（例えば、図４に開示されるようなもの）で実施されてもよい。
［０６２］
アトラス登録モジュール３２１は、現在の画像に以前の画像を登録することができる。イメージ登録は、異なるデータセットを１つの座標系に変換するプロセスです。典型的な画像レジストレーションアルゴリズムは、強度ベースまたは特徴ベース、またはその２つの組み合わせである。特に、特徴ベースの方法は、点、線、および輪郭などの画像特徴間の対応関係を見つける。いくつかの実施形態では、登録プロセスは、アトラス画像の画像点を現在の画像の画像点にマッピングすることを含むことができる。いくつかの代替の実施形態では、登録プロセスは、アトラス画像および現在の画像の両方を基準画像にマッピングすることを含むことができる。これらの実施形態では、基準画像は、例えば、平均アトラス画像または共通テンプレート画像とすることができる。したがって、アトラス画像は、現在の画像に「間接的に」マッピングされる。線形レジストレーション、オブジェクト駆動「ポリスムース」非線形レジストレーション、または形状に制約のある高密度変形可能レジストレーションのいずれかの１つまたは組み合わせなど、様々な画像レジストレーション方法を使用することができる。画像登録を実行することにより、各アトラスについてアトラス画像から基準画像への画像変換が計算される。
アトラス登録モジュール３２１は、現在の画像に以前の画像を登録することができる。イメージ登録は、異なるデータセットを１つの座標系に変換するプロセスです。典型的な画像レジストレーションアルゴリズムは、強度ベースまたは特徴ベース、またはその２つの組み合わせである。特に、特徴ベースの方法は、点、線、および輪郭などの画像特徴間の対応関係を見つける。いくつかの実施形態では、登録プロセスは、アトラス画像の画像点を現在の画像の画像点にマッピングすることを含むことができる。いくつかの代替の実施形態では、登録プロセスは、アトラス画像および現在の画像の両方を基準画像にマッピングすることを含むことができる。これらの実施形態では、基準画像は、例えば、平均アトラス画像または共通テンプレート画像とすることができる。したがって、アトラス画像は、現在の画像に「間接的に」マッピングされる。線形レジストレーション、オブジェクト駆動「ポリスムース」非線形レジストレーション、または形状に制約のある高密度変形可能レジストレーションのいずれかの１つまたは組み合わせなど、様々な画像レジストレーション方法を使用することができる。画像登録を実行することにより、各アトラスについてアトラス画像から基準画像への画像変換が計算される。
［０６３］
アトラス登録モジュール３２１は、アトラスの対応する画像変換を使用して、各アトラスの描写（例えば、構造ラベル）を基準画像の空間にさらにマップすることができる。マッピングされた構造ラベルは、対応するアトラスからの現在のイメージの独立した分類データ、すなわち独立したセグメンテーション結果を表す。
アトラス登録モジュール３２１は、アトラスの対応する画像変換を使用して、各アトラスの描写（例えば、構造ラベル）を基準画像の空間にさらにマップすることができる。マッピングされた構造ラベルは、対応するアトラスからの現在のイメージの独立した分類データ、すなわち独立したセグメンテーション結果を表す。
［０６４］
マップされたアトラス画像および対応するマップされた構造ラベルは、「登録されたアトラス」とも呼ばれる、マップされたアトラスを構成する。いくつかの実施形態では、分類器訓練ユニット３０２は、マッピングされたアトラスを使用して、現在の画像をセグメント化するための構造分類器を訓練することができる。あるいは、分類器訓練ユニット３０２は、訓練のためのエキスパート構造ラベルマップと共に、マッピングされたアトラス画像を使用してもよい。
マップされたアトラス画像および対応するマップされた構造ラベルは、「登録されたアトラス」とも呼ばれる、マップされたアトラスを構成する。いくつかの実施形態では、分類器訓練ユニット３０２は、マッピングされたアトラスを使用して、現在の画像をセグメント化するための構造分類器を訓練することができる。あるいは、分類器訓練ユニット３０２は、訓練のためのエキスパート構造ラベルマップと共に、マッピングされたアトラス画像を使用してもよい。
［０６５］
特徴抽出モジュール３２２は、選択された各画像点について、画像強度、画像テクスチャ、画像パッチ、および輝度プロファイルの曲率などの１つまたは複数の特徴を決定および導出することができる。この特徴抽出プロセスは、訓練画像内のすべての画像点が選択されて処理されるまで、訓練画像内の選択された画像点のセットに対して繰り返され得る。
特徴抽出モジュール３２２は、選択された各画像点について、画像強度、画像テクスチャ、画像パッチ、および輝度プロファイルの曲率などの１つまたは複数の特徴を決定および導出することができる。この特徴抽出プロセスは、訓練画像内のすべての画像点が選択されて処理されるまで、訓練画像内の選択された画像点のセットに対して繰り返され得る。
［０６６］
訓練モジュール３２３は、分類器を訓練するために、選択された画像点を訓練データとして使用することができる。いくつかの実施形態では、訓練は、教師付き機械学習アルゴリズムなどの学習アルゴリズムに基づいてもよい。例えば、ＳＶＭ（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ）、Ａｄａｂｏｏｓｔ／Ｌｏｇｉｔｂｏｏｓｔ、ランダムフォレスト、ニューラルネットワークなどの学習アルゴリズムを使用することができる。分類器は、訓練画像内の特定の画像点の特徴がモデルに入力されると、画像点の所定の構造ラベルに一致する解剖学的構造の予測を出力するように訓練される。多数の訓練画像から多数の画像点を用いて訓練された後、分類器は、任意の新しい画像における分類されていない画像点の解剖学的構造を予測するのに十分な能力を有するようになる。
訓練モジュール３２３は、分類器を訓練するために、選択された画像点を訓練データとして使用することができる。いくつかの実施形態では、訓練は、教師付き機械学習アルゴリズムなどの学習アルゴリズムに基づいてもよい。例えば、ＳＶＭ（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ）、Ａｄａｂｏｏｓｔ／Ｌｏｇｉｔｂｏｏｓｔ、ランダムフォレスト、ニューラルネットワークなどの学習アルゴリズムを使用することができる。分類器は、訓練画像内の特定の画像点の特徴がモデルに入力されると、画像点の所定の構造ラベルに一致する解剖学的構造の予測を出力するように訓練される。多数の訓練画像から多数の画像点を用いて訓練された後、分類器は、任意の新しい画像における分類されていない画像点の解剖学的構造を予測するのに十分な能力を有するようになる。
［０６７］
構造分類ユニット３０３は、分類器訓練ユニット３０２から訓練された構造分類器を受け取ることができる。図３に示すように、構造分類ユニット３０３は、特徴抽出モジュール３３１および分類モジュール３３２を含むことができる。構造分類ユニット３０３は、医用画像データベース３０１、ネットワーク３０５およびユーザ３１３と通信するための入力および出力インターフェース（図示せず）をさらに含むことができる。いくつかの実施形態によれば、構造分類ユニット３０３は、解剖学的分類器訓練プロセスを実行するソフトウェアによって特別にプログラムされたハードウェア（例えば、図４に開示されるようなもの）で実施されてもよい。
構造分類ユニット３０３は、分類器訓練ユニット３０２から訓練された構造分類器を受け取ることができる。図３に示すように、構造分類ユニット３０３は、特徴抽出モジュール３３１および分類モジュール３３２を含むことができる。構造分類ユニット３０３は、医用画像データベース３０１、ネットワーク３０５およびユーザ３１３と通信するための入力および出力インターフェース（図示せず）をさらに含むことができる。いくつかの実施形態によれば、構造分類ユニット３０３は、解剖学的分類器訓練プロセスを実行するソフトウェアによって特別にプログラムされたハードウェア（例えば、図４に開示されるようなもの）で実施されてもよい。
［０６８］
構造分類ユニット３０３は、医用画像データベース３０１と通信して、１つまたは複数の現在の画像を受け取ることができる。現在の画像は、従来の画像と同じオブジェクトであってもよい。特徴抽出モジュール３３１は、特徴抽出モジュール３２２と同様のハードウェアおよびソフトウェア構造を有することができる。特徴抽出モジュール３３１は、医用画像データベース３０１から受信した現在の各画像上の１つ以上の特徴を識別することができる。特徴抽出モジュール３３１によって抽出された特徴は、特徴抽出モジュール３２２によって訓練段階中に使用されたものと同じであってもよいし、類似していてもよい。決定された特徴は、分類モジュール３３２に提供されてもよい。
構造分類ユニット３０３は、医用画像データベース３０１と通信して、１つまたは複数の現在の画像を受け取ることができる。現在の画像は、従来の画像と同じオブジェクトであってもよい。特徴抽出モジュール３３１は、特徴抽出モジュール３２２と同様のハードウェアおよびソフトウェア構造を有することができる。特徴抽出モジュール３３１は、医用画像データベース３０１から受信した現在の各画像上の１つ以上の特徴を識別することができる。特徴抽出モジュール３３１によって抽出された特徴は、特徴抽出モジュール３２２によって訓練段階中に使用されたものと同じであってもよいし、類似していてもよい。決定された特徴は、分類モジュール３３２に提供されてもよい。
［０６９］
分類モジュール３３２は、分類器訓練ユニット３０２から受け取った訓練された構造分類器と、特徴抽出モジュール３３１から受け取った特徴とを使用して、それぞれの画像点の構造ラベルを予測することができる。選択された全ての画像点が分類されると、分類モジュール３３２は、セグメント化された画像を出力することができる。いくつかの実施形態では、セグメント化された画像は、ユーザ３１３に表示されてもよく、および／またはさらなる治療用途のために治療計画／配信ソフトウェア１１５に提供されてもよい。いくつかの実施形態では、セグメント化された画像は、医用画像データベース３０１に自動的に格納され、事前画像になることができる。
分類モジュール３３２は、分類器訓練ユニット３０２から受け取った訓練された構造分類器と、特徴抽出モジュール３３１から受け取った特徴とを使用して、それぞれの画像点の構造ラベルを予測することができる。選択された全ての画像点が分類されると、分類モジュール３３２は、セグメント化された画像を出力することができる。いくつかの実施形態では、セグメント化された画像は、ユーザ３１３に表示されてもよく、および／またはさらなる治療用途のために治療計画／配信ソフトウェア１１５に提供されてもよい。いくつかの実施形態では、セグメント化された画像は、医用画像データベース３０１に自動的に格納され、事前画像になることができる。
［０７０］
ネットワーク３０５は、画像分割システム３００内の上記の構成要素のいずれかの間の接続を提供することができる。例えば、ネットワーク３０５は、ローカルエリアネットワーク（ＬＡＮ）、無線ネットワーク、クラウドコンピューティング環境（例えば、サービスとしてのソフトウェア、サービスとしてのプラットフォーム、サービスとしてのインフラストラクチャ）、クライアント−サーバ、ワイドエリアネットワーク（ＷＡＮ）などを含む。
ネットワーク３０５は、画像分割システム３００内の上記の構成要素のいずれかの間の接続を提供することができる。例えば、ネットワーク３０５は、ローカルエリアネットワーク（ＬＡＮ）、無線ネットワーク、クラウドコンピューティング環境（例えば、サービスとしてのソフトウェア、サービスとしてのプラットフォーム、サービスとしてのインフラストラクチャ）、クライアント−サーバ、ワイドエリアネットワーク（ＷＡＮ）などを含む。
［０７１］
図４は、本開示のいくつかの実施形態による例示的な医療画像処理装置４００を示す。医用画像処理装置４００は、分類器訓練ユニット３０２、構造分類ユニット３０３、またはそれらの組み合わせの実施形態であってもよい。別の実施形態では、処理装置４００は、
図２Ａ、図２Ｂに示される制御コンソール１１０または放射線治療装置２３０に一体化することができる。いくつかの実施形態では、医用画像処理装置４００は、専用コンピュータまたは汎用コンピュータであってもよい。例えば、医用画像処理装置４００は、病院が画像取得および画像処理タスクを処理するために構築されたカスタムコンピュータであってもよい。
図４は、本開示のいくつかの実施形態による例示的な医療画像処理装置４００を示す。医用画像処理装置４００は、分類器訓練ユニット３０２、構造分類ユニット３０３、またはそれらの組み合わせの実施形態であってもよい。別の実施形態では、処理装置４００は、
図２Ａ、図２Ｂに示される制御コンソール１１０または放射線治療装置２３０に一体化することができる。いくつかの実施形態では、医用画像処理装置４００は、専用コンピュータまたは汎用コンピュータであってもよい。例えば、医用画像処理装置４００は、病院が画像取得および画像処理タスクを処理するために構築されたカスタムコンピュータであってもよい。
［０７２］
図４に示すように、医用画像処理装置４００は、プロセッサ４２１、メモリ４２２、データベース４２５、データ記憶装置４２６、入力／出力インターフェース４２７、ネットワークインターフェース４２８、およびディスプレイ４２９を含むことができる。処理装置４００の構成要素は、バス（ＢＵＳ）を介して接続されてもよい。
図４に示すように、医用画像処理装置４００は、プロセッサ４２１、メモリ４２２、データベース４２５、データ記憶装置４２６、入力／出力インターフェース４２７、ネットワークインターフェース４２８、およびディスプレイ４２９を含むことができる。処理装置４００の構成要素は、バス（ＢＵＳ）を介して接続されてもよい。
［０７３］
プロセッサ４２１は、マイクロプロセッサ、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）などのような１つまたは複数の汎用処理装置であってもよい。より詳細には、プロセッサ４２１は、ＣＩＳＣ（Complex Instruction Set Computing）マイクロプロセッサ、ＲＩＳＣ（Reduced Instruction Set Computing）マイクロプロセッサ、ＶＬＩＷ（Very Long Instruction Word）マイクロプロセッサ、他の命令セットを実装するプロセッサであってもよい。プロセッサ４２１は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、システムオンチップ（ＳｏＣ）などの１つ以上の専用処理装置であってもよい。プロセッサ４２１は、メモリ４２２に通信可能に結合され、そこに格納されたコンピュータ実行可能命令を実行するように構成されてもよい。
プロセッサ４２１は、マイクロプロセッサ、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）などのような１つまたは複数の汎用処理装置であってもよい。より詳細には、プロセッサ４２１は、ＣＩＳＣ（Complex Instruction Set Computing）マイクロプロセッサ、ＲＩＳＣ（Reduced Instruction Set Computing）マイクロプロセッサ、ＶＬＩＷ（Very Long Instruction Word）マイクロプロセッサ、他の命令セットを実装するプロセッサであってもよい。プロセッサ４２１は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、システムオンチップ（ＳｏＣ）などの１つ以上の専用処理装置であってもよい。プロセッサ４２１は、メモリ４２２に通信可能に結合され、そこに格納されたコンピュータ実行可能命令を実行するように構成されてもよい。
［０７４］
メモリ４２２は、例えば、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）、およびスタティックメモリを含むことができる。いくつかの実施形態では、メモリ４２２は、１つまたは複数の画像処理プログラム４２３などのコンピュータ実行可能命令、ならびに医療画像データ４２４などのコンピュータプログラムを実行する間に使用または生成されるデータを格納することができる。プロセッサ４２１は、画像処理プログラム４２３を実行して、解剖学的分類器訓練ユニット３０２および／または構造分類ユニット３０３の機能を実装することができる。プロセッサ４２１は、メモリ４２２から医用画像データ４２４を送信／受信することもできる。例えば、プロセッサ４２１は、メモリ４２２に記憶されている先行する画像データまたは現在の画像データを受け取ることができる。プロセッサ４２１は、画像特徴および構造ラベルなどの中間データを生成し、それらをメモリ４２２に送ることもできる。
メモリ４２２は、例えば、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）、およびスタティックメモリを含むことができる。いくつかの実施形態では、メモリ４２２は、１つまたは複数の画像処理プログラム４２３などのコンピュータ実行可能命令、ならびに医療画像データ４２４などのコンピュータプログラムを実行する間に使用または生成されるデータを格納することができる。プロセッサ４２１は、画像処理プログラム４２３を実行して、解剖学的分類器訓練ユニット３０２および／または構造分類ユニット３０３の機能を実装することができる。プロセッサ４２１は、メモリ４２２から医用画像データ４２４を送信／受信することもできる。例えば、プロセッサ４２１は、メモリ４２２に記憶されている先行する画像データまたは現在の画像データを受け取ることができる。プロセッサ４２１は、画像特徴および構造ラベルなどの中間データを生成し、それらをメモリ４２２に送ることもできる。
［０７５］
医用画像処理装置４００は、任意選択で、医用画像データベース３０１を含むかまたはそれと通信することができるデータベース４２５を含むことができる。データベース４２５は、中央または分散方式で配置された複数のデバイスを含むことができる。プロセッサ４２１は、データベース４２５と通信して、画像をメモリ４２２に読み出したり、メモリ４２２から医用画像データ４２４にセグメント化された画像を記憶したりすることができる。
医用画像処理装置４００は、任意選択で、医用画像データベース３０１を含むかまたはそれと通信することができるデータベース４２５を含むことができる。データベース４２５は、中央または分散方式で配置された複数のデバイスを含むことができる。プロセッサ４２１は、データベース４２５と通信して、画像をメモリ４２２に読み出したり、メモリ４２２から医用画像データ４２４にセグメント化された画像を記憶したりすることができる。
［０７６］
データ記憶装置４２６は、プロセッサ４２１によって実行される画像処理タスクに関連するデータを記憶するために利用可能な追加の記憶装置であってもよい。いくつかの実施形態では、データ記憶装置４２６は、機械可読記憶媒体を含むことができる。一実施形態では、機械可読記憶媒体は単一の媒体であってもよいが、「機械可読記憶媒体」という用語は、１つまたは複数のコンピュータ実行可能命令またはデータのセットを格納する単一の媒体または複数の媒体（例えば、集中型または分散型のデータベース、および／または関連するキャッシュおよびサーバ）を含むものとされるべきである。「機械可読記憶媒体」という用語は、機械による実行のための一連の命令を記憶または符号化することが可能であり、機械に現在の方法のうちの１つ以上を実行させる任意の媒体を含むものとされるべきである。したがって、「機械可読記憶媒体」という用語は、固体メモリ、光学媒体および磁気媒体を含むが、これに限定されない。
データ記憶装置４２６は、プロセッサ４２１によって実行される画像処理タスクに関連するデータを記憶するために利用可能な追加の記憶装置であってもよい。いくつかの実施形態では、データ記憶装置４２６は、機械可読記憶媒体を含むことができる。一実施形態では、機械可読記憶媒体は単一の媒体であってもよいが、「機械可読記憶媒体」という用語は、１つまたは複数のコンピュータ実行可能命令またはデータのセットを格納する単一の媒体または複数の媒体（例えば、集中型または分散型のデータベース、および／または関連するキャッシュおよびサーバ）を含むものとされるべきである。「機械可読記憶媒体」という用語は、機械による実行のための一連の命令を記憶または符号化することが可能であり、機械に現在の方法のうちの１つ以上を実行させる任意の媒体を含むものとされるべきである。したがって、「機械可読記憶媒体」という用語は、固体メモリ、光学媒体および磁気媒体を含むが、これに限定されない。
［０７７］
入力／出力４２７は、医用画像処理装置４００によってデータが受信および／または送信されるように構成することができる。入力／出力４２７は、処理装置４００がユーザまたは他の機械および装置と通信することを可能にする１つまたは複数のデジタルおよび／またはアナログ通信装置を含むことができる。例えば、入力／出力４２７は、ユーザ３１２またはユーザ３１３が入力を提供するためのキーボードおよびマウスを含むことができる。
入力／出力４２７は、医用画像処理装置４００によってデータが受信および／または送信されるように構成することができる。入力／出力４２７は、処理装置４００がユーザまたは他の機械および装置と通信することを可能にする１つまたは複数のデジタルおよび／またはアナログ通信装置を含むことができる。例えば、入力／出力４２７は、ユーザ３１２またはユーザ３１３が入力を提供するためのキーボードおよびマウスを含むことができる。
［０７８］
ネットワークインターフェース４２８は、ネットワークアダプタ、ケーブルコネクタ、シリアルコネクタ、ＵＳＢコネクタ、パラレルコネクタ、ファイバ、ＵＳＢ３．０、サンダーボルトなどの高速データ伝送アダプタ、そのような無線ネットワークアダプタ無線ＬＡＮアダプタ、通信（３Ｇ、４Ｇ／ＬＴＥ等）アダプタ、などを含むことができる。医療画像処理装置４００は、ネットワークインターフェース４２８を介してネットワーク３０５に接続されてもよい。ディスプレイ４２９は、医用画像を表示するのに適した任意の表示装置であってもよい。例えば、ディスプレイ４２９は、ＬＣＤ、ＣＲＴ、またはＬＥＤディスプレイであってもよい。
ネットワークインターフェース４２８は、ネットワークアダプタ、ケーブルコネクタ、シリアルコネクタ、ＵＳＢコネクタ、パラレルコネクタ、ファイバ、ＵＳＢ３．０、サンダーボルトなどの高速データ伝送アダプタ、そのような無線ネットワークアダプタ無線ＬＡＮアダプタ、通信（３Ｇ、４Ｇ／ＬＴＥ等）アダプタ、などを含むことができる。医療画像処理装置４００は、ネットワークインターフェース４２８を介してネットワーク３０５に接続されてもよい。ディスプレイ４２９は、医用画像を表示するのに適した任意の表示装置であってもよい。例えば、ディスプレイ４２９は、ＬＣＤ、ＣＲＴ、またはＬＥＤディスプレイであってもよい。
［０７９］
いくつかの実施形態では、セグメント化された電流画像は、ディスプレイ４２８上のユーザに表示されてもよい。いくつかの実施形態では、セグメント化された現在の画像は、将来の医療用途のために治療計画／配信ソフトウェア１１５に提供され、および／または将来の画像セグメント化タスクのために医療画像データベース３０１に格納される。
いくつかの実施形態では、セグメント化された電流画像は、ディスプレイ４２８上のユーザに表示されてもよい。いくつかの実施形態では、セグメント化された現在の画像は、将来の医療用途のために治療計画／配信ソフトウェア１１５に提供され、および／または将来の画像セグメント化タスクのために医療画像データベース３０１に格納される。
［０８０］
正確にセグメント化された画像、または解剖学的構造の明確に定義された輪郭は、セグメンテーション結果に依存する様々なアプリケーションにとって有益な場合がある。例えば、構造分類結果はまた、解剖学的構造のボリュームサイズの正確な推定を生成するのに役立ち得る。膀胱などの特定の解剖学的構造については、治療のための変形場および線量の最適化を計算する際には、容量の大きさが重要である。膀胱の例では、容積の大きさは、異なる治療セッションで大きく変化し得る。したがって、そのサイズの正確な推定は、膀胱周囲の相対的な位置または変形に関する重要な事前知識を提供し、ひいては変形場の計算を助け、またはその場で線量分布を最適化するのに役立つ。
正確にセグメント化された画像、または解剖学的構造の明確に定義された輪郭は、セグメンテーション結果に依存する様々なアプリケーションにとって有益な場合がある。例えば、構造分類結果はまた、解剖学的構造のボリュームサイズの正確な推定を生成するのに役立ち得る。膀胱などの特定の解剖学的構造については、治療のための変形場および線量の最適化を計算する際には、容量の大きさが重要である。膀胱の例では、容積の大きさは、異なる治療セッションで大きく変化し得る。したがって、そのサイズの正確な推定は、膀胱周囲の相対的な位置または変形に関する重要な事前知識を提供し、ひいては変形場の計算を助け、またはその場で線量分布を最適化するのに役立つ。
［０８１］
図５は、結合されたアトラスベースのセグメンテーションおよび統計的学習セグメンテーションを使用する例示的な画像セグメンテーション方法５００を示すフローチャートである。いくつかの実施形態では、方法５００は、分類器訓練ユニット３０２および構造分類ユニット３０３などの画像セグメンテーションシステム３００のコンポーネントによって実行されてもよい。方法５００は、空間的に隣接しかつ高度に相関する膀胱、前立腺、および直腸のような関心のある構造または関心のある構造のグループを同時にセグメント化するために適用することができると考えられる。ＲＦ（ランダムフォレスト）法のような様々な機械学習方法は、同時に複数の構造のセグメント化を処理することができる。マルチ構造分類器モデルは、複数の構造が空間的に隣接し、したがって高度に相関している場合に有益であり得る。
図５は、結合されたアトラスベースのセグメンテーションおよび統計的学習セグメンテーションを使用する例示的な画像セグメンテーション方法５００を示すフローチャートである。いくつかの実施形態では、方法５００は、分類器訓練ユニット３０２および構造分類ユニット３０３などの画像セグメンテーションシステム３００のコンポーネントによって実行されてもよい。方法５００は、空間的に隣接しかつ高度に相関する膀胱、前立腺、および直腸のような関心のある構造または関心のある構造のグループを同時にセグメント化するために適用することができると考えられる。ＲＦ（ランダムフォレスト）法のような様々な機械学習方法は、同時に複数の構造のセグメント化を処理することができる。マルチ構造分類器モデルは、複数の構造が空間的に隣接し、したがって高度に相関している場合に有益であり得る。
［０８２］
図５に示すように、ステップ５０１において、医用画像処理装置４００は、医用画像データベース３０１のようなデータベースから当初の日の医用画像Ｉ１を受信する。いくつかの実施形態では、医用画像Ｉ１は、１日目の患者の前日の医用画像を表す。
図５に示すように、ステップ５０１において、医用画像処理装置４００は、医用画像データベース３０１のようなデータベースから当初の日の医用画像Ｉ１を受信する。いくつかの実施形態では、医用画像Ｉ１は、１日目の患者の前日の医用画像を表す。
［０８３］
ステップ５０２において、医用画像処理装置４００は、１日目の画像Ｉ１から少なくとも１つの特徴を識別する。少なくとも１つの特徴は、例えば、構造分類ユニット３０３の特徴抽出モジュール３３２によって識別されてもよい。特徴は、構造分類器を訓練するために使用されるのと同じタイプの特徴とすることができる。これについては、図６に関連して以下でより詳細に説明する。畳み込みニューラルネットワークモデルのような機械学習モデルを使用することを含む、様々な方法を用いて属性を計算する。
ステップ５０２において、医用画像処理装置４００は、１日目の画像Ｉ１から少なくとも１つの特徴を識別する。少なくとも１つの特徴は、例えば、構造分類ユニット３０３の特徴抽出モジュール３３２によって識別されてもよい。特徴は、構造分類器を訓練するために使用されるのと同じタイプの特徴とすることができる。これについては、図６に関連して以下でより詳細に説明する。畳み込みニューラルネットワークモデルのような機械学習モデルを使用することを含む、様々な方法を用いて属性を計算する。
［０８４］
ステップ５０３において、１日目の画像Ｉ１は母集団訓練された分類器モデルＭ１によってセグメント化される。例えば、１日目の画像は、患者集団からの訓練画像で訓練されたランダムフォレストモデルＭ１によってセグメント化することができる。１日目の画像Ｉ１は、母集団訓練されたＭ１によってセグメント化されて、例えば前立腺、膀胱、直腸および／または他の臓器を表す構造ラベルマップＳ１を生成することができる。
ステップ５０３において、１日目の画像Ｉ１は母集団訓練された分類器モデルＭ１によってセグメント化される。例えば、１日目の画像は、患者集団からの訓練画像で訓練されたランダムフォレストモデルＭ１によってセグメント化することができる。１日目の画像Ｉ１は、母集団訓練されたＭ１によってセグメント化されて、例えば前立腺、膀胱、直腸および／または他の臓器を表す構造ラベルマップＳ１を生成することができる。
［０８５］
ステップ５０４において、医用画像処理装置４００は、医用画像データベース３０１のようなデータベースからｊ日目の引き続く日の医用画像Ｉｊを受け取る。医用画像Ｉｊは、同じ患者の２日目または引き続くｊ日目の医用画像（ただし、ｊ＝２，．．．．）を表す。いくつかの実施形態では、初日の画像Ｉ１と引き続くｊ日目の医用画像Ｉｊは、同じ患者の連続的な放射線治療セッション中に取得される。例えば、医用画像は、画像ガイド放射線治療システム２００によって送達される連続的な治療療法セッション中に、画像取得装置２２０によって取得されてもよい。
ステップ５０４において、医用画像処理装置４００は、医用画像データベース３０１のようなデータベースからｊ日目の引き続く日の医用画像Ｉｊを受け取る。医用画像Ｉｊは、同じ患者の２日目または引き続くｊ日目の医用画像（ただし、ｊ＝２，．．．．）を表す。いくつかの実施形態では、初日の画像Ｉ１と引き続くｊ日目の医用画像Ｉｊは、同じ患者の連続的な放射線治療セッション中に取得される。例えば、医用画像は、画像ガイド放射線治療システム２００によって送達される連続的な治療療法セッション中に、画像取得装置２２０によって取得されてもよい。
［０８６］
ステップ５０５において、前日の画像Ｉj-1（ただし、ｊ＝２，．．．．）と、ステップ６０３からの対応する構造ラベルマップＳj-1とは、アトラスとして使用され、現在の日の画像Ｉｊに登録されて、登録された画像Ｉj (j-1)と、対応するアトラスベースのセグメンテーション構造ラベルマップＳj (j-1)とを得る。例えば、Ｉ１、Ｓ１はアトラスとして使用され、Ｉ１を２日目の画像Ｉ２に変形可能に登録して、登録された画像Ｉ2 (1)と２日目の構造ラベルマップＳ2 (1)とを得る。上付き文字はアトラス日数を指し、後のステップ５０８で記載される全モデル分類Ｓｊから予備的セグメンテーション結果Ｓj (j-1)を区別するのに役立つ。
ステップ５０５において、前日の画像Ｉj-1（ただし、ｊ＝２，．．．．）と、ステップ６０３からの対応する構造ラベルマップＳj-1とは、アトラスとして使用され、現在の日の画像Ｉｊに登録されて、登録された画像Ｉj (j-1)と、対応するアトラスベースのセグメンテーション構造ラベルマップＳj (j-1)とを得る。例えば、Ｉ１、Ｓ１はアトラスとして使用され、Ｉ１を２日目の画像Ｉ２に変形可能に登録して、登録された画像Ｉ2 (1)と２日目の構造ラベルマップＳ2 (1)とを得る。上付き文字はアトラス日数を指し、後のステップ５０８で記載される全モデル分類Ｓｊから予備的セグメンテーション結果Ｓj (j-1)を区別するのに役立つ。
［０８７］
ステップ５０６において、分類器モデルＭtempは、画像Ｉj (j-1)と、前のステップ５０５で記載されたように得られる構造マップＳj (j-1)上で訓練される。いくつかの実施形態では、モデルは、図６に記載されて例示的な訓練方法に従って訓練されてもよい。例えば、新たなランダムフォレストモデルＭtempは、集合Ｉj (j-1)、Ｓj (j-1)上で訓練されてもよい。
ステップ５０６において、分類器モデルＭtempは、画像Ｉj (j-1)と、前のステップ５０５で記載されたように得られる構造マップＳj (j-1)上で訓練される。いくつかの実施形態では、モデルは、図６に記載されて例示的な訓練方法に従って訓練されてもよい。例えば、新たなランダムフォレストモデルＭtempは、集合Ｉj (j-1)、Ｓj (j-1)上で訓練されてもよい。
［０８８］
ステップ５０７において、訓練された新しい分類器モデルＭtempは、前の日の分類器モデルＭj-1とマージされ、新しい分類器モデルＭｊを得る。モデルをマージするには、さまざまな方法を使用することができる。例えば、モデルパラメータは、モデルＭtempおよびモデルＭｊのモデルパラメータに基づいて決定されてもよい。
ステップ５０７において、訓練された新しい分類器モデルＭtempは、前の日の分類器モデルＭj-1とマージされ、新しい分類器モデルＭｊを得る。モデルをマージするには、さまざまな方法を使用することができる。例えば、モデルパラメータは、モデルＭtempおよびモデルＭｊのモデルパラメータに基づいて決定されてもよい。
［０８９］
ステップ５０８において、結合モデルは、現在の日の画像Ｉｊをセグメントし、構造ラベルマップＳｊを生成するのに用いられる。この構造ラベルマップＳｊは、モデルＭｊから導出され、一方、構造ラベルマップＳj (j-1)は、引き続く日のデータＩj-1、Ｓj-1を用いたアトラスベースのセグメンテーションによって得られる。ステップ５０８の一部として、ステップ５０２と同様に、特徴抽出をｊ番目の前の日の画像に対して行うことができる。
ステップ５０８において、結合モデルは、現在の日の画像Ｉｊをセグメントし、構造ラベルマップＳｊを生成するのに用いられる。この構造ラベルマップＳｊは、モデルＭｊから導出され、一方、構造ラベルマップＳj (j-1)は、引き続く日のデータＩj-1、Ｓj-1を用いたアトラスベースのセグメンテーションによって得られる。ステップ５０８の一部として、ステップ５０２と同様に、特徴抽出をｊ番目の前の日の画像に対して行うことができる。
［０９０］
ステップ５０９において、本方法は、その患者の前の日のすべての画像が分類器モデルを訓練するために使用されたかどうかを判定する。その患者の前の日の画像がより多く存在する場合、医用画像処理装置４００は、ステップ５０４からステップ５０９を繰り返して、モデルＭｊ（ｊはｊ番目の治療日を表す）を訓練し、その後のすべての前日画像が処理されるまで繰り返す。ステップ５１０において、現在の日の画像Ｉｊのセグメンテーションが終了する。
ステップ５０９において、本方法は、その患者の前の日のすべての画像が分類器モデルを訓練するために使用されたかどうかを判定する。その患者の前の日の画像がより多く存在する場合、医用画像処理装置４００は、ステップ５０４からステップ５０９を繰り返して、モデルＭｊ（ｊはｊ番目の治療日を表す）を訓練し、その後のすべての前日画像が処理されるまで繰り返す。ステップ５１０において、現在の日の画像Ｉｊのセグメンテーションが終了する。
［０９１］
任意のｊ番目の治療日のモデルＭｊは、登録された前の日の画像とその対応する構造ラベルマップＩj (j-1)、Ｓj (j-1)の結合であるデータ上で分類器を訓練することによって得られ、次式で記述される。
任意のｊ番目の治療日のモデルＭｊは、登録された前の日の画像とその対応する構造ラベルマップＩj (j-1)、Ｓj (j-1)の結合であるデータ上で分類器を訓練することによって得られ、次式で記述される。
［０９２］
訓練は複数のステージで行われ、ステージ毎に１日前に行われ、その結果、統計的学習法が許すように、前の日のモデルと組み合わされたモデルＭtempとなる。
訓練は複数のステージで行われ、ステージ毎に１日前に行われ、その結果、統計的学習法が許すように、前の日のモデルと組み合わされたモデルＭtempとなる。
［０９３］
他の実施形態では、訓練データンサンブルは、アトラスベースのセグメンテーションから導出された構造ラベルマップ以外の形態のラベルマップを含むことができる。例えば、構造ラベルマップは、エキスパートプログラムまたは人間の専門家によって修正されたアトラスベースのセグメンテーション構造とすることができる。
他の実施形態では、訓練データンサンブルは、アトラスベースのセグメンテーションから導出された構造ラベルマップ以外の形態のラベルマップを含むことができる。例えば、構造ラベルマップは、エキスパートプログラムまたは人間の専門家によって修正されたアトラスベースのセグメンテーション構造とすることができる。
［０９４］
他の実施形態では、母集団に基づくモデルＭ１（ここでは、結果として得られるモデルＭｊに含まれる）は、モデルＭ２からＭｊまで解離することができる。
他の実施形態では、母集団に基づくモデルＭ１（ここでは、結果として得られるモデルＭｊに含まれる）は、モデルＭ２からＭｊまで解離することができる。
［０９５］
他の実施形態では、訓練データの構成は、各ｊ番目の治療日の訓練データが治療の開始から蓄積され、順番にマージする連続する日の訓練モデルよりも累積された全ての訓練データからモデルが作成されるように変化し得る。これは、ランダムまたは決定ツリーとは異なり、日々のデータ訓練された増分に簡単に分解されないモデルを有するニューラルネットワークのような統計的学習方法に対応する。
他の実施形態では、訓練データの構成は、各ｊ番目の治療日の訓練データが治療の開始から蓄積され、順番にマージする連続する日の訓練モデルよりも累積された全ての訓練データからモデルが作成されるように変化し得る。これは、ランダムまたは決定ツリーとは異なり、日々のデータ訓練された増分に簡単に分解されないモデルを有するニューラルネットワークのような統計的学習方法に対応する。
［０９６］
いくつかの実施形態では、方法５００は、患者への放射線療法処置送達の前に実施されてもよく、決定された構造ラベルマップＳｊは、治療計画／送達ソフトウェア１１５に提供されてもよい。このセグメンテーション結果は、放射線治療計画を調整するために使用され得る。この目的のために、セグメンテーション（方法５００）は、次の放射線療法治療セッションの直前に、または次の放射線療法治療セッションの１日前に行うことができる。
いくつかの実施形態では、方法５００は、患者への放射線療法処置送達の前に実施されてもよく、決定された構造ラベルマップＳｊは、治療計画／送達ソフトウェア１１５に提供されてもよい。このセグメンテーション結果は、放射線治療計画を調整するために使用され得る。この目的のために、セグメンテーション（方法５００）は、次の放射線療法治療セッションの直前に、または次の放射線療法治療セッションの１日前に行うことができる。
［０９７］
図６は、アトラスを使用して構造分類器モデルを訓練するための例示的な訓練方法６００を示すフローチャートである。いくつかの実施形態では、方法６００を使用して図５のステップ５０６を実施することができる。いくつかの実施形態では、方法６００は、分類器訓練ユニット３０２によって実行されてもよい。構造分類器モデルは、図５の分類器モデルＭｊのようなランダムフォレストモデルとすることができる。
図６は、アトラスを使用して構造分類器モデルを訓練するための例示的な訓練方法６００を示すフローチャートである。いくつかの実施形態では、方法６００を使用して図５のステップ５０６を実施することができる。いくつかの実施形態では、方法６００は、分類器訓練ユニット３０２によって実行されてもよい。構造分類器モデルは、図５の分類器モデルＭｊのようなランダムフォレストモデルとすることができる。
［０９８］
図６に示されるように、ステップ６０１において、分類器訓練ユニット３０２は、訓練画像および訓練画像の画像点が属する構造を示す対応する構造ラベルマップを含むアトラスを受け取る。いくつかの実施形態では、アトラスは、アトラスＩj (j-1)、Ｓj (j-1)のような登録アトラスであってもよい。
図６に示されるように、ステップ６０１において、分類器訓練ユニット３０２は、訓練画像および訓練画像の画像点が属する構造を示す対応する構造ラベルマップを含むアトラスを受け取る。いくつかの実施形態では、アトラスは、アトラスＩj (j-1)、Ｓj (j-1)のような登録アトラスであってもよい。
［０９９］
ステップ６０２において、特徴抽出モジュール３２２は、各訓練アトラスのマッピングされたアトラス画像から複数の訓練サンプルを選択する。各訓練サンプルは、単一の画像点または画像点のグループに対応することができる（そのような画像点のグループは、スーパー画像点とも呼ばれる）。本開示によれば、マップされたアトラス画像からの訓練サンプルは、マップされたアトラス画像上の画像点のすべてまたは一部を含むことができる。画像点の一部のみが訓練に使用される場合、サンプル選択が実行されて、どの画像点が使用されるかを決定することができる。例えば、訓練サンプルは、マップされたアトラス画像全体にわたって完全にランダムに選択されるか、または関心のある構造の境界まである距離内の領域から選択され得る。別の例として、標本選択は、より多くのサンプルがあいまいな領域、すなわち、異なるマップされたアトラスからの構造ラベルが完全に一致しない領域、または不一致があるレベル（例えば、１０個のマッピングされたアトラスのうち３個以上が、他のマッピングされたアトラスとは異なる決定を有するようなレベル）よりも大きい領域から選択され得るように、登録結果によりガイドされ得る。
ステップ６０２において、特徴抽出モジュール３２２は、各訓練アトラスのマッピングされたアトラス画像から複数の訓練サンプルを選択する。各訓練サンプルは、単一の画像点または画像点のグループに対応することができる（そのような画像点のグループは、スーパー画像点とも呼ばれる）。本開示によれば、マップされたアトラス画像からの訓練サンプルは、マップされたアトラス画像上の画像点のすべてまたは一部を含むことができる。画像点の一部のみが訓練に使用される場合、サンプル選択が実行されて、どの画像点が使用されるかを決定することができる。例えば、訓練サンプルは、マップされたアトラス画像全体にわたって完全にランダムに選択されるか、または関心のある構造の境界まである距離内の領域から選択され得る。別の例として、標本選択は、より多くのサンプルがあいまいな領域、すなわち、異なるマップされたアトラスからの構造ラベルが完全に一致しない領域、または不一致があるレベル（例えば、１０個のマッピングされたアトラスのうち３個以上が、他のマッピングされたアトラスとは異なる決定を有するようなレベル）よりも大きい領域から選択され得るように、登録結果によりガイドされ得る。
［１００］
ステップ６０３において、特徴抽出モジュール３２２は、画像点のための少なくとも１つの画像特徴を決定する。様々なタイプの特徴、例えば、画像強度値、画像位置、画像勾配および勾配の大きさ、画像のヘッセ行列（Hessian matrix）の固有値、エネルギー、エントロピー、コントラスト、均質性などの画像テクスチャ測定値、および局所的共出現行列、様々なサイズの局所画像パッチの相関のような画像テクスチャの測定値のような特徴を抽出することができる。あるいは、属性または特徴は、機械学習モデルを使用して自動的かつ適応的に計算されてもよい。例えば、畳み込みニューラルネットワークモデルは、サンプル画像から関連する特徴を抽出するように訓練されてもよく、事前に訓練されたモデルは、訓練サンプルに適用されて、属性を生成することができる。畳み込みニューラルネットワークは、典型的には、様々なサイズの特徴マップを生成するいくつかの畳み込みレイヤーを他のレイヤーの中に含む。特徴マップは、入力画像（または入力画像の選択された部分）を特徴付ける一般的な特徴を含むので、分類結果をさらに改善するために構造分類器の特徴として使用することができる。種々の畳み込みレイヤー（例えば、トップレイヤー、ミドルレイヤー、ローレイヤー）またはこれらのレイヤーから選択からの特徴を用いることができる。いくつかの実施形態では、訓練アトラスが、機械学習アルゴリズムによって使用されるアトラス画像点の属性を既に含む場合、属性の計算を省略することができる。
ステップ６０３において、特徴抽出モジュール３２２は、画像点のための少なくとも１つの画像特徴を決定する。様々なタイプの特徴、例えば、画像強度値、画像位置、画像勾配および勾配の大きさ、画像のヘッセ行列（Hessian matrix）の固有値、エネルギー、エントロピー、コントラスト、均質性などの画像テクスチャ測定値、および局所的共出現行列、様々なサイズの局所画像パッチの相関のような画像テクスチャの測定値のような特徴を抽出することができる。あるいは、属性または特徴は、機械学習モデルを使用して自動的かつ適応的に計算されてもよい。例えば、畳み込みニューラルネットワークモデルは、サンプル画像から関連する特徴を抽出するように訓練されてもよく、事前に訓練されたモデルは、訓練サンプルに適用されて、属性を生成することができる。畳み込みニューラルネットワークは、典型的には、様々なサイズの特徴マップを生成するいくつかの畳み込みレイヤーを他のレイヤーの中に含む。特徴マップは、入力画像（または入力画像の選択された部分）を特徴付ける一般的な特徴を含むので、分類結果をさらに改善するために構造分類器の特徴として使用することができる。種々の畳み込みレイヤー（例えば、トップレイヤー、ミドルレイヤー、ローレイヤー）またはこれらのレイヤーから選択からの特徴を用いることができる。いくつかの実施形態では、訓練アトラスが、機械学習アルゴリズムによって使用されるアトラス画像点の属性を既に含む場合、属性の計算を省略することができる。
［１０１］
ステップ６０４において、訓練モジュール３２３は、画像点の識別された画像特徴に基づいて解剖学的分類モデルを生成するための学習アルゴリズムを適用する。機械学習アルゴリズムは、訓練データのセットを与えられた予測モデルを推定しようとする教師付き学習アルゴリズムとすることができる。例えば、構造分類器を訓練するための機械学習アルゴリズムは、複数のクラス、すなわち１つの分類器を自然に扱うことができるランダムフォレスト（ＲＦ）機械学習アルゴリズムとすることができる。ＲＦ分類器の出力は、入力データがどのクラスに属するか、すなわち、対応する画像点がどの構造に属するかの確率推定であり得る。ステップ６０５において、分類器訓練ユニット３０２は、すべての訓練サンプルが処理済みであるかどうかをチェックする。そうである場合（ステップ６０５でＹＥＳである場合）、方法６００はステップ６０６に進み、分類器訓練ユニット３０２は、例えば、方法５００のステップ５０７からステップ５０８によって使用されるように、訓練された分類器モデルを出力する。そうでない場合（ステップ６０５でＮＯである場合）、方法６００は次の訓練サンプルを処理するためにステップ６０１に戻る。
ステップ６０４において、訓練モジュール３２３は、画像点の識別された画像特徴に基づいて解剖学的分類モデルを生成するための学習アルゴリズムを適用する。機械学習アルゴリズムは、訓練データのセットを与えられた予測モデルを推定しようとする教師付き学習アルゴリズムとすることができる。例えば、構造分類器を訓練するための機械学習アルゴリズムは、複数のクラス、すなわち１つの分類器を自然に扱うことができるランダムフォレスト（ＲＦ）機械学習アルゴリズムとすることができる。ＲＦ分類器の出力は、入力データがどのクラスに属するか、すなわち、対応する画像点がどの構造に属するかの確率推定であり得る。ステップ６０５において、分類器訓練ユニット３０２は、すべての訓練サンプルが処理済みであるかどうかをチェックする。そうである場合（ステップ６０５でＹＥＳである場合）、方法６００はステップ６０６に進み、分類器訓練ユニット３０２は、例えば、方法５００のステップ５０７からステップ５０８によって使用されるように、訓練された分類器モデルを出力する。そうでない場合（ステップ６０５でＮＯである場合）、方法６００は次の訓練サンプルを処理するためにステップ６０１に戻る。
［１０２］
方法５００および６００の代替の実施形態が考えられる。
方法５００および６００の代替の実施形態が考えられる。
［１０３］
一実施形態では、登録された前日の画像は、訓練目的のために現在の日の画像に置き換えられてもよい。したがって、訓練は次式のように記述することができる。
一実施形態では、登録された前日の画像は、訓練目的のために現在の日の画像に置き換えられてもよい。したがって、訓練は次式のように記述することができる。
［１０４］
別の実施形態では、例示的な画像セグメンテーションプロセスは、画像登録を利用することなく、前日の画像およびエキスパート構造または輪郭Ｃを使用して後日の画像をセグメント化する。エキスパートの描画または編集された輪郭Ｃは、アトラスセグメンテーション輪郭Ｓとは区別される（例えば、ＡＢＡＳ構造は専門家によって編集されている）。治療日ｎにおけるデータＩｊ、Ｃｊの集合からのモデルＭｎの例示的な訓練プロセスは次のように記述される。
別の実施形態では、例示的な画像セグメンテーションプロセスは、画像登録を利用することなく、前日の画像およびエキスパート構造または輪郭Ｃを使用して後日の画像をセグメント化する。エキスパートの描画または編集された輪郭Ｃは、アトラスセグメンテーション輪郭Ｓとは区別される（例えば、ＡＢＡＳ構造は専門家によって編集されている）。治療日ｎにおけるデータＩｊ、Ｃｊの集合からのモデルＭｎの例示的な訓練プロセスは次のように記述される。
［１０５］
別の実施形態では、例示的な画像セグメンテーションプロセスは、図５に開示される方法５００を利用するが、前日のＡＢＡＳ構造Ｓをその日の専門構造Ｃに置き換える。プロセスが患者の前日の画像の最後の前日に達すると、この方法は前日のＡＢＡＳ構造を使用する。モデルＲＦｎの例示的な訓練プロセスは次のように記述される。
別の実施形態では、例示的な画像セグメンテーションプロセスは、図５に開示される方法５００を利用するが、前日のＡＢＡＳ構造Ｓをその日の専門構造Ｃに置き換える。プロセスが患者の前日の画像の最後の前日に達すると、この方法は前日のＡＢＡＳ構造を使用する。モデルＲＦｎの例示的な訓練プロセスは次のように記述される。
［１０６］
ＲＦ法以外の学習アルゴリズムも、上述した方法と同様の方法でＡＢＡＳセグメンテーションと組み合わせて使用することができる。例えば、分類器モデルは、畳み込みニューラルネットワークモデルであってもよい。畳み込みニューラルネットワークは、入力画像を出力構造ラベルマップに変換する別個のレイヤーのスタックを含むことができる。これらのレイヤーは、符号化ステージと復号化ステージの２つのステージを形成することができる。レイヤーは、入力サイズ、出力サイズ、レイヤーの入力と出力の関係が異なる場合がある。各レイヤーは、レイヤーのスタック内の１つ以上の上流レイヤーおよび下流レイヤーに接続することができる。したがって、畳み込みニューラルネットワークの性能は、レイヤーの数に依存することがあり、畳み込みニューラルネットワークの複雑さは、レイヤーの数が増加するにつれて増加する可能性がある。畳み込みニューラルネットワークは、非線形特徴変換の２つ以上の段階を有する場合には「深い」と見なすことができ、これは通常、ネットワーク内のレイヤーの数が特定の数を超えることを意味する。例えば、いくつかの畳み込みニューラルネットワークは、約１０−３０レイヤー、または場合によっては数百レイヤー以上を含み得る。畳み込みニューラルネットワークモデルの例には、ＡｌｅｘＮｅｔ、ＶＧＧＮｅｔ、ＧｏｏｇＬｅＮｅｔ、ＲｅｓＮｅｔなどが含まれる。これらの畳み込みニューラルネットワークモデルは、完全畳み込みニューラルネットワークモデルの符号化段階で使用することができる。
ＲＦ法以外の学習アルゴリズムも、上述した方法と同様の方法でＡＢＡＳセグメンテーションと組み合わせて使用することができる。例えば、分類器モデルは、畳み込みニューラルネットワークモデルであってもよい。畳み込みニューラルネットワークは、入力画像を出力構造ラベルマップに変換する別個のレイヤーのスタックを含むことができる。これらのレイヤーは、符号化ステージと復号化ステージの２つのステージを形成することができる。レイヤーは、入力サイズ、出力サイズ、レイヤーの入力と出力の関係が異なる場合がある。各レイヤーは、レイヤーのスタック内の１つ以上の上流レイヤーおよび下流レイヤーに接続することができる。したがって、畳み込みニューラルネットワークの性能は、レイヤーの数に依存することがあり、畳み込みニューラルネットワークの複雑さは、レイヤーの数が増加するにつれて増加する可能性がある。畳み込みニューラルネットワークは、非線形特徴変換の２つ以上の段階を有する場合には「深い」と見なすことができ、これは通常、ネットワーク内のレイヤーの数が特定の数を超えることを意味する。例えば、いくつかの畳み込みニューラルネットワークは、約１０−３０レイヤー、または場合によっては数百レイヤー以上を含み得る。畳み込みニューラルネットワークモデルの例には、ＡｌｅｘＮｅｔ、ＶＧＧＮｅｔ、ＧｏｏｇＬｅＮｅｔ、ＲｅｓＮｅｔなどが含まれる。これらの畳み込みニューラルネットワークモデルは、完全畳み込みニューラルネットワークモデルの符号化段階で使用することができる。
［１０７］
本開示は、上述の実施形態に限定されず、訓練データの組み合わせの他の実施形態が可能である。たとえば、母集団の強調を解除したり、すべて一緒に削除したりするために、モデルに重みを付けることができる。個々の日の画像および構造は、後でマージすることができる単一画像ＲＦモデルで訓練することができる。画像／構造について登録されたものの組と登録されていないものとの組の他の組み合わせも可能である。さらに、上述の外観特徴に加えて、コンテキスト特徴を使用することができる。
本開示は、上述の実施形態に限定されず、訓練データの組み合わせの他の実施形態が可能である。たとえば、母集団の強調を解除したり、すべて一緒に削除したりするために、モデルに重みを付けることができる。個々の日の画像および構造は、後でマージすることができる単一画像ＲＦモデルで訓練することができる。画像／構造について登録されたものの組と登録されていないものとの組の他の組み合わせも可能である。さらに、上述の外観特徴に加えて、コンテキスト特徴を使用することができる。
［１０８］
様々な動作または機能が、本明細書で説明され、ソフトウェアコードまたは命令として実装または定義されてもよい。そのようなコンテンツは、直接実行可能形式（「オブジェクト」または「実行可能」形式）、ソースコード、または差分コード（「デルタ」または「パッチ」コード）であってもよい。本明細書に記載の実施形態のソフトウェア実装は、コードまたは命令が格納された製品を介して、または通信インターフェースを介してデータを送信する通信インターフェースを操作する方法を介して提供されてもよい。機械またはコンピュータ可読記憶媒体は、機械に説明された機能または動作を実行させることができ、機械によってアクセス可能な形式で情報を記憶する任意のメカニズム（例えば、コンピューティングデバイス、電子システムなど）、例えば、記録可能な／記録不可能な媒体（例えば、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイスなど）のようなものを含むが、これらに限定されない。通信インターフェースは、ハードワイヤード、ワイヤレス、光学などのいずれかとインターフェースする任意のメカニズムや、メモリバスインターフェース、プロセッサバスインターフェース、インターネット接続、ディスクコントローラ、等のような、他のデバイスに通信するメデイアを含む。通信インターフェースは、ソフトウェアインターフェースを記述するデータ信号を提供するために、通信インターフェースを準備するための構成パラメータおよび／または送信信号を提供することによって構成することができる。通信インターフェースは、通信インターフェースに送信される１つまたは複数のコマンドまたは信号を介してアクセスすることができる。
様々な動作または機能が、本明細書で説明され、ソフトウェアコードまたは命令として実装または定義されてもよい。そのようなコンテンツは、直接実行可能形式（「オブジェクト」または「実行可能」形式）、ソースコード、または差分コード（「デルタ」または「パッチ」コード）であってもよい。本明細書に記載の実施形態のソフトウェア実装は、コードまたは命令が格納された製品を介して、または通信インターフェースを介してデータを送信する通信インターフェースを操作する方法を介して提供されてもよい。機械またはコンピュータ可読記憶媒体は、機械に説明された機能または動作を実行させることができ、機械によってアクセス可能な形式で情報を記憶する任意のメカニズム（例えば、コンピューティングデバイス、電子システムなど）、例えば、記録可能な／記録不可能な媒体（例えば、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイスなど）のようなものを含むが、これらに限定されない。通信インターフェースは、ハードワイヤード、ワイヤレス、光学などのいずれかとインターフェースする任意のメカニズムや、メモリバスインターフェース、プロセッサバスインターフェース、インターネット接続、ディスクコントローラ、等のような、他のデバイスに通信するメデイアを含む。通信インターフェースは、ソフトウェアインターフェースを記述するデータ信号を提供するために、通信インターフェースを準備するための構成パラメータおよび／または送信信号を提供することによって構成することができる。通信インターフェースは、通信インターフェースに送信される１つまたは複数のコマンドまたは信号を介してアクセスすることができる。
［１０９］
本開示は、本明細書の動作を実行するためのシステムにも関する。このシステムは、必要な目的のために特別に構成することができ、またはコンピュータに格納されたコンピュータプログラムによって選択的に起動または再構成された汎用コンピュータを含むことができる。このようなコンピュータプログラムは、限定はしないが、フロッピーディスク、光ディスク、ＣＤＲＯＭ、および光磁気ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセルメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気または光カード、またはコンピュータシステムバスにそれぞれ結合された電子命令を格納するのに適した任意のタイプの媒体に格納することができる。
本開示は、本明細書の動作を実行するためのシステムにも関する。このシステムは、必要な目的のために特別に構成することができ、またはコンピュータに格納されたコンピュータプログラムによって選択的に起動または再構成された汎用コンピュータを含むことができる。このようなコンピュータプログラムは、限定はしないが、フロッピーディスク、光ディスク、ＣＤＲＯＭ、および光磁気ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセルメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気または光カード、またはコンピュータシステムバスにそれぞれ結合された電子命令を格納するのに適した任意のタイプの媒体に格納することができる。
［１１０］
本明細書に例示され説明された本開示の実施形態における動作の実行または実行の順序は、特に明記しない限り、本質的ではない。すなわち、動作は、他に特定されない限り、任意の順序で実行されてもよく、本開示の実施形態は、本明細書に開示された動作よりも多い、または少ない動作を含み得る。例えば、別の操作の前、同時または後に特定の操作を実行または実行することは、本開示の態様の範囲内にあると考えられる。
本明細書に例示され説明された本開示の実施形態における動作の実行または実行の順序は、特に明記しない限り、本質的ではない。すなわち、動作は、他に特定されない限り、任意の順序で実行されてもよく、本開示の実施形態は、本明細書に開示された動作よりも多い、または少ない動作を含み得る。例えば、別の操作の前、同時または後に特定の操作を実行または実行することは、本開示の態様の範囲内にあると考えられる。
［１１１］
本開示の実施形態は、コンピュータ実行可能命令で実装することができる。コンピュータ実行可能命令は、１つまたは複数のコンピュータ実行可能コンポーネントまたはモジュールに編成することができる。本開示の態様は、そのような構成要素またはモジュールの任意の数および構成で実施することができる。例えば、本開示の態様は、特定のコンピュータ実行可能命令、または図に示され、本明細書で説明される特定のコンポーネントまたはモジュールに限定されない。本開示の他の実施形態は、異なるコンピュータ実行可能命令または本明細書に図示および記載されている機能よりも多いまたは少ない機能を有するコンポーネントを含むことができる。
本開示の実施形態は、コンピュータ実行可能命令で実装することができる。コンピュータ実行可能命令は、１つまたは複数のコンピュータ実行可能コンポーネントまたはモジュールに編成することができる。本開示の態様は、そのような構成要素またはモジュールの任意の数および構成で実施することができる。例えば、本開示の態様は、特定のコンピュータ実行可能命令、または図に示され、本明細書で説明される特定のコンポーネントまたはモジュールに限定されない。本開示の他の実施形態は、異なるコンピュータ実行可能命令または本明細書に図示および記載されている機能よりも多いまたは少ない機能を有するコンポーネントを含むことができる。
［１１２］
本開示の態様またはその実施形態の要素を導入する場合、冠詞「ａ」、「ａｎ」、「ｔｈｅ」および「ｓａｉｄ」は、１つまたは複数の要素が存在することを意味することが意図される。「備える（comprising）」、「含む（containing）」、および「有する（having）」という用語は、包括的であり、列挙された要素以外の追加の要素が存在し得ることを意味することが意図される。
本開示の態様またはその実施形態の要素を導入する場合、冠詞「ａ」、「ａｎ」、「ｔｈｅ」および「ｓａｉｄ」は、１つまたは複数の要素が存在することを意味することが意図される。「備える（comprising）」、「含む（containing）」、および「有する（having）」という用語は、包括的であり、列挙された要素以外の追加の要素が存在し得ることを意味することが意図される。
［１１３］
本開示の態様を詳細に記載してきたが、添付の特許請求の範囲に規定された本開示の態様の範囲から逸脱することなく、改変および変更が可能であることは明らかであろう。本開示の態様の範囲から逸脱することなく、上記の構成、製品、および方法において様々な変更を行うことができるので、上記の説明に含まれ、添付の図面に示されるすべての事項は、例示として解釈されるべきであり、限定的な意味ではない。
本開示の態様を詳細に記載してきたが、添付の特許請求の範囲に規定された本開示の態様の範囲から逸脱することなく、改変および変更が可能であることは明らかであろう。本開示の態様の範囲から逸脱することなく、上記の構成、製品、および方法において様々な変更を行うことができるので、上記の説明に含まれ、添付の図面に示されるすべての事項は、例示として解釈されるべきであり、限定的な意味ではない。
Claims (15)
- 医用画像をセグメント化するためのシステムであって、
前記システムは、
画像取得装置により取得された複数の医用画像を記憶するデータベースであって、オブジェクトの１つまたはそれ以上の第１の医用画像と、前記オブジェクトの第２の医用画像とを含み、前記１つまたはそれ以上の第１の医用画像のそれぞれが第１の構造ラベルマップに関連付けられているデータベースと、
前記１つまたはそれ以上の第１の医用画像のそれぞれと前記第１の構造ラベルマップとを前記第２の医用画像に登録し、第２の構造ラベルマップを生成するステップと、
前記登録された第２の医用画像と前記対応する第２の構造ラベルマップとを使用して、二次の分類器モデルを訓練するステップと、
前記二次の分類器モデルを一次の分類器モデルとマージし、更新された一次の分類器モデルを生成するステップと、
前記更新された一次の分類器モデルを使用して、前記第２の医用画像に関連する更新された第２の構造ラベルマップを決定するステップと
を実行するように構成されたプロセッサと
を含むことを特徴とするシステム。 - 請求項１記載のシステムにおいて、
前記１つまたはそれ以上の第１の医用画像は、前記オブジェクトの前日の画像の組を含み、前記前日の画像は前記第２の医用画像の取得時刻より前に取得された画像である
ことを特徴とするシステム。 - 請求項１記載のシステムにおいて、
前記第２の医用画像は、患者の放射線治療セッションの日に撮られた前記オブジェクトの画像である
ことを特徴とするシステム。 - 請求項１記載のシステムにおいて、
前記第１の構造ラベルマップは、前記１つまたはそれ以上の第１の医用画像のそれぞれについて識別されたエキスパート構造ラベルを含むものである、
または、
前記プロセッサは、患者の母集団から訓練された画像で訓練された前記一次の分類器モデルを使用して、前記第１の医用画像のそれぞれに対する前記第１の構造ラベルマップを決定するステップを更に実行するように構成されている
ことを特徴とするシステム。 - 請求項１記載のシステムにおいて、
前記１つまたはそれ以上の第１の医用画像のそれぞれと前記第１の構造ラベルマップとは、アトラスベースのセグメンテーション方法を使用して前記第２の医用画像に登録されたものである
ことを特徴とするシステム。 - 請求項１記載のシステムにおいて、
前記一次の分類器モデルは、ランダムフォレストモデルまたは畳み込みニューラルネットワークモデルである
ことを特徴とするシステム。 - 請求項１記載のシステムにおいて、
前記プロセッサは、前記第２の医用画像から少なくとも１つの特徴を抽出するステップ
を更に実行するように構成されており、
前記更新された第２の構造ラベルマップは、前記少なくとも１つの特徴に前記更新された一次の分類器モデルを適用することにより決定される
ことを特徴とするシステム。 - 請求項７記載のシステムにおいて、
前記第２の医用画像から抽出された前記少なくとも１つの特徴は、畳み込みニューラルネットワークの１つまたはそれ以上の畳み込み層により生み出された１つまたはそれ以上の特徴マップから抽出されたものである
ことを特徴とするシステム。 - 請求項１記載のシステムにおいて、
前記１つまたはそれ以上の第１の医用画像および前記第２の医用画像は、患者の一連の放射線治療セッション中に取得されたものである、
または、
前記プロセッサは、放射線治療の提供の前に前記更新された第２の構造ラベルマップを決定するステップを実行するように構成されている
ことを特徴とするシステム。 - 医用画像をセグメント化するためのコンピュータ実装方法であって、
前記方法は、少なくとも１つのプロセッサによって実行され、
オブジェクトの１つまたはそれ以上の第１の医用画像と前記オブジェクトの第２の医用画像とを、画像取得装置によって取得された複数の医用画像を記憶するように構成されたデータベースから受信するステップであって、前記１つまたはそれ以上の第１の医用画像のそれぞれが第１の構造ラベルマップに関連付けられているステップと、
前記１つまたはそれ以上の第１の医用画像のそれぞれと前記第１の構造ラベルマップとを前記第２の医用画像に登録し、第２の構造ラベルマップを生成するステップと、
前記登録された第２の医用画像と前記対応する第２の構造ラベルマップとを使用して、二次の分類器モデルを訓練するステップと、
前記二次の分類器モデルを一次の分類器モデルとマージし、更新された一次の分類器モデルを生成するステップと、
前記更新された一次の分類器モデルを使用して、前記第２の医用画像に関連する更新された第２の構造ラベルマップを決定するステップと
を含む
ことを特徴とする方法。 - 請求項１０記載の方法において、
前記１つまたはそれ以上の第１の医用画像は、前記オブジェクトの前日の画像の組を含み、前記前日の画像は前記第２の医用画像の取得時刻より前に取得された画像である、
または、
前記第２の医用画像は、患者の放射線治療セッションの日に撮られた前記オブジェクトの画像である
ことを特徴とするシステム。 - 請求項１０記載の方法において、
前記方法は、患者の母集団から訓練された画像で訓練された前記一次の分類器モデルを使用して、前記第１の医用画像のそれぞれに対する前記第１の構造ラベルマップを決定するステップを更に含む
ことを特徴とする方法。 - 請求項１０記載の方法において、
前記１つまたはそれ以上の第１の医用画像のそれぞれと前記第１の構造ラベルマップとは、アトラスベースのセグメンテーション方法を使用して前記第２の医用画像に登録されている
ことを特徴とする方法。 - 請求項１０記載の方法において、
前記方法は、前記第２の医用画像から少なくとも１つの特徴を抽出するステップを更に含み、
前記更新された第２の構造ラベルマップは、前記少なくとも１つの特徴に前記更新された一次の分類器モデルを適用することにより決定される
ことを特徴とする方法。 - プロセッサにより実行されたときに、前記プロセッサに、医用画像をセグメント化するための方法を実行させる命令を含む非一時的コンピュータ読取可能記憶媒体であって、
前記方法は、
オブジェクトの１つまたはそれ以上の第１の医用画像と、前記オブジェクトの第２の医用画像とを、画像取得装置によって取得された複数の医用画像を記憶するように構成されたデータベースから受信するステップであって、前記１つまたはそれ以上の第１の医用画像のそれぞれは、第１の構造ラベルマップに関連付けられているステップと、
前記１つまたはそれ以上の第１の医用画像のそれぞれと前記第１の構造ラベルマップとを前記第２の医用画像に登録し、第２の構造ラベルマップを生成するステップと、
前記登録された第２の医用画像と前記対応する第２の構造ラベルマップとを使用して、二次の分類器モデルを訓練するステップと、
前記二次の分類器モデルを一次の分類器モデルとマージし、更新された一次の分類器モデルを生成するステップと、
前記更新された一次の分類器モデルを使用して、前記第２の医用画像に関連する更新された第２の構造ラベルマップを決定するステップと
を含む
ことを特徴とする非一時的コンピュータ読取可能記憶媒体。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662281652P | 2016-01-21 | 2016-01-21 | |
| US62/281,652 | 2016-01-21 | ||
| US15/385,732 | 2016-12-20 | ||
| US15/385,732 US10169871B2 (en) | 2016-01-21 | 2016-12-20 | Systems and methods for segmentation of intra-patient medical images |
| PCT/US2017/013962 WO2017127439A1 (en) | 2016-01-21 | 2017-01-18 | Systems and methods for segmentation of intra-patient medical images |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2019506208A JP2019506208A (ja) | 2019-03-07 |
| JP2019506208A5 JP2019506208A5 (ja) | 2020-02-27 |
| JP6742421B2 true JP6742421B2 (ja) | 2020-08-19 |
Family
ID=59359077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018538580A Active JP6742421B2 (ja) | 2016-01-21 | 2017-01-18 | 内視鏡的医療画像のセグメンテーションのためのシステムおよび方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (3) | US10169871B2 (ja) |
| EP (1) | EP3405909B1 (ja) |
| JP (1) | JP6742421B2 (ja) |
| CN (1) | CN109074500B (ja) |
| AU (1) | AU2017209046B2 (ja) |
| WO (1) | WO2017127439A1 (ja) |
Families Citing this family (72)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10169871B2 (en) | 2016-01-21 | 2019-01-01 | Elekta, Inc. | Systems and methods for segmentation of intra-patient medical images |
| US10098606B2 (en) * | 2016-02-29 | 2018-10-16 | Varian Medical Systems, Inc. | Automatic organ-dose-estimation for patient-specific computed tomography scans |
| US10055839B2 (en) * | 2016-03-04 | 2018-08-21 | Siemens Aktiengesellschaft | Leveraging on local and global textures of brain tissues for robust automatic brain tumor detection |
| CN106097444B (zh) * | 2016-05-30 | 2017-04-12 | 百度在线网络技术（北京）有限公司 | 高精地图生成方法和装置 |
| US10937170B2 (en) * | 2016-09-21 | 2021-03-02 | Koninklijke Philips N.V. | Apparatus for adaptive contouring of a body part |
| US10607342B2 (en) * | 2016-09-30 | 2020-03-31 | Siemenes Healthcare GmbH | Atlas-based contouring of organs at risk for radiation therapy |
| US11138790B2 (en) | 2016-10-14 | 2021-10-05 | Axial Medical Printing Limited | Method for generating a 3D physical model of a patient specific anatomic feature from 2D medical images |
| GB201617507D0 (en) | 2016-10-14 | 2016-11-30 | Axial3D Limited | Axial3D UK |
| US11195600B2 (en) | 2016-10-17 | 2021-12-07 | International Business Machines Corporation | Automatic discrepancy detection in medical data |
| US10410348B2 (en) * | 2016-12-21 | 2019-09-10 | Elekta, Inc. | Online learning enhanced atlas-based auto-segmentation |
| US20190080442A1 (en) * | 2017-03-05 | 2019-03-14 | The Charles Stark Draper Laboratory, Inc. | System and method for image guided tracking to enhance radiation therapy |
| EP3392832A1 (en) | 2017-04-21 | 2018-10-24 | General Electric Company | Automated organ risk segmentation machine learning methods and systems |
| WO2018209057A1 (en) | 2017-05-11 | 2018-11-15 | The Research Foundation For The State University Of New York | System and method associated with predicting segmentation quality of objects in analysis of copious image data |
| NL2020865A (en) * | 2017-05-26 | 2018-12-04 | Asml Netherlands Bv | Actuator, linear motor and Lithographic Apparatus |
| US10699410B2 (en) * | 2017-08-17 | 2020-06-30 | Siemes Healthcare GmbH | Automatic change detection in medical images |
| WO2019051356A1 (en) * | 2017-09-08 | 2019-03-14 | The General Hospital Corporation | SYSTEM AND METHOD FOR AUTOMATICALLY LABELING AND ANNOUNTING NON-STRUCTURED MEDICAL DATA SETS |
| KR101995900B1 (ko) * | 2017-09-11 | 2019-07-04 | 뉴로핏 주식회사 | 3차원 뇌지도 생성 방법 및 프로그램 |
| EP3684463A4 (en) | 2017-09-19 | 2021-06-23 | Neuroenhancement Lab, LLC | NEURO-ACTIVATION PROCESS AND APPARATUS |
| EP3462373A1 (en) * | 2017-10-02 | 2019-04-03 | Promaton Holding B.V. | Automated classification and taxonomy of 3d teeth data using deep learning methods |
| EP3698325A1 (en) * | 2017-10-18 | 2020-08-26 | Koninklijke Philips N.V. | Landmark visualization for medical image segmentation |
| US20190122104A1 (en) | 2017-10-19 | 2019-04-25 | General Electric Company | Building a binary neural network architecture |
| US10460440B2 (en) | 2017-10-24 | 2019-10-29 | General Electric Company | Deep convolutional neural network with self-transfer learning |
| EP3704669A4 (en) * | 2017-11-02 | 2020-12-30 | Shanghai United Imaging Healthcare Co., Ltd. | SYSTEMS AND METHODS FOR GENERATING SEMANTIC INFORMATION FOR A SCAN IMAGE |
| EA201700561A1 (ru) * | 2017-11-16 | 2019-05-31 | Общество С Ограниченной Ответственностью "Доммар" | Способ и система выравнивания зубов на основании моделирования движения коронок и корней |
| US11717686B2 (en) | 2017-12-04 | 2023-08-08 | Neuroenhancement Lab, LLC | Method and apparatus for neuroenhancement to facilitate learning and performance |
| US10548552B2 (en) * | 2017-12-21 | 2020-02-04 | Shenzhen Keya Medical Technology Corporation | Method and device for generating anatomical labels for a physiological tree structure |
| US11318277B2 (en) | 2017-12-31 | 2022-05-03 | Neuroenhancement Lab, LLC | Method and apparatus for neuroenhancement to enhance emotional response |
| EP3735176A4 (en) * | 2018-01-03 | 2021-10-20 | Ramot at Tel-Aviv University Ltd. | MULTIMODAL IMAGE DATA SEGMENTATION SYSTEMS AND METHODS |
| US10878576B2 (en) * | 2018-02-14 | 2020-12-29 | Elekta, Inc. | Atlas-based segmentation using deep-learning |
| US10910099B2 (en) * | 2018-02-20 | 2021-02-02 | Siemens Healthcare Gmbh | Segmentation, landmark detection and view classification using multi-task learning |
| US11657087B2 (en) | 2018-03-19 | 2023-05-23 | Verily Life Sciences Llc | Surgical video retrieval based on preoperative images |
| US20190295709A1 (en) * | 2018-03-20 | 2019-09-26 | Siemens Healthcare Gmbh | Automatic analysis of a large patient population using medical image data |
| KR102565278B1 (ko) * | 2018-03-26 | 2023-08-09 | 삼성전자주식회사 | 영상 분할 방법, 영상 분할 장치, 및 영상 분할을 위한 학습 방법 |
| US11364361B2 (en) | 2018-04-20 | 2022-06-21 | Neuroenhancement Lab, LLC | System and method for inducing sleep by transplanting mental states |
| CN108921782B (zh) * | 2018-05-17 | 2023-04-14 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置及存储介质 |
| CN110638477B (zh) * | 2018-06-26 | 2023-08-11 | 佳能医疗系统株式会社 | 医用图像诊断装置以及对位方法 |
| US10943115B2 (en) * | 2018-07-24 | 2021-03-09 | Apical Ltd. | Processing image data to perform object detection |
| US10902588B2 (en) | 2018-08-13 | 2021-01-26 | International Business Machines Corporation | Anatomical segmentation identifying modes and viewpoints with deep learning across modalities |
| WO2020056418A1 (en) | 2018-09-14 | 2020-03-19 | Neuroenhancement Lab, LLC | System and method of improving sleep |
| US11080643B2 (en) * | 2018-09-28 | 2021-08-03 | I.D. Systems, Inc. | Cargo sensors, cargo-sensing units, cargo-sensing systems, and methods of using the same |
| JP7129870B2 (ja) * | 2018-10-01 | 2022-09-02 | 富士フイルム株式会社 | 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム |
| US10930386B2 (en) | 2018-12-11 | 2021-02-23 | International Business Machines Corporation | Automated normality scoring of echocardiograms |
| US10832392B2 (en) * | 2018-12-19 | 2020-11-10 | Siemens Healthcare Gmbh | Method, learning apparatus, and medical imaging apparatus for registration of images |
| CN109741346B (zh) * | 2018-12-30 | 2020-12-08 | 上海联影智能医疗科技有限公司 | 感兴趣区域提取方法、装置、设备及存储介质 |
| JP7244280B2 (ja) * | 2019-01-15 | 2023-03-22 | キヤノンメディカルシステムズ株式会社 | 医用画像診断装置、および医用画像診断方法 |
| CN110097557B (zh) * | 2019-01-31 | 2021-02-12 | 卫宁健康科技集团股份有限公司 | 基于3D-UNet的医学图像自动分割方法及系统 |
| CN109887077B (zh) * | 2019-03-07 | 2022-06-03 | 百度在线网络技术（北京）有限公司 | 用于生成三维模型的方法和装置 |
| US20200302176A1 (en) * | 2019-03-18 | 2020-09-24 | Nvidia Corporation | Image identification using neural networks |
| US20220222816A1 (en) * | 2019-04-29 | 2022-07-14 | UCB Biopharma SRL | Medical image analysis system and method for identification of lesions |
| CN109920002B (zh) * | 2019-05-15 | 2019-08-02 | 南京邮电大学 | 基于三维随机森林模型的头影测量图像中特征点定位方法 |
| CN110189323B (zh) * | 2019-06-05 | 2022-12-13 | 深圳大学 | 一种基于半监督学习的乳腺超声图像病灶分割方法 |
| US11263497B2 (en) * | 2019-06-21 | 2022-03-01 | StraxCorp Pty. Ltd. | Method and system for machine learning classification based on structure or material segmentation in an image |
| JP7446570B2 (ja) * | 2019-06-28 | 2024-03-11 | 国立大学法人東京農工大学 | プログラム、学習装置、学習方法、学習済みプログラムおよび骨格セグメンテーション装置 |
| CN110313930B (zh) * | 2019-07-24 | 2023-07-04 | 沈阳智核医疗科技有限公司 | 一种扫描部位的确定方法、装置及终端设备 |
| EP3772720B1 (en) * | 2019-08-08 | 2021-09-29 | Siemens Healthcare GmbH | Method and system for image analysis |
| JP7321511B2 (ja) * | 2019-08-08 | 2023-08-07 | 国立大学法人 筑波大学 | 判定装置、光照射装置、及びプログラム |
| CN114556413A (zh) | 2019-09-24 | 2022-05-27 | 应用材料公司 | 用于组织分割的机器学习模型的交互式训练 |
| WO2021108793A1 (en) | 2019-11-30 | 2021-06-03 | Ai Metrics, Llc | Systems and methods for lesion analysis |
| US20210174523A1 (en) * | 2019-12-10 | 2021-06-10 | Siemens Healthcare Gmbh | Method for registration of image data and for provision of corresponding trained facilities, apparatus for doing so and corresponding computer program product |
| CN111062977B (zh) * | 2019-12-13 | 2021-05-04 | 推想医疗科技股份有限公司 | 样本数据生成方法、装置、计算机设备及存储介质 |
| US11842498B2 (en) | 2019-12-16 | 2023-12-12 | Siemens Healthineers International Ag | Systems and methods for automatic segmentation in medical imaging with multiple anatomical structure segmentation models |
| RU2765884C2 (ru) * | 2019-12-17 | 2022-02-04 | Общество с ограниченной ответственностью "Аби Продакшн" | Идентификация блоков связанных слов в документах сложной структуры |
| EP4213106A1 (en) | 2019-12-19 | 2023-07-19 | Brainlab AG | Medical image analysis using machine learning and an anatomical vector |
| US11562482B2 (en) | 2020-03-30 | 2023-01-24 | Varian Medical Systems International Ag | Systems and methods for pseudo image data augmentation for training machine learning models |
| CN111738295B (zh) * | 2020-05-22 | 2024-03-22 | 南通大学 | 图像的分割方法及存储介质 |
| US11935230B2 (en) | 2020-06-03 | 2024-03-19 | Siemens Healthineers Ag | AI-based image analysis for the detection of normal images |
| RU2757713C1 (ru) | 2020-11-24 | 2021-10-20 | АБИ Девелопмент Инк. | Распознавание рукописного текста посредством нейронных сетей |
| GB202101908D0 (en) | 2021-02-11 | 2021-03-31 | Axial Medical Printing Ltd | Axial3D pathology |
| CN113689938B (zh) * | 2021-07-14 | 2024-03-05 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 医学影像的勾画方法、装置、存储介质及处理器 |
| CN113487656B (zh) * | 2021-07-26 | 2022-11-22 | 推想医疗科技股份有限公司 | 图像配准方法及装置，训练方法及装置，控制方法及装置 |
| CN113506302B (zh) * | 2021-07-27 | 2023-12-12 | 四川九洲电器集团有限责任公司 | 一种交互式对象更新方法、装置及处理系统 |
| CN113688266A (zh) * | 2021-09-13 | 2021-11-23 | 上海联影医疗科技股份有限公司 | 图像优先级确定方法和图像处理方法、装置、设备、介质 |
Family Cites Families (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6708184B2 (en) * | 1997-04-11 | 2004-03-16 | Medtronic/Surgical Navigation Technologies | Method and apparatus for producing and accessing composite data using a device having a distributed communication controller interface |
| US6549646B1 (en) * | 2000-02-15 | 2003-04-15 | Deus Technologies, Llc | Divide-and-conquer method and system for the detection of lung nodule in radiological images |
| US8543519B2 (en) * | 2000-08-07 | 2013-09-24 | Health Discovery Corporation | System and method for remote melanoma screening |
| JP2002330951A (ja) * | 2001-05-11 | 2002-11-19 | Canon Inc | 画像符号化装置及び復号装置及び方法及びコンピュータプログラム及び記憶媒体 |
| US7158692B2 (en) * | 2001-10-15 | 2007-01-02 | Insightful Corporation | System and method for mining quantitive information from medical images |
| WO2006114003A1 (en) * | 2005-04-27 | 2006-11-02 | The Governors Of The University Of Alberta | A method and system for automatic detection and segmentation of tumors and associated edema (swelling) in magnetic resonance (mri) images |
| WO2007029467A1 (ja) * | 2005-09-05 | 2007-03-15 | Konica Minolta Medical & Graphic, Inc. | 画像処理方法及び画像処理装置 |
| WO2008035276A2 (en) * | 2006-09-22 | 2008-03-27 | Koninklijke Philips Electronics N.V. | Methods for feature selection using classifier ensemble based genetic algorithms |
| BRPI0908886A2 (pt) * | 2008-02-15 | 2015-09-15 | Koninkl Philips Electronics Nv | aparelho, método e programa de computador pra segmentar um objeto, e, modelo de objeto |
| EP2249702A4 (en) * | 2008-03-04 | 2012-01-25 | Tomotherapy Inc | METHOD AND SYSTEM FOR ENHANCED IMAGE SEGMENTATION |
| GB0811671D0 (en) * | 2008-06-25 | 2008-07-30 | Imp Innovations Ltd | Morphological analysis |
| US8953856B2 (en) * | 2008-11-25 | 2015-02-10 | Algotec Systems Ltd. | Method and system for registering a medical image |
| EP2194486A1 (en) * | 2008-12-04 | 2010-06-09 | Koninklijke Philips Electronics N.V. | A method, apparatus, and computer program product for acquiring medical image data |
| US8073220B2 (en) | 2009-04-20 | 2011-12-06 | Siemens Aktiengesellschaft | Methods and systems for fully automatic segmentation of medical images |
| GB0917154D0 (en) * | 2009-09-30 | 2009-11-11 | Imp Innovations Ltd | Method and apparatus for processing medical images |
| CN103069455B (zh) * | 2010-07-30 | 2017-05-24 | 皇家飞利浦电子股份有限公司 | 用于医学图像的鲁棒分割的器官特异的增强滤波器 |
| US8160357B2 (en) * | 2010-07-30 | 2012-04-17 | Kabushiki Kaisha Toshiba | Image segmentation |
| KR101883258B1 (ko) * | 2010-08-13 | 2018-07-31 | 스미스 앤드 네퓨, 인크. | 해부학적 계측점의 검출 방법 |
| US9710730B2 (en) * | 2011-02-11 | 2017-07-18 | Microsoft Technology Licensing, Llc | Image registration |
| CN102737379A (zh) * | 2012-06-07 | 2012-10-17 | 中山大学 | 一种基于自适应学习的ct图像分割方法 |
| US9122950B2 (en) * | 2013-03-01 | 2015-09-01 | Impac Medical Systems, Inc. | Method and apparatus for learning-enhanced atlas-based auto-segmentation |
| US9235781B2 (en) * | 2013-08-09 | 2016-01-12 | Kabushiki Kaisha Toshiba | Method of, and apparatus for, landmark location |
| US9655563B2 (en) * | 2013-09-25 | 2017-05-23 | Siemens Healthcare Gmbh | Early therapy response assessment of lesions |
| US9406142B2 (en) * | 2013-10-08 | 2016-08-02 | The Trustees Of The University Of Pennsylvania | Fully automatic image segmentation of heart valves using multi-atlas label fusion and deformable medial modeling |
| US9668699B2 (en) * | 2013-10-17 | 2017-06-06 | Siemens Healthcare Gmbh | Method and system for anatomical object detection using marginal space deep neural networks |
| EP2881916B1 (en) * | 2013-12-06 | 2018-01-31 | Siemens Healthcare GmbH | Query-specific generation and retrieval of medical volume images |
| WO2015128775A1 (en) * | 2014-02-27 | 2015-09-03 | Koninklijke Philips N.V. | Unsupervised training for an atlas-based registration |
| US9092691B1 (en) * | 2014-07-18 | 2015-07-28 | Median Technologies | System for computing quantitative biomarkers of texture features in tomographic images |
| KR20160049897A (ko) * | 2014-10-28 | 2016-05-10 | 삼성전자주식회사 | 연속적인 의료 영상을 이용한 컴퓨터 보조 진단 장치 및 방법 |
| US9767380B2 (en) * | 2015-04-13 | 2017-09-19 | Varian Medical Systems International Ag. | Image comparison tool tolerant to deformable image matching |
| US10037603B2 (en) * | 2015-05-04 | 2018-07-31 | Siemens Healthcare Gmbh | Method and system for whole body bone removal and vascular visualization in medical image data |
| US9684967B2 (en) * | 2015-10-23 | 2017-06-20 | International Business Machines Corporation | Imaging segmentation using multi-scale machine learning approach |
| US10169871B2 (en) | 2016-01-21 | 2019-01-01 | Elekta, Inc. | Systems and methods for segmentation of intra-patient medical images |
| US20170337682A1 (en) * | 2016-05-18 | 2017-11-23 | Siemens Healthcare Gmbh | Method and System for Image Registration Using an Intelligent Artificial Agent |
| US10695150B2 (en) * | 2016-12-16 | 2020-06-30 | Align Technology, Inc. | Augmented reality enhancements for intraoral scanning |
-
2016
- 2016-12-20 US US15/385,732 patent/US10169871B2/en active Active
-
2017
- 2017-01-18 WO PCT/US2017/013962 patent/WO2017127439A1/en active Application Filing
- 2017-01-18 CN CN201780007353.6A patent/CN109074500B/zh active Active
- 2017-01-18 JP JP2018538580A patent/JP6742421B2/ja active Active
- 2017-01-18 EP EP17703003.8A patent/EP3405909B1/en active Active
- 2017-01-18 AU AU2017209046A patent/AU2017209046B2/en active Active
-
2018
- 2018-11-27 US US16/201,620 patent/US10867385B2/en active Active
-
2020
- 2020-11-09 US US16/949,648 patent/US11386557B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109074500A (zh) | 2018-12-21 |
| EP3405909A1 (en) | 2018-11-28 |
| US20190108635A1 (en) | 2019-04-11 |
| EP3405909B1 (en) | 2023-11-15 |
| AU2017209046B2 (en) | 2020-06-04 |
| AU2017209046A1 (en) | 2018-07-19 |
| US20170213339A1 (en) | 2017-07-27 |
| US11386557B2 (en) | 2022-07-12 |
| US20210056687A1 (en) | 2021-02-25 |
| WO2017127439A1 (en) | 2017-07-27 |
| US10867385B2 (en) | 2020-12-15 |
| US10169871B2 (en) | 2019-01-01 |
| JP2019506208A (ja) | 2019-03-07 |
| CN109074500B (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6742421B2 (ja) | 内視鏡的医療画像のセグメンテーションのためのシステムおよび方法 | |
| US11547874B2 (en) | Machine learning approach to real-time patient motion monitoring | |
| US11491348B2 (en) | Real-time patient motion monitoring using a magnetic resonance linear accelerator (MRLINAC) | |
| CN111727458B (zh) | 使用深度学习的基于图谱集的分割 | |
| US10546014B2 (en) | Systems and methods for segmenting medical images based on anatomical landmark-based features | |
| JP7030050B2 (ja) | 組織パラメータ推定を用いたｍｒデータからの疑似ｃｔ生成 | |
| JP2021035502A (ja) | 畳み込みニューラルネットワークを用いた画像セグメンテーションのためのシステムおよび方法 | |
| WO2018119766A1 (zh) | 多模态图像处理系统及方法 | |
| JP6782051B2 (ja) | オンライン学習により強化されたアトラスベース自動セグメンテーション | |
| CN112770811A (zh) | 使用深度学习引擎进行放射疗法治疗计划的方法和系统 | |
| CN114375216A (zh) | 压缩放射疗法治疗计划优化问题 | |
| CN114846476A (zh) | 训练用于放射疗法治疗计划的深度学习引擎 | |
| Mahon | Advanced Imaging Analysis for Predicting Tumor Response and Improving Contour Delineation Uncertainty | |
| WO2023196533A1 (en) | Automated generation of radiotherapy plans |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200116 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200116 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200116 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200605 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200721 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200728 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6742421 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |