JP6514325B2 - 解剖学的ランドマークベースの特徴に基づいた医用画像をセグメント化するためのシステム及び方法 - Google Patents
解剖学的ランドマークベースの特徴に基づいた医用画像をセグメント化するためのシステム及び方法 Download PDFInfo
- Publication number
- JP6514325B2 JP6514325B2 JP2017512347A JP2017512347A JP6514325B2 JP 6514325 B2 JP6514325 B2 JP 6514325B2 JP 2017512347 A JP2017512347 A JP 2017512347A JP 2017512347 A JP2017512347 A JP 2017512347A JP 6514325 B2 JP6514325 B2 JP 6514325B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- point
- landmark
- features
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 107
- 238000012549 training Methods 0.000 claims description 167
- 210000003484 anatomy Anatomy 0.000 claims description 72
- 238000013145 classification model Methods 0.000 claims description 51
- 238000000605 extraction Methods 0.000 claims description 36
- 230000015654 memory Effects 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 12
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 6
- 210000000056 organ Anatomy 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 210000000988 bone and bone Anatomy 0.000 claims 1
- 238000007670 refining Methods 0.000 claims 1
- 210000001519 tissue Anatomy 0.000 claims 1
- 230000008569 process Effects 0.000 description 41
- 238000004422 calculation algorithm Methods 0.000 description 26
- 238000003709 image segmentation Methods 0.000 description 22
- 238000002591 computed tomography Methods 0.000 description 20
- 230000011218 segmentation Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 210000002307 prostate Anatomy 0.000 description 11
- 238000003860 storage Methods 0.000 description 11
- 238000012706 support-vector machine Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000002595 magnetic resonance imaging Methods 0.000 description 7
- 238000002059 diagnostic imaging Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000001959 radiotherapy Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 210000004197 pelvis Anatomy 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 3
- 238000002600 positron emission tomography Methods 0.000 description 3
- 238000002603 single-photon emission computed tomography Methods 0.000 description 3
- 206010060862 Prostate cancer Diseases 0.000 description 2
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 210000000664 rectum Anatomy 0.000 description 2
- 210000003932 urinary bladder Anatomy 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000013535 dynamic contrast enhanced MRI Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30081—Prostate
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- High Energy & Nuclear Physics (AREA)
- Biophysics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Description
［００１］
本開示は、一般に、医用画像セグメンテーションに関する。より詳細には、本開示は、解剖学的ランドマークに対して抽出された特徴を使用する学習アルゴリズムに基づく自動医用画像セグメンテーションのためのシステム及び方法に関する。
本開示は、一般に、医用画像セグメンテーションに関する。より詳細には、本開示は、解剖学的ランドマークに対して抽出された特徴を使用する学習アルゴリズムに基づく自動医用画像セグメンテーションのためのシステム及び方法に関する。
［００２］
画像セグメンテーション技術は、医用画像をセグメント化し、画像内の解剖学的構造間の輪郭を決定するために広く使用されている。例えば、放射線療法では、輪郭形成時間を短縮し、様々な病院にわたって輪郭の精度と一貫性を改善するために、臓器の自動セグメント化が通常行われる。しかし、自動化されたセグメンテーションは、癌患者を治療するために使用されるコンピュータトモグラフィ（Computer Tomography：ＣＴ）画像又はコーンビームコンピュータ断層撮影（Cone-Beam Computer Tomography：ＣＢＣＴ）画像など、より低い画質を有する医用画像では依然として非常に困難な作業である。例えば、そのようなＣＴ画像又はＣＢＣＴ画像は、ほとんどの軟組織構造に対してコントラストが低く、テクスチャが少ないことが知られている。したがって、主に画像のコントラストに基づく従来の画像セグメンテーション方法は、背景と、関心のある解剖学的構造（例えば臓器又は腫瘍）との間、又は医用画像内の異なる解剖学的構造間の正確な輪郭を見つけることができないことが多い。
画像セグメンテーション技術は、医用画像をセグメント化し、画像内の解剖学的構造間の輪郭を決定するために広く使用されている。例えば、放射線療法では、輪郭形成時間を短縮し、様々な病院にわたって輪郭の精度と一貫性を改善するために、臓器の自動セグメント化が通常行われる。しかし、自動化されたセグメンテーションは、癌患者を治療するために使用されるコンピュータトモグラフィ（Computer Tomography：ＣＴ）画像又はコーンビームコンピュータ断層撮影（Cone-Beam Computer Tomography：ＣＢＣＴ）画像など、より低い画質を有する医用画像では依然として非常に困難な作業である。例えば、そのようなＣＴ画像又はＣＢＣＴ画像は、ほとんどの軟組織構造に対してコントラストが低く、テクスチャが少ないことが知られている。したがって、主に画像のコントラストに基づく従来の画像セグメンテーション方法は、背景と、関心のある解剖学的構造（例えば臓器又は腫瘍）との間、又は医用画像内の異なる解剖学的構造間の正確な輪郭を見つけることができないことが多い。
［００３］
図１は、典型的な前立腺癌患者からの例示的な三次元（３Ｄ）ＣＴ画像を示す。図１（Ａ）は、患者の膀胱、前立腺及び直腸を含む３Ｄビューの患者の骨盤領域を示す。図１（Ｂ）、（Ｃ）及び（Ｄ）は、この骨盤領域の３Ｄ ＣＴ画像からの軸方向、矢状及び冠状のビューである。図１（Ｂ）、（Ｃ）及び（Ｄ）に示すように、患者の前立腺境界の大部分は見えない。すなわち、前立腺を他の解剖学的構造から容易に区別することができず、又は前立腺の輪郭を決定することができない。これと比較して、図１（Ｅ）、（Ｆ）及び（Ｇ）は、同じ三次元（３Ｄ）ＣＴ画像上で予測される前立腺輪郭を示す。したがって、この例示的三次元（３Ｄ）ＣＴ画像をセグメント化するために使用される場合、画像に提示されるコントラスト及びテクスチャだけに基づく従来の画像セグメンテーション方法は失敗する可能性が高い。
図１は、典型的な前立腺癌患者からの例示的な三次元（３Ｄ）ＣＴ画像を示す。図１（Ａ）は、患者の膀胱、前立腺及び直腸を含む３Ｄビューの患者の骨盤領域を示す。図１（Ｂ）、（Ｃ）及び（Ｄ）は、この骨盤領域の３Ｄ ＣＴ画像からの軸方向、矢状及び冠状のビューである。図１（Ｂ）、（Ｃ）及び（Ｄ）に示すように、患者の前立腺境界の大部分は見えない。すなわち、前立腺を他の解剖学的構造から容易に区別することができず、又は前立腺の輪郭を決定することができない。これと比較して、図１（Ｅ）、（Ｆ）及び（Ｇ）は、同じ三次元（３Ｄ）ＣＴ画像上で予測される前立腺輪郭を示す。したがって、この例示的三次元（３Ｄ）ＣＴ画像をセグメント化するために使用される場合、画像に提示されるコントラスト及びテクスチャだけに基づく従来の画像セグメンテーション方法は失敗する可能性が高い。
［００４］
機械学習技術における最近の進展により、より低品質の画像に対する改善された画像セグメンテーションが可能になる。例えば、教師付き学習アルゴリズムは、医用画像の各ピクセル又はボクセルがどの解剖学的構造に属すべきかを予測するために機械又はコンピュータを「訓練」することができる。そのような予測は、通常、ピクセル又はボクセルのフィーチャを入力として使用する。したがって、セグメンテーションのパフォーマンスは、利用可能な機能の種類に大きく依存する。今日まで、ほとんどの学習ベースの画像セグメンテーション方法は、主に画像強度、画像テクスチャなどの局所画像特徴に基づいている。
結果として、これらのセグメンテーション方法は、図１に示す三次元（３Ｄ）ＣＴ画像のような低品質画像に対して依然として最適以下である。
機械学習技術における最近の進展により、より低品質の画像に対する改善された画像セグメンテーションが可能になる。例えば、教師付き学習アルゴリズムは、医用画像の各ピクセル又はボクセルがどの解剖学的構造に属すべきかを予測するために機械又はコンピュータを「訓練」することができる。そのような予測は、通常、ピクセル又はボクセルのフィーチャを入力として使用する。したがって、セグメンテーションのパフォーマンスは、利用可能な機能の種類に大きく依存する。今日まで、ほとんどの学習ベースの画像セグメンテーション方法は、主に画像強度、画像テクスチャなどの局所画像特徴に基づいている。
結果として、これらのセグメンテーション方法は、図１に示す三次元（３Ｄ）ＣＴ画像のような低品質画像に対して依然として最適以下である。
［００５］
したがって、放射線療法又は関連分野における医用画像のセグメンテーション性能を改善するために、学習に基づく自動セグメンテーション方法のためのより適切な特徴を設計する必要がある。
したがって、放射線療法又は関連分野における医用画像のセグメンテーション性能を改善するために、学習に基づく自動セグメンテーション方法のためのより適切な特徴を設計する必要がある。
［００６］
本開示の特定の実施形態は、医用画像をセグメント化するための方法に関する。この方法は、複数のコンピュータ実行可能命令を実行するプロセッサ装置によって実施することができる。この方法は、メモリから画像を受け取り、画像内の少なくともひとつのランドマークポイントを識別することを含むことができる。この方法は、前記画像内の画像ポイントを選択するステップと、前記少なくともひとつのランドマークポイントに対する前記画像ポイントの少なくともひとつの特徴点を決定するステップを更に含むことができる。この方法は、また、少なくともひとつの決定された特徴に基づいて分類モデルを使用することによって、画像ポイントを解剖学的構造に関連付けることを含むことができる。
本開示の特定の実施形態は、医用画像をセグメント化するための方法に関する。この方法は、複数のコンピュータ実行可能命令を実行するプロセッサ装置によって実施することができる。この方法は、メモリから画像を受け取り、画像内の少なくともひとつのランドマークポイントを識別することを含むことができる。この方法は、前記画像内の画像ポイントを選択するステップと、前記少なくともひとつのランドマークポイントに対する前記画像ポイントの少なくともひとつの特徴点を決定するステップを更に含むことができる。この方法は、また、少なくともひとつの決定された特徴に基づいて分類モデルを使用することによって、画像ポイントを解剖学的構造に関連付けることを含むことができる。
［００７］
本開示の特定の実施形態は、医用画像をセグメント化するための別の方法に関する。この方法は、複数のコンピュータ実行可能命令を実行するプロセッサ装置によって実施することができる。この方法は、メモリ位置から画像を受け取り、画像内の少なくともひとつのランドマークポイントを識別することを含むことができる。この方法は、前記画像内の画像ポイントを選択するステップと、前記少なくともひとつのランドマークポイントに対する前記画像ポイントの少なくともひとつの特徴点を決定するステップを更に含むことができる。この方法は、画像テクスチャ、画像からの画像パッチ、又はそれらの組み合わせのうちの少なくともひとつを抽出するステップを更に含むことができる。この方法は、また、少なくともひとつの決定された特徴と、抽出された画像テクスチャ、抽出された画像パッチ、及びそれらの組み合わせのうちの少なくともひとつに基づく分類モデルを使用することによって、画像ポイントを解剖学的構造に関連付けることを含むことができる。
本開示の特定の実施形態は、医用画像をセグメント化するための別の方法に関する。この方法は、複数のコンピュータ実行可能命令を実行するプロセッサ装置によって実施することができる。この方法は、メモリ位置から画像を受け取り、画像内の少なくともひとつのランドマークポイントを識別することを含むことができる。この方法は、前記画像内の画像ポイントを選択するステップと、前記少なくともひとつのランドマークポイントに対する前記画像ポイントの少なくともひとつの特徴点を決定するステップを更に含むことができる。この方法は、画像テクスチャ、画像からの画像パッチ、又はそれらの組み合わせのうちの少なくともひとつを抽出するステップを更に含むことができる。この方法は、また、少なくともひとつの決定された特徴と、抽出された画像テクスチャ、抽出された画像パッチ、及びそれらの組み合わせのうちの少なくともひとつに基づく分類モデルを使用することによって、画像ポイントを解剖学的構造に関連付けることを含むことができる。
［００８］
本開示の特定の実施形態は、コンピュータ実行可能命令を格納する非一時的なコンピュータ可読媒体に関する。コンピュータによって実行されるとき、コンピュータ実行可能命令は、コンピュータに、医用画像をセグメント化するために使用される分類モデルを訓練するための動作を実行させることができる。コンピュータ実行可能命令は、訓練画像を受け取るための命令を含むことができ、訓練画像は複数の画像ポイントを含み、訓練画像内の各画像ポイントは解剖学的構造に割り当てられる。コンピュータ実行可能命令は、訓練画像内の少なくともひとつのランドマークポイントを識別し、ランドマークポイントに対する訓練画像内の各画像ポイントのひとつ以上の特徴を決定するための命令を更に含むことができる。コンピュータ実行可能命令は、また、分類モデルを訓練するための訓練データとして複数の画像ポイントを使用するための命令を含むことができる。分類モデルは、分類されていない画像ポイントのひとつ又は複数の決定された特徴に基づいて、分類されていない画像ポイントを解剖学的構造に関連付ける。
本開示の特定の実施形態は、コンピュータ実行可能命令を格納する非一時的なコンピュータ可読媒体に関する。コンピュータによって実行されるとき、コンピュータ実行可能命令は、コンピュータに、医用画像をセグメント化するために使用される分類モデルを訓練するための動作を実行させることができる。コンピュータ実行可能命令は、訓練画像を受け取るための命令を含むことができ、訓練画像は複数の画像ポイントを含み、訓練画像内の各画像ポイントは解剖学的構造に割り当てられる。コンピュータ実行可能命令は、訓練画像内の少なくともひとつのランドマークポイントを識別し、ランドマークポイントに対する訓練画像内の各画像ポイントのひとつ以上の特徴を決定するための命令を更に含むことができる。コンピュータ実行可能命令は、また、分類モデルを訓練するための訓練データとして複数の画像ポイントを使用するための命令を含むことができる。分類モデルは、分類されていない画像ポイントのひとつ又は複数の決定された特徴に基づいて、分類されていない画像ポイントを解剖学的構造に関連付ける。
［００９］
本開示の特定の実施形態は、コンピュータ実行可能命令を格納する非一時的なコンピュータ可読記憶媒体に関する。コンピュータ実行可能命令は、コンピュータによって実行されると、分類モデルを使用して医用画像をセグメント化するための動作をコンピュータに実行させることができる。コンピュータ実行可能命令は、メモリ位置から画像を受け取り、画像内の少なくともひとつのランドマークポイントを識別する命令を含むことができる。コンピュータ実行可能命令は、画像内の画像ポイントを選択し、ランドマークポイントに対する画像ポイントの少なくともひとつの特徴を決定するための命令を更に含むことができる。コンピュータ実行可能命令はまた、少なくともひとつの決定された特徴に基づいて、分類モデルを使用することによって、画像ポイントを解剖学的構造に関連付けるための命令を含むことができる。
本開示の特定の実施形態は、コンピュータ実行可能命令を格納する非一時的なコンピュータ可読記憶媒体に関する。コンピュータ実行可能命令は、コンピュータによって実行されると、分類モデルを使用して医用画像をセグメント化するための動作をコンピュータに実行させることができる。コンピュータ実行可能命令は、メモリ位置から画像を受け取り、画像内の少なくともひとつのランドマークポイントを識別する命令を含むことができる。コンピュータ実行可能命令は、画像内の画像ポイントを選択し、ランドマークポイントに対する画像ポイントの少なくともひとつの特徴を決定するための命令を更に含むことができる。コンピュータ実行可能命令はまた、少なくともひとつの決定された特徴に基づいて、分類モデルを使用することによって、画像ポイントを解剖学的構造に関連付けるための命令を含むことができる。
［０１０］
本開示の特定の実施形態は、医用画像をセグメント化するために使用される分類モデルを訓練するためのシステムに関する。このシステムは、複数の訓練画像を記憶するように構成されたデータベースを備え、各訓練画像は複数の画像ポイントを含み、各画像ポイントは解剖学的構造に割り当てられる。このシステムは、複数の訓練画像にアクセスするためにデータベースに接続された訓練ユニットを更に備えてもよい。訓練ユニットは、特徴抽出モジュール及び分類器訓練モジュールを含むことができる。特徴抽出モジュールは、データベースから訓練画像を受け取るように構成することができる。訓練画像は複数の画像ポイントを含み、訓練画像内の各画像ポイントには解剖学的構造が割り当てられる。特徴抽出モジュールは、更に、訓練画像内の少なくともひとつのランドマークポイントを含むように構成することができる。特徴抽出モジュールは、また、ランドマークポイントに対する訓練画像内の各画像ポイントのひとつ以上の特徴を決定するように構成されてもよい。分類器訓練モジュールは、分類モデルを訓練するための訓練データとして複数の画像ポイントを使用するように構成することができる。分類モデルは、分類されていない画像ポイントのひとつ又は複数の決定された特徴に基づいて、分類されていない画像ポイントを解剖学的構造に関連付ける。
本開示の特定の実施形態は、医用画像をセグメント化するために使用される分類モデルを訓練するためのシステムに関する。このシステムは、複数の訓練画像を記憶するように構成されたデータベースを備え、各訓練画像は複数の画像ポイントを含み、各画像ポイントは解剖学的構造に割り当てられる。このシステムは、複数の訓練画像にアクセスするためにデータベースに接続された訓練ユニットを更に備えてもよい。訓練ユニットは、特徴抽出モジュール及び分類器訓練モジュールを含むことができる。特徴抽出モジュールは、データベースから訓練画像を受け取るように構成することができる。訓練画像は複数の画像ポイントを含み、訓練画像内の各画像ポイントには解剖学的構造が割り当てられる。特徴抽出モジュールは、更に、訓練画像内の少なくともひとつのランドマークポイントを含むように構成することができる。特徴抽出モジュールは、また、ランドマークポイントに対する訓練画像内の各画像ポイントのひとつ以上の特徴を決定するように構成されてもよい。分類器訓練モジュールは、分類モデルを訓練するための訓練データとして複数の画像ポイントを使用するように構成することができる。分類モデルは、分類されていない画像ポイントのひとつ又は複数の決定された特徴に基づいて、分類されていない画像ポイントを解剖学的構造に関連付ける。
［０１１］
本開示の特定の実施形態は、分類モデルを使用して医用画像をセグメント化するためのシステムに関する。このシステムは、複数の画像を記憶するように構成されたデータベースを含むことができる。このシステムは、複数の画像にアクセスするためにデータベースに接続された分類ユニットを更に備えることができる。分類ユニットは、特徴抽出モジュール及び解剖学的分類モジュールを備えることができる。分類ユニットは、データベースから画像を受け取り、画像内の少なくともひとつのランドマークポイントを識別するように構成されてもよい。分類ユニットは、画像内の画像ポイントを選択し、ランドマークポイントに対する画像ポイントの少なくともひとつの特徴を決定するように更に構成されてもよい。
本開示の特定の実施形態は、分類モデルを使用して医用画像をセグメント化するためのシステムに関する。このシステムは、複数の画像を記憶するように構成されたデータベースを含むことができる。このシステムは、複数の画像にアクセスするためにデータベースに接続された分類ユニットを更に備えることができる。分類ユニットは、特徴抽出モジュール及び解剖学的分類モジュールを備えることができる。分類ユニットは、データベースから画像を受け取り、画像内の少なくともひとつのランドマークポイントを識別するように構成されてもよい。分類ユニットは、画像内の画像ポイントを選択し、ランドマークポイントに対する画像ポイントの少なくともひとつの特徴を決定するように更に構成されてもよい。
［０１２］
本開示の更なる目的及び利点は、以下の詳細な説明に部分的に記載され、部分的に説明から明らかになり、又は、本開示の実施によって習得することができる。本開示の目的及び利点は、添付の特許請求の範囲において特に指摘された要素及び組合せによって実現され、達成される。
本開示の更なる目的及び利点は、以下の詳細な説明に部分的に記載され、部分的に説明から明らかになり、又は、本開示の実施によって習得することができる。本開示の目的及び利点は、添付の特許請求の範囲において特に指摘された要素及び組合せによって実現され、達成される。
［０１３］
前述の一般的な説明及び以下の詳細な説明は例示的で説明的なものに過ぎず、特許請求の範囲に記載された本発明を限定するものではないことを理解されたい。
前述の一般的な説明及び以下の詳細な説明は例示的で説明的なものに過ぎず、特許請求の範囲に記載された本発明を限定するものではないことを理解されたい。
［０１４］
本明細書の一部を構成する添付の図面は、いくつかの実施形態を示し、詳細な説明と共に、開示される原理を説明する役割を果たす。
本明細書の一部を構成する添付の図面は、いくつかの実施形態を示し、詳細な説明と共に、開示される原理を説明する役割を果たす。
［０１５］
図１は、典型的な前立腺癌の患者からの例示的な３次元（３Ｄ）コンピュータ断層撮影（ＣＴ）画像を示す図である。
［０１６］
図２は、本開示のいくつかの実施形態による、ランドマーク特徴を使用する学習アルゴリズムに基づいて医用画像をセグメント化するための例示的な画像セグメンテーションシステムを示す図である。
［０１７］
図３は、本開示のいくつかの実施形態による例示的な医用画像処理装置を示す図である。
［０１８］
図４Ａは、本開示のいくつかの実施形態による、訓練画像から抽出されたランドマーク特徴を使用して解剖学的分類モデルを訓練するための例示的な解剖学的分類器訓練プロセスを示すフローチャートである。
［０１９］
図４Ｂは、本開示のいくつかの実施形態による、訓練画像から抽出されたランドマーク特徴を使用して解剖学的分類モデルを訓練するための例示的な解剖学的分類器訓練プロセスの例示的プロセスを示すフローチャートである。
［０２０］
図５Ａは、本開示のいくつかの実施形態による、図４Ａのプロセスによって得られた解剖学的分類モデルを使用して医用画像内の画像ポイントを分類するための例示的な解剖学的分類プロセスを示すフローチャートである。
［０２１］
図５Ｂは、本開示のいくつかの実施形態による、図４Ｂのプロセスによって得られた解剖学的分類モデルを使用して医用画像内の画像ポイントを分類するための解剖学的分類プロセスの別の例を示すフローチャートである。
［０２２］
図６は、本開示のいくつかの実施形態による、３次元（３Ｄ）医用画像の様々な異なる解剖学的構造及びその対応する軸方向、矢状及び冠状のビューにおける例示的なランドマークポイントを示す図である。
［０２３］
図７は、本開示のいくつかの実施形態による、２つのランドマークポイントに対する画像ボクセルのランドマーク特徴を示す図である。
［０２４］
図８は、本開示のいくつかの実施形態による、図１に示される３次元（３Ｄ）ＣＴ画像のセグメンテーション結果を示す図である。
［０２５］
図９は、本開示のいくつかの実施形態による、セグメンテーション結果の例示的な更なるアプリケーションを示すフローチャートである。
［０２６］
開示された原理の例及び特徴が本明細書に記載されているが、開示された実施形態の精神及び範囲から逸脱することなく、修正、適合及び他の実施が可能である。また、「備える（comprising）」、「有する（having）」、「含む（containing）」及び「含む（including）」という言葉及び他の同様の表現は、意味が等価であることを意図された、オープンエンドとして解釈され、これらの単語のいずれかに続くひとつの構成要素又は複数の構成要素は完全なリストを意味するものではなく、リストされたひとつの構成要素又は複数の構成要素のみに限定されることを意味するものではない。単数形「a」、「an」及び「the」は、文脈上明確に指示されない限り、複数であることを含むことが意図している。
開示された原理の例及び特徴が本明細書に記載されているが、開示された実施形態の精神及び範囲から逸脱することなく、修正、適合及び他の実施が可能である。また、「備える（comprising）」、「有する（having）」、「含む（containing）」及び「含む（including）」という言葉及び他の同様の表現は、意味が等価であることを意図された、オープンエンドとして解釈され、これらの単語のいずれかに続くひとつの構成要素又は複数の構成要素は完全なリストを意味するものではなく、リストされたひとつの構成要素又は複数の構成要素のみに限定されることを意味するものではない。単数形「a」、「an」及び「the」は、文脈上明確に指示されない限り、複数であることを含むことが意図している。
［０２７］
本開示と一致するシステム及び方法は、ランドマーク特徴に基づく学習アルゴリズムを使用して医用画像をセグメント化することに関する。本明細書で使用する「学習アルゴリズム」は、既存の情報又は知識に基づいてモデル又はパターンを学習することができる任意のアルゴリズムを指す。例えば、学習アルゴリズムは、機械学習アルゴリズム又は任意の他の適切な学習アルゴリズムであってもよい。いくつかの実施形態では、サポートベクターマシン（Support Vector Machine：ＳＶＭ）、Ａｄａｂｏｏｓｔ／Ｌｏｇｉｔｂｏｏｓｔ、ランダムフォレスト（Random Forest）、及び、ニューラルネットワーク（Neural Network）などの監視学習アルゴリズムを使用することができる。いくつかの他の実施形態では、半教師付き学習アルゴリズム（semi-supervised learning algorithms）を使用することもできる。
本開示と一致するシステム及び方法は、ランドマーク特徴に基づく学習アルゴリズムを使用して医用画像をセグメント化することに関する。本明細書で使用する「学習アルゴリズム」は、既存の情報又は知識に基づいてモデル又はパターンを学習することができる任意のアルゴリズムを指す。例えば、学習アルゴリズムは、機械学習アルゴリズム又は任意の他の適切な学習アルゴリズムであってもよい。いくつかの実施形態では、サポートベクターマシン（Support Vector Machine：ＳＶＭ）、Ａｄａｂｏｏｓｔ／Ｌｏｇｉｔｂｏｏｓｔ、ランダムフォレスト（Random Forest）、及び、ニューラルネットワーク（Neural Network）などの監視学習アルゴリズムを使用することができる。いくつかの他の実施形態では、半教師付き学習アルゴリズム（semi-supervised learning algorithms）を使用することもできる。
［０２８］
教師付き学習（supervised learning）は、学習データのセットが与えられた予測モデルを推論する機械学習の一分野である。訓練データの各個々のサンプルは、データベクトル（一連の測定値など）と所望の出力値とを含むペアである。監視学習アルゴリズムは、訓練データを分析し、予測関数を生成する。予測関数は、異なるグループを識別するラベルのリストのように、出力が離散的である場合、分類器又は分類モデルと呼ばれる。一旦訓練によって導出された予測機能は、任意の有効な入力オブジェクトに対する正しい出力値を予測することができる。
教師付き学習（supervised learning）は、学習データのセットが与えられた予測モデルを推論する機械学習の一分野である。訓練データの各個々のサンプルは、データベクトル（一連の測定値など）と所望の出力値とを含むペアである。監視学習アルゴリズムは、訓練データを分析し、予測関数を生成する。予測関数は、異なるグループを識別するラベルのリストのように、出力が離散的である場合、分類器又は分類モデルと呼ばれる。一旦訓練によって導出された予測機能は、任意の有効な入力オブジェクトに対する正しい出力値を予測することができる。
［０２９］
開示された実施形態と一致して、画像セグメンテーションは、医用画像の各画像ポイントを解剖学的構造のひとつに分類する学習ベースの分類関数として定式化することができる。本明細書で使用する「画像ポイント（image point）」は、基礎をなすオブジェクト内の物理的な点に対応するデジタル画像内の画像要素を指す。例えば、画像ポイントは、２Ｄ画像内のピクセル又は３次元（３Ｄ）画像内のボクセルである。
開示された実施形態と一致して、画像セグメンテーションは、医用画像の各画像ポイントを解剖学的構造のひとつに分類する学習ベースの分類関数として定式化することができる。本明細書で使用する「画像ポイント（image point）」は、基礎をなすオブジェクト内の物理的な点に対応するデジタル画像内の画像要素を指す。例えば、画像ポイントは、２Ｄ画像内のピクセル又は３次元（３Ｄ）画像内のボクセルである。
［０３０］
開示された実施形態と一致して、画像セグメンテーションは、画像ポイントではなく画像ブロックを分類することもできる。本明細書で使用する「画像ブロック（image block）」は、一緒に分類される画像ポイントのグループである。例えば、画像ブロックは、２Ｄ画像内のスーパーピクセル（super-pixel）、又は３次元（３Ｄ）画像内のスーパーボクセル（super-vpvel）であってもよい。画像ブロック内の画像ポイントが同じ解剖学的構造に属することが分かっている場合、画像ブロックに基づいて分類する方がより効率的で正確である可能性がある。したがって、用語「画像ポイント（image point）」が本開示を通じて使用されるときはいつでも、それは、上記で定義されるような基本的な「画像ポイント（image point）」及び「画像ブロック（image block）」の両方をカバーすることを意図する。
開示された実施形態と一致して、画像セグメンテーションは、画像ポイントではなく画像ブロックを分類することもできる。本明細書で使用する「画像ブロック（image block）」は、一緒に分類される画像ポイントのグループである。例えば、画像ブロックは、２Ｄ画像内のスーパーピクセル（super-pixel）、又は３次元（３Ｄ）画像内のスーパーボクセル（super-vpvel）であってもよい。画像ブロック内の画像ポイントが同じ解剖学的構造に属することが分かっている場合、画像ブロックに基づいて分類する方がより効率的で正確である可能性がある。したがって、用語「画像ポイント（image point）」が本開示を通じて使用されるときはいつでも、それは、上記で定義されるような基本的な「画像ポイント（image point）」及び「画像ブロック（image block）」の両方をカバーすることを意図する。
［０３１］
開示されたセグメンテーション方法は、一般に、２つのステージ、すなわち、解剖学的分類モデルを「訓練」又は「学習」する訓練ステージと、解剖学的分類モデルを使用して各画像ポイントが属する解剖学的構造を予測する分類ステージとを含む。
開示されたセグメンテーション方法は、一般に、２つのステージ、すなわち、解剖学的分類モデルを「訓練」又は「学習」する訓練ステージと、解剖学的分類モデルを使用して各画像ポイントが属する解剖学的構造を予測する分類ステージとを含む。
［０３２］
開示された実施形態と一致して、訓練プロセスは、解剖学的分類モデルを学習するために一連の訓練画像を使用する。本明細書で使用する「訓練画像」は、画像ポイントが既に分類され、ラベル付けされている画像である。例えば、訓練画像は予めセグメント化されていてもよい。したがって、訓練画像内の画像ポイントは、既知の解剖学的構造に関連付けられる。
開示された実施形態と一致して、訓練プロセスは、解剖学的分類モデルを学習するために一連の訓練画像を使用する。本明細書で使用する「訓練画像」は、画像ポイントが既に分類され、ラベル付けされている画像である。例えば、訓練画像は予めセグメント化されていてもよい。したがって、訓練画像内の画像ポイントは、既知の解剖学的構造に関連付けられる。
［０３３］
開示された実施形態と一致して、訓練プロセスは、各訓練画像上のランドマークポイントを識別し、これらのランドマークポイントに基づいて訓練画像内の各画像ポイントのランドマーク特徴を決定する。本明細書で使用する「ランドマークポイント（landmark point）」は、既知の解剖学的ランドマークに対応する訓練画像内の基準点である。したがって、「ランドマーク特徴（landmark feature）」は、画像ポイントに関連する特徴であり、画像ポイントとランドマークポイントとの間の関係を反映する。いくつかの実施形態では、ランドマーク特徴は、画像ポイントとランドマークポイントとの間の相対的な位置又は幾何学的形状を示す。ランドマーク特徴の例は、（１）画像ポイントとランドマークポイントとの間の相対距離、（２）ランドマークポイントを有する画像ポイントに基づいて形成された変位ベクトルの方向及び／又は成分値、（３）画像ポイント及び複数のランドマークポイントによって形成される形状から計算され得る角度、面積、体積、又は他の幾何学的尺度、（４）画像ポイントと各ランドマークポイントとの間の相対的な輝度値、（５）角度の正弦／余弦又は距離値の平方根又は平方根など、上記の尺度に基づいて導出された値、である。
開示された実施形態と一致して、訓練プロセスは、各訓練画像上のランドマークポイントを識別し、これらのランドマークポイントに基づいて訓練画像内の各画像ポイントのランドマーク特徴を決定する。本明細書で使用する「ランドマークポイント（landmark point）」は、既知の解剖学的ランドマークに対応する訓練画像内の基準点である。したがって、「ランドマーク特徴（landmark feature）」は、画像ポイントに関連する特徴であり、画像ポイントとランドマークポイントとの間の関係を反映する。いくつかの実施形態では、ランドマーク特徴は、画像ポイントとランドマークポイントとの間の相対的な位置又は幾何学的形状を示す。ランドマーク特徴の例は、（１）画像ポイントとランドマークポイントとの間の相対距離、（２）ランドマークポイントを有する画像ポイントに基づいて形成された変位ベクトルの方向及び／又は成分値、（３）画像ポイント及び複数のランドマークポイントによって形成される形状から計算され得る角度、面積、体積、又は他の幾何学的尺度、（４）画像ポイントと各ランドマークポイントとの間の相対的な輝度値、（５）角度の正弦／余弦又は距離値の平方根又は平方根など、上記の尺度に基づいて導出された値、である。
［０３４］
開示された実施形態と一致して、訓練プロセスは、訓練データベクトルとしての各画像ポイントのランドマーク特徴と、対応する画像ポイントの既知の解剖学的ラベルを所望の出力として使用し、監視学習アルゴリズムを適用する。以下でより詳細に説明するプロセスを用いて適切に訓練されると、このようなアルゴリズムは解剖学的分類器の一部として使用することができる。
開示された実施形態と一致して、訓練プロセスは、訓練データベクトルとしての各画像ポイントのランドマーク特徴と、対応する画像ポイントの既知の解剖学的ラベルを所望の出力として使用し、監視学習アルゴリズムを適用する。以下でより詳細に説明するプロセスを用いて適切に訓練されると、このようなアルゴリズムは解剖学的分類器の一部として使用することができる。
［０３５］
開示された実施形態と一致して、分類モジュールは、訓練された分類器を使用して、セグメント化されていない医用画像内の画像ポイントの解剖学的構造に関する予測を行う。機械学習の文脈では、分類は、画像ポイントが最も有望な解剖学的構造の予測に過ぎない。言い換えれば、分類モジュールは、特定の画像ポイントが各解剖学的構造に属する確率を決定し、次いで画像ポイントが最も高い確率に関連する解剖学的構造に属するべきであると予測する。
開示された実施形態と一致して、分類モジュールは、訓練された分類器を使用して、セグメント化されていない医用画像内の画像ポイントの解剖学的構造に関する予測を行う。機械学習の文脈では、分類は、画像ポイントが最も有望な解剖学的構造の予測に過ぎない。言い換えれば、分類モジュールは、特定の画像ポイントが各解剖学的構造に属する確率を決定し、次いで画像ポイントが最も高い確率に関連する解剖学的構造に属するべきであると予測する。
［０３６］
開示された実施形態と一致して、分類モジュールはまた、セグメント化される医用画像上のランドマークポイントを識別し、これらのランドマークポイントに基づいて画像内の各画像ポイントのランドマーク特徴を決定する。ランドマークポイントは、一般に、訓練画像上で識別されたものと同じ位置にある。同様に、決定されたランドマーク特徴は、一般に、訓練プロセス中に決定されたものと同じタイプである。ランドマーク特徴は、訓練された分類器に提供され、各画像ポイントの解剖学的構造ラベルの予測を生成する。医用画像内のすべての画像ポイントが適切にラベル付けされると、画像はセグメント化される。
開示された実施形態と一致して、分類モジュールはまた、セグメント化される医用画像上のランドマークポイントを識別し、これらのランドマークポイントに基づいて画像内の各画像ポイントのランドマーク特徴を決定する。ランドマークポイントは、一般に、訓練画像上で識別されたものと同じ位置にある。同様に、決定されたランドマーク特徴は、一般に、訓練プロセス中に決定されたものと同じタイプである。ランドマーク特徴は、訓練された分類器に提供され、各画像ポイントの解剖学的構造ラベルの予測を生成する。医用画像内のすべての画像ポイントが適切にラベル付けされると、画像はセグメント化される。
［０３７］
開示された実施形態と一致して、訓練モジュール及び分類モジュールは、ランドマークベースではない画像特徴を決定及び使用することもできる。本明細書で使用される場合、「画像特徴」は画像ポイントに関連付けられ、関連する画像ポイントのローカル特性又はコンテキスト特徴を反映する。画像特徴の例には、画像強度、画像テクスチャ、画像パッチ、輝度プロファイルの曲率などが含まれるが、これらに限定されない。開示された訓練モジュールおよび分類モジュールは、ランドマーク特徴と組み合わせて、ひとつまたは複数の画像特徴を使用することができる。
開示された実施形態と一致して、訓練モジュール及び分類モジュールは、ランドマークベースではない画像特徴を決定及び使用することもできる。本明細書で使用される場合、「画像特徴」は画像ポイントに関連付けられ、関連する画像ポイントのローカル特性又はコンテキスト特徴を反映する。画像特徴の例には、画像強度、画像テクスチャ、画像パッチ、輝度プロファイルの曲率などが含まれるが、これらに限定されない。開示された訓練モジュールおよび分類モジュールは、ランドマーク特徴と組み合わせて、ひとつまたは複数の画像特徴を使用することができる。
［０３８］
開示された画像セグメンテーションシステムおよび方法は、任意のタイプの撮像モダリティから得られた医用画像に適用することができる。医用画像としては、Ｘ線、ＣＴ、ＣＢＣＴ、螺旋ＣＴ、磁気共鳴イメージング（ＭＲＩ）、超音波（ＵＳ）、陽電子放射断層撮影法（ＰＥＴ）、単一光子放出コンピュータ断層撮影法（ＳＰＥＣＴ）及び光学画像を含むが、これに限定されない。更に、開示された画像セグメンテーションシステム及び方法は、２次元（２Ｄ）画像及び３次元（３Ｄ）画像の両方をセグメント化するように適合させることができる。２次元（２Ｄ）画像をセグメント化する場合、ランドマークポイントは２次元（２Ｄ）平面内で識別され、関連ランドマーク特徴も２次元（２Ｄ）で計算される。
開示された画像セグメンテーションシステムおよび方法は、任意のタイプの撮像モダリティから得られた医用画像に適用することができる。医用画像としては、Ｘ線、ＣＴ、ＣＢＣＴ、螺旋ＣＴ、磁気共鳴イメージング（ＭＲＩ）、超音波（ＵＳ）、陽電子放射断層撮影法（ＰＥＴ）、単一光子放出コンピュータ断層撮影法（ＳＰＥＣＴ）及び光学画像を含むが、これに限定されない。更に、開示された画像セグメンテーションシステム及び方法は、２次元（２Ｄ）画像及び３次元（３Ｄ）画像の両方をセグメント化するように適合させることができる。２次元（２Ｄ）画像をセグメント化する場合、ランドマークポイントは２次元（２Ｄ）平面内で識別され、関連ランドマーク特徴も２次元（２Ｄ）で計算される。
［０３９］
以下、添付図面を参照して例示的な実施形態を説明する。図面において、参照番号の最も左の桁は、参照番号が最初に現れる図を識別する。便宜上、同一又は類似の部分を指すために図面全体にわたって同じ参照番号が使用される。
以下、添付図面を参照して例示的な実施形態を説明する。図面において、参照番号の最も左の桁は、参照番号が最初に現れる図を識別する。便宜上、同一又は類似の部分を指すために図面全体にわたって同じ参照番号が使用される。
［０４０］
図１は以前に紹介された。図２は、本開示のいくつかの実施形態による、ランドマーク特徴を使用する学習アルゴリズムに基づいて医用画像をセグメント化する例示的な画像セグメンテーションシステム１００を示す。画像セグメンテーションシステム１００は、訓練画像データベース１０１、解剖学的分類器訓練ユニット１０２、解剖学的分類ユニット１０３、医用画像データベース１０４、及びネットワーク１０５を含むことができる。いくつかの実施形態では、画像セグメンテーションシステム１００は、図２に示す構成要素より多く又は少なく含むことができる。例えば、解剖学的分類器が予め訓練されて提供されている場合、画像セグメンテーションシステム１００は、解剖学的分類ユニット１０３、医用画像データベース１０４のみを含むことができ、任意にネットワーク１０５を含むことができる。
図１は以前に紹介された。図２は、本開示のいくつかの実施形態による、ランドマーク特徴を使用する学習アルゴリズムに基づいて医用画像をセグメント化する例示的な画像セグメンテーションシステム１００を示す。画像セグメンテーションシステム１００は、訓練画像データベース１０１、解剖学的分類器訓練ユニット１０２、解剖学的分類ユニット１０３、医用画像データベース１０４、及びネットワーク１０５を含むことができる。いくつかの実施形態では、画像セグメンテーションシステム１００は、図２に示す構成要素より多く又は少なく含むことができる。例えば、解剖学的分類器が予め訓練されて提供されている場合、画像セグメンテーションシステム１００は、解剖学的分類ユニット１０３、医用画像データベース１０４のみを含むことができ、任意にネットワーク１０５を含むことができる。
［０４１］
いくつかの実施形態では、画像セグメンテーションシステム１００の様々な構成要素は、互いに遠隔に位置し、ネットワーク１０５を介して接続されてもよい。いくつかの他の実施形態では、画像セグメンテーションシステム１００の特定の構成要素は、同じサイト又はひとつの装置内に配置されてもよい。例えば、訓練画像データベース１０１は、解剖学的分類器訓練ユニット１０２を備えた現場に位置してもよく、又は、解剖学的分類器訓練ユニット１０２の一部であってもよい。他の例として、解剖学的分類器訓練ユニット１０２及び解剖学的分類ユニット１０３は、同じコンピュータ又は同じ処理装置内であってもよい。
いくつかの実施形態では、画像セグメンテーションシステム１００の様々な構成要素は、互いに遠隔に位置し、ネットワーク１０５を介して接続されてもよい。いくつかの他の実施形態では、画像セグメンテーションシステム１００の特定の構成要素は、同じサイト又はひとつの装置内に配置されてもよい。例えば、訓練画像データベース１０１は、解剖学的分類器訓練ユニット１０２を備えた現場に位置してもよく、又は、解剖学的分類器訓練ユニット１０２の一部であってもよい。他の例として、解剖学的分類器訓練ユニット１０２及び解剖学的分類ユニット１０３は、同じコンピュータ又は同じ処理装置内であってもよい。
［０４２］
図２に示すように、解剖学的分類器訓練ユニット１０２は、訓練画像データベース１０１と通信して、ひとつ又はそれ以上の訓練画像を受け取ることができる。訓練画像データベース１０２に記憶された訓練画像は、以前の放射線療法治療セッションの画像を含む医用画像データベースから取得することができる。訓練画像は予めセグメント化されている。すなわち、訓練画像内の各画像ポイント（ピクセル又はボクセル）は、訓練画像に含まれる背景又は既知の解剖学的構造のいずれかに関連付けられる。開示される実施形態と一致して、訓練画像は、ＭＲＩ画像、３次元（３Ｄ）ＭＲＩ、２次元（２Ｄ）ストリーミングＭＲＩ、４次元（４Ｄ）容積ＭＲＩ、ＣＴ画像、ＣＢＣＴ画像、螺旋ＣＴ画像、ＰＥＴ画像、機能的ＭＲＩ画像（例えば、ｆＭＲＩ、ＤＣＥ−ＭＲＩ、拡散ＭＲＩ）、Ｘ線画像、透視画像、超音波画像、放射線治療ポータル画像、ＳＰＥＣＴ画像、などが含まれてもうよい。いくつかの実施形態では、訓練データは、腫瘍情報システム（Oncology Information System）から収集されてもよい。
図２に示すように、解剖学的分類器訓練ユニット１０２は、訓練画像データベース１０１と通信して、ひとつ又はそれ以上の訓練画像を受け取ることができる。訓練画像データベース１０２に記憶された訓練画像は、以前の放射線療法治療セッションの画像を含む医用画像データベースから取得することができる。訓練画像は予めセグメント化されている。すなわち、訓練画像内の各画像ポイント（ピクセル又はボクセル）は、訓練画像に含まれる背景又は既知の解剖学的構造のいずれかに関連付けられる。開示される実施形態と一致して、訓練画像は、ＭＲＩ画像、３次元（３Ｄ）ＭＲＩ、２次元（２Ｄ）ストリーミングＭＲＩ、４次元（４Ｄ）容積ＭＲＩ、ＣＴ画像、ＣＢＣＴ画像、螺旋ＣＴ画像、ＰＥＴ画像、機能的ＭＲＩ画像（例えば、ｆＭＲＩ、ＤＣＥ−ＭＲＩ、拡散ＭＲＩ）、Ｘ線画像、透視画像、超音波画像、放射線治療ポータル画像、ＳＰＥＣＴ画像、などが含まれてもうよい。いくつかの実施形態では、訓練データは、腫瘍情報システム（Oncology Information System）から収集されてもよい。
［０４３］
解剖学的分類器訓練ユニット１０２は、学習アルゴリズムを使用して解剖学的分類器を生成するために、訓練画像データベース１０２から受け取った訓練画像を使用することができる。図２に示すように、解剖学的分類器訓練ユニット１０２は、ランドマーク特徴抽出モジュール１２１およびランドマーク特徴ベース訓練モジュール１２２を含むことができる。解剖学的分類器訓練ユニット１０２は、訓練画像データベース１０１、ネットワーク１０５、およびユーザ１１２と通信するための入力および出力インタフェース（図示せず）を更に含むことができる。いくつかの実施形態と一致して、解剖学的分類器訓練ユニット１０２は、解剖学的分類器訓練プロセス（例えば、図４Ａ及び図４Ｂに開示されているような解剖学的分類器訓練プロセス）を実行するソフトウェアによって特別にプログラムされたハードウェア（例えば、図３に開示されるようなハードウェア）で実装することができる。
解剖学的分類器訓練ユニット１０２は、学習アルゴリズムを使用して解剖学的分類器を生成するために、訓練画像データベース１０２から受け取った訓練画像を使用することができる。図２に示すように、解剖学的分類器訓練ユニット１０２は、ランドマーク特徴抽出モジュール１２１およびランドマーク特徴ベース訓練モジュール１２２を含むことができる。解剖学的分類器訓練ユニット１０２は、訓練画像データベース１０１、ネットワーク１０５、およびユーザ１１２と通信するための入力および出力インタフェース（図示せず）を更に含むことができる。いくつかの実施形態と一致して、解剖学的分類器訓練ユニット１０２は、解剖学的分類器訓練プロセス（例えば、図４Ａ及び図４Ｂに開示されているような解剖学的分類器訓練プロセス）を実行するソフトウェアによって特別にプログラムされたハードウェア（例えば、図３に開示されるようなハードウェア）で実装することができる。
［０４４］
ランドマーク特徴抽出モジュール１２１は、受け取られた各訓練画像上のひとつ以上のランドマークポイントを識別してもよい。いくつかの実施形態では、ランドマーク特徴点抽出モジュール１０２によって、例えば、様々な解剖学的構造に関する画像セグメンテーション及び事前知識に基づいて、ランドマークポイントを自動的に検出することができる。例えば、ユーザ１１２は、ランドマークポイントの位置を入力するために画像ディスプレイ（図示せず）によって表示された訓練画像をクリックすることができ、又は、ユーザ１１２は、ユーザ１１２が選択することができる所定のパターン、マップ、又はランドマークポイントの構成を含む。開示された実施形態と一致して、ランドマークポイントは、様々な解剖学的構造の解剖学的ランドマークであってもよい。
ランドマーク特徴抽出モジュール１２１は、受け取られた各訓練画像上のひとつ以上のランドマークポイントを識別してもよい。いくつかの実施形態では、ランドマーク特徴点抽出モジュール１０２によって、例えば、様々な解剖学的構造に関する画像セグメンテーション及び事前知識に基づいて、ランドマークポイントを自動的に検出することができる。例えば、ユーザ１１２は、ランドマークポイントの位置を入力するために画像ディスプレイ（図示せず）によって表示された訓練画像をクリックすることができ、又は、ユーザ１１２は、ユーザ１１２が選択することができる所定のパターン、マップ、又はランドマークポイントの構成を含む。開示された実施形態と一致して、ランドマークポイントは、様々な解剖学的構造の解剖学的ランドマークであってもよい。
［０４５］
ランドマーク特徴抽出モジュール１２１は、ランドマークポイントとは異なる画像ポイントを更に選択することができる。画像ポイントは、訓練画像内でランダムに選択することができる。すなわち、選択された画像ポイントは、例えば、ランドマークポイントと同じ解剖学的構造のいずれか、又は、異なる解剖学的構造のいずれかに、訓練画像内のどこにでも存在することができる。次に、ランドマーク特徴抽出モジュール１０２は、選択された各画像ポイントについて、選択された画像ポイントと各ランドマークポイントとの間の関係に基づいて、ひとつ又はそれ以上のランドマーク特徴を決定して導出することができる。この特徴抽出プロセスは、訓練画像内のすべての画像ポイントが選択されて処理されるまで、訓練画像内の選択された画像ポイントのセットに対して繰り返されうる。参照として機能する解剖学的ランドマークポイントの集合を明示的に定義することによって、各画像ポイントは高レベルの位置及び幾何情報で符号化されるようになる。学習画像内の全ての関連する画像ポイントについてランドマーク特徴が決定されると、ランドマーク特徴は、ランドマーク特徴ベース訓練モジュール１２２に提供される。
ランドマーク特徴抽出モジュール１２１は、ランドマークポイントとは異なる画像ポイントを更に選択することができる。画像ポイントは、訓練画像内でランダムに選択することができる。すなわち、選択された画像ポイントは、例えば、ランドマークポイントと同じ解剖学的構造のいずれか、又は、異なる解剖学的構造のいずれかに、訓練画像内のどこにでも存在することができる。次に、ランドマーク特徴抽出モジュール１０２は、選択された各画像ポイントについて、選択された画像ポイントと各ランドマークポイントとの間の関係に基づいて、ひとつ又はそれ以上のランドマーク特徴を決定して導出することができる。この特徴抽出プロセスは、訓練画像内のすべての画像ポイントが選択されて処理されるまで、訓練画像内の選択された画像ポイントのセットに対して繰り返されうる。参照として機能する解剖学的ランドマークポイントの集合を明示的に定義することによって、各画像ポイントは高レベルの位置及び幾何情報で符号化されるようになる。学習画像内の全ての関連する画像ポイントについてランドマーク特徴が決定されると、ランドマーク特徴は、ランドマーク特徴ベース訓練モジュール１２２に提供される。
［０４６］
ランドマーク特徴ベース訓練モジュール１２２は、分類器を訓練するために、選択された画像ポイントを訓練データとして使用することができる。いくつかの実施形態では、訓練は、教師付き機械学習アルゴリズムなどの学習アルゴリズムに基づいてもよい。例えば、サポートベクターマシン（Support Vector Machine：ＳＶＭ）、Ａｄａｂｏｏｓｔ／Ｌｏｇｉｔｂｏｏｓｔ、ランダムフォレスト（Random Forest）、及び、ニューラルネットワーク（Neural Network）などの監視学習アルゴリズムを使用することができる。分類器は、訓練画像内の特定の画像ポイントのランドマーク特徴がモデルに入力されると、画像ポイントの所定の解剖学的構造に一致する解剖学的構造の予測を出力するように訓練される。多数の訓練画像から多数の画像ポイントを使用して訓練された後、分類器は、任意の新しい画像における分類されていない画像ポイントの解剖学的構造を予測するのに十分に賢くなる。
ランドマーク特徴ベース訓練モジュール１２２は、分類器を訓練するために、選択された画像ポイントを訓練データとして使用することができる。いくつかの実施形態では、訓練は、教師付き機械学習アルゴリズムなどの学習アルゴリズムに基づいてもよい。例えば、サポートベクターマシン（Support Vector Machine：ＳＶＭ）、Ａｄａｂｏｏｓｔ／Ｌｏｇｉｔｂｏｏｓｔ、ランダムフォレスト（Random Forest）、及び、ニューラルネットワーク（Neural Network）などの監視学習アルゴリズムを使用することができる。分類器は、訓練画像内の特定の画像ポイントのランドマーク特徴がモデルに入力されると、画像ポイントの所定の解剖学的構造に一致する解剖学的構造の予測を出力するように訓練される。多数の訓練画像から多数の画像ポイントを使用して訓練された後、分類器は、任意の新しい画像における分類されていない画像ポイントの解剖学的構造を予測するのに十分に賢くなる。
［０４７］
解剖学的分類ユニット１０３は、解剖学的分類器訓練ユニット１０２から訓練された解剖学的分類器を受け取ることができる。図２に示すように、解剖学的分類ユニット１０３は、ランドマーク特徴抽出モジュール１３１及び解剖学的構造分類モジュール１３２を含むことができる。解剖学的分類ユニット１０３は、訓練画像データベース１０４、ネットワーク１０５及びユーザ１１３と通信するための入力及び出力インタフェース（図示せず）を追加で含むことができる。いくつかの実施形態と一致して、解剖学的分類ユニット１０３は、解剖学的分類器訓練プロセス（例えば、図５Ａ及び図５Ｂに開示されるような解剖学的分類器訓練プロセス）を実行するソフトウェアによって特別にプログラムされたハードウェア（例えば、図３に開示されるようなハードウェア）を実装することができる。
解剖学的分類ユニット１０３は、解剖学的分類器訓練ユニット１０２から訓練された解剖学的分類器を受け取ることができる。図２に示すように、解剖学的分類ユニット１０３は、ランドマーク特徴抽出モジュール１３１及び解剖学的構造分類モジュール１３２を含むことができる。解剖学的分類ユニット１０３は、訓練画像データベース１０４、ネットワーク１０５及びユーザ１１３と通信するための入力及び出力インタフェース（図示せず）を追加で含むことができる。いくつかの実施形態と一致して、解剖学的分類ユニット１０３は、解剖学的分類器訓練プロセス（例えば、図５Ａ及び図５Ｂに開示されるような解剖学的分類器訓練プロセス）を実行するソフトウェアによって特別にプログラムされたハードウェア（例えば、図３に開示されるようなハードウェア）を実装することができる。
［０４８］
解剖学的分類ユニット１０３は、医用画像データベース１０４と通信して、ひとつ以上の医用画像を受け取ることができる。医用画像データベース１０３に格納された医用画像は、放射線治療セッションの画像を含む医用画像データベースから取得することができる。これらの医用画像は、典型的には、まだセグメント化されていない。開示された実施形態と一致して、医用画像は、ＭＲＩ、機能的ＭＲＩ、ＣＴ、ＣＢＣＴ、螺旋ＣＴ、ＰＥＴ、ＳＰＥＣＴ、Ｘ線、蛍光透視画像、超音波及び放射線療法ポータル画像などを含む様々な画像化モダリティを使用して取得することができる。いくつかの実施形態では、医用画像データベース１０４は、解剖学的分類ユニット１０３の統合部分であってもよいし、放射線治療室のような解剖学的分類ユニット１０３の同じ部位に位置していてもよい。
解剖学的分類ユニット１０３は、医用画像データベース１０４と通信して、ひとつ以上の医用画像を受け取ることができる。医用画像データベース１０３に格納された医用画像は、放射線治療セッションの画像を含む医用画像データベースから取得することができる。これらの医用画像は、典型的には、まだセグメント化されていない。開示された実施形態と一致して、医用画像は、ＭＲＩ、機能的ＭＲＩ、ＣＴ、ＣＢＣＴ、螺旋ＣＴ、ＰＥＴ、ＳＰＥＣＴ、Ｘ線、蛍光透視画像、超音波及び放射線療法ポータル画像などを含む様々な画像化モダリティを使用して取得することができる。いくつかの実施形態では、医用画像データベース１０４は、解剖学的分類ユニット１０３の統合部分であってもよいし、放射線治療室のような解剖学的分類ユニット１０３の同じ部位に位置していてもよい。
［０４９］
ランドマーク特徴抽出モジュール１３１は、ランドマーク特徴抽出モジュール１２１と同様のハードウェア及びソフトウェア構造を有することができる。ランドマーク特徴抽出モジュール１３１は、医用画像データベース１０５から受け取った各医用画像上のひとつ又は複数のランドマークポイントを識別する。医用画像は、訓練画像上で識別されたものと一致する。再び、ランドマークポイントは、ユーザ１１３によって選択されるか、又はランドマーク特徴抽出モジュール１３１によって自動的に識別される。
ランドマーク特徴抽出モジュール１３１は、ランドマーク特徴抽出モジュール１２１と同様のハードウェア及びソフトウェア構造を有することができる。ランドマーク特徴抽出モジュール１３１は、医用画像データベース１０５から受け取った各医用画像上のひとつ又は複数のランドマークポイントを識別する。医用画像は、訓練画像上で識別されたものと一致する。再び、ランドマークポイントは、ユーザ１１３によって選択されるか、又はランドマーク特徴抽出モジュール１３１によって自動的に識別される。
［０５０］
ランドマーク特徴抽出モジュール１３１は、更に、医用画像内のランドマークポイントとは異なる画像ポイントを選択し、選択された画像ポイントとランドマークポイントとの間の関係に基づいてひとつ又はそれ以上のランドマーク特徴を決定することができる。特徴抽出プロセスは、医用画像内の全ての画像ポイントが選択されて処理されるまで、医用画像内の選択された画像ポイントのセットに対して繰り返されうる。決定されたランドマーク特徴は、解剖学的構造分類モジュール１３２に提供されてもよい。
ランドマーク特徴抽出モジュール１３１は、更に、医用画像内のランドマークポイントとは異なる画像ポイントを選択し、選択された画像ポイントとランドマークポイントとの間の関係に基づいてひとつ又はそれ以上のランドマーク特徴を決定することができる。特徴抽出プロセスは、医用画像内の全ての画像ポイントが選択されて処理されるまで、医用画像内の選択された画像ポイントのセットに対して繰り返されうる。決定されたランドマーク特徴は、解剖学的構造分類モジュール１３２に提供されてもよい。
［０５１］
解剖学的構造分類モジュール１３２は、解剖学的分類器訓練ユニット１０２から受け取った訓練された解剖学的分類器と、ランドマーク特徴抽出モジュール１３２から受け取ったランドマーク特徴を使用して、それぞれの画像ポイントの解剖学的構造を予測することができる。全ての選択された画像ポイントが分類されると、解剖学的構造分類モジュール１３２は、セグメント化された画像を出力することができる。いくつかの実施形態では、セグメント化された画像は、ユーザ１１３に表示されてもよく、又は、更なる治療用途のために医用画像データベース１０４に格納されてもよい。いくつかの実施形態では、セグメント化された画像は、訓練画像データベース１０１に自動的に格納され、訓練画像になることができる。
解剖学的構造分類モジュール１３２は、解剖学的分類器訓練ユニット１０２から受け取った訓練された解剖学的分類器と、ランドマーク特徴抽出モジュール１３２から受け取ったランドマーク特徴を使用して、それぞれの画像ポイントの解剖学的構造を予測することができる。全ての選択された画像ポイントが分類されると、解剖学的構造分類モジュール１３２は、セグメント化された画像を出力することができる。いくつかの実施形態では、セグメント化された画像は、ユーザ１１３に表示されてもよく、又は、更なる治療用途のために医用画像データベース１０４に格納されてもよい。いくつかの実施形態では、セグメント化された画像は、訓練画像データベース１０１に自動的に格納され、訓練画像になることができる。
［０５２］
ネットワーク１０５は、画像セグメンテーションシステム１００内の上記の構成要素のいずれかの間の接続を提供することができる。例えば、ネットワーク１０５は、ローカルエリアネットワーク（ＬＡＮ）、無線ネットワーク、クラウドコンピューティング環境（例えば、サービスとしてのソフトウェア、サービスとしてのプラットフォーム、サービスとしてのインフラストラクチャ）、クライアント−サーバ、ワイドエリアネットワーク（ＷＡＮ）などを含む。
ネットワーク１０５は、画像セグメンテーションシステム１００内の上記の構成要素のいずれかの間の接続を提供することができる。例えば、ネットワーク１０５は、ローカルエリアネットワーク（ＬＡＮ）、無線ネットワーク、クラウドコンピューティング環境（例えば、サービスとしてのソフトウェア、サービスとしてのプラットフォーム、サービスとしてのインフラストラクチャ）、クライアント−サーバ、ワイドエリアネットワーク（ＷＡＮ）などを含む。
［０５３］
図３は、本開示のいくつかの実施形態による例示的な医用画像処理装置２００を示す。医用画像処理装置２００は、解剖学的分類器訓練ユニット１０２又は解剖学的分類ユニット１０３のいずれかの実施形態、又はその２つの組み合わせであってもよい。当業者には理解されるように、いくつかの実施形態では、医用画像処理装置２００は、専用コンピュータ又は汎用コンピュータであってもよい。例えば、医用画像処理装置２００は、病院が画像取得及び画像処理タスクを処理するために構築されたカスタムコンピュータであってもよい。
図３は、本開示のいくつかの実施形態による例示的な医用画像処理装置２００を示す。医用画像処理装置２００は、解剖学的分類器訓練ユニット１０２又は解剖学的分類ユニット１０３のいずれかの実施形態、又はその２つの組み合わせであってもよい。当業者には理解されるように、いくつかの実施形態では、医用画像処理装置２００は、専用コンピュータ又は汎用コンピュータであってもよい。例えば、医用画像処理装置２００は、病院が画像取得及び画像処理タスクを処理するために構築されたカスタムコンピュータであってもよい。
［０５４］
図３に示すように、医用画像処理装置１１０は、画像プロセッサ２２１と、メモリ２２２と、医用画像データベース２２５と、画像データ記憶部２２６と、入力／出力部２２７と、ネットワークインタフェース２２８と、画像ディスプレイ２２９とを備える。
図３に示すように、医用画像処理装置１１０は、画像プロセッサ２２１と、メモリ２２２と、医用画像データベース２２５と、画像データ記憶部２２６と、入力／出力部２２７と、ネットワークインタフェース２２８と、画像ディスプレイ２２９とを備える。
［０５５］
画像プロセッサ２２１は、マイクロプロセッサ、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）などのようなひとつ以上の汎用処理装置を含む処理装置であってもよい。より具体的には、画像プロセッサ２２１は、複合命令セット演算（ＣＩＳＣ）マイクロプロセッサ、縮小命令セット演算（ＲＩＳＣ）マイクロプロセッサ、超長命令ワード（ＶＬＩＷ）マイクロプロセッサ、他の命令セットを実装するプロセッサ、又は、命令セットの組み合わせを実装するプロセッサであってもよい。画像プロセッサ２２１は、また、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、システムオンチップ（ＳＯＣ）などのひとつ又はそれ以上の専用処理デバイスであってもよい。
画像プロセッサ２２１は、マイクロプロセッサ、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）などのようなひとつ以上の汎用処理装置を含む処理装置であってもよい。より具体的には、画像プロセッサ２２１は、複合命令セット演算（ＣＩＳＣ）マイクロプロセッサ、縮小命令セット演算（ＲＩＳＣ）マイクロプロセッサ、超長命令ワード（ＶＬＩＷ）マイクロプロセッサ、他の命令セットを実装するプロセッサ、又は、命令セットの組み合わせを実装するプロセッサであってもよい。画像プロセッサ２２１は、また、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、システムオンチップ（ＳＯＣ）などのひとつ又はそれ以上の専用処理デバイスであってもよい。
［０５６］
画像プロセッサ２２１は、メモリ２２２に通信可能に接続され、そこに格納されたコンピュータ実行可能命令を実行するように構成されてもよい。メモリ２２２は、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）、静的メモリなどを含むことができる。いくつかの実施形態では、メモリ２２２は、ひとつ又は複数の画像処理コンピュータプログラムを実行する間に使用又は生成されるデータ、例えば医用画像データ２２４を含む。プロセッサ２２１は、画像処理プログラム２２３を実行して、解剖学的分類器訓練ユニット１０２及び／又は解剖学的分類ユニット１０３の機能を実装することができる。例えば、プロセッサ２２１は、メモリ２２２に記憶された訓練画像データ又は医用画像データを受け取ることができる。プロセッサ２２１は、また、ランドマークポイント及びランドマーク特徴などの中間データを生成し、それらをメモリ２２２に送信してもよい。
画像プロセッサ２２１は、メモリ２２２に通信可能に接続され、そこに格納されたコンピュータ実行可能命令を実行するように構成されてもよい。メモリ２２２は、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）、静的メモリなどを含むことができる。いくつかの実施形態では、メモリ２２２は、ひとつ又は複数の画像処理コンピュータプログラムを実行する間に使用又は生成されるデータ、例えば医用画像データ２２４を含む。プロセッサ２２１は、画像処理プログラム２２３を実行して、解剖学的分類器訓練ユニット１０２及び／又は解剖学的分類ユニット１０３の機能を実装することができる。例えば、プロセッサ２２１は、メモリ２２２に記憶された訓練画像データ又は医用画像データを受け取ることができる。プロセッサ２２１は、また、ランドマークポイント及びランドマーク特徴などの中間データを生成し、それらをメモリ２２２に送信してもよい。
［０５７］
医用画像処理装置２００は、任意に、訓練画像データベース１０１及び医用画像データベース１０４の一方又は両方を含む医用画像データベース２２５を含むことができる。当業者であれば、医用画像データベース２２５が、中央又は分散方式で配置された複数のデバイスを有することを認識する。プロセッサ２２１は、医用画像データベース２２５と通信して、画像をメモリ２２２に読み出したり、メモリ２２２からセグメント化された画像を医用画像データ２２５に格納したりすることができる。
医用画像処理装置２００は、任意に、訓練画像データベース１０１及び医用画像データベース１０４の一方又は両方を含む医用画像データベース２２５を含むことができる。当業者であれば、医用画像データベース２２５が、中央又は分散方式で配置された複数のデバイスを有することを認識する。プロセッサ２２１は、医用画像データベース２２５と通信して、画像をメモリ２２２に読み出したり、メモリ２２２からセグメント化された画像を医用画像データ２２５に格納したりすることができる。
［０５８］
画像データ記憶装置２２６は、画像プロセッサ２２１によって実行される画像処理タスクに関連するデータを記憶するために利用可能な追加の記憶装置であってもよい。いくつかの実施形態では、画像データ記憶装置２２６は機械可読記憶媒体を含むことができる。一実施形態では、機械可読記憶媒体は単一の媒体であってもよいが、「機械可読記憶媒体」という用語は、ひとつ又はそれ以上のセットのコンピュータ実行可能な命令又はデータを格納する、単一の媒体又は複数の媒体（例えば、集中型又は分散型のデータベース、及び／又は関連するキャッシュとサーバ）を含むと解釈されるべきである。「機械可読記憶媒体」という用語は、機械による実行のための一連の命令を記憶又は符号化することができ、機械に現在の方法論のひとつ又は複数の方法論を実行させる任意の媒体も含むと解釈されるべきである。したがって、「機械可読記憶媒体」という用語は、これに限定されるものではないが、固体メモリ、光学媒体及び磁気媒体を含むと解釈されるべきである。
画像データ記憶装置２２６は、画像プロセッサ２２１によって実行される画像処理タスクに関連するデータを記憶するために利用可能な追加の記憶装置であってもよい。いくつかの実施形態では、画像データ記憶装置２２６は機械可読記憶媒体を含むことができる。一実施形態では、機械可読記憶媒体は単一の媒体であってもよいが、「機械可読記憶媒体」という用語は、ひとつ又はそれ以上のセットのコンピュータ実行可能な命令又はデータを格納する、単一の媒体又は複数の媒体（例えば、集中型又は分散型のデータベース、及び／又は関連するキャッシュとサーバ）を含むと解釈されるべきである。「機械可読記憶媒体」という用語は、機械による実行のための一連の命令を記憶又は符号化することができ、機械に現在の方法論のひとつ又は複数の方法論を実行させる任意の媒体も含むと解釈されるべきである。したがって、「機械可読記憶媒体」という用語は、これに限定されるものではないが、固体メモリ、光学媒体及び磁気媒体を含むと解釈されるべきである。
［０５９］
入力／出力部２２７は、医用画像処理装置２００によってデータが受信及び／又は送信されるように構成されてもよい。入力／出力部２２７は、医用画像処理装置２００がユーザや他のマシンやデバイスと通信することを可能にするひとつ又はそれ以上のデジタル及び／又はアナログ通信デバイスを含んでもよい。例えば、入力／出力部２２７は、ユーザ１１２又はユーザ１１３が入力するためのキーボード及びマウスを含むことができる。
入力／出力部２２７は、医用画像処理装置２００によってデータが受信及び／又は送信されるように構成されてもよい。入力／出力部２２７は、医用画像処理装置２００がユーザや他のマシンやデバイスと通信することを可能にするひとつ又はそれ以上のデジタル及び／又はアナログ通信デバイスを含んでもよい。例えば、入力／出力部２２７は、ユーザ１１２又はユーザ１１３が入力するためのキーボード及びマウスを含むことができる。
［０６０］
ネットワークインタフェース２２８は、ネットワークアダプタ、ケーブルコネクタ、シリアルコネクタ、ＵＳＢコネクタ、パラレルコネクタや、ファイバ、ＵＳＢ３．０、サンダーボルトなどの高速データ伝送アダプタ、無線ＷｉＦｉアダプタ、電気通信（３Ｇ、４Ｇ／ＬＴＥなど）アダプタなどのネットワークアダプタを含むことができる。医用画像処理装置２００は、ネットワークインタフェース２２８を介してネットワーク１０５に接続されてもよい。画像ディスプレイ２２９は、医用画像を表示するのに適した任意の表示装置であってもよい。例えば、画像ディスプレイ２２９は、ＬＣＤ、ＣＲＴ、又はＬＥＤディスプレイであってもよい。
ネットワークインタフェース２２８は、ネットワークアダプタ、ケーブルコネクタ、シリアルコネクタ、ＵＳＢコネクタ、パラレルコネクタや、ファイバ、ＵＳＢ３．０、サンダーボルトなどの高速データ伝送アダプタ、無線ＷｉＦｉアダプタ、電気通信（３Ｇ、４Ｇ／ＬＴＥなど）アダプタなどのネットワークアダプタを含むことができる。医用画像処理装置２００は、ネットワークインタフェース２２８を介してネットワーク１０５に接続されてもよい。画像ディスプレイ２２９は、医用画像を表示するのに適した任意の表示装置であってもよい。例えば、画像ディスプレイ２２９は、ＬＣＤ、ＣＲＴ、又はＬＥＤディスプレイであってもよい。
［０６１］
図４Ａは、本開示のいくつかの実施形態による、訓練画像から抽出されたランドマーク特徴を使用して解剖学的分類モデルを訓練するための例示的な解剖学的分類器訓練プロセス４００Ａを示すフローチャートである。いくつかの実施形態では、解剖学的分類器訓練プロセス４００Ａは、解剖学的分類器訓練ユニット１０２により実行されてもよい。
図４Ａは、本開示のいくつかの実施形態による、訓練画像から抽出されたランドマーク特徴を使用して解剖学的分類モデルを訓練するための例示的な解剖学的分類器訓練プロセス４００Ａを示すフローチャートである。いくつかの実施形態では、解剖学的分類器訓練プロセス４００Ａは、解剖学的分類器訓練ユニット１０２により実行されてもよい。
［０６２］
プロセス４００Ａは、解剖学的分類器訓練ユニット１０２が訓練画像データベース１０１から関心領域の訓練画像を受け取ると開始することができる（ステップ４１０）。例えば、訓練画像は、患者の骨盤領域、頭部領域、心臓領域、肝臓領域、又は別の解剖学的領域を示すことができる。いくつかの実施形態では、訓練画像は、セグメント化される医用画像と同じ又は類似の関心領域であってもよい。
プロセス４００Ａは、解剖学的分類器訓練ユニット１０２が訓練画像データベース１０１から関心領域の訓練画像を受け取ると開始することができる（ステップ４１０）。例えば、訓練画像は、患者の骨盤領域、頭部領域、心臓領域、肝臓領域、又は別の解剖学的領域を示すことができる。いくつかの実施形態では、訓練画像は、セグメント化される医用画像と同じ又は類似の関心領域であってもよい。
［０６３］
ステップ４２０において、ランドマーク特徴抽出モジュール１２１は、訓練画像内の少なくともひとつのランドマークポイントを識別することができる。例示的な実施形態では、ランドマーク特徴抽出モジュール１２１は、すべての訓練画像にわたってランドマークポイントの同じセットを定義又は配置するので、選択されたランドマークポイントが強い又は異なる画像特性を有することが好ましい。例えば、ランドマークポイントは、人体の独特の又は別個の解剖学的位置に対応してもよく、又は別個の画像外観を有してもよい。
ステップ４２０において、ランドマーク特徴抽出モジュール１２１は、訓練画像内の少なくともひとつのランドマークポイントを識別することができる。例示的な実施形態では、ランドマーク特徴抽出モジュール１２１は、すべての訓練画像にわたってランドマークポイントの同じセットを定義又は配置するので、選択されたランドマークポイントが強い又は異なる画像特性を有することが好ましい。例えば、ランドマークポイントは、人体の独特の又は別個の解剖学的位置に対応してもよく、又は別個の画像外観を有してもよい。
［０６４］
これらのランドマークポイントは、ユーザ１１２によって手作業で選択され、ランドマーク特徴抽出モジュール１２１に提供されるか、又は、ランドマーク特徴抽出モジュール１２１によって自動的に検出される。いくつかの実施形態において、自動検出は、例えば、同一の解剖学的領域の所定のランドマークマップを含む。例えば、所定のランドマークマップは、特定の解剖学的領域に対する様々なランドマークポイントの特定のマッピング又は間隔を定義することができる。ユーザ１１２が、患者の特定の解剖学的領域を示す医用画像を処理している場合、ユーザ１１２は、その解剖学的領域に対応する所定のランドマークマップを選択することができる。選択されると、所定のマップによって規定されるランドマークポイントがモジュール１２１に提供される。訓練画像が３次元（３Ｄ）画像である場合、ランドマークポイントはボクセルであり、訓練画像が２Ｄ画像である場合、ランドマークポイントはピクセルである。
これらのランドマークポイントは、ユーザ１１２によって手作業で選択され、ランドマーク特徴抽出モジュール１２１に提供されるか、又は、ランドマーク特徴抽出モジュール１２１によって自動的に検出される。いくつかの実施形態において、自動検出は、例えば、同一の解剖学的領域の所定のランドマークマップを含む。例えば、所定のランドマークマップは、特定の解剖学的領域に対する様々なランドマークポイントの特定のマッピング又は間隔を定義することができる。ユーザ１１２が、患者の特定の解剖学的領域を示す医用画像を処理している場合、ユーザ１１２は、その解剖学的領域に対応する所定のランドマークマップを選択することができる。選択されると、所定のマップによって規定されるランドマークポイントがモジュール１２１に提供される。訓練画像が３次元（３Ｄ）画像である場合、ランドマークポイントはボクセルであり、訓練画像が２Ｄ画像である場合、ランドマークポイントはピクセルである。
［０６５］
例えば、図６は、本開示のいくつかの実施形態による、３次元（３Ｄ）医用画像（Ａ）及びその対応する軸方向、矢状及び冠状の画像（Ｂ）−（Ｊ）の様々な異なる解剖学的構造における例示的なランドマークポイント６１０−６３０を示す。図６に示すように、ランドマークポイント６１０は膀胱の中心付近に位置し、ランドマークポイント６２０は膀胱と前立腺の境界上に位置し、ランドマークポイント６３０は前立腺の中心付近に位置する。画像（Ｂ）、（Ｃ）及び（Ｄ）は、ランドマークポイント６１０を示す軸方向、矢状及び冠状のビューである。画像（Ｅ）、（Ｆ）及び（Ｇ）は、ランドマークポイント６２０を示す軸方向、矢状及び冠状のビューである。画像（Ｈ）、（Ｉ）及び（Ｊ）は、ランドマークポイント６３０を示す軸方向、矢状及び冠状のビューである。
例えば、図６は、本開示のいくつかの実施形態による、３次元（３Ｄ）医用画像（Ａ）及びその対応する軸方向、矢状及び冠状の画像（Ｂ）−（Ｊ）の様々な異なる解剖学的構造における例示的なランドマークポイント６１０−６３０を示す。図６に示すように、ランドマークポイント６１０は膀胱の中心付近に位置し、ランドマークポイント６２０は膀胱と前立腺の境界上に位置し、ランドマークポイント６３０は前立腺の中心付近に位置する。画像（Ｂ）、（Ｃ）及び（Ｄ）は、ランドマークポイント６１０を示す軸方向、矢状及び冠状のビューである。画像（Ｅ）、（Ｆ）及び（Ｇ）は、ランドマークポイント６２０を示す軸方向、矢状及び冠状のビューである。画像（Ｈ）、（Ｉ）及び（Ｊ）は、ランドマークポイント６３０を示す軸方向、矢状及び冠状のビューである。
［０６６］
当業者であれば、ランドマークポイントは、図２に示される例示的な位置に限定されないことを理解するであろう。むしろ、訓練画像の任意の位置で選択することができる。また、ランドマークポイントは、骨盤領域に限定されない。それらは、頭部及び頸部、肺、肝臓又は女性の骨盤のような人体の任意の領域に位置することができる。
当業者であれば、ランドマークポイントは、図２に示される例示的な位置に限定されないことを理解するであろう。むしろ、訓練画像の任意の位置で選択することができる。また、ランドマークポイントは、骨盤領域に限定されない。それらは、頭部及び頸部、肺、肝臓又は女性の骨盤のような人体の任意の領域に位置することができる。
［０６７］
図４Ａに戻り、ステップ４３０において、ランドマーク特徴抽出モジュール１２１は、各画像ポイントが既知の解剖学的構造と事前に関連付けられている訓練画像内の画像ポイントのセットを識別する。このように識別された画像ポイントは、訓練画像内に存在する背景及び各解剖学的構造の代表的な画像ポイントを含むことができる。
図４Ａに戻り、ステップ４３０において、ランドマーク特徴抽出モジュール１２１は、各画像ポイントが既知の解剖学的構造と事前に関連付けられている訓練画像内の画像ポイントのセットを識別する。このように識別された画像ポイントは、訓練画像内に存在する背景及び各解剖学的構造の代表的な画像ポイントを含むことができる。
［０６８］
ステップ４４０において、ランドマーク特徴抽出モジュール１２１は、少なくともひとつのランドマークポイントに対する画像ポイントの少なくともひとつのランドマーク特徴を決定することができる。いくつかの実施形態では、ランドマーク特徴は、ランドマークポイントに対する相対位置及び幾何学的形状に基づいて、各画像ポイントについて計算することができる。その結果、ひとつのランドマークポイントに対する特定の画像ポイントに対して１組のランドマーク特徴点が決定される。ステップ４２０で複数のランドマークポイントが識別されると、複数のセットのランドマーク特徴を特定の画像ポイントに関連付けることができる。
ステップ４４０において、ランドマーク特徴抽出モジュール１２１は、少なくともひとつのランドマークポイントに対する画像ポイントの少なくともひとつのランドマーク特徴を決定することができる。いくつかの実施形態では、ランドマーク特徴は、ランドマークポイントに対する相対位置及び幾何学的形状に基づいて、各画像ポイントについて計算することができる。その結果、ひとつのランドマークポイントに対する特定の画像ポイントに対して１組のランドマーク特徴点が決定される。ステップ４２０で複数のランドマークポイントが識別されると、複数のセットのランドマーク特徴を特定の画像ポイントに関連付けることができる。
［０６９］
例えば、図７は、本開示のいくつかの実施形態による、２つのランドマークポイント７１０、７２０に対する画像ボクセル７３０のランドマーク特徴を示す。図７に示すように、ランドマークポイント７１０は、膀胱の中心付近に位置し、ランドマークポイント７２０は、膀胱と前立腺の境界上に位置する。画像ボクセル７３０は、前立腺領域に位置する。
例えば、図７は、本開示のいくつかの実施形態による、２つのランドマークポイント７１０、７２０に対する画像ボクセル７３０のランドマーク特徴を示す。図７に示すように、ランドマークポイント７１０は、膀胱の中心付近に位置し、ランドマークポイント７２０は、膀胱と前立腺の境界上に位置する。画像ボクセル７３０は、前立腺領域に位置する。
［０７０］
図７は、３次元（３Ｄ）デカルト座標におけるランドマークポイント７１０、７２０及び画像ボクセル７３０を更に示す。ランドマークポイント７１０の座標は（ａ、ｂ、ｃ）であり、ランドマークポイント７２０の座標は（ｄ、ｅ、ｆ）であり、画像ボクセル７３０の座標は（ｒ、ｓ、ｔ）である。この図では、画像ボクセル７３０のランドマーク特徴は、画像ボクセル７３０と、ランドマークポイント７１０及び７２０のそれぞれとの間の位置又は幾何学的関係に基づいている。
図７は、３次元（３Ｄ）デカルト座標におけるランドマークポイント７１０、７２０及び画像ボクセル７３０を更に示す。ランドマークポイント７１０の座標は（ａ、ｂ、ｃ）であり、ランドマークポイント７２０の座標は（ｄ、ｅ、ｆ）であり、画像ボクセル７３０の座標は（ｒ、ｓ、ｔ）である。この図では、画像ボクセル７３０のランドマーク特徴は、画像ボクセル７３０と、ランドマークポイント７１０及び７２０のそれぞれとの間の位置又は幾何学的関係に基づいている。
［０７１］
いくつかの実施形態では、ランドマーク特徴は、画像ポイントとランドマークポイントとの間の相対距離を含むことができる。
いくつかの実施形態では、ランドマーク特徴は、画像ポイントとランドマークポイントとの間の相対距離を含むことができる。
例えば、画像ポイント７３０とランドマークポイント７１０との間の相対距離は、
であり、画像ポイント７３０とランドマークポイント７２０との間の相対距離は、
である。
［０７２］
いくつかの実施形態では、ランドマーク特徴は、画像ポイントをランドマークポイントに接続することによって、又は、それによって形成された変位ベクトルの方向及び／又は成分値も含むことができる。例えば、図７は、画像ボクセル７３０から、２つのランドマークポイント７１０、７２０のそれぞれへ向かう、それらの間の変位ベクトルのそれぞれの方向を示す矢印を示す。そのようなベクトルの成分値は、画像ボクセル７３０に関連するランドマーク特徴を形成するために計算することもできる。
いくつかの実施形態では、ランドマーク特徴は、画像ポイントをランドマークポイントに接続することによって、又は、それによって形成された変位ベクトルの方向及び／又は成分値も含むことができる。例えば、図７は、画像ボクセル７３０から、２つのランドマークポイント７１０、７２０のそれぞれへ向かう、それらの間の変位ベクトルのそれぞれの方向を示す矢印を示す。そのようなベクトルの成分値は、画像ボクセル７３０に関連するランドマーク特徴を形成するために計算することもできる。
［０７３］
いくつかの実施形態では、ランドマーク特徴は、画像ポイント及び複数のランドマークポイントによって形成される形状から計算され得る角度、面積、体積、又は他の幾何学的尺度を含むことができる。例えば、ランドマークポイント７１０、７２０、及び画像ボクセル７３０は三角形を形成し、３つの角度及び三角形の面積を計算して画像ボクセル７３０に関連するランドマーク特徴を定義することができる。
いくつかの実施形態では、ランドマーク特徴は、画像ポイント及び複数のランドマークポイントによって形成される形状から計算され得る角度、面積、体積、又は他の幾何学的尺度を含むことができる。例えば、ランドマークポイント７１０、７２０、及び画像ボクセル７３０は三角形を形成し、３つの角度及び三角形の面積を計算して画像ボクセル７３０に関連するランドマーク特徴を定義することができる。
［０７４］
いくつかの更なる実施形態では、ランドマーク特徴は、画像ポイントと各ランドマークポイントとの間の相対的な輝度値も含む。更に、ランドマーク特徴抽出モジュール１２１は、角度の正弦又は余弦又は距離値の平方根又は平方根などの上記測定値のひとつ又は複数に基づいて任意の値を更に導出し、画像ボクセル７３０と関連するランドマーク特徴としてこれらの導関数値を用いる。
いくつかの更なる実施形態では、ランドマーク特徴は、画像ポイントと各ランドマークポイントとの間の相対的な輝度値も含む。更に、ランドマーク特徴抽出モジュール１２１は、角度の正弦又は余弦又は距離値の平方根又は平方根などの上記測定値のひとつ又は複数に基づいて任意の値を更に導出し、画像ボクセル７３０と関連するランドマーク特徴としてこれらの導関数値を用いる。
［０７５］
図４Ａに戻り、ステップ４４０は、ステップ４３０で識別されたセット内のすべての画像ポイントに対して実行される。ステップ４５０において、ランドマーク特徴抽出モジュール１２１は、セット内の全ての画像ポイントが処理されたかどうかを判定し、そうであれば（ステップ４５０：Ｙｅｓ）、ステップ４６０に進む。そうでなければ（ステップ４６０：Ｎｏ）、次の画像ポイントを処理するためにステップ４４０が繰り返される。
図４Ａに戻り、ステップ４４０は、ステップ４３０で識別されたセット内のすべての画像ポイントに対して実行される。ステップ４５０において、ランドマーク特徴抽出モジュール１２１は、セット内の全ての画像ポイントが処理されたかどうかを判定し、そうであれば（ステップ４５０：Ｙｅｓ）、ステップ４６０に進む。そうでなければ（ステップ４６０：Ｎｏ）、次の画像ポイントを処理するためにステップ４４０が繰り返される。
［０７６］
ステップ４６０において、ランドマーク特徴ベース訓練モジュール１２２は、ステップ４４０で決定されたランドマーク特徴及びこれらの画像ポイントに予め割り当てられた解剖学的構造に基づいて、学習アルゴリズムを適用して解剖学的分類モデルを生成する。いくつかの実施形態では、ランドマーク特徴抽出モジュール１２１は、分類モデルを訓練するためにサポートベクトルマシン（ＳＶＭ）を適用することができる。ＳＶＭ訓練アルゴリズムは、複数のカテゴリのひとつに入力を割り当てるモデルを構築する。ＳＶＭモデルは、空間内の点としてのサンプルの表現であり、別々のカテゴリのサンプルが空間内の別々のグループにセグメント化されるようにマッピングされる。すなわち、ＳＶＭモデルは、ランドマークの特徴を様々な解剖学的構造に対応する高次元の空間に写像することができる。訓練データはマッピングを精緻化するので、訓練を受けた後、ＳＶＭモデルは新しい入力（未分類の画像ポイントのランドマーク特徴）を同じスペースにマッピングし、画像ポイントがどの解剖構造に属しているかを予測できる。
ステップ４６０において、ランドマーク特徴ベース訓練モジュール１２２は、ステップ４４０で決定されたランドマーク特徴及びこれらの画像ポイントに予め割り当てられた解剖学的構造に基づいて、学習アルゴリズムを適用して解剖学的分類モデルを生成する。いくつかの実施形態では、ランドマーク特徴抽出モジュール１２１は、分類モデルを訓練するためにサポートベクトルマシン（ＳＶＭ）を適用することができる。ＳＶＭ訓練アルゴリズムは、複数のカテゴリのひとつに入力を割り当てるモデルを構築する。ＳＶＭモデルは、空間内の点としてのサンプルの表現であり、別々のカテゴリのサンプルが空間内の別々のグループにセグメント化されるようにマッピングされる。すなわち、ＳＶＭモデルは、ランドマークの特徴を様々な解剖学的構造に対応する高次元の空間に写像することができる。訓練データはマッピングを精緻化するので、訓練を受けた後、ＳＶＭモデルは新しい入力（未分類の画像ポイントのランドマーク特徴）を同じスペースにマッピングし、画像ポイントがどの解剖構造に属しているかを予測できる。
［０７７］
ステップ４７０において、訓練された解剖学的分類モデルは、解剖学的分類器学習ユニット１０２によって出力され、解剖学的分類ユニット１０３に提供される。プロセス４００Ａは、ステップ４７０の後に終了する。
ステップ４７０において、訓練された解剖学的分類モデルは、解剖学的分類器学習ユニット１０２によって出力され、解剖学的分類ユニット１０３に提供される。プロセス４００Ａは、ステップ４７０の後に終了する。
［０７８］
図４Ｂは、本開示のいくつかの実施形態による、訓練画像から抽出されたランドマーク特徴を用いて解剖学的分類モデルを訓練するための別の例示的な解剖学的分類器訓練プロセス４００Ｂを示すフローチャートである。解剖学的分類器訓練プロセス４００Ｂは、追加のステップ４４２及び修正されたステップ４６０を除いて、プロセス４００Ａと同様である。従って、ステップ４１０−４４０、４５０、４７０は再度説明しない。
図４Ｂは、本開示のいくつかの実施形態による、訓練画像から抽出されたランドマーク特徴を用いて解剖学的分類モデルを訓練するための別の例示的な解剖学的分類器訓練プロセス４００Ｂを示すフローチャートである。解剖学的分類器訓練プロセス４００Ｂは、追加のステップ４４２及び修正されたステップ４６０を除いて、プロセス４００Ａと同様である。従って、ステップ４１０−４４０、４５０、４７０は再度説明しない。
［０７９］
ステップ４４０で決定されたランドマーク特徴に加えて、ステップ４４２において、ランドマーク特徴抽出モジュール１２１は、画像ポイントの少なくともひとつの画像特徴を更に決定することができる。上述したように、画像特徴は、画像ポイントのローカル特性又はコンテキスト特徴を反映することができる。いくつかの実施形態では、画像特徴は、画像強度、画像テクスチャ、ひとつ又は複数の画像パッチ、強度プロファイルの曲率、及び上記の任意の組み合わせ又は派生物を含んでもよいが、これらに限定されるものではない。ステップ４６０において、ランドマーク特徴ベース訓練モジュール１２２は、ランドマーク特徴と画像特徴の両方を用いて、解剖学的分類モデルを訓練することができる。ランドマーク特徴と画像特徴との組み合わせは、画像セグメンテーションの精度を改善することができる。
ステップ４４０で決定されたランドマーク特徴に加えて、ステップ４４２において、ランドマーク特徴抽出モジュール１２１は、画像ポイントの少なくともひとつの画像特徴を更に決定することができる。上述したように、画像特徴は、画像ポイントのローカル特性又はコンテキスト特徴を反映することができる。いくつかの実施形態では、画像特徴は、画像強度、画像テクスチャ、ひとつ又は複数の画像パッチ、強度プロファイルの曲率、及び上記の任意の組み合わせ又は派生物を含んでもよいが、これらに限定されるものではない。ステップ４６０において、ランドマーク特徴ベース訓練モジュール１２２は、ランドマーク特徴と画像特徴の両方を用いて、解剖学的分類モデルを訓練することができる。ランドマーク特徴と画像特徴との組み合わせは、画像セグメンテーションの精度を改善することができる。
［０８０］
図５Ａは、本開示のいくつかの実施形態による図４Ａのプロセスによって得られた解剖学的分類モデルを使用して医用画像内の画像ポイントを分類するための例示的な解剖学的分類プロセス５００Ａを示すフローチャートである。
図５Ａは、本開示のいくつかの実施形態による図４Ａのプロセスによって得られた解剖学的分類モデルを使用して医用画像内の画像ポイントを分類するための例示的な解剖学的分類プロセス５００Ａを示すフローチャートである。
［０８１］
解剖学的分類プロセス５００Ａは、解剖学的分類ユニット１０３が、例えば、解剖学的分類器訓練ユニット１０２から解剖学的分類モデルを受け取ると開始することができる（ステップ５１０）。ステップ５２０において、解剖学的分類ユニット１０３は更に医用画像データベース１０４から医用画像を受け取る。ステップ５３０において、ランドマーク特徴抽出モジュール１３１は、図４Ａ及び図４Ｂのステップ４２０において実行されるものと同様に、医用画像内の少なくともひとつのランドマークポイントを識別することができる。ステップ５３０において、これらのランドマークポイントは、好ましくは、ランドマーク特徴抽出モジュール１２１によって識別されるが、ユーザ１１２によって手動で識別又は決定されてもよい。医用画像で特定されるランドマークポイントは、プロセス４００Ａ及び４００Ｂの間に訓練画像で識別されたものと概ね同じである。
解剖学的分類プロセス５００Ａは、解剖学的分類ユニット１０３が、例えば、解剖学的分類器訓練ユニット１０２から解剖学的分類モデルを受け取ると開始することができる（ステップ５１０）。ステップ５２０において、解剖学的分類ユニット１０３は更に医用画像データベース１０４から医用画像を受け取る。ステップ５３０において、ランドマーク特徴抽出モジュール１３１は、図４Ａ及び図４Ｂのステップ４２０において実行されるものと同様に、医用画像内の少なくともひとつのランドマークポイントを識別することができる。ステップ５３０において、これらのランドマークポイントは、好ましくは、ランドマーク特徴抽出モジュール１２１によって識別されるが、ユーザ１１２によって手動で識別又は決定されてもよい。医用画像で特定されるランドマークポイントは、プロセス４００Ａ及び４００Ｂの間に訓練画像で識別されたものと概ね同じである。
［０８２］
ステップ５４０において、ランドマーク特徴抽出モジュール１３１は、医用画像内の画像ポイントのセットを選択することができる。いくつかの実施形態では、これらの画像ポイントは、任意の解剖学的構造にまだ関連付けられていないものであってもよい。プロセス４００Ａ及び４００Ｂのステップ４３０で選択された画像ポイントの同じセットを選択する必要はない。
ステップ５４０において、ランドマーク特徴抽出モジュール１３１は、医用画像内の画像ポイントのセットを選択することができる。いくつかの実施形態では、これらの画像ポイントは、任意の解剖学的構造にまだ関連付けられていないものであってもよい。プロセス４００Ａ及び４００Ｂのステップ４３０で選択された画像ポイントの同じセットを選択する必要はない。
［０８３］
ステップ５５０において、ランドマーク特徴抽出モジュール１３１は、ステップ５４０で選択された画像ポイントに対して、少なくともひとつのランドマークポイントに対する選択された画像ポイントのための少なくともひとつのランドマーク特徴を決定することができる。ステップ５５０は、プロセス４００Ａ及び４００Ｂのステップ４４０と同様に実行することができる。ステップ５５０で決定されたランドマーク特徴のタイプは、一般に、プロセス４００Ａ及び４００Ｂのステップ４４０で決定されたものと同じである。
ステップ５５０において、ランドマーク特徴抽出モジュール１３１は、ステップ５４０で選択された画像ポイントに対して、少なくともひとつのランドマークポイントに対する選択された画像ポイントのための少なくともひとつのランドマーク特徴を決定することができる。ステップ５５０は、プロセス４００Ａ及び４００Ｂのステップ４４０と同様に実行することができる。ステップ５５０で決定されたランドマーク特徴のタイプは、一般に、プロセス４００Ａ及び４００Ｂのステップ４４０で決定されたものと同じである。
［０８４］
ステップ５６０において、解剖学的構造分類モジュール１３２は、解剖学的分類器訓練ユニット１０２から受け取った解剖学的分類モデルを使用して、画像ポイントに関連する解剖学的構造を予測することができる。例えば、ステップ５５０で決定されたランドマーク特徴を解剖学的分類モデルに入力することができる。次いで、解剖学的分類モデルは、既存の知識、すなわち、画像ポイントのランドマーク特徴と、訓練中に学習されたその画像ポイントの解剖学的構造との間の関係に基づいて、これらのランドマーク特徴を分析する。最後に、解剖学的分類モデルは、画像ポイントを解剖学的構造のひとつに割り当てることができる。
ステップ５６０において、解剖学的構造分類モジュール１３２は、解剖学的分類器訓練ユニット１０２から受け取った解剖学的分類モデルを使用して、画像ポイントに関連する解剖学的構造を予測することができる。例えば、ステップ５５０で決定されたランドマーク特徴を解剖学的分類モデルに入力することができる。次いで、解剖学的分類モデルは、既存の知識、すなわち、画像ポイントのランドマーク特徴と、訓練中に学習されたその画像ポイントの解剖学的構造との間の関係に基づいて、これらのランドマーク特徴を分析する。最後に、解剖学的分類モデルは、画像ポイントを解剖学的構造のひとつに割り当てることができる。
［０８５］
ステップ５５０及び５６０は、ステップ５４０で識別されたセット内のすべての画像ポイントに対して実行される。例えば、ステップ５５０及び５６０は、医用画像内のすべての画像ポイントが処理および分類されるまで繰り返されてもよい。ステップ５７０において、解剖学的構造分類モジュール１３２は、セット内のすべての画像ポイントが処理されたかどうかを判定し、そうであれば（ステップ５７０：Ｙｅｓ）、ステップ５８０に進む。そうでない場合（ステップ５８０：Ｎｏ）、ステップ５５０および５６０が繰り返されて次の画像ポイントを処理する。
ステップ５５０及び５６０は、ステップ５４０で識別されたセット内のすべての画像ポイントに対して実行される。例えば、ステップ５５０及び５６０は、医用画像内のすべての画像ポイントが処理および分類されるまで繰り返されてもよい。ステップ５７０において、解剖学的構造分類モジュール１３２は、セット内のすべての画像ポイントが処理されたかどうかを判定し、そうであれば（ステップ５７０：Ｙｅｓ）、ステップ５８０に進む。そうでない場合（ステップ５８０：Ｎｏ）、ステップ５５０および５６０が繰り返されて次の画像ポイントを処理する。
［０８６］
ステップ５８０において、解剖学的構造分類モジュール１３２は、予測結果に基づいて医用画像をセグメント化することができる。いくつかの実施形態では、解剖学的構造分類モジュール１３２は、同じ解剖学的構造を有するものとして分類された画像ポイントに一定値を割り当てることができる。いくつかの実施形態では、画像ポイントは、それらが所属する解剖学的構造に従って色分けされる。いくつかの実施形態では、ステップ５８０の一部として、解剖学的構造分類モジュール１３２は、セグメント化中の特定の画像ポイントの分類を変更することができる。例えば、２つの解剖学的構造の間、又は背景と解剖学的構造の間の輪郭を滑らかにするために、変化を適用することができる。別の例として、解剖学的構造は一般に連続的である。したがって、すべての前立腺画像ポイントによって囲まれた画像ポイントが膀胱の一部として分類されることはない。したがって、解剖学的構造分類モジュール１３２は、その隣接する画像ポイントに基づいて画像ポイントの分類結果を変更することができる。
ステップ５８０において、解剖学的構造分類モジュール１３２は、予測結果に基づいて医用画像をセグメント化することができる。いくつかの実施形態では、解剖学的構造分類モジュール１３２は、同じ解剖学的構造を有するものとして分類された画像ポイントに一定値を割り当てることができる。いくつかの実施形態では、画像ポイントは、それらが所属する解剖学的構造に従って色分けされる。いくつかの実施形態では、ステップ５８０の一部として、解剖学的構造分類モジュール１３２は、セグメント化中の特定の画像ポイントの分類を変更することができる。例えば、２つの解剖学的構造の間、又は背景と解剖学的構造の間の輪郭を滑らかにするために、変化を適用することができる。別の例として、解剖学的構造は一般に連続的である。したがって、すべての前立腺画像ポイントによって囲まれた画像ポイントが膀胱の一部として分類されることはない。したがって、解剖学的構造分類モジュール１３２は、その隣接する画像ポイントに基づいて画像ポイントの分類結果を変更することができる。
［０８７］
セグメント化された医用画像は、解剖学的分類ユニット１０３から出力される。いくつかの実施形態では、セグメント化された医用画像は、画像ディスプレイ２２８上のユーザに表示されてもよい。将来の医用画像データベースを提供する。いくつかの他の実施形態では、セグメント化された医用画像は、知識ベースを充実させるための訓練画像として訓練画像データベース１０１に格納されてもよい。プロセス５００Ａは、ステップ５９０の後に終了することができる。
セグメント化された医用画像は、解剖学的分類ユニット１０３から出力される。いくつかの実施形態では、セグメント化された医用画像は、画像ディスプレイ２２８上のユーザに表示されてもよい。将来の医用画像データベースを提供する。いくつかの他の実施形態では、セグメント化された医用画像は、知識ベースを充実させるための訓練画像として訓練画像データベース１０１に格納されてもよい。プロセス５００Ａは、ステップ５９０の後に終了することができる。
［０８８］
図５Ｂは、本開示のいくつかの実施形態による図４Ｂのプロセスによって得られた解剖学的分類モデルを使用して医用画像内の画像ポイントを分類するための別の例示的な解剖学的分類プロセス５００Ｂを示すフローチャートである。解剖学的分類プロセス５００Ｂは、追加のステップ５５２及び修正されたステップ５６０を除いて、プロセス５００Ａに類似している。したがって、ステップ５１０−５５０及び５７０−５９０は、再度説明しない。
図５Ｂは、本開示のいくつかの実施形態による図４Ｂのプロセスによって得られた解剖学的分類モデルを使用して医用画像内の画像ポイントを分類するための別の例示的な解剖学的分類プロセス５００Ｂを示すフローチャートである。解剖学的分類プロセス５００Ｂは、追加のステップ５５２及び修正されたステップ５６０を除いて、プロセス５００Ａに類似している。したがって、ステップ５１０−５５０及び５７０−５９０は、再度説明しない。
［０８９］
ランドマーク特徴抽出モジュール１３１は、ステップ５５０で決定されたランドマーク特徴に加えて、ステップ５５２において、画像ポイントのローカル特性又はコンテキスト特徴に基づいて、画像ポイントの少なくともひとつの画像特徴を更に決定することができる。これらの画像特徴は、一般に、プロセス４００Ｂのステップ４４２で決定されたものと同じタイプである。ステップ５６０において、解剖学的分類ユニット１０３は、ランドマーク特徴と画像特徴との両方を使用して予測することができる。ランドマーク特徴と画像特徴との組み合わせは、予測の精度を高め、したがって画像セグメンテーションの質を向上させることができる。
ランドマーク特徴抽出モジュール１３１は、ステップ５５０で決定されたランドマーク特徴に加えて、ステップ５５２において、画像ポイントのローカル特性又はコンテキスト特徴に基づいて、画像ポイントの少なくともひとつの画像特徴を更に決定することができる。これらの画像特徴は、一般に、プロセス４００Ｂのステップ４４２で決定されたものと同じタイプである。ステップ５６０において、解剖学的分類ユニット１０３は、ランドマーク特徴と画像特徴との両方を使用して予測することができる。ランドマーク特徴と画像特徴との組み合わせは、予測の精度を高め、したがって画像セグメンテーションの質を向上させることができる。
［０９０］
例えば、図８は、図７に示す３次元ＣＴ画像のセグメンテーション結果を示す図である。本開示のいくつかの実施形態によれば、ランドマーク特徴の異なるセットを使用して図１に示される。行（Ａ）−（Ｄ）は、軸方向、矢状方向および冠状のそれぞれのビューにおける患者の３次元ＣＴ画像を示す。具体的には、行（Ａ）は、セグメント化前の医用画像を示す。行（Ｂ）は、ランドマーク特徴を持たない画像特徴のみを使用することによって、膀胱、前立腺および直腸のセグメンテーション結果を示す。示されているように、セグメンテーション結果はノイズが多く、誤分類率が比較的大きい。例えば、いくつかの前立腺ボクセルは直腸ボクセルとして誤分類され、いくつかの直腸ボクセルは体ボクセルとして誤分類される。Ｒｏｗ（Ｃ）は、Ｒｏｗ（Ｂ）に使用される画像フィーチャと併せて３つのランドマーク特徴を使用してセグメンテーション結果を示す。結果は雑音が少なく、誤分類率が大幅に減少する。行（Ｄ）は、２４個のランドマーク特徴をＲｏｗ（Ｂ）に使用されるイメージフィーチャと共に使用してセグメンテーション結果を示す。ランドマーク特徴と画像特徴との組み合わせを用いることにより、セグメンテーションの質が向上することが分かる。さらに、より多くの目印特徴を適用すると、セグメンテーションの質も向上する。ランドマーク特徴の数を増やすために、より多くのランドマークポイントを特定することによって、及び／又は、各ランドマークポイントに対してより多くのランドマーク特徴を定義することによって、ランドマーク特徴の数を増やすことができる。
例えば、図８は、図７に示す３次元ＣＴ画像のセグメンテーション結果を示す図である。本開示のいくつかの実施形態によれば、ランドマーク特徴の異なるセットを使用して図１に示される。行（Ａ）−（Ｄ）は、軸方向、矢状方向および冠状のそれぞれのビューにおける患者の３次元ＣＴ画像を示す。具体的には、行（Ａ）は、セグメント化前の医用画像を示す。行（Ｂ）は、ランドマーク特徴を持たない画像特徴のみを使用することによって、膀胱、前立腺および直腸のセグメンテーション結果を示す。示されているように、セグメンテーション結果はノイズが多く、誤分類率が比較的大きい。例えば、いくつかの前立腺ボクセルは直腸ボクセルとして誤分類され、いくつかの直腸ボクセルは体ボクセルとして誤分類される。Ｒｏｗ（Ｃ）は、Ｒｏｗ（Ｂ）に使用される画像フィーチャと併せて３つのランドマーク特徴を使用してセグメンテーション結果を示す。結果は雑音が少なく、誤分類率が大幅に減少する。行（Ｄ）は、２４個のランドマーク特徴をＲｏｗ（Ｂ）に使用されるイメージフィーチャと共に使用してセグメンテーション結果を示す。ランドマーク特徴と画像特徴との組み合わせを用いることにより、セグメンテーションの質が向上することが分かる。さらに、より多くの目印特徴を適用すると、セグメンテーションの質も向上する。ランドマーク特徴の数を増やすために、より多くのランドマークポイントを特定することによって、及び／又は、各ランドマークポイントに対してより多くのランドマーク特徴を定義することによって、ランドマーク特徴の数を増やすことができる。
［０９１］
正確にセグメント化された画像又は解剖学的構造の明確な輪郭は、セグメント化の結果に依存する様々なアプリケーションに役立つ。例えば、図９は、本開示のいくつかの実施形態による、セグメンテーション結果の例示的なさらなるアプリケーションを示すフローチャートである。
正確にセグメント化された画像又は解剖学的構造の明確な輪郭は、セグメント化の結果に依存する様々なアプリケーションに役立つ。例えば、図９は、本開示のいくつかの実施形態による、セグメンテーション結果の例示的なさらなるアプリケーションを示すフローチャートである。
［０９２］
１．形状モデリング
［０９３］
図９に示すように、分類モデル９１０は、分類結果に基づいて初期画像輪郭を生成することができる。初期輪郭は、更なる精細化のために形状モデル９２０に提供されてもよい。形状モデル９２０の例には、アクティブ形状モデル（ＡＳＭ）、疎形状モデル、物理ベース形状モデルなどが含まれるが、これらに限定されるものではない。
１．形状モデリング
［０９３］
図９に示すように、分類モデル９１０は、分類結果に基づいて初期画像輪郭を生成することができる。初期輪郭は、更なる精細化のために形状モデル９２０に提供されてもよい。形状モデル９２０の例には、アクティブ形状モデル（ＡＳＭ）、疎形状モデル、物理ベース形状モデルなどが含まれるが、これらに限定されるものではない。
［０９４］
いくつかの実施形態では、形状モデル９２０は、医用画像内のオブジェクト（解剖学的構造）に適合するように輪郭を反復的に変形してもよい。例えば、形状モデル９２０は、最初に、物体の粗い形状を決定するためにプロファイルモデリングを実行し、その後、形状が変化する方法を制限する点分布モデルへの粗い形状を確認することができる。形状モデル９２０は、収束するまでこれらのステップを交互に行うことができる。高品質の初期輪郭を使用することによって、形状モデル９２０は、より少ない反復で洗練された形状を得ることができ、したがって処理時間が短縮される。
いくつかの実施形態では、形状モデル９２０は、医用画像内のオブジェクト（解剖学的構造）に適合するように輪郭を反復的に変形してもよい。例えば、形状モデル９２０は、最初に、物体の粗い形状を決定するためにプロファイルモデリングを実行し、その後、形状が変化する方法を制限する点分布モデルへの粗い形状を確認することができる。形状モデル９２０は、収束するまでこれらのステップを交互に行うことができる。高品質の初期輪郭を使用することによって、形状モデル９２０は、より少ない反復で洗練された形状を得ることができ、したがって処理時間が短縮される。
［０９５］
２．画像登録
［０９６］
図９に示すように、分類モデル９１０は、画像登録を支援する解剖学的構造を提供することができる。画像登録は、異なるデータセットをひとつの座標系に変換するプロセスである。典型的な画像登録アルゴリズムは、輝度ベース又は特徴ベース、又はその２つの組み合わせである。特に、特徴ベースの方法は、点、線、及び輪郭などの画像特徴間の対応を見つける。したがって、画像登録は、より明確に定義された初期輪郭から大きく利益を得ることができる。
２．画像登録
［０９６］
図９に示すように、分類モデル９１０は、画像登録を支援する解剖学的構造を提供することができる。画像登録は、異なるデータセットをひとつの座標系に変換するプロセスである。典型的な画像登録アルゴリズムは、輝度ベース又は特徴ベース、又はその２つの組み合わせである。特に、特徴ベースの方法は、点、線、及び輪郭などの画像特徴間の対応を見つける。したがって、画像登録は、より明確に定義された初期輪郭から大きく利益を得ることができる。
［０９７］
いくつかの実施形態では、分類モデル９１０は、解剖学的分類結果に基づいて解剖学的構造の中心点位置を計算する中心ロケータ９３０に構造情報を提供することができる。このような情報は、画像登録アルゴリズム９４０の計算を初期化又は誘導するために使用することができる。画像登録アルゴリズム９４０の例には、リジッドレジストレーション（rigid registration）、アフィンレジストレーション（affine registration）、ピースワイズリニアレジストレーション（piece-wise linear registration）、及び、デモンズレジストレーション（Demons registration）、Ｂ−スプラインレジストレーション（B-Spline registration）、微分同相レジストレーション（diffeomorphic registration）等のように当業者により知られた様々な変形可能な登録アルゴリズム（deformable registration algorithms）を含んでもよい。
いくつかの実施形態では、分類モデル９１０は、解剖学的分類結果に基づいて解剖学的構造の中心点位置を計算する中心ロケータ９３０に構造情報を提供することができる。このような情報は、画像登録アルゴリズム９４０の計算を初期化又は誘導するために使用することができる。画像登録アルゴリズム９４０の例には、リジッドレジストレーション（rigid registration）、アフィンレジストレーション（affine registration）、ピースワイズリニアレジストレーション（piece-wise linear registration）、及び、デモンズレジストレーション（Demons registration）、Ｂ−スプラインレジストレーション（B-Spline registration）、微分同相レジストレーション（diffeomorphic registration）等のように当業者により知られた様々な変形可能な登録アルゴリズム（deformable registration algorithms）を含んでもよい。
［０９８］
いくつかの他の実施形態（図示せず）では、分類モデル９１０は、解剖学的分類結果を提供し、画像登録アルゴリズムのための最適化機能における類似性又は一致基準を改良することができる。
いくつかの他の実施形態（図示せず）では、分類モデル９１０は、解剖学的分類結果を提供し、画像登録アルゴリズムのための最適化機能における類似性又は一致基準を改良することができる。
［０９９］
３．体積計算
［０１００］
解剖学的分類結果はまた解剖学的構造のボリュームの大きさの正確に推定するのに役立つ。膀胱などの特定の解剖学的構造については、変形フィールド及び治療のための線量最適化を計算する際に、ボリュームの大きさが重要である。膀胱の例では、容積の大きさは、異なる治療セッションで大きく変化しうる。したがって、その大きさの正確な推定は、膀胱周囲の相対的な位置又は変形に関する重要な事前知識を与え、ひいては変形フィールドの計算することを助け、又は、その場で線量分布を最適化するのに役立つ。
３．体積計算
［０１００］
解剖学的分類結果はまた解剖学的構造のボリュームの大きさの正確に推定するのに役立つ。膀胱などの特定の解剖学的構造については、変形フィールド及び治療のための線量最適化を計算する際に、ボリュームの大きさが重要である。膀胱の例では、容積の大きさは、異なる治療セッションで大きく変化しうる。したがって、その大きさの正確な推定は、膀胱周囲の相対的な位置又は変形に関する重要な事前知識を与え、ひいては変形フィールドの計算することを助け、又は、その場で線量分布を最適化するのに役立つ。
［０１０１］
図９に示すように、分類モデル９１０は、膀胱などの解剖学的構造に関連するセグメンテーション情報をボリューム計算機９５０に提供することができる。ボリューム計算機９５０は、その輪郭及び他の構造データに基づいて解剖学的構造のボリュームサイズを計算する。ボリュームサイズは、将来の治療を導くために、治療データベース９６０に更に提供されてもよい。例えば、ボリュームのサイズ情報を利用して、類似の患者の選択をデータベースから導くのを助けることができる。
図９に示すように、分類モデル９１０は、膀胱などの解剖学的構造に関連するセグメンテーション情報をボリューム計算機９５０に提供することができる。ボリューム計算機９５０は、その輪郭及び他の構造データに基づいて解剖学的構造のボリュームサイズを計算する。ボリュームサイズは、将来の治療を導くために、治療データベース９６０に更に提供されてもよい。例えば、ボリュームのサイズ情報を利用して、類似の患者の選択をデータベースから導くのを助けることができる。
［０１０２］
様々な動作又は機能が、本明細書で説明され、ソフトウェアコード又は命令として実装又は定義されてもよい。そのようなコンテンツは、直接実行可能な形式（「オブジェクト」又は「実行可能」形式）、ソースコード、又は差分コード（「デルタ（delta）」又は「パッチ（patch）」コード）であってもよい。本明細書に記載された実施形態のソフトウェア実装は、コード又は命令が格納された製品を介して、又は、通信インタフェースを介してデータを送信するために通信インタフェースを動作させる方法を介して提供することができる。機械又はコンピュータ可読記憶媒体は、記述された機能又は動作を機械に実行させることができ、機械（例えば、コンピューティングデバイス、電子システムなど）によってアクセス可能な形式で情報を記憶する書き換え可能／書き換え不可能な記録媒体（例えば、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイスなど）のような任意のメカニズムを含む。通信インタフェースは、メモリバスインタフェース、プロセッサバスインタフェース、インターネット接続、ディスクコントローラ、及び他のデバイスのような、ハードワイヤード、ワイヤレス、光学などのいずれかと通信する任意のメカニズム、他のデバイスと通信するための媒体を含む。そのような。通信インタフェースは、ソフトウェアインタフェースを記述するデータ信号を提供するために通信インタフェースを準備するための構成パラメータ及び／又は送信信号を提供することによって構成することができる。通信インタフェースは、通信インタフェースに送信されるひとつ又は複数のコマンド又は信号を介してアクセスすることができる。
様々な動作又は機能が、本明細書で説明され、ソフトウェアコード又は命令として実装又は定義されてもよい。そのようなコンテンツは、直接実行可能な形式（「オブジェクト」又は「実行可能」形式）、ソースコード、又は差分コード（「デルタ（delta）」又は「パッチ（patch）」コード）であってもよい。本明細書に記載された実施形態のソフトウェア実装は、コード又は命令が格納された製品を介して、又は、通信インタフェースを介してデータを送信するために通信インタフェースを動作させる方法を介して提供することができる。機械又はコンピュータ可読記憶媒体は、記述された機能又は動作を機械に実行させることができ、機械（例えば、コンピューティングデバイス、電子システムなど）によってアクセス可能な形式で情報を記憶する書き換え可能／書き換え不可能な記録媒体（例えば、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイスなど）のような任意のメカニズムを含む。通信インタフェースは、メモリバスインタフェース、プロセッサバスインタフェース、インターネット接続、ディスクコントローラ、及び他のデバイスのような、ハードワイヤード、ワイヤレス、光学などのいずれかと通信する任意のメカニズム、他のデバイスと通信するための媒体を含む。そのような。通信インタフェースは、ソフトウェアインタフェースを記述するデータ信号を提供するために通信インタフェースを準備するための構成パラメータ及び／又は送信信号を提供することによって構成することができる。通信インタフェースは、通信インタフェースに送信されるひとつ又は複数のコマンド又は信号を介してアクセスすることができる。
［０１０３］
本発明はまた、本明細書の操作を実行するためのシステムに関する。このシステムは、必要な目的のために特別に構成することができ、又は、コンピュータに格納されたコンピュータプログラムによって選択的に起動又は再構成された汎用コンピュータを含むことができる。このようなコンピュータプログラムは、限定はしないが、フロッピーディスク、光ディスク、ＣＤＲＯＭ、及び光磁気ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光カード、又は、電子命令を記憶するのに適した任意のタイプの媒体であり、それぞれがコンピュータシステムバスに接続されたもののような、コンピュータ可読記憶媒体に格納することができる。
本発明はまた、本明細書の操作を実行するためのシステムに関する。このシステムは、必要な目的のために特別に構成することができ、又は、コンピュータに格納されたコンピュータプログラムによって選択的に起動又は再構成された汎用コンピュータを含むことができる。このようなコンピュータプログラムは、限定はしないが、フロッピーディスク、光ディスク、ＣＤＲＯＭ、及び光磁気ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光カード、又は、電子命令を記憶するのに適した任意のタイプの媒体であり、それぞれがコンピュータシステムバスに接続されたもののような、コンピュータ可読記憶媒体に格納することができる。
［０１０４］
本明細書に例示され説明された本発明の実施形態における動作の実行又は実行の順序は、特に断らない限り必須ではない。すなわち、動作は、他に特定されない限り、任意の順序で実行されてもよく、本発明の実施形態は、本明細書に開示された動作よりも多い又は少ない動作を含み得る。例えば、別の操作の前、同時又は後に特定の操作を実行又は実行することは、本発明の態様の範囲内にあると考えられる。
本明細書に例示され説明された本発明の実施形態における動作の実行又は実行の順序は、特に断らない限り必須ではない。すなわち、動作は、他に特定されない限り、任意の順序で実行されてもよく、本発明の実施形態は、本明細書に開示された動作よりも多い又は少ない動作を含み得る。例えば、別の操作の前、同時又は後に特定の操作を実行又は実行することは、本発明の態様の範囲内にあると考えられる。
［０１０５］
本発明の実施形態は、コンピュータ実行可能命令で実装することができる。コンピュータ実行可能命令は、ひとつ又は複数のコンピュータ実行可能コンポーネント又はモジュールに編成することができる。本発明の態様は、そのような構成要素又はモジュールの任意の数及び構成で実施することができる。例えば、本発明の態様は、特定のコンピュータ実行可能命令、又は、図示され、本明細書で説明される特定のコンポーネント又はモジュールに限定されない。本発明の他の実施形態は、本明細書に図示及び説明されているものよりも多い又は少ない機能を有する異なるコンピュータ実行可能命令又はコンポーネントを含むことができる。
本発明の実施形態は、コンピュータ実行可能命令で実装することができる。コンピュータ実行可能命令は、ひとつ又は複数のコンピュータ実行可能コンポーネント又はモジュールに編成することができる。本発明の態様は、そのような構成要素又はモジュールの任意の数及び構成で実施することができる。例えば、本発明の態様は、特定のコンピュータ実行可能命令、又は、図示され、本明細書で説明される特定のコンポーネント又はモジュールに限定されない。本発明の他の実施形態は、本明細書に図示及び説明されているものよりも多い又は少ない機能を有する異なるコンピュータ実行可能命令又はコンポーネントを含むことができる。
［０１０６］
本発明の態様又はその実施形態の要素を導入する場合、冠詞「a」、「an」、「the」及び「said」は、ひとつ又は複数の要素が存在することを意味することが意図される。「含む（comprising）」、「含む（including）」及び「有する（having）」という用語は、包括的であることを意図しており、列挙された要素以外の追加の要素が存在し得ることを意味する。
本発明の態様又はその実施形態の要素を導入する場合、冠詞「a」、「an」、「the」及び「said」は、ひとつ又は複数の要素が存在することを意味することが意図される。「含む（comprising）」、「含む（including）」及び「有する（having）」という用語は、包括的であることを意図しており、列挙された要素以外の追加の要素が存在し得ることを意味する。
［０１０７］
本発明の態様を詳細に記載してきたが、添付の特許請求の範囲に定義される本発明の態様の範囲から逸脱することなく、改変及び変更が可能であることは明らかであろう。本発明の態様の範囲から逸脱することなく、上記の構造、製品、及び方法において様々な変更を行うことができるので、上記の説明に含まれ、添付の図面に示されるすべての事項は、例示的なものであり、限定的な意味ではなく解釈されることが意図される。
本発明の態様を詳細に記載してきたが、添付の特許請求の範囲に定義される本発明の態様の範囲から逸脱することなく、改変及び変更が可能であることは明らかであろう。本発明の態様の範囲から逸脱することなく、上記の構造、製品、及び方法において様々な変更を行うことができるので、上記の説明に含まれ、添付の図面に示されるすべての事項は、例示的なものであり、限定的な意味ではなく解釈されることが意図される。
Claims (45)
- 医用画像をセグメント化するためコンピュータに実装された方法であって、
メモリから画像を受け取るステップと、
前記画像内の少なくともひとつのランドマークポイントを識別するステップであって、各ランドマークポイントは、既知の解剖学的ランドマークに対応する基準点であるステップと、
前記画像内の画像ポイントを選択するステップと、
プロセッサによって、前記少なくともひとつのランドマークポイントに関連する前記画像ポイントに対する１組の特徴を決定するステップであって、前記１組の特徴は、前記画像内の前記少なくともひとつのランドマークポイントと前記画像内の前記選択された画像ポイントとの間の複数の関係をそれぞれ反映しているステップと、
前記プロセッサによって、前記決定された１組の特徴に基づいて、分類モデルを使用することにより前記画像ポイントを解剖学的構造と関連付けるステップと
を含むことを特徴とする方法。 - 請求項１記載の方法において、
機械学習技術を使用して前記分類モデルを生成するステップを更に含む
ことを特徴とする方法。 - 請求項２記載の方法において、
前記方法は、複数の訓練画像を使用して前記分類モデルを訓練する訓練ステップを更に含み、
前記訓練ステップは、
前記複数の画像のうち、複数の画像ポイントを有する訓練画像を受け取るステップと、
前記訓練画像内の少なくともひとつのランドマークポイントを識別するステップと、
前記訓練画像内の画像ポイントのセットを識別するステップであって、前記セット内の各画像ポイントが解剖学的構造に関連付けられているステップと、
前記ランドマークポイントに関連する前記セット内の各画像ポイントに対する少なくともひとつの特徴を決定するステップと、
前記画像ポイントのセットを訓練データとして使用し、分類されていない画像ポイントの少なくともひとつの特徴に基づいて前記分類されていない画像ポイントの解剖学的構造を予測する分類モデルを生成するステップとを含む
ことを特徴とする方法。 - 請求項３記載の方法において、
前記画像ポイントのセットは、前記訓練画像内でランダムに選択される
ことを特徴とする方法。 - 請求項１記載の方法において、
前記決定された１組の特徴は、前記画像ポイントと前記少なくともひとつのランドマークポイントとの間の相対的距離を含む
ことを特徴とする方法。 - 請求項１記載の方法において、
前記決定された１組の特徴は、前記画像ポイントと前記少なくともひとつのランドマークポイントとの間に形成される変位ベクトルの方向成分を含む
ことを特徴とする方法。 - 請求項１記載の方法において、
前記決定された１組の特徴は、前記画像ポイント及び前記少なくともひとつのランドマークポイントによって形成された形状から決定された幾何学的測定値を含む
ことを特徴とする方法。 - 請求項１記載の方法において、
前記決定された１組の特徴は、前記画像ポイントと前記少なくともひとつのランドマークポイントとの間の相対的な強度値のセットを含む
ことを特徴とする方法。 - 請求項１記載の方法において、
前記決定された１組の特徴は、画像強度値、画像テクスチャ値、画像パッチ値、曲率値、又は輝度プロファイル値のうちの少なくともひとつを含む
ことを特徴とする方法。 - 請求項１記載の方法において、
前記少なくともひとつのランドマークポイントは複数のランドマークポイントを含み、
各ランドマークポイントは前記画像内の別個の位置にある
ことを特徴とする方法。 - 請求項１記載の方法において、
前記少なくともひとつのランドマークポイントは、患者の体内の組織、臓器、又は骨の少なくともひとつである解剖学的ランドマークである
ことを特徴とする方法。 - 請求項１記載の方法において、
前記分類モデルを使用して前記解剖学的構造の初期輪郭を生成するステップを更に含む
ことを特徴とする方法。 - 請求項１２記載の方法において、
ひとつ又はそれ以上の形状モデルを使用することによって前記初期輪郭を精細化するステップを更に含む
ことを特徴とする方法。 - 請求項１３記載の方法において、
前記形状モデルが、アクティブ形状モデル、スパース形状モデル、物理ベース形状モデル、又はそれらの任意の組み合わせのうちの少なくともひとつを含む
ことを特徴とする方法。 - 医用画像をセグメント化するためコンピュータに実装された方法であって、
メモリ位置から画像を受け取るステップと、
前記画像内の少なくともひとつのランドマークポイントを識別するステップであって、各ランドマークポイントは、既知の解剖学的ランドマークに対応する基準点であるステップと、
前記画像内の画像ポイントを選択するステップと、
プロセッサによって、前記ランドマークポイントに基づいて前記画像ポイントに対する１組の特徴を決定するステップであって、前記１組の特徴は、前記画像内の前記少なくともひとつのランドマークポイントと前記画像内の前記選択された画像ポイントとの間の複数の関係をそれぞれ反映しているステップと、
前記画像から画像テクスチャ、画像パッチの少なくともひとつ又はその組み合わせを抽出するステップと、
前記プロセッサによって、前記決定された１組の特徴と少なくともひとつの前記抽出された画像テクスチャ、前記抽出された画像パッチ及びその組み合わせの少なくともひとつに基づく分類モデルを使用することによって、前記画像ポイントを解剖学的構造と関連付けるステップと
を含むことを特徴とする方法。 - 請求項１５記載の方法において、
前記画像テクスチャは、前記画像内の各画像ポイントの相対強度の空間的配置を含む
ことを特徴とする方法。 - 請求項１５記載の方法において、
前記決定された１組の特徴は、前記画像ポイントと前記少なくともひとつのランドマークポイントとの間の相対的距離を含む
ことを特徴とする方法。 - 請求項１５記載の方法において、
前記決定された１組の特徴は、前記画像ポイントと前記少なくともひとつのランドマークポイントとの間に形成される変位ベクトルの方向成分を含む
ことを特徴とする方法。 - 請求項１５記載の方法において、
前記決定された１組の特徴は、前記画像ポイント及び前記少なくともひとつのランドマークポイントによって形成された形状から決定された幾何学的測定値を含む
ことを特徴とする方法。 - 請求項１５記載の方法において、
前記決定された１組の特徴は、前記画像ポイントと前記少なくともひとつのランドマークポイントとの間の相対的な強度値のセットを含む
ことを特徴とする方法。 - コンピュータによって実行されると、医用画像をセグメント化するために使用される分類モデルを訓練するための動作を前記コンピュータに実行させるコンピュータ実行可能命令を格納する非一時的なコンピュータ可読媒体であって、
前記コンピュータ実行可能命令は、
訓練画像を受け取るステップであって、前記訓練画像は、複数の画像ポイントと解剖学的構造に割り当てられた前記訓練画像内の各画像ポイントを含むステップと、
前記訓練画像内の少なくともひとつのランドマークポイントを識別するステップであって、各ランドマークポイントは、既知の解剖学的ランドマークに対応する基準点であるステップと、
前記ランドマークポイントに関連する前記訓練画像内の各画像ポイントに対する１組の特徴を決定するステップであって、前記１組の特徴は、前記訓練画像内の前記少なくともひとつのランドマークポイントと前記訓練画像内の各画像ポイントとの間の複数の関係をそれぞれ反映しているステップと、
前記複数の画像ポイントを訓練データとして使用して分類モデルを訓練するステップであって、前記分類モデルは、分類されていない画像ポイントに対する前記決定された１組の特徴に基づいて前記分類されていない画像ポイントが解剖学的構造と関連付けられているステップと
を実行する命令を含む
ことを特徴とするコンピュータ可読媒体。 - 請求項２１記載のコンピュータ可読媒体において、
前記決定された１組の特徴は、前記画像ポイントと前記少なくともひとつのランドマークポイントとの間の相対的距離を含む
ことを特徴とするコンピュータ可読媒体。 - 請求項２１記載のコンピュータ可読媒体において、
前記決定された１組の特徴は、前記画像ポイントと前記少なくともひとつのランドマークポイントとの間に形成される変位ベクトルの方向成分を含む
ことを特徴とするコンピュータ可読媒体。 - 請求項２１記載のコンピュータ可読媒体において、
前記決定された１組の特徴は、前記画像ポイント及び前記少なくともひとつのランドマークポイントによって形成された形状から決定された幾何学的測定値を含む
ことを特徴とするコンピュータ可読媒体。 - 請求項２１記載のコンピュータ可読媒体において、
前記決定された１組の特徴は、前記画像ポイントと前記少なくともひとつのランドマークポイントとの間の相対的な強度値のセットを含む
ことを特徴とするコンピュータ可読媒体。 - 請求項２１記載のコンピュータ可読媒体において、
前記決定された１組の特徴は、画像強度値、画像テクスチャ値、画像パッチ値、曲率値、又は輝度プロファイル値のうちの少なくともひとつを含む
ことを特徴とするコンピュータ可読媒体。 - コンピュータによって実行されると、医用画像をセグメント化するために使用される分類モデルを訓練するための動作を前記コンピュータに実行させるコンピュータ実行可能命令を格納するコンピュータ可読媒体であって、
前記コンピュータ実行可能命令は、
メモリ位置から画像を受け取るステップと、
前記画像内の少なくともひとつのランドマークポイントを識別するステップであって、各ランドマークポイントは、既知の解剖学的ランドマークに対応する基準点であるステップと、
前記画像内の画像ポイントを選択するステップと、
前記画像ポイントに対する１組の特徴を決定するステップであって、前記１組の特徴は、前記画像内の前記少なくともひとつのランドマークポイントと前記画像内の前記選択された画像ポイントとの間の複数の関係をそれぞれ反映しているステップと、
前記決定された１組の特徴に基づいて、前記分類モデルを使用することにより前記画像ポイントを解剖学的構造と関連付けるステップと
を実行する命令を含む
ことを特徴とするコンピュータ可読媒体。 - 請求項２７記載のコンピュータ可読媒体において、
前記決定された１組の特徴は、前記画像ポイントと前記少なくともひとつのランドマークポイントとの間の相対的距離を含む
ことを特徴とするコンピュータ可読媒体。 - 請求項２７記載のコンピュータ可読媒体において、
前記決定された１組の特徴は、前記画像ポイントと前記少なくともひとつのランドマークポイントとの間に形成される変位ベクトルの方向成分を含む
ことを特徴とするコンピュータ可読媒体。 - 請求項２７記載のコンピュータ可読媒体において、
前記決定された１組の特徴は、前記画像ポイント及び前記少なくともひとつのランドマークポイントによって形成された形状から決定された幾何学的測定値を含む
ことを特徴とするコンピュータ可読媒体。 - 請求項２７記載のコンピュータ可読媒体において、
前記決定された１組の特徴は、前記画像ポイントと前記少なくともひとつのランドマークポイントとの間の相対的な強度値のセットを含む
ことを特徴とするコンピュータ可読媒体。 - 請求項２７記載のコンピュータ可読媒体において、
前記決定された１組の特徴は、画像強度値、画像テクスチャ値、画像パッチ値、曲率値、又は輝度プロファイル値のうちの少なくともひとつを含む
ことを特徴とするコンピュータ可読媒体。 - 医用画像をセグメント化するために使用される分類モデルを訓練するためのシステムであって、
前記システムは、
各訓練画像が複数の画像ポイントを含み、各画像ポイントが解剖学的構造に割り当てられる複数の訓練画像を記憶するように構成されたデータベースと、
前記複数の訓練画像にアクセスするために前記データベースに接続された訓練ユニットとを備え、
前記訓練ユニットは、
前記データベースから訓練画像を受け取り、前記訓練画像は、複数の画像ポイントと解剖学的構造に割り当てられた前記訓練画像内の各画像ポイントとを含み、
前記訓練画像内の少なくともひとつのランドマークポイントを識別し、各ランドマークポイントは、既知の解剖学的ランドマークに対応する基準点であり、
前記ランドマークポイントに関連する前記訓練画像内の各画像ポイントに対する１組の特徴を決定し、前記１組の特徴は、前記訓練画像内の前記少なくともひとつのランドマークポイントと前記訓練画像内の各画像ポイントとの間の複数の関係をそれぞれ反映している
ように構成された特徴抽出モジュールと、
分類されていない画像ポイントを、分類されていない画像ポイントの前記決定された１組の特徴に基づいて、解剖学的構造と関連付けている分類モデルを訓練するための訓練データとして使用する分類器訓練モジュールとを含む
ことを特徴とするシステム。 - 請求項３３記載のシステムにおいて、
前記決定された１組の特徴が、前記画像ポイントと前記少なくともひとつのランドマークポイントとの間の相対的距離を含む
ことを特徴とするシステム。 - 請求項３３記載のシステムにおいて、
前記決定された１組の特徴は、前記画像ポイントと前記少なくともひとつのランドマークポイントとの間に形成される変位ベクトルの方向成分を含む
ことを特徴とするシステム。 - 請求項３３記載のシステムにおいて、
前記決定された１組の特徴は、前記画像ポイント及び前記少なくともひとつのランドマークポイントによって形成された形状から決定された幾何学的測定値を含む
ことを特徴とするシステム。 - 請求項３３記載のシステムにおいて、
前記決定された１組の特徴は、前記画像ポイントと前記少なくともひとつのランドマークポイントとの間の相対的な強度値のセットを含む
ことを特徴とするシステム。 - 請求項３３記載のシステムにおいて、
前記決定された１組の特徴は、画像強度値、画像テクスチャ値、画像パッチ値、曲率値、又は輝度プロファイル値のうちの少なくともひとつを含む
ことを特徴とするシステム。 - 分類モデルを使用して医用画像をセグメント化するためのシステムであって、
前記システムは、
複数の画像を記憶するように構成されたデータベースと、
前記複数の画像にアクセスするために前記データベースに接続された分類ユニットとを備え、
前記分類ユニットは、
前記データベースから画像を受け取り、
前記画像内の少なくともひとつのランドマークポイントを識別し、各ランドマークポイントは、既知の解剖学的ランドマークに対応する基準点であり、
前記画像内に画像ポイントを選択し、
前記ランドマークポイントに関連する前記画像ポイントに対する１組の特徴を決定し、前記１組の特徴は、前記画像内の前記少なくともひとつのランドマークポイントと前記画像内の前記選択された画像ポイントとの間の複数の関係をそれぞれ反映している
ように構成された特徴抽出モジュールと、
前記決定された１組の特徴に基づいて、前記分類モデルを使用することにより前記画像ポイントを解剖学的構造と関連付けるように構成された解剖学的分類モジュールとを含む
ことを特徴とするシステム。 - 請求項３９記載のシステムにおいて、
前記決定された１組の特徴は、前記画像ポイントと前記少なくともひとつのランドマークポイントとの間の相対的距離を含む
ことを特徴とするシステム。 - 請求項３９記載のシステムにおいて、
前記決定された１組の特徴は、前記画像ポイントと前記少なくともひとつのランドマークポイントとの間に形成される変位ベクトルの方向成分を含む
ことを特徴とするシステム。 - 請求項３９記載のシステムにおいて、
前記決定された１組の特徴は、前記画像ポイント及び前記少なくともひとつのランドマークポイントによって形成された形状から決定された幾何学的測定値を含む
ことを特徴とするシステム。 - 請求項３９記載のシステムにおいて、
前記決定された１組の特徴は、前記画像ポイントと前記少なくともひとつのランドマークポイントとの間の相対的な強度値のセットを含む
ことを特徴とするシステム。 - 請求項３９記載のシステムにおいて、
前記決定された１組の特徴は、画像強度値、画像テクスチャ値、画像パッチ値、曲率値、又は輝度プロファイル値のうちの少なくともひとつを含む
ことを特徴とするシステム。 - 請求項３記載の方法において、
前記少なくともひとつのランドマークポイントは複数のランドマークポイントを含み、
各ランドマークポイントは前記訓練画像内の別個の位置にある
ことを特徴とする方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/474,407 US9740710B2 (en) | 2014-09-02 | 2014-09-02 | Systems and methods for segmenting medical images based on anatomical landmark-based features |
| US14/474,407 | 2014-09-02 | ||
| PCT/US2015/046011 WO2016036516A1 (en) | 2014-09-02 | 2015-08-20 | Systems and methods for segmenting medical images based on anatomical landmark-based features |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017532092A JP2017532092A (ja) | 2017-11-02 |
| JP6514325B2 true JP6514325B2 (ja) | 2019-05-15 |
Family
ID=54140634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017512347A Active JP6514325B2 (ja) | 2014-09-02 | 2015-08-20 | 解剖学的ランドマークベースの特徴に基づいた医用画像をセグメント化するためのシステム及び方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US9740710B2 (ja) |
| EP (1) | EP3195257B1 (ja) |
| JP (1) | JP6514325B2 (ja) |
| CN (1) | CN107077736B (ja) |
| AU (1) | AU2015312327B2 (ja) |
| RU (1) | RU2699499C2 (ja) |
| WO (1) | WO2016036516A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10546014B2 (en) | 2014-09-02 | 2020-01-28 | Elekta, Inc. | Systems and methods for segmenting medical images based on anatomical landmark-based features |
Families Citing this family (64)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102294734B1 (ko) | 2014-09-30 | 2021-08-30 | 삼성전자주식회사 | 영상 정합 장치, 영상 정합 방법 및 영상 정합 장치가 마련된 초음파 진단 장치 |
| US10318839B2 (en) * | 2015-01-13 | 2019-06-11 | Council Of Scientific And Industrial Research | Method for automatic detection of anatomical landmarks in volumetric data |
| US9842390B2 (en) * | 2015-02-06 | 2017-12-12 | International Business Machines Corporation | Automatic ground truth generation for medical image collections |
| CN106022381B (zh) * | 2016-05-25 | 2020-05-22 | 厦门大学 | 基于车载激光扫描点云的路灯杆自动提取方法 |
| US11880980B2 (en) * | 2016-06-17 | 2024-01-23 | Children's National Medical Center | Medical anatomy quantification: computer-aided diagnosis tool |
| US9965863B2 (en) * | 2016-08-26 | 2018-05-08 | Elekta, Inc. | System and methods for image segmentation using convolutional neural network |
| JP6761128B2 (ja) * | 2016-09-06 | 2020-09-23 | エレクタ、インク.Elekta, Inc. | 合成医療画像を生成するためのニューラルネットワーク |
| US11138739B2 (en) * | 2016-11-29 | 2021-10-05 | Koninklijke Philips N.V. | Heart segmentation methodology for cardiac motion correction |
| WO2018107149A1 (en) * | 2016-12-09 | 2018-06-14 | Children's National Medical Center | Image segmentation of complex structures |
| CN108205806B (zh) * | 2016-12-20 | 2020-10-09 | 北京大学 | 一种锥束ct图像三维颅面结构的自动解析方法 |
| WO2018209057A1 (en) | 2017-05-11 | 2018-11-15 | The Research Foundation For The State University Of New York | System and method associated with predicting segmentation quality of objects in analysis of copious image data |
| US10949966B2 (en) * | 2017-08-18 | 2021-03-16 | Siemens Healthcare Gmbh | Detecting and classifying medical images based on continuously-learning whole body landmarks detections |
| EP3684463A4 (en) | 2017-09-19 | 2021-06-23 | Neuroenhancement Lab, LLC | NEURO-ACTIVATION PROCESS AND APPARATUS |
| WO2019076791A1 (en) * | 2017-10-18 | 2019-04-25 | Koninklijke Philips N.V. | VISUALIZATION OF MARKING POINTS FOR MEDICAL IMAGE SEGMENTATION |
| CN107833229A (zh) * | 2017-11-02 | 2018-03-23 | 上海联影医疗科技有限公司 | 信息处理方法、装置及系统 |
| WO2019085985A1 (en) | 2017-11-02 | 2019-05-09 | Shenzhen United Imaging Healthcare Co., Ltd. | Systems and methods for generating semantic information for scanning image |
| EP3703572A1 (en) | 2017-11-02 | 2020-09-09 | Koninklijke Philips N.V. | Intelligent ultrasound system for detecting image artefacts |
| US10489907B2 (en) * | 2017-11-13 | 2019-11-26 | Siemens Healthcare Gmbh | Artifact identification and/or correction for medical imaging |
| EP3486674A1 (en) * | 2017-11-17 | 2019-05-22 | Koninklijke Philips N.V. | Artificial intelligence-enabled localization of anatomical landmarks |
| US11717686B2 (en) | 2017-12-04 | 2023-08-08 | Neuroenhancement Lab, LLC | Method and apparatus for neuroenhancement to facilitate learning and performance |
| US10878529B2 (en) | 2017-12-22 | 2020-12-29 | Canon Medical Systems Corporation | Registration method and apparatus |
| WO2019133997A1 (en) | 2017-12-31 | 2019-07-04 | Neuroenhancement Lab, LLC | System and method for neuroenhancement to enhance emotional response |
| US11576628B2 (en) * | 2018-01-03 | 2023-02-14 | Koninklijke Philips N.V. | Full dose PET image estimation from low-dose PET imaging using deep learning |
| US10910099B2 (en) * | 2018-02-20 | 2021-02-02 | Siemens Healthcare Gmbh | Segmentation, landmark detection and view classification using multi-task learning |
| CN108460827B (zh) * | 2018-02-27 | 2022-06-14 | 上海交通大学医学院附属第九人民医院 | 一种基于多源数据数字化设计和制作阻塞器模型的方法 |
| CN108334863B (zh) * | 2018-03-09 | 2020-09-04 | 百度在线网络技术（北京）有限公司 | 身份认证方法、系统、终端和计算机可读存储介质 |
| JP6962263B2 (ja) * | 2018-04-17 | 2021-11-05 | 日本電信電話株式会社 | ３次元点群ラベル学習装置、３次元点群ラベル推定装置、３次元点群ラベル学習方法、３次元点群ラベル推定方法、及びプログラム |
| US11364361B2 (en) | 2018-04-20 | 2022-06-21 | Neuroenhancement Lab, LLC | System and method for inducing sleep by transplanting mental states |
| US10685445B2 (en) | 2018-06-09 | 2020-06-16 | Uih-Rt Us Llc | Systems and methods for generating augmented segmented image set |
| CN112367915A (zh) * | 2018-06-15 | 2021-02-12 | 佳能株式会社 | 医学图像处理装置、医学图像处理方法和程序 |
| CN110021021B (zh) * | 2018-07-09 | 2024-06-07 | 乐人美德株式会社 | 头部图像分析装置及图像分析方法 |
| JP7211725B2 (ja) * | 2018-07-09 | 2023-01-24 | 富士フイルムヘルスケア株式会社 | 自動位置決め機能付き磁気共鳴イメージング装置、磁気共鳴イメージング装置の制御方法、及び、撮像断面自動設定用プログラム |
| CN109166133B (zh) * | 2018-07-14 | 2021-11-23 | 西北大学 | 基于关键点检测和深度学习的软组织器官图像分割方法 |
| CN109215064B (zh) * | 2018-08-03 | 2021-06-08 | 华南理工大学 | 一种基于超像素向导的医学图像配准方法 |
| JP7305401B2 (ja) | 2018-09-06 | 2023-07-10 | キヤノン株式会社 | 画像処理装置、画像処理装置の作動方法、及びプログラム |
| US11452839B2 (en) | 2018-09-14 | 2022-09-27 | Neuroenhancement Lab, LLC | System and method of improving sleep |
| CN112822973A (zh) | 2018-10-10 | 2021-05-18 | 佳能株式会社 | 医学图像处理装置、医学图像处理方法和程序 |
| CN111062952B (zh) * | 2018-10-16 | 2022-09-30 | 腾讯科技（深圳）有限公司 | 肺部图像分割设备、方法及存储介质 |
| EP3644275A1 (en) * | 2018-10-22 | 2020-04-29 | Koninklijke Philips N.V. | Predicting correctness of algorithmic segmentation |
| CN109685102B (zh) * | 2018-11-13 | 2024-07-09 | 平安科技（深圳）有限公司 | 胸部病灶图像分类方法、装置、计算机设备及存储介质 |
| CN109508688B (zh) * | 2018-11-26 | 2023-10-13 | 平安科技（深圳）有限公司 | 基于骨架的行为检测方法、终端设备及计算机存储介质 |
| US20200178934A1 (en) * | 2018-12-10 | 2020-06-11 | General Electric Company | Ultrasound imaging system and method for displaying a target object quality level |
| US10832392B2 (en) * | 2018-12-19 | 2020-11-10 | Siemens Healthcare Gmbh | Method, learning apparatus, and medical imaging apparatus for registration of images |
| KR20210108980A (ko) * | 2018-12-24 | 2021-09-03 | 바디컴포지션테크놀로지스 피티와이 엘티디 | 신체 분석 |
| US20200258216A1 (en) * | 2019-02-13 | 2020-08-13 | Siemens Healthcare Gmbh | Continuous learning for automatic view planning for image acquisition |
| WO2020183791A1 (ja) | 2019-03-11 | 2020-09-17 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP7313192B2 (ja) * | 2019-05-27 | 2023-07-24 | キヤノンメディカルシステムズ株式会社 | 診断支援装置、及び、ｘ線ｃｔ装置 |
| US11170245B2 (en) | 2019-06-21 | 2021-11-09 | StraxCorp Pty. Ltd. | Method and system for selecting a region of interest in an image |
| AU2019204372B1 (en) * | 2019-06-21 | 2020-05-07 | Curvebeam Ai Limited | Method and System for Selecting a Region of Interest in an Image |
| EP3756728A1 (en) | 2019-06-24 | 2020-12-30 | Vision RT Limited | Patient motion tracking system configured for automatic roi generation |
| KR102247545B1 (ko) * | 2019-07-24 | 2021-05-03 | 경북대학교 산학협력단 | 수술위치 정보제공방법 및 수술위치 정보제공장치 |
| US11132793B2 (en) | 2019-08-01 | 2021-09-28 | International Business Machines Corporation | Case-adaptive medical image quality assessment |
| JP7395143B2 (ja) * | 2019-09-09 | 2023-12-11 | 国立大学法人大阪大学 | 三次元ランドマーク自動認識を用いた人体の三次元表面形態評価方法及び三次元表面形態評価システム |
| US20210121244A1 (en) * | 2019-10-28 | 2021-04-29 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for locating patient features |
| US20210177295A1 (en) * | 2019-12-11 | 2021-06-17 | GE Precision Healthcare LLC | Systems and methods for generating diagnostic scan parameters from calibration images |
| US11308610B2 (en) * | 2019-12-11 | 2022-04-19 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for machine learning based automatic bullseye plot generation |
| US11487968B2 (en) * | 2019-12-16 | 2022-11-01 | Nvidia Corporation | Neural network based facial analysis using facial landmarks and associated confidence values |
| US11847819B2 (en) * | 2019-12-19 | 2023-12-19 | Brainlab Ag | Medical image analysis using machine learning and an anatomical vector |
| RU2742701C1 (ru) * | 2020-06-18 | 2021-02-09 | Самсунг Электроникс Ко., Лтд. | Способ интерактивной сегментации объекта на изображении и электронное вычислительное устройство для его реализации |
| EP3913574B1 (en) * | 2020-05-21 | 2022-12-21 | Tata Consultancy Services Limited | Anatomical landmark detection and identification from digital radiography images containing severe skeletal deformations |
| US11978266B2 (en) | 2020-10-21 | 2024-05-07 | Nvidia Corporation | Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications |
| KR102510221B1 (ko) * | 2020-12-24 | 2023-03-15 | 연세대학교 산학협력단 | 골절 위험 예측 방법 및 장치 |
| CN113239992B (zh) * | 2021-04-28 | 2024-05-07 | 深圳睿心智能医疗科技有限公司 | 血管分类方法及装置 |
| CN113344008B (zh) * | 2021-06-02 | 2022-08-09 | 广西大学 | 基于深度学习的茎秆组织解剖学特征参数高通量提取方法 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2873955B1 (ja) * | 1998-01-23 | 1999-03-24 | 東京工業大学長 | 画像処理方法および装置 |
| US6055295A (en) * | 1998-01-29 | 2000-04-25 | Siemens Corporate Research, Inc. | Method and apparatus for automatic collimation in x-ray peripheral imaging |
| WO2004068406A2 (en) * | 2003-01-30 | 2004-08-12 | Chase Medical, L.P. | A method and system for image processing and contour assessment |
| US20050018890A1 (en) * | 2003-07-24 | 2005-01-27 | Mcdonald John Alan | Segmentation of left ventriculograms using boosted decision trees |
| JP2007520002A (ja) * | 2004-01-30 | 2007-07-19 | セダラ ソフトウェア コーポレイション | 能動外観モデルを画像解析へ応用するシステム及び方法 |
| US20050237336A1 (en) * | 2004-04-23 | 2005-10-27 | Jens Guhring | Method and system for multi-object volumetric data visualization |
| EP1780672A1 (en) * | 2005-10-25 | 2007-05-02 | Bracco Imaging, S.P.A. | Method of registering images, algorithm for carrying out the method of registering images, a program for registering images using the said algorithm and a method of treating biomedical images to reduce imaging artefacts caused by object movement |
| US7804990B2 (en) * | 2006-01-25 | 2010-09-28 | Siemens Medical Solutions Usa, Inc. | System and method for labeling and identifying lymph nodes in medical images |
| US8150498B2 (en) | 2006-09-08 | 2012-04-03 | Medtronic, Inc. | System for identification of anatomical landmarks |
| EP1916624B1 (en) * | 2006-10-25 | 2016-11-23 | Agfa HealthCare NV | Method for segmenting a digital medical image. |
| US8165360B2 (en) * | 2006-12-06 | 2012-04-24 | Siemens Medical Solutions Usa, Inc. | X-ray identification of interventional tools |
| EP2249702A4 (en) * | 2008-03-04 | 2012-01-25 | Tomotherapy Inc | METHOD AND SYSTEM FOR ENHANCED IMAGE SEGMENTATION |
| EP2194486A1 (en) * | 2008-12-04 | 2010-06-09 | Koninklijke Philips Electronics N.V. | A method, apparatus, and computer program product for acquiring medical image data |
| JP5175974B2 (ja) * | 2009-03-31 | 2013-04-03 | アルプス電気株式会社 | 容量型湿度センサ及びその製造方法 |
| WO2010113050A2 (en) * | 2009-04-02 | 2010-10-07 | Koninklijke Philips Electronics N.V. | Automated anatomy delineation for image guided therapy planning |
| EP2454720B1 (en) * | 2009-07-17 | 2019-11-27 | Koninklijke Philips N.V. | Multi-modality breast imaging |
| GB2478329B (en) * | 2010-03-03 | 2015-03-04 | Samsung Electronics Co Ltd | Medical image processing |
| US20120002855A1 (en) * | 2010-06-30 | 2012-01-05 | Fujifilm Corporation | Stent localization in 3d cardiac images |
| US8160357B2 (en) * | 2010-07-30 | 2012-04-17 | Kabushiki Kaisha Toshiba | Image segmentation |
| KR101883258B1 (ko) * | 2010-08-13 | 2018-07-31 | 스미스 앤드 네퓨, 인크. | 해부학적 계측점의 검출 방법 |
| WO2012149175A1 (en) * | 2011-04-29 | 2012-11-01 | The General Hospital Corporation | Means for determining depth-resolved physical and/or optical properties of scattering media |
| EP2724274A2 (en) * | 2011-06-27 | 2014-04-30 | Koninklijke Philips N.V. | Method of anatomical tagging of findings in image data |
| KR102001219B1 (ko) * | 2012-11-26 | 2019-07-17 | 삼성전자주식회사 | 의료 영상들의 정합 방법 및 장치 |
| US9740710B2 (en) | 2014-09-02 | 2017-08-22 | Elekta Inc. | Systems and methods for segmenting medical images based on anatomical landmark-based features |
-
2014
- 2014-09-02 US US14/474,407 patent/US9740710B2/en active Active
-
2015
- 2015-08-20 CN CN201580046996.2A patent/CN107077736B/zh active Active
- 2015-08-20 RU RU2017110538A patent/RU2699499C2/ru active
- 2015-08-20 EP EP15763677.0A patent/EP3195257B1/en active Active
- 2015-08-20 JP JP2017512347A patent/JP6514325B2/ja active Active
- 2015-08-20 AU AU2015312327A patent/AU2015312327B2/en active Active
- 2015-08-20 WO PCT/US2015/046011 patent/WO2016036516A1/en active Application Filing
-
2017
- 2017-07-20 US US15/654,768 patent/US10546014B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10546014B2 (en) | 2014-09-02 | 2020-01-28 | Elekta, Inc. | Systems and methods for segmenting medical images based on anatomical landmark-based features |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107077736B (zh) | 2022-02-01 |
| US10546014B2 (en) | 2020-01-28 |
| US20160063720A1 (en) | 2016-03-03 |
| JP2017532092A (ja) | 2017-11-02 |
| WO2016036516A1 (en) | 2016-03-10 |
| AU2015312327B2 (en) | 2019-06-06 |
| US20170322950A1 (en) | 2017-11-09 |
| EP3195257B1 (en) | 2023-11-01 |
| AU2015312327A1 (en) | 2017-03-16 |
| CN107077736A (zh) | 2017-08-18 |
| RU2699499C2 (ru) | 2019-09-05 |
| EP3195257A1 (en) | 2017-07-26 |
| RU2017110538A (ru) | 2018-10-03 |
| RU2017110538A3 (ja) | 2019-03-14 |
| US9740710B2 (en) | 2017-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6514325B2 (ja) | 解剖学的ランドマークベースの特徴に基づいた医用画像をセグメント化するためのシステム及び方法 | |
| US11386557B2 (en) | Systems and methods for segmentation of intra-patient medical images | |
| EP3504680B1 (en) | Systems and methods for image segmentation using convolutional neural network | |
| AU2017315674B2 (en) | Image segmentation using neural network method | |
| US20210174543A1 (en) | Automated determination of a canonical pose of a 3d objects and superimposition of 3d objects using deep learning | |
| US9218542B2 (en) | Localization of anatomical structures using learning-based regression and efficient searching or deformation strategy | |
| US20200410691A1 (en) | Segmentation system for segmenting an object in an image | |
| US20220301224A1 (en) | Systems and methods for image segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170808 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180320 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180619 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181002 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190409 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190411 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6514325 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |