JP6782051B2 - オンライン学習により強化されたアトラスベース自動セグメンテーション - Google Patents
オンライン学習により強化されたアトラスベース自動セグメンテーション Download PDFInfo
- Publication number
- JP6782051B2 JP6782051B2 JP2019533365A JP2019533365A JP6782051B2 JP 6782051 B2 JP6782051 B2 JP 6782051B2 JP 2019533365 A JP2019533365 A JP 2019533365A JP 2019533365 A JP2019533365 A JP 2019533365A JP 6782051 B2 JP6782051 B2 JP 6782051B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- structural
- atlas
- mapped
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20128—Atlas-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Radiation-Therapy Devices (AREA)
Description
本開示は、アトラスベース自動セグメンテーション(ABAS)に関し、より詳細には、オンライン学習により強化されたABASのためのシステムおよび方法に関する。
患者の臓器などの構造物の決定および1つの構造物の形状の抽出は、画像診断、画像誘導手術、画像誘導放射線療法のような多くの医用画像アプリケーションにとって不可欠である。そのようなアプリケーションでは、1つの標的の構造または複数の標的の構造は、患者のコンピュータ断層撮影(CT)画像のような画像から決定される必要がある。患者の標的の構造の決定は、通常、構造のコンタリング(contouring:輪郭形成)またはセグメンテーション(segmentation:分割)として知られている。評価者(rater)とも呼ばれる人間の専門家による手動コンタリングは、依然として診療所での高品質セグメンテーションのための一般的なアプローチであるが、手動コンタリングは面倒で時間がかかり、評価者内のおよび/または評価者間の大きな変動による問題を抱えている。
画像の自動セグメンテーションは、ノイズやその他のアーティファクト、および多くの軟組織構造に対する制限された画像コントラストのために、困難な場合がある。近年、アトラスベース自動セグメンテーション(ABAS)技術が解決策として期待されている。ABASは、例えば、以前に治療された患者から、または同じ対象患者の以前の治療からのセグメント化された画像のような、1つまたは複数の以前にセグメント化された画像を使用して対象画像のセグメント化を実行することを含んでいる。以前にセグメント化された画像とその注釈(annotation)、例えば構造ラベルマップまたは構造面は、アトラスと呼ばれる。画像登録(画像レジストレーション(image registration))とも呼ばれる画像マッチングを通して対象患者から得られた新しい対象画像にアトラス画像を位置合わせすることによって、画像変換(image transformation)が計算される。対象画像の構造ラベルは、計算された画像変換を使用して、アトラスで定義された構造ラベルを対象画像にマッピングすることにより生成される。
ABASの精度は通常、使用されるアトラス画像の品質と量に依存する。例えば、ABASプロセスでは複数のアトラスを使用して、冗長性を提供することができる。一方、対象画像内のものと類似の基礎となる対象物を示すアトラス画像も、対象画像のラベル付けの精度の改善に役立つ可能性がある。開示された方法およびシステムは、画像セグメンテーションに対する従来のABASの精度をさらに向上させるように設計されている。
本開示の一態様は、画像セグメンテーション方法に関する。この方法は、複数のアトラスと対象画像を受け取ることを含み、各アトラスは、関心のある構造および関連する構造の描写を示すアトラス画像を含み、対象画像は、画像取得装置により取得され、関心のある構造を示す。この方法は、さらに、それぞれのアトラスを対象画像に位置合わせし、マッピングされたアトラスに基づいて、画像プロセッサによって対象画像のための第1の構造ラベルマップを決定することにより、画像プロセッサによってマッピングされたアトラスを計算することを含む。この方法は、また、マッピングされたアトラスのサブセットを使用して、画像プロセッサによって構造分類器を訓練することと、訓練された構造分類器を対象画像内の1つまたは複数の画像ポイントに適用することによって、画像プロセッサによって対象画像の第2の構造ラベルマップを決定することを含む。この方法は、また、画像プロセッサによって、第1のラベルマップと第2のラベルとを組み合わせ、関心のある構造を表す第3のラベルマップを生成することを含む。
本開示の他の態様は、画像セグメンテーションシステムに関する。このシステムは、メモリと、メモリに接続された画像処理装置とを含む。このメモリは、複数のアトラスと対象画像とを受信して記憶するように構成され、各アトラスは、関心のある構造および関連する構造の描写を示すアトラス画像を含み、対象画像は、画像取得装置によって取得され、関心のある構造を示す。この画像プロセッサは、それぞれのアトラスを対象画像に位置合わせすることによってマッピングされたアトラスを計算し、マッピングされたアトラスに基づいて対象画像のための第1の構造ラベルマップを決定するように構成されている。この画像プロセッサは、マッピングされたアトラスのサブセットを使用して構造分類器を訓練し、訓練された構造分類器を対象画像における1つまたは複数の対象画像点に適用することにより対象画像に対する第2の構造ラベルマップを決定するように構成されている。この画像プロセッサは、また、第1のラベルマップと第2のラベルマップとを組み合わせ、関心のある構造を表す3番目のラベルマップを生成するように構成されている。
本開示のさらに別の態様は、画像プロセッサにより実行されたとき、プロセッサにより、画像セグメンテーション方法を実行させる命令を格納する非一時的コンピュータ可読記憶媒体に関する。この方法は、複数のアトラスと対象画像を受け取ることを含み、各アトラスは、関心のある構造および関連する構造の描写を示すアトラス画像を含み、対象画像は、画像取得装置により取得され、関心のある構造を示す。この方法は、さらに、それぞれのアトラスを対象画像に位置合わせすることによってマッピングされたアトラスを計算し、マッピングされたアトラスに基づいて対象画像のための第1の構造ラベルマップを決定することを含む。この方法は、また、マッピングされたアトラスのサブセットを使用して構造分類器を訓練し、訓練された構造分類器を対象画像における1つまたは複数の対象画像点に適用することにより対象画像に対する第2の構造ラベルマップを決定することを含む。この方法は、さらに、第1のラベルマップと第2のラベルマップとを組み合わせ、関心のある構造を表す3番目のラベルマップを生成することを含む。
本開示による特徴および利点は、以下の説明に部分的に記載され、そして、以下の説明から部分的に明らかになり、または本開示の実施によって習得することができる。そのような特徴および利点は、構成要素の手段と添付の特許請求の範囲において特に指摘された組み合わせにより実現されそして達成されるであろう。
前述の一般的な説明および後述の詳細な説明の両方は例示的および説明的なものにすぎず、特許請求の範囲に記載の本発明を限定するものではないことを理解されたい。
必ずしも一定の縮尺で描かれていない図面において、同様の数字は異なる図において同様の構成要素を説明することがある。異なる文字の接尾辞を有する同じ数字は、類似の構成要素の異なる事例を表すことがある。図面は、一般に、例として説明するが、本文書に記載された様々な実施形態を限定するものではない。
以下、本開示による実施形態について、図面を参照しながら説明する。可能な限り、同じ参照番号は、図面全体を通して、同一または類似の部分を指すために使用される。
本開示による実施形態は、オンライン学習により強化されたアトラスベース自動セグメンテーション(ABAS)のためのシステムおよび方法を含む。本明細書に特定されていないいくつかの例の詳細な説明、例えば、ABAS方法の詳細な説明は、出願人の以前の米国特許第9122950号明細書に見つけることができ、その全内容は、参照により本明細書に組み込まれる。
開示されたシステムおよび方法は一般に、1つまたは複数のアトラスに基づいて対象画像をセグメント化するように設計されている。本明細書で一貫して使用されるように、「アトラス(atlas)」は、画像点がどの構造に属するかを示す対応する構造描写(注釈)(structure delineations (annotations))を含む。「対象画像(subject image)」は、対象患者の画像であり、まだセグメント化されていない。開示された方法およびシステムは、1つまたは複数のアトラスに基づいて対象画像をセグメント化するために適用される。対象画像は、画像取得装置により取得することができる。
アトラス画像とも呼ばれるアトラス内の画像は、他の患者の画像、または早い時期に撮影された対象患者の以前の画像であり得る。本開示では、対象画像またはアトラス画像のいずれかの画像は、画像が2次元(2D)画像の場合はピクセルとして、または、画像が3次元(3D)画像の場合はボクセルとして、参照することができる複数の画像点を含む。対象画像内の画像点は、対象画像点(subject image point)と呼ばれる。同様に、アトラス画像内の画像点は、アトラス画像点(atlas image point)と呼ばれる。
構造描写は、例えば、構造ラベルマップ、構造面、または構造輪郭として表すことができる。以下の説明では、構造描写の例としてラベルマップを使用し、構造面や等高線のシナリオにも同様に適用される。ラベルマップは、各々が対応する画像点を関心のある特定の構造内にあるものとして識別する構造ラベルのマップを指す。あるいは、本開示によれば、ラベルマップは確率マップであってもよく、確率マップは各々が構造に属する画像点の確率を表す構造ラベルを含む。例えば、複数の構造を含む対象画像をセグメントする場合、画像点の構造ラベルは、検討中の各構造に属する画像点がどれだけありそうかを示す確率値のセットを提供する。開示されたシステムおよび方法は、対象画像に対する推定構造ラベルマップを提供する。
図1は、本開示のいくつかの実施形態による、例示的な放射線治療システム100を示すブロック図である。放射線療法システム100はIGRTシステムであり得る。図1に示すように、放射線治療システムは、制御コンソール110、データベース120、放射線治療装置130、および画像取得装置140を含み得る。いくつかの実施形態において、放射線治療装置130および画像取得装置140は、図1の破線ボックス150で示されるように、単一の画像誘導放射線治療装置150に統合することができる。いくつかの実施形態では、放射線治療装置130と画像取得装置140は別々の装置でもよい。いくつかの実施形態では、放射線治療装置130および画像取得装置140は、図1の放射線治療装置130と画像取得装置140との間の一点鎖線で示されるように、互いに物理的または通信可能に接続されることができる。
制御コンソール110は、放射線治療装置130および画像取得装置140を制御する、および/または、治療計画、治療実行、画像取得、画像処理、モーショントラッキング、モーション管理、または放射線治療プロセスに関与するその他の作業のような機能または操作を実行するためのハードウェアおよびソフトウェア構成要素を含み得る。制御コンソール110のハードウェア構成要素は、1つまたは複数のコンピュータ(例えば、汎用コンピュータ、ワークステーション、サーバ、端末、携帯/モバイル機器など)、プロセッサ装置(例えば、中央処理装置(CPU)、グラフィックスプロセッシングユニット(GPU)、マイクロプロセッサ、デジタルシグナルプロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、特殊用途または特別に設計されたプロセッサなど)、メモリ/記憶装置(例えば、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、フラッシュメモリ、ハードドライブ、光ディスク、ソリッドステートドライブ(SSD)など)、入力装置(例えば、キーボード、マウス、タッチスクリーン、マイク、ボタン、ノブ、トラックボール、レバー、ハンドル、ジョイスティックなど)、出力装置(例えば、ディスプレイ、プリンタ、スピーカ、振動装置など)、または他の適切なハードウェアを含み得る。制御コンソール110のソフトウェア構成要素は、オペレーションシステムソフトウェア、アプリケーションソフトウェアなどを含み得る。例えば、図1に示すように、制御コンソール110は、制御コンソール110のメモリ/記憶装置に格納することができる治療計画/送達ソフトウェア115を含むことができる。ソフトウェア115は、以下に詳細に説明するプロセスを実行するためのコンピュータ可読および実行可能コードまたは命令を含み得る。例えば、制御コンソール110のプロセッサ装置は、コードまたは命令にアクセスして実行するためのソフトウェア115を格納するメモリ/記憶装置に通信可能に接続することができる。コードまたは命令の実行は、プロセッサ装置に、開示された実施形態による1つまたは複数の機能を達成するための動作を実行することができる。
制御コンソール110は、データにアクセスするためにデータベース120に通信可能に接続されることができる。いくつかの実施形態では、データベース120は、1つまたは複数のハードドライブ、光ディスク、および/または制御コンソール110の近くにあるサーバのようなローカルハードウェアデバイスを使用して実装することができる。いくつかの実施形態では、データベース120は、制御コンソール110から遠隔に配置されたデータセンタまたはサーバに実装することができる。制御コンソール110は、有線または無線通信を介してデータベース120に格納されているデータにアクセスすることができる。
データベース120は患者データ122を含み得る。患者データは、(1)患者の解剖学的領域、臓器、または関心のあるセグメンテーションデータのボリュームに関連付けられた画像データ(例えば、MRI、CT、X線、PET、SPECTなど)、(2)機能臓器モデリングデータ(例えば、直列対並列臓器、および適切な用量反応モデル)、(3)放射線量データ(例えば、線量−体積ヒストグラム(DVH)情報を含み得る)、または(4)患者または治療方針に関する他の臨床情報、のような情報を含み得る。
データベース120は機械データ124を含むことができる。機械データ124は、放射線ビームサイズ、アーク配置、オン/オフ期間、放射線治療計画データ、マルチリーフコリメータ(MLC)構成、MRIパルスシーケンスなどのような、放射線治療装置130、画像取得装置140、または放射線治療に関連する他の機械に関連する情報を含むことができる。
画像取得装置140は患者の医用画像を提供することができる。例えば、画像取得装置140は、1つまたは複数のMRI画像(例えば、2DMRI、3DMRI、2DストリーミングMRI、4DボリューメトリックMRI、4DシネMRI)、コンピュータ断層撮影(CT)画像、コーンビームCT画像、陽電子放出断層撮影(PET)画像、機能的MRI画像(例えば、fMRI、DCE−MRI、拡散MRI)、X線画像、蛍光透視画像、超音波画像、放射線治療ポータル画像、シングルフォトエミッションコンピュータ断層撮影(SPECT)画像、などを提供することができる。したがって、画像取得装置140は、MRI撮像装置、CT撮像装置、PET撮像装置、超音波撮像装置、蛍光透視装置、SPECT画像装置、または患者の医用画像を取得するための他の医用画像装置を含むことができる。
放射線療法装置130は、レクセルガンマナイフ(Leksell Gamma Knife)、線形加速器、またはLINAC、または制御可能な方法で患者の解剖学的関心領域に放射線を照射する他の適切な装置を含むことができる。
図2は、開示された実施形態による例示的な画像誘導放射線治療システム200を示す。図示するように、システム200は、カウチ(couch)210と、画像取得装置220と、放射線送達装置230を含むことができる。システム200は、放射線治療計画に従って放射線療法を患者に施す。いくつかの実施形態では、画像取得装置220は、対象患者画像を取得する図1の画像取得装置140に対応することができる。
カウチ210は、治療セッション中に患者(図示せず)を支持する。いくつかの実装形態では、カウチ210が、カウチ210上に横たわった患者をシステム200内におよび/またはシステム200から外に移動させるように、カウチ210が水平な並進軸(「I」と表示される)に沿って移動することができる。カウチ210は、また並進軸を横切り、中心垂直回転軸を中心に回転することができる。そのような移動または回転を可能にするために、カウチ210は、カウチをさまざまな方向に動かし、さまざまな軸に沿って回転させることを可能にするモータ(図示せず)を有することができる。コントローラ(図示せず)が、治療計画に従って患者を適切に配置するために、これらの動きや回転を制御することができる。
いくつかの実施形態では、画像取得装置220は、治療期間前、治療期間中および/または治療期間後の患者の2Dまたは3DのMRI画像を取得するために使用されるMRI装置を含むことができる。画像取得装置220は、磁気共鳴イメージング(MRI)のための一次磁場を生成する磁石221を含むことができる。磁石221の動作によって発生した磁力線は、中心並進軸Iと実質的に平行に延びている。磁石221は、並進軸Iと平行に延びる軸を有する1つまたは複数のコイルを含み得る。いくつかの実施形態では、磁石221内の1つまたは複数のコイルは、磁石221の中央窓223がコイルを含まないように離間されてもよい。他の実施形態では、磁石221内のコイルは十分に薄いか、放射線治療装置230によって生成される波長の放射線に対して実質的に透明であるような低減された密度であり得る。画像取得装置320は、磁石221の外側の磁界を相殺または減少させるために、ほぼ等しい大きさで反対の極性の磁石221の外側の磁界を発生する、1つまたは複数の遮蔽コイルも含むことができる。後述するように、放射線治療装置230の放射線源231は、磁場が少なくとも一次まで相殺される、または減少させる領域に位置させることができる。
画像取得装置220は、また、主磁場に重ねる傾斜磁場を生成する2つの傾斜磁場コイル225、226を含むことができる。コイル225、226は、プロトンの空間符号化を可能にする合成磁場内に勾配を生成ことができ、それでそれらの位置が決定できる。勾配コイル225、226は、磁石221と共通の中心軸の周りに配置されることができ、その中心軸に沿って移動することができる。変位は、コイル225とコイル226との間にギャップまたは窓を作り出すことができる。実施形態において、磁石221はコイル間に中央窓223も含み、2つの窓は互いに整列される。いくつかの実施形態では、画像取得装置320は、X線、CT、CBCT、スパイラルCT、PET、SPECT、光トモグラフィ、蛍光画像、超音波画像、または放射線治療ポータル画像装置等のような、MRI以外の撮像装置であり得る。
放射線治療装置230は、X線源または線形加速器のような放射線源231、およびマルチリーフコリメータ(MLC)233を含むことができる。放射線治療装置230は、シャーシ235に取り付けることができる。1つまたは複数のシャーシモータ(図示せず)は、カウチ210が治療領域に挿入されると、カウチ210の周囲にシャーシ235を回転させることができる。一実施形態では、カウチ210が治療領域に挿入されると、シャーシ235は、カウチ210の周りを連続的に回転可能であり得る。シャーシ235は、また、好ましくは放射源231に反対側に位置し、放射源231と検出器との間に配置されたシャーシ335の回転軸を有する、取り付けられた放射線検出器(図示せず)を有することができる。さらに、装置230は、例えば、カウチ210、画像取得装置220、および放射線治療装置230のうちの1つまたは複数を制御するために使用される制御回路(図示せず)を含む。放射線治療装置230の制御回路は、システム200内に統合されていてもよく、またはシステム200から離れていてもよく、機能的には図1に示された制御コンソール110によって表されている。
放射線療法治療セッションの間、患者はカウチ210に配置される。次いで、システム200は、カウチ310を、磁気コイル221、225、226およびシャーシ235によって画定される治療領域に移動させる。その後、制御コンソール240は、放射線源231、MLC233、およびシャーシモータを制御して、放射線治療計画に従って、コイル225と226との間の窓を通して患者に放射線を送達する。
図3は、開示された実施形態による例示的な画像セグメンテーションシステム300を示す。いくつかの実施形態において、画像セグメンテーションシステム300は、医用画像処理装置310および画像データベース320を含み、ネットワーク360を介して画像取得装置140(または320)に接続される。
データベース320は、1つまたは複数の対象画像および複数のアトラス画像および対応する構造描写を記憶するように構成されている。対象画像およびアトラス画像は、2D画像または3D画像のいずれでもよい。いくつかの実施形態において、データベース320は、患者に対する腫瘍治療計画を管理する腫瘍学情報システムの一部であり得る。いくつかの態様では、データベース320は、1つまたは複数の放射線療法治療セッション中に、以前取得された画像を有する画像データベースからこれらの画像セットを受け取ることができる。いくつかの実施形態では、画像取得装置140は、対象画像を取得し、それらを画像データベース320に格納する。画像データベース320に格納された画像は、また、1つまたは複数の放射線療法治療セッション中に取得された画像に対応する。
いくつかの態様では、医用画像処理装置310は、アトラス画像およびそれらの画像描写に基づいて対象画像をセグメント化するように構成される。一実施形態では、医用画像処理装置310は、図1に示されるように、制御コンソール110または放射線治療装置130に統合され得る。医用画像処理装置310は、セグメンテーション結果を治療計画/送達ソフトウェア115に出力して放射線治療の計画をアシストすることができる。制御コンソール110は、放射線治療装置130を制御して、放射線ビームなどの治療を、セグメンテーション結果のデータに従って対象患者の関心のある構造に向けることができる。
いくつかの実施形態では、医用画像処理装置310は、画像プロセッサ311、メモリ312、入力/出力インターフェース313、入力プロセッサ312、ネットワークインターフェース314、ディスプレイ315、および記憶装置316を含むことができる。医用画像処理装置310の構成要素は、バスを介して接続されることができる。医用画像処理装置310は、専用のコンピュータまたは汎用のコンピュータを使用して実施することができる。例えば、医療画像処理装置310は、画像取得および画像処理タスクを実行するために病院用に特注のコンピュータを使用して実施することができる。
いくつかの実施形態では、画像プロセッサ311は、マイクロプロセッサ、中央処理装置(CPU)、グラフィックス処理装置(GPU)などのような、1つまたは複数の汎用処理装置であり得る。より具体的には、画像プロセッサ311は、複合命令セット計算(CISC)マイクロプロセッサ、縮小命令セット計算(RISC)マイクロプロセッサ、超長命令語(VLIW)マイクロプロセッサ、他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサであり得る。様々な実施形態において、画像プロセッサ311は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタルシグナルプロセッサ(DSP)、システムオンチップ(SoC)のような、1つまたは複数の専用処理装置でもあり得る。いくつかの態様では、画像プロセッサ311は、メモリ312に通信可能に結合され、その上に格納されたコンピュータ実行可能命令を実行するように構成され得る。
メモリ312は、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、相変化ランダムアクセスメモリ(PRAM)、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、電気的消去可能プログラマブル読み出し専用メモリ(EEPROM)、他の種類のランダムアクセスメモリ、フラッシュディスクまたは他の形態のフラッシュメモリ、キャッシュ、レジスタ、スタティックメモリ、コンパクトディスク読み取り専用メモリ(CD−ROM)、デジタル多用途ディスク(DVD)またはその他の光学式記憶媒体、カセットテープまたは他の磁気記録装置、または、プロセッサ、または他のコンピュータデバイス等によりアクセスされることができる他の非一時的媒体のような、非一時的コンピュータ可読媒体であり得る。
いくつかの実施形態では、メモリ312は、画像データ322のような、コンピュータプログラムの実行中に使用または生成されたデータと同様に、1つまたは複数の画像セグメンテーションプログラム321のようなコンピュータ実行可能命令を格納することができる。画像プロセッサ311は、プログラム321を実行し、ABAS法を用いて対象画像をセグメンテーションする。例えば、画像セグメンテーションプログラム321は、対象画像に対する構造ラベルを推定するためのプログラムであり得る。いくつかの実施形態では、プログラム321は、アトラス登録および/または選択、登録されたおよび/または選択されたアトラスを使用する構造分類器、および訓練された構造分類器を使用する対象画像のセグメンテーションのような、様々な機能を実行することができる。
画像プロセッサ311は、また、メモリ312から画像データ322を送信および/または受信することができる。画像プロセッサ311は、データベース320と通信することができ、画像データ322をメモリ312に読み込むか、または、画像データ322をメモリ312から画像データベース320に格納することができる。いくつかの実施形態では、画像データ322は、MRI画像、CT画像、PET画像、超音波画像、およびコンピュータで生成された合成画像などを取得した対象画像を含むことができる。画像データ322は、事前収集および処理されてデータベース320に格納されているアトラス画像をさらに含み得る。画像プロセッサ311は、また、登録されたアトラス画像、構造ラベル、任意の分類子モデルのパラメータのような中間データを生成し、それらをメモリ312に送信することができる。
記憶装置316は、画像プロセッサ311によって実行される画像処理タスクに関連するデータおよび/またはコンピュータプログラムを記憶するのに利用可能な追加の記憶装置であり得る。いくつかの実施形態では、記憶装置316は機械可読記憶媒体を含み得る。一実施形態における機械読取り可能な記憶媒体は単一の媒体であってもよく、「機械可読記憶媒体」という用語は、コンピュータ実行可能命令またはデータの1つまたは複数のセットを格納する単一媒体または複数媒体(例えば、集中型または分散型データベース、および/または関連するキャッシュおよびサーバ)を含むように解釈されるべきである。用語「機械可読記憶媒体」は、また、機械による実行のための一組の命令を記憶または符号化することができ、かつ、機械に任意の1つまたは複数の本開示の方法動作を実行させる任意の非一時的媒体を含むと解釈されるものとする。したがって、「機械可読記憶媒体」という用語は、これに限定されないが、固体メモリ、光学および磁気媒体を含むと解釈されるべきである。
入力/出力インターフェース313は、開示された実施形態によれば、データが医用画像処理装置310によって受信および/または送信されることを可能にするように構成され得る。入力/出力インターフェース313は、医用画像処理装置310がユーザまたは他の機械および装置と通信することを可能にする1つまたは複数のデジタルおよび/またはアナログ通信デバイスを含み得る。例えば、入出力インターフェース313は、ユーザが医用画像処理装置310に入力するためのキーボードおよびマウスを含み得る。一実施形態では、 入出力インターフェース313は、携帯電話、iPad(登録商標)のようなタブレットデバイス、医用画像処理装置310とインターフェース可能な他のハンドヘルド電子デバイスのような、携帯デバイスであり得る。そのようなタブレットまたはモバイル機器は、医用画像データおよび医用画像を表示するためのディスプレイを含む。さらに、そのようなタブレットまたはモバイル機器は、データおよび画像を操作するためにタッチスクリーンディスプレイを用いて構成することができる。
ネットワークインターフェース314は、開示された実施形態によれば、医用画像処理装置310がネットワーク360のようなネットワークを介して通信することを可能にするように構成されることができる。いくつかの実施形態では、ネットワークインターフェース360は、ネットワークアダプタ、ケーブルコネクタ、シリアルコネクタ、USBコネクタ、パラレルコネクタ、ファイバ、USB3.0、サンダーボルトなどのような高速データ転送アダプタ、Wi−Fiアダプタ、電気通信(3G、4G/LTEなど)アダプタなどのような無線ネットワークアダプタのうちの少なくとも1つを含み得る。医用画像処理装置500は、ネットワークインターフェース314を介してネットワーク460に接続することができる。
画像ディスプレイ315は、開示された実施形態によれば、画像を表示するのに適した任意の表示装置であり得る。例えば、画像ディスプレイ315は、LCDディスプレイ、CRTディスプレイ、LEDディスプレイ、有機発光ダイオードであり得る。有機発光トランジスタ、電界放出ディスプレイ、量子ドットまたは液晶ディスプレイ、MEMSディスプレイ、フェロ液晶ディスプレイ、厚膜誘電体エレクトロルミネセントディスプレイ、ベンディディスプレイ、折り畳み式ディスプレイ、触覚タッチスクリーン、バーチャルリアリティディスプレイ、3Dピクセルディスプレイ、バーチャル網膜ディスプレイ、ホログラフィックディスプレイ、レーザー蛍光体ディスプレイなどであり得る。
ネットワーク360は、図3の構成要素間の通信を提供するように構成され得る。例えば、ネットワーク360は、通信を提供し、情報を交換し、および/または電子情報の交換を容易にする、任意のタイプのネットワーク(インフラストラクチャを含む)であり得る。これについて、ネットワーク360は、有線接続、無線接続、コンピュータバス、シリアル接続、パラレル接続、イーサネット(登録商標)接続、ローカルエリアネットワークまたはワイドエリアネットワーク、インターネット接続、衛星接続、または、画像セグメンテーションシステム300の構成要素が任意のフォーマットおよび任意の通信プロトコルの下で相互に情報を送受信することを可能にするその他の適切な接続を含み得る。
図3は、画像セグメンテーションシステム300の例示的な構成のみを示すことを企図している。いくつかの実施形態において、追加の構成要素を追加してもよく、および/または、図示された構成要素を組み合わせ、分割し、修正し、または削除してもよい。さらに、いくつかの態様において、画像セグメンテーションシステム300の少なくとも1つの構成要素は、残りの構成要素から地理的に離れていてもよく、ネットワーク360を介した残りの構成要素と通信してもよい。
図4は、本開示による例示的な画像セグメンテーション方法400を示すフローチャートである。いくつかの実施形態において、方法400は、医用画像処理装置310のような画像セグメンテーションシステム300の構成要素によって実行されて、1つまたは複数の対象画像をセグメンテーションする。1つの関心のある構造のみのセグメンテーションを例として記載されているが、方法400は、空間的に隣接していて高い相関がある膀胱、前立腺、および直腸などの関心のある構造のグループを同時にセグメンテーションするために適用できることが考えられる。ランダムフォレスト(RF)法のようなさまざまな機械学習法は、同時に複数の構造のセグメンテーションを自然に処理することができる。多重構造分類器のモデルは、複数の構造が空間的に隣接しており、したがって高度に相関している場合に有益である。
図4に示すように、プロセス402において、医用画像処理装置310は、データベース120から、対象画像と1つまたは複数のアトラスとを含む画像データ322を受信する。図4に示す実施形態では、アトラス#1、アトラス#2、...、およびアトラス#Nが使用される。複数のアトラスを使用することはセグメンテーション精度を改善するために有益であるが、本開示による方法は、一つのアトラスのみが使用されるシナリオに適用される。アトラスのそれぞれはアトラス画像と対応する構造描写(注釈)を含む。
プロセス404において、アトラス画像を対象画像に登録する画像登録(画像レジストレーション(image registration))が実行される。いくつかの実施形態では、登録プロセスは、各アトラス画像の画像点を対象画像点にマッピングすることを含む。いくつかの代替の実施形態では、登録プロセスは、アトラス画像と対象画像の両方を参照画像にマッピングすることを含む。これらの実施形態では、基準画像は、例えば、平均アトラス画像または共通のテンプレート画像とすることができる。このように、アトラス画像は対象画像に「間接的に」マッピングされる。線形の登録、オブジェクト駆動の「ポリスムース(poly-smooth)」な非線形の登録、または形状制約のある高密度の変形可能な登録の1つまたはそれらのいずれの組み合わせのような、様々な画像登録方法を使用することができる。画像登録(画像レジストレーション(image registration))を実行することにより、アトラス画像から基準画像への画像変換が各アトラスについて計算される。
プロセス406において、各アトラスの描写(例えば、構造ラベル)は、アトラスに対応する画像変換を使用して基準画像の空間にマッピングされる。マッピングされた構造ラベルは、対応するアトラスからの対象画像の独立した分類データ、すなわち独立したセグメンテーション結果を表す。
上述のように、プロセス404および406は、「登録されたアトラス画像」とも呼ばれるマッピングアトラス画像と、「登録された構造ラベル」とも呼ばれるマッピング構造ラベルとをもたらす。マッピングされたアトラス画像および対応するマッピングされた構造ラベルは、「登録されたアトラス」とも呼ばれるマッピングされたアトラスを構成し、これは、後述するように、対象画像を分類するための構造分類器を訓練するために使用することができる。
図4を再び参照すると、プロセス408で、ラベル融合が実行されて、異なるアトラスからのセグメンテーション結果、例えば、ラベルマップが組み合わされて、関心のある構造についてのコンセンサス(consensus)ABASセグメンテーションが得られる。多数決投票法(majority voting)または同時真理およびパフォーマンスレベル推定(simultaneous truth and performance level estimation:STAPLE)法のようなさまざまなラベル融合方法を使用して、さまざまなアトラスのマッピングされた構造ラベルを、対象画像点に対するABASラベルとも参照される推定構造ラベルを含むコンセンサスABAS構造ラベル推定に統合することもできる。例えば、多数決投票テクニックでは、各対象画像点において、対応する対象画像点が関心のある構造に属するかどうかについて各マッピング構造ラベルが投票する。対象画像点の最終ラベルは、最も投票数の多い1つのラベルとして決定される。例えば、ラベルの値が1(関心のある構造内にある場合)または0(関心のある構造外にある場合)のいずれかであるバイナリの場合、対応する対象画像点でのすべてのラベルの平均をとり、平均が0.5のようなしきい値より高いか低いかに応じて、対象画像点が関心のある構造内であるか関心のある構造外であるかを割り当てることにより、多数決を計算することができる。他の例として、STAPLE法では、各個々のアトラスの能力または正確さの何らかの知的推定に基づいて、最適で等しくない重みを異なるアトラスに割り当てることができる。関心のある構造が複数ある場合、各構造ラベルは、対象画像点がどの構造に属するかを示すか、あるいは対象画像点がそれぞれの構造に属する確率を示す確率値のセットを含むことができる。構造ラベルは、上記と同じ方法を用いて融合することもできる。
プロセス410において、構造分類器は、マッピングされたアトラスのうちの1つまたは複数を使用して訓練される。いくつかの実施形態では、プロセス404および406から出力されたすべてのマッピングされたアトラス出力は、構造分類器を訓練するために使用される。いくつかの実施形態では、1つまたは複数のマッピングされたアトラスのみが訓練の目的のために選択される。これらの実施形態では、対象の患者に適したマッピングアトラスのサブセットを取得するためにアトラス選択を実行することができる。アトラスの選択にはさまざまな基準を使用できる。例えば、マッピングされた各アトラス画像と、(対象画像が参照画像であるシナリオにおける)対象画像または(参照画像として他の画像が用いられるシナリオにおける)マッピングされた対象画像との間の画像類似度が評価され、マッピングされたアトラスは画像の類似性に基づいてランク付けされることができる。画像類似度は、グローバル類似度、すなわち、全体のマッピングされたアトラス画像と全体の対象画像/マッピングされた対象画像との間の類似性、または、ローカル画像類似度、すなわち、マッピングされたアトラス画像における関心ある構造と対象画像/マッピングされた画像における関心ある構造との間の類似度であり得る。例えば、類似度は、2つの画像間、または2つの画像の対応する部分間の相関として計算することができる。いくつかの実施形態では、それらの対応する分類データの正確性に関して高度の信頼性を有するマッピングされたアトラスが訓練目的に使用される。いくつかの他の実施形態では、アトラスは、対象画像が取得されるのと同じ患者に関連付けられている場合、より高くランク付けされてもよい。
より高いランクのマッピングされたアトラスが訓練に使用される。構造分類器を訓練するための詳細な過程は、図5を参照して後述する。構造分類器が訓練された後、構造分類器を使用して、画像点の対応する属性に基づいて入力画像点の構造ラベルを決定することができる。
図4に示すように、プロセス412において、ラベル融合から得られたABAS構造ラベル推定を使用して、訓練された構造分類器を使用して、どの対象画像点がさらに分析されるべきかを識別する。さらなる分析のために、対象画像点のサブセットを選択するために様々な技術を使用することができる。例えば、対象画像点に対するABASラベルがあいまいであるかどうかを評価するための基準を定義することができ、次に、ABASラベルがあいまいな対象画像点をさらなる分析に対するサブセットに含めることができる。
そのようなあいまいさの基準の例として、異なるアトラス登録から得られた様々なABASラベルの中で分類に関して不一致がある対象画像点は、さらなる分析のためにサブセットに含まれる。いくつかの実施形態では、各対象画像点に対するABASラベルは、推定精度(例えば、確率値)を伴う。これらのシナリオでは、推定精度を使用して、関連する対象画像点があいまいかどうかを判断することができる。例えば、例えば50%以下の精度を有する対象画像点は、さらなる分析のためにサブセットに含まれる。別の例として、関心のある構造の境界付近の近接度を定義して、その近接度内の対象画像点をさらなる分析のためにサブセットに含めることができる。
いくつかの実施形態では、画像特徴としても知られ、訓練された構造分類器によって使用されることになる属性もプロセス412において計算される。これらの属性は、図5に関連して以下でより詳細に説明されるように、構造分類器を訓練するために使用されるのと同じ種類の属性である。畳み込みニューラルネットワークモデルのような機械学習モデルを使用することを含む、様々な方法を使用して属性を計算することができる。
プロセス414において、さらなる分析のためのサブセット内の対象画像点が、訓練された構造分類器に適用され、これは、サブセット内のそれらの画像点に対する他のセットの構造ラベルを提供する。分類器によって推定されたこの構造ラベルのセットは、プロセス408において生成されたABAS構造ラベルと一致しても、一致しなくてもよい。
プロセス416において、ABAS構造ラベルと分類子構造ラベルとを組み合わせて最終的な構造ラベルを生成し、これは対象画像に対する最終的なセグメンテーション結果を表す。ラベルを組み合わせるために様々な技術を使用することができる。例えば、ABAS構造ラベル推定と分類子構造ラベル推定との間の多数決投票を採用することができる。別の例として、訓練された構造分類器が硬判定(hard decision)を生成する場合、構造分類器からの結果は別のラベルマップと見なすことができ、ABASから生じるラベルマップと構造分類器によって生成されるラベルマップとの間のラベル融合が達成される。さらに別の例として、ABASおよび構造分類器が構造ラベリング結果として推定確率P L およびPCをそれぞれ提供する場合、対象画像点に対する最終構造確率Pは、これら2つ技術から推定確率の加重平均として、次式:
P=wLPL+wCPC(ただし、wL+wC=1)
で計算することができる。重み付けwLとwCは、互いに同一または異なっていてもよい。重み付けは、手動で設定することもでき、または、交差検証などの訓練の手順に基づいて自動的に決定することもできる。対象画像点に対する最終構造確率Pが計算されると、対象画像点が関心ある構造に属するかどうかは、最終構造確率Pが0.5のような閾値より高いかどうかにより決定することができる。
図5は、1つまたは複数のマッピングされたアトラスを使用して構造分類器を訓練するための例示的な方法500を概略的に示すフローチャートである。訓練目的で使用されるマッピングされたアトラスは、訓練アトラスとも呼ばれる。本開示によれば、機械学習アルゴリズムを訓練アトラスからのデータ(アトラス画像およびそれらに関連する分類データ)に適用して、訓練された構造分類器を生成することができる。本開示によれば、構造分類器は、ラベル融合(方法400のプロセス408)が実行される前、ラベル融合が実行された後であるが更なる分析のための対象画像点が識別される(方法400のプロセス408)前、更なる分析のための対象画像点が識別された後、または、これら2つのプロセスのいずれかの間、に訓練される。
図5に示すように、プロセス502では、各訓練アトラスのマッピングされたアトラス画像から複数の訓練サンプルを選択する。各訓練サンプルは、単一の画像点または一群の画像点(このような一群の画像点はスーパー画像点とも呼ばれる)に対応する。本開示によれば、マッピングアトラス画像からの訓練サンプルは、マッピングアトラス画像上の画像点の全部または一部を含むことができる。画像点の一部のみが訓練に使用されるとき、どの画像点を使用するかを決定するためにサンプル選択を実行する。例えば、訓練サンプルは、マッピングされたアトラス画像全体にわたって完全に無作為に選択することができ、または関心のある構造の境界まで一定の距離内の領域から選択することができる。そのような領域から訓練サンプルを選択する例は、米国特許第9122950号明細書に記載されている。別の例として、あいまいな領域から多くのサンプルを選択することができるように、サンプル選択を登録結果により導くことができる。あいまいな領域とは、異なるマッピングされたアトラスからの構造ラベルが互いに完全に一致しない、または不一致があるレベルより大きい領域(例えば、10個のマッピングされたアトラスのうち3つ以上が、他のマッピングされたアトラスとは異なる判断を有する場合)である。
プロセス504において、選択された訓練サンプルについて複数の属性(または特徴)を計算する。これらの属性は、分類タスクの一部として機械学習アルゴリズムによって使用される。対象画像の画像点を分類するために適用されると、訓練された構造分類器は、その画像点に関連する計算された属性に基づいてその画像点の構造ラベルについて決定を下すであろう。各訓練サンプルについて1つまたは複数の種類の属性を計算することができる。例えば、米国特許第9122950号明細書に詳細が記載されているように、画像強度値、画像位置、画像の勾配および勾配の大きさ、画像のヘッセ行列の固有値、エネルギー、エントロピー、コントラスト、均質性のような画像テクスチャ尺度、局所共起行列、様々なサイズの局所画像パッチの相関のような、様々な種類の属性を使用することができる。あるいは、属性または特徴は、機械学習モデルを使用して自動的かつ適応的に計算することもできる。例えば、畳み込みニューラルネットワークモデルは、サンプル画像から関連する特徴を抽出するように訓練されてもよく、事前訓練されたモデルは、訓練サンプルに適用されて属性を生成してもよい。畳み込みニューラルネットワークは、通常、様々なサイズの特徴マップを生成する、他の層の中のいくつかの畳み込み層を含む。特徴マップは、入力画像(または入力画像の選択された部分)を特徴付ける一般的な特徴を含み、したがって、分類結果をさらに改善するために構造分類器内の特徴として使用することができる。様々な畳み込み層(例えば、最上層、中間層、下層)またはこれらの層の選択からの特徴を使用することができる。いくつかの実施形態では、訓練アトラスが、機械学習アルゴリズムによって使用されることになるアトラス画像点に関する属性をすでに含んでいる場合、属性の計算を省略することができる。
プロセス506において、収集された訓練サンプルおよび計算された属性が機械学習アルゴリズムに適用されて訓練済み構造分類器が生成される。機械学習アルゴリズムは、教師付き学習アルゴリズムとすることができ、これは与えられた訓練データのセットを与えられた予測モデルを推論しようとするものである。例えば、構造分類器を訓練するための機械学習アルゴリズムは、ランダムフォレスト(RF)機械学習アルゴリズムとすることができ、それは自然に複数のクラス、すなわち、複数の構造を分類するための1つの分類器を扱うことができる。RF分類器の出力は、入力データがどのクラスに属するか、すなわち対応する画像点がどの構造に属するかの確率の推定であり得る。RFアルゴリズムは、米国特許第9122950号明細書により詳細に説明されている。訓練された構造分類器が得られた後、それは、方法400のプロセス414で使用されるように、対象画像の自動セグメンテーションに関連して、後の使用中に記憶され適用される。
図6Aおよび図6Bは、STAPLE法によって推定された構造境界線(黒い破線)と、本開示によるオンライン学習強化ABAS方法によって推定された構造境界線(白い実線)との間の比較を示す。図6A及び図6Bに示された対象画像は、同じ対象患者の肝臓と右腎臓の画像である。図6Aおよび図6Bに示されているように、オンライン学習強化ABAS法は、STAPLE法よりも正確な境界線を生成する。特に、図6Bに示すように、STAPLE法は腎臓の底部を間違えているが、オンライン学習強化ABAS法からの推定境界線は腎臓の実際の境界線によりよく一致している。
上記の詳細な説明は、詳細な説明の一部を形成する添付の図面の参照を含む。図面は、例示として、本発明を実施することができる特定の実施形態を示す。これらの実施形態は、本明細書では「実施例」とも呼ばれる。そのような例は、図示又は説明された要素に加えて要素を含むことができる。しかしながら、図示又は記載された要素のみが提供される。さらに、特定の例(又はそのひとつ又はそれ以上の態様)に関して、又は表示された又は記載された要素(又はそのひとつ又はそれ以上の態様)の任意の組合せ又は置換は、本開示の範囲内である。
本明細書と、参考として組み込まれている文書との間に一貫性のない使用(usage)がある場合は、本明細書の使用(usage)が優先する。
本明細書では、「少なくとも1つ」又は「1つまたは複数」の他の例(instance)又は使用(usage)とは独立して、1つまたは1つ以上のものを含み、特許文書で一般的であるように、用語「a」又は「an」が使用される。本明細書において、「または」という用語は、特に断らない限り、「AまたはB」には「AであってBでない」、「BであってAでない」、「AおよびB」を含むように非排他的である。本明細書では、用語「including」及び「in which」は、それぞれ、用語「comprising」「wherein」の平易な英語の等価物として使用される。また、以下の特許請求の範囲において、「含む(including)」及び「含む(comprising)」という用語は、オープンエンドであり、すなわち、そのような用語の後に列挙された要素に、ある要素を含むシステム、装置、品物、組成、動作、プロセスを要素として加えたクレームは依然としてそのクレームの範囲内にあるとみなされる。さらに、添付の特許請求の範囲において、「第1の」、「第2の」、「第3の」などの用語は、単にラベルとして使用されており、それらに数値的な要件を課すことを意図しない。
機械またはコンピュータ可読記憶媒体は、1つまたは複数の非一時的媒体(たとえば、集中型または分散型データベース、および/または関連するキャッシュおよびサーバ)を含むことができる。そのような機械またはコンピュータ可読記憶媒体は、機械に説明された機能または動作を実行させることができるコンピュータ実行可能命令またはデータを記憶することができる。そのような機械またはコンピュータ可読記憶媒体は、記録可能/非記録可能媒体(例えば、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイスなど)のような、機械(例えば、コンピューティングデバイス、電子システムなど)によってアクセス可能な形式で情報を記憶する任意のメカニズムを含むことができる。例えば、「機械可読記憶媒体」または「コンピュータ可読記憶媒体という用語は、それに限定されるものではないが、固体メモリ、光学媒体、および磁気媒体を含むと解釈されるべきである。
上記の説明は例示的なものであり、限定的なものではない。例えば、上記の例(又はそのひとつ又はそれ以上の態様)は、互いに組み合わせて使用されてもよい。上記の説明を検討することにより、当業者によって、他の実施形態を使用することができる。要約は、読者が技術的開示の性質を迅速に確認できるように提供される。クレームの範囲又は意味を解釈又は制限するために使用されないことを理解して提出されている。また、上記の詳細な説明では、開示を合理化するために様々な特徴をグループ化することができる。これは、クレームされていない開示された特徴がクレームに不可欠であることを意図していると解釈されるべきではない。むしろ、本発明の主題は、開示された特定の実施形態のすべての特徴よりも少なくてもよい。したがって、添付の特許請求の範囲は、実施形態又は実施形態としての詳細な説明に組み込まれ、各請求項は別個の実施形態として独立して立証され、そのような実施形態は、様々な組み合わせ又は順列で互いに組み合わせることができる。本発明の範囲は、添付の特許請求の範囲を参照して、そのような特許請求の範囲が権利を与えられる等価物の全範囲と共に決定されるべきである。
Claims (20)
- 画像セグメンテーション方法であって、
複数のアトラスおよび対象画像を受信し、各アトラスは、関心ある構造および関連する構造描写を示すアトラス画像を含み、前記対象画像は、画像取得装置によって取得され、前記関心ある構造を示すことと、
画像プロセッサによって、前記それぞれのアトラスを前記対象画像に登録することによりマッピングされたアトラスを計算することと、
前記画像プロセッサによって、前記マッピングされたアトラスに基づいて前記対象画像の第1の構造ラベルマップを決定することと、
前記対象画像の所定の領域の前記マッピングされたアトラスの第1のセットの第1の構造ラベルが、前記所定の領域の前記マッピングされたアトラスの異なる第2のセットの第2の構造ラベルと相違することを決定することと、
前記第1の構造ラベルが前記第2の構造ラベルと相違すると決定されたことに応答して、前記対象画像に登録された前記複数のアトラスのうちの少なくとも1つを含む前記マッピングされたアトラスのサブセットに対する前記所定の領域に対応する訓練サンプルを選択することと、
前記画像プロセッサによって、前記所定の領域に対応する前記選択された訓練サンプルを用いて構造分類器を訓練することと、
前記画像プロセッサによって、前記訓練された構造分類器を前記対象画像内の1つまたは複数の対象画像点に適用することによって、前記対象画像に対する第2の構造ラベルマップを決定することと、
前記画像プロセッサによって、前記第1の構造ラベルマップと前記第2の構造ラベルマップとを組み合わせて、前記関心ある構造を表す第3の構造ラベルマップを生成することと
を含むことを特徴とする方法。 - 請求項1記載の方法において、
前記マッピングされたアトラスを計算することは、
各アトラス内の前記アトラス画像を前記対象画像にマッピングすることと、
前記マッピングすることに基づいて、各アトラスに対する登録変換を計算することと、
前記アトラスの構造描写に登録変換を適用することによって、各アトラスのマッピング構造描写を計算することと
を含むことを特徴とする方法。 - 請求項2記載の方法において、
前記第1の構造ラベルマップを決定することは、
前記それぞれのマッピングされた構造描写に基づいて、前記アトラスに対応するアトラスベース自動セグメンテーション(ABAS)構造ラベルマップを決定することと、
前記ABAS構造ラベルマップを融合することよって、前記第1の構造ラベルマップを決定すること
を含むことを特徴とする方法。 - 請求項3記載の方法において、
前記ABAS構造ラベルを融合することは、多数決投票法または同時真理およびパフォーマンスレベル推定(STAPLE)法のうちの少なくとも1つに従うことである
ことを特徴とする方法。 - 請求項1記載の方法において、
前記それぞれのアトラスを前記対象画像に登録することは、各アトラス画像および前記対象画像を共通の基準画像にマッピングすることを含む
ことを特徴とする方法。 - 請求項5記載の方法において、
前記基準画像は、前記アトラス画像を平均化することによって得られる平均アトラス画像である
ことを特徴とする方法。 - 請求項1記載の方法において、
選択基準に基づいて前記マッピングされたアトラスのサブセットを選択することを更に含む
ことを特徴とする方法。 - 請求項7記載の方法において、
前記マッピングされたアトラスの前記サブセットを選択することは、
各マッピングされたアトラス画像と前記対象画像との間の画像類似度を決定することと、
前記それぞれのマッピングされたアトラス画像の前記画像類似度に基づいて前記マッピングされたアトラスをランク付けすることと、
前記ランク付けすることに基づいて前記マッピングされたアトラスの前記サブセットを選択することと
を含むことを特徴とする方法。 - 請求項8記載の方法において、
前記画像類似度を決定することは、前記対応するマッピングされたアトラス画像の全体が前記対象画像の全体とどのように相関するかを示すグローバル類似度を決定すること、または、前記対応するマッピングされたアトラス画像内の前記関心ある構造が前記対象画像内の前記関心ある構造とどのように相関するかを示すローカル類似度を決定することを含む
ことを特徴とする方法。 - 請求項1記載の方法において、
前記所定の領域に対応する前記選択された訓練サンプルを用いて構造分類器を訓練することは、ランダムフォレスト機械学習アルゴリズムを適用して前記構造分類器を訓練することを含む
ことを特徴とする方法。 - 請求項1記載の方法において、
前記1つまたは複数のマッピングされたアトラスのそれぞれから複数の訓練サンプルを選択することを更に含む
ことを特徴とする方法。 - 請求項11記載の方法において、
前記マッピングされたアトラスの第1のセットの前記第1の構造ラベルが、前記マッピングされたアトラスの前記第2のセットの前記第2の構造ラベルと相違することを決定することは、前記所定の領域に対するマッピングされたアトラス間の構造ラベル間の不一致が所定のレベルより大きいことを決定することを含む
ことを特徴とする方法。 - 請求項11記載の方法において、
前記訓練サンプルの属性を計算することを更に含み、
前記構造分類器を訓練することは前記属性を使用することである
ことを特徴とする方法。 - 請求項13記載の方法において、
前記属性は、事前訓練された畳み込みニューラルネットワークを使用して計算される
ことを特徴とする方法。 - 請求項1記載の方法において、
前記第1の構造ラベルマップに基づいて前記対象画像から前記1つまたは複数の対象画像点を選択することを更に含む
ことを特徴とする方法。 - 請求項15記載の方法において、
前記1つまたは複数の選択された対象画像点が、セグメンテーションのあいまいさを示す構造ラベルに対応する
ことを特徴とする方法。 - 複数のアトラスおよび対象画像を受信して記憶するように構成されたメモリであって、各アトラスは、関心ある構造および関連する構造描写を示すアトラス画像を含み、前記対象画像は、画像取得装置によって取得され、前記関心ある構造を示すメモリと、
前記メモリに接続された画像プロセッサと
を有する画像セグメンテーション装置であって、
前記画像プロセッサは、
前記それぞれのアトラスを前記対象画像に登録することによりマッピングされたアトラスを計算し、
前記マッピングされたアトラスに基づいて前記対象画像の第1の構造ラベルマップを決定し、
前記対象画像の所定の領域の前記マッピングされたアトラスの第1のセットの第1の構造ラベルが、前記所定の領域の前記マッピングされたアトラスの異なる第2のセットの第2の構造ラベルと相違することを決定し、
前記第1の構造ラベルが前記第2の構造ラベルと相違すると決定されたことに応答して、前記対象画像に登録された前記複数のアトラスのうちの少なくとも1つを含む前記マッピングされたアトラスのサブセットに対する前記所定の領域に対応する訓練サンプルを選択し、
前記所定の領域に対応する前記選択された訓練サンプルを用いて構造分類器を訓練し、
前記訓練された構造分類器を前記対象画像内の1つまたは複数の対象画像点に適用することによって、前記対象画像に対する第2の構造ラベルマップを決定し、
前記第1の構造ラベルマップと前記第2の構造ラベルマップとを組み合わせて、前記関心ある構造を表す第3の構造ラベルマップを生成する
ように構成されている
ことを特徴とする画像セグメンテーション装置。 - 請求項17記載の画像セグメンテーション装置において、
前記画像プロセッサは、更に、前記それぞれのマッピングされたアトラス画像と前記対象画像との間の画像類似度に基づいて、前記マッピングされたアトラスの前記サブセットを選択するように構成されている
ことを特徴とする画像セグメンテーション装置。 - 請求項17記載の画像セグメンテーション装置において、
前記画像プロセッサは、更に、前記第1の構造ラベルマップに基づいて、前記対象画像から前記1つまたは複数の対象画像点を選択するように構成されている
ことを特徴とする画像セグメンテーション装置。 - 画像プロセッサにより実行されたときに、前記プロセッサに、画像セグメンテーション方法を実行させる命令を格納する非一時的コンピュータ可読媒体であって、
前記画像セグメンテーション方法は、
複数のアトラスおよび対象画像を受信し、各アトラスは、関心ある構造および関連する構造描写を示すアトラス画像を含み、前記対象画像は、画像取得装置によって取得され、前記関心ある構造を示すことと、
前記それぞれのアトラスを前記対象画像に登録することによりマッピングされたアトラスを計算することと、
前記マッピングされたアトラスに基づいて前記対象画像の第1の構造ラベルマップを決定することと、
前記対象画像の所定の領域の前記マッピングされたアトラスの第1のセットの第1の構造ラベルが、前記所定の領域の前記マッピングされたアトラスの異なる第2のセットの第2の構造ラベルと相違することを決定することと、
前記第1の構造ラベルが前記第2の構造ラベルと相違すると決定されたことに応答して、前記対象画像に登録された前記複数のアトラスのうちの少なくとも1つを含む前記マッピングされたアトラスのサブセットに対する前記所定の領域に対応する訓練サンプルを選択することと、
前記所定の領域に対応する前記選択された訓練サンプルを用いて構造分類器を訓練することと、
前記訓練された構造分類器を前記対象画像内の1つまたは複数の対象画像点に適用することによって、前記対象画像に対する第2の構造ラベルマップを決定することと、
前記第1の構造ラベルマップと前記第2の構造ラベルマップとを組み合わせて、前記関心ある構造を表す第3の構造ラベルマップを生成することと
を含むことを特徴とする非一時的コンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/386,673 US10410348B2 (en) | 2016-12-21 | 2016-12-21 | Online learning enhanced atlas-based auto-segmentation |
US15/386,673 | 2016-12-21 | ||
PCT/US2017/063964 WO2018118373A1 (en) | 2016-12-21 | 2017-11-30 | Online learning enhanced atlas-based auto-segmentation |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020503923A JP2020503923A (ja) | 2020-02-06 |
JP2020503923A5 JP2020503923A5 (ja) | 2020-09-10 |
JP6782051B2 true JP6782051B2 (ja) | 2020-11-11 |
Family
ID=60782359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019533365A Active JP6782051B2 (ja) | 2016-12-21 | 2017-11-30 | オンライン学習により強化されたアトラスベース自動セグメンテーション |
Country Status (6)
Country | Link |
---|---|
US (2) | US10410348B2 (ja) |
EP (1) | EP3559905B1 (ja) |
JP (1) | JP6782051B2 (ja) |
CN (2) | CN113129308B (ja) |
AU (1) | AU2017378629C1 (ja) |
WO (1) | WO2018118373A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10410348B2 (en) | 2016-12-21 | 2019-09-10 | Elekta, Inc. | Online learning enhanced atlas-based auto-segmentation |
US11164308B2 (en) * | 2017-02-27 | 2021-11-02 | The Regents Of The University Of California | System and method for improved medical images |
US10402969B2 (en) * | 2017-03-10 | 2019-09-03 | General Electric Company | Methods and systems for model driven multi-modal medical imaging |
JP6915349B2 (ja) * | 2017-04-04 | 2021-08-04 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
US10963757B2 (en) | 2018-12-14 | 2021-03-30 | Industrial Technology Research Institute | Neural network model fusion method and electronic device using the same |
CN110853043B (zh) * | 2019-11-21 | 2020-09-29 | 北京推想科技有限公司 | 影像分割方法、装置、可读存储介质及电子设备 |
JP7316611B2 (ja) * | 2020-01-30 | 2023-07-28 | 富士通株式会社 | 推定処理プログラム、推定処理方法、及び情報処理装置 |
EP3866107A1 (en) * | 2020-02-14 | 2021-08-18 | Koninklijke Philips N.V. | Model-based image segmentation |
CN111369598B (zh) * | 2020-03-02 | 2021-03-30 | 推想医疗科技股份有限公司 | 深度学习模型的训练方法及装置、应用方法及装置 |
TWI792751B (zh) * | 2021-12-08 | 2023-02-11 | 國立成功大學 | 醫學影像專案管理平台 |
JP2024102873A (ja) * | 2023-01-20 | 2024-08-01 | 富士通株式会社 | 情報処理プログラム,情報処理方法及び情報処理装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3996555B2 (ja) * | 2002-10-01 | 2007-10-24 | 独立行政法人科学技術振興機構 | 画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体 |
US8073216B2 (en) * | 2007-08-29 | 2011-12-06 | Vanderbilt University | System and methods for automatic segmentation of one or more critical structures of the ear |
JP2012164026A (ja) * | 2011-02-03 | 2012-08-30 | Nippon Soken Inc | 画像認識装置及び車両用表示装置 |
US9122950B2 (en) * | 2013-03-01 | 2015-09-01 | Impac Medical Systems, Inc. | Method and apparatus for learning-enhanced atlas-based auto-segmentation |
US9122959B2 (en) * | 2013-05-03 | 2015-09-01 | Impac Medical Systems, Inc. | Method and apparatus for automated delineation of structure shape for image guided treatment planning |
US9483831B2 (en) * | 2014-02-28 | 2016-11-01 | International Business Machines Corporation | Segmentation using hybrid discriminative generative label fusion of multiple atlases |
US9760807B2 (en) * | 2016-01-08 | 2017-09-12 | Siemens Healthcare Gmbh | Deep image-to-image network learning for medical image analysis |
US10169871B2 (en) * | 2016-01-21 | 2019-01-01 | Elekta, Inc. | Systems and methods for segmentation of intra-patient medical images |
EP3440428B1 (en) * | 2016-04-08 | 2022-06-01 | Orbital Insight, Inc. | Remote determination of quantity stored in containers in geographical region |
EP3252452A1 (en) * | 2016-05-25 | 2017-12-06 | The Board of Trustees of the Leland Stanford Junior University | Method for imaging and analysis of a biological specimen |
US10671895B2 (en) * | 2016-06-30 | 2020-06-02 | Microsoft Technology Licensing, Llc | Automated selection of subjectively best image frames from burst captured image sequences |
WO2018081607A2 (en) * | 2016-10-27 | 2018-05-03 | General Electric Company | Methods of systems of generating virtual multi-dimensional models using image analysis |
US10410348B2 (en) | 2016-12-21 | 2019-09-10 | Elekta, Inc. | Online learning enhanced atlas-based auto-segmentation |
-
2016
- 2016-12-21 US US15/386,673 patent/US10410348B2/en active Active
-
2017
- 2017-11-30 CN CN202011124679.7A patent/CN113129308B/zh active Active
- 2017-11-30 AU AU2017378629A patent/AU2017378629C1/en active Active
- 2017-11-30 WO PCT/US2017/063964 patent/WO2018118373A1/en unknown
- 2017-11-30 CN CN201780084724.0A patent/CN110235175B/zh active Active
- 2017-11-30 EP EP17818370.3A patent/EP3559905B1/en active Active
- 2017-11-30 JP JP2019533365A patent/JP6782051B2/ja active Active
-
2019
- 2019-07-25 US US16/522,051 patent/US10672128B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10672128B2 (en) | 2020-06-02 |
AU2017378629B2 (en) | 2020-05-28 |
JP2020503923A (ja) | 2020-02-06 |
AU2017378629A1 (en) | 2019-08-08 |
AU2017378629C1 (en) | 2020-09-03 |
CN110235175B (zh) | 2020-11-10 |
CN113129308A (zh) | 2021-07-16 |
EP3559905A1 (en) | 2019-10-30 |
US20190347800A1 (en) | 2019-11-14 |
CN113129308B (zh) | 2022-11-11 |
WO2018118373A1 (en) | 2018-06-28 |
US20180174300A1 (en) | 2018-06-21 |
EP3559905B1 (en) | 2023-12-20 |
CN110235175A (zh) | 2019-09-13 |
US10410348B2 (en) | 2019-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6782051B2 (ja) | オンライン学習により強化されたアトラスベース自動セグメンテーション | |
US11547874B2 (en) | Machine learning approach to real-time patient motion monitoring | |
US11491348B2 (en) | Real-time patient motion monitoring using a magnetic resonance linear accelerator (MRLINAC) | |
US11386557B2 (en) | Systems and methods for segmentation of intra-patient medical images | |
JP6761128B2 (ja) | 合成医療画像を生成するためのニューラルネットワーク | |
RU2699499C2 (ru) | Системы и способы сегментации медицинских изображений на основании признаков, основанных на анатомических ориентирах | |
US9600856B2 (en) | Hybrid point-based registration | |
CN116848549A (zh) | 经由降维投影的图像结构的检测 | |
GB2627771A (en) | Machine learning approach to segmentation of an organ image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200221 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200221 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200331 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200430 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200707 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20200803 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201016 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6782051 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |