JP2023521467A - 画像のセグメンテーションの失敗検出 - Google Patents

Abstract

３Ｄ画像のセグメンテーションの成功を示すスコア、即ち、成功スコアを決定するためのメカニズムである。このメカニズムでは、３Ｄ画像のセグメンテーション結果を処理することにより、３Ｄ画像内のターゲット物体の異なるターゲットビューの１つ以上の２Ｄ画像を取得することを提案する。各２Ｄ画像（のビュー）は自動分類器を使用して分類される。分類結果を使用して成功スコアが決定される。成功スコアは、例えば、３Ｄセグメンテーション結果が、例えば臨床上の意思決定のために十分な正確さでグランドトゥルースセグメンテーション結果を表すかどうか、又はどの程度緊密に表すかを示す。

Description

本発明は、３Ｄ画像セグメンテーションの分野に関し、特に不正確な３Ｄセグメンテーション結果を検出する分野に関する。

画像セグメンテーションとは、画像内の異なる（サブ要素）間の境界を識別するために画像が処理されるプロセスである。例えば画像が心臓を描写する場合、画像セグメンテーションプロセスは、心臓の異なる領域の表面（例えば左心室の表面、右心室の表面など）が識別する。

心臓超音波、ＣＴ、又はＭＲＩボリュームなどの３Ｄ画像のセグメンテーションは、臨床環境ではますます使用されているが、この分野以外でも使用されている（例えば考古学、画像解析の分野など）。３Ｄ画像に対してセグメンテーションアルゴリズムを実行することによって生成される３Ｄセグメンテーションの結果を使用して、３Ｄ画像に含まれる物体のターゲットビューを提供する２Ｄ画像が生成される。

セグメンテーションアルゴリズムの例としては、画像内の（ターゲット物体の）境界に適応可能な表面メッシュモデルを使用して、最終的な「セグメンテーションメッシュ」を３Ｄセグメンテーションの結果として生成するものがある。例えば３Ｄ画像が心臓を表す場合、一定のメッシュ三角形が左心室（「ＬＶ」）心外膜に適応し、他のメッシュ三角形がＬＶ心内膜に適応し、さらに他のメッシュ三角形が左心房心内膜に適応し、以下同様である。

セグメンテーションアルゴリズムのさらに他の例では、３Ｄセグメンテーションの結果としてマスクが生成される。マスクは、３Ｄ画像のボクセル毎に、３Ｄ画像のボクセルの予測ラベルを識別する。例えば特定のボクセルが左心室心筋の一部又はＬＶ血流プールの一部を表すかどうかなどを識別する。このようなマスクの生成は、機械学習法を使用して３Ｄ画像のボクセルにラベルを付けて行われる場合がある。

正確かつ信頼性の高い３Ｄセグメンテーション結果を生成するには、セグメンテーションアルゴリズムの失敗を検出する必要がある。３Ｄセグメンテーションの結果がセグメンテーションメッシュを含む、失敗検出のための以前のアプローチの１つでは、セグメンテーションメッシュに関連して検出された境界の分布を使用する。別のアプローチでは、セグメンテーションが成功する画像の適合性を推定するために、場合によっては、セグメンテーションに関連する領域に限定されている、３Ｄ画像のコントラスト、ノイズなどの画像特性を評価することを提案している。これらのアプローチは、特にコントラストの変動が大きい画像又は局所的な信号ドロップアウトがある画像の場合には、限られた成功しか収めていない。

したがって、正確かつ信頼性の高い３Ｄセグメンテーション結果を生成する、即ち、３Ｄセグメンテーションの成功を決定するために、セグメンテーションアルゴリズムの成功又は失敗の検出を向上させるという継続的な要望がある。

Ｋｉｍ，Ｊｉｎｍａｎ他は「Ａ ｑｕａｎｔｉｔａｔｉｖｅ ｅｖａｌｕａｔｉｏｎ ｍｅａｓｕｒｅ ｆｏｒ ３Ｄ ｂｉｏｍｅｄｉｃａｌ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ」（ＩＦＡＣ Ｐｒｏｃｅｅｄｉｎｇｓ、第３６．１５巻（２００３）：１６９～１７３）において、３Ｄ画像セグメンテーションを評価する方法について説明している。

本発明は、特許請求の範囲によって規定される。

本発明の一態様による例によれば、ターゲット物体を描写する３Ｄ画像の３Ｄセグメンテーション結果の成功スコアを決定する、コンピュータ実施方法が提供される。

本コンピュータ実施方法は、ターゲット物体を描写する３Ｄ画像の３Ｄセグメンテーション結果を取得するステップと、３Ｄセグメンテーション結果と３Ｄ画像とを使用して、ターゲット物体の１つ以上の２Ｄ画像を生成するステップであって、各２Ｄ画像は、ターゲット物体の異なるターゲットビューを提供することを目的としている、生成するステップと、自動分類プロセスを使用して、生成された各２Ｄ画像を処理するステップであって、自動分類プロセスは、２Ｄ画像によって提供されるターゲット物体のビューが２Ｄ画像のターゲットビューと一致するかどうか、又はどの程度緊密に一致するかの予測を示す分類結果を生成する、処理するステップと、すべての生成された２Ｄ画像の分類結果を処理することによって、３Ｄセグメンテーション結果の成功スコアを決定するステップとを含む。

本発明では、３Ｄセグメンテーション結果を使用して作成された２Ｄ画像が正しく生成されたかどうかに基づいて、（セグメンテーションの）成功スコアを定義することが提案されている。具体的には、異なるターゲットビューを描写する１つ以上の２Ｄ画像が生成される。次に、２Ｄ画像は分類されて、各２Ｄ画像によって提供される意図されたビューが正しいかどうかが確認される。特に、（２Ｄ画像の）ターゲットビューと２Ｄ画像の分類されたビュー（即ち、２Ｄ画像によって提供される実際のビュー）との不一致は、３Ｄ画像のセグメンテーションのエラー、即ち、セグメンテーションの不成功を示し得る。

３Ｄセグメンテーション結果の成功スコアは、３Ｄ画像のセグメンテーションがどの程度成功したかを示すバイナリ、離散的、又は連続的（例えば数値）な尺度であり得る。３Ｄセグメンテーション結果が、３Ｄ画像内のターゲット物体の特定の特徴を正しくマッピング又は識別する場合に、３Ｄ画像のセグメンテーションは成功し得る。

例えば、成功スコアは、３Ｄセグメンテーション結果が３Ｄ画像をどの程度正確にセグメント化したか、３Ｄセグメンテーション結果が３Ｄ画像の理想的な３Ｄセグメンテーション及び／又は３Ｄ画像のセグメンテーションのエラーレベルにどの程度緊密に対応しているかを示す。したがって、成功スコアは、（３Ｄセグメンテーション結果によって）３Ｄ画像内のターゲット物体の要素の位置が、同じ要素の真の位置にどの程度正確に予測したかを表すか、示すか、又は数値化できる。

したがって、成功スコアは、３Ｄセグメンテーション結果の正確さを示すことができ、「成功指標」又は「正確さ指標」と言い換えることもできる。

例えば、１つ以上の２Ｄ画像は複数の２Ｄ画像を含む。このような場合、各２Ｄ画像は、ターゲット物体の異なるターゲットビューを提供することを目的としている。つまり、１つ以上の２Ｄ画像を生成するステップが、２つ以上の（即ち、複数の）２Ｄ画像を生成するステップを含む場合、生成された２Ｄ画像の各々は、ターゲット物体の異なるターゲットビューを提供することを目的としている。

言い換えれば、３Ｄセグメンテーション結果及び３Ｄ画像を使用して、ターゲット物体の１つ以上の２Ｄ画像を生成するステップは、３Ｄセグメンテーション結果及び３Ｄ画像を使用して、ターゲット物体の単一の２Ｄ画像を生成するステップを含み得る。この２Ｄ画像はターゲット物体のターゲットビューを提供することを目的としている。又は、３Ｄセグメンテーション結果及び３Ｄ画像を使用して、ターゲット物体の複数の２Ｄ画像を生成するステップを含み得る。各２Ｄ画像はターゲット物体の異なるターゲットビューを提供することを目的としている。

分類結果は、２Ｄ画像の１つ以上の分類スコアを含み得、各分類スコアは、２Ｄ画像によって提供されるビューが所定のビューを表す可能性を示す。１つ以上の分類スコアを生成すると、２Ｄ画像の真のビューに関するより粒度の細かい情報が提供され、３Ｄセグメンテーション結果の正確さに関するより正確な情報が提供されることを可能にする。

３Ｄセグメンテーション結果の成功スコアを決定するステップは、各２Ｄ画像の１つ以上の分類スコア及び各２Ｄ画像のターゲットビューを処理して、３Ｄセグメンテーション結果の成功スコアを決定するステップを含み得る。３Ｄセグメンテーション結果の正確さを決定するための詳細なメカニズムは、セグメンテーションスコアの形式によって、例えば、セグメンテーションスコアがバイナリ、離散的、又は連続的であるかどうかによって異なり得る。

いくつかの実施形態では、３Ｄセグメンテーション結果の成功スコアを決定するステップは、機械学習アルゴリズムを使用して、各２Ｄ画像の１つ以上の分類スコア及び各２Ｄ画像のターゲットビューを処理して、３Ｄセグメンテーション結果の成功スコアを決定するステップを含む。

任意選択で、ターゲット物体は心臓である。生成された２Ｄ画像によって提供されるターゲットビューは、（例えば）心臓の２つの腔のビュー、心臓の３つの腔のビュー、心臓の４つの腔のビュー、又は、ＬＶ頂点と僧帽弁との間の異なる高さで取られたいくつかの短軸ビューのうちの１つのうちの１つを含み得る。

３Ｄセグメンテーション結果は、３Ｄメッシュを含み得る。

１つ以上の２Ｄ画像は、少なくとも２つの２Ｄ画像、好ましくは、少なくとも３つの２Ｄ画像を含む。これにより、３Ｄ画像のセグメンテーションの成功に関する向上された及び／又はより詳細な解析が容易にされる。

自動分類プロセスは、機械学習方法を使用して２Ｄ画像を処理して、分類結果を生成し得る。本発明は、機械学習方法を使用する自動分類器とともに使用される場合に特に有利である。

ターゲット物体を描写する３Ｄ画像の３Ｄセグメンテーション結果を生成するコンピュータ実施方法も提案される。本コンピュータ実施方法は、第１のセグメンテーションアルゴリズムを使用して３Ｄ画像を処理して、３Ｄセグメンテーション結果を生成するステップと、上記の方法を実行することによって、３Ｄセグメンテーション結果の成功スコアを決定するステップとを含む。

いくつかの実施形態では、本方法はさらに、３Ｄセグメンテーション結果は第１の基準を満たさないことを示す３Ｄセグメンテーション結果の成功スコアに応じて、第２の異なるセグメンテーションアルゴリズムを使用して３Ｄ画像を処理して、新しいセグメンテーション結果を生成するステップを含む。第１の基準は、成功スコアの詳細な内容によって異なり得る。具体例では、第１の基準は、成功スコアが３Ｄセグメンテーション結果は正確であることを示す基準を含み得る。

第２のセグメンテーションアルゴリズムは、第１のセグメンテーションアルゴリズムの適応又は修正されたバージョンであり得る。特に、セグメンテーションアルゴリズムが、初期セグメンテーション状態（例えば初期表面メッシュモデル又は初期モデル）を適応又は修正する場合、第２のセグメンテーションアルゴリズムは、第１のセグメンテーションアルゴリズムとは異なる初期セグメンテーション状態を使用し得る（ただし、初期セグメンテーション状態を適応又は修正するために同じ処理方法論を使用する）。

例えば、異なるセグメンテーションアルゴリズムのセットのうちの異なる１つを使用することによって、異なるセグメンテーションアルゴリズムを提供する他の方法は、当業者には明らかであろう。

いくつかの実施形態では、本方法は、３Ｄセグメンテーション結果は第１の基準を満たさないことを示す３Ｄセグメンテーション結果の正確さに応じて、ユーザインターフェースを制御して、３Ｄセグメンテーション結果は不成功であることを示す、ユーザが知覚可能な出力を提供するステップを含む。

第１のセグメンテーションアルゴリズムは、３Ｄ画像をセグメント化するように設定された機械学習方法を含み得る。同様に、本発明に使用される任意の他のセグメンテーションアルゴリズムも機械学習方法を使用し得る。機械学習方法の例としては（深層）ニューラルネットワークなどがある。

コンピュータプログラムコード手段を含むコンピュータプログラム製品も提案される。これは、処理システムを有するコンピューティングデバイス上で実行されると、処理システムに、本明細書に説明した任意の方法のすべてのステップを実行させる。

ターゲット物体を描写する３Ｄ画像の３Ｄセグメンテーション結果の成功スコアを決定するための処理システムも提案される。本処理システムは、ターゲット物体を描写する３Ｄ画像の３Ｄセグメンテーション結果を取得する取得モジュールと、３Ｄセグメンテーション結果及び３Ｄ画像を使用して、ターゲット物体の１つ以上の２Ｄ画像を生成する２Ｄ画像生成モジュールであって、各２Ｄ画像はターゲット物体のターゲットビューを提供することを目的としている、２Ｄ画像生成モジュールと、自動分類プロセスを使用して、生成された各２Ｄ画像を処理する分類モジュールであって、自動分類プロセスは、２Ｄ画像によって提供されるターゲット物体のビューが２Ｄ画像のターゲットビューと一致するかどうか、又はどの程度緊密に一致するかの予測を示す分類結果を生成する、分類モジュールと、すべての生成された２Ｄ画像の分類結果を処理することによって、３Ｄセグメンテーション結果の成功スコアを決定する成功スコア決定モジュールとを含む。

本発明のこれらの及び他の態様は、以下に説明される実施形態から明らかになり、また、当該実施形態を参照して説明される。

本発明をさらに深く理解し、それがどのように実行されるかをより明確に示すために、ほんの一例として添付の図面を参照する。

図１は、成功したセグメンテーションの結果及び不成功のセグメンテーションの結果として生成された２Ｄ画像を示す。 図２は、一実施形態による方法を示す。 図３は、一実施形態による方法を示す。 図４は、一実施形態による処理システムを示す。 図５は、一実施形態による３Ｄ画像システムを示す。

本発明は、図を参照して説明される。

詳細な説明及び具体的な例は、装置、システム、及び方法の模範的な実施形態を示しているが、説明のみを目的としたものであり、発明の範囲を限定することを意図したものではないことが理解されるべきである。本発明の装置、システム、及び方法のこれらの及び他の特徴、態様並びに利点は、次の説明、添付の特許請求の範囲、及び添付の図面からよりよく理解されるようになるであろう。図は単なる概略図であり、縮尺どおりに描かれていないことが理解されるべきである。また、図全体で同じ参照番号を使用して、同じ部分又は類似の部品を示すことが理解されるべきである。

本発明は、３Ｄ画像のセグメンテーションの成功を示すスコア、即ち、成功スコアを決定するためのメカニズムを提供する。このメカニズムでは、３Ｄ画像のセグメンテーション結果を処理することにより、３Ｄ画像内のターゲット物体の異なるターゲットビューの１つ以上の２Ｄ画像を取得することを提案する。生成された各２Ｄ画像は、自動分類器を使用して分類される。分類結果を使用して成功スコアが決定される。成功スコアは、例えば、３Ｄセグメンテーション結果が（例えば臨床上の意思決定のために）十分な正確さでグランドトゥルースセグメンテーション結果を表すかどうか、又はどの程度緊密に表すかを示す。

本発明の基本概念は、３Ｄ画像を正しく又は成功裏にセグメント化できないと、セグメンテーション結果から生成された２Ｄ画像が不正確なビューを提供する（つまり、ターゲット物体の所望のビューを正しく提供しない）という認識に基づいている。本発明では、生成された１つ以上の２Ｄ画像が所望の／ターゲットビューと一致するかどうか、又はどの程度緊密に一致するかを決定することに基づいて成功スコアを生成することにより、この認識を利用することを提案している。例えば、成功スコアを使用して、３Ｄ画像を再セグメンテーションする必要があるかどうかを制御したり、セグメンテーション結果を信頼するかどうかを（例えばユーザの知覚可能な出力を介して）示すことができる。

本発明の実施形態は、３Ｄ画像の正確なセグメンテーションが望ましい任意の状況に使用され得るが、例えば、心臓などの解剖学的特徴の３Ｄ画像の自動セグメンテーションのために、臨床又は医療業界で特に使用される。

実際、本明細書に開示されるメカニズムは、医療業界で使用された場合に特に有利である。したがって、いくつかの実施形態では、３Ｄ画像は、３Ｄ超音波画像、３Ｄ ＭＲＩ画像などの３Ｄ医用画像である。

３Ｄ医用画像のターゲット物体は、心臓、肝臓、腎臓、肺、胃、膵臓、腫瘍、嚢胞、膀胱、がん性増殖、生殖器系など、患者又は被検者の任意の適切な臓器、組織、又は他の解剖学的特徴である。

本発明のコンテキストでは、「ターゲットビュー」とは、画像によって提供されるターゲット物体の望ましい又は意図されたビューである。したがって、ターゲットビューが異なる画像では、ターゲット物体に対して異なる仮想カメラ位置がある。例えば、画像によってターゲットビューに一致するかどうか又はどの程度緊密に一致するかを決定することは、その画像の仮想カメラの位置が所望の仮想カメラの位置と一致するかどうかを決定することを含む。つまり、画像によってターゲットビューに一致するかどうか又はどの程度緊密に一致するかを決定することは、ターゲット物体の所望の特徴が画像内に完全に含まれ、正しく（例えば、いくつかの所定の要件に従って）方向付けられているかどうか、及び／又はどの程度緊密にそうなっているかを決定することを含む。

図１は、３Ｄ画像の間違った又は不正確なセグメンテーションは、（ターゲット物体の）ターゲットビュー／所望のビューの（３Ｄセグメンテーション結果からの）２Ｄ画像の不正確な生成をもたらすという、本発明の基本となる認識を説明するために使用する。図示する例では、３Ｄ画像のターゲット物体は心臓であるため、３Ｄ画像は心臓の３Ｄ画像である。

当業者であれば、１つ以上の２Ｄ画像（各々、異なるターゲットビュー／所望のビューを提供する）をセグメンテーション結果から生成するやり方は容易に理解できるであろう。

図１は、心臓（ターゲット物体）の３Ｄ画像の第１のセグメンテーションを実行することによって生成された第１のセグメンテーション結果から生成された２Ｄ画像の第１のセット１１０を示している。２Ｄ画像の第１のセット１１０では、３Ｄ画像の第１のセグメンテーションは成功した。例えば、セグメンテーション結果はいくつかの所定の正確さ基準を満たしている。

２Ｄ画像の第１のセット１１０は、心臓の第１のターゲットビュー（即ち、２腔ビュー）を提供することを目的とした第１の２Ｄ画像１１１と、心臓の第２のターゲットビュー（即ち、４腔ビュー）を提供することを目的とした第２の２Ｄ画像１１２とを提供する。

図１から分るように、第１のセット１１０の第１の２Ｄ画像１１１及び第２の２Ｄ画像１１２は、所望のターゲットビューの適切な表現を正確に提供している。つまり、２Ｄ画像の第１のセット１１０は、ターゲット物体の所望のターゲットビューを正しく提供している。

図２は、心臓の３Ｄ画像の第２の異なるセグメンテーションを実行することによって生成された第２のセグメンテーション結果から生成された２Ｄ画像の第２のセット１２０を示している。２Ｄ画像の第２のセット１２０では、３Ｄ画像の第２のセグメンテーションは不成功であった。例えば、セグメンテーション結果はいくつかの所定の正確さ基準を満たすことができなかった。

２Ｄ画像の第２のセット１２０は、心臓の第１のターゲットビュー（即ち、２腔ビュー）を提供することを目的とした第１の２Ｄ画像１２１と、心臓の第２のターゲットビュー（即ち、４腔ビュー）を提供することを目的とした第２の２Ｄ画像１２２とを提供する。２Ｄ画像の第１及び第２のセットのうちの第１の２Ｄ画像は、同じターゲットビューを提供することを目的としており、２Ｄ画像の第１及び第２のセットのうちの第２の２Ｄ画像も同じターゲットビュー（第１の画像のターゲットビューとは異なる）を提供することを目的としていることは明らかであろう。

図１から分るように、第２のセット１２０の第１の２Ｄ画像１２１及び第２の２Ｄ画像１２２は、（第１のセットの対応する２Ｄ画像のとは異なり）所望のターゲットビューの適切な表現を正確に提供していない。特に、第１の２Ｄ画像１２１は所望どおりに（つまり、２腔ビューを提供しているように）見えるが、第２の２Ｄ画像１２２は心房を見失っており、予想の４腔ビューには一致していない。

したがって、第２のセグメンテーションが３Ｄ画像を成功裏にセグメント化できなかったことにより、所望のターゲットビューの２Ｄ画像の不正確な生成（即ち、不正確な第２の２Ｄ画像１２２）をもたらしたことが明らかである。

前述したように、本開示では、所望の／ターゲットビューを正しく提供する２Ｄ画像の生成が、（例えば、そこから得られた情報に基づいて信頼性の高い臨床的意思決定を行うために）３Ｄ画像のセグメンテーションが成功したこと及び／又は十分に正確であることを示すということが認識している。したがって、生成された２Ｄ画像が実際にどのビュー（即ち、各２Ｄ画像によって提供される「真のビュー」）を表しているかを予測することによって、真のビューをターゲットビューと比較して、３Ｄ画像のセグメンテーションの成功を予測できる。

本発明は、セグメンテーション結果の成功（及び／又は失敗）を示す成功スコアを生成するためのメカニズムを提案する。

特に、成功スコアは、セグメンテーション結果の成功を示すバイナリ指標、カテゴリ的指標、又は数値的指標であり、セグメンテーションアルゴリズムが３Ｄ画像をどの程度成功裏にセグメント化させたかを示す指標である。

いくつかの例では、成功スコアは、セグメンテーション結果が、３Ｄ画像のグランドトゥルースセグメンテーション結果をどの程度正確に表しているかを示す又は予測する。例えば、成功スコアは、１つ以上の所定の基準に従ってターゲット物体をモデリングするための３Ｄセグメンテーション結果の適合性（例えば、そこから信頼性の高い臨床上の決定を行うのに十分に成功している）を示す。

概して、本発明の基本の認識は、セグメンテーション結果を使用してターゲット物体の所望の２Ｄビューを正確に生成できるということが、そのターゲット物体の３Ｄ画像のセグメンテーションが成功したこと及び／又は十分に正確であることを示すということである。本発明は、セグメンテーション結果がこの要望を達成するかどうか、又はどの程度緊密に達成するかを予測する成功スコアを生成するためのメカニズムを提案する。

図２は、本発明の一実施形態による、３Ｄセグメンテーション結果の成功スコアを決定するコンピュータ実施方法２００を示している。３Ｄセグメンテーション結果は、例えば３Ｄ画像に実行されたセグメンテーションプロセスの出力である。

方法２００は、３Ｄセグメンテーション結果を取得するステップ２１０を含む。これは、画像セグメンテーションモジュールなど、３Ｄセグメンテーション結果の適切な提供部から取得される。

方法２００は次に、３Ｄセグメンテーション結果及び３Ｄ画像を使用して１つ以上の２Ｄ画像を生成するステップ２２０に進む。各２Ｄ画像は、３Ｄ画像に含まれているターゲット物体の異なるターゲットビュー／所望のビューを提供することを目的としている。２Ｄ画像のターゲットビューは予め決定されていてもよく、また、好ましくは１つ以上の所定のターゲットビューのセットとして形成される。

少なくとも１つの例では、３Ｄ画像に描かれるターゲット物体は、被検者／患者の心臓である。いくつかの例では、生成された２Ｄ画像によって提供されるターゲットビューは、心臓の２つの腔のビュー、心臓の３つの腔のビュー、心臓の４つの腔のビュー、又は短軸ビューのうちの１つである。したがって、ターゲットビューの所定のセットが存在する場合があり、各２Ｄ画像のターゲットビューはそのうちの異なる１つである。

３Ｄ画像のセグメンテーション結果及び対応する３Ｄ画像を使用して所望のターゲットビューの２Ｄ画像を生成する方法は、当業者によく知られている。

単に例として、３Ｄ画像が心臓の画像である場合、所望のターゲットビューの２Ｄ画像では、ＬＶ頂点、いくつかの弁の中心点、又はいくつかの心腔の重心などのいくつかの「ランドマーク」を使用して、特定のビュー又は所望のビューの２Ｄ画像を生成できる。

方法２００は次に、生成された各２Ｄ画像に分類プロセスを実行するステップ２３０に移る。分類プロセスでは、２Ｄ画像を分類又は処理して情報（「分類結果」）が生成される。これは２Ｄ画像によって提供されるターゲット物体のビューが２Ｄ画像のターゲットビューと一致するかどうか、又はどの程度緊密に一致するかの予測を示す。

分類プロセスは、各２Ｄ画像によって提供されると予測される真のビューに関する情報、例えばターゲット物体の複数の（所定又は既知の）ビューのうちのどれを、各２Ｄ画像が提供する可能性の高いかを示す情報を提供する分類結果を生成することを含む。例として、分類プロセスでは１つ以上の確率が生成され、各々、２Ｄ画像によって提供されるターゲット物体のビューが、異なる所定のビュー（例えば少なくともターゲットビューを含む）に対応する確率を示す。別の例として、分類プロセスでは、２Ｄ画像によって提供されるターゲット物体の最も可能性の高いビューを示す単一の予測（例えばカテゴリデータ）が生成されてもよい。

別の例では、分類プロセスは、生成された２Ｄ画像によって提供されるビューが、生成された２Ｄ画像のターゲットビューと同じであるかどうか、又はどの程度緊密に同じであるかを予測する分類結果を生成することを含む。例えば分類結果は、生成された２Ｄ画像が２Ｄ画像の（対応する）ターゲットビューを提供するかどうかを予測するバイナリ指標であるか、又は２Ｄ画像が２Ｄ画像の（対応する）ターゲットビューを提供する確率である。

したがって、分類結果は、２Ｄ画像によって提供されるターゲット物体のビューが２Ｄ画像のターゲットビューと一致するかどうかを予測するバイナリ指標、２Ｄ画像によって提供されるターゲット物体の最も可能性の高いビューを予測するカテゴリ的指標（これはひいては２Ｄ画像によって提供されるターゲット物体のビューが２Ｄ画像のターゲットビューと一致するかどうかを示す）、２Ｄ画像によって提供されるターゲット物体のビューが２Ｄ画像のターゲットビューと一致する確率を予測する単一の数値的指標、各々が２Ｄ画像によって提供されるターゲット物体のビューが２Ｄ画像の異なる所定のビューと一致する確率を予測する複数の数値的指標（例えば数値的指標のうちの少なくとも１つは、２Ｄ画像によって提供されるターゲット物体のビューが２Ｄ画像のターゲットビューと一致する確率を予測する）であり得る。

分類プロセス２３０では、好ましくは、生成された各２Ｄ画像は、他の生成された２Ｄ画像（存在する場合）のいずれとも独立して、例えば、生成された異なる２Ｄ画像間で比較を実行することなく処理される。これにより、例えばすべての２Ｄ画像が互いにオフセットされている場合に、セグメンテーションの大域的エラーが分類結果に伝播する可能性が低くなる。

好ましくは、分類プロセス２３０では、生成された各２Ｄ画像は、他の画像又はセグメンテーション結果を直接参照することなく独立して処理される。したがって、分類プロセスでは、生成された２Ｄ画像（及び任意選択で生成された２Ｄ画像のメタデータ）のみが入力として受信され、その２Ｄ画像の分類結果が出力として提供される。

方法は次に、すべての２Ｄ画像の分類結果を処理することによって、３Ｄセグメンテーション結果の成功スコアを決定するステップ２４０に進む。

いくつかの実施形態では、成功スコアは、すべての２Ｄ画像によって提供されるビューがそれぞれのターゲットビューと一致することを分類結果が予測するかどうかを示すバイナリ指標である。したがって、成功スコアが「１」の場合、各２Ｄ画像によって提供されるターゲット物体のビューがそれぞれのターゲットビューと一致することを、すべての分類結果が予測していることを示し、成功スコアが「０」の場合、各２Ｄ画像によって提供されるターゲット物体のビューがそれぞれのターゲットビューと一致しないことを、少なくとも１つの分類結果が予測していることを示す（又は逆もまた同様）。

２Ｄ画像によって提供されるターゲット物体のビューが２Ｄ画像のターゲットビューと一致する確率を示す数値的指標を分類結果が含む実施形態では、示された確率が所定の確率よりも大きい（例えば０．６よりも大きい、０．７よりも大きい、又は０．９よりも大きい）場合、２Ｄ画像のビューは、ターゲットビューと一致すると見なされ得る。所定の確率が大きいほど、成功スコアの偽陽性率は低くなる（ただし、偽陰性率は大きくなる）。

他の適切な所定の確率は、実装形態の詳細に応じて、例えば分類結果の数値的指標の最大可能範囲に応じて当業者によって選択されるであろう。

他の実施形態では、成功スコアは、３Ｄセグメンテーション結果の予測される正確さを示す数値的尺度である（例えば最大値は３Ｄセグメンテーション結果が医療上の意思決定のために信頼できるように適切に正確であると方法が決定したことを示し、最小値は３Ｄセグメンテーション結果が信頼できないことを示す）。

数値的尺度は、例えば、対応する２Ｄ画像によって提供されるターゲット物体のビューがそれぞれのターゲットビューと一致することを予測する分類結果のパーセンテージ又は比率に基づいて生成される。例えば数値的尺度は、決定されたパーセンテージ／比率と等しいか、又はそれに依存している。

別の例として、例えば２Ｄ画像によって提供されるターゲット物体のビューが２Ｄ画像のターゲットビューと一致する確率（例えば０から１）を予測する数値的指標を、各分類結果が提供する場合、成功スコアの数値的尺度は、各２Ｄ画像の数値的指標の平均である。この実施形態は、セグメンテーションの成功の数値的尺度を推定するための簡単なメカニズムを提供し、間違った２Ｄ画像が多いほど、セグメンテーションが不成功であった可能性が大きくなる。

さらに別の例として、例えば２Ｄ画像によって提供されるターゲット物体のビューが２Ｄ画像のターゲットビューと一致する確率（例えば０から１）を予測する数値的指標を、各分類結果が提供する場合、分類結果は、数値的指標の加重和を実行することによって計算される（例えば低い数値的指標はより重く加重される）。このプロセスは、分類結果によって提供される数値的指標の逆数を使用して実行される。この実施形態は、正確さの低い２Ｄ画像の全体的な成功スコアへの影響を増加させ、これにより、セグメンテーションの成功の指示を向上させる。

バイナリデータ、カテゴリ的データ、又は数値的データを含み得る成功スコアを生成する他の例は、当業者には明らかであろう。

図３は、３Ｄセグメンテーション結果を生成するコンピュータ実施方法３００を示すフローチャートである。

方法３００は、ターゲット物体の３Ｄ画像を取得するステップ３１０を含む。これは、３Ｄ画像の適切な提供部（例えばデータベース）から取得されるか、又は３Ｄイメージングシステム（３Ｄ超音波システム又はＭＲＩシステムなど）から直接取得される。

方法３００はさらに、第１のセグメンテーションアルゴリズムを使用して、取得した３Ｄ画像をセグメント化するステップ３２０を含む。任意の適切なセグメンテーションアルゴリズムを使用でき、また、当業者はすぐに入手できるであろう。いくつかの実施形態では、セグメンテーションアルゴリズムは、ニューラルネットワークなどの機械学習法を使用して３Ｄ画像のセグメンテーションを実行する。３Ｄ画像をセグメント化すると（第１の）セグメンテーション結果が生成される。

方法３００はさらに、セグメンテーション結果（例えばステップ３２０で生成されたセグメンテーション結果）の成功スコアを決定するプロセス２００を含む。プロセス２００については、図２を参照して前述した。

方法３００は次に、判断ステップ３３０に進み、成功スコアに基づいて、セグメンテーションが十分に成功したかどうか（即ち、成功スコアが第１の基準を満たすかどうか）が決定される。

判断ステップ３３０で実行される詳細なプロセスは、成功スコアの性質によって異なる。例えば成功スコアがバイナリ指標の場合、判断ステップ３３０では、セグメンテーションが成功したかどうかを直接決定できる。別の例として、成功スコアが数値的指標である場合、判断ステップ３３０では、セグメンテーションが十分に成功したかどうかを決定するために、成功スコアを所定の閾値（例えば所定の値）と比較する。

ステップ３３０において、セグメンテーションが成功したと決定したことに応じて、方法３００は、セグメンテーション結果を出力するステップ３４５に進む。成功スコアはまた、この段階で出力されて、セグメンテーションの成功に関する追加情報をユーザ（例えば臨床医）に提供し、セグメンテーション結果の信頼性の指標を提供し、これにより（臨床上の）意思決定プロセスを直接向上させる。

いくつかの実施形態では、（ステップ３３０で）セグメンテーションが成功しなかったと決定したことに応じて、方法は、異なる／適応されたセグメンテーションアルゴリズムを使用して３Ｄ画像を再セグメント化して、異なるセグメンテーション結果を生成するステップ３４０に進む。したがって、ステップ３４０は、第２の異なるセグメンテーションアルゴリズムを使用して３Ｄ画像を処理して、新しいセグメンテーション結果を生成することを含む。

ステップ３４０の様々な実施形態が想定され、３Ｄ画像の性質、セグメンテーションアルゴリズム、セグメンテーション結果などによって異なる。

第１のシナリオでは、異なるセグメンテーションアルゴリズムが使用される。当業者は、３Ｄ画像のセグメンテーションに使用できるセグメンテーションアルゴリズムが多数あり、したがって、異なるセグメンテーションアルゴリズムの選択を使用してステップ３３０を実行できることを理解するであろう。

第２のシナリオでは、セグメンテーションアルゴリズムは、セグメンテーションアルゴリズムによって適応及び処理される初期セグメンテーション状態を使用して、セグメンテーション結果（適応／処理されたセグメンテーション状態）を生成する。セグメンテーション状態の適切な例としては、表面メッシュモデル又はマスクがある。

このシナリオでは、ステップ３４０は、画像を再セグメント化する前に（前のセグメンテーションに使用された）初期セグメンテーション状態を修正することを含む。このように、セグメンテーションアルゴリズムは、少なくともアルゴリズムの初期セグメンテーション状態が異なる点で異なる。

一例では、この方法では、初期セグメンテーション状態の要素を定義するために使用されるユーザからのユーザ入力（例えば特定のランドマークを示す）が受信される。例えばターゲットが心臓である場合、ユーザは３Ｄ画像内の心臓の特定の特徴の位置を識別するユーザ入力を提供する。これは、初期セグメンテーション状態の要素を事前に決定するために使用される。この例では、より正確な初期状態があることによって、セグメンテーションの正確さが向上される。

別の例として、初期セグメンテーション状態は、別の対応する３Ｄ画像の成功したセグメンテーション結果に基づいて初期化される。例えば心臓３Ｄ画像には、セグメンテーションのために少なくとも２つの３Ｄ画像のセット（異なる心位相に対応している）が含まれていることがよくある。１つの３Ｄ画像の成功したセグメンテーション結果を使用して、別の対応する３Ｄ画像の初期セグメンテーション状態が定義される。この例では、３Ｄ画像内のターゲット物体をより関連性が高く又は正確に表す初期状態を使用することによって、セグメンテーション結果の正確さを向上させる自動メカニズムを提供する。

第３のシナリオでは、３Ｄ画像を再セグメント化する前に、セグメンテーションアルゴリズムの１つ以上のパラメータ、特徴、又は重みが調整又は微調整される。したがって、セグメンテーションアルゴリズムは、セグメンテーションプロセスを繰り返す前に適応又は修正される。

いくつかの実施形態では、ステップ３４０は、例えばユーザインターフェースでユーザが知覚できる出力を生成して、３Ｄ画像のセグメンテーションが不成功であったことを示す、任意選択で、さらなるセグメンテーション又は再セグメンテーションが進行中であることを示すことを含む。

ステップ３４０を実行した後（実行された場合）、方法３００は、セグメンテーション結果の成功スコアを決定するステップ２００に戻り、ステップ２００は（再）セグメント化された画像を使用して実行される。

このプロセスは、ステップ３４５が実行されるまで、つまり、ステップ３３０でセグメンテーションが成功したと決定されるまで、反復的に繰り返される。

いくつかの実施形態では、画像のセグメント化する試みを停止するかどうかを決定する追加のチェックステップ３５０がある。これには、所定数を超えるセグメンテーション試行が発生したかどうかを決定すること、又は画像のセグメント化をしようとしている間に所定の時間よりも多くの時間が経過したかどうかを決定することが含まれ得る。

ステップ３５０で、方法３００が画像をセグメント化する試みを停止する必要があると決定された場合、方法はエラー出力を生成するステップ３６０に進む。ステップ３６０は、例えばユーザインターフェースにユーザが知覚できる出力を生成して、３Ｄ画像のセグメンテーションが不成功であったことを示すことを含む。

ステップ３５０及び３６０は、３Ｄ画像を成功裏にセグメント化できない場合に、つまり反復的な再セグメンテーションプロセスを中断することで、処理負荷を軽減できる。これは、正確なセグメンテーションを行うには十分ではない情報を３Ｄ画像が提供する場合（アーチファクトが多すぎる場合など）に発生する。

ステップ３５０及び３６０は必須ではなく、省略できる。ステップ３５０及び３６０は、図示するように、ステップ３３０の直後に実行できるが、方法の他の場所に配置されてもよい（ステップ２００の（直）前又はステップ３３０の（直）前など）。

図４は、一実施形態による処理システム４００を示す。処理システムは、ターゲット物体を描写する３Ｄ画像の３Ｄセグメンテーション結果の正確さを決定する。

処理システム４００は、ターゲット物体を描写する３Ｄ画像の３Ｄセグメンテーション結果４９０を取得する取得モジュール４１０を含む。これは、任意の適切なデータベース又は他の処理モジュール（画像セグメンテーションモジュールなど）から取得される。

処理システム４００はまた、３Ｄセグメンテーション結果と３Ｄ画像とを使用してターゲット物体の１つ以上の２Ｄ画像４９７を生成する２Ｄ画像生成モジュール４２０を含む。各２Ｄ画像は、ターゲット物体の異なるターゲットビューを提供することを目的としている。

図示するように、１つ以上の２Ｄ画像４９７は、処理システムから出力されて、例えば当該１つ以上の２Ｄ画像を表示すためのユーザインターフェースで使用できるようになる。

処理システム４００はまた、自動分類プロセスを使用して、生成された各２Ｄ画像を処理する分類モジュール４３０を含む。自動分類プロセスによって、２Ｄ画像によって提供されるターゲット物体のビューが２Ｄ画像のターゲットビューと一致するかどうか、又はどの程度緊密に一致するかの予測を示す分類結果が生成される。

処理システム４００はまた、生成されたすべての２Ｄ画像の分類結果を処理することによって、３Ｄセグメンテーション結果の成功スコア４９５を決定する成功スコア決定モジュール４４０を含む。これは、３Ｄセグメンテーション結果の成功スコアを決定することによって実行される。これには、各２Ｄ画像の１つ以上の分類スコア及び各２Ｄ画像４９７のターゲットビューを処理して、３Ｄセグメンテーション結果の成功スコアを決定することが含まれる。

当業者は、処理システム４００の様々な要素を、任意の前述した又は本明細書で説明した方法を実行するためにどのように適応できるかを理解するであろう。

図５は、ユーザインターフェース５３０において、ターゲット物体の３Ｄ画像から得られた情報を表示する３Ｄ画像システム５００を示している。

３Ｄ画像システム５００は、ターゲット物体の３Ｄ画像を取得する３Ｄ画像取得器を含む。３Ｄ画像取得器の適切な例としては、３Ｄイメージングモジュール（３Ｄ超音波システム又はＭＲＩシステムなど）、メモリ若しくはデータベース、並びに／又はメモリ及び／若しくはデータベースから３Ｄ画像を抽出するプロセッサがある。

３Ｄ画像システム５００はさらに、画像セグメンテーションモジュール５２０を含む。このモジュールは、３Ｄ画像取得器５１０が取得した３Ｄ画像をセグメント化してセグメンテーション結果を生成する。画像セグメンテーションモジュール５２０は、例えば機械学習プロセスを使用してセグメンテーションを実行するが、他のアプローチも企図され、当業者に知られている。

３Ｄ画像システム５００はさらに、図４を参照して説明した処理システム４００を含む。

３Ｄ画像システム５００はさらに、セグメンテーション結果を受け入れるか拒否するかを決定する、つまり、図３で説明されているステップ３３０でのプロセスを実行する判断モジュール５３０を含む。

３Ｄ画像システム５００はさらに、（セグメンテーション結果又はそこから生成された２Ｄ画像の信頼性に関するユーザの理解を向上させ、したがって、ユーザの意思決定を向上させるために）（承認された）セグメンテーション結果、２Ｄ画像、エラーメッセージ、及び／又は成功スコアを表示するユーザインターフェース５４０を含む。３Ｄ画像システム５００はさらに（３Ｄ画像取得器５１０によって）取得された３Ｄ画像を表示する。

本発明の実施形態は、機械学習方法を使用する。第１の例として、分類プロセスでは、１つ以上の機械学習方法を使用して２Ｄ画像が分類される。第２の例として、セグメンテーション結果を生成するプロセスは、機械学習方法を使用して画像をセグメント化することを含む。

機械学習アルゴリズムは、出力データを生成又は予測するために入力データを処理する任意の自己トレーニングアルゴリズムである。第１の例では、入力データは２Ｄ画像を含み、出力データは分類結果を含む。第２の例では、入力データは３Ｄ画像を含み、出力データはセグメンテーション結果を含む。

本発明の使用に適した機械学習アルゴリズムは、当業者には明らかであろう。適切な機械学習アルゴリズムの例としては、決定木アルゴリズム及び人工ニューラルネットワークなどがある。ロジスティック回帰、サポートベクターマシン、ナイーブベイズモデルなどの他の機械学習アルゴリズムはいくつかの適切な代替案である。

人工ニューラルネットワーク（又は、単にニューラルネットワーク）の構造は、人間の脳から発想を得たものである。ニューラルネットワークは層で構成され、各層は複数のニューロンを含む。各ニューロンは数学操作を含む。特に、各ニューロンは、例えば入力データの加重和を計算し、加重和の結果に非線形変換を適用してニューロンの出力を生成する。入力データの処理プロセスでは、各ニューロンの数学操作が入力データに対して行われて、数値出力が生成され、ニューラルネットワークの各層の出力は、次の層に順番に供給される。最終層が出力を提供する。

機械学習アルゴリズムのトレーニング方法はよく知られている。通常、このような方法は、トレーニング入力データエントリと対応するトレーニング出力データエントリ（「グランドトゥルースデータ」）とを含むトレーニングデータセットを取得することを含む。初期化された機械学習アルゴリズムが各入力データエントリに適用されて、予測された出力データエントリが生成される。予測された出力データエントリと対応するトレーニング出力データエントリとのエラーを使用して、機械学習アルゴリズムが修正される。このプロセスはエラーが収束するまで、即ち、予測された出力データエントリがトレーニング出力データエントリと十分に類似する（例えば±１％）まで繰り返される。これは一般に教師付き学習技術として知られている。

例えば、機械学習アルゴリズムがニューラルネットワークから形成される場合、各ニューロンの数学操作（の重み付け）は、エラーが収束するまで修正され得る。ニューラルネットワークを修正する既知の方法には、勾配降下アルゴリズム、誤差逆伝搬アルゴリズムなどがある。

第１の例では、トレーニング入力データエントリはターゲット物体の２Ｄ画像例に対応している。トレーニング出力データエントリはグランドトゥルース分類結果に対応している。第２の例では、トレーニング入力データエントリはターゲット物体の３Ｄ画像例に対応している。トレーニング出力データエントリはグランドトゥルースセグメンテーション結果に対応している。

当業者であれば、本明細書で説明する方法を実行するための処理システムを容易に開発することができるであろう。したがって、フローチャートの各ステップは、処理システムによって実行される異なるアクションを表し、処理システムの対応するモジュールによって実行され得る。

したがって、実施形態は、処理システムを使用する。処理システムは、ソフトウェアやハードウェアを使用して、様々なやり方で実装して、必要な様々な機能を実行することができる。プロセッサは、ソフトウェア（例えばマイクロコード）を使用してプログラムされて、必要な機能を実行する１つ以上のマイクロプロセッサを採用する処理システムの一例である。しかしながら、処理システムは、プロセッサの採用に関係なく実装され得、また、いくつかの機能を実行するための専用ハードウェアと、他の機能を実行するためのプロセッサ（例えば１つ以上のプログラム済みマイクロプロセッサ及び関連回路）との組み合わせとして実装できる。

本開示の様々な実施形態に採用され得る処理システム構成要素の例としては、従来のマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、及びフィールドプログラマブルゲートアレイ（ＦＰＧＡ）が挙げられるが、これらに限定されない。

様々な実装形態では、プロセッサ又は処理システムは、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、及びＥＥＰＲＯＭ（登録商標）などの揮発性及び不揮発性コンピュータメモリなどの１つ以上の記憶媒体と関連付けられ得る。記憶媒体は、１つ以上のプロセッサ及び／又は処理システム上で実行されると、必要な機能を行う１つ以上のプログラムでエンコードされ得る。様々な記憶媒体は、プロセッサ又は処理システム内で固定されていても、そこに保存されている１つ以上のプログラムをプロセッサにロードできるように輸送可能であってもよい。

開示された方法は、好ましくは、コンピュータ実施方法であることが理解されるであろう。そのため、コンピュータなどの処理システム上で実行されたときに、任意の説明した方法を実施するためのコード手段を含むコンピュータプログラムの概念も提案されている。したがって、一実施形態によるコンピュータプログラムのコードの異なる部分、ライン、又はブロックが、処理システム又はコンピュータによって実行されて、本明細書で説明した任意の方法が実行される得る。いくつかの代替の実装形態では、ブロック図又はフローチャートに示されている機能は、図に示されている順序とは異なって生じてもよい。例えば、連続して示されている２つのブロックは、実際には実質的に同時に実行される場合もあれば、これらのブロックは、関与する機能に応じて逆の順序で実行される場合もある。

開示された実施形態の変形は、図面、開示及び添付の特許請求の範囲の検討から、請求項に係る発明を実施する際に当業者によって理解され、実行され得る。特許請求の範囲において、「含む」という語は、他の要素やステップを排除するものではなく、単数形は複数を排除するものではない。単一のプロセッサ又は他のユニットが、特許請求の範囲に記載されているいくつかのアイテムの機能を果たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用できないことを意味するものではない。コンピュータプログラムが上で説明される場合、それは、他のハードウェアと一緒に又はその一部として供給される、光記憶媒体又はソリッドステート媒体などの任意の適切な媒体に格納／配布することができるが、インターネット又はその他の有線若しくは無線通信システムを介してなど他の形式で配布することもできる。「～するように適応される」という用語が、特許請求の範囲又は説明で使用されている場合、「～するように適応される」という用語は「～するように構成されている」という用語と同等であることを意図していることに留意されたい。特許請求の範囲における任意の参照符号は、範囲を限定するものと解釈されるべきではない。

Claims (15)

1. ターゲット物体を描写する３Ｄ画像の３Ｄセグメンテーション結果の成功スコアを決定するコンピュータ実施方法であって、
   前記ターゲット物体を描写する前記３Ｄ画像の前記３Ｄセグメンテーション結果を取得するステップと、
   前記３Ｄセグメンテーション結果及び前記３Ｄ画像を使用して、前記ターゲット物体の１つ以上の２Ｄ画像を生成するステップであって、各２Ｄ画像は前記ターゲット物体のターゲットビューを提供することを目的としており、前記１つ以上の２Ｄ画像が複数の２Ｄ画像を含む場合、各２Ｄ画像は前記ターゲット物体の異なるターゲットビューを提供することを目的としている、生成するステップと、
   自動分類プロセスを使用して、生成された各２Ｄ画像を処理するステップであって、前記自動分類プロセスは、前記２Ｄ画像によって提供される前記ターゲット物体のビューが前記２Ｄ画像の前記ターゲットビューと一致するかどうか、又はどの程度緊密に一致するかの予測を示す分類結果を生成する、処理するステップと、
   すべての生成された２Ｄ画像の前記分類結果を処理することによって、前記３Ｄセグメンテーション結果の成功スコアを決定するステップと、
   を含む、コンピュータ実施方法。
2. 前記分類結果は、２Ｄ画像の１つ以上の分類スコアを含み、各分類スコアは、２Ｄ画像によって提供されるビューが所定のビューと一致する可能性を示す、請求項１に記載のコンピュータ実施方法。
3. 前記３Ｄセグメンテーション結果の成功スコアを決定するステップは、各２Ｄ画像の前記１つ以上の分類スコア及び各２Ｄ画像の前記ターゲットビューを処理して、前記３Ｄセグメンテーション結果の前記成功スコアを決定するステップを含む、請求項２に記載のコンピュータ実施方法。
4. 前記３Ｄセグメンテーション結果の前記成功スコアを決定するステップは、機械学習アルゴリズムを使用して、各２Ｄ画像の前記１つ以上の分類スコア及び各２Ｄ画像の前記ターゲットビューを処理して、前記３Ｄセグメンテーション結果の前記成功スコアを決定するステップを含む、請求項３に記載のコンピュータ実施方法。
5. 前記ターゲット物体は心臓である、請求項１から４のいずれか一項に記載のコンピュータ実施方法。
6. 生成された２Ｄ画像によって提供されるターゲットビューは、前記心臓の２つの腔のビュー、前記心臓の３つの腔のビュー、前記心臓の４つの腔のビュー、又は短軸ビューのうちの１つである、請求項５に記載のコンピュータ実施方法。
7. 前記３Ｄセグメンテーション結果は３Ｄメッシュを含む、請求項１から６のいずれか一項に記載のコンピュータ実施方法。
8. 前記１つ以上の２Ｄ画像は、少なくとも２つの２Ｄ画像、好ましくは、少なくとも３つの２Ｄ画像を含む、請求項１から７のいずれか一項に記載のコンピュータ実施方法。
9. 前記自動分類プロセスは、機械学習方法を使用して前記分類結果を生成する、請求項１から８のいずれか一項に記載のコンピュータ実施方法。
10. ターゲット物体を描写する３Ｄ画像の３Ｄセグメンテーション結果を生成するコンピュータ実施方法であって、
    第１のセグメンテーションアルゴリズムを使用して前記３Ｄ画像を処理して、３Ｄセグメンテーション結果を生成するステップと、
    請求項１から９のいずれか一項に記載の方法を実行することによって、前記３Ｄセグメンテーション結果の成功スコアを決定するステップと、
    を含む、コンピュータ実施方法。
11. 前記３Ｄセグメンテーション結果は第１の基準を満たさないことを示す前記３Ｄセグメンテーション結果の前記成功スコアに応じて、第２の異なるセグメンテーションアルゴリズムを使用して前記３Ｄ画像を処理して、新しいセグメンテーション結果を生成するステップをさらに含む、請求項１０に記載のコンピュータ実施方法。
12. 前記３Ｄセグメンテーション結果は前記第１の基準を満たさないことを示す前記３Ｄセグメンテーション結果の正確さに応じて、ユーザインターフェースを制御して、前記３Ｄセグメンテーション結果は不成功であることを示す、ユーザが知覚可能な出力を提供するステップをさらに含む、請求項１０又は１１に記載のコンピュータ実施方法。
13. 前記第１のセグメンテーションアルゴリズムは、３Ｄ画像をセグメント化するように設定された機械学習方法を含む、請求項１０から１２のいずれか一項に記載のコンピュータ実施方法。
14. コンピュータプログラムコードを含むコンピュータプログラムであって、処理システムを有するコンピューティングデバイス上で実行されると、前記処理システムに、請求項１から１３のいずれか一項に記載の方法のすべてのステップを実行させる、コンピュータプログラム。
15. ターゲット物体を描写する３Ｄ画像の３Ｄセグメンテーション結果の成功スコアを決定するための処理システムであって、
    前記ターゲット物体を描写する前記３Ｄ画像の前記３Ｄセグメンテーション結果を取得する取得モジュールと、
    前記３Ｄセグメンテーション結果及び前記３Ｄ画像を使用して、前記ターゲット物体の１つ以上の２Ｄ画像を生成する２Ｄ画像生成モジュールであって、各２Ｄ画像は前記ターゲット物体のターゲットビューを提供することを目的としており、前記１つ以上の２Ｄ画像が複数の２Ｄ画像を含む場合、各２Ｄ画像は前記ターゲット物体の異なるターゲットビューを提供することを目的としている、２Ｄ画像生成モジュールと、
    自動分類プロセスを使用して、生成された各２Ｄ画像を処理する分類モジュールであって、前記自動分類プロセスは、前記２Ｄ画像によって提供される前記ターゲット物体のビューが前記２Ｄ画像の前記ターゲットビューと一致するかどうか、又はどの程度緊密に一致するかの予測を示す分類結果を生成する、分類モジュールと、
    すべての生成された２Ｄ画像の前記分類結果を処理することによって、前記３Ｄセグメンテーション結果の成功スコアを決定する成功スコア決定モジュールと、
    を含む、処理システム。

Images