JP7453309B2 - 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法 - Google Patents

Description

関連出願
この出願は、２０１７年５月９日に出願された米国仮特許出願第６２／５０３，８３８号に対する優先権を主張するものであり、この米国仮特許出願の開示全体は参照によりその全体が本明細書に援用される。

本開示の様々な実施形態は、全体として、医用イメージング及び関連方法に関する。特に、本開示の特定の実施形態は、画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法に関する。

画像の複数セグメントへの分割の問題は、一般にコンピュータビジョン及び医用画像解析で発生する。現在使用されている手法は、畳み込みニューラルネットワーク（ＣＮＮ）を使用してこのプロセスを自動化するものであり、このＣＮＮは、各画像要素（例えば、ピクセルまたはボクセル）のクラスラベルを予測するように訓練されている。ＣＮＮは通常、複数の畳み込み層を含み、これらの層は入力（例えば、画像または画像の一部）を学習可能なフィルタのセットと非線形活性化関数とに通過させる。畳み込み演算の使用により、ＣＮＮは平行移動に対して同変となる。例えば、入力の平行移動されたバージョンが、予測されたセグメンテーションラベルの比例的に平行移動されたバージョンをもたらし得る。異なるストライドの畳み込みを有した一連の層により、ＣＮＮは局所的、短距離統計の観点から、画像内の長距離相互作用を表現することができる。

ただし、現在のＣＮＮのセグメンテーション境界は、画像要素（例えば、ピクセルまたはボクセル）のレベルまでは正確である可能性がある。多くの画像アプリケーションでは、セグメンテーション境界をピクセルまたはボクセルの位置に配置することにより、量子化誤差が導入され得る。対象構造が穴を含まず、単一の接続された構成要素として存在し得ることが（例えば、先験的に）知られている場合がある。しかし、このような前提がＣＮＮに組み込まれない可能性があり、その結果、予測されたラベルが、セグメント化されたオブジェクト内に偽りの構成要素及び穴を有する場合がある。したがって、サブピクセルまたはサブボクセルの正確なセグメンテーションを達成することができ、穴または分離された構造のない接続された単一の構成要素のラベルを予測することができるＣＮＮなどのモデルを構築することが望まれている。

本開示は、上記の問題または関心のうちの１つ以上を克服することを対象とする。

本開示の特定の態様によれば、画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法が開示される。画像解析における解剖学的構造のセグメンテーションの１つの方法は、１つ以上の画像における解剖学的構造の注釈と複数のキーポイントとを受信すること、複数のキーポイントから解剖学的構造の境界までの距離を計算すること、患者の生体構造の画像における解剖学的構造内の境界を予測するために、１つ以上の画像のデータと計算された距離とを使用してモデルを訓練すること、解剖学的構造を含む患者の生体構造の画像を受信すること、患者の生体構造の画像における解剖学的構造内のセグメンテーション境界を推定すること、及び訓練済みのモデルを使用して、患者の生体構造の画像における解剖学的構造内のキーポイントから、推定された境界までの距離の回帰を生成することによって、患者の生体構造の画像における解剖学的構造内の境界位置を予測することを含む。

別の実施形態によれば、画像解析における解剖学的構造のセグメンテーションのためのシステムが開示される。本システムは、画像解析における解剖学的構造のセグメンテーションのための命令を格納するデータ記憶装置と、命令を実行して、１つ以上の画像における解剖学的構造の注釈と複数のキーポイントとを受信すること、複数のキーポイントから解剖学的構造の境界までの距離を計算すること、患者の生体構造の画像における解剖学的構造内の境界を予測するために、１つ以上の画像のデータと計算された距離とを使用してモデルを訓練すること、解剖学的構造を含む患者の生体構造の画像を受信すること、患者の生体構造の画像における解剖学的構造内のセグメンテーション境界を推定すること、及び訓練済みのモデルを使用して、患者の生体構造の画像における解剖学的構造内のキーポイントから、推定された境界までの距離の回帰を生成することによって、患者の生体構造の画像における解剖学的構造内の境界位置を予測することのステップを含む方法を実行するように構成されたプロセッサと、を含む。

さらに別の実施形態によれば、画像解析における解剖学的構造のセグメンテーションの方法を実施するためのコンピュータ実行可能プログラミング命令を含むコンピュータシステム上で使用するための非一時的コンピュータ可読媒体が提供される。上記の方法は、１つ以上の画像における解剖学的構造の注釈と複数のキーポイントとを受信すること、複数のキーポイントから解剖学的構造の境界までの距離を計算すること、患者の生体構造の画像における解剖学的構造内の境界を予測するために、１つ以上の画像のデータと計算された距離とを使用してモデルを訓練すること、解剖学的構造を含む患者の生体構造の画像を受信すること、患者の生体構造の画像における解剖学的構造内のセグメンテーション境界を推定すること、及び訓練済みのモデルを使用して、患者の生体構造の画像における解剖学的構造内のキーポイントから、推定された境界までの距離の回帰を生成することによって、患者の生体構造の画像における解剖学的構造内の境界位置を予測することを含む。

開示された実施形態のさらなる目的と利点は、以下の説明の中で一部が述べられており、一部はその説明から明らかとなり、または開示された実施形態の実施によって習得することができる。開示された実施形態の目的と利点は、添付の特許請求の範囲において特に指摘された要素及び組み合わせによって実現され達成されよう。

前述の概要と以下の詳細な説明とは共に具体例であって、例示だけを目的としており、特許請求されている開示された実施形態の範囲を限定するものではないことを理解されたい。
本発明は、例えば、以下の項目を提供する。
（項目１）
画像解析における解剖学的構造のセグメンテーションのコンピュータ実施方法であって、
１つ以上の画像における解剖学的構造の注釈と複数のキーポイントとを受信すること、
複数の前記キーポイントから前記解剖学的構造の境界までの距離を計算すること、
患者の生体構造の画像における前記解剖学的構造内の境界を予測するために、１つ以上の前記画像のデータと計算された前記距離とを使用してモデルを訓練すること、
前記解剖学的構造を含む前記患者の生体構造の前記画像を受信すること、
前記患者の生体構造の前記画像における前記解剖学的構造内のセグメンテーション境界を推定すること、及び
訓練済みの前記モデルを使用して、前記患者の生体構造の前記画像における前記解剖学的構造内のキーポイントから、推定された前記境界までの距離の回帰を生成することによって、前記患者の生体構造の画像における前記解剖学的構造内の境界位置を予測することを含む前記コンピュータ実施方法。
（項目２）
前記解剖学的構造の前記注釈が、メッシュ、ボクセル、陰関数曲面表現、または点群の形式である、項目１に記載のコンピュータ実施方法。
（項目３）
前記解剖学的構造内の受信した前記キーポイントの位置が既知である、項目１に記載のコンピュータ実施方法。
（項目４）
形状モデルを前記解剖学的構造に適合させて、複数の前記キーポイントの前記位置を判定することをさらに含む、項目１に記載のコンピュータ実施方法。
（項目５）
前記画像座標が連続的である、項目１に記載のコンピュータ実施方法。
（項目６）
前記マッピングが、複数の極次元から、または１つの次元の極形式と１つ以上の追加の次元の線形形式とから行われる、項目１に記載のコンピュータ実施方法。
（項目７）
前記モデルを訓練する前に、計算された前記距離に関連付けられた光線に沿った画像強度を判定することをさらに含み、前記距離に関連付けられた前記光線が前記ユークリッド空間内の固定位置にある、項目１に記載のコンピュータ実施方法。
（項目８）
前記境界位置を予測することが、前記患者の生体構造の前記画像における前記解剖学的構造内のキーポイントから、推定された前記境界までの前記距離の間接的表現を予測することを含む、項目１に記載のコンピュータ実施方法。
（項目９）
前記患者の生体構造の前記画像における前記解剖学的構造の前記セグメンテーション境界を推定することが、前記解剖学的構造内のキーポイントのセットを取得することを含む、項目１に記載のコンピュータ実施方法。
（項目１０）
前記患者の生体構造の前記画像における前記解剖学的構造内の予測された前記境界位置が、サブボクセルの正確な境界位置である、項目１に記載のコンピュータ実施方法。
（項目１１）
予測された前記境界位置に基づいて３次元表面を構築することをさらに含む、項目１に記載のコンピュータ実施方法。
（項目１２）
予測された前記境界位置を電子記憶媒体に出力することをさらに含む、項目１に記載のコンピュータ実施方法。
（項目１３）
前記解剖学的構造が血管を含み、前記患者の生体構造が前記患者の脈管構造の血管を含む、項目１に記載のコンピュータ実施方法。
（項目１４）
前記解剖学的構造の前記注釈が、血管管腔境界、血管管腔中心線、血管管腔表面、またはこれらの組み合わせを含む、項目１に記載のコンピュータ実施方法。
（項目１５）
１つ以上の前記画像内の複数の画像座標からユークリッド空間へのマッピングを定義することをさらに含み、複数の前記画像座標が前記ユークリッド空間における光線内にあり、複数の前記キーポイントの１つが前記光線のそれぞれの上にあり、前記距離を計算することが、前記光線のそれぞれの上の複数の前記キーポイントから、前記解剖学的構造の前記境界までの距離を計算することを含む、項目１に記載のコンピュータ実施方法。
（項目１６）
生成された前記回帰が連続値である、項目１に記載のコンピュータ実施方法。
（項目１７）
画像解析における解剖学的構造のセグメンテーションのためのシステムであって、
解剖学的構造のセグメンテーションのための命令を格納するデータ記憶装置と、
前記命令を実行して、
１つ以上の画像における解剖学的構造の注釈と複数のキーポイントとを受信すること、
複数の前記キーポイントから前記解剖学的構造の境界までの距離を計算すること、
患者の生体構造の画像における前記解剖学的構造内の境界を予測するために、１つ以上の前記画像のデータと計算された前記距離とを使用してモデルを訓練すること、
前記解剖学的構造を含む前記患者の生体構造の前記画像を受信すること、
前記患者の生体構造の前記画像における前記解剖学的構造内のセグメンテーション境界を推定すること、及び
訓練済みの前記モデルを使用して、前記患者の生体構造の前記画像における前記解剖学的構造内のキーポイントから、推定された前記境界までの距離の回帰を生成することによって、前記患者の生体構造の画像における前記解剖学的構造内の境界位置を予測すること
を含む方法を実行するように構成されたプロセッサと、を備える前記システム。
（項目１８）
前記解剖学的構造が血管を含み、前記患者の生体構造が前記患者の脈管構造の血管を含む、項目１７に記載のシステム。
（項目１９）
前記患者の生体構造の前記画像における前記解剖学的構造内の予測された前記境界位置が、サブボクセルの正確な境界位置である、項目１７に記載のシステム。
（項目２０）
画像解析における解剖学的構造のセグメンテーションの方法を実施するためのコンピュータ実行可能プログラミング命令を含むコンピュータシステム上で使用するための非一時的コンピュータ可読媒体であって、前記方法が、
１つ以上の画像における解剖学的構造の注釈と複数のキーポイントとを受信すること、
複数の前記キーポイントから前記解剖学的構造の境界までの距離を計算すること、
患者の生体構造の画像における前記解剖学的構造内の境界を予測するために、１つ以上の前記画像のデータと計算された前記距離とを使用してモデルを訓練すること、
前記解剖学的構造を含む前記患者の生体構造の前記画像を受信すること、
前記患者の生体構造の前記画像における前記解剖学的構造内のセグメンテーション境界を推定すること、及び
訓練済みの前記モデルを使用して、前記患者の生体構造の前記画像における前記解剖学的構造内のキーポイントから、推定された前記境界までの距離の回帰を生成することによって、前記患者の生体構造の画像における前記解剖学的構造内の境界位置を予測することを含む前記非一時的コンピュータ可読媒体。

添付の図面は、この明細書に組み込まれ、その一部を構成し、種々の例示の実施形態を図示しており、この説明と併せて開示している実施形態の原理を説明するのに役立つ。

本開示の例示的な実施形態による、画像解析における解剖学的構造のセグメンテーションのための例示的なシステム及びネットワークのブロック図である。 図２Ａ及び図２Ｂは、本開示の例示的な実施形態による、画像解析における解剖学的構造のセグメンテーションのための例示的な方法のフローチャートである。 図３Ａ及び図３Ｂは、本開示の例示的な実施形態による、冠状動脈のセグメンテーションに適用される図２Ａ及び図２Ｂの方法の例示的な実施形態のフローチャートである。

以下、本開示の例示的な実施形態について、本開示を例示する添付の図面を参照して詳細に説明する。同じまたは類似の部分を参照するために、可能な限り、図面全体を通して同じ参照番号を使用する。

上記のように、現在の手法によって判定されるセグメンテーション境界の精度は、画像要素、例えば、ピクセルまたはボクセルに制限され得る。このような場合には、セグメンテーション境界をボクセルの位置に配置することによって誤差が導入され得る。場合によっては、現在の予測モデルは、対象構造が穴または分離された構造を含まないことなどの、いくつかの前提を考慮に入れない可能性がある。したがって、サブピクセルまたはサブボクセルの精度でセグメンテーション境界を予測すること、及び／またはモデルに組み込むべき重要な前提を保証することが可能なモデルを構築することが望まれている。

本開示は、セグメンテーション境界位置の正確な予測を可能にすることを対象とする。一実施形態では、本開示は、セグメンテーション境界を推定するための訓練段階及びテスト（または使用）段階の両方を含み得る。訓練済みモデルを構築するための学習システムの１つ以上のパラメータは、訓練段階の間中に最適化され得る。テスト段階では、訓練済みモデルを用いて、目に見えない画像または目に見える画像をセグメント化することができる。

例えば、開示されたシステム及び方法は、対象の患者の受信画像（複数可）の解剖学的構造をセグメント化し、サブピクセルまたはサブボクセルのレベルで対象構造の境界を判定することに応用することができる。本明細書で使用するとき、構造の境界は構造のセグメントの境界を含んでもよい。一実施形態では、訓練段階は、対象構造内のキーポイントから対象構造の境界またはそのセグメントの境界までの距離を予測するためのモデルを構築することを含み得る。例えば、訓練段階は、対象構造内の既知の位置と共に複数のキーポイントを受信し、このキーポイントからそのセグメントの対象構造の境界までの距離を（例えば、既知の位置に基づいて）計算するものであり得る。次に、モデル（例えば、ＣＮＮモデル）が、キーポイントの位置、計算された距離、及び／または受信した画像内のデータに基づいて訓練され得る。訓練済みモデルは、標本距離を回帰分析するか、または標本距離の間接的表現を予測することができる。訓練済みモデルからの回帰は連続値とすることができ、したがって、サブピクセルまたはサブボクセルの精度で、回帰分析された距離に基づき、境界位置を予測することが可能となる。

一実施形態では、テスト段階は、患者の生体構造の画像を受信することを含み得る。患者は、対象の患者、例えば、診断検査を希望する患者であってもよい。テスト段階は、患者の生体構造の１つ以上の画像に基づいて、対象構造の境界を推定し、訓練段階で構築したモデルを使用して、対象構造中のキーポイントから推定境界までの距離を回帰分析することにより、境界位置を予測するものであり得る。

本明細書で使用するとき、「例示的」という用語は、「理想的」ではなく「例」の意味で使用される。この例示的な実施形態は、医用画像解析の文脈で書かれているが、本開示は、あらゆる非医用画像解析またはコンピュータビジョン評価に等しく適用することができる。

次に、図面を参照すると、図１は、画像解析における解剖学的構造のセグメンテーションのためのシステム及びネットワークの例示的な環境のブロック図を示す。具体的には、図１は、複数人の医師１０２及び第三者プロバイダ１０４を示し、そのいずれもが、１つ以上のコンピュータ、サーバ、及び／またはハンドヘルドモバイルデバイスを介してインターネットなどの電子ネットワーク１００に接続され得る。医師１０２及び／または第三者プロバイダ１０４は、１人以上の患者の心臓系、血管系、及び／または器官系の画像を作成しまたは別の方法で取得することができる。医師１０２及び／または第三者プロバイダ１０４は、年齢、病歴、血圧、血液粘度などの患者固有の情報のいずれかの組み合わせを取得することもできる。医師１０２及び／または第三者プロバイダ１０４は、電子ネットワーク１００を介して、心臓／血管／器官の画像及び／または患者固有の情報をサーバシステム１０６に送信することができる。サーバシステム１０６は、医師１０２及び／または第三者プロバイダ１０４から受信した画像及びデータを保存するための記憶装置を含み得る。サーバシステム１０６はまた、記憶装置に記憶された画像及びデータを処理するための処理装置をも含み得る。代替または追加として、本開示の解剖学的構造のセグメンテーション（または本開示のシステム及び方法の一部）は、外部サーバまたはネットワークが不在のローカル処理装置（例えば、ラップトップ機）上で実行されてもよい。

図２Ａ及び図２Ｂは、学習システムを使用して解剖学的構造のセグメンテーションを実施するための例示的な方法について述べたものである。図３Ａ及び図３Ｂでは、図２Ａ及び図２Ｂで述べた方法の特定の実施形態または用途を対象とする。例として、図３Ａ及び図３Ｂでは、学習システムを使用した血管のセグメンテーションの実施形態について説明する。本方法は全て、電子ネットワーク１００を通じて医師１０２及び／または第三者プロバイダ１０４から受信した情報、画像、及びデータに基づいて、サーバシステム１０６によって実施され得る。

図２Ａ及び図２Ｂは、画像解析における解剖学的構造のセグメンテーションのための例示的な方法について述べたものである。一実施形態では、この解剖学的構造のセグメンテーションは２つの段階を含み得る。すなわち、訓練段階及びテスト段階である。訓練段階は、サブピクセルまたはサブボクセルの精度で対象構造またはそのセグメントの境界位置を予測するために、学習システム（例えば、深層学習システム）を訓練することを含み得る。テスト段階は、新規受信された画像における対象構造またはそのセグメントの境界位置を予測することを含み得る。

図２Ａは、様々な実施形態による、境界位置を予測するために学習システム（例えば、深層学習システム）を訓練するための例示的な訓練段階の方法２００のフローチャートである。方法２００は、特定の患者の画像化された対象構造の解剖学的構造セグメンテーションのために、図２Ｂの方法２１０のテスト段階のための基礎を提供することができる。方法２００は、図２Ａに示すステップ２０１～２０７の１つ以上を含み得る。いくつかの実施形態では、方法２００は、ステップ２０１～２０７のうちの１つ以上を繰り返すこと、例えば、ステップ２０１～２０７を１回以上繰り返すことを含んでもよい。

いくつかの実施形態では、方法２００のステップ２０１は、電子記憶媒体（例えば、ハードドライブ、ネットワークドライブ、クラウドドライブ、携帯電話、タブレット、データベースなど）中の１つ以上の画像及び／または画像データを受信することを含み得る。医療の関連では、これらの画像は、例えば、コンピュータ断層撮影（ＣＴ）、陽電子放出型断層撮影（ＰＥＴ）、単一光子放射型コンピュータ断層撮影（ＳＰＥＣＴ）、磁気共鳴断層撮影（ＭＲＩ）、顕微鏡、超音波、（マルチビュー）血管造影などの医用イメージングデバイスが提供しているものであり得る。一実施形態では、一人の患者に対して複数の画像が用いられ得る。さらなる実施形態では、画像は、患者の生体構造を含み得る。他の実施形態では、画像は、類似の解剖学的特徴を有する多数の個人のもの、または異なる解剖学的特徴を有する多数の個人のものであってもよい。医療以外の関連では、これらの画像は、任意の入力元、例えば、カメラ、衛星、レーダ、ライダ、ソナー、望遠鏡、顕微鏡などからのものであってもよい。以下の開示では、ステップ２０１で受信される画像を「訓練画像」と称し得る。

いくつかの実施形態では、ステップ２０２は、訓練画像の１つ以上における１つ以上の対象構造に対する注釈を受信することを含み得る。場合によっては、訓練画像の１つ以上が対象構造、例えば、患者の解剖学的構造を含み得る。一例では、訓練画像の全てが対象構造を含んでもよい。一実施形態では、全ての訓練画像に注釈付けしてもよい。この種の実施形態は、「教師あり学習」と呼ばれることがある。別の実施形態では、注釈付きの訓練画像の一部のみを含んでもよい。この種のシナリオは、「半教師あり学習」と呼ばれることがある。一実施形態では、対象構造には、患者の血管または組織が含まれ得る。そのような場合、注釈（複数可）には、血管名（例えば、右冠動脈（ＲＣＡ）、左前下行枝（ＬＡＤ）、左回旋枝（ＬＣＸ）など）、血管の目標物（例えば、大動脈弁の場所、小孔の場所、分岐点など）、血管の推定位置、標識（例えば、画像があいまいか、または境界がはっきりせず、または不明瞭であると注記された部分）などのラベルが含まれ得る。いくつかの実施形態では、注釈（複数可）は、メッシュ、ボクセル、陰関数曲面表現、または点群を含むがこれらに限定されない様々な形式であってもよい。

いくつかの実施形態では、ステップ２０３は、対象構造内の複数のキーポイントを受信することを含み得る。対象構造内のキーポイントの位置は（例えば、対象構造に対する注釈及び／または受信画像内のデータに基づいて）既知であってもよい。例えば、キーポイントの１つ以上が、対象構造の内部、対象構造の境界上、または対象構造の境界近くにあることが既知の場合がある。いくつかの実施形態では、対象構造に形状モデルを適合させることにより、対象構造の境界位置（例えば、おおよその境界位置）及び／またはキーポイントの位置を判定でき、及び／または対象構造内の既知の位置を有するキーポイントを取得できる。

いくつかの実施形態では、ステップ２０４は、訓練画像内の画像座標からユークリッド空間へのマッピングを定義することを含み得る。画像座標は連続的であってもよい。画像座標は、３Ｄ対象構造及び／または光線の交点であってもよい。画像座標はユークリッド空間の光線内にあってもよい。ステップ２０３で受信したキーポイントの１つが、光線のそれぞれの上に存在してもよい。

一実施形態では、所与のキーポイントが対象構造の内部にあることが既知であってもよい。そのようなシナリオでは、ステップ２０４は、中心に所与のキーポイントがある極形式でマッピングを定式化することを含んでもよい。この設定では、キーポイントから生じる等角方向の等長光線に沿った画像座標を選択することができる。

別のシナリオとして、ステップ２０４のマッピングは、複数の極次元からユークリッド空間へのマッピングを含み得る。例えば、球面座標系から標本抽出して、対象構造（例えば、３次元（３Ｄ）対象構造）をパラメータ化することが可能である。この実施形態では、２つの回転次元は、光線に沿った距離と２つの回転次元に対応付けられた２つの次元とによって与えられる３つのユークリッド次元にマッピングすることができる。

別のシナリオとして、ステップ２０４のマッピングは、１次元の極形式と１つ以上の追加次元の線形形式とからユークリッド空間へのマッピングを含んでもよい。例えば、管状の構造は、一連の閉曲線上の標認点によって表すことができる。その場合、この閉曲線は極形式で表されるのに対して、管に沿った方向では線形となり得る。したがって、このマッピングは、結果的に３次元のユークリッド空間の状態に達する。ここで、第１の次元は標本抽出された光線に沿った距離に相当し、第２の次元は回転次元に相当し、第３の次元は管に沿った線寸法に相当する。

一実施形態では、画像表面に近いキーポイントのセットをステップ２０３で受信することができる。例えば、キーポイントのセットは、所与の３Ｄメッシュまたは３Ｄ陰的表現上の閉曲線のセットに沿って配置され得る。その場合、ステップ２０４は、それぞれがキーポイントを含み、３Ｄメッシュに垂直に向けられる等長光線のセットを画定すること、及び対象構造の境界をさらに精密にすることを含んでもよい。次いで、ステップ２０４でユークリッド空間にマッピングする場合に、画定された光線に沿った距離はユークリッド次元の１つを表し得、その一方で閉曲線上のキーポイントは第２の次元を表し得る。

いくつかの実施形態では、ステップ２０５は、ステップ２０４でマッピングされた光線のそれぞれについて、光線上のキーポイントから対象構造の境界までの距離を計算することを含み得る。この計算された距離を、学習システムの目標値とすることができる。

いくつかの実施形態では、ステップ２０６は、各目標値について、ステップ２０４で画定された光線に沿った画像強度を判定することを含み得る。画定された光線は、光線上のキーポイントに関連付けられており、したがって目標値に関連付けられている。さらに、ステップ２０６は、目標値に関連する光線が固定位置にあることを保証することを含んでもよい。例えば、第１の目標値に関連する第１の光線が、固定された第１の位置にあり得る。他の目標値に関連する他の光線は、第１の光線に対して座標を持つことができ、したがって、これらの他の光線の位置もまた、第１の光線の位置に基づいて固定できる。一実施形態では、目標値距離のそれぞれに対する入力は、互いの巡回変換であってもよい。

いくつかの実施形態では、ステップ２０７は、新規受信された画像における対象構造のセグメンテーション境界位置を予測するためのモデル（例えば、ＣＮＮモデル）を訓練することを含み得る。例えば、キーポイントから対象構造のセグメンテーション境界までの距離を予測するように、モデルを訓練することができる。一実施形態では、距離を回帰分析するためにモデルを訓練してもよい。この回帰値は、境界位置がサブピクセルまたはサブボクセルの精度で予測され得るように連続的であり得る。特定の実施形態では、モデルは、距離の間接的表現を予測することのために訓練されてもよい。例えば、モデルは、光線を複数の小さなビンに量子化してもよく、及び／または距離に相当するビンを予測してもよい。

図２Ｂは、本開示の例示的な実施形態による、特定の患者画像における対象構造のセグメンテーション境界を予測するための例示的なテスト段階（または使用段階）の方法２１０のブロック図である。方法２１０は、ステップ２１１～２１５のうちの１つ以上を含み得る。一実施形態では、セグメンテーションの境界は、（例えば、方法２００が提供している）訓練済みモデルを使用して予測され得る。

いくつかの実施形態では、ステップ２１１は、電子記憶媒体（例えば、ハードドライブ、ネットワークドライブ、クラウドドライブ、携帯電話、タブレット、データベースなど）中の１つ以上の患者の画像を受信することを含み得る。一実施形態では、画像は医用画像を含んでもよく、例えば、画像は任意の医用イメージングデバイス、例えば、ＣＴ、ＭＲ、ＳＰＥＣＴ、ＰＥＴ、顕微鏡、超音波、（マルチビュー）血管造影などが提供しているものであってもよい。一実施形態では、（例えば、方法２００の）訓練画像は、１人の患者から取得した画像を含んでもよく、ステップ２１１は、その１人の患者の画像をも受信することを含み得る。代替として、または追加として、ステップ２１１は、非医用イメージングデバイス、例えば、カメラ、衛星、レーダ、ライダ、ソナー、望遠鏡、顕微鏡などから１つ以上の画像を受信することを含んでもよい。以下のステップでは、ステップ２１１の間に受信される画像を「テスト画像」と称し得る。

いくつかの実施形態では、ステップ２１２は、対象構造のセグメンテーション境界、またはテスト画像内の別のオブジェクト（例えば、対象構造とは異なるオブジェクト）の位置もしくは境界を推定することを含み得る。推定境界または別のオブジェクトの位置もしくは境界を使用して、自動化されたセグメンテーションシステム（例えば、中心線）を初期化することができる。キーポイントのセットを、この初期セグメントから取得することができる。一実施形態では、キーポイントのセットには、対象構造の内部のキーポイントが含まれ得る。

いくつかの実施形態では、ステップ２１３は、テスト画像内の画像座標からユークリッド空間へのマッピングを定義することを含み得る。画像座標は連続的であってもよい。画像座標はユークリッド空間の光線内にあってもよい。キーポイントを含むことができる光線のそれぞれに、キーポイント（例えば、ステップ２０２で取得されたキーポイントの１つ）が存在してもよい。一実施形態では、このマッピングの入力は、ステップ２０４でのマッピングの入力に類似していてもよい。

いくつかの実施形態では、ステップ２１４は、方法２００によって訓練されたモデルを使用して、対象構造の境界を予測することを含み得る。一実施形態では、この予測は、ステップ２１３で画定された光線上のキーポイントから推定境界までの距離を回帰分析することを含んでもよい。場合によっては、この回帰は連続値とすることができ、したがって、境界をサブピクセルまたはサブボクセルの精度で予測することができる。一実施形態では、ステップ２１４は、さらに、予測された境界（例えば、境界点群）から表面を取得することを含み得る。この表面は、ポアソン表面再構成などの表面再構成法を使用して取得することができる。

いくつかの実施形態では、ステップ２１５は、対象構造の予測された境界（例えば、完全なセグメンテーション境界）を電子記憶媒体（例えば、ハードドライブ、ネットワークドライブ、クラウドドライブ、携帯電話、タブレット、データベースなど）に出力することを含み得る。さらに、ステップ２１５は、インタフェース上に出力結果を表示することを含んでもよい。

図３Ａ及び図３Ｂは、図２Ａ及び図２Ｂで説明した例示的な方法の特定の実施形態または応用を対象とする。例えば、図３Ａ及び図３Ｂは、それぞれ、画像分析における冠状動脈のセグメンテーションのための例示的な訓練段階及びテスト段階について述べたものである。

血管、例えば、冠状動脈の患者固有のセグメンテーションの精度は、血流シミュレーションや血管の幾何学的特性の計算といった医学的評価に影響を与える可能性がある。セグメンテーションの精度が十分ではない場合、例えば、画像要素のレベル（例えば、ピクセルまたはボクセル）に制限されている場合、医療評価は誤った結果を生成する可能性がある。図３Ａ及び図３Ｂは、サブピクセルまたはサブボクセルの精度で冠状動脈をセグメント化するための例示的な方法を示す。本明細書の例示的な方法では冠状動脈が使用されるが、図３Ａ及び図３Ｂに示す方法は、他種の血管または血管以外の解剖学的構造のセグメンテーションにも使用され得る。

図３Ａは、様々な実施形態による、冠状動脈のサブボクセルセグメンテーションのための基礎を提供するように設計された訓練段階の例示的な方法３００のフローチャートである。方法３００は、図３Ａに示すステップ３０１～３０８の１つ以上を含み得る。いくつかの実施形態では、方法２００は、ステップ３０１～３０８のうちの１つ以上を繰り返すこと、例えば、ステップ３０１～３０８を１回以上繰り返すことを含んでもよい。

いくつかの実施形態では、ステップ３０１は、電子記憶媒体（例えば、ハードドライブ、ネットワークドライブ、クラウドドライブ、携帯電話、タブレット、データベースなど）中の１つ以上の冠状動脈の画像を受信することを含み得る。これらの画像は、ＣＴ、ＭＲ、ＳＰＥＣＴ、ＰＥＴ、超音波、（マルチビュー）血管造影などの医用イメージングデバイスからのものであってもよい。これらの画像を「訓練画像」と称し得る。

いくつかの実施形態では、ステップ３０２は、訓練画像の１つ以上における冠状動脈に対する注釈を受信することを含み得る。例えば、注釈は、血管管腔境界及び／または血管管腔中心線（複数可）を含むものであってもよい。一実施形態では、ステップ３０３は、受信した画像に表された冠状血管の幾何学的メッシュを受信し、または生成することを含み得る。幾何学的メッシュは、頂点及びエッジのセットとして指定することができる。代替として、または追加として、ステップ３０３は、冠状血管の中心線を受信することを含んでもよい。中心線は、エッジで接続され得る頂点のセットとして表すこともできる。

いくつかの実施形態では、ステップ３０３は、訓練画像データ（例えば、幾何学的メッシュ、頂点、エッジ、中心線など）を曲線平面表現（ＣＰＲ）に変換することを含み得る。この変換によって、血管セグメンテーションプロセスが簡素化することを可能にし得る。例えば、平面（例えば、フレーム）のセットを中心線に沿って（例えば、中心線に直交して）抽出して、３Ｄボリュームを構成することができる。一実施形態では、３ＤボリュームはＣＰＲを含んでもよく、基準の座標系フレームが２つの次元を定義し、中心線の長さが第３の次元を定義する。一実施形態では、曲線平面表現では、自由度（例えば、中心線の曲率）を除外してもよく、この自由度は、冠状血管の１つ以上のパラメータを予測することに関係しない可能性がある。例えば、中心線の曲率は、冠状血管の管腔境界の位置に関係したパラメータを決定するのには無関係であり得る。

いくつかの実施形態では、ステップ３０４は、画像データに基づいてキーポイントを定義することを含み得る。例えば、ステップ３０４は、冠状動脈の中心線上の点をキーポイントとして定義することを含んでもよい。このように定義されたキーポイントは、血管の内部にあると解釈され得る。これらのキーポイントは、必ずしも中央に配置されなくてもよい。それにもかかわらず、場合によっては、これらのキーポイントは、構造によって、各フレームの中心にある場合がある。

いくつかの実施形態では、ステップ３０５は、各フレームについて、テスト画像内の画像座標からユークリッド空間へのマッピングを定義することを含み得る。一実施形態では、このマッピングは、フレーム内の極座標サンプリングを使用して定義することができる。特定の実施形態では、マッピングを定義することは、ステップ３０４で定義されたキーポイントの周りの角度方向のセットにおけるＣＰＲ強度値を判定することを含み得る。判定されたＣＰＲ強度値は、例えば、半径座標及び角度座標が２次元（２Ｄ）画像にマッピングされるように配置されてもよい。例えば、フレームの半径成分及び角度成分によって指定されるサンプルの離散セットは、半径成分及び角度成分を指し示す２Ｄ画像の行と列とにマッピングすることができる。ＣＰＲ強度値の各行は動径座標として定義されてもよく、ＣＰＲ強度値の各列は角度座標として定義されてもよい。

一部の実施形態では、ステップ３０６は、目標回帰値を定義することを含み得る。この目標回帰値は、所与のキーポイントから各角度方向の血管管腔の境界までの距離として定義することができる。一実施形態では、ステップ３０６は、ｒ角度方向の目標回帰値を定義することを含み得る。例えば、ｒ角度方向の所与の目標距離値について、所与の目標回帰値に関連付けられたｒ角度方向に関連付けられた列が第１の列になるように、ステップ３０５で作成された２Ｄ画像が循環的に回転され得る。例えば、全てのｒ目標値を予測するときに、それぞれが入力画像の異なる列に関連付けられている場合、列は循環的に回転され得る。画像がｒ列だけ回転した場合には、ｒ番目の列が第１の列になり、第１の列の目標値を予測するために使用されるのと同じモデルを、循環回転の後に第１の列にあるｒ番目の列の目標値に適用することができる。

いくつかの実施形態では、ステップ３０７は、所与のキーポイントから血管管腔の境界までの距離を予測するためのモデル（例えば、ＣＮＮモデル）を訓練することを含み得る。一実施形態では、訓練済みモデルは、ステップ３０５で作成された２Ｄ画像のそれぞれから関連する目標距離値へのマッピングを予測することができる。損失関数が、予測距離と目標距離との間の平均二乗誤差を最小化するように指定されてもよい。本明細書で使用するとき、損失関数は、予測値と目標値との間の誤差を指定することができ、適切なモデルパラメータを学習するために最適化される目的関数の積分の部分である。例えば、損失関数は、平均二乗誤差、例えば、予測値と目標値との間の差の二乗平均であってもよい。

図３Ｂは、一実施形態による、患者の血管（例えば、冠状動脈）のサブボクセルセグメンテーションを提供し得るテスト段階のための例示的な方法３１０のブロック図である。いくつかの実施形態では、ステップ３１１は、電子記憶媒体（例えば、ハードドライブ、ネットワークドライブ、クラウドドライブ、携帯電話、タブレット、データベースなど）中の患者の冠状動脈の画像データを受信することを含み得る。

いくつかの実施形態では、ステップ３１２は、例えば、中心線検出アルゴリズムを使用して、血管の中心線の予測を受信することを含み得る。一実施形態では、ステップ３１２は、受信した画像または画像データをＣＰＲに変換することを含んでもよい。この変換によって、血管セグメンテーションプロセスが簡素化することを可能にし得る。例えば、平面（例えば、フレーム）のセットを血管管腔の中心線に沿って（例えば、中心線に直交して）抽出して、３Ｄボリューム（例えば、ＣＰＲ）を構成することができる。一実施形態では、３ＤボリュームはＣＰＲを含んでもよく、基準の座標系フレームが２つの次元を定義し、中心線の長さが第３の次元を定義する。変換パラメータ（例えば、平行移動、拡大縮小、回転）は保存することができる。

いくつかの実施形態では、ステップ３１３は、血管の中心線上の点をキーポイントとして定義することを含んでもよい。

いくつかの実施形態では、ステップ３１４は、ステップ３１２で定義されたフレームのそれぞれについて、患者の画像内の画像座標のユークリッド空間へのマッピングを定義することを含み得る。例えば、このマッピングは、フレーム内の極座標サンプリングを使用して定義することができる。このステップは、方法３００の１つ以上のステップに類似していてもよい。

いくつかの実施形態では、ステップ３１５は、ステップ３１３で定義されたキーポイントの周りの角度方向のセットにおけるＣＰＲ強度値を判定することを含み得る。判定されたＣＰＲ強度値は、半径座標及び角度座標が２次元（２Ｄ）画像にマッピングされるように配置されてもよい。所与の目標距離値に関連付けられたｒ角度方向に関連付けられた列が第１の列になるように、２Ｄ画像を循環的に回転させることができる。さらに、ステップ３１５は、２Ｄ画像の（ｒ角度方向に）循環的に回転したバージョンを作成することを含み得る。

いくつかの実施形態では、ステップ３１６は、方法３００で訓練されたモデルを使用して患者の冠状動脈のセグメンテーション境界を予測することを含み得る。一実施形態では、ステップ３１６は、ステップ３１５で作成された回転画像のそれぞれの第１の列に関連する距離を予測し、したがってＣＰＲ表現の境界の標認点を予測することを含んでもよい。一実施形態では、ステップ３１６は、患者の画像化された冠状動脈の解剖学的モデルを生成することを含み得る。解剖学的モデルは、サブピクセルまたはサブボクセルの精度を有する最終的な管腔セグメンテーションを含むことができる。例えば、ステップ３１７は、予測された標認点（複数可）をＣＰＲ表現から元の３Ｄ画像空間に変換することを含み得る。中心線に沿った各フレームの方向及び位置は、ＣＰＲの作成から判定され得る。例えば、この方向及び位置は、ステップ３１２で判定され保存されてもよい。一実施形態では、３Ｄ点はＣＰＲから計算することができ、任意の３Ｄ表面再構成法（例えば、ポアソン表面再構成）が標認点（複数可）の点群に適用されて、解剖学的モデルまたは患者の冠状動脈の最終的な管腔セグメンテーションを構築することができる。

いくつかの実施形態では、ステップ３１７は、解剖学的モデル及び／または血管の完全なセグメンテーション境界を電子記憶媒体（例えば、ハードドライブ、ネットワークドライブ、クラウドドライブ、携帯電話、タブレット、データベースなど）及び／またはディスプレイに出力することを含み得る。

本発明の他の実施形態は、本明細書の考察と本明細書に開示された本発明の実施とから、当業者には明らかであろう。本明細書及び実施例は例示的なものとしてのみ考慮されることを意図しており、本発明の真の範囲と趣旨とは添付の特許請求の範囲によって示される。

Claims (20)

1. 画像解析における解剖学的構造のセグメンテーションのコンピュータ実施方法であって、前記コンピュータ実施方法は、
   患者の解剖学的構造の第１の画像データを受信することと、
   前記解剖学的構造の境界の推定値を取得することと、
   前記解剖学的構造の中心線を決定することと、
   前記受信された第１の画像データから複数のフレームを抽出することであって、前記複数のフレームにおける各連続するフレームは、前記中心線に直交しかつ前記中心線の長さに沿ってそれぞれの連続点で前記中心線と交差するそれぞれの平面を画定し、各フレームは、複数のピクセルまたはボクセルから形成される、ことと、
   各フレームにおいて、前記中心線と前記それぞれの平面との交点に基づいて、前記解剖学的構造の中心点を決定することと、
   訓練された畳み込みニューラルネットワーク（ＣＮＮ）を使用して、前記第１の画像データ、各フレームの前記決定された中心点、および前記解剖学的構造の前記境界の前記推定値に基づいて、前記第１の画像データにおける前記解剖学的構造の前記境界の複数の位置の予測を生成することであって、前記訓練されたＣＮＮは、前記第１の画像データにおける前記解剖学的構造の前記境界の前記複数の位置の前記予測を生成するために、各中心点から複数の半径角度方向の各々に沿って前記複数のフレーム内の前記ピクセルまたはボクセルの強度値の回帰を実行するように構成されている、ことと
   を含む、コンピュータ実施方法。
2. 前記訓練されたＣＮＮは、（ｉ）１つ以上の個体の前記解剖学的構造の第２の画像データ、（ｉｉ）前記１つ以上の個体の前記解剖学的構造内の複数のキーポイント、および（ｉｉｉ）前記１つ以上の個体の前記解剖学的構造の前記境界と前記複数のキーポイントとの間の距離に基づいて訓練された、請求項１に記載のコンピュータ実施方法。
3. 前記訓練されたＣＮＮが構築される前に、前記第２の画像データの各フレームの１つ以上の中心点から前記複数の半径角度方向の各々に沿った前記第２の画像データにおける複数のフレーム内のピクセルまたはボクセルの強度値のさらなる回帰が実行された、請求項２に記載のコンピュータ実施方法。
4. 前記回帰は、連続回帰である、請求項１に記載のコンピュータ実施方法。
5. 前記強度値の前記さらなる回帰は、
   前記第２の画像データにおける各フレームのそれぞれのセグメント内のピクセルまたはボクセルの行のうちの少なくとも第１の行に対して回帰を実行することと、
   ピクセルまたはボクセルの前記行を循環的に回転させることにより、最終行が前記第１の行の代わりとなるように再配列され、任意の残りの行が１だけシフトされるようにすることと、
   前記回帰が前記フレームの各行に対して実行されるまで、前記回帰および前記循環的回転の実行を繰り返すことと
   を含む、請求項３に記載のコンピュータ実施方法。
6. 各フレームは、前記解剖学的構造のそれぞれのセグメントに対応している、請求項１に記載のコンピュータ実施方法。
7. 前記解剖学的構造の前記境界の前記推定値は、メッシュ、ボクセル、陰関数曲面表現、または点群の形式である、請求項１に記載のコンピュータ実施方法。
8. 各中心点の相対位置は、各フレームに対して固定されている、請求項１に記載のコンピュータ実施方法。
9. 前記複数のフレームの前記複数の位置の前記予測は共に、点群を形成し、
   前記コンピュータ実施方法は、前記点群に基づいて、前記境界の連続表面を生成することをさらに含む、請求項１に記載のコンピュータ実施方法。
10. 前記解剖学的構造は、血管を含む、請求項１に記載のコンピュータ実施方法。
11. 前記境界は、血管管腔境界、血管管腔表面、またはこれらの組み合わせと関連付けられている、請求項１０に記載のコンピュータ実施方法。
12. 前記解剖学的構造の前記境界の前記複数の位置の前記予測は、サブピクセルまたはサブボクセルの精度を有する、請求項１に記載のコンピュータ実施方法。
13. 画像解析における解剖学的構造のセグメンテーションのためのシステムであって、
    少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに作用可能に接続されたメモリと
    を備え、前記メモリは、
    訓練された畳み込みニューラルネットワーク（ＣＮＮ）と、
    動作を実行するように前記少なくとも１つのプロセッサによって実行可能な命令と
    を記憶し、前記動作は、
    患者の解剖学的構造の第１の画像データを受信することと、
    前記解剖学的構造の境界の推定値を取得することと、
    前記解剖学的構造の中心線を決定することと、
    前記受信された第１の画像データから複数のフレームを抽出することであって、前記複数のフレームにおける各連続するフレームは、前記中心線に直交しかつ前記中心線の長さに沿ってそれぞれの連続点で前記中心線と交差するそれぞれの平面を画定し、各フレームは、複数のピクセルまたはボクセルから形成されている、ことと、
    各フレームにおいて、前記中心線と前記それぞれの平面との交点に基づいて、前記解剖学的構造の中心点を決定することと、
    訓練された畳み込みニューラルネットワーク（ＣＮＮ）を使用して、前記第１の画像データ、各フレームの前記決定された中心点、および前記解剖学的構造の前記境界の前記推定値に基づいて、前記第１の画像データにおける前記解剖学的構造の前記境界の複数の位置の予測を生成することと
    を含み、前記訓練されたＣＮＮは、各フレームに対して、前記第１の画像データにおける前記解剖学的構造の前記境界の前記複数の位置の前記予測を生成するために、各中心点から複数の半径角度方向の各々に沿って前記フレームを含む複数の隣接フレーム内の前記ピクセルまたはボクセルの強度値の回帰を実行するように構成され、
    前記複数の隣接フレームは、前記フレームの近位の第１の複数のフレームと、前記フレームと、前記フレームの遠位の複数のフレームとを含む、システム。
14. 前記訓練されたＣＮＮは、（ｉ）１つ以上の個体の前記解剖学的構造の第２の画像データ、（ｉｉ）前記１つ以上の個体の前記解剖学的構造内の複数のキーポイント、および（ｉｉｉ）前記１つ以上の個体の前記解剖学的構造の前記境界と前記複数のキーポイントとの間の距離に基づいて訓練された、請求項１３に記載のシステム。
15. 前記訓練されたＣＮＮが構築される前に、前記第２の画像データにおける各フレームに対して、前記第２の画像データの各フレームの１つ以上の中心点から前記複数の半径角度方向の各々に沿った前記フレームを含む複数の隣接フレーム内のピクセルまたはボクセルの強度値のさらなる回帰が実行されており、
    前記回帰および前記さらなる回帰は、連続回帰である、請求項１４に記載のシステム。
16. 前記強度値の前記さらなる回帰は、
    前記第２の画像データにおける各フレームのそれぞれのセグメント内のピクセルまたはボクセルの行のうちの第１の行および少なくとも１つの隣接行に対して回帰を実行することと、
    ピクセルまたはボクセルの前記行を循環的に回転させることにより、最終行が前記第１の行の代わりとなるように再配列され、任意の残りの行が１だけシフトされるようにすることと、
    前記回帰が前記フレームの各行に対して実行されるまで、前記回帰および前記循環的回転の実行を繰り返すことと
    を含む、請求項１５に記載のシステム。
17. 前記解剖学的構造の前記境界の前記推定値は、メッシュ、ボクセル、陰関数曲面表現、または点群の形式であり、
    前記複数のフレームの前記複数の位置の前記予測は共に、点群を形成し、
    前記動作は、前記点群に基づいて、前記境界の連続表面を生成することをさらに含む、請求項１３に記載のシステム。
18. 前記解剖学的構造は、血管を含み、
    前記境界は、血管管腔境界、血管管腔表面、またはこれらの組み合わせと関連付けられており、
    前記解剖学的構造の前記境界の前記複数の位置の前記予測は、サブピクセルまたはサブボクセルの精度を有する、請求項１に記載のコンピュータ実施方法。
19. 画像解析における解剖学的構造のセグメンテーションのためのコンピュータ実行可能プログラミング命令と訓練された畳み込みニューラルネットワーク（ＣＮＮ）とを含むコンピュータシステム上で使用するための非一時的コンピュータ可読媒体であって、前記コンピュータ実行可能プログラミング命令は、
    患者の解剖学的構造の第１の画像データを受信することと、
    前記解剖学的構造の境界の推定値を取得することと、
    前記解剖学的構造の中心線を決定することと、
    前記受信された第１の画像データから複数のフレームを抽出することであって、前記複数のフレームにおける各連続するフレームは、前記中心線に直交しかつ前記中心線の長さに沿ってそれぞれの連続点で前記中心線と交差するそれぞれの平面を画定し、各フレームは、複数のピクセルまたはボクセルから形成される、ことと、
    各フレームにおいて、前記中心線と前記それぞれの平面との交点に基づいて、前記解剖学的構造の中心点を決定することと、
    訓練された畳み込みニューラルネットワーク（ＣＮＮ）を使用して、前記第１の画像データ、各フレームの前記決定された中心点、および前記解剖学的構造の前記境界の前記推定値に基づいて、前記第１の画像データにおける前記解剖学的構造の前記境界の複数の位置の予測を生成することと
    を含む動作を実行し、前記訓練されたＣＮＮは、前記第１の画像データにおける前記解剖学的構造の前記境界の前記複数の位置の前記予測を生成するために、各中心点から複数の半径角度方向の各々に沿って前記複数のフレーム内の前記ピクセルまたはボクセルの強度値の回帰を実行するように構成されている、非一時的コンピュータ可読媒体。
20. 前記訓練されたＣＮＮは、（ｉ）１つ以上の個体の前記解剖学的構造の第２の画像データ、（ｉｉ）前記１つ以上の個体の前記解剖学的構造内の複数のキーポイント、および（ｉｉｉ）前記１つ以上の個体の前記解剖学的構造の前記境界と前記複数のキーポイントとの間の距離に基づいて訓練された、請求項１９に記載の非一時的コンピュータ可読媒体。