JP2023517058A - 画像処理に基づく腫瘍の自動検出 - Google Patents

Abstract

本明細書に開示される方法およびシステムは、一般に、腫瘍の少なくとも一部が画像に表されているかどうかを推定するために画像を処理することに関する。コンピュータ実装方法は、特定の被験者の生物学的構造の少なくとも一部の画像にアクセスすることと、セグメンテーションアルゴリズムを使用して画像を処理して、画像に描写された複数の画像オブジェクトを抽出することと、複数の画像オブジェクトのうちの画像オブジェクトと関連付けられた１つ以上の構造的特性を決定することと、訓練された機械学習モデルを使用して１つ以上の構造的特性を処理して、画像オブジェクトが生物学的構造と関連付けられた病変または腫瘍に対応するかどうかの推定に対応する推定データを生成することと、特定の被験者についての推定データを出力することと、を含む。【選択図】図１

Description

関連出願の相互参照
本出願は、２０２０年３月１３日に出願された米国仮特許出願第６２／９８９，２６１号の利益および優先権を主張し、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。

分野
本明細書に開示される方法およびシステムは、一般に、腫瘍の少なくとも一部が画像に表されているかどうかを推定するために画像を処理するための方法およびシステムに関する。

背景
医療イメージング技術の最近の発展は、はるかに改善された画質を有する画像出力をもたらした。より高い品質に関連する画像は、医療従事者が被験者に関連する症状をより正確に識別し、様々な種類の疾患を診断することを可能にした。さらに、画像処理システムは、これらの画像に対するより良い洞察を得るために機械学習技術を使用し始めている。例えば、従来の手法は、訓練された機械学習モデルを使用して、画像に関連する特徴に基づいて組織タイプを決定することを含むことができる。

訓練された機械学習モデルを使用することは、組織および／または腫瘍に対応する画像オブジェクトを識別するために画像をセグメント化するのを助けることができるが、これらの機械学習モデルを訓練することは困難になる。これは、機械学習モデルを訓練することが、典型的には、個々の画像を手動でラベル付けする時間のかかるプロセスを伴うためである。さらに、画像の手動ラベル付けは、正確性を確保するために多数の専門家を必要とする場合がある。訓練画像内の特徴の特定のセットがラベル付けプロセスを混乱させる可能性がある場合、機械学習モデルを訓練することも困難であり得る。例えば、大きな未知の塊を示す訓練画像は、疾患の診断に関連することがある訓練画像内の他の特徴を不明瞭にすることがある。これは、その後、分析を実行するのに必要な時間を増加させるか、または機械学習分類の誤り率を増加させることによって、機械学習モデルの訓練プロセスを妨げることがある。

概要
いくつかの実施形態では、コンピュータ実装方法は、特定の被験者の生物学的構造の少なくとも一部の画像にアクセスすることを含む。場合によっては、画像は、生物学的構造の一部を描写する３次元画像である。コンピュータ実装方法はまた、セグメンテーションアルゴリズムを使用して画像を処理して、画像に描写された複数の画像オブジェクトを抽出することを含むことができる。コンピュータ実装方法はまた、複数の画像オブジェクトのうちの画像オブジェクトに関連付けられた１つ以上の構造的特性を決定することを含むことができる。コンピュータ実装方法はまた、訓練された機械学習モデルを使用して１つ以上の構造的特性を処理して、画像オブジェクトが生物学的構造と関連付けられた病変または腫瘍に対応するかどうかの推定に対応する推定データを生成することを含むことができる。訓練された機械学習モデルは、訓練画像のセットから構築された３次元モデルによって訓練されることができる。コンピュータ実装方法はまた、特定の被験者の推定データを出力することを含むことができる。

場合によっては、生物学的構造の少なくとも一部は、肺の少なくとも一部を含む。画像は、生物学的構造の少なくとも一部を囲む骨格構造を描写することができる。画像は、生物学的構造の少なくとも一部の横断面を描写することができる。画像は、マイクロコンピュータ断層撮影スキャナとすることができるコンピュータ断層撮影スキャナを使用して取り込まれた画像データを含むことができ、または画像データから導出されていてもよい。１つ以上の構造的特性は、画像オブジェクトの形状、位置、表面積、および／または最長直径を含むことができる。

場合によっては、セグメンテーションアルゴリズムを使用して画像を処理することは、他の画像オブジェクトに関連付けられた１つ以上の構造的特性を決定することを含む。セグメンテーションアルゴリズムを使用して画像を処理することはまた、訓練された機械学習モデルを使用して他の画像オブジェクトの１つ以上の構造的特性を処理して、他の画像オブジェクトが生物学的構造のタイプに対応するかどうかの推定に対応する推定データを生成することを含むことができる。場合によっては、訓練された機械学習モデルは、１つ以上の構造的特性を処理して、画像に示される腫瘍負荷のレベルを識別する。セグメンテーションアルゴリズムを使用して画像を処理することはまた、他の画像オブジェクトに関連付けられた推定データを出力することを含むことができる。生物学的構造の種類は、血管、肺、心臓、および／または肝臓を含むことができる。

場合によっては、セグメンテーションアルゴリズムは、ウォーターシェッド変換アルゴリズムである。訓練された機械学習モデルは、訓練されたサポートベクターマシン（ＳＶＭ）とすることができる。

場合によっては、コンピュータ実装方法は、訓練された画像前処理機械学習モデルを使用して画像を前処理してフィルタを生成することを含む。フィルタが適用されて、画像から１つ以上の画像領域を分離することによってフィルタリングされた画像を生成することができる。分離された画像領域は、生物学的構造を示すことができる。場合によっては、訓練された画像前処理機械学習モデルは、Ｕ－ＮｅｔまたはＶ－Ｎｅｔモデルを含む。コンピュータ実装方法はまた、セグメンテーションアルゴリズムを使用してフィルタリングされた画像の分離された画像領域を処理して、画像に描写された複数の画像オブジェクトを抽出することを含むことができる。訓練された画像前処理機械学習モデルは、訓練された畳み込みニューラルネットワーク機械学習モデルとすることができる。

場合によっては、コンピュータ実装方法は、画像フィルタを使用して画像を処理して、生物学的構造の少なくとも一部を囲む１つ以上の骨格構造を除外するフィルタリングされた画像を生成することを含む。フィルタリングされた画像が画像の代わりに使用されて、画像オブジェクトを複数の画像オブジェクトから分離することができる。

場合によっては、コンピュータ実装方法は、画像を基準画像と位置合わせするために共位置合わせを使用して画像を処理することを含む。位置合わせされた画像は、複数の画像オブジェクトから画像オブジェクトを抽出するために画像の代わりに使用されることができる。

場合によっては、コンピュータ実装方法は、画像をバイナリ画像に変換することを含む。コンピュータ実装方法はまた、塗りつぶし操作を使用することによってバイナリ画像の１つ以上のピクセルを変換することを含むことができる。コンピュータ実装方法はまた、収縮および拡張操作を実行して、バイナリ画像から画像ノイズを低減することを含むことができる。

場合によっては、セグメンテーションアルゴリズムを使用して画像を処理することは、複数の画像オブジェクトのうちの２つ以上の重なり合う画像オブジェクト間の境界を識別するために負の距離変換関数を画像に適用することを含む。

いくつかの実施形態では、１つ以上のデータプロセッサと、命令を含む非一時的コンピュータ可読記憶媒体であって、命令が、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させる、非一時的コンピュータ可読記憶媒体と、を含む、システムが提供される。

いくつかの実施形態では、非一時的機械可読記憶媒体に有形に具現化され、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させるように構成された命令を含む、コンピュータプログラム製品が提供される。

本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、命令が、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる、非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。

使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。

本開示は、以下の添付の図面と併せて説明される：

いくつかの実施形態にかかる、腫瘍の少なくとも一部が画像に表されているかどうかを推定するために画像を処理するための例示的なコンピューティング環境を示している。

いくつかの実施形態にかかる、腫瘍の少なくとも一部が画像に表されているかどうかを推定するために画像を処理するための画像処理システムの例示的な概略図を示している。

いくつかの実施形態にかかる例示的なＵ－Ｎｅｔを示している。

いくつかの実施形態にかかる残差ブロックを示している。

いくつかの実施形態にかかるピラミッド層を示している。

いくつかの実施形態にかかる、画像前処理に使用されるＶ－Ｎｅｔアーキテクチャの例示的な概略図を示している。

訓練された画像前処理機械学習モデルの性能を示すグラフの例示的なセットを示している。

いくつかの実施形態にかかる、入力画像から生物学的構造を識別する画像フィルタサブシステムの例示的な概略図を示している。

いくつかの実施形態にかかる、フィルタリングされた画像をバイナリ画像に変換するバイナリ変換器サブシステムの例示的な概略図を示している。

いくつかの実施形態にかかる、バイナリ画像を単一の空間座標系に位置合わせする画像位置合わせサブシステムの例示的な概略図を示している。

いくつかの実施形態にかかる、位置合わせされた画像から画像オブジェクトのセットを抽出する画像セグメンテーションサブシステムの例示的な概略図を示している。

いくつかの実施形態にかかる、画像オブジェクトに関連付けられた構造的特性のセットを識別する特徴抽出器サブシステムの例示的な概略図を示している。

画像セグメンテーションサブシステムによって検出された画像オブジェクトの重心位置の分布に対応するボックスプロットの例示的なセットを示している。

画像セグメンテーションサブシステムによって検出された画像オブジェクトの向きの分布に対応するボックスプロットの例示的なセットを示している。

画像セグメンテーションサブシステムによって検出された画像オブジェクトの主軸長の分布に対応するボックスプロットの例示的なセットを示している。

画像セグメンテーションサブシステムによって検出された画像オブジェクトのサイズの分布に対応するボックスプロットの例示的なセットを示している。

画像セグメンテーションサブシステムによって検出された画像オブジェクトの形状の分布に対応するボックスプロットの例示的なセットを示している。

画像セグメンテーションサブシステムによって検出された画像オブジェクトのボクセル強度の分布に対応するボックスプロットの例示的なセットを示している。

いくつかの実施形態にかかる、画像オブジェクトが腫瘍に対応するかどうかを推定するためのサポートベクターマシンの例示的な概略図を示している。

画像から検出された肺体積と総腫瘍体積との間の関係を特定するグラフの例を示している。

血管体積と腫瘍体積との間の関係を特定するグラフの例示的なセットを示している。

いくつかの実施形態にかかる、３次元画像データに対応する訓練画像オブジェクトをラベル付けするためのユーザインターフェースの例示的なスクリーンショットを示している。

いくつかの実施形態にかかる、腫瘍の少なくとも一部が画像に表されているかどうかを推定するために画像を処理するプロセスを示している。

いくつかの実施形態にかかる、画像を処理して画像オブジェクトのセットを抽出するプロセスを示している。

添付の図面において、同様の構成要素および／または特徴は、同じ参照ラベルを有することができる。さらに、同じタイプの様々な構成要素は、参照ラベルの後に同様の構成要素を区別するダッシュおよび第２のラベルを続けることによって区別されることができる。本明細書において第１の参照ラベルのみが使用される場合、説明は、第２の参照ラベルに関係なく、同じ第１の参照ラベルを有する同様の構成要素のいずれかに適用可能である。

詳細な説明
Ｉ．概要
技術は、腫瘍の少なくとも一部が画像に表されているかどうかを推定するための画像の処理に関することができる。特に、この技術は、複数の腫瘍が３次元画像に存在する場合であっても、そのような画像において個々の腫瘍を識別することができる。生物学的構造を描写する画像（例えば、３次元マイクロコンピュータ断層撮影（マイクロＣＴ）画像）は、画像処理システムによってアクセスされることができる。画像処理システムは、フィルタ演算、二値化演算、画像位置合わせ演算、およびセグメンテーション演算を含む一連の画像変換演算によって画像を処理することができる。結果として、画像処理システムは、画像の領域を区別するために使用されることができる画像内の境界を画定することができる。識別された境界に基づいて、画像から画像オブジェクトのセットが識別されることができる。分類システムは、抽出された画像オブジェクトの各画像オブジェクトを処理して、構造的特性のセットを決定することができる。構造的特性のセットは、訓練された機械学習モデル（例えば、サポートベクターマシン）を使用して処理されることができる。訓練された機械学習モデルからの出力に基づいて、分類システムは、抽出された画像オブジェクトのそれぞれについて、画像オブジェクトが腫瘍、病変、または正常組織に対応するかどうかを示す情報を識別することができる。場合によっては、分類システムは、構造的特性のセットを処理して、画像に描写される生物学的構造に対応する腫瘍負荷のレベルを識別する。

訓練された機械学習モデルは、訓練画像のセットを含む訓練データに基づいて訓練されることができる。セットの各訓練画像は、複数の訓練画像オブジェクトを含むことができる。複数の訓練画像オブジェクトの各訓練画像オブジェクトは、訓練画像オブジェクトに対応する生物学的構造を識別するラベルに関連付けられることができる。訓練画像オブジェクトに対応するラベルを生成するために、訓練システムは、３次元訓練画像に対応する画像オブジェクトがラベル付けされることができるように、３次元訓練画像を生物学的構造のスライスを表す２次元ＣＴ画像のセットにレンダリングすることができる。画像はまた、生物学的構造のそれぞれの部分に対応する３次元画像オブジェクトのセットを含むことができるインタラクティブな３次元画像データとしてレンダリングされることができる。ラベルは、（例えば）腫瘍、心臓、肝臓、肺、縦隔、および／または血管を含む３次元画像オブジェクトのセットの各オブジェクトに割り当てられることができる。訓練データ（訓練画像およびラベルを含む）は、機械学習モデルを訓練するために使用されることができる構造的特性のセットを生成するために使用されることができる。

分類システムは、訓練システムから訓練された機械学習モデルを受信することができる。分類システムは、ラベルなし画像を受信することができ、そこから画像処理システムによって画像オブジェクトのセットが抽出されることができる。各ラベル付けされていない画像オブジェクトについて、分類システムは、その構造的特性を識別することができる。分類システムは、訓練された機械学習モデルを使用して、特定の画像オブジェクトの構造的特性が特定の生物学的構造（例えば、腫瘍、肺、血管）と関連付けられた構造的特性に対応するかどうかを識別することができる。識別に基づいて、分類システムは、特定の画像が腫瘍、病変、または正常組織に対応するかどうかを推定することができる。分類に加えて、訓練された機械学習モデルは、画像から腫瘍負荷のレベルを識別することができる。例えば、訓練された機械学習モデルは、特定の被験者の所与の画像が腫瘍を含むことを予測し、所与の画像内の中程度の腫瘍負荷をさらに予測することができる。訓練された機械学習モデルは、判別分析モデル、カーネル分類モデル、ｋ最近傍モデル、線形分類モデル、単純ベイズ分類器、サポートベクターマシン、勾配ブーストアンサンブル分類アルゴリズム、および／または１つ以上の分類木を含むことができる。

したがって、本開示の実施形態は、画像を分析して組織内の腫瘍の存在を検出する従来のシステムを超える技術的利点を提供する。従来のシステムは、画像内に腫瘍が存在するかどうかを単に識別することができるが、画像内に描写された領域に基づいて個々の腫瘍の種類を識別することはできない。さらに、従来のシステムによる腫瘍識別は、画像強度、形態、および他の解剖学的特徴との関係に関する規則を定義する必要があり、次いでプログラム的に実装される必要があり、これはしばしば困難である。フィルタリング、位置合わせ、およびセグメンテーション操作によって画像を前処理する技術は、個々の腫瘍を識別および分類することができるように、訓練された分類器システムの訓練（例えば、教師なし訓練）および性能をさらに改善することができる。さらに、訓練データから構築された３次元データの自動生成は、機械学習モデルを訓練するために訓練画像が処理およびラベル付けされることができる速度を大幅に改善する。

ＩＩ．画像処理に基づく腫瘍の自動検出技術
ＩＩ．Ａ．例示的なコンピューティング環境
図１は、いくつかの実施形態にかかる、腫瘍の少なくとも一部が画像に表されているかどうかを推定するために画像を処理するための例示的なコンピューティング環境１００を示している。コンピューティング環境１００は、画像処理サブシステム１１０と、分類サブシステム１１２と、訓練サブシステム１１５とをさらに含むことができる組織分類システム１０５を含むことができる。画像処理サブシステム１１０は、異なる種類の画像処理動作（例えば、自動位置合わせ、画像セグメンテーション、および／または特徴抽出）によって画像を処理することにより、個々の被験者に対応する画像から画像オブジェクトを抽出することができる。分類サブシステム１１２は、抽出された画像オブジェクトのそれぞれを処理して構造的特性のセットを生成することができ、構造的特性のセットは、訓練された機械学習モデル（例えば、サポートベクターマシン）を使用して処理されることができる。訓練された機械学習モデルからの出力に基づいて、分類サブシステム１１２は、各画像オブジェクトに対応する情報を生成することができ、情報は、画像オブジェクトが腫瘍、病変、または正常組織に対応するかどうかを示す。

画像処理サブシステム１１０は、１つ以上の生物学的構造を示す画像（例えば、３次元マイクロＣＴ画像）にアクセスすることができる。生物学的構造は、画像に表される１つ以上の種類の組織を指すことができる。例えば、生物学的構造は、肺、心臓、もしくは肝臓などの個々の臓器、様々な種類の組織（例えば、骨、血管、神経、腫瘍）、および／または生物学的構造の少なくとも一部の変化を示す任意の構造（例えば、病変）を含むことができる。画像処理サブシステム１１０は、複数の画像オブジェクトを抽出し、複数の画像オブジェクトのそれぞれから構造的特性を導出するために、一連の画像変換を使用して画像を処理することができる。

訓練サブシステム１１５は、機械学習モデルを訓練し、それを分類サブシステム１１２に送信することができる。訓練サブシステム１１５は、訓練データ（例えば、ラベル付けされた訓練画像オブジェクトに対応する構造的特性）を使用して、機械学習モデルのパラメータ値を学習することができる。様々な機械学習技術が使用されて、機械学習モデルを訓練することができる。機械学習技術は、決定木学習、関連規則学習、人工ニューラルネットワーク、深層学習、帰納論理プログラミング、サポートベクターマシン、クラスタリング、ベイジアンネットワーク、強化学習、表現学習、類似性および計量学習、スパース辞書学習、遺伝的アルゴリズム、および／またはルールベースの機械学習を含むことができる。機械学習技術は、様々な基礎となる技術（前述のもののうちの２つ以上など）から生成された結果に適用するためにアンサンブル間重みを学習するアンサンブル技術を含むことができる。アンサンブル間重みは、基礎となる技術に関連する（例えば）精度、速度、および／またはリソース使用量に基づいて識別されることができる。

訓練データは、訓練画像の画像オブジェクトに対応する構造的特性のセットと、画像オブジェクトのそれぞれに対応するラベルとを含むことができる。訓練サブシステム１１５は、訓練画像の各画像オブジェクトに対応するラベルを受信することができる。訓練データに関連付けられたラベルは、提供者システム１２０から受信されたか、または受信されたデータから導出されてもよく、そのそれぞれは、（例えば）医師、検査技師、看護師、病院、ＣＴスキャン技師などに関連付けられてもよい。訓練データは、提供者システム１２０に関連する医療提供者装置からの通信に基づいて生成されてもよい。医療提供者装置からの通信は、特定の被験者に対応する医療記録を含むことができる。医療記録は、（例えば）腫瘍の少なくとも一部がＣＴ画像に表されているかどうかを示す専門家の診断または特性評価を含むことができる。

訓練サブシステム１１５は、３次元訓練画像に基づいてラベルを収集することもできる。訓練サブシステム１１５は、セグメンテーション操作（例えば、ウォーターシェッドセグメンテーション、ｋ－ミーンズ）を実行して３次元訓練画像内の境界を画定し、次いで２次元スライス画像をレンダリングすることができる。セグメンテーション操作に基づいて、訓練サブシステム１１５は、画像内の３次元画像オブジェクトのセットのそれぞれを定義することができ、各画像オブジェクトは、生物学的構造のそれぞれの部分に対応する。ラベルは、３次元画像オブジェクトのセットの各オブジェクトに割り当てられることができる。例えば、各画像オブジェクトは、（例えば）腫瘍、心臓、肝臓、肺、縦隔、および／または血管としてラベル付けされることができる。

訓練サブシステム１１５は、追加的または代替的に、３次元訓練画像に基づくラベルの収集を容易にするために、３次元訓練画像からレンダリングされた２次元スライス画像を提示することができる。２次元スライス画像は、訓練画像に描写された生物学的構造の連続するおよび／または隣接するスライスに対応する。２次元訓練画像のそれぞれは、セグメンテーション操作から生成された境界に基づいて識別された領域を含むことができる。２次元画像の視覚化を使用して、領域のラベル付けを容易にすることができる。

ラベル付き画像オブジェクトが処理されて、それらの対応する構造的特性を生成することができる。そのようなデータは、機械学習モデルを訓練するために使用されることができる。具体的には、各ラベル付き訓練画像オブジェクトに対応する構造的特性のセットは、ラベル付き訓練画像オブジェクトから識別された形態学的特徴に基づいて生成されることができる。例えば、構造的特性のセットは、各ラベル付き訓練画像オブジェクトに対応する直径、表面積、形状、中央凸体積を含むことができる。各ラベル付き訓練画像オブジェクトについて、構造的特性のセットは、２次元配列を含むデータ構造に記憶されることができる。画像オブジェクトの構造的特性のセットを記憶するデータ構造は、機械学習モデルを訓練するために入力されることができ、機械学習モデルは、決定された構造的特性に基づいて画像オブジェクトが腫瘍に対応するかどうかを推定するように訓練されることができる。

ユーザ装置１３０が使用されて、ラベルを３次元画像オブジェクトのセットに割り当てることができる。例えば、ユーザ装置１３０は、ユーザインターフェースを含むことができる。ユーザインターフェースが使用されて、３次元画像オブジェクトのセットのそれぞれをラベル付けすることができる。訓練サブシステム１１５は、ユーザ装置１３０のユーザインターフェースを利用して（例えば、構成データをローカルに提示し、または送信する）、対応する３次元画像オブジェクトのセットによって訓練画像を表すことができる。したがって、３次元画像は、ユーザインターフェースがロードされた３次元画像のそれぞれに対応する画像オブジェクトのセットの画像オブジェクトのアクセスを可能にすることができるように、ユーザインターフェース（例えば、図１０Ａ～図１０Ｃのユーザインターフェース１０００）にロードされることができる。このようにして、ユーザ装置１３０を使用するユーザは、各画像オブジェクトに組織ラベル（例えば、腫瘍、肝臓、心臓）を割り当てることができ、それによって機械学習モデルを訓練するために使用される訓練データを生成することができる。

分類サブシステム１１２は、訓練サブシステム１１５から訓練された機械学習モデルを受信することができる。分類サブシステム１１２は、ラベル付けされていない画像オブジェクトのセットが画像処理サブシステム１１０によって抽出されることができる入力画像を受信することができる。入力画像は、訓練された画像前処理機械学習モデルを使用して前処理され、臓器および腫瘍を含む関心領域（ＲＯＩ）を識別することができる。ＲＯＩは、ラベル付けされていない画像オブジェクトのセットを抽出するために、二値化、位置合わせ、およびセグメンテーション（例えば）を使用して処理されることができる。各ラベル付けされていない画像オブジェクトについて、分類サブシステム１１２は、その構造的特性を識別するか、そうでなければその構造的特性にアクセスすることができる。構造的特性は、当業者に公知の任意の技術を使用して測定されることができる画像オブジェクトと関連付けられた形態学的特徴を指すことができる。例えば、構造的特性は、画像オブジェクトと関連付けられた直径、表面積、形状、中央凸体積、等価直径、向き、固体性、および／または体積を含むことができる。分類サブシステム１１２は、訓練された機械学習モデルを使用して、特定の画像オブジェクトの構造的特性が特定の生物学的構造（例えば、腫瘍、肺、血管）と関連付けられた事前識別された構造的特性に対応するかどうかを識別することができる。識別に基づいて、分類サブシステム１１２は、特定の画像が腫瘍に対応するか病変に対応するかを推定することができる。

訓練された機械学習モデルによって処理された画像の少なくとも一部は、イメージングシステム１２０を使用して収集され、そこから受信されたデータを含むか、またはそれから導出されてもよい。イメージングシステム１２０は、断層撮影イメージャおよび／またはマイクロＣＴ構成要素（またはマイクロトモシンセシス構成要素）を含むことができるＣＴシステムを含むことができる。断層撮影イメージャは、関心領域／体積の決定、基準としての頭部の表面の抽出、および局所マイクロ断層撮影／局所マイクロトモシンセシスの支援のためのグローバル情報を提供することができる。マイクロＣＴ（またはマイクロトモシンセシス）構成要素は、関心領域／体積の高解像度データを取得するために、トモグラフィイメージャ内に統合されてもよいし、トモグラフィイメージャから分離されてもよい。決定された関心領域／体積に基づいて、ＣＴシステムは、画像を取り込み、取り込まれた画像を組織分類システム１０５に送信することができる。

ＩＩ．Ｂ．画像処理システムの例示的な概略図
図２は、いくつかの実施形態にかかる、腫瘍の少なくとも一部が画像に表されているかどうかを推定するために画像を処理するための画像処理システムの例示的な概略図２００を示している。入力画像２０５は、画像処理サブシステム２１０によってアクセスされることができる。入力画像２０５は、マイクロＣＴシステムを含むＣＴシステムを使用して取り込まれたデータから導出された３次元画像であってもよい。入力画像２０５のそれぞれは、生物学的構造に対応する３次元表現を描写することができる。各入力画像２０５は、特定の時点で取り込まれてもよい。例えば、入力画像２０５の入力画像は、病変または腫瘍が検出されない時点で取り込まれてもよい。入力画像２０５の別の入力画像は、病変または腫瘍が画像内で見える別の時点で取り込まれることができる。入力画像２０５は、呼吸ゲーティング操作を使用して取り込まれてもされなくてもよい。例えば、イメージングシステム（例えば、図１のイメージングシステム１３０）は、呼吸ゲーティング操作を使用して、被験者の呼吸周期の特定の位相（例えば、吸息、呼気）を識別することができる。次いで、イメージングシステムは、事前識別された段階に対応する特定の段階中に入力画像２０５のそれぞれを取り込むことができる。場合によっては、入力画像２０５は、心臓、肺、および腫瘍を含む生物学的構造を描写する画像領域が元の入力画像から切り取られた、ＲＯＩを描写する画像である。

フィルタリングされた画像を生成するために、入力画像２０５のそれぞれにフィルタが適用されることができる。第１のフィルタが入力画像２０５のそれぞれに適用されて、画像から関心のある生物学的構造を分離することができる。場合によっては、第１のフィルタは、特定の生物学的構造（例えば、肺）を分離するために特に使用される画像マスク（例えば、肺マスク）を含む。追加的または代替的に、第１のフィルタは、関心のある複数の生物学的構造（例えば、肺、心臓、肝臓、縦隔、腫瘍、血管）を分離するために使用されることができる別のタイプの画像マスク（例えば、胸腔マスク）を含むことができる。入力画像に現れる特定の骨格構造を識別するために、入力画像のそれぞれに第２のフィルタがさらに使用されることができる。特定の骨格構造に対応する画像部分は、入力画像２０５のそれぞれから除去されることができる。識別された骨格構造は、生物学的構造を囲む境界として代替的に使用されることができ、そこにおいて境界は、関心のある生物学的構造に対応する領域のサイズを調整するために使用されることができる。

場合によっては、訓練された画像前処理機械学習モデルが入力画像に適用されてフィルタ２１５を生成する。例えば、訓練されたＶ－Ｎｅｔが使用されて、入力画像を処理して関心のある生物学的構造（例えば、心臓）を識別することができる。別の例では、訓練されたＵ－Ｎｅｔが使用されて、入力画像を処理して関心のある生物学的構造を識別することができる。したがって、訓練された画像前処理モデルが使用されて、１つ以上のフィルタ（例えば、肺マスク）を生成し、生物学的構造（例えば、肺）を入力画像の他の領域（例えば、胸郭、血管）から分離することができる。

バイナリ変換器２２０は、フィルタリングされた画像をバイナリ画像に変換することができる。バイナリ変換器２２０は、フィルタリングされた画像の少なくとも一部の各ピクセルを０または１のいずれかのピクセル値に変換することができる。例えば、フィルタリングされた画像は、バイナリ変換器２２０によってバイナリ画像に変換されることができるグレースケール画像とすることができる。バイナリ変換器２２０は、さらに、塗りつぶし操作に基づいてバイナリ画像内のピクセルのサブセット（例えば、１ピクセルによって囲まれた０ピクセル）に対応するバイナリ値を変換することができる。したがって、バイナリ変換器２２０は、フィルタリングされた画像内の背景信号および画像オブジェクトを除去することができる。実際には、フィルタリングされた画像をバイナリ画像に変換することにより、各画像オブジェクトを囲む境界が鮮明にされることができ、したがって、後続の画像処理動作に最適化された出力を生成することができる。例えば、画像位置合わせ動作は、変換の結果として画像をより良好に位置合わせすることができる。これは、境界が鮮明にされたバイナリ画像が、基準画像のものと適切に位置合わせされることができるためである。別の例では、バイナリ画像の生成は、画像オブジェクトがそれらの鮮明な境界に基づいてより明確に定義されるため、画像セグメンテーションアルゴリズムが画像オブジェクトのより正確なセットを生成することを可能にすることができる。バイナリ画像の画像ノイズをさらに低減するために、収縮－拡張操作が適用されることができる。場合によっては、バイナリ変換器２２０は、位置合わせ動作が実行された後に、フィルタリングされた画像をバイナリ画像に変換する。

画像位置合わせサブシステム２２５は、位置合わせされた画像を生成するために画像位置合わせ動作を使用してバイナリ画像を処理することができる。画像位置合わせ動作（例えば、回転、スケール、並進、切り取り）は、バイナリ画像を単一の空間座標系に位置合わせするために、バイナリ画像を基準画像に関連付けることを含むことができる。位置合わせされた画像は、単一の空間座標系に位置合わせされるため、後続の動作（例えば、画像セグメンテーションアルゴリズム）は、セットに対して同様の位置パラメータ（例えば、ｘ、ｙ、およびｚ座標）を使用することができる。さらに、位置合わせされた画像によって機械学習モデルを訓練すると、展開中の精度を向上させることができる。そうでなければ、全ての画像が同じ座標系内に位置合わせされない限り、ｘ、ｙ、およびｚ座標によって表されている各画像オブジェクトの位置は、画像ごとに異なって対応することができる。画像位置合わせサブシステム２２５は、フィルタリングされた画像から変換パラメータを導出するために、基準フィルタを使用してバイナリ画像を位置合わせすることができる。例えば、基準画像の骨マスクフィルタは、フィルタリングされた画像のセットに対応する骨マスクフィルタに適用されることができる基準フィルタとして使用されることができる。結果として、変換パラメータの第１のセット（例えば、ｔｆｏｒｍ）が識別されることができる。バイナリ画像のそれぞれについて、バイナリ画像が骨マスクフィルタに対応する位置座標に向かって歪められることができるように、変換パラメータの第１のセットが画像位置合わせサブシステム２２５によって適用されることができる。フィルタリングされた画像は、変換パラメータの追加のセットを生成するために使用されることができるように、変換パラメータの第１のセットも使用して歪められることができる。

画像位置合わせサブシステム２２５は、基準画像を使用して、歪められた画像（例えば、変換パラメータの第１のセットに基づく歪められた画像）に第２の位置合わせ動作をさらに適用することができる。歪められたフィルタリングされた画像のそれぞれは、画像位置合わせサブシステム２２５によって基準画像の対応する領域に位置合わせされることができる。位置合わせが完了すると、変換パラメータの第２のセットが識別されることができる（例えば、ｔｆｏｒｍ＿グレースケール）。基準フィルタに基づいて生成された歪められた画像は、位置合わせされた画像を生成するために変換パラメータの第２のセットを使用して再び歪められることができる。基準画像を使用する第２の位置合わせ動作は、機械学習モデルの訓練ならびに他の画像処理動作がより効率的になることができるように、位置合わせされた画像を単一の座標系に向かってさらに較正されることを可能にすることができる。

画像セグメンテーションサブシステム２３０は、各位置合わせされた画像に対応する画像オブジェクトを抽出するためにセグメンテーションアルゴリズムを使用して位置合わせされた画像を処理することができる。セグメンテーションアルゴリズムは、位置合わせされた画像のそれぞれの形態学的特徴の識別を可能にすることができ、形態学的特徴を使用することによって画像オブジェクトの境界を定義することができる。画像セグメンテーションサブシステム２３０は、識別された境界を使用して、位置合わせされた画像から各画像オブジェクトを抽出することができる。ウォーターシェッド分割アルゴリズム、グラフ分割アルゴリズム、およびモデルベースの分割アルゴリズムを含む様々な技術が使用されて、位置合わせされた画像から画像オブジェクトを抽出することができる。

抽出された画像オブジェクトの各画像オブジェクトについて、特徴抽出器２３５は、その構造的特性を識別することができる。特徴抽出器２３５は、画像オブジェクトの質量中心の位置座標、画像オブジェクトを形成するボクセルに関連付けられた固有値、および画像オブジェクトに関連付けられたオイラー角を含むがこれらに限定されない他のタイプの特性を画像オブジェクトのそれぞれから識別することができる。

ＩＩ．Ｃ．入力画像に画像フィルタを適用する例示的な概略図
本明細書で説明するように、フィルタリングされた画像を生成するために、入力画像のそれぞれにフィルタが適用されることができる。第１のフィルタが入力画像のそれぞれに適用されて、画像から関心のある生物学的構造を分離することができる。訓練されたＵ－Ｎｅｔ（例えば）が使用されて第１のフィルタを生成することができ、それにより、肺などの特定の臓器を識別および分離することができる。場合によっては、第１のフィルタは、特定の生物学的構造（例えば、肺）を分離するために特に使用される画像マスク（例えば、肺マスク）を含む。追加的または代替的に、第１のフィルタは、関心のある複数の生物学的構造（例えば、肺、心臓、肝臓、縦隔、腫瘍、血管）を分離するために使用されることができる別のタイプの画像マスク（例えば、胸腔マスク）を含むことができる。入力画像に現れる特定の骨格構造を識別するために、入力画像のそれぞれに第２のフィルタがさらに使用されることができる。特定の骨格構造に対応する画像部分は、各入力画像から除去されることができる。識別された骨格構造は、生物学的構造を囲む境界として代替的に使用されることができ、そこにおいて境界は、関心のある生物学的構造に対応する領域のサイズを調整するために使用されることができる。

ＩＩ．Ｃ．１ 画像前処理機械学習モデルを使用した画像フィルタの生成
いくつかの実施形態では、訓練された画像前処理機械学習モデルが使用されて、各入力画像を処理して１つ以上のフィルタを生成し、フィルタが使用されて、入力画像に示される臓器、組織、腫瘍、および血管を識別することができる。訓練された機械学習モデルは、追加的または代替的に、脾臓、肝臓、肺、および腎臓などの１つ以上の臓器の臓器固有の識別に使用されることができる。識別に基づいて、生成されたフィルタが入力画像のそれぞれに適用されることができ、それにより、フィルタによって識別されたＲＯＩに対応する画像領域に後続の画像処理が集中されることができる。

ＩＩ．Ｃ．１．ａ 画像前処理機械学習モデルを訓練するための例示的な訓練データセット
画像前処理機械学習モデルは、複数の訓練画像を含む訓練データセットを使用して訓練されることができる。訓練画像は、生物学的構造に対応するＲＯＩが識別された画像に対応する。場合によっては、訓練画像のＲＯＩは、以下のように識別される：（ｉ）技術者は、生物学的構造（例えば、肺）に対応する複数の２次元領域をマークする。（ｉｉ）２次元領域は、連続した３次元ＲＯＩ内に伝播される、（ｉｉｉ）３次元ＲＯＩが訓練画像からセグメント化される、および（ｉｖ）３次元ＲＯＩから組織体積が計算される。例示的な訓練データセットは、肺ＲＯＩを有する３５２０回のＣＴスキャンを含むことができ、訓練画像のサブセットを破棄することができ、ＲＯＩは、正確に識別されない（例えば、ＲＯＩの欠落、ファイルの破損、生物学的構造の不正確な識別）。ＩＩ．Ｃ．１．ｂ Ｕ－Ｎｅｔを使用した画像フィルタの生成

３次元訓練画像は、機械学習モデル（例えば、Ｕ－Ｎｅｔ）を訓練するために使用されることができ、機械学習モデルは、関心のある生物学的構造を識別するためのフィルタを生成することができる。図３に示すように、Ｕ－Ｎｅｔ３００は、縮小経路３０５および拡張経路３１０を含むことができ、これらは、それにＵ字形アーキテクチャを与える。縮小経路３０５は、畳み込み（例えば、３×３の畳み込み（パッドなしの畳み込み））の繰り返し適用を含むＣＮＮネットワークであり、それぞれの畳み込みの後に正規化線形ユニット（ＲｅＬＵ）およびダウンサンプリングのための最大プーリング演算（例えば、ストライド２の２×２最大プーリング）が続く。各ダウンサンプリングステップまたはプーリング動作において、特徴チャネルの数は２倍にされることができる。縮小の間、画像データの空間情報は低減され、特徴情報は増加される。拡張経路３１０は、縮小経路３０５からの特徴および空間情報を組み合わせるＣＮＮネットワークである（縮小経路３０５からの特徴マップのアップサンプリング）。特徴マップのアップサンプリングの後には、チャネル数を半分にする一連のアップ畳み込み（アップサンプリング演算子）、縮小経路３０５からの対応して切り取られた特徴マップとの連結、それぞれの畳み込み（例えば、２つの３×３畳み込み）の繰り返し適用の後に続く正規化線形ユニット（ＲｅＬＵ）、および最終的な畳み込み（例えば、１×１畳み込み）が続き、２次元腫瘍マスクが生成される。局所化するために、縮小経路３０５からの高解像度特徴は、拡張経路３１０からのアップサンプリングされた出力と組み合わされる。Ｕ－Ｎｅｔ３００は、全結合層なしで各畳み込みの有効部分を使用し、すなわち、セグメンテーションマップは、入力画像内で完全なコンテキストが利用可能なピクセルのみを含み、縮小ブロック中に学習されたコンテキスト特徴と拡張ブロックで学習された位置特定特徴とをリンクするスキップ接続を使用する。

従来のＵ－Ｎｅｔアーキテクチャでは、畳み込みブロックは、畳み込みを実行するための畳み込み層（例えば、典型的には２つまたは３つの層）から構成される。しかしながら、様々な実施形態によれば、畳み込みブロックおよび畳み込み層は、１つ以上の拡張レベルにおいてピラミッド層３２０において実行される分離可能な畳み込みを有する残差ブロック３１５によって置き換えられる（単一の畳み込み層は、２つ以上のピラミッド層３２０によって置き換えられることができる）。（例えば、積み重ねられたフィルタ処理された画像）図４Ａは、図３に示す残差ブロック３１５の１つの層構造を示している。図示のように、残差ブロック４００は、複数のピラミッド層４０５を含むことができる。残差ブロック４００を備えるネットワーク（例えば、ＲｅｓＮｅｔ）において、各ピラミッド層４０５は、次の層（Ａ、Ｂ、Ｃ．．）に供給され、約２～３層離れた層（Ｄ、Ｅ．．．）に直接供給される。ネットワーク内の残差ブロック４００の使用は、ピラミッド層の数の増加から生じる劣化問題を克服するのに役立つ（層の数が増加し続けると、精度は最初は向上するが、一点で飽和し始め、最終的に劣化する）。残差ブロック４００は、スキップ接続または残差接続を使用してこれらの追加のピラミッド層のいくつかをスキップし、最終的に初期ピラミッド層に大きな勾配を伝播する。スキップは、初期訓練段階においてより少ないピラミッド層を使用して、ネットワークを効果的に単純化する。これは、伝播する層が少なくなるため、勾配の消失の影響を低減することによって学習を高速化する（すなわち、多速度残差学習）。そして、ネットワークは、特徴空間を学習するにつれて、スキップされた層を徐々に復元する。

図４Ｂは、様々な実施形態にかかる、図４Ａの単一ピラミッド層４０５を示している。図４Ｂに示すように、ピラミッド層４０５は、複数の異なるスケール（この例では４つのレベル）で拡張された（ａｔｒｏｕｓ）分離可能畳み込みを使用することができる（「拡張ブロック」）。ピラミッド層４０５は、物体（例えば、腫瘍）の検出精度を高めるために、複数の異なるスケールで同じ画像を含む。拡張された（ａｔｒｏｕｓ）畳み込みは、カーネルサイズに対して受容野のサイズを増加させる「拡散」受容野を有するフィルタを指す。いくつかの実施形態では、１つ以上の拡張レベルは、４つの拡張レベルである。他の実施形態では、より多いまたはより少ないレベルの拡張、例えば６つのレベルの拡張が使用されることができる。畳み込み層出力４１５は、拡張ブロック４２０（ここでは拡張子１、２、４、および８とラベル付けされている）の出力である。図４Ｂの図示の例は、４つの拡張ブロックを想定し、各拡張ブロックが（同じ色の）２つのチャネルを出力するため、出力されるチャネルの総数は８である。各拡張ブロックによって出力されるチャネルの数は、問題の残留ブロックに応じて変化することができる。図４Ｂの例は、図３の左上または右上の残差ブロック３１５を示している。いくつかの実施形態では、残差ブロック４０５のピラミッド層４１０内の各拡張ブロック４１５によって出力される各チャネルの数は、残差ブロック４０５上のｋ個のフィルタを４で割った数に等しい。

経験的証拠は、残差ブロックが精度の向上およびより容易な最適化を可能にすることを示している。分離可能な畳み込み、深さごとの畳み込み、続いて点ごとの畳み込みもまた、収束速度の大きな増加およびモデルサイズの大幅な縮小を示している。拡張畳み込みは、分解能を失うことなく受容野を拡大し、したがってマルチスケールコンテキスト情報をダウンサンプリングで集約することを可能にする。畳み込みブロックの再設計は、画像内の非常に局所的で希少な情報を抽出することを可能にする。

ＩＩ．Ｃ．１．ｃ Ｖ－Ｎｅｔを使用した画像フィルタの生成
モデル（例えば、３次元セグメンテーションのためのＶ－Ｎｅｔなどの３次元畳み込みニューラルネットワーク）は、最終セグメンテーションに高解像度情報を伝播するためのスキップ接続を有するダウンサンプリングサブネットワークおよびアップサンプリングサブネットワークを含むことができる。場合によっては、ダウンサンプリングサブネットワークは、ダウンサンプリング畳み込みによって接続された複数の高密度特徴スタックのシーケンスであってもよく、各スキップ接続は、対応する高密度特徴スタック出力の単一の畳み込みであってもよく、アップサンプリングネットワークは、最終セグメンテーション解像度への双一次アップサンプリングを含む。

訓練された画像前処理機械学習モデルは、画像内のＲＯＩを識別するために複数の異なるサブモデルを含む畳み込みニューラルネットワーク（ＣＮＮ）システムを使用して、入力画像（例えば、マイクロＣＴ画像）から特徴を抽出するために使用されることができる。図５に示すように、訓練されたＶ－Ｎｅｔ５００が使用されて、入力画像を改良することができる。訓練されたＶ－Ｎｅｔ５００は、いくつかのタイプのＣＮＮアーキテクチャ要素に対して単一の畳み込み層を形成する一連の動作を実行することができる。（１）畳み込み、（２）非線形性変換（例えば、ＲｅＬＵ）、（３）プーリングまたはサブサンプリング、および（４）分類（全結合層）。場合によっては、訓練されたＶ－Ｎｅｔ５００の畳み込み演算は、入力データの小さい正方形を使用して画像特徴を学習することによって、２次元もしくは３次元スキャンの少なくとも一方内の、または２次元もしくは３次元スキャンにわたるピクセルまたはボクセル間の空間的関係を保存する。例えば、入力画像は、ピクセルおよびボクセル値の行列と考えることができ、行列の各ピクセルおよびボクセル領域に値が割り当てられることができる。さらに、入力画像は、０から１の範囲のピクセル値またはボクセル値を有する白黒画像を含むことができる。入力画像は、代替的または追加的に、０から２５５の範囲の３つの割り当てられたＲＧＢピクセルまたはボクセル値を有するカラー画像を含むことができる。

入力画像がアクセスされた後、訓練されたＶ－Ｎｅｔ５００は、入力画像に対して畳み込みを実行して、画像に描写された解剖学的領域に対応する特徴を抽出することができる。訓練されたＶ－Ｎｅｔ５００の左側は、ダウンサンプリングのための圧縮経路５１０を含むことができ、右側は、信号をその元のサイズに到達するまで解凍するアップサンプリングのための解凍経路５１５を含むことができる。圧縮経路５１０は、異なる解像度で動作する異なる段階に分割されてもよい。各段は、１つ以上の畳み込み層を含むことができる。各層内の畳み込みは、適切なパディングによって適用されることができる。各段階は、残差接続を介して残差関数を学習するように構成されることができ、各段階の入力は、（ｉ）畳み込み層で使用され、非線形性を介して処理され、および（ｉｉ）残差関数の学習を可能にするために、その段の最後の畳み込み層の出力に追加される。各段階で行われる畳み込みは、５×５×５ボクセルなどの所定のサイズを有する体積カーネルを使用する。データが圧縮経路５１０に沿って異なる段階を通って進むにつれて、その解像度が低下する可能性がある。圧縮経路５１０に沿った各段階は、適切なストライド（例えば、２のスライド）が適用された２×２×２ボクセルワイドカーネルなどの所定のサイズのカーネルとの畳み込みによって実行されることができる。第２の動作は、重複しないボリュームパッチのみを考慮して特徴を抽出するため、結果として得られる特徴マップのサイズが半分にされる（サブサンプリングされる）ことができる。この戦略は、プーリング層と同様の目的を果たすことができる。プーリング演算を畳み込み演算によって置き換えると、バックプロパゲーションにはプーリング層の出力を入力にマッピングするスイッチが必要ないため、ネットワークのメモリフットプリントが小さくなる可能性がある。圧縮経路５１０の各段階は、前の層からの特徴の数よりも複数倍高い特徴の数を計算することができる。

解凍経路５１５は、画像のＲＯＩに対応する２チャネル体積セグメンテーションを出力するために必要な情報を収集して組み立てるために、特徴を抽出し、低解像度特徴マップの空間的支持を拡大することができる。解凍経路５１５の各段階の後に、入力のサイズを増大させるために逆畳み込み演算が使用されることができ、その後、前の層において使用される５×５×５カーネルなどのカーネルの数の半分を含む１つ以上の畳み込み層が続く。圧縮経路５１０と同様に、残差関数は、解凍経路５１５の畳み込み段において学習されることができる。さらに、圧縮経路５１０の初期段階から抽出された特徴は、水平接続５２０によって示されるように、解凍経路５１５に転送されてもよい。１×１×１のカーネルサイズなどの適切なカーネルサイズを有し、入力ボリュームと同じサイズの出力を生成する、最後の畳み込み層によって計算された２つの特徴マップ（元の入力データと同じ解像度を有する２つのボリューム）は、各ボクセルが前景および背景の最大ボクセル単位に属する確率を出力するソフトマックス層を介して処理されることができる。ソフトマックス層によって出力された確率に基づいて、訓練された画像前処理機械学習モデルは、特定のボクセルがＲＯＩの画像領域に対応するかどうかに関する確率を示すことができる。したがって、入力画像内の全てのボクセルについて訓練されたＶ－Ｎｅｔ５００によって生成された出力は、組織、血管、腫瘍、および縦隔を含むことができるＲＯＩに対応する複数の画像領域を示すことができる。

ＲＯＩが識別された後、ＲＯＩが使用されて、入力画像から生物学的構造を分離するためのフィルタを生成することができる。訓練された画像前処理機械学習モデルの使用は、画像の関連部分のみが分類されているため、画像の分類の精度を向上させることができる。

ＩＩ．Ｃ．１．ｄ 例示的な結果
図６は、訓練された画像前処理機械学習モデルの性能を示すグラフ６００の例示的なセットを示している。線形回帰グラフ６０２において、各プロット点は、対応する画像について、画像を追跡することによって手動で識別された組織体積の量（ｘ軸）および訓練されたＶ－Ｎｅｔによって検出された組織体積の量（ｙ軸）を表す。グラフ６０２において、決定係数（Ｒ２）は０．９６であり、これは、異なる量の組織体積を含む画像にわたって組織体積を検出する際のＶ－Ｎｅｔの精度を実証する。

線形回帰グラフ６０４において、各プロット点は、対応する画像について、画像を追跡することによって手動で識別された組織体積の量（ｘ軸）およびルールベース分析によって画像を検出した組織体積の量（ｙ軸）を表す。この例では、Ｂａｒｃｋ，Ｋａｉ Ｈら「Ｑｕａｎｔｉｆｉｃａｔｉｏｎ ｏｆ Ｔｕｍｏｒ Ｂｕｒｄｅｎ ｉｎ ａ Ｇｅｎｅｔｉｃａｌｌｙ Ｅｎｇｉｎｅｅｒｅｄ Ｍｏｕｓｅ Ｍｏｄｅｌ ｏｆ Ｌｕｎｇ Ｃａｎｃｅｒ ｂｙ Ｍｉｃｒｏ－ＣＴ ａｎｄ Ａｕｔｏｍａｔｅｄ Ａｎａｌｙｓｉｓ．」Ｔｒａｎｓｌａｔｉｏｎａｌ ｏｎｃｏｌｏｇｙ ｖｕｌｏｌ．８，２（２０１５）：１２６－３５で論じられている技術を使用して、ルールベースの分析が実施される。グラフ６０４において、決定係数（Ｒ２）は０．７２である。手動でトレースされた組織体積を基準点として使用して、訓練されたＶ－Ｎｅｔは、ルールベースの分析によって検出された組織体積よりも正確に組織体積を検出した。そのような精度は、対応する画像から組織（例えば、肺）を分離するためのフィルタを生成する際のＶ－Ｎｅｔの改善された性能を示すことができる。

ＩＩ．Ｃ．２ 画像フィルタの適用
図７Ａ～図７Ｂは、いくつかの実施形態にかかる、入力画像から生物学的構造を識別する画像フィルタサブシステムの例示的な概略図７００を示している。画像処理システム（例えば、図３の画像処理システム３１０）の画像フィルタ７１５は、被験者の生物学的構造（例えば、臓器、血管、腫瘍）を描写する入力画像７０５のセットにアクセスすることができる。入力画像７０５のセットのそれぞれについて、画像フィルタ７１５は、画像マスクを適用し、フィルタリングされた画像のセットを生成することができる。生成されたフィルタリングされた画像のそれぞれは、入力画像の背景部分から区別される関心のある生物学的構造（例えば、肺）を描写する。

図７Ａにおいて、第１の画像フィルタ７２０は、入力画像７０５のセットに対応する画像マスクの第１のセットを生成することができる。画像マスクの第１のセットの各画像マスクにおいて、第１の画像フィルタ７２０は、画像内で識別可能な１つ以上の生物学的構造を指定することができるが、指定された生物学的構造に対応しない画像領域（例えば、背景部分）は、不明瞭にされるかまたは除去されることができる。第１の画像フィルタ７２０は、生成された画像マスクの第１のセットの各画像マスクを各入力画像７０５に適用してもよい。入力画像７０５のセットに画像マスクの第１のセットを適用することにより、第１の画像フィルタ７２０は、フィルタリングされた画像７３０の第１のセットを生成することができる。フィルタリングされた画像のセット内の各フィルタリングされた画像について、フィルタリングされた画像の少なくとも一部（例えば、肺、胸腔）は、フィルタリングされた画像の他の部分（例えば、胸郭、空気）から区別されることができる。本明細書に開示される生物学的構造を同定するための画像マスキング操作の使用に関するさらなる詳細は、Ｂａｒｃｋ ＫＨら「Ｑｕａｎｔｉｆｉｃａｔｉｏｎ ｏｆ Ｔｕｍｏｒ Ｂｕｒｄｅｎ ｉｎ ａ Ｇｅｎｅｔｉｃａｌｌｙ Ｅｎｇｉｎｅｅｒｅｄ Ｍｏｕｓｅ Ｍｏｄｅｌ ｏｆ Ｌｕｎｇ Ｃａｎｃｅｒ ｂｙ Ｍｉｃｒｏ－ＣＴ ａｎｄ Ａｕｔｏｍａｔｅｄ Ａｎａｌｙｓｉｓ．」Ｔｒａｎｓｌ Ｏｎｃｏｌ．２０１５；８：１２６－１３５およびＷｙａｔｔ ＳＫら「Ｆｕｌｌｙ－ａｕｔｏｍａｔｅｄ，ｈｉｇｈ－ｔｈｒｏｕｇｈｐｕｔ ｍｉｃｒｏ－ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ ａｎａｌｙｓｉｓ ｏｆ ｂｏｄｙ ｃｏｍｐｏｓｉｔｉｏｎ ｅｎａｂｌｅｓ ｔｈｅｒａｐｅｕｔｉｃ ｅｆｆｉｃａｃｙ ｍｏｎｉｔｏｒｉｎｇ ｉｎ ｐｒｅｃｌｉｎｉｃａｌ ｍｏｄｅｌｓ．」Ｉｎｔ Ｊ Ｏｂｅｓ（Ｌｏｎｄ）．２０１５年６月に記載されており、これらは、双方ともあらゆる目的のためにその全体が参照により本明細書に組み込まれる。

図７Ｂにおいて、第２の画像フィルタ７２５はまた、画像マスクの第２のセットを生成するために入力画像７０５のセットのそれぞれを処理してもよい。第２の画像マスクを使用することにより、第２の画像フィルタ７２５は、フィルタリングされた画像の第２のセット７４０を生成することができる。フィルタリングされた画像の第２のセット７４０のそれぞれについて、フィルタリングされた画像の異なる部分が除去のために識別されることができる。例えば、フィルタリングされた画像の第２のセット７４０のフィルタリングされた画像は、除去されることができる特定の骨格構造に対応する画像領域を示すことができるが、フィルタリングされた画像の他の部分（例えば、肺）は残る。第１の画像フィルタ７２０はまた、画像マスクの第２のセットを使用して、関心のある生物学的構造（例えば、肺）を画定する境界を描画し、境界の外側の画像領域が除去されることができるように、フィルタリングされた画像の第１のセット７３５を生成することができる。フィルタリングされた画像の第２のセットは、バイナリ変換器サブシステム７３５に送信されることができる。

ＩＩ．Ｅ．画像処理システムのバイナリ変換器の例示的な概略図
図８は、いくつかの実施形態にかかる、フィルタリングされた画像をバイナリ画像に変換するバイナリ変換器サブシステムの例示的な概略図８００を示している。バイナリ変換器サブシステム８１０（例えば、図８のバイナリ変換器サブシステム８３５）は、画像フィルタ（例えば、図８の画像フィルタ８１５）から出力されたフィルタリングされた画像８３０のセットにアクセスすることができる。バイナリ変換器サブシステム８１０は、ピクセルの対応する放射線濃度値に基づいて、フィルタリング画像８３０の各フィルタリング画像の各ピクセルを二値化することができる。例えば、決定された閾値を上回るＨＵに関連付けられたピクセルは、１ピクセル値として構成されることができ、閾値を下回るＨＵに関連付けられた別のピクセルは、０ピクセル値として構成されることができる。バイナリ変換器サブシステム８１０は、白黒ピクセルの分散を最小にするように閾値範囲が決定されることができる二値化演算を使用することができる。例えば、バイナリ変換器サブシステム８１０は、－２００ＨＵから４００ＨＵの間の閾値範囲を設定することができ、閾値範囲外のＨＵに関連付けられた任意のピクセルは、０ピクセル値に変換されることができる。結果として、各バイナリ画像のピクセル値が１または０のいずれかに構成されたバイナリ画像８３５のセットが出力されることができる。

バイナリ変換器サブシステム８１０は、画像の領域内の孔を除去するために、バイナリ画像８３５のセットのそれぞれに対して塗りつぶし操作をさらに実行することができる。例えば、バイナリ画像は、１つの値（例えば、孔を囲む領域）を有するピクセルのより大きなグループによって囲まれた０値（例えば、孔）を有するピクセルのグループを含むことができる。バイナリ変換器システムは、０値ピクセルのグループに対して塗りつぶし操作を実行して、２つのピクセルグループが１つの値（例えば、孔のない領域）を有する新たなピクセルグループにマージされた新たなバイナリ画像を出力することができる。

バイナリ画像８３５のセットのそれぞれは、収縮操作８１５および／または拡張操作８２０によってさらに処理されることができる。収縮操作８１５および拡張操作８２０を実行することによって、正確に分類されることができない小さな画像オブジェクトが、バイナリ画像８３５のセットの各バイナリ画像から除去されることができる。分類からより小さい画像オブジェクトを除去することは、後続のセグメンテーション操作の性能を向上させることができる。収縮操作８１５は、バイナリ画像のセットのバイナリ画像にアクセスし、バイナリ画像内の第１のピクセルにおいて画像処理カーネル（例えば、５×５カーネル）を初期化することができる。画像処理カーネルがバイナリ画像の各ピクセルをトラバースするとき、カーネルによってカバーされる少なくとも１つの隣接ピクセルが０の値を有する場合、１の値を有するピクセル（例えば、白色）は、０（例えば、黒色）に変換されることができる。実際には、収縮操作８１５は、バイナリ画像に現れる画像オブジェクトの境界を浸食する。さらに、収縮操作８１５は、バイナリ画像に描写された任意のソルトノイズ、具体的には、画像オブジェクトの一部ではないまばらに発生する任意の白ピクセルを除去することができる。

拡張操作８２０は、収縮操作８１５によって処理されたバイナリ画像にアクセスすることができる。収縮操作８１５と同様に、画像処理カーネルは、バイナリ画像の第１のピクセルに設定される。画像処理カーネルが処理されたバイナリ画像の各ピクセルをトラバースするとき、カーネルによってカバーされる少なくとも１つの隣接ピクセルが１の値を有する場合、０の値を有するピクセル（例えば、黒色）は、１（例えば、白色）に変換されることができる。実際には、拡張操作８２０は、処理されたバイナリ画像に示された生物学的構造に対応する境界を徐々に拡大することができる。さらに、塗りつぶし操作と同様に、拡張操作８２０は、バイナリ画像に描写されたペッパーノイズ、具体的には画像オブジェクト内にあるまばらに発生する黒ピクセルを除去することができる。

収縮操作８１５を実行し、続いて拡張操作８２０を実行することは、バイナリ画像８３５のセットのそれぞれからソルトノイズを除去することができる。このような一連の操作は、開操作と称されることができる。逆に、拡張操作８２０を実行し、続いて収縮操作を実行することは、バイナリ画像８３５のセットのそれぞれからペッパーノイズを除去することができる。拡張とそれに続く収縮のシーケンスは、閉操作と称されることができる。収縮操作８１５および／または拡張操作８２０を異なる順序で実行することにより、バイナリ変換器サブシステム８１０は、バイナリ画像のセット８３５のそれぞれにおける急激な外乱を除去することができる。バイナリ画像のセットは、画像位置合わせサブシステムに提供されることができる。

ＩＩ．Ｆ．画像処理システムの画像位置合わせサブシステムの例示的な概略図
図９Ａ～図９Ｂは、いくつかの実施形態にかかる、バイナリ画像を単一の空間座標系に位置合わせする画像位置合わせサブシステムの例示的な概略図９００を示している。具体的には、画像位置合わせサブシステム９１０は、一連の画像位置合わせ動作を使用してこれらの画像セットを処理することができる。画像位置合わせ動作は、最適化プロセスを指すことができ、「移動」画像は、「固定」または基準画像内のボクセルに対する「移動」画像内の全てのボクセル間のペアワイズ距離が最小化されるように歪められる。画像位置合わせ動作は、処理された画像が基準画像の対応する領域（例えば、骨格構造、肺）上に位置合わせされるように実行されることができる。各画像位置合わせ動作は、単一の座標系に適合するように、より良好にスケーリング、位置合わせ、および回転された出力画像のセットをもたらすことができる。後続の画像位置合わせ動作は、出力画像のセットの位置合わせを較正し、結果として改善することができる。機械学習モデルを訓練するために位置合わせされた画像を使用することにより、画像位置合わせ動作は、訓練された機械学習モデルの精度および性能を改善することができる。

図９Ａにおいて、画像位置合わせサブシステム９１０は、フィルタリングされた画像のセット９０５（例えば、図６のフィルタリングされた画像の第１および第２のセット）およびバイナリ画像のセット９１５（例えば、図８のバイナリ画像８３５）にアクセスすることができる。第１の位置合わせ動作９２０の間、画像位置合わせサブシステム９１０は、フィルタリングされた画像のセット９０５から基準画像を最初に選択することができる。基準画像は、位置パラメータに基づいてバイナリ画像のセット９１５が位置合わせされることができるように、位置パラメータを含むフィルタリングされた画像を指すことができる。基準画像から、骨格構造（例えば、基準骨マスク）を描写する基準画像の画像領域に対応する基準フィルタが生成されることができる。位置合わせされた画像の第１のセット９２５に示されるように、第１のサブセットのフィルタ処理された画像が位置合わせされることができるように、基準フィルタに対応するフィルタ処理された画像のセット９０５のフィルタ（例えば、骨マスクフィルタ）が位置合わせされることができる。フィルタを位置合わせすることにより、変換パラメータの第１のセット（例えば、ｔｆｏｒｍ）が決定されることができる。変換パラメータの第１のセットは、基準画像に対するフィルタ処理された画像のセット９０５の各フィルタ処理された画像に適用されるアフィンまたは線形変換（例えば、回転、スケール、並進、切り取り）に対応する推定数値セットを示すことができる。

画像位置合わせサブシステム９１０は、画像歪み操作９３０を使用して、フィルタリングされた画像のセット９０５およびバイナリ画像のセット９１５のそれぞれに変換パラメータの第１のセットを適用することができる。バイナリ画像のセット９１５のそれぞれについて、画像歪み操作９３０は、その位置および向きを調整するために変換パラメータの第１のセットを使用してバイナリ画像を歪ませることができる。フィルタリングされた画像のセット９０５の各フィルタリングされた画像はまた、第１の変換パラメータを使用して歪められることができ、それにより、歪められたフィルタリングされた画像は、後続の位置合わせ動作のための変換パラメータを生成するために使用されることができる。画像位置合わせサブシステム９１０は、フィルタリングされた画像の歪められたセット９０５およびバイナリ画像のセット９１５を、歪められた画像のセット９３５として出力することができる。

図９Ｂにおいて、画像位置合わせサブシステム９１０は、歪められた画像のセット９３５のそれぞれに対して第２の位置合わせ動作９４０にアクセスして実行することができる。第２の位置合わせ動作９４０の間、画像位置合わせサブシステム９１０は、図９Ａの第１の位置合わせ動作９２０によって使用されたものと同じ基準画像を使用することができる。基準画像は、基準フィルタ処理グレースケール画像を含むことができる。基準画像が使用されて、フィルタリングされた画像のセット９０５の各フィルタリングされた画像（例えば、フィルタリングされたグレースケール画像）を位置合わせすることができ、それにより、位置合わせされた画像の第２のセット９５０に示すように、フィルタリングされた画像のセット９０５のフィルタリングされた画像が基準画像に向かって位置合わせされることができる。フィルタリングされた画像のセット９０５のフィルタリングされた画像を位置合わせすることにより、変換パラメータの第２のセット（例えば、ｔｆｏｒｍ＿グレースケール）が決定されることができる。変換パラメータの第２のセットは、歪められた画像のセット９３５の各フィルタ処理画像に適用されるアフィンまたは線形変換（例えば、回転、スケール、並進、切り取り）に対応する数値の推定セットを基準画像に示すことができる。

画像位置合わせサブシステム９１０は、画像歪み操作９３０を使用して、第２の変換パラメータセットを歪められた画像のセット９３５のそれぞれに適用することができる。歪められた画像のセット９３５のそれぞれについて、画像歪み操作９３０は、その位置および向きを調整するために変換パラメータの第２のセットを使用して、歪められた画像を再び歪ませることができる。画像位置合わせサブシステム９１０は、フィルタリングされた画像の歪められたセット９０５およびバイナリ画像のセット９１５を位置合わせされた画像のセット９５５として出力することができる。場合によっては、位置合わせされた画像のセット９５５を生成するために第１の位置合わせ動作９２０のみが実行される。例えば、歪められた画像のセット９３５は、画像セグメンテーションサブシステム１００５によってその後処理されることができる位置合わせされた画像のセット９５５である。

ＩＩ．Ｇ．画像処理システムの画像セグメンテーションサブシステムの例示的な概略図
図１０は、いくつかの実施形態にかかる、位置合わせされた画像から画像オブジェクトのセットを抽出する画像セグメンテーションサブシステムの例示的な概略図１０００を示している。画像セグメンテーションサブシステム１００５は、位置合わせされた画像のセット１０１０にアクセスすることができる。位置合わせされた画像のセット１０１０は、１つ以上の位置合わせ動作（例えば、図９Ａの第１の位置合わせ動作９２０、図９Ｂの第２の動作９４０）によって適用される１つ以上のバイナリ画像（例えば、図８のバイナリ画像のセット８３５）を含むことができる。位置合わせされた画像のセット１０１０の各々について、画像セグメンテーションサブシステム１００５は、画像オブジェクトのセットを抽出するために、ウォーターシェッドセグメンテーションを実行することができる。ウォーターシェッドセグメンテーションを実行するために、画像セグメンテーションシステム１００５は、位置合わせされた画像のセット１０１０の各位置合わせされた画像を収縮させ、位置合わせされた画像内の新たな画像オブジェクトが分離されて消えるときにそれらを識別することができる。次いで、画像セグメンテーションシステム１００５は、新たな画像オブジェクトのそれぞれのシード点を作成することができ、シード点の各シード点は、位置合わせされた画像が塗りつぶされるまで条件付きで拡張される（層が追加される）ことができる。これらの動作が繰り返されることにより、位置合わせされた画像から画像オブジェクトのセットが抽出されることができる。

追加的または代替的に、画像セグメンテーションサブシステム１００５は、位置合わせされた画像のセット１０１０の各位置合わせされた画像のピクセルを反転して、位置合わせされた画像をその補完画像に変換することができる。例えば、位置合わせされた画像の一部に対応する黒ピクセルが白ピクセルに変換され、位置合わせされた画像の他の一部に対応する白ピクセルが黒ピクセルに変換されることができる。ウォーターシェッドセグメンテーションが継続すると、画像セグメンテーションサブシステム１００５は、負の距離変換演算を使用して、位置合わせされた画像のセット１０１０に対応する各補完画像を処理することができる。各補完画像に対応する各ピクセルについて、負の距離変換演算が実行されて、ピクセルから最も近い非ゼロ値ピクセルまでの距離値を識別し、識別された距離値の負の値を計算し、計算された負の値に基づいてピクセルを変換することができる。補完画像に対応するピクセルを変換した結果として、画像セグメンテーションサブシステム１００５は、変換画像のセットを生成し、セグメンテーションアルゴリズム（例えば、ウォーターシェッドアルゴリズム）によって変換画像のセットを処理することができる。セグメンテーションアルゴリズムは、セグメント化画像のセット１０１５を生成することができ、セグメント化画像のセット１０１５のそれぞれに線のセットが描写されることができる。セグメント化画像のセット１０１５の各セグメント化画像について、画像セグメンテーションサブシステム１００５は、線のセットをセグメント化画像に表された各画像オブジェクトに対応する境界として使用して、画像オブジェクトのセットを抽出することができる。

ＩＩ．Ｈ．画像処理システムの特徴抽出器サブシステムの例示的な概略図
ＩＩ．Ｈ．１ 画像オブジェクトの構造的特性の識別
図１１は、いくつかの実施形態にかかる、画像オブジェクトに関連付けられた構造的特性のセットを識別する特徴抽出器サブシステムの例示的な概略図１１００を示している。セグメント化画像のセット１１０５（例えば、セグメント化画像のセット１０１５）がアクセスされることができる。セグメント化画像のセット１１０５の各セグメント化画像について、セグメント化画像に描写された線のセットに基づいて画像オブジェクトのセットが識別されることができる。特徴抽出器１１１０は、画像オブジェクトのセットにアクセスし、画像オブジェクトのセットの各画像オブジェクトに対応する構造的特性のセットを決定することができる。構造的特性のセットの各構造的特性は、特定の構造的特性カテゴリ（例えば、直径、表面積、形状、中央凸体積、ボクセル強度）に対応する値を含む。各画像オブジェクトについて、特徴抽出器１１１０は、画像オブジェクトに対応する構造的特性のセットをデータ構造１１１５（例えば、配列）に記憶することができ、画像オブジェクトを識別するために識別子が割り当てられることができる。画像オブジェクトの構造的特性のセットを記憶するデータ構造１１１５は、訓練された機械学習モデルに送信されることができ、訓練された機械学習モデルは、決定された構造的特性に基づいて画像オブジェクトが腫瘍に対応するかどうかを推定することができる。

様々なタイプの構造的特性のセットが、訓練された機械学習モデルによって処理および考慮することができる特徴抽出器１１１０によって決定されることができる。訓練された機械学習モデルは、判別分析モデル、カーネル分類モデル、ｋ最近傍モデル、線形分類モデル、単純ベイズ分類器、サポートベクターマシン、勾配ブーストアンサンブル分類アルゴリズム、および／または１つ以上の分類木などの様々なタイプの機械学習モデルを含むことができる。例えば、構造的特性のセットは、以下の構造的特性カテゴリに対応する構造的特性を含むことができるが、これに限定されない：
「境界ボックス」－［ｕｌｆ＿ｘ ｕｌｆ＿ｙ ｕｌｆ＿ｚ ｗｉｄｔｈ＿ｚ ｗｉｄｔｈ＿ｙ ｗｉｄｔｈ＿ｚ］形式の１×６ベクトルとして返される、領域を含む最小の直方体である。ｕｌｆ＿ｘ、ｕｌｆ＿ｙ、およびｕｌｆ＿ｚは、直方体の左上前方コーナーを指定する。ｗｉｄｔｈ＿ｚ、ｗｉｄｔｈ＿ｙ、およびｗｉｄｔｈ＿ｚは、各寸法に沿った直方体の幅を指定する。
「重心」－［ｃｅｎｔｒｏｉｄ＿ｘ ｃｅｎｔｒｏｉｄ＿ｙ およびｃｅｎｔｒｏｉｄ＿ｚ］の形式の１×３ベクトルとして返される、重心または領域である。第１の要素のｃｅｎｔｒｏｉｄ＿ｘは、質量中心の水平座標（またはｘ座標）である。第２の要素、ｃｅｎｔｒｏｉｄ＿ｙは、垂直座標（またはｙ座標）である。第３の要素ｃｅｎｔｒｏｉｄ＿ｚは、平面座標（またはｚ座標）である。
「凸包」－ｐ×３行列として返される、領域を含むことができる最小の凸多角形である。行列の各行は、多角形の１つの頂点のｘ座標、ｙ座標、およびｚ座標を含む。
「凸画像」－包内の全てのボクセルが塗りつぶされた（「オン」に設定された）立体バイナリ画像（論理）として返される、凸包の画像である。画像は、領域の境界ボックスのサイズである。
「凸体積」－スカラとして返される、「凸画像」内のボクセルの数である。
「固有値」－３×１ベクトルとして返される、領域を表すボクセルの固有値である。例えば、ｒｅｇｉｏｎｐｒｏｐｓ３演算は、固有値を使用して主軸長を計算することができる。
「固有ベクトル」－３×３ベクトルとして返される、領域を表す固有ベクトルまたはボクセル。例えば、ｒｅｇｉｏｎｐｒｏｐｓ３演算は、固有ベクトルを使用して、領域と同じ正規化された２次の中心モーメントを有する楕円体の向きを計算することができる。
「等価直径」－スカラとして返される、領域と同じ体積を有する球の直径である。（６＊体積／ｐｉ）＾（１／３）として計算される。
「範囲」－スカラとして返される、全境界ボックス内のボクセルに対する領域内のボクセルの比である。体積を境界ボックスの体積で割った値として計算される。［体積／（境界ボックスの幅＊境界ボックスの高さ＊境界ボックスの深さ）］。
「画像」－領域の境界ボックスと同じサイズである立体バイナリ画像（論理）として返される、領域の境界ボックスである。「オン」ボクセルは領域に対応し、他の全てのボクセルは「オフ」である。
「向き」（ｘ、ｙ、およびｚ値）－１×３ベクトルとして返される、オイラー角である。角度は右手の法則に基づいている。例えば、ｒｅｇｉｏｎｐｒｏｐｓ３演算は、それぞれロール、ピッチ、およびヨーを表すｘ軸、ｙ軸、およびｚ軸に沿って原点を見ることによって角度を解釈することができる。正の角度は、反時計回り方向の回転を表す。回転操作は可換的ではないため、それらは意図した効果を得るために正しい順序で適用されることができる。
「主軸長」（ｘ、ｙ、およびｚ値）－１×３ベクトルとして返される、領域と同じ正規化された２次の中心モーメントを有する楕円体の長軸の長さ（ボクセルの）である。例えば、ｒｅｇｉｏｎｐｒｏｐｓ３演算は、値を最大値から最小値にソートすることができる。
「固体性」－スカラとして返される、同じく領域内にある凸包内のボクセルの割合である。体積／対流体積として計算される。
「サブ配列Ｉｄｘ」－Ｌ（ｉｄｘ｛：｝）がオブジェクト境界ボックス内のＬの要素を抽出するようにセル配列として返される、オブジェクト境界ボックス内の要素を抽出するために使用されるインデックスである。
「表面積」－スカラとして返される、領域の境界の周りの距離である。
「体積」－スカラとして返される、領域内の「オン 」ボクセルの実際の数のカウントである。体積は、体積バイナリ画像ＢＷ内の領域内のボクセルの数のメトリックまたは測定値を表す。
「ボクセルＩｄｘリスト」－ｐ要素ベクトルとして返される、領域内のボクセルの線形インデックスである。および
「ボクセルリスト」－ｐ×３行列として返される、領域内のボクセルの位置である。行列の各行は、［ｘ ｙ ｚ］の形式を有し、領域内の１つのボクセルの座標を指定する。

ＩＩ．Ｈ．２ 画像オブジェクトの構造的特性の例
図１２～図１７は、画像セグメンテーションサブシステムによって検出された画像オブジェクトの構造的特性を識別するボックスプロットの例示的なセットを示している。図１２～図１７のボックスプロットは、特徴配列（例えば、図１１の特徴抽出器１１１０によって生成された特徴配列）に対応するデータを示している。特徴配列は、画像から腫瘍の少なくとも一部を自動的に検出するための機械学習モデルを訓練するために使用される訓練画像を表した。例えば、プロットは、ラベル付けアプリケーション（例えば、図２０Ａ～図２０Ｃ）を使用して手動でラベル付けされた訓練画像のオブジェクトのオブジェクト特徴を示す。腫瘍ボックスプロットと非腫瘍ボックスプロットとの間の差が図１２～図１７にわたって増加するにつれて、機械学習モデル（例えば、ＳＶＭ）は、訓練された後、腫瘍オブジェクトと非腫瘍オブジェクトとを区別することができる可能性がますます高くなる。図１２～図１７の各ボックスプロットにおいて、横線は、各クラス（例えば、腫瘍、非腫瘍）を表す中央値（例えば、オブジェクト体積）を表し、「ボックス」のエッジは、２５％および７５％分位点内に属する値を表す。縦の破線（ひげ）は、各クラスに対応する値の合計範囲を示す。

図１２は、画像セグメンテーションサブシステムによって検出された画像オブジェクトの重心位置の分布に対応するボックスプロット１２００の例示的なセットを示している。ボックスプロット１２０２、１２０４、および１２０６のそれぞれは、腫瘍領域として分類された画像オブジェクトの第１のセットの重心位置の第１の分布と、非腫瘍領域として分類された画像オブジェクトの第２のセットの重心位置の第２の分布とを示す。さらに、ボックスプロット１２０２は、ｘ軸に沿った画像オブジェクトの重心位置の分布を示し、ボックスプロット１２０４は、ｙ軸に沿った画像オブジェクトの重心位置の分布を示し、ボックスプロット１２０６は、ｚ軸に沿った画像オブジェクトの重心位置の分布を示す。ボックスプロット１２０２、１２０４、および１２０６に示すように、腫瘍領域として分類された画像オブジェクトと非腫瘍領域として分類された画像オブジェクトとの間に同様の重心位置の分布があり、これは、重心位置特徴が、他の特徴と比較して、画像からの腫瘍領域の検出を予測する可能性が低いことを示すことができる。

図１３は、画像セグメンテーションサブシステムによって検出された画像オブジェクトの向きの分布に対応するボックスプロット１３００の例示的なセットを示している。ボックスプロット１３０２、１３０４、および１３０６のそれぞれは、腫瘍領域として分類された画像オブジェクトの第１のセットの向きの第１の分布と、非腫瘍領域として分類された画像オブジェクトの第２のセットの向きの第２の分布とを示す。向きの大きさはオイラー角単位で表される。さらに、ボックスプロット１３０２は、ｚ軸に沿った画像オブジェクトの向きの分布を示し、ボックスプロット１３０４は、ｙ軸に沿った画像オブジェクトの向きの分布を示し、ボックスプロット１３０６は、ｚ軸に沿った画像オブジェクトの向きの分布を示す。ボックスプロット１３０２、１３０４、および１３０６に示すように、腫瘍領域として分類された画像オブジェクトと非腫瘍領域として分類された画像オブジェクトとの間に同様の向きの分布があり、これは、オブジェクトの向きの特徴が、他の特徴と比較して、画像からの腫瘍領域の検出を予測する可能性が低いことを示すことができる。例えば、ボックスプロット１３０２は、ｘ軸に沿った物体の向き（図１３のプロット１３０２）が腫瘍および非腫瘍クラスについて同様に見えることを示した。したがって、ボックスプロット１０３２は、オブジェクトの向きが、他の特徴（例えば、オブジェクト体積）と比較して、組織クラスを予測するほどではない可能性が高い（なおも参考になり得るが）ことを示している。

図１４は、画像セグメンテーションサブシステムによって検出された画像オブジェクトの主軸長の分布に対応するボックスプロット１４００の例示的なセットを示している。ボックスプロット１４０２、１４０４、および１４０６のそれぞれは、腫瘍領域として分類された画像オブジェクトの第１のセットに対する主軸長の第１の分布と、非腫瘍領域として分類された画像オブジェクトの第２のセットに対する主軸長の第２の分布とを示す。さらに、ボックスプロット１４０２は、ｘ軸に沿った画像オブジェクトの主軸長の分布を示し、ボックスプロット１４０４は、ｙ軸に沿った画像オブジェクトの主軸長の分布を示し、ボックスプロット１４０６は、ｚ軸に沿った画像オブジェクトの主軸長の分布を示す。ボックスプロット１４０２、１４０４、および１４０６に示すように、腫瘍領域として分類された画像オブジェクトに対応する主軸長は、平均して、非腫瘍領域として分類された画像オブジェクトに対応する主軸長よりも大きい。このような観察は、主軸長が、他の特徴（例えば、図１２に示す重心位置）と比較して、画像からの腫瘍領域の検出を予測する可能性がより高いことを示すことができる。

図１５は、画像セグメンテーションサブシステムによって検出された画像オブジェクトのサイズの分布に対応するボックスプロット１５００の例示的なセットを示している。ボックスプロット１５０２、１５０４、１５０６、および１５０８のそれぞれは、腫瘍領域として分類された画像オブジェクトの第１のセットのサイズの第１の分布と、非腫瘍領域として分類された画像オブジェクトの第２のセットのサイズの第２の分布とを示す。さらに、ボックスプロット１５０２は、ボクセル単位で表された画像オブジェクトの組織体積の分布を示し、ボックスプロット１５０４は、対応する画像オブジェクトの境界の周りの距離で表された画像オブジェクトの表面積の分布を示し、ボックスプロット１５０６は、対応する画像オブジェクトを含む最小凸多角形の体積で表された画像オブジェクトの凸体積の分布を示し、ボックスプロット１５０８は、対応する画像オブジェクトについて測定された同じ数のボクセルを有する球の直径で表された画像オブジェクトの等価直径の分布を示す。ボックスプロット１５０２、１５０４、１５０６、および１５０８に示すように、腫瘍領域として分類された画像オブジェクトに対応するサイズ特性（例えば、体積、表面積、等価直径）は、平均して、非腫瘍領域として分類された画像オブジェクトに対応するサイズ特性よりも大きい。このような観察は、サイズ特徴的特徴が、他の特徴と比較して、画像から腫瘍領域を検出するために予測的である可能性がより高いことを示すことができる。例えば、図１５のボックスプロット１５０２は、「腫瘍」とラベル付けされた物体が非腫瘍物体よりも約１０倍高い平均体積を有することを示した。したがって、ボックスプロット１５０２は、訓練された機械学習モデルを使用して訓練セットの一部ではない新たな画像のオブジェクトクラスを予測することに関して、オブジェクトボリュームが意味のある特徴であり、オブジェクトがどのクラスに属するかを高度に予測する可能性が高いことを示す。

図１６は、画像セグメンテーションサブシステムによって検出された画像オブジェクトの形状の分布に対応するボックスプロット１６００の例示的なセットを示している。ボックスプロット１６０２、１６０４、および１６０６のそれぞれは、腫瘍領域として分類された画像オブジェクトの第１のセットの形状の第１の分布と、非腫瘍領域として分類された画像オブジェクトの第２のセットの形状の第２の分布とを示す。さらに、ボックスプロット１６０２は、画像オブジェクトの部分異方性の分布を示す。小数異方性に対応する中央値は、腫瘍領域および非腫瘍領域の双方において画像オブジェクトについて類似していたが、分布の四分位範囲は、非腫瘍領域として分類された画像オブジェクトにおいてより大きかった。ボックスプロット１６０４は、組織体積で表された画像オブジェクトの範囲を境界ボックスの体積で割った分布を示す。組織クラスにわたる範囲は、腫瘍領域として分類された画像オブジェクトにおいてより大きかった。ボックスプロット１６０６は、凸包の体積で割った組織体積で表された画像オブジェクトの固体性の分布を示す。固体性の分布は、非腫瘍領域として分類された画像オブジェクトにおいてより大きかった。ボックスプロット１６０２、１６０４、および１６０６に示すように、腫瘍領域として分類された画像オブジェクトの形状（例えば、範囲、固体性）と非腫瘍領域として分類された画像オブジェクトの形状との間には顕著な差がある。そのような観察は、物体形状特徴が、他の特徴と比較して、画像から腫瘍領域を検出するために予測的である可能性がより高いことを示すことができる。

図１７は、画像セグメンテーションサブシステムによって検出された画像オブジェクトのボクセル強度の分布に対応するボックスプロット１７００の例示的なセットを示している。ボックスプロット１７０２および１７０４のそれぞれは、腫瘍領域として分類された画像オブジェクトの第１のセットに対するボクセル強度の第１の分布と、非腫瘍領域として分類された画像オブジェクトの第２のセットに対するボクセル強度の第２の分布とを示す。さらに、ボックスプロット１７０２は、ハウンズフィールド単位で表現された画像オブジェクトの平均ボクセル強度の分布を示し、ボックスプロット１７０４は、ハウンズフィールド単位で表現された画像オブジェクトの最大ボクセル強度の分布を示す。ボックスプロット１７０２および１７０４に示すように、腫瘍領域として分類された画像オブジェクトに対応するボクセル強度は、非腫瘍領域として分類された画像オブジェクトに対応するボクセル強度よりも大きく、ボクセル強度特徴は、他の特徴（例えば、図１２に示す重心位置）と比較して、画像からの腫瘍領域の検出を予測する可能性が高いことを示すことができる。

ＩＩ．Ｉ．訓練されたサポートベクターマシンを備えた分類サブシステムの例示的な概略図
図１８は、いくつかの実施形態にかかる、画像オブジェクトが腫瘍に対応するかどうかを推定するためのサポートベクターマシンの例示的な概略図１８００を示している。訓練サブシステム１８０５は、サポートベクターマシン１８１０を訓練されたサポートベクターマシン１８１５に訓練することができる。サポートベクターマシン１８１０を訓練するために、訓練サブシステム１８０５は、各訓練画像オブジェクトに対応する構造的特性のセットを含むことができる訓練データ１８２０を使用することができる。構造的特性の各セットには、ラベル１８２５ａ～ｎのセットの対応するラベルがそれぞれ割り当てられることができる。例えば、訓練データ１８２０の第１の訓練画像オブジェクトに対応する構造的特性の第１のセットは、ラベル１８２５ａに対応することができ、訓練データ１８２０の第２の訓練画像オブジェクトに対応する構造的特性の第２のセットは、ラベル１８２５ｂに対応することができる。ラベル１８２５ａ～ｎのセットの各ラベルは、その対応する構造的特性のセットが腫瘍を示すかどうかを示すことができる。したがって、構造的特性のセットが使用されて、訓練画像内の腫瘍ごとに訓練画像を特徴付けることができる。実際には、訓練された機械学習モデルが使用されて、それぞれの構造的特性（例えば、組織体積）に基づいて個々の腫瘍領域を検出することができる。場合によっては、これらの個々の腫瘍領域が集約されて、腫瘍負荷のレベルなどの訓練画像全体の測定値を識別する。

ＩＩ．Ｉ．１ サポートベクターマシンを訓練するための例示的な訓練データ
本明細書で説明するように、訓練データ１８２０は、訓練画像の各訓練画像オブジェクトに対応する構造的特性に対応することができる。訓練データ１８２０は、被験者のスキャン画像に対応する複数の訓練画像を表すことができる。訓練画像のそれぞれは、腫瘍を有しない、低い腫瘍負荷、中程度の腫瘍負荷、または高い腫瘍負荷を有するとしてラベル付けされることができる。例えば、訓練データ１８２０は、腫瘍がないことを示す２１枚の画像、低い腫瘍負荷を示す２０枚の画像、中程度の腫瘍負荷を示す１５枚の画像、および高い腫瘍負荷を示す１５枚の画像から構成される７１枚のスキャン画像を含んでいた。この例では、腫瘍負荷のレベルは、以下の基準に基づいて各訓練画像についてラベル付けされることができる：

７１枚のスキャン画像から、１２枚の画像が試験用のホールドアウトセットとして識別された。さらに、訓練データ１８２０は、１９４１個の訓練画像オブジェクトを含むことができ、そのうち３６４個の訓練画像オブジェクトは、試験のためのホールドアウトセットとして識別された。

ＩＩ．Ｉ．２ 特徴選択
サポートベクターマシン１８１０（または勾配ブーストアルゴリズムなどの他の機械学習モデル）は、各訓練画像オブジェクトと関連付けられた構造的特性のセットのサブセットを使用して訓練されることができる。そのような特徴選択技術は、機械学習モデルを訓練するための入力変数の数を低減して、計算リソースの効率的な使用を可能にし、ノイズを低減することによって訓練された機械学習モデルの性能を潜在的に改善する。

例えば、構造的特性のサブセットは、訓練データ１８２０の構造的特性のセットを処理し、構造的特性カテゴリ（例えば、向き、重心位置）について、腫瘍領域に対応する構造的特性値の第１の分布および非腫瘍領域に対応する構造的特性値の第２の分布を生成することによって選択されることができる。２つの分布間の統計的差異が識別されることができる。例えば、統計的差異は、第１の分布と第２の分布との間の中央値または平均値の差に対応する。２つの分布の統計的差異が分析されて、対応するカテゴリの構造的特性値が構造的特性のサブセットの要素として追加されることができるかどうかを決定することができる。そうである場合、対応するカテゴリに関連付けられた画像オブジェクトの構造的特性は、画像オブジェクトの構造的特性のサブセットの要素として追加されることができる。場合によっては、構造的特性のサブセットは、画像オブジェクトの体積、表面積、等価直径、およびボクセル強度などの構造的特性カテゴリに対応する値を含む。

追加的または代替的に、構造的特性のサブセットは、訓練データ１８２０の構造的特性のセットを処理して、各構造的特性カテゴリについて、相関メトリック（例えば、ピアソン相関係数）を生成することによって選択されることができる。相関メトリックは、所定の閾値（例えば、０．７）と比較されることができる。相関メトリックが所定の閾値を超えると決定したことに応答して、対応する構造的特性カテゴリに関連付けられた画像オブジェクトの構造的特性値がサブセットの要素として追加されることができる。場合によっては、構造的特性のサブセットは、腫瘍分類に到達するための各構造的特性カテゴリの寄与を識別するＳＨａｐｌｅｙ Ａｄｄｉｔｉｖｅ ｅｘＰｌａｎａｔｉｏｎｓプロットを生成することによって選択されることができる。

ＩＩ．Ｉ．３ サポートベクターマシン
訓練データ１８２０の構造的特性の各セットについて、訓練サブシステム１８０５は、構造的特性のセットからの値（例えば、形状、体積）を使用して、サポートベクターマシン１８１０を表す多次元グラフ上にセットをプロットすることができる。結果として、構造的特性のセットに対応する（関連するラベルを有する）訓練画像オブジェクトが、サポートベクターマシン１８１０に対応する多次元グラフにおいて識別されることができる。次いで、訓練サブシステム１８０５は、腫瘍ラベルが割り当てられた構造的特性のセットと非腫瘍ラベルが割り当てられた構造的特性のセットとを分離する最適な超平面を生成することによって、サポートベクターマシン１８１０を訓練することができる。場合によっては、サポートベクターマシンの１つ以上のハイパーパラメータを最適化するときに、Ｋ倍交差検証技術が使用される。例えば、ベイズハイパーパラメータ最適化技術は、１つ以上のハイパーパラメータを最適化するときに使用されることができる。ハイパーパラメータの例は、以下を含むことができる：

次いで、最適な超平面を有する訓練されたサポートベクターマシンが、ホールドアウトデータセット（例えば、７１個の総スキャン画像からの２１個の画像）を使用して試験されることができる。最適な超平面を生成した結果として、訓練サブシステム１８０５は、サポートベクターマシン１８１０が分類のために適切に訓練されたと決定することができる。次いで、最適な超平面を有する訓練されたサポートベクターマシン１８１５は、分類サブシステム１８３０によって使用されることができる。

分類サブシステム１８３０は、訓練されたサポートベクターマシン１８１５を使用することによってデータ構造１８３５に記憶された情報を処理し、データ構造１８３５に示された画像オブジェクトが腫瘍に対応するかどうかを推定することができる。データ構造１８３５について、分類サブシステム１８３０は、画像オブジェクトに対応する構造的特性のセットにアクセスし、訓練されたサポートベクターマシン１８１５に最適な超平面を有する多次元グラフ内の構造的特性に対応する値をプロットすることができる。場合によっては、特徴ベクトルは、多次元グラフ内の構造的特性の対応するセットをプロットするために生成される。構造的特性のセットがプロットされると、訓練されたサポートベクターマシン１８１５は、訓練されたサポートベクターマシン１８１５の最適な超平面に対するデータ構造１８３５のグラフ位置に基づいて、画像が腫瘍に対応するかどうかを示す推定データを生成することができる。分類サブシステム１８３０は、データ構造１８３５に示された画像オブジェクトに対応する推定データを収集し、各画像オブジェクトが腫瘍、病変、または正常組織に対応するかどうかを示す情報を含む出力１８４０を生成することができる。場合によっては、出力１８４０は、画像オブジェクトを腫瘍または非腫瘍領域のいずれかとして識別する。追加的または代替的に、出力１８４０は、画像オブジェクトを腫瘍、血管、または別のオブジェクトタイプとして識別することができる。

分類システム１８３０は、入力画像に描写された生物学的構造に対応する腫瘍負荷のレベルを識別する別の出力（図示せず）を生成することができる。腫瘍負荷のレベルは、腫瘍を有すると分類された画像オブジェクトを集約し、集約された画像オブジェクトを表す構造的特性値（例えば、腫瘍体積）を生成することによって決定されることができる。次いで、生成された構造的特性値は、画像からセグメント化および識別された全ての画像オブジェクト（例えば、肺体積）を表す基準構造的特性値と比較されることができる。そのような比較は、画像の全ての画像オブジェクトに対する集約画像オブジェクトの割合および／または比を識別することができる。場合によっては、腫瘍負荷のレベルは、低い腫瘍負荷（例えば、全肺体積の２０％未満）、中程度の腫瘍負荷（例えば、全肺体積の２０～４０％）、または高い腫瘍負荷（例えば、全肺体積の４０％超）を特定する。追加的または代替的に、分類システム１８３０は、肺体積の割合など、画像の腫瘍負荷のレベルを表す数値を識別することができる。他の出力は、患者の癌のレベルを診断し、画像に対応する被験者の処置の種類を識別し、および／または被験者の診断または予後因子を決定するために使用されることができる。

ＩＩ．Ｉ．４ 例示的な結果
図１９は、画像から検出された肺体積と総腫瘍体積との間の関係を特定するグラフ１９００の例を示している。グラフ１９００に示すように、各プロット点は、対応する画像について、測定された腫瘍体積の量（ｘ軸）および訓練された３Ｄ Ｕ－Ｎｅｔによって検出された肺体積の量（ｙ軸）を表す。ｙ切片は０．２４ｍＬとして示され、傾きは０．９２であり、Ｒ２は０．７９である。各画像は、腫瘍負荷がない、腫瘍負荷が低い（＜肺体積の２０％）、中程度の腫瘍負荷（肺体積の２０～４０％）、または高い腫瘍負荷（＞肺体積の４０％）として分類される。グラフ１９００は、訓練された３Ｄ Ｕ－Ｎｅｔによって検出された肺体積の量が、腫瘍負荷の増加にほぼ比例して増加することを示している。このような増加は、肺が腫瘍成長に適応するために体積が有意に膨張することを示すことができる。グラフ１９００はまた、訓練された機械学習モデルが使用されて、異なる生理学的／疾患条件下で総肺体積の変化を一貫して取り込むことができることを実証している。したがって、機械学習モデルの一貫した正確な性能は、（例えば）癌および他の非腫瘍学的疾患の進行を追跡するために確実に使用されることができる。

ＩＩ．Ｊ．訓練データをラベル付けするためのユーザインターフェースの例示的な概略図
図２０Ａ～図２０Ｃは、いくつかの実施形態にかかる、３次元画像データに対応する訓練画像オブジェクトをラベル付けするためのユーザインターフェース２０００の例示的なスクリーンショットを示している。本明細書で説明するように、訓練サブシステム（例えば、図１の訓練サブシステム１１５）は、訓練データの訓練画像に表される各領域に関連付けられた境界を識別することができる。領域は、訓練画像の３次元画像オブジェクトに対応することができる。セットの各３次元画像オブジェクトは、ユーザインターフェース２０００を介してラベル付けされることができ、機械学習モデルを訓練するための訓練データとして使用されることができる。

ユーザインターフェース２０００において、３次元訓練画像に対応する３次元画像オブジェクトのセットの各オブジェクトは、異なる色によって表されることができる。３次元訓練画像からレンダリングされた２次元部分（例えば、スライス）は、３次元訓練画像と同時に提示されることができる。追加的または代替的に、ユーザインターフェース２０００が使用されて、３次元訓練画像からレンダリングされた複数の２次元部分のスタック全体をスクロールすることができる。例えば、３次元訓練画像は、ユーザインターフェース２０００の第１の部分に表示されることができ、２次元部分は、ユーザインターフェース２０００の第２の部分に同時に表示されることができる。２次元部分は、３次元訓練画像の１つ以上の画像オブジェクトに対応する領域を示すことができる。例えば、２次元部分の一部にわたって、画像オブジェクトに対応する領域が（例えば、強調表示および／または境界オーバーレイを介して）特定されることができる。図２０Ａは、腫瘍負荷が低い被験者に対応する３次元訓練画像を示す、ユーザインターフェース２０００の第１のスクリーンショットを示している。図２０Ｂは、中から高腫瘍負荷を有する被験者に対応する３次元訓練画像を示す、ユーザインターフェース２０００の第２のスクリーンショットを示している。図２０Ｃは、非常に高い腫瘍負荷を有する被験者に対応する３次元訓練画像を示す、ユーザインターフェース２０００の第３のスクリーンショットを示している。

ＩＩ．Ｋ．画像処理に基づく腫瘍の自動検出のための例示的なプロセス
図２１は、いくつかの実施形態にかかる、腫瘍の少なくとも一部が画像に表されているかどうかを推定するために画像を処理するプロセス２１００を示している。プロセス２１００は、ブロック２１０５で始まり、生物学的構造の少なくとも一部を示す画像がアクセスされる。生物学的構造は、画像に表される１つ以上の種類の組織を指すことができる。例えば、生物学的構造は、肺、心臓、もしくは肝臓などの個々の臓器、様々な種類の組織（例えば、骨、血管、腫瘍）、および／または生物学的構造の少なくとも一部の変化を示す任意の構造（例えば、病変）を含むことができる。

アクセスされた画像は、イメージングシステムを使用して収集され、イメージングシステムから受信されたデータを含むか、またはそれらから導出されていてもよい。イメージングシステムは、断層撮影イメージャおよび／またはマイクロＣＴ構成要素（またはマイクロトモシンセシス構成要素）を含むことができるＣＴシステムを含むことができる。

ブロック２１１０において、画像は、画像に描写された画像オブジェクトのセットから画像オブジェクトを抽出するためにセグメンテーションアルゴリズムを使用して処理される。画像オブジェクトのセットのそれぞれは、特定の種類の生物学的構造（例えば、組織、腫瘍、血管）を描写することができる。画像は、画像内の境界を識別し、境界を使用して画像から画像オブジェクトのセットを抽出するために、前処理（例えば、負の距離変換演算）されることができる。ウォーターシェッド分割アルゴリズム、グラフ分割アルゴリズム、およびモデルベースの分割アルゴリズムを含む様々な分割アルゴリズムが使用されて、位置合わせされた画像から画像オブジェクトを抽出することができる。

ブロック２１１５において、各画像オブジェクトと関連付けられた構造的特性が決定される。構造的特性は、当業者に公知の任意の技術を使用して測定されることができる画像オブジェクトと関連付けられた形態学的特徴を指すことができる。例えば、構造的特性は、画像オブジェクトと関連付けられた直径、表面積、形状、中央凸体積、等価直径、向き、固体性、および／または体積を含むことができる。構造的特性は、画像オブジェクトを識別するために識別子が割り当てられることができるデータ構造に記憶されることができる。

ブロック２１２０において、構造的特性は、訓練された機械学習モデルを使用して処理され、画像オブジェクトが病変または腫瘍に対応するかどうかの推定に対応する分類メトリックを生成する。訓練された機械学習モデルは、画像オブジェクトの構造的特性が特定の生物学的構造（例えば、腫瘍、肺、血管）と関連付けられた事前識別された構造的特性に対応するかどうかを識別することができる。識別に基づいて、特定の画像が腫瘍または病変に対応するかどうかを推定するために、分類メトリックが生成されることができる。

ブロック２１２５において、分類メトリックが出力される。例えば、分類メトリックは、ローカルに提示されることができるか、または、別の装置に送信されることができる。分類メトリックは、画像の識別子とともに出力されることができる。分類メトリックは、分類メトリックに関連付けられた信頼性レベルに対応する確率メトリックによって出力されることができる。

図２２は、いくつかの実施形態にかかる、画像を処理して画像オブジェクトのセットを抽出するプロセス２２００を示している。プロセス２２００は、ブロック２２０５で始まり、生物学的構造の少なくとも一部を示す画像がアクセスされる。生物学的構造は、画像に表される１つ以上の種類の組織を指すことができる。例えば、生物学的構造は、肺、心臓、もしくは肝臓などの個々の臓器、様々な種類の組織（例えば、骨、血管、腫瘍）、および／または生物学的構造の少なくとも一部の変化を示す任意の構造（例えば、病変）を含むことができる。

アクセスされた画像は、イメージングシステムを使用して収集され、イメージングシステムから受信されたデータを含むか、またはそれらから導出されていてもよい。イメージングシステムは、断層撮影イメージャおよび／またはマイクロＣＴ構成要素（またはマイクロトモシンセシス構成要素）を含むことができるＣＴシステムを含むことができる。

ブロック２２１０において、フィルタが画像に適用されて、画像の背景から関心のある生物学的構造を分離する。例えば、第１のフィルタは、画像から生物学的構造（例えば、肺）を分離するために適用されることができる肺マスクとすることができる。背景は、関心のある生物学的構造（例えば、骨）を除外する画像に描写された領域を含むことができる。フィルタを適用するために、背景の少なくとも一部が生物学的構造を囲む境界として使用されることができ、境界が使用されて関心のある生物学的構造に対応する領域のサイズを調整することができる。場合によっては、訓練された画像前処理機械学習モデルが使用されて、アクセスされた画像を処理してＲＯＩを識別または分離し、ＲＯＩは、アクセスされた画像に描写された臓器、組織、腫瘍、および血管を含むことができる。

ブロック２２１５において、フィルタリングされた画像は、バイナリ画像に変換される。フィルタリングされた画像の少なくとも一部の各ピクセルは、０または１のいずれかのピクセル値に変換されることができる。例えば、フィルタリングされた画像は、バイナリ画像に変換されることができるグレースケール画像とすることができる。ピクセルのサブセット（例えば、１ピクセルによって囲まれた０ピクセル）に対応するバイナリ値は、塗りつぶし操作に基づいて変換されることができる。バイナリ画像の画像ノイズをさらに低減するために、収縮－拡張および／または孔塗りつぶし操作が適用されることができる。

ブロック２２２０において、バイナリ画像を基準画像に位置合わせするために位置合わせ動作が実行される。フィルタリングされた画像は、変換パラメータのセットが生成されるように、基準画像に対応する基準フィルタに基づいて位置合わせされることができる。次いで、その位置および向きが調整されるように、変換パラメータのセットをバイナリ画像に適用することによって、画像歪み操作が実行されることができる。フィルタリングされた画像を基準画像に位置合わせすることに基づいて生成された変換パラメータの異なるセットに基づいて、歪められたバイナリ画像に対して後続の位置合わせ動作が実行されることができる。

ブロック２２２５において、セグメンテーションアルゴリズムが使用されて、位置合わせされた画像から画像オブジェクトのセットを抽出する。画像オブジェクトのセットを抽出するために、位置合わせされた画像が収縮されて画像オブジェクトのセットを識別することができ、各画像オブジェクトに対してシード点を作成し、位置合わせされた画像が塗りつぶされることができるまで条件付きで拡張されることができる。

変換された位置合わせされた画像は、セグメンテーションアルゴリズムによって処理されて、位置合わせされた画像に描写された画像オブジェクトのセットの境界として使用されることができる線のセットを識別するセグメント化画像を生成することができる。境界に基づいて、画像オブジェクトのセットがセグメント化画像から抽出されることができる。

ブロック２２３０において、画像オブジェクトのセットが出力される。例えば、画像オブジェクトのセットは、ローカルに提示されるか、または別の装置に送信されてもよい。画像オブジェクトのセットは、画像の識別子とともに出力されてもよい。画像オブジェクトのセットはまた、画像オブジェクトが病変または腫瘍に対応するかどうかの推定に対応する分類メトリックを生成するために、訓練された機械学習モデルによって処理されてもよい。

ＩＩＩ．さらなる考察
本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、命令が、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる、非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。

使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。

その後の説明は、好ましい例示的な実施形態のみを提供し、本開示の範囲、適用可能性または構成を限定することを意図しない。むしろ、好ましい例示的な実施形態のその後の説明は、様々な実施形態を実装するための可能な説明を当業者に提供する。添付の特許請求の範囲に記載の趣旨および範囲から逸脱することなく、要素の機能および配置に様々な変更を加えることができることが理解される。

実施形態の完全な理解を提供するために、以下の説明において具体的な詳細が与えられる。しかしながら、これらの具体的な詳細なしで実施形態が実施され得ることが理解されよう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要に詳細に不明瞭にしないために、ブロック図形式の構成要素として示されてもよい。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術が不必要な詳細なしに示されてもよい。

Claims (24)

1. コンピュータ実装方法であって、
   特定の被験者の生物学的構造の少なくとも一部の画像にアクセスすることと、
   セグメンテーションアルゴリズムを使用して前記画像を処理して、前記画像に描写された複数の画像オブジェクトを抽出することと、
   前記複数の画像オブジェクトのうちの画像オブジェクトと関連付けられた１つ以上の構造的特性を決定することと、
   訓練された機械学習モデルを使用して前記１つ以上の構造的特性を処理して、前記画像オブジェクトが前記生物学的構造と関連付けられた病変または腫瘍に対応するかどうかの推定に対応する推定データを生成することであって、前記訓練された機械学習モデルが、訓練画像のセットから構築された３次元モデルによって訓練される、生成することと、および
   前記特定の被験者についての前記推定データを出力することと
   を含む、コンピュータ実装方法。
2. 前記生物学的構造の前記少なくとも一部が肺の少なくとも一部を含む、請求項１に記載のコンピュータ実装方法。
3. 前記画像が、前記生物学的構造の前記少なくとも一部を囲む骨格構造を描写する、請求項１または２に記載のコンピュータ実装方法。
4. 前記画像が、前記生物学的構造の前記少なくとも一部の横断面を描写する、請求項１から３のいずれか一項に記載のコンピュータ実装方法。
5. 前記画像が、コンピュータ断層撮影スキャナを使用して取り込まれた画像データを含むか、または画像データから導出された、請求項１から４のいずれか一項に記載のコンピュータ実装方法。
6. 前記コンピュータ断層撮影スキャナがマイクロコンピュータ断層撮影スキャナである、請求項５に記載のコンピュータ実装方法。
7. 前記１つ以上の構造的特性が、前記画像オブジェクトの形状、位置、表面積、および／または最長直径を識別する、請求項１から６のいずれか一項に記載のコンピュータ実装方法。
8. 前記セグメンテーションアルゴリズムを使用して前記画像を処理することが、
   他の画像オブジェクトに関連付けられた１つ以上の構造的特性を決定することと、
   前記訓練された機械学習モデルを使用して前記他の画像オブジェクトの前記１つ以上の構造的特性を処理して、前記他の画像オブジェクトが前記生物学的構造のタイプに対応するかどうかの推定に対応する推定データを生成することと、および
   前記他の画像オブジェクトに関連付けられた前記推定データを出力することと
   をさらに含む、請求項１から７のいずれか一項に記載のコンピュータ実装方法。
9. 前記生物学的構造の前記タイプが、血管、肺、心臓、および／または肝臓を含む、請求項８に記載のコンピュータ実装方法。
10. 前記セグメンテーションアルゴリズムが、ウォーターシェッド変換アルゴリズムである、請求項１から９のいずれか一項に記載のコンピュータ実装方法。
11. 前記訓練された機械学習モデルが、訓練されたサポートベクターマシン（ＳＶＭ）である、請求項１から１０のいずれか一項に記載のコンピュータ実装方法。
12. コンピュータ実装方法であって、
    さらに、
    訓練された画像前処理機械学習モデルを使用して前記画像を前処理して、前記生物学的構造に対応する１つ以上の画像領域を識別するためのフィルタを生成することと、
    前記画像に前記フィルタを適用して、前記１つ以上の画像領域を分離することと、および
    前記セグメンテーションアルゴリズムを使用して前記分離された画像領域を処理して、前記画像に描写された前記複数の画像オブジェクトを抽出することと
    を含む、請求項１から１１のいずれか一項に記載のコンピュータ実装方法。
13. 前記訓練された画像前処理機械学習モデルが、訓練された畳み込みニューラルネットワーク機械学習モデルである、請求項１２に記載のコンピュータ実装方法。
14. 画像フィルタを使用して前記画像を処理して、前記生物学的構造の前記少なくとも一部を囲む１つ以上の骨格構造を除外するフィルタリングされた画像を生成することをさらに含み、前記フィルタリングされた画像が、前記画像の代わりに使用されて、前記画像オブジェクトを前記複数の画像オブジェクトから分離する、請求項１から１３のいずれか一項に記載のコンピュータ実装方法。
15. 前記画像を基準画像と位置合わせするために共位置合わせを使用して前記画像を処理することをさらに含み、前記位置合わせされた画像が、前記画像の代わりに使用されて、前記複数の画像オブジェクトから前記画像オブジェクトを抽出する、請求項１から１４のいずれか一項に記載のコンピュータ実装方法。
16. コンピュータ実装方法であって、
    さらに、
    前記画像をバイナリ画像に変換することと、
    塗りつぶし操作を使用することによって前記バイナリ画像の１つ以上のピクセルを変換することと、および
    収縮および拡張操作を実行して、前記バイナリ画像からの画像ノイズを低減することと
    を含む、請求項１から１５のいずれか一項に記載のコンピュータ実装方法。
17. セグメンテーションアルゴリズムを使用して前記画像を処理することが、前記複数の画像オブジェクトのうちの２つ以上の重なり合う画像オブジェクト間の境界を識別するために負の距離変換関数を前記画像に適用することをさらに含む、請求項１から１６のいずれか一項に記載のコンピュータ実装方法。
18. 前記複数の画像オブジェクトのうちの残りの画像オブジェクトのそれぞれについて決定、処理、および出力するステップを実行することによって、前記複数の画像オブジェクトについての推定データを生成することをさらに含む、請求項１から１７のいずれか一項に記載のコンピュータ実装方法。
19. 前記複数の画像オブジェクトの前記推定データに基づいて、前記生物学的構造の前記少なくとも一部と関連付けられた腫瘍負荷のレベルを決定することをさらに含む、請求項１８に記載のコンピュータ実装方法。
20. 前記腫瘍負荷のレベルが、前記腫瘍を有すると分類された前記複数の画像オブジェクトのうちの１つ以上の画像オブジェクトに由来する第１の構造的特性値と、前記複数の画像オブジェクトの全てに由来する第２の構造的特性値との比に対応する、請求項１９に記載のコンピュータ実装方法。
21. 前記１つ以上の構造的特性が、前記画像オブジェクトの構造的特性のセットに対応し、
    前記訓練された機械学習モデルを使用して前記１つ以上の構造的特性を処理することが、前記構造的特性のセットから構造的特性のサブセットを選択することをさらに含み、前記構造的特性のサブセットが、
    前記構造的特性のセットの特定の構造的特性に関連付けられた構造的特性カテゴリに対して、前記腫瘍を有すると識別された画像オブジェクトの第１のセットに対応する構造的特性値の第１の分布と、前記腫瘍を有しないと識別された画像オブジェクトの第２のセットに対応する構造的特性値の第２の分布とを生成することであって、前記複数の画像オブジェクトが、前記画像オブジェクトの前記第１のセットおよび前記第２のセットを含む、生成することと、
    前記第１の分布と前記第２の分布との間の統計的差異を識別することと、
    前記統計的差異に基づいて、前記構造的特性カテゴリが前記構造的特性の前記サブセットのカテゴリとして追加されるべきであると決定することと、および
    前記構造的特性カテゴリが前記構造的特性の前記サブセットの前記カテゴリとして追加されるべきであると決定したことに応答して、前記特定の構造的特性を前記構造的特性の前記サブセットの要素として追加することと、によって選択される、請求項１８に記載のコンピュータ実装方法。
22. 前記構造的特性のサブセットが、前記画像オブジェクトの体積、表面積、等価直径、およびボクセル強度を識別する、請求項２１に記載のコンピュータ実装方法。
23. システムであって、
    １つ以上のデータプロセッサと、
    命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が、前記１つ以上のデータプロセッサ上で実行されると、前記１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させる、非一時的コンピュータ可読記憶媒体と、を備える、システム。
24. １つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品。

Images