JP2023517076A - 哺乳類転移学習のためのシステム及び方法 - Google Patents

Abstract

ニューラル・ネットワークは、２Ｄ、３Ｄ、及び４Ｄ画像及びモデルを含む、医療画像データを分析するために、転移学習を使用して訓練される。標的医療画像データが、訓練のために利用可能な十分なラベル付きデータがない種又は問題クラスに関連付けられる場合、システムは、他の種からのラベル付きデータ、及び／又は異なる問題クラスからのラベル付きデータを選択することによって、強化された訓練データセットを作り出し得る。訓練及び分析中、画像データは、問題クラスに関する意味のある文脈を保護するのに十分大きい状態でありつつ、種のソースを不明瞭化するのに十分小さい部分に分けられる（例えば、画像部分は、人間又はイヌからのものであるかどうかを決定できないほどに小さいが、異常な肝臓組織は、依然として識別できる）。クラウド・プラットフォーム又は他のアプリケーションを介した入力画像の自動化された分析及びヒート・マッピングを提供するために、訓練済チェックポイントが次に使用され得る。

Description

本出願は、２０２０年３月１０日に提出され、「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｏｆ Ｍａｍｍａｌｉａｎ Ｔｒａｎｓｆｅｒ Ｌｅａｒｎｉｎｇ」という名称の、米国仮出願第６２／９８７，４４１号の非仮出願であり、その全開示が、本明細書によって、本明細書に参照により組み込まれる。

３Ｄ画像分類又はセグメント化を伴う機械学習の問題は、しばしば、大量の高品質の多様なラベル付きデータを利用して、問題空間の正規の統計的サンプルを有し、所与のタスクを正確に実施することができるニューラル・ネットワークの作成を可能にする。この問題は、エキスパート・ラベル付きデータを複雑な問題に提供するという一意の難題により、人間と獣医学両方の用途において、医療画像化空間の一部分において悪化する。いくつかのデータは、主に人間用途向けの（例えば、放射線医学用の）正規のラベル付き形式で利用可能であり得るが、他の問題（例えば、組織病理学）では、動物用のより包括的なデータセットが存在する（例えば、組織病理学の場合の豚）。十分なラベル付きデータが欠如している人間医療又は獣医学の用途に機械学習技法の適用可能性を広げるために、転移学習のための改善されたシステム及び方法が必要である。

本開示は、以下の図に関連して行われるいくつかの実例の実施例の詳細な説明から、より容易に理解されよう。

哺乳類転移学習のために構成された例示的システムの概略図である。 哺乳類転移学習プロセスの第１のセッション中に実施され得るステップの例示的セットのフローチャートである。 哺乳類転移学習プロセスの任意選択の第２のセッション中に実施され得るステップの例示的セットのフローチャートである。 訓練データの可能な組合せを示す概略図である。 訓練及び検証プロセス中に実施され得るステップの例示的セットのフローチャートである。 テスト及び適用中に実施され得るステップの例示的セットのフローチャートである。 標的異常のヒートマップ識別を含む医療画像データを閲覧するための例示的インターフェースのスクリーン・ショットである。 標的異常のヒートマップ識別を含む医療画像データを閲覧するための別の例示的インターフェースのスクリーン・ショットである。

本明細書で開示されるようなシステム及び方法の構造、機能、及び使用の原理を全体的に理解するために、本開示の様々な非限定的実施例がここから説明される。これらの非限定的実施例の１つ又は複数の実例が、添付の図面に示されている。当業者は、本明細書で具体的に説明され、添付の図面に示されたシステム及び方法が非限定的実施例であることを理解するであろう。１つの非限定的実施例と共に示される又は説明される特徴は、他の非限定的実施例の特徴と組み合わされ得る。このような変更形態及び変形形態は、本開示の範囲内に含まれることを意図するものである。

「様々な実施例」、「いくつかの実施例」、「１つの実施例（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」、「いくつかの実例の実施例」、「１つの実例の実施例」、又は「１つの実施例（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」への本明細書の全体を通した言及は、いずれかの実施例と共に説明される特定の特徴、構造、又は特性が少なくとも１つの実施例に含まれることを意味する。したがって、本明細書の全体を通して所々における句「様々な実施例において」、「いくつかの実施例において」、「１つの実施例において（ｉｎ ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」、「いくつかの実例の実施例」、「１つの実例の実施例」、又は「１つの実施例において（ｉｎ ａｎ ｅｍｂｏｄｉｍｅｎｔ）」の出現は、必ずしも同じ実施例に全て言及しているわけではない。さらに、特定の特徴、構造、又は特性は、１つ又は複数の実施例における任意の適切な様式で組み合わされ得る。

本開示の全体を通して、構成要素又はモジュールへの言及は全体的に、機能又は関連機能のグループを実施するために論理的に一緒にグループ化されることが可能な項目を指す。同様の参照番号は全体的に、同じ又は同様の構成要素を指すことを意図するものである。構成要素及びモジュールは、ソフトウェア、ハードウェア、又はソフトウェアとハードウェアの組合せにおいて実装されることが可能である。ソフトウェアという用語は、実行可能コードだけでなく、データ構造、データ・ストア、並びに、任意の電子フォーマット、ファームウェア、及び組み込みソフトウェアにおけるコンピューティング命令も含むように多角的に使用される。情報及びデータという用語は多角的に使用され、機械実行可能又は機械解釈可能命令と、とりわけテキスト、ビデオ・データ、及びオーディオ・データなどのコンテンツと、様々なコード又はフラグとを含むがこれらに限定されない、多種多様な電子情報を含むことができる。情報、データ、及びコンテンツという用語は、文脈によって許容されるとき、時には入れ替えて使用される。

本明細書で論じられる実例は、実例に過ぎず、本明細書で説明されるシステム及び方法の説明を補助するために提供される。図面に示された、又は下記で論じられる特徴又は構成要素のどれも、必須であると具体的に指名されない限り、これらのシステム及び方法のいずれかのうちのいずれかの特定の実装形態に必須であると理解されるべきではない。読解の容易さ及び明瞭さのために、特定の構成要素、モジュール、又は方法が、特定の図と共に単に説明され得る。構成要素の結合又はサブ結合を具体的に何も説明しなかったとしても、任意の結合又はサブ結合が可能でないことを示すものと理解されるべきではない。また、説明されるいずれかの方法に関して、方法が流れ図に関連して説明されるかどうかに関わらず、別途文脈によって指定されない又は必要とされない限り、方法の実行時に実施されるステップのいずれかの明示的又は暗黙的な順序は、これらのステップが提示された順序で実施されなければならないことを示唆せず、その代わりに、異なる順序で又は並列に実施されてもよいことを理解されたい。

説明されてきたように、異なるデータセットを組み合わせた哺乳類転移学習のためのシステム及び方法が必要であり、ここで、いくつかの量のデータは、高度の精度でタスクを実施することができるニューラル・ネットワークの訓練を可能にするために、異なる動物又は問題から生じる。包括的にラベルを付けたタスク固有のデータセットを利用できることは、従来、これらのデータセット又は同じタイプのデータの新しいインスタンス内の指定の特徴を認識及び検出するように（例えば、生体のＭＲＩスキャン内の健康な組織と癌性の又は異常な増殖との間の違いを表示するように）人工知能（例えば、人工ニューラル・ネットワーク）を訓練できることに必要なものである。「高品質」訓練入力を生み出す際に、前記入力を使用して訓練されたＡＩが、医療スキャン内の位置ラベルで指定された所望の異常のＡＩの評価の特異性及び精度と共に異常を強調するための解決策を出力できるように、複数の要因が評価される。ＡＩの恩恵は、人間より速いレートでも動作しつつ、人間のインタープリタの知覚の範囲を下回る、及び疲労、過飽和状態の網膜、又は人間が遭遇したことがないケースの不十分な知識などの人間に共通の制限因子のない、異常を両方動的に検出できることにある。それでも、従来のアプローチでは、ＡＩを使用すると、性能が改善するのと引き替えに、ＡＩシステムを効率的に訓練するために大量のデータが必要になる。必要なデータセットの規模は、一般に、何百万に及ぶとは言わないまでも、何万又は何十万台のデータ・ポイントになる。

ラベル付きデータは、１次画像又は情報（例えばＣＴスキャン、ＭＲＩ、Ｘ線、超音波、ｆＭＲＩ、マルチ・モダリティ２Ｄ、マルチ・モダリティ３Ｄ、マルチ・モダリティ４Ｄ）に付加されるものであり、１次情報とは別個のファイルに格納されたデータを指すことができる。ラベル付きデータは、．ｄｉｃｏｍ、．ｄｃｍ、．ｎｉｉ、ｎｉｆｔｉ、．ｍｈｄ、．ｈ、．ｊｐｇ、．ｍｐｅｇ、又は、３Ｄ若しくは２Ｄデータを含むがこれらに限定されないいずれかの多次元データの本明細書における任意の組合せなどであるがこれらに限定されない、デジタル・ファイル・フォーマットで格納されることが可能である。ラベルは、１次データのフォーマットへの対応関係、及び、ラベルのピクセル／ボクセル内に収められた値を伴う空間的定位を有し得る。ラベル・フォーマットは、ファイル・タイプのコンバージョンが行われ得、データは、元の値タイプから、別の値タイプ又はボクセル定義クラス（例えば、クラス０＝背景、クラス１＝器官、クラス２＝癌）に再定義される。ボクセル定義クラス値は、ラベル・ファイルにおける設定された数のユニット又は分類タイプに限定されず、ユーザによって指名された任意の複数のデータ分類に動的に割り当てられ、ソートされ、広められることが可能である。１つの実例として、ラベルは、画像データのセットに対応するメタデータのセットでもよく、このような対応関係は、画像データに明確に存在しないいくつかの特性のピクセル毎又はボクセル毎の関連付けと表現される。

ラベル付きデータは、複数の機械、方法、及び主題に由来することが可能である。ラベルの特質は、種、ラベルのタイプ、及びラベル・クラス・オプション又は値を含み得るがこれらに限定されない。それぞれのデータは、単一の主題の種に由来する。ラベル・タイプは、分類、境界ボックス回帰、及びセグメント化を含み得るがこれらに限定されない。分類ラベル値は、カテゴリ値であり、境界ボックス回帰ラベル値は、入力データにおけるオブジェクトのロケーションを表す座標中心及びボックス次元であり、セグメント化は、例えば、バイナリ・ヒートマップ、又は、各ボクセルのカテゴリ・クラス値を有するヒートマップである。この技術の範囲内のラベル付き入力は、「人間」、「動物」、及び「代替動物」と呼ばれることになるデータの主題に焦点を合わせることになり、代替動物は、訓練データに入力することになる以前とは異なる別の動物種（例えばイヌ、ブタ、ウマ、ネコ、及び齧歯類）を指し、「種」は、哺乳類のセットにおけるいずれかの単一の動物を指すことができる。ラベル・クラス・オプション及び値は、特定の組織、器官、細胞小器官、及び異常を含み得るがこれらに限定されない。

包括ラベル付き人間医療データセット（ＣＴ、ＭＲＩ、Ｘ線、超音波、及び組織病理学などのモダリティを含むがこれらに限定されない）は、ラベル付き動物データの相対的な不足があるので、同様のモダリティのラベル付き動物ベースの獣医学データより大量に利用可能である。十分なラベル付きデータの相対的な不足は、考えられる問題又はモダリティに応じて、豊富な動物由来データから人間由来データに言い換えるときにも存在する。例えば、人間より量的に多くの、動物主題（主に豚）のラベル付き組織病理学データが存在する。本開示による、医療及び獣医の画像分析問題空間内の高品質ラベル付きデータにおける分量の矛盾に対処するために、特定の種からのラベル付きデータが、代替種から完全又は部分的に補足された異常を検出するようにＡＩを訓練するために使用されることが可能である（例えば、イヌの異常を検出するのに役立てるためにラベル付き人間データを追加する）。この補足を容易にするために、モダリティ及びカテゴリ・ラベルは、訓練、検証、及びテストの全てのセッションにおける全ての選択されたセットの全体を通して保護され得る。

開示の技術のいくつかの実装形態は、例えば、医療専門職、患者、保険会社、又は、放射線スキャンの分析を求める他の当事者によってアクセスされることが可能なクラウド・ベースのプラットフォームを含み得る。図１は、ネットワーク（１４）（例えば、ＬＡＮ、ＷＡＮ、又は他の通信ネットワーク）を介してユーザ・デバイス（１２）によってアクセスされることが可能な、人工知能ベースのケース・スタディ分析コンピューティング・システム（１０）を概略的に示すが、開示の技術は、スタンドアロンのローカルに実行されるソフトウェア・アプリケーションとしても実装され得ることを理解されたい。コンピューティング・システム（１０）は、１つ又は複数のサーバ（例えば、物理サーバ、仮想サーバ、クラウド・サーバ、又は他のコンピューティング環境）を含み得、各サーバは、プロセッサ、メモリ、ストレージ・デバイス、通信デバイス、グラフィカル・プロセッサ、並びに、データの転移、操作、及び分析で一般に使用されるような他の構成要素を含み得る。ユーザ・デバイス（１２）は、例えば、コンピュータ、ラップトップ、スマートフォン、タブレット、病院情報システム、医療画像化デバイス（例えば、ＭＲＩ機械若しくは他のデジタル撮像機器）、又はコンピューティング・システム（１０）と通信することができる他のデバイスでよい。

人工知能ベースのケース・スタディ分析コンピューティング・システムは、人間だけのデータ、又は人間と動物のデータの組合せなどの、ラベル付き哺乳類データについて訓練されることが可能である。このような実例では、リモート・ユーザ（１２）は、例えば、診断を支援するための動物器官のスキャンの分析を求める獣医の情報システムでよい。

図示のように、リモート・ユーザ（１２）は、１つ又は複数の器官の１つ又は複数のスキャンなど、患者の診察及びデジタル診断の収集で、プロセスを始めることができる。ユーザは、診察中の動物のケース・スタディを形成し、人工知能ベースのケース・スタディ分析コンピューティング・システムにケース・スタディをアップロードすることができる。アップロードされたケース・スタディのコンテンツは変動し得るが、ケース・スタディは、獣医の画像化機器によって収集されるような、動物の特定の１つ又は複数の器官の１つ又は複数のスキャンを含むことができる。このようなアップロードは、例えば、オンライン・ウェブ・ベース・ポータル、ソフトウェア・アプリケーション・インターフェース、又は他の通信チャネルを通じるなど、任意の適切なデータ伝送技法を通じて発生させることができる。

リモート・ユーザからケース・スタディを受け取ると、人工知能ベースのケース・スタディ分析コンピューティング・システムは、その画像化モデルに基づいてケース・スタディ分析を実施し、ケース・スタディに分析を追加することができる。処理の分析は、適切な数のアプローチのいずれかを使用して、ケース・スタディに追加されることが可能である。１つの実施例では、例えば、人工知能ベースのケース・スタディ分析コンピューティング・システムは、問題となり得るエリアを視覚的に示すために、色分けされたヒートマップでケース・スタディを拡大する。分析を伴うケース・スタディは、次に、ダウンロードされるか、そうでなければリモート・ユーザに伝送又は提供されることが可能である。リモート・ユーザは、人工知能ベースのケース・スタディ分析コンピューティング・システムによって提供されたケース・スタディの分析に基づいて、適切な次のステップを行うことができる。

様々な実施例によれば、システム及び方法は、過去のケース・スタディを分析して異常な発見の基準点を形成し、これらの発見を報告することができる、ソフトウェア・プラットフォーム又はアプリケーションとして提供されることが可能である。したがって、所定の固有パラメータ内に視覚的に存在する特定の疾患に究極の発見を限定することなく、ケースのより診断的に完全な視覚分析が提供されることが可能である。

ラベル付きデータは、図２に示されたプロセスを通じてシステムに入り、図２は、本開示による転移学習のための訓練、検証、及びテスト・セッション両方のための実例のプロセス・フローを概略的に示す。図示のように、本開示によるプロセス・フローは、求められる精度の所望のレベル、リソースの可用性、及び／又は他の動作パラメータに依存し得るような、様々なレベルのチューニング及びテストを有することができる。様々な実施例によれば、非限定的なユース・ケースの実例として図２～図３に描写されたプロセス・フローの１つ又は複数を使用する本明細書で説明されるシステム及び方法は、いくつかの実施例では少なくとも７０％の信頼性レベルを達成することができ、その一方で、他の実施例は、９５％を超えるピークの信頼性レベルを達成することができる。追加の非限定的なユース・ケースの実例では、９．１～３６．３ｋｇ（２０～８０ｌｂ．）の猫及び犬の肝臓、肺、腎臓、及び脾臓の腫瘤／腫瘍のケースにおける精度のレベルは、８０％を超えることができ、その一方で、他の実施例では、精度のレベルは、８５％又は８７％を超えることができる。

図２を参照すると、単一セッション方法が第１の学習セッションに適用される場合、単一セッション方法（１００）が制御する。単一セッション方法は、ユーザが種の適用リストの範囲外のデータを使用して訓練することを可能にし、種の適用リストは、同じクラス・ラベルが同じインスタンス内で使用される限り、本分野のモデルの意図したユース・ケースを指す。単一セッション方法は、領域提案のためにサンプリングを行いつつ、値の構成可能なウィンドウ又は再配列のタイプを経験する物体検出の方法、及びインスタンス・セグメント化モデルを指す。モデルは、モデルが内臓器官、異常、及び他の特徴クラスを分類するのに依然として十分大きいままでありつつ、データの実例の種を不明瞭化するのに十分小さい元のスキャン／情報のサブ・セクションとして定義された「チャンク」にラベル付き入力データを分割することによって標的データを適用する前に、複数のソースからのラベル付き入力データを階層化する能力を獲得する。これらのサブセットは、本文書の残りの全体を通して「チャンク」と呼ばれることになる。

図２では、システムは、方法が単一セッション（１００）のために構成されるセッション（１０２ａ）のための混合ソース・データを選択し得る。混合ソース・データセットは、後で訓練、検証、及びテストのセットに分けられることが可能なデータセットを形成するために、２つ以上の種及び１つ又は複数のクラスからのデータが使用されることを意味する。ユーザは、また、先進的サンプリング方法によって後で使用されることになる種の適用リストを指定するべきである。混合ソース・データは、ラベル付き人間訓練データが動物テスト・データに適用される、ラベル付き動物訓練データが動物テスト・データに適用される、ラベル付き動物訓練データが代替動物テスト・データに適用される、ラベル付き動物訓練データが人間テスト・データに適用される、ラベル付き人間及び動物訓練データの組合せが動物テスト・データに適用される、ラベル付き人間及び動物訓練データの組合せが人間テスト・データに適用される、ラベル付き人間及び動物訓練データの組合せが代替動物テスト・データに適用される、ラベル付き人間、動物及び代替動物訓練データの組合せが動物テスト・データに適用される、ラベル付き人間、動物及び代替動物訓練データの組合せが人間テスト・データに適用される、又は前述のいずれかの組合せというシナリオに由来することが可能であるがこれらに限定されず、「代替動物」データは、第１の動物と同じ種でない１つ又は複数の動物種（例えば動物＝イヌ、代替動物＝ネコ及びブタ）を指すことができる。

ソース・データ及び対応するアプリケーションの分布が図４に示されており、図４は、どのように異なるデータ・ソースが転移学習プロセスにおいて照合され、一緒に使用されるかを示す。この図は、統合された解決策を形成するために、異なるアプリケーションが一緒に組み合わされることが可能であることを示す。アプリケーションは、異なるデータ・モダリティ（ＭＲＩ分野におけるＴ１若しくはＴ２スキャンを含むがこれらに限定されないもの）、スキャン・タイプ（超音波、ＭＲＩ、若しくはＣＴスキャンを含むがこれらに限定されない）、ラベル若しくはオブジェクト・タイプ、又は人間若しくは獣医学的解決策から生じる問題（癌若しくは他の医学的異常などの異なる医学的問題を含むがこれらに限定されない）を含むがこれらに限定されないシステムに共有されることが可能なデータの異なるフォーマットであると定義され得、動物アプリケーションは、動物の異なる種から生じるモダリティ又はスキャンから成ることが可能である。

図２では、システムは２つ以上の単一セッション（１００）のために構成され、セッションのためのソース固有データを選択すること（１０２ｂ）は、後で訓練、検証、及びテストのセットに分けられることが可能なデータセットを形成するために、ユーザが単一の種及び１つ又は複数のクラスを選択する場合のものである。種の適用は、ユーザによって選択された種に一致する。ソース・データに関するいくつかの実例は、ラベル付き人間訓練データが人間テスト・データに適用される、ラベル付き動物訓練データが動物テスト・データに適用される、ラベル付き代替動物訓練データが代替動物テストに適用されるというシナリオに由来することが可能であるがこれらに限定されない。

混合ドメイン・データが選択されると（１０２ａ）、システムは、階層化されたサンプリング方法を使用して、どの種が異なるデータセットのためにサンプリングされるかを制御し得る、先進的サンプリング方法を選択し得る（１０４ａ）。ユーザは、サンプリング方法を制御するためにパラメータを提供するべきである。構成は、標的適用リストに一致する標的データが、テスト及び検証のセットのために使用されることだけを許容しつつ、ソース・データのいずれかが、訓練のために使用されることを可能にするように選択されるべきである。

ドメイン固有データが選択されると（１０２ｂ）、システムは、単純ランダム・サンプリング方法及び体系的サンプリング方法を含み得るがこれらに限定されない、従来のサンプリング方法を選択し得（１０４ｂ）、体系的サンプリングが選択された場合、ユーザは、また、サンプリング方法を制御するためにパラメータを提供するべきである。

図２及び図３の本開示において示された事前処理方法の目的は、入力特徴の容量を最大化しつつ、入力画像の体積及び又はチャネルを最小化することである。事前処理は、訓練済学習モデルで処理されるとき、実例をそのクラス・ラベル・グループに差別化するのに役立つ。このようにして、システムは、事前処理方法を選択し得（１０６）、事前処理方法は、特徴正規化、画像スケーリング、特徴エンジニアリング、及びスライディング・ウィンドウ方法と呼ばれることになるスライディング・ウィンドウ方法の２Ｄから４Ｄまでのカスタム・バージョンを含み得るがこれらに限定されない。スライディング・ウィンドウ方法は、領域提案方法のインパクト又は同様の代替物をシミュレートするために、本明細書で説明される転移学習方法を示すために使用されるｕ－ｎｅｔなどであるがこれらだけではない、分類及び意味論的セグメント化モデルのために使用される。一部対全体のウィンドウ方法へのこの再構成により、異なる種の間のデータがますます似たものになる。データ・サブセット、ウィンドウ、又は「チャンク」が小さくなると、ラベル付き入力データと標的データとの間の類似性が大きくなる。それでも、ウィンドウは、モデルがウィンドウ入力画像を使用してクラス・ラベルを正しく差別化するのにウィンドウが十分大きい場合にしか有用ではない。他の事前処理方法は、ウィンドウが適用され、結果として最適なウィンドウ・サイズが変わる前に、画像のスケールを変える。異なる方法が、異なるタイプの入力を作り出し、これにより、ＡＩによる可能な情報の全ての処理に影響を及ぼす。最終的な出力を再構築するために、スライディング・ウィンドウ方法がモデルに対して使用される場合には、後処理が必要である。分類ネットワークのケースでは、これは、単一の出力クラス・ベクトルに凝縮された出力を生じるはずである。

モデル選択は、任意のバージョンの転移学習を実施するための学習モデルを選ぶことを伴う。転移学習は、全ての教師あり学習モデル、及び画像処理のためのモデル・タイプに適用されることが可能である。モデル選択（１０８）は、これらのモデル・タイプのうちの１つを選ぶプロセスである。実例は、分類、意味論的セグメント化、物体検出、及びインスタンス・セグメント化を含み得るがこれらに限定されない。異なるモデル・タイプは、ラベル・タイプの異なるグループの値を有するデータを必要とし得る。分類モデル・データの実例は、分類ラベル・タイプを必要とする。意味論的セグメント化モデルのデータの実例は、セグメント化ラベル・タイプを必要とする。物体検出モデルのデータの実例は、分類及び境界ボックス回帰ラベル・タイプを必要とする。インスタンス・セグメント化モデルのデータの実例は、分類、境界ボックス回帰、及びセグメント化ラベル・タイプを必要とする。分類モデルの実例は、ＶＧＧ、ＲｅｓＮｅｔ、ＳＥ－ＲｅｓＮｅｔ、ＳＥＮｅｔ、ＤｅｎｓｅＮｅｔ、Ｉｎｃｅｐｔｉｏｎ Ｎｅｔ、モバイル・ネット、ＥｆｆｉｃｉｅｎｔＮｅｔ、及びＡｌｅｘ Ｎｅｔを含むがこれらに限定されない。時間次元を有するデータを分類するために、サブ・ネットワークが追加されることが可能である。実例は、ＲＮＮ、ＬＳＴＭ、又はＧＲＵを含むがこれらに限定されない。意味論的セグメント化モデルの実例は、ｕ－ｎｅｔ、Ｌｉｎｋｎｅｔ、ＰＳＰＮｅｔ、及びＦＰＮを含むがこれらに限定されない。物体検出モデルの実例は、ｒ－ｃｎｎ、ｆａｓｔ ｒ－ｃｎｎ、ｆａｓｔｅｒ ｒ－ｃｎｎ、ＲｅｔｉｎａＮｅｔ、及びＹＯＬＯを含むがこれらに限定されない。インスタンス・セグメント化モデルの実例は、ＹＯＬＡＣＡＴ、ｍａｓｋ ｒ－ｃｎｎ、ＤＥＴＲを含むがこれらに限定されない。物体検出及びインスタンス・セグメント化モデル・タイプは、クラスのコンピューティング、境界ボックス更新、及び又はセグメント化マスクの前に、より小さい領域に画像を分解する。人間及び他の哺乳類種の診断画像が、より小さい画像へとさいの目に切られると、どのチャンクがどの種から生じたのか区別しにくい。スライディング・ウィンドウ・アルゴリズムが事前処理選択において実装される場合、同じ現象が、分類又は意味論的セグメント化モデルから生じる恐れがある。本文書の文脈で対処されることになる開示のモデルの実装形態は、プリプロセッサにおけるスライディング・ウィンドウのカスタムの実装形態を使用して意味論的セグメント化を実施するｕ－ｎｅｔである。

設定のユーザ選択（１１０）は、図２に示されているように、（選択されたドメイン及びクラスからサンプリングされた、訓練セット、検証セット、及びテスト・セットの）データ分割比、損失関数、オプティマイザ、学習方法、妥当な場合のバッチ・サイズ、及びＥｐｏｃｈの数を含み得るがこれらに限定されない。設定は、任意選択として、データ拡大方法、基準値、及びハイパーパラメータも含むことができる。これらの設定は、本明細書で説明される転移学習の一意のアプリケーション及び方法に直接的に関連していないが、これらの設定の選択は、データをフィットさせるための任意のモデルの有効性に関連したものであり、このような選択は、本開示の観点から当業者には明らかであろう。

設定におけるデータ分割比に関して、区分の別のポイントは、訓練データセット・サイズに対するテスト／検証としてのこのアプリケーションのために、大部分のデータが利用されるということであるはずである。これは、解決される標的ケースに対して選択される補足データ・ケースの数を含む。例えば、標的ケースが、ネコの肝臓癌である場合、訓練のために選択される補足データ・ケースは、人間の肝臓癌、イヌの肝臓癌、及び人間の副腎腫瘤癌を含むがこれらに限定されない。補足ケースに対する標的ケースの比の非限定的実例は、１つの標的ケースに対する２つの他のケース、１つの標的ケースに対する３つの他のケース、１つの標的ケースに対する４つの他のケース、１つの標的ケースに対する５つの他のケース、１つの標的ケースに対する６つの他のケース、１つの標的ケースに対する７つの他のケース、１つの標的ケースに対する８つの他のケース、１つの標的ケースに対する９つの他のケース、１つの標的ケースに対する１０個の他のケース、１つの標的ケースに対する１１個の他のケース、１つの標的ケースに対する１２個の他のケース、１つの標的ケースに対する１３個の他のケース、１つの標的ケースに対する１４個の他のケース、１つの標的ケースに対する１５個の他のケース、１つの標的ケースに対する１６個の他のケース、１つの標的ケースに対する１７個の他のケース、１つの標的ケースに対する１８個の他のケース、１つの標的ケースに対する１９個の他のケース、１つの標的ケースに対する２０個の他のケースを含む。

データ拡大方法の実例は、ｘ、ｙ、又はｚ軸のうちの１つについてのスライスのランダムな再配列、スライスに適用されるいくらかの強度のぼやけ、ｘ、ｙ、又はｚ軸のうちの１つのスケールの操作を含み得るがこれらに限定されない。データ拡大方法は、本技術の典型的な使用において適用されるように、セッションの訓練データセットに適用されるだけである。

基準値設定の実例は、ｆｌスコア、精密さ、リコール、特異性、精度、ＤＩＣＥ係数、及び他の混同行列基準値、並びに、これらのマルチ・クラス混同行列の同等物を含むがこれらに限定されない。

損失関数設定の実例は、平均２乗誤差、平均絶対誤差、ヒンジ損失、及びクロス・エントロピー損失を含むがこれらに限定されない。

オプティマイザは、損失関数によって生成される誤差スコアを低減させるために、訓練データを使用して、モデルに対する反復の更新を生成し得る。オプティマイザの実例は、Ｍｏｍｅｎｔｕｍ、Ｎｅｓｔｅｒｏｖ加速勾配、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、ＲＭＳｐｒｏｐ、Ａｄａｍ、ＡｄａＭａｘ、Ｎａｄａｍ、及びＡＭＳＧｒａｄを含むがこれらに限定されない。

学習方法は、データセットのどのくらいが、モデル更新を計算するために考慮されるかを制御する。学習方法の実例は、確率勾配降下、バッチ勾配降下、及びミニ・バッチ勾配降下を含むがこれらに限定されない。

設定における学習方法のためにバッチ勾配降下又はミニ・バッチ勾配降下をユーザが選択した場合、ユーザは、バッチ・サイズを供給する必要があるはずである。バッチ・サイズの実例は、１、２、５、１０、１２、１５、２０、２４、３０、３２、３６、４０、４２、４５、５０、５２、６０、６４、７０、７２、８０、８２、８４、９０、９６、及び１００を含み得るがこれらに限定されない。

エポックは、訓練及び検証データセットを通じてセッションが反復する回数を指す。開示のシステムの実装形態は、様々な数のエポックを使用してニューラル・ネットワークを訓練することによって、意味のある解決策に到達することができ、様々な実装形態は、約３つのエポック、約５つのエポック、約７つのエポック、約１０個のエポック、約１５個のエポック、約２０個のエポック、約２５個のエポック、約３０個のエポック、約３５個のエポック、約４０個のエポック、約４５個のエポック、約５０個のエポック、約６０個のエポック、約７０個のエポック、約８０個のエポック、約９０個のエポック、約１００個のエポック、約１５０個のエポック、約２００個のエポック、約２５０個のエポック、約３００個のエポック、約３５０個のエポック、約４００個のエポック、約４５０個のエポック、約５００個のエポック、約５５０個のエポック、約６００個のエポック、約６５０個のエポック、約７００個のエポック、約７５０個のエポック、約８００個のエポック、約８５０個のエポック、約９００個のエポック、約９５０個のエポック、約１，０００個のエポックを含むがこれらに限定されない。他の方法は、訓練及び検証の基準値ヒストグラム・スコアがどれだけ匹敵するかについての条件を設定することによって、セッション中にエポックの数が決定されることを可能にする。

ハイパーパラメータは、検証中に、問題のためのより良いモデルがないかサーチするために、どのようにモデル又はその設定を修正することができるかを反復して制御する。実例は、代替設定、使用される活性化関数のようなモデル・プロパティ、深くて広いレイヤの数、レイヤ・カーネル及びカーネル・サイズ、学習率、ドロップアウト、正則化、並びに補助出力レイヤのいずれかを含み得るがこれらに限定されない。

図２では、セッションを動かすこと（１１２）は、選択されたデータ、モデル、及び設定を使用して、訓練、検証、及びテスト・セッションを実行する。これは、損失関数のヒストグラム値、及び、訓練と検証両方のステップの基準値、並びに、テスト・ステップの誤差及び基準値スコアを生み出すはずである。訓練及び検証サイクルは、損失のユーザ指定ゴール、並びに訓練及び検証ヒストグラムの基準値が満たされるまで、いくつかの実施例で又は他の実施例で指定されたエポックの数に対して、モデルを更新することになる。

二重セッション判定ブロックは、ユーザが、自分自身の裁量で、第１のセッションの後、プロセス・フローを終わらせること、又は第２のセッションを続けることを選ぶことができる場所である（１１４）。セッションが単一セッション方法である場合（１１４）、プロセスは終了し、アプリケーションは訓練され、実際の患者からのケース・スタディを分析するために使用できる状態である。セッションが二重セッション方法である場合（１１４）、システムは、図３のステップに進むことができる。図３の単一セッション判定ブロック（２００）は、二重セッション方法自体で、又は、単一セッション方法が以前に第１のセッションで使用されたか否かに関わらず、第２のセッションのために図２からの単一セッション方法と共に、二重セッション方法を使用することをユーザが選べる場所である。

図３に示された二重セッション方法のために、システムは、第１のセッション方法が第２のセッションのために使用されていることを示す、セッション（２０２ａ）のための混合標的データを選択することができる。混合標的データセットは、後で訓練、検証、及びテストのセットに分けられることが可能なデータセットを形成するために、２つ以上の種及び１つ又は複数のクラスからのデータが使用されることを意味する。ユーザは、また、後で訓練、検証、及びテストのセットに分けられることが可能なデータセットを形成するために、後でこの又はより多くのクラスによって使用されることになる種の適用リストを指定するべきである。混合標的データは、ラベル付き人間訓練データが動物テスト・データに適用される、ラベル付き動物訓練データが動物テスト・データに適用される、ラベル付き動物訓練データが代替動物テスト・データに適用される、ラベル付き動物訓練データが人間テスト・データに適用される、ラベル付き人間及び動物訓練データの組合せが動物テスト・データに適用される、ラベル付き人間及び動物訓練データの組合せが人間テスト・データに適用される、ラベル付き人間及び動物訓練データの組合せが代替動物テスト・データに適用される、ラベル付き人間、動物及び代替動物訓練データの組合せが動物テスト・データに適用される、ラベル付き人間、動物及び代替動物訓練データの組合せが人間テスト・データに適用される、又は第１のセッションのための前述のいずれかの組合せというシナリオに由来することが可能であるがこれらに限定されない。

図３に示された二重セッション方法のために、システムは、セッションのための標的固有データを選択することができ（２０２ｂ）、セッションは、後で訓練、検証、及びテストのセットに分けられることが可能なデータセットを形成するために、ユーザが単一の種及び１つ又は複数のクラスを選択する場合を含み得る。標的データについてのいくつかの実例は、ラベル付き人間訓練データが動物テスト・データに適用される、ラベル付き動物訓練データが動物テスト・データに適用される、ラベル付き動物訓練データが代替動物テスト・データに適用される、ラベル付き動物訓練データが人間テスト・データに適用される、ラベル付き人間及び動物訓練データの組合せが動物テスト・データに適用される、ラベル付き人間及び動物訓練データの組合せが人間テスト・データに適用される、ラベル付き人間及び動物訓練データの組合せが代替動物テスト・データに適用される、ラベル付き人間、動物及び代替動物訓練データの組合せが動物テスト・データに適用される、ラベル付き人間、動物及び代替動物訓練データの組合せが人間テスト・データに適用される、又は本明細書における任意の組合せというシナリオに由来することが可能であるがこれらに限定されない。

混合ドメイン標的データが選択された場合（２０２ａ）、ユーザは、先進的サンプリング方法を選択することができ（２０４ａ）、先進的サンプリング方法は、異なるデータセットのためにどの種がサンプリングされるかを制御するために、階層化されたサンプリング方法の２つの構成をユーザが選択することを含み得る。構成は、標的適用リストに一致するデータだけを許容しつつ、標的データのいずれかを訓練のために使用できるようにするべきである。

ドメイン固有標的データが選択された場合（２０２ｂ）、ユーザは、単純ランダム・サンプリング及び体系的サンプリング方法を含み得るがこれらに限定されない従来のサンプリング方法を選択することができる（２０４ｂ）。

どちらかのケースにおいて、システムは、次の学習セッションのために凍結するための初期のモデル・レイヤを選択すること、及び、ランダムに初期化されたレイヤと置き換えるための後半のモデル・レイヤを選択することという、２つの任意選択のステップを伴う、二重セッション哺乳類転移学習方法のための事前訓練済モデルを準備し得る（２０６）。このような選択は、手動で実施されることが可能であるが、本開示は、手動の選択だけに限定されない。通常、モデルの最終的なレイヤを置き換えることは、従来の転移学習のために必要とされるが、開示のアプリケーションの出力クラスがセッション間で保護されるので、一般化可能な結果が、このステップがなくても達成されることが可能である。一般的には、モデルにおいて凍結されたレイヤが多くなると、本明細書で説明される二重セッション方法の使用の結果として、問題空間にモデルをフィットさせるのに必要な標的種データが少なくなる。単一セッション方法と同様に、二重セッション方法は、種が変動し得る間、クラス・カテゴリが一定のままであることを必要とし得る。

図３からの修正設定プロセス（２０８）は、以前のセッションからの一般化可能なスコア又は出力を最適化するために、以前に第１の学習セッションで使用された設定をユーザが変えることができるポイントである。このポイントにおけるハイパーパラメータの選択は、事前訓練済モデル・アーキテクチャ又は事前処理方法を変えない変更に限定され、したがって、変更は、結果のシステムを、動かすことができないもの、又は意味のない出力を伴うものにするはずである。

図３では、セッションを動かすこと（２１０）は、選択されたデータ、モデル、及び設定を使用して、訓練検証及びテスト・セッションを実行する。このプロセスは、損失関数のヒストグラム、並びに、訓練と検証両方のサイクルの基準値、並びに、次に、テスト・ステップの誤差及び基準値スコアを生み出すはずである。訓練及び検証サイクルは、損失関数、オプティマイザ、及び、指定されたエポックの数に対する他の必須の設定を使用して、（又は、訓練及び検証ヒストグラムの損失及び基準値のユーザ指定ゴールが満たされるまで）モデルを更新することになる。

図５は、（例えば、動かされる又は実行されるセッションの一部として（１１２、２１０））図２及び図３に関連して発生し得るものなど、訓練及び検証中に実施され得るステップのセットを示す。図５及び図６は、「ＣＰＵ」及び「ＧＰＵ」によって実施される特定のステップを示すが、これは実例に過ぎず、様々なステップが、いずれかの処理ユニットによって、又は、ＣＰＵ、ＧＰＵ、ＴＰＵ、及び他の処理ユニットの組合せによって、実施され得ることを理解されたい。

図５のステップは、１つ又は複数のラベル付き哺乳類データセット（３００）を提供すること及び／又は受け取ることで始まる。システムは、１つ又は複数のラベル付き哺乳類データセットを選択して（３０２）混成し、選択されたデータ（３０４）を格納する。格納されたデータは事前処理されて（３０６）、標準的なフォーマットに変換され、準備ができたデータは格納される（３０８）。パラメータ選択がネットワーク及びデータのために構成され（３１０）、パラメータが使用のためにロードされる（３１２）。システムは、次に、準備ができたデータのセグメント、部分、又はチャンクを定義するために、準備ができたデータのデータ・セグメント化、分割、及び混合を実施し（３１４）、これらのチャンクは、その後、格納される（３１６）。これらのチャンクを定義することは、各チャンクのための新しいファイル又はデータセットの作成を含み得るか、各チャンクを識別するための、準備ができたデータに適用され得るメタデータの作成を含み得る。システムは、次に、データのチャンクを使用してニューラル・ネットワークを訓練し（３１８）、モデル・パラメータ、結果の基準値、及び損失特性を保存する（３２０）。システムは、オプティマイザを利用して、保存された（３２０）特性に基づいてニューラル・ネットワークの性能を微調整し得、１つ又は複数の改善されたパラメータを決定及び保存し得る（３２４）。システムは、ニューラル・ネットワークによる訓練の検証を実施して（３２６）、独立した結果のセットを決定し得る（３２８）。

システムは、次に、十分な数のエポックが実施されてきたかどうか、及び、独立した結果（３２８）を、同様の入力データセットを有するニューラル・ネットワークの標準の結果と比較することによって、ニューラル・ネットワークの訓練時に十分なレベルの精度が達成されたかどうかを決定し得る（３３０）。精度が不十分な場合、システムは、改善されたパラメータ（３２４）を有するチャンクについてニューラル・ネットワークを訓練することによって（３１８）、その後のエポックに進むことができる。精度が十分な場合（３３０）、システムは、入力データセットのテスト及び独立した分析に使用可能なニューラル・ネットワークのチェックポイント（３３２）を生み出し得る。

図６は、実際のケース・スタディを分析するために、チェックポイント・バージョンのテスト中、及びニューラル・ネットワークの使用中に実施され得るステップのセットを示す。システムは、１つ又は複数の哺乳類データセットにアクセスするか、これを受け取り得る（４００）。これらは、チェックポイント・バージョンの有効性を検証するために使用可能なテスト・データセットであり得るか、システムのユーザから受け取られた実世界のケース・スタディであり得る。システムは、データを処理するためにチェックポイントを選択し得（４０２）、データが格納されたチェックポイントにアクセスし得る（４０４）。システムは、データ選択を実施して（４０６）、いくつかの共通点を標的データと共有するケースを選択し、テスト・データをロードし得る（４０８）。ネットワーク及びデータ・パラメータが構成及び／又は選択され得（４１０）、これらの構成は、ニューラル・ネットワークにロードされ得る（４１２）。システムは、次に、データ・セグメント化（４１４）を実施して、標的ケース及び関連したケース（４１６）をサブセットに分け得る。事前の実例と同様に、これは、チャンクのための新しいデータセットを作り出すこと、又は、これらの元のデータセット内でチャンクを定義するメタデータのセットを作り出すことを含み得る。システムは、次に、チェックポイント・ニューラル・ネットワークを入力ケースに適用し（４１８）、ヒートマップ出力を作り出す（４２０）。

ヒートマップ出力は、事前レンダリングされたグラフィックス又はモデルを含み得るか、レンダリングされた画像に視覚指標を被せる又は挿入するために使用可能なメタデータを含み得る。図７及び図８はそれぞれ、識別された標的組織がマークされた３Ｄモデルの実例を提供する。図７は、画像が分割されたチャンクも視覚的に示し、その一方で、図８のものなど、他のレンダリングされたヒートマップが、個々のチャンクを示し得る。システムは、次に、ヒートマップ出力を分析して（４２２）、精度の基準値のセット（４２４）を生み出し得、完成した結果（４２６）をユーザに提供し得る。

本開示によれば、１つ又は複数の種のラベル付き哺乳類データが、哺乳類種の異常を検出するために、ＡＩネットワーク・モデルの訓練中に利用される。いくつかの実施例では、排他的なラベル付き人間データを使用して、機械学習ネットワーク訓練が実施される。他の実施例では、ラベル付き人間データとラベル付き動物データ（すなわち、人間以外）との組合せを使用して、機械学習ネットワークの訓練が実施される。様々な実施例によれば、ネットワークがテストされるとき、ネットワークのレポートされた精度が動物の標的の問題空間にどれだけ一般化されるかに焦点を合わされることを保証するために、ラベル付き動物データが使用される。任意のイベントにおいて、本開示のシステム及び方法は、ラベル付き哺乳類データの類似性を活用して、抽象的な特徴を選択及び区別するために正しく学習するのに必要なデータの欠如を補うのに役立てることができ、これは、一般化されたネットワーク・モデルの解決策を可能にする。

本開示による方法は、動物ベース・データセット又は他の高品質データセット・ソースから開発された学習を使用した、数ある画像化モダリティの中でも人間放射線医学を含むがこれらに限定されない、機械学習解決策の迅速な開発を有益に可能にする。したがって、本明細書で説明されるシステム及び方法は、本明細書で全体的に「医療専門家」と呼ばれる、一般診療、放射線医、内科専門家、診断医、及び画像化専門家を含むがこれらに限定されない、様々な学問領域にわたって利用されることが可能である。

前のセクションで概説されたプロセスを使用してネットワークが訓練されると、転移学習を使用して訓練されたネットワークは、本分野におけるライブ・データに適用されることが可能である。１つの実施例では、２Ｄ又は３Ｄスキャンの形でデータが受け取られることになる。本実施例のデータは、スキャンの一部を含むチャンクに分離され、ネットワークを通じて送り込まれることになる。ネットワークは、元のスキャンのヒートマップ・マッチング・パターンに再構築された各ボクセルの信頼度値を出力することになる。このヒートマップは、識別された異常として指名されることになる全体又は一部を選択するための間隔の使用によって精密化されることになる。ヒートマップのこの部分は、次に、医学的問題がある場所の評価を提供するために、元のスキャンに被せられることになる。

様々な実施例によれば、システム及び方法は、適切な事前処理、サンプリング方法、設定、及びデータセットをさらに提供されるとき、モデルを最適化するのに役立てるために使用されることが可能である。１つの実例として、これは、過去のケース・スタディを分析して、異常な発見の基準点を形成する、クラウド・プラットフォーム又はローカル・ソフトウェア・アプリケーションを含むことができ、どんなに小さくても、これらの発見についてレポートすることができる。したがって、所定の固有パラメータ内に視覚的に存在する特定の疾患に究極の発見を限定することなく、ケースのより診断的に完全な視覚分析が提供されることが可能である。

一般的に、本明細書で説明される実施例のうちの少なくともいくつかは、ソフトウェア、ファームウェア、及び／又はハードウェアの多くの異なる実施例において実装されることが可能であることが当業者には明らかであろう。ソフトウェア及びファームウェア・コードは、プロセッサ又は任意の他の同様のコンピューティング・デバイスによって実行されることが可能である。実施例を実装するために使用可能なソフトウェア・コード又は専用制御ハードウェアは、限定的ではない。例えば、本明細書で説明される実施例は、例えば従来の又はオブジェクト指向の技法を使用した、任意の適切なコンピュータ・ソフトウェア言語タイプを使用して、コンピュータ・ソフトウェアにおいて実装されることが可能である。このようなソフトウェアは、例えば磁気又は光ストレージ媒体など、任意のタイプの１つ又は複数の適切なコンピュータ可読媒体に格納されることが可能である。実施例の動作及び挙動は、特定のソフトウェア・コード又は専用ハードウェア構成要素への特定の言及を行うことなく、説明されることが可能である。わずかな適度な努力で、及び過度な実験を行うことなく、本説明に基づく実施例を実装するように、ソフトウェア及び制御ハードウェアを当業者が設計できるはずであることが明確に理解されるので、このような特定の言及がないことは、あり得ることである。

その上、本明細書で説明されるプロセスは、コンピュータ若しくはコンピュータ・システム及び／又はプロセッサなどの、プログラム可能機器によって実行されることが可能である。プログラム可能機器にプロセスを実行させることができるソフトウェアは、例えば、コンピュータ・システム（不揮発性）メモリ、光ディスク、磁気テープ、又は磁気ディスクなどの、任意のストレージ・デバイスに格納されることが可能である。さらに、プロセスのうちの少なくともいくつかは、コンピュータ・システムが製造されるときにプログラムされるか、様々なタイプのコンピュータ可読媒体に格納されることが可能である。

本明細書で説明されるプロセスの特定の部分は、処理ステップを実施するようにコンピュータ・システムに指図する１つ又は複数のコンピュータ可読媒体に格納された命令を使用して実施されることが可能であることも理解されよう。コンピュータ可読媒体は、例えば、ディスケット、コンパクト・ディスク（ＣＤ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、光ディスク・ドライブ、又はハードディスク・ドライブなどのメモリ・デバイスを含むことができる、コンピュータ可読媒体は、物理的な、仮想の、永久的な、一時的な、半永久的な、及び／又は半一時的なメモリ・ストレージも含むことができる。

「コンピュータ」、「コンピュータ・システム」、「ホスト」、「サーバ」、又は「プロセッサ」は、例えば、また限定ではなく、プロセッサ、マイクロコンピュータ、ミニコンピュータ、サーバ、メインフレーム、ラップトップ、パーソナル・データ・アシスタント（ＰＤＡ）、ワイヤレス電子メール・デバイス、セルラー・フォン、ポケットベル、プロセッサ、ファックス・マシン、スキャナ、又は、ネットワークを介してデータを伝送及び／若しくは受信するように構成された任意の他のプログラム可能デバイスであることが可能である。本明細書で開示されたコンピュータ・システム及びコンピュータ・ベースのデバイスは、情報の取得、処理、及び通信時に使用される特定のソフトウェア・モジュールを格納するためのメモリを含むことができる。このようなメモリは、開示の実施例の動作に関しては、内部又は外部にあることが可能であることが理解されよう。

機械学習コードは、ＣＰＵ又はＧＰＵによって示された記憶場所にアクセスし、ネットワーク・アーキテクチャを通じて反復して、メモリに格納された命令をデコード及び実行することができる。これらのセッションは計算コストが高く、ＧＰＵ及びＣＰＵを使用して実行されることが可能である。ＣＰＵ又はＧＰＵは、反復器によって命令され、全体的に、部分的にデータを格納するためのロケーション、データのバリエーション、又はロケーション／配向性リンク・データを作り出すことができる。データは、ＲＡＭ又は外部ストレージ・デバイスを含むことができるがこれらに限定されないメモリに格納されることが可能である。命令は、どのようにネットワークが動作及び機能することになるかを決定する。ＧＰＵがメモリ内の命令にアクセスすると、ＧＰＵは命令を使用して、ＧＰＵの分散コア上で計算されるニューラル・ネットワークを通じてデータを組み立て、動かす。

ニューラル・ネットワークは、重みと、バイアスと、入力データが中間メモリ状態のセットを通じて供給されるときに、これらの重みが入力データに対して保持する効果を説明するルールのセットとから構築される。これらの部分は、既存のチェックポイントからランダム化、事前セット、又はロードが行われ得る。ＲＡＭ又は２次アロケートされた記憶場所に格納され、様々な実施例におけるＣＰＵ及びＧＰＵのどちらか又は両方を使用して実行される訓練アルゴリズムは、ニューラル・ネットワークのＧＰＵの計算からの結果を使用して重み及びバイアスを修正し、これにより、修正された重み及びバイアスから構築されたネットワークは、ネットワークの前の反復が達成できたものより正確にデータに対して実施するように数学的に最適化される。このプロセスは、必須のタスクを正確に実施すること（すなわち、再構築された医療スキャンにおける異常を識別すること）ができるネットワークの作成を可能にするように、様々な実施例における異なるチャンク、バッチ、及び方法で繰り返される。

ネットワークは、メモリにロードされたデータが、ニューラル・ネットワークの計算を完了させるためにＧＰＵによって使用されるという点で、訓練と同様のプロセスを使用してＧＰＵ上で評価される。これらの評価の結果は、アルゴリズムの文脈でさらに指定される及び詳しく述べられることが可能な、ネットワークの精度又は挙動を決定するために格納及び使用される。ネットワークが訓練、評価、及びテストされる方法のプロセスを制御するこのような設定の記述は、ハイパーパラメータと呼ばれ、一般に、いくつかの実施例ではユーザによって、及び他の実施例では自動化されたアルゴリズムによって指名される。ネットワークを構成する重み及びバイアスは、後で再構築するためのデータ・ファイル（．ｈｄｆ５フォーマット、又は、数字の行列を順序付けて収める，より広く任意の他のファイル・フォーマットを含むがこれらに限定されない）に格納され得る。結果のデータ・ファイル、又は同様の目的の任意の他のデータ・ファイルは、また、ファイルを生成するために使用されたネットワークと同一的に挙動するニューラル・ネットワークを構築するために再度読み込まれ、使用されることが可能である。

本明細書で開示された様々な実施例では、所与の１つ又は複数の機能を実施するために、単一の構成要素が複数の構成要素によって置き換えられることが可能であり、複数の構成要素が単一の構成要素によって置き換えられることが可能である。このような代用が使用可能でない場合を除いて、このような代用は、実施例の意図する範囲内である。コンピュータ・システムは、１つ又は複数のデータ・バスを介してメモリ（例えば、ＲＡＭ又はＲＯＭ）と通信中の１つ又は複数のプロセッサを備えることができる。データ・バスは、プロセッサとメモリとの間で電気信号を搬送することができる。プロセッサ及びメモリは、電流を伝導する電気回路を備えることができる。プロセッサのソリッド・ステート・トランジスタ、及び／又はメモリ回路などの回路の様々な構成要素の充電状態は、回路の動作中、変化する可能性がある。

図のうちのいくつかは、流れ図を含むことができる。このような図は、特定の論理フローを含むことができるが、論理フローは、一般的な機能の例示的な実装形態を提供するにすぎないことが理解されよう。さらに、論理フローは、別途指示がない限り、必ずしも提示された順序で実行される必要はない。さらに、論理フローは、ハードウェア要素、コンピュータによって実行されるソフトウェア要素、ハードウェアに組み込まれたファームウェア要素、又はそのいずれかの組合せによって実装されることが可能である。

実施例及び実例の前述の説明は、例証及び説明のために提示されてきた。網羅的であること、又は説明された形式に限定することを意図するものではない。上記の教示の観点から非常に多くの変更形態が可能である。これらの変更形態のうちのいくつかが論じられてきており、他は、当業者によって理解されるであろう。実施例は、想定される特定の使用に適しているように、様々な実施例の原理を最も良く示すために選ばれ説明された。範囲は、当然、本明細書で示された実例に限定されず、当業者によって、任意の数のアプリケーション及び同等のデバイスにおいて採用されることが可能である。むしろ、本明細書に添付の特許請求の範囲によって本発明の範囲が定義されることが、本明細書によって意図される。

心臓学の領域内の技術への応用は、脊椎心臓スコア、心臓肥大、不整脈、冠動脈阻害、大動脈閉塞、心阻害、大動脈疾患及びマルファン症候群、先天性心疾患、冠動脈疾患、深部静脈血栓症、肺塞栓症、僧帽弁逆流、僧帽弁形成異常、三尖弁形成異常、僧帽弁狭窄、大動脈狭窄、動脈管開存、心室中隔欠損、心房中隔欠損、拡張型心筋症、不整脈心筋症、犬糸状虫病、肺動脈弁狭窄、並びにファロー四徴症を含み得るがこれらに限定されない。

胃腸の領域内の技術への応用は、食道膨張、バレット食道、食道異物、胸膜ガス、胸膜流体、頭蓋腹実質パターン（Ｃｒａｎｉｏｖｅｎｔｒａｌ Ｐａｒｅｎｃｈｙｍａｌ Ｐａｔｔｅｒｎ）、尾背実質パターン（Ｃａｕｔｏｄｏｒｓａｌ Ｐａｒｅｎｃｈｙｍａｌ Ｐａｔｔｅｒｎ）、結節又は粟粒型、肺結節、胃膨張、胃異物、胃拡張及び軸念小腸異物小腸摺襞形成（Ｇａｓｔｒｉｃ Ｄｉｌａｔａｔｉｏｎ ａｎｄ Ｖｏｌｖｕｌｕｓ Ｓｍａｌｌ Ｉｎｔｅｓｔｉｎａｌ Ｆｏｒｅｉｇｎ Ｍａｔｅｒｉａｌ Ｓｍａｌｌ Ｉｎｔｅｓｔｉｎａｌ Ｐｌｉｃａｔｉｏｎ）、小腸結腸異物の２つの母集団（Ｔｗｏ Ｐｏｐｕｌａｔｉｏｎｓ ｏｆ Ｓｍａｌｌ Ｉｎｔｅｓｔｉｎｅ Ｃｏｌｏｎｉｃ Ｆｏｒｅｉｇｎ Ｍａｔｅｒｉａｌ）を含み得るがこれらに限定されない。

腹部又は腎臓領域の分野内の技術への応用は、肝臓肥大、中腹部腫瘤（Ｍｉｄ Ａｂｄｏｍｉｎａｌ Ｍａｓｓ）、脾腫、腹水、後腹膜水（Ｒｅｔｒｏｐｅｒｉｔｏｎｅａｌ Ｆｌｕｉｄ）、後腹膜リンパ節腫大、腎石灰化（Ｒｅｎａｌ Ｍｉｎｅｒａｌｉｚａｔｉｏｎ）、腎肥大、小腎臓、膀胱結石、尿道結石、前立腺肥大、前立腺石灰化を含み得るがこれらに限定されない。

骨格及び胸部領域の分野内の技術への応用は、頸椎椎間板間隔狭小化脊椎症、胸腰椎椎間板間隔狭小化、間質パターン、気管支間質パターン、気管支パターン、肺腫瘤、虫垂破裂、侵襲的骨病変を含み得るがこれらに限定されない。

放射線医学の分野内の技術への応用は、肺癌、結腸癌、大腸癌、子宮頸癌、胃癌、膀胱癌、肝臓癌、肝臓血管癌、副腎癌、腎臓癌、膵臓癌、甲状腺癌、乳癌、卵巣癌、前立腺癌、扁平上皮癌、基底細胞癌、黒色腫、メラノサイト母斑、光線角化症、良性角化症、皮膚線維腫、血管病変、食道腺癌、神経芽細胞腫、変形性関節症、肋骨骨折、構造的神経損傷、脊柱側湾、脊椎骨折、椎間板ヘルニア、肺炎、気胸、肺換気、新型コロナウイルス感染症を含み得るがこれらに限定されない。

神経学の分野内の技術への応用は、軽度認知機能障害、外傷性脳損傷、震盪、アルツハイマー病、痴呆、パーキンソン病、卒中病変、多発性硬化症、脳腫瘍、頭蓋内出血、変性腰仙狭窄（Ｄｅｇｅｎｅｒａｔｉｖｅ Ｌｕｍｂｏｓａｃｒａｌ Ｓｔｅｎｏｓｉｓ）、変性脊髄症、びまん性突発性骨増殖症、椎間板疾患を含み得るがこれらに限定されない。

組織病理学の分野内の技術への応用は、腫瘍増殖、核異型スコア、印環細胞検出、多発性骨髄腫、異常、分裂、リンパ球、マクロファージ、好中球、上皮、ミトコンドリア分裂、正常対良性対悪性白血球癌分析、転移組織、免疫介在性溶血性貧血、免疫介在性血小板減少症、未分化貧血、抗体依存性、細胞傷害性、腺癌、異型腺細胞、及びリンパ腫を含み得るがこれらに限定されない。

眼科学の分野内の技術への応用は、眼疾患、光出血（Ｏｐｔｉｃａｌ Ｈｅｍｏｒｒｈａｇｅ）、光動脈瘤＆毛細血管瘤（Ｏｐｔｉｃａｌ Ａｎｕｅｒｉｓｍｓ ＆ Ｍｉｃｒｏａｎｕｅｒｉｓｍｓ）、硬性白斑、軟性白斑、網膜眼底疾患、糖尿病性網膜症、失明、黄斑変性、緑内障、視神経乳頭変位（Ｏｐｔｉｃ Ｄｉｓｃ Ｄｉｓｐｌａｃｅｍｅｎｔ）、白内障、結膜下出血、弱視、斜視、結膜炎、及び円錐角膜を含み得るがこれらに限定されない。

心臓学の分野内の技術への応用は、脊椎心臓スコア、心臓肥大、不整脈、冠動脈阻害、大動脈閉塞、心阻害、大動脈疾患及びマルファン症候群、先天性心疾患、冠動脈疾患、深部静脈血栓症、肺塞栓症、僧帽弁逆流、僧帽弁形成異常、三尖弁形成異常、僧帽弁狭窄、大動脈狭窄、動脈管開存、心室中隔欠損、心房中隔欠損、拡張型心筋症、不整脈心筋症、犬糸状虫病、肺動脈弁狭窄、並びにファロー四徴症を含み得るがこれらに限定されない。

胃腸の分野内の技術への応用は、食道膨張、バレット食道、食道異物、胸膜ガス、胸膜流体、頭蓋腹実質型、尾背実質型、結節又は粟粒型、肺結節、胃膨張、胃異物、胃拡張及び軸念小腸異物小腸摺襞形成、小腸結腸異物の２つの母集団を含み得るがこれらに限定されない。

腹部又は腎臓領域の分野内の技術への応用は、肝臓肥大、中腹部腫瘤、脾腫、腹水、後腹膜水、後腹膜リンパ節腫大、腎石灰化、腎肥大、小腎臓、膀胱結石、尿道結石、前立腺肥大、前立腺石灰化を含み得るがこれらに限定されない。

骨格及び胸部領域の分野内の技術への応用は、頸椎椎間板間隔狭小化脊椎症、胸腰椎椎間板間隔狭小化、間質性パターン、気管支間質パターン、気管支パターン、肺腫瘤、虫垂破裂、侵襲的骨病変を含み得るがこれらに限定されない。

放射線医学の分野内の技術への応用は、肺癌、結腸癌、大腸癌、子宮頸癌、胃癌、膀胱癌、肝臓癌、肝臓血管癌、副腎癌、腎臓癌、膵臓癌、甲状腺癌、乳癌、卵巣癌、前立腺癌、扁平上皮癌、基底細胞癌、黒色腫、メラノサイト母斑、光線角化症、良性角化症、皮膚線維腫、血管病変、食道腺癌、神経芽細胞腫、変形性関節症、肋骨骨折、構造的神経損傷、脊柱側湾、脊椎骨折、椎間板ヘルニア、肺炎、気胸、肺換気、新型コロナウイルス感染症を含み得るがこれらに限定されない。

神経学の分野内の技術への応用は、軽度認知機能障害、外傷性脳損傷、震盪、アルツハイマー病、痴呆、パーキンソン病、卒中病変、多発性硬化症、脳腫瘍、頭蓋内出血、変性腰仙狭窄、変性脊髄症、びまん性突発性骨増殖症、椎間板疾患を含み得るがこれらに限定されない。

組織病理学の分野内の技術への応用は、腫瘍増殖、核異型スコア、印環細胞検出、多発性骨髄腫、異常、セグメント化、リンパ球、マクロファージ、好中球、上皮、ミトコンドリア分裂、正常対良性対悪性白血球癌分析、転移組織、免疫介在性、溶血性貧血、免疫介在性血小板減少症、未分化貧血、抗体依存性、細胞傷害性、腺癌、異型腺細胞、リンパ腫を含み得るがこれらに限定されない。

眼科学の分野内の技術への応用は、眼疾患、光出血、光動脈瘤＆毛細血管瘤、硬性白斑、軟性白斑、網膜眼底疾患、糖尿病性網膜症、失明、黄斑変性、緑内障、視神経乳頭変位、白内障、結膜下出血、弱視、斜視、結膜炎、円錐角膜を含み得るがこれらに限定されない。

Claims (20)

1. 哺乳類転移学習を使用した医療画像分析のためにニューラル・ネットワークを訓練するための方法であって、
   （ａ）プロセッサによって、１つ又は複数の比較データセットを受け取るステップであって、前記１つ又は複数の比較データセットのそれぞれが、種に関連付けられたラベル付き画像データを含む、ステップと、
   （ｂ）前記プロセッサによって、前記１つ又は複数の比較データセットに基づいて、混合ドメイン・データセットを作り出すステップと、
   （ｃ）前記混合ドメイン・データセットの複数の画像の各画像に対して、
   （ｉ）前記プロセッサによって、前記画像内の複数のチャンクを定義するステップであって、前記複数のチャンクのそれぞれのサイズが、前記画像のソースの種を不明瞭化させるように選択される、ステップと、
   （ｉｉ）前記プロセッサによって、混合ドメイン訓練データセットに前記画像の前記複数のチャンク及び任意の関連付けられたラベルを追加するステップと、
   （ｄ）前記プロセッサによって、及び前記ニューラル・ネットワークを用いて、
   （ｉ）前記混合ドメイン訓練セット及び前記関連付けられたラベルに基づいて、標的種からケース・スタディの医療特性を識別するように前記ニューラル・ネットワークを訓練するステップであって、前記１つ又は複数の比較データセットの前記１つ又は複数の種が、前記標的種以外の少なくとも１つの種を含む、ステップと、
   （ｉｉ）前記混合ドメイン・データセットから選択された検証データセットに基づいて、前記訓練済ニューラル・ネットワークを検証するステップと、
   （ｅ）前記プロセッサによって、前記訓練済及び検証済ニューラル・ネットワークに基づいてチェックポイントを作り出すステップと
   を含む、方法。
2. 前記関連付けられたラベルが、
   （ａ）前記チャンクのピクセルを説明するピクセル毎の特性のセット、又は
   （ｂ）前記チャンクのボクセルを説明するボクセル毎の特性のセット
   のうちの１つを含む、請求項１に記載の方法。
3. 前記１つ又は複数の比較データセットが、前記標的種に関連付けられた第１の比較データセット、及び前記標的種以外の種に関連付けられた第２の比較データセットを含む、請求項１に記載の方法。
4. 前記複数の画像が、２次元画像、３次元画像、及び４次元画像のうちの１つ又は複数を含む、請求項１に記載の方法。
5. 前記プロセッサが、
   （ａ）互いに直接的に又はネットワークを介して通信中の１つ又は複数の中央処理装置、及び
   （ｂ）互いに直接的に又はネットワークを介して通信中の１つ又は複数のグラフィック・プロセッシング・ユニット
   のうちの１つ又は複数を備える、請求項１に記載の方法。
6. （ａ）前記プロセッサによって、ユーザ・デバイスから前記ケース・スタディを受け取るステップであって、前記ケース・スタディが、患者に関連付けられた医療画像のセットを含む、ステップと、
   （ｂ）前記プロセッサによって、医療画像の前記セット内の第２の複数のチャンクを定義するステップであって、前記第２の複数のチャンクのそれぞれのサイズが、前記患者の種を不明瞭化するように選択される、ステップと、
   （ｃ）医療画像の前記セット内の前記医療特性を識別するために、前記プロセッサによって及び前記チェックポイントを用いて、前記第２の複数の部分を分析するステップと、
   （ｄ）前記プロセッサによって、医療画像の前記セット内の前記医療特性の指示を提供するステップと
   をさらに含む、請求項１に記載の方法。
7. 前記医療特性の前記指示を提供するステップが、
   （ａ）前記プロセッサによって、医療画像の前記セットのうちの少なくとも１つの医療画像を前記ユーザ・デバイスに表示するステップと、
   （ｂ）前記プロセッサによって、前記医療特性の前記指示を含むヒートマップを少なくとも１つの医療画像で表示するステップと
   を含む、請求項６に記載の方法。
8. （ａ）前記１つ又は複数の比較データセットのそれぞれが、種及び１つ又は複数の問題クラスに関連付けられたラベル付き画像データを含み、前記１つ又は複数の問題クラスが、１つ又は複数の医学的異常を説明し、
   （ｂ）前記１つ又は複数の比較データセットの前記１つ又は複数の問題クラスが、前記医療特性を説明しない少なくとも１つの問題クラスを含む、
   請求項１に記載の方法。
9. 前記混合ドメイン・データセットから選択されたテスト・データセットに基づいて、前記チェックポイントをテストするステップをさらに含み、前記テスト・データセット及び前記検証データセットが、前記標的種にそれぞれ関連付けられる、請求項１に記載の方法。
10. 約１００未満のエポックにおける前記医療特性を識別するように前記ニューラル・ネットワークを訓練するステップをさらに含む、請求項１に記載の方法。
11. 前記１つ又は複数の比較データセットが、人間に関連付けられた第１の比較データセットを備え、前記標的種が、人間以外の哺乳類の前記クラス内のいずれかである、請求項１に記載の方法。
12. 前記１つ又は複数の比較データセットが、約１０個から約２０個までの比較データセットを備える、請求項１に記載の方法。
13. 医療画像分析のために構成され、哺乳類転移学習を使用して訓練されたニューラル・ネットワークを備えるシステムであって、
    （ａ）１つ又は複数の比較データセットを受け取ることであって、前記１つ又は複数の比較データセットのそれぞれが、種に関連付けられたラベル付き画像データを含む、受け取ることと、
    （ｂ）前記１つ又は複数の比較データセットに基づいて、混合ドメイン・データセットを作り出すことと、
    （ｃ）前記混合ドメイン・データセットの複数の画像の各画像に対して、
    （ｉ）前記画像内の複数のチャンクを定義することであって、前記複数のチャンクのそれぞれのサイズが、前記画像のソースの種を不明瞭化させるように選択される、定義することと、
    （ｉｉ）混合ドメイン訓練データセットに前記画像の前記複数のチャンク及び任意の関連付けられたラベルを追加することと、
    （ｄ）前記ニューラル・ネットワークを用いて、
    （ｉ）前記混合ドメイン訓練セット及び前記関連付けられたラベルに基づいて、標的種からケース・スタディの医療特性を識別するように前記ニューラル・ネットワークを訓練することであって、前記１つ又は複数の比較データセットのうちの前記１つ又は複数の種が、前記標的種以外の少なくとも１つの種を含む、訓練することと、
    （ｉｉ）前記混合ドメイン・データセットから選択された検証データセットに基づいて、前記訓練済ニューラル・ネットワークを検証することと、
    （ｅ）前記訓練済及び検証済ニューラル・ネットワークに基づいてチェックポイントを作り出すことと
    を行うように構成されたプロセッサを備える、システム。
14. 前記プロセッサが、
    （ａ）互いに直接的に又はネットワークを介して通信中の１つ又は複数の中央処理装置、及び
    （ｂ）互いに直接的に又はネットワークを介して通信中の１つ又は複数のグラフィック・プロセッシング・ユニット
    のうちの１つ又は複数を備える、請求項１３に記載のシステム。
15. 前記プロセッサが、
    （ａ）前記ユーザ・デバイスからケース・スタディを受け取ることであって、前記ケース・スタディが、患者に関連付けられた医療画像のセットを含む、受け取ることと、
    （ｂ）医療画像の前記セット内の第２の複数のチャンクを定義することであって、前記第２の複数のチャンクのそれぞれのサイズが、前記患者の種を不明瞭化するように選択される、定義することと、
    （ｃ）医療画像の前記セット内の前記医療特性を識別するために、前記チェックポイントを用いて、前記第２の複数の部分を分析することと、
    （ｄ）医療画像の前記セット内の前記医療特性の指示を提供することと
    を行うようにさらに構成される、請求項１３に記載のシステム。
16. 前記プロセッサが、前記医療特性の前記指示を提供するとき、
    （ａ）医療画像の前記セットのうちの少なくとも１つの医療画像を前記ユーザ・デバイスに表示することと、
    （ｂ）前記医療特性の前記指示を含むヒートマップを少なくとも１つの医療画像で表示することと
    を行うようにさらに構成される、請求項１５に記載のシステム。
17. （ａ）前記１つ又は複数の比較データセットのそれぞれが、種及び１つ又は複数の問題クラスに関連付けられたラベル付き画像データを含み、前記１つ又は複数の問題クラスが、１つ又は複数の医学的異常を説明し、
    （ｂ）前記１つ又は複数の比較データセットの前記１つ又は複数の問題クラスが、前記医療特性を説明しない少なくとも１つの問題クラスを含む、
    請求項１３に記載のシステム。
18. 前記プロセッサが、前記混合ドメイン・データセットから選択されたテスト・データセットに基づいて、前記チェックポイントをテストするようにさらに構成され、前記テスト・データセット及び前記検証データセットが、前記標的種にそれぞれ関連付けられる、請求項１３に記載のシステム。
19. （ａ）前記１つ又は複数の比較データセットが、人間に関連付けられた第１の比較データセットを備え、前記標的種が、人間以外の哺乳類の前記クラス内のいずれかであり、
    （ｂ）前記１つ又は複数の比較データセットが、約１０個から約２０個までの比較データセットを備える、
    請求項１３に記載のシステム。
20. 医療画像分析のための方法であって、
    （ａ）プロセッサによって、ケース・スタディをリモート・サーバに提供するステップであって、
    （ｉ）前記ケース・スタディが、標的種の患者に関連付けられ、前記患者に関連付けられた医療画像のセットを備え、
    （ｉｉ）前記リモート・サーバが、ラベル付き画像データを含む混合ドメイン訓練セットに基づいて哺乳類転移学習によって訓練されたニューラル・ネットワークを使用して、前記ケース・スタディの医療特性を識別するように構成され、前記ラベル付き画像データが、
    （Ａ）前記標的種以外の少なくとも１つの種に関連付けられ、
    （Ｂ）複数のチャンクに定義され、前記複数のチャンクのそれぞれのサイズが、前記画像のソースの種を不明瞭化させるように選択される、
    ステップと、
    （ｂ）前記プロセッサによって、前記リモート・サーバからケース・スタディ分析を受け取るステップであって、前記ケース・スタディ分析が、
    （ｉ）前記患者に関連付けられた医療画像の前記セット、及び
    （ｉｉ）医療画像の前記セットによって発揮される前記医療特性を説明する分析データセット
    を備える、ステップと、
    （ｃ）前記プロセッサによって及びディスプレイを介して、医療画像の前記セットの少なくとも一部、及び前記分析データセットに基づく前記一部に視覚オーバーレイを表示するステップと
    を含む、方法。

Images