JP7096406B2 - 多変量及び多解像度網膜画像異常検出システム - Google Patents

Description

（関連出願の相互参照）
本出願は、２０１８年８月３０日に出願された「MULTIVARIATE AND MULTI-RESOLUTION RETINAL IMAGE ANOMALY DETECTION SYSTEM（多変量及び多解像度網膜像異常検出システム）」と題する米国仮特許出願第６２／７２４，８６４号の優先権を主張し、その全体が参照により本明細書に援用される。

医療診断及び治療の最初のステップは、専門家に照会する前に異常な被検者と正常な被検者を識別し分離すること、並びに、可能性のある疾患タイプ及び治療計画を識別すること、又は専門家による更なる分析のための異常スキャンの必要性を示すことを含む。これらの識別を自動化するための様々なコンピューターベースのシステムが現在存在している。しかし、これらにはそれぞれ欠陥がある。

例えば、機械学習システムにおける様々な二項分類器は、１つの主要な疾患を正常な状態と区別する。しかし、このような分類器は、多くの場合、対象外のクラスの疾患データ、つまり分類器が検出するように訓練された疾患以外の疾患を含む入力、に対して、信頼度の低い応答を与える。更に、幾つかの非主要な疾患データはまれであるため、分類器を訓練するのに十分な量のデータを見つけ出すことは難しい。更にまた、異なる眼疾患は、正常な状態と比べて異なるタイプの構造的及び機能的な変化をもたらす可能性がある。したがって、２以上の眼疾患が1つの眼に共存する可能性がある。そのような場合、非常に大量の疾患訓練データなくして疾患タイプを正確に識別することは困難である。

加えて、異常検出システムは、訓練データ又は参照（基準）としてのみ正常眼データ（正常な眼からのデータ）を使用して異常眼のスクリーニングを行うことができる。すなわち、異常検出システムは、訓練データ又は参照（基準）として使用される正常データと一致しない場合に眼のデータを異常と識別することにより、異常眼のスクリーニングを行うことができる。このプロセスは、眼が正常か異常かを医師が直感的に判断する方法を模倣している。事前スクリーニングステップとして、これらのシステムは、データが異常であるとスクリーニングされた場合にそのデータを調べるように医師に注意を促すことができる（したがって、異常な構造変化を伴う全てのデータは除外される）が、複数の二項分類器を持つシステムは、特に訓練が施された疾患カテゴリに対してのみ機能する。

本明細書の開示の一例によれば、画像処理方法は、対象物の第１の画像を受け付け；訓練された機械学習システムを用いて、前記訓練された機械学習システムへの入力である前記第１の画像の特徴又は前記第１の画像に示された生理学的構造の特徴を抽出し；第１の訓練された分類器を用いて、前記第１の訓練された分類器への入力である前記抽出された特徴に基づいて第１の画像を分類し；前記分類に基づいて、前記第１の画像のラベル及び／又はスコアを決定する。
上記の例の様々な実施形態において、画像処理方法は、更に、前記対象物の第２の画像を受け付け；前記訓練された機械学習システムを用いて、前記訓練された機械学習システムへの入力である前記第２の画像の特徴又は前記第２の画像に示された生理学的構造の特徴を抽出し；第２の訓練された分類器を用いて、前記第２の訓練された分類器への入力である前記第２の画像の前記抽出された特徴に基づいて第２の画像を分類し、；前記分類に基づいて、前記第２の画像のラベル及び／又はスコアを決定する；前記第１の画像及び前記第２の画像は、前記対象物の共通の断面画像からのパッチである；前記第１の訓練された分類器は、前記第１の画像の前記抽出された特徴を含む前記第１の画像の領域に対応する正常画像を用いて訓練され、；前記第２の訓練された分類器は、前記第２の画像の前記抽出された特徴を含む前記第２の画像の領域に対応する正常画像を用いて訓練される；前記第１の画像及び前記第２の画像は、同じデータの少なくとも一部を含む；前記第１の画像及び前記第２の画像は、共通の３Ｄボリュームから得られたものである；前記第１の画像及び前記第２の画像は、同じデータのいずれも含まない；前記第１の画像と前記第２の画像は、異なるサイズ又は異なる解像度を有する；前記第１の画像及び前記第２の画像は、異なる３Ｄボリュームから得られたものである：画像処理方法は、更に、前記第１の画像の前記ラベル又は前記スコア及び前記第２の画像の前記ラベル又は前記スコアに基づいて、合成ラベル又は合成スコアを求める；画像処理方法は、更に、；第１の所定個数の画像のスコアを所定の閾値と比較することにより合成ラベルを求め；第２の所定個数の画像に統計演算を施すことにより合成スコアを求め、前記第１の所定個数の画像は、少なくとも前記第１の画像及び前記第２の画像を含み、且つ、前記第２の所定個数の画像は、少なくとも前記第１の画像及び前記第２の画像を含む；前記第１の所定個数の画像における第１の連続画像セットが閾値未満のスコアを有する場合、前記合成ラベルは異常を表し、前記合成スコアは、前記第２の所定個数の画像における第２の連続画像セットの最小スコアである；画像処理方法は、更に、前記第１の画像及び前記第２の画像のスコアの平均を求める；前記第１の画像は、深さ次元を有するＢスキャン画像又は断面画像である；前記第１の画像は、光干渉断層画像である；前記ラベルは、前記対象物が正常か異常かを識別し、前記スコアは、前記正常又は前記異常の程度を示し、又は前記異常の種類を示す；前記第１の訓練された分類器は、二項分類器である；前記第１の訓練された分類器は、深層学習モデルである；前記第１の訓練された分類器は、正常データのみによって訓練される；前記第１の訓練された分類器は、１クラスのサポートベクターマシンである；前記訓練された機械学習システムは、畳み込みニューラルネットワークである；前記対象物は、眼科構造物である；及び／又は、前記第１の画像は、複数のパッチのうちの１つであり、前記複数のパッチのそれぞれは、前記対象物の共通の断面画像における別個の空間領域からのものであり、前記第１の訓練された分類器は、前記別個の空間領域の少なくとも２つからの訓練画像パッチを用いて訓練される。

第２の例によれば、画像処理方法は、対象物の第１の画像を受け付け、；前記第１の画像の領域をマスクし；第１の訓練された機械学習システムを使用して、前記第１の画像の前記領域を再構成し；前記第１の画像の前記再構成された領域と受信された前記第１の画像の対応領域との間の類似度を求め；求められた類似度に基づいて、前記第１の画像のラベル及び／又はスコアを求める。

第２の例の様々な実施形態において、画像処理方法は、前記対象物の第２の画像を受け付け、；前記第２の画像の領域をマスクし；第２の訓練された機械学習システムを使用して、前記第２の画像の前記領域を再構成し；前記第２の画像の前記再構成された領域と受信された前記第２の画像の対応領域との間の類似度を求め；求められた類似度に基づいて、前記第２の画像のラベル及び／又はスコアを求める；前記第１の訓練された機械学習システムは、前記第１の画像の前記領域に対応する正常画像を用いて訓練され、前記第２の訓練された機械学習システムは、前記第２の画像の前記領域に対応する正常画像を用いて訓練される；前記第１の画像及び前記第２の画像は、同じデータの少なくとも一部を含む；前記第１の画像及び前記第２の画像は、共通の３Ｄボリュームから得られたものである；前記第１の画像及び前記第２の画像は、同じデータのいずれも含まない；前記第１の画像と前記第２の画像は、異なるサイズ又は異なる解像度を有する；前記第１の画像及び前記第２の画像は、異なる３Ｄボリュームから得られたものである：画像処理方法は、更に、前記第１の画像の前記ラベル又は前記スコア及び前記第２の画像の前記ラベル又は前記スコアに基づいて、合成ラベル又は合成スコアを求める；画像処理方法は、更に、；第１の所定個数の画像のスコアを所定の閾値と比較することにより合成ラベルを求め；第２の所定個数の画像に統計演算を施すことにより合成スコアを求め、前記第１の所定個数の画像は、少なくとも前記第１の画像及び前記第２の画像を含み、且つ、前記第２の所定個数の画像は、少なくとも前記第１の画像及び前記第２の画像を含む；前記第１の所定個数の画像における第１の連続画像セットが閾値未満のスコアを有する場合、前記合成ラベルは異常を表し、前記合成スコアは、前記第２の所定個数の画像における第２の連続画像セットの最小スコアである；画像処理方法は、更に、前記第１の画像及び前記第２の画像のスコアの平均を求める；前記第１の画像は、深さ次元を有するＢスキャン画像又は断面画像である；前記第１の画像は、光干渉断層画像である；前記ラベルは、前記対象物が正常か異常かを識別し、前記スコアは、前記正常又は前記異常の程度を示し、又は前記異常の種類を示す；前記第１の訓練された機械学習システムは、正常データのみによって訓練される；前記対象物は、眼科構造物である；前記第１の画像の前記領域は、網膜層に相当する；前記第１の訓練された機械学習システムは、深層畳み込み敵対的生成ネットワーク（ＤＣＧＡＮ）である；及び／又は、前記類似度は、マルチスケール類似度測定（ＭＳ－ＳＳＩＭ）によって求められる。

第３の例によれば、画像処理方法は、対象物の第１の画像を受け付け；第１の訓練された機械学習システムを用いて、前記第１の訓練された機械学習システムへの入力である前記第１の画像の特徴又は前記第１の画像に示された生理学的構造の特徴を抽出し；第１の訓練された分類器を用いて、前記第１の訓練された分類器への入力である前記抽出された特徴に基づいて第１の画像を分類し；前記第１の画像の領域にマスキングを施し；第２の訓練された機械学習システムを用いて、前記第１の画像の前記領域を再構成し；前記第１の画像の前記再構成された領域と受信された前記第１の画像の対応する領域との間の類似度を求め；前記分類及び前記求められた類似度に基づいて、前記第１の画像のラベル及び／又はスコアを決定する。第３の例は、上記の第１及び第２の例の組み合わせであるため、その様々な実施形態は、第１及び第２の例に関する上記の特徴のいずれかを含むことができる。

本開示の例示的なシステム及び方法アーキテクチャを示す。

本開示の異常検出スクリーナシステム及び方法の例示的なアーキテクチャを示す。

本開示の異常検出スクリーナシステム及び方法の例示的な分類アーキテクチャを示す。

本開示の異常検出スクリーナシステム及び方法の他の例示的な分類アーキテクチャを示す。

本開示の異常検出スクリーナシステム及び方法の例示的な画像修復アーキテクチャを示す。

本開示の異常検出スクリーナシステム及び方法の他の例示的な画像修復アーキテクチャを示す。

本開示の異常検出スクリーナシステム及び方法の例示的なアンサンブル異常検出アーキテクチャを示す。

本開示のシステム及び方法による、個々の画像又は画像パッチスコアからボリュームラベル及び／又はスコアを求める例を示す。

本開示のシステム及び方法の検査中に検出された状態についてのスコアのヒストグラムを示す。 本開示のシステム及び方法の検査中に検出された状態についてのスコアのヒストグラムを示す。

本開示のシステム及び方法の検査中に決定されたスコア値のＢスキャン画像及び対応するヒートマップを示す。 本開示のシステム及び方法の検査中に決定されたスコア値のＢスキャン画像及び対応するヒートマップを示す。 本開示のシステム及び方法の検査中に決定されたスコア値のＢスキャン画像及び対応するヒートマップを示す。

本開示のシステム及び方法の検査のための受信者操作特性（ＲＯＣ）解析を示す。 本開示のシステム及び方法の検査のための受信者操作特性（ＲＯＣ）解析を示す。

ノーマティブデータ（本明細書では正常データとも呼ばれる）は異常データ（病的データ）よりもはるかに容易に入手できるため、大量の正常データで異常検出システムのネットワークを訓練することはより容易である。更に、異常データの収集は、研究プロトコルにおける特定の包含／除外基準によって強く影響を受け及び／又はバイアスを受ける可能性があるが、健康／通常データの収集はそれほどのバイアスは受けない。このような訓練及びテストは、参照／正常データベースのデータセットを用いて実行でき、又は、多くの眼科クリニック及び／又は他のスクリーニング場（プライマリケア、薬局チェーンなど）の典型的なデータセットを用いて実行できる。

上記を考慮し、本開示は、機械学習技術に基づく画像（例えば、眼の光干渉断層法（ＯＣＴ）画像）を用いた異常な（本明細書では「疾患」と相互交換可能に使用される）被検者と正常な被検者との識別及び分離並びに可能性のある疾患タイプの同定を対象としている。これらの機械学習技術は、例えば、畳み込みニューラルネットワーク（ＣＮＮ）やサポートベクターマシン（ＳＶＭｓ）を含んでいてよく、訓練データは正常データのみを含んでいてよい。眼科への応用においては、そのような疾患は、次を含んできてよい：（多くの場合において重症度が視野検査で得た平均偏差（ＭＤ）スコアによって定義される）緑内障を含む様々な網膜の病態；糖尿病網膜症（ＤＲ）、及び、（早期（小さなドルーゼン）、中期（中程度の寸法のドルーゼン）、及び後期（湿性及び乾性萎縮性ＡＭＤのいずれか又は両方）を含む幾つかの段階を含む）加齢黄斑変性（ＡＭＤ）。追加の状態には、網膜色素変性症（ＲＰ）、ぶどう膜炎、虚血、他の網膜症、及び脈絡膜の病態も含まれるが、これらに限定されない。

上記で示唆したように、他の画像解析システムは、眼底画像又は正面（ｅｎ ｆａｃｅ）ＯＣＴ画像（カメラのようなＸ／Ｙ平面ビュー）に焦点を合わせており、それぞれのボリューム／眼に対して１つの画像（又は、少数の画像）のみが存在するため、訓練のために多数のボリューム／眼が要求される。対照的に、本開示は、Ｂスキャン（Ｘ／Ｚ又はＹ／Ｚ平面。ここで、Ｚ次元は深さを表す。）又は導出されたスキャンビュー及び３Ｄスキャンの断面解析を用いる能力について説明する。３Ｄスキャンは、多くの場合、ボリュームごとに１２８から５１２枚（１０２４枚以上でもよい）のＢスキャン（画像）を有するが、正面（ｅｎ ｆａｃｅ）ベースの解析では、多くの場合、ボリュームが１つ又は少数の画像に縮小され、その結果、利用可能な情報の多くが失われる。したがって、多次元の画像データを保存及び利用することにより、片方の眼から、データが比較的少ない希少疾患のより多くの訓練データを取得することができる。更に、Ｂスキャン又は他の特徴豊富な２Ｄ画像の解析は、網膜専門家による病気の３Ｄ ＯＣＴボリュームのこれまでの見方に、より密接に対応している。

これらの画像／ボリュームを使用することにより、本明細書で説明されるシステム及び方法は、様々な形態で生じる構造変化を認識することが可能である。例えば、ＣＮＮへの入力は、ＡＭＤ構造の変化が明瞭に現れるＢスキャンビュー（完全なＢスキャン又はより小さな部分）であってよく、又は、この入力は厚さマップであってよい。この厚さマップは、例えば、緑内障の検出をより簡単に行える網膜神経線維層（ＲＮＦＬ）の厚さマップであってよい。他の実施形態では、この入力は、テクスチャ情報であり得る。局所的又は大域的に生じる構造変化に対応できる多解像度システムについても説明される。

図１に示すように、本明細書で説明するシステムのアーキテクチャは、患者の眼１００の画像、測定値１０２、患者情報１０４、及び／又は他の関連情報１０６をスクリーナ（ｓｃｒｅｅｎｅｒ）１０８への入力として取得する。そして、スクリーナ１０８は、その入力情報が異常１１０か正常１１２かの識別（同定）を出力する。異常１１０の場合、システムは、異常１１４のタイプ（例えば、緑内障、ＡＭＤ、糖尿病網膜症、その他の疾患）の識別及び出力を更に行う。ここで、眼科スクリーニングの場合、入力画像１００は、ＯＣＴ画像、眼底画像、又はマルチモダリティ画像など、任意の網膜画像であってよい。測定値１０２は、例えば、厚さ、血流測定値、又は視力及び眼圧（ＩＯＰ；緑内障に関連し得る）などの他の関連測定値など、画像から取得又は導出されたものを含み得る。更に、患者及び関連情報１０４、１０６は、例えば、年齢、性別、アルコール又は薬物の使用などを含んでいてよい。スクリーニング出力の識別１１０、１１２は、Ｂスキャンレベル及び／又はボリュームレベルで作成されてよい。

上記のシステムは、１つ又は複数のプロセッサ及びそれに付随するメモリを含む１つ又は複数のコンピュータによって実装することができる。入力画像１００及び情報１０２、１０４、１０６は、入力／出力インターフェースデバイスによって提供され得る。特に、画像は、イメージングシステム（例えばＯＣＴイメージングシステム）によって直接に入力され、ネットワークを介して提供され、移動可能なメモリ媒体を介して提供され、又はそれらに類似の手段で提供される。幾つかの実施形態では、上記のシステムは、イメージングシステム自体の一部として実装されてもよい。同様に、出力は、付随した又はネットワーク化されたディスプレイデバイスに提供され、メモリに保存され、又は有形媒体に印刷されてもよい。

図２は、本開示の異常検出スクリーナ１０８システム及び方法の例示的なアーキテクチャを示している。そこでは、上記のように、入力２００は、ＯＣＴ Ｂスキャン（例えば、深さ次元を含む断面画像）、及び／又は、測定マップ／グリッド、及び／又は、多解像度ＯＣＴＡ信号などの他の処理された指標（ｅｎｄｐｏｉｎｔ）であってよい。更に、入力２００は、例えばＯＣＴスキャンなど、任意のイメージング又はスキャンタイプに基づいていてよい。本開示は、網膜画像及び他の眼科画像に言及しているが、入力２００は任意の対象物のものであってもよい。例えば、入力２００は、中心窩を中心とした６ｍｍ×６ｍｍの黄斑スキャン、ディスク中心を中心とした６ｍｍ×６ｍｍのディスクスキャン、中心窩とディスク中心をカバーする１２ｍｍ×９ｍｍワイドスキャン、半径が異なる及び／又はディスク中心を中心とする偏心のタイプが異なる派生円スキャン、半径が異なる及び／又は中心窩を中心とする偏心のタイプが異なる派生楕円スキャンなどであってよい。部分的又は完全な３Ｄボリュームに異常検出プロセスを拡張することも可能である。

最初に、入力画像２００に対して前処理２０２を施すことができる。前処理２０２は、異なる方式の処理を含んでいてよく、そのような処理として、例えば、内境界膜（ＩＬＭ）又は他の境界による画像平坦化、ガウシアンを用いたスペックルノイズ除去及び画像／マップ平滑化、バイラテラル又は他の同様のフィルター、画像／マップ強度の正規化、厚さ比、入力画像２００の画像パッチ（画像の一部、例えば断面Ｂスキャンなどの画像から抽出された部分又はクロッピングされた部分）への分割、画像サイズ変更などがある。画像パッチを使用する場合、任意的に、例えば画像セグメンテーション、部分抽出、画像クロッピングなどにより、1つの入力画像又はボリュームを複数の重複又は非重複部分に分解又は分割することが可能である。各部分は、更なる処理のための画像パッチを構成する。このようにして、それぞれの入力画像２００全体は、各部分での異常検出のために複数の画像を効果的に提供することができる。前処理２０２は、画像シフト、フリッピング、強度強化、及び他の拡張方法（ａｕｇｍｅｎｔａｔｉｏｎ ｍｅｔｈｏｄｓ）によるデータ拡張（ｄａｔａ ａｕｇｍｅｎｔａｔｉｏｎ）も含んでいてもよい。

実施形態に応じて、画像パッチは、異なるサイズや解像度を有していてもよいし、異なるタイプのものであってもよいし（例えば、ボリュームから得られる場合には、異なる平面からの断面画像又は投影画像）、異なる空間位置からのものであってもよい。別の言い方をすれば、パッチは、より大きな画像又はボリュームに施された任意の前処理の結果であってよい。画像パッチが異なる空間位置からのものである場合、それらは同じデータのいずれかを有しないかもしれない。しかし、幾つかの実施形態では、パッチが空間的に重複している可能性があり、したがって共通のデータを含む場合がある。

前処理２０２に続いて、処理された画像入力は、処理のために機械学習システム２０４（例えば、深層学習ベースのモデル）に供給される。機械学習ベースのモデルは、深層ＣＮＮ又は深層畳み込み敵対的生成ネットワーク（ＤＣＧＡＮ）であってよい。端的に言うと、ＣＮＮ及びＤＣＧＡＮは、それぞれが複数のフィルターを含む複数の畳み込み層を含んで構成されている。これらのフィルターは、関連する特徴を抽出するために、入力データ（例えば、前処理された入力画像）とコンボリューションされる。幾つかの実施形態では、フィルタは、機械学習システムへの画像入力の小さなパッチ（例えば、フィルタのサイズに対応する）を検査し、パッチに対応するピクセル（例えば、パッチの中心ピクセル）の活性化値を算出するように構成される。そして、機械学習システムへの画像入力の全体にわたってフィルターを適用することにより、活性化マップを作成することができる。一連の畳み込み層を適用することにより、機械学習システムへの画像入力のエッジ、部分及びモデルを抽出することができる。機械学習システムのフィルターの特定のパラメーターは、訓練データを使用した訓練によって決定される。完全ＣＮＮ（ｃｏｍｐｌｅｔｅ ＣＮＮ）又はＤＣＧＡＮモデルは、これらに限定されないが、畳み込み層（例えば、特徴抽出を目的とする）、プーリング層（例えば、次元を低減するため、及び／又は訓練中の過剰適合を避けるために学習プロセスを正則化するため）、バッチ正規化（収束の高速化及び正則化）、活性化層（例えば、システムに非線形性を導入するため）、非プーリング／転置コンボリューション層（例えば、ＤＣＧＡＮの機能マップのアップスケールするため）、及び、全結合層（例えば、ＣＮＮモデルにおける分類／意思決定を目的とする）を含む。以下の例で詳述するように、本開示の機械学習システムは、分類技術及び／又は画像修復／再構築技術に基づいて異常を検出することができる。双方の技術を共に使用する場合、本明細書ではそれをアンサンブル異常検出技術と呼ぶ。

第１のアプローチの例（分類）が図３に示されている。従来の技術と比較して、図３に示されている技術は、生画像ではなく抽出された特徴を分類器に入力するための特徴抽出機械学習システムを更に含む。したがって、正常データのみを用いて分類器を訓練することができる。より具体的には、上述のように、まず、入力画像３００に前処理３０２を施すことができる。前処理３０２に続いて、深層学習モデルに基づいて入力画像３００から特徴が抽出される３０４。この深層学習モデルは、例えば、事前に訓練された深層学習モデル（例えば、転移学習が用いられる）、又は、最初から（ゼロから）訓練された深層学習モデルである。転移学習により、様々なタスクのために事前訓練済みモデルを再利用することや、新しいタスクの開始点として事前訓練済みモデルを使用することが可能になる。事前に訓練されたモデルとしてＣＮＮモデルがあり、例えばＶＧＧ、インセプションネットワークモデル（Ｉｎｃｅｐｔｉｏｎ Ｖ３を含む）、ＲｅｓＮｅｔ、ＡｌｅｘＮｅｔ、及び、当業者に知られている他のモデルが含まれ得る。抽出された特徴は、特徴抽出機械学習システム３０４がどのように訓練されるかに依存するが、画像の明るさ、エッジの特徴、色、形状、地理的／生理学的領域などに関連し得る。これらの特徴は、異常を示すものであることが好ましい。

次いで、抽出された特徴が分類器３０６（例えば、１クラス分類器又は二項分類器）に入力され、分類器３０６を訓練するために使用される正常データから「外れ値」を識別するように訓練される。（正常訓練データからの対応する特徴と比較して）正常でないように見える特徴は、分類器３０６によって異常として識別され得る。したがって、特徴が抽出された画像（又はボリューム）は異常と判断される場合がある。画像が複数のパッチに分割される実施形態の場合、各パッチが特徴抽出システム３０４に入力され、その出力は、幾つかの実施形態ではアンサンブルが可能な複数の分類器３０６に供給されてもよい。アンサンブル分類器は並行して動作し、アンサンブル内の各コンポーネント分類器の出力に基づいて出力を生成する。例えば、アンサンブル分類器の出力は、アンサンブルを構成する分類器の平均であってよい。

一実施形態において、入力画像から４つのパッチが取得される場合、２つのパッチから抽出された特徴を処理するようにそれぞれ訓練された２つの分類器モデル３０６を使用し得る。これら２つの分類器モデル３０６のそれぞれは、それ自体がアンサンブル分類器であり、アンサンブルに入力される２つのパッチのそれぞれに対して成分分類器が訓練される。別の言い方をすれば、各分類器モデル３０６は、（異なるパッチにそれぞれ対応する）１つ又は複数の別々の空間位置からの画像で訓練されてもよい。このように、或る幾つかの空間位置に対して異なる分類器を特に訓練できるため、分類は、訓練データセットにおける特徴の空間的相違に対応する。他の実施形態において、分類器３０６に対するそのような訓練及びパッチのマッピングは、パッチのタイプ、個数、位置、サイズ、及び／又は解像度に基づいていてよい。換言すると、分類器３０６はそれぞれ、（例えば、そのタイプ、場所、サイズ、解像度など）特定のパッチに対応するデータで訓練されてもよい。したがって、特定の複数のパッチを特定の複数の分類器にマッピングし、これら特定の分類器を組み合わせて入力画像を分類することができる。

分類器３０６は、正常なサンプルのみによって訓練されてもよい。言い換えれば、分類器３０６は、（正常データのみを表す）正常眼のみからのデータ／画像で訓練されてもよい。分類器３０６は、任意のタイプであってよく、例えば、１クラスサポートベクターマシン（ＳＶＭ）や１クラスランダムフォレストモデルなどの形式の１クラス分類器であってよい。他の実施形態では、分類器３０６は二項分類器であってよい。図３の例に示すように、分類器３０６が１クラス分類器である場合、１クラス分類器３０６の出力３０８は、処理された画像のラベル及びスコアである。ラベルは、例えば、「正常」又は「異常」を示し、スコアはそのラベルが示す程度又はレベルを示す。スコアの符号は、ラベルが正常か異常かを示してもよい（例えば、陰性：異常；陽性：正常）。出力は、入力画像のどの部分が出力ラベル及び／又はスコアに寄与したか（及びどの程度の寄与か）を示すヒートマップを含んでもよい。二項分類器が使用される場合、ラベルのみが出力される３０８。

次いで、スコアに応じて、特定の異常又は疾患を識別することができる。例えば、図９Ａ及び図９Ｂに関連して以下で更に詳細に説明するように、ＡＭＤは、ドルーゼンよりも大きい大きさのスコアに関連付けられる。したがって、分類器３０６により出力されたラベル及び／又はスコアの更なる分析を行って、特定の異常を識別することができる。特定の異常の識別は、例えば、異常なラベルのスコアを、異なる複数の異常に関連付けられた閾値（例えば、上限及び下限）と比較することによって行われる。これらの閾値は、テストデータセットに基づく統計計算によって生成されてよい。一実施形態では、受信者操作特性（ＲＯＣ）曲線を利用して、所望の用途に対して許容可能な真陽性率及び偽陽性率を提供する閾値を特定することができる。他の例において、閾値は、所望の用途に基づいて臨床医によって手作業で決定されてもよい。

オプションとして、分類器３０６への入力の前に、抽出された特徴に対して次元低減ステップ３１０を施すことができる。次元低減は、主成分分析（ＰＣＡ）、独立成分分析（ＩＣＡ）などであってよい。

分類アプローチの特定の非限定的な実施形態が図４に示されている。図４において、画像パッチ４００（例えば、前処理により得られたもの）は、特徴抽出のためにＩｎｃｅｐｔｉｏｎ Ｖ３の深層学習モデル４０２に入力される。Ｉｎｃｅｐｔｉｏｎ Ｖ３のモデル４０２によって抽出された特徴、抽出された特徴は、次いで、任意的な次元低減ステップの一部としてＰＣＡ解析４０４にかけられる。次いで、ＰＣＡ解析が施された抽出特徴は、１クラスＳＶＭ４０６に入力され、それにより最終的なラベル及び／又はスコア４０８が出力される。

第２のアプローチの例である画像修復（画像の部分を再構成するプロセス）を図５に示す。図３及び図４に関連して論じたように、まず入力画像５００に対して前処理５０２を施すことができる。この前処理５０２は、上述したように任意のタイプの前処理であってよい。次に、前処理が施された入力の領域がマスクされ５０４、マスクされたこれらの領域が機械学習システムによって再構築（修復）される５０６。画像の任意の領域をランダムにマスクすることができる。マスクされる領域は、例えば、（ＲＮＦＬ、内網状層（ＩＰＬ）、網膜色素層（ＲＰＥ）、及びその他の層などの）網膜層を含む画像内の眼の任意の構造領域である。一実施形態によれば、スライディングウィンドウを使用して、入力画像又は前処理画像５００、５０２の一部をマスクする。ウィンドウは、例えば矩形のウィンドウなど、任意のサイズ又は形状をとることができる。マスクされた領域を再構築するための機械学習システムは、健康な患者を撮影して得られた画像を使用してゼロから訓練されてもよい。上記で説明したように、単一の入力画像が複数のパッチを有してよいため、複数のパッチを処理するように機械学習システムを訓練することや、異なるパッチに複数の機械学習システムを利用することができる。それから、再構成された画像、及び前処理された画像（又は、前処理されていない場合には入力画像５００）が比較され、それらの類似度が測定される５０８。測定された類似度５０８に基づいて最終的なラベル及び／又はスコアが決定される５１０。換言すると、正常及び健康な眼の画像に基づいて画像の部分を再構成するように機械学習システムが訓練されている場合、マスクされていない入力画像又は前処理画像５００、５０２と再構成された画像との間の高いレベルの類似度は、マスクされた部分が正常で健康であることを示す。逆に、低いレベルの類似度は、入力画像又は前処理された画像５００、５０２が異常であることを示す。

画像修復アプローチの特定の例を図６に示す。図６において、入力画像及び／又は前処理された入力画像は画像パッチ６００である。次に、これらのパッチの領域がマスクされ６０２、ＤＣＧＡＮモデルにより再構成される６０４。ＤＣＧＡＮモデルは、入力画像又はパッチをエンコード及びデコードする生成器ネットワークと、（例えば、生成器ネットワークにより）画像若しくはパッチを生成するか否か又は画像若しくはパッチのオリジナルであるか否かを識別する識別器ネットワークとを備える。識別器ネットワークは、生成器ネットワークが画像を現実的に（写実的に）修復／再構築するのに役立つ。再構成６０４に続いて、再構成された画像パッチが、マルチスケール類似度測定（Ｍｕｌｔｉｓｃａｌｅ Ｓｔｒｕｃｔｕｒａｌ Ｓｉｍｉｌａｒｉｔｙ；ＭＳ－ＳＳＩＭ）６０６技術を使用して、マスクされていないオリジナルの画像パッチと比較され、類似度測定６０６を行う。ＭＳ－ＳＳＩＭ測定の結果が非常に小さいかゼロに近い場合（類似度が小さいことを示す）、入力画像パッチ６００が何らかのタイプの疾患／異常を表していると判断できる。上記のように、このスコアは、疾患の重症度又はタイプを意味し、類似度測定のための閾値を設定することにより「正常」又は「異常」のラベルを識別することもできる。

上述の第３のアプローチであるアンサンブル異常検出は、単一のシステムで分類アプローチと修復アプローチの両方を利用する。一例において、各アプローチは、異常を検出するために共通の入力に対して並行的に実行される。その場合、最終的なラベル及び／又はスコアは、２つのアプローチの集約であってよい。例えば、幾つかの実施形態では、一方又は両方のアプローチのいずれかが異常として分類される結果を出力した場合、最終ラベルは「異常」であってよい（「ｏｒ」の組み合わせを考慮した場合）。一方、他の実施形態は、最終的なラベルとして使用される「異常」の結果を両方のアプローチが出力することを要求する（「ａｎｄ」の組み合わせを考慮した場合）。このアプローチの一例が図７に示されており、分類システム７０２及び修復システム７０４の双方に共通の入力画像７００が入力される。１クラスの分類システム７０２及び修復システム７０４は、前述したタイプのものであり得る。次いで、各システム７０２、７０４の出力が論理演算器７０６を介して組み合わされ、入力画像７００のラベル及び／又はスコア７０８が決定される。前述したように、「ｏｒ」コンビネーションとしてラベル及び／又はスコアを出力するように設計されたシステムのためのＯＲ演算器であってよく、又は、「ａｎｄ」コンビネーションとしてラベル及び／又はスコアを出力するように設計されたシステムのためのＡＮＤ演算器であってよい。

図７は、入力画像７００に対して共通の前処理７１０を実行可能な例を示しているが、代替として、各システム７０２、７０４に対して異なる前処理を実行してもよい。もちろん、他のマスキング、再構成、及び類似度測定技術を使用することができ、本開示の範囲内であると見なされる。更に、図７は、分類システム７０２と修復システム７０４を並行的に示しているが、これらのシステムは任意の順序で順次に処理を実行し得ることも想定される。

また、同じデータに対して複数の異常検出を同様に並列的に実行することができるが、解像度を違えて多解像度システムを構築することも可能であることに留意されたい。言い換えれば、（例えば、同じボリュームからの）同じ入力データに対して上記のプロセスを複数回実行できるが、プロセスの各反復では、異なるサイズ／次元／解像度の入力画像を使用するであろう。このプロセスは、異なる入力に対して実行されてもよく、それにより多変量システムが構築される。上記実施形態において、最終的な出力ラベル及び／又はスコアは、個々のＢスキャン／画像パッチのラベル／スコアから多解像度及び多変量形式で収集することができる。これらの実施形態では、一人の患者の複数の異常（例えば、複数の健康状態）を識別することが可能である。例えば、異常（ドルーゼンなど）に起因する幾つかの小さな構造変化は、小さなサイズのパッチを解析することで最も効果的に特定できるが、他の異常は大きなサイズの画像を解析することによって最も効果的に特定することができる。同様に、異なる抽出された特徴、又は異なる生理学的領域の解析は、異なる異常を最適に示している可能性がある。

上記のアーキテクチャは、広範囲の入力タイプに対応するために柔軟であり、一般的な疾患異常検出に適用することができる。上記した従来の３ＤスキャンベースのＢスキャン入力に加えて、入力は、緑内障の特徴に関連する画像又は測定に向けてカスタマイズすることができる。緑内障の特徴に関連する画像又は測定は、例えば、ディスク若しくは中心窩の周囲での派生的且つ同心的な円スキャン若しくは楕円スキャンであってよく、或いは、カスタマイズされた視神経乳頭のスキャン、又は、部分的若しくは完全な網膜神経線維層厚マップなどの様々な層厚測定マップ又は神経線維束に沿った非ラスタースキャン（つまり、従来の３Ｄスキャンではない）の集合であってよい。前処理、ＣＮＮモデル、ＤＣＧＡＮモデル、ＭＳ－ＳＳＩＭ、１クラス分類器など、ここで説明した手順は、これら全ての状況に同様であり適用可能である。また、これらのカスタマイズを緑内障以外の疾患に適用してもよい。

図８は、ボリュームラベル及び／又はスコアが個々の画像又は画像パッチのスコアからどのように導出され得るかの例を示す。ここで、各画像又はパッチは、上述のスクリーナのアーキテクチャのうちの１つにしたがって決定されたラベル及び／又はスコア８００を有し、例えば、分類器又は類似度測定技術によって出力されたスコアを有する。次いで、これらの画像の平均スコア８０２が求められ、この平均スコアは「Ｂスキャンレベルの」（又は、ローカルの（局所的な））スコアを表す。次いで、所定の閾値Ｔｈ未満のスコアを有するＸ個の連続した（例えば、隣接した）Ｂスキャンが存在する場合、ボリューム（又は画像の合成セット）に「異常」ラベル８０４を付与することができる。Ｘ個の連続したスキャンは、任意の個数であってよい。例えば、一実施形態において、４つ以上の連続したＢスキャンがゼロ閾値未満のスコアを有する場合に、ボリュームは異常としてラベル付けされる。それ以外の場合、ボリュームには「通常」というラベルが付与される。次いで、ボリューム（又は画像の合成セット）８０６のスコアが、任意の４つの連続したＢスキャンのスコアの最小値として求められる。例えば、スコアがゼロよりも小さい４つの連続したＢスキャンのセットが複数ある場合、これらセットの全てのうち最小のスコアがボリュームのスコアとして考慮される。これらのボリュームスコア８０６及びラベル８０４は、グローバルな（大域的な）スコア及びラベルを表す。もちろん、上記の閾値は制限／限定を意図したものではなく、任意の閾値基準を考慮することが可能である。同様に、上記した演算の代わりに、任意の統計演算（最小、最大、平均、中央値、標準偏差など）を使用することも可能である。上記のように、幾つかの実施形態においては、負の値が正常を表し、且つ正の値が異常を表すように、スコアの符号を逆にすることができる（したがって、ラベルを決定するための比較は、スコアが閾値未満であるかどうかではなく、スコアが閾値以上であるかどうかを考慮する。同様に、スコアは、重症度に関して任意の方式で変化してよい。例えば、重症度の変化に対して線形的又は指数関数的にスコアが増加及び減少してよい。

更に、更なる病理学的決定を行うために、異なる特徴抽出及び／又は分類器を用いて共通の画像又はボリュームに上述のプロセスを繰り返してもよい。例えば、プロセスの最初の反復を用いて、特定の異常（例えば、疾患の種類）が存在するかどうかを判断し、更なる反復を用いて、存在する当該種類の疾患における特定の病理を判断することができる。先の反復において機械学習システム（例えば、特徴抽出ＣＮＮ、分類器、又は再構築モデルを含む）が異常を認識するように特に訓練されてよく、後の反復において機械学習システムがその特定の病理を認識するように別途に訓練されてよい。

上述のように、本明細書に記載のシステム及び方法の出力は、入力画像又は他のデータセットのラベル及び／又はスコアであってよい。追加的な出力として、処理及び前処理の結果として得られる任意の画像、並びに、処理及び前処理において蓄積されたデータを含んでよい。例えば、出力は、システム及び方法によって決定された対応するスコア及びラベルに最も寄与した個々の画像の領域又は画像ボリュームの領域を示すヒートマップ（又は対応するデータ）を含んでもよい。これらの出力は、例えばディスプレイを介してエンドユーザーに直接提供され、又は、後の読影及び／又は解析のために保存される。

＜検査例＞
図９～図１１は、上記の方法論の検査の結果を示している。特に、この検査では、正常眼を表す２つの独立したデータセットと、網膜疾患を有する眼を表す１つのデータセットとを用いた。各セットは、６ｍｍ×６ｍｍの３Ｄ ＯＣＴボリュームデータを含む。網膜疾患の症状には、とりわけ、ドルーゼン、硬性ドルーゼン、ＡＭＤ、網膜上膜（網膜前膜；ＥＲＭ）、黄斑浮腫、網膜症、及び中心性漿液性脈絡網膜症（ＣＳＣ）が含まれていた。これらの図は１つの検査を表しているに過ぎず、異なる入力条件及び病理のタイプ、異なるスキャン領域（前眼部の領域を含む）を採用することが可能である。

図９に関してより具体的に説明する。図９Ａは、１クラスＳＶＭ分類器によって決定された、ドルーゼンを示す特定のスコアを有する検査ボリューム内のＢスキャンの個数を表すヒストグラムを示している。図９Ｂは、ＡＭＤスコアのヒストグラムを示している。これらから分かるように、ドルーゼンはより一般的であり（ドルーゼンを示すものとして識別されるＢスキャンをより多くもたらし）、－０．０２未満のスコアを示す傾向があるが、ＡＭＤは、約－０．０２から－０．０４のより強いスコアを生成する傾向がある。ＡＭＤの前駆症状として、ドルーゼンの存在は、構造変化がそれほど深刻ではないことを示し、したがって低いスコアを示す。これは、ドルーゼンがＡＭＤよりも低いスコアに対応するという上記の議論と一致し、更には、ＡＭＤのスコアからドルーゼンのスコアを区別し、異常なラベルに関連する疾患を区別するために閾値を適用できるという上記の議論と一致する。例えば、最も一般的なスコア又はスコアの最大密度の範囲を特定することによって、Ｂスキャンのボリューム全体の重症度のレベルを特定するために、このようなヒストグラムを用いることができる。更に、上記のように、スコアの負の値を用いることで、それらを異常としてラベル付けすることができ、更に、スコアの絶対値が大きいほど、構造変化又は特定タイプの疾患の重症度が高いことを示す。

図１０Ａ～図１０Ｃは、この検査における３つのＢスキャンの例を示す。図１０Ａは、－０．０３３４６１６２３のスコアを有するＢスキャン１０００を示し、画像内のＡＭＤを示している。図１０Ｂは、ドルーゼンを含み、且つ、－０．０２２４０５６５７のスコアを有するＢスキャン１０１０を示す。図１０Ｃは、同じくドルーゼンを含むＢスキャン１０２０を示すが、より低いスコアである－０．０１０６４７１６を有する。図１０Ａ～１０Ｃそれぞれにおける中央のパネルは、ヒートマップ１００２、１０１２、１０２２が重畳されたＢスキャンを示す。下部のパネルは、ヒートマップ１００４、１０１４、１０２４そのものを示している。これらのヒートマップは、最終的な分類に最も寄与する各Ｂスキャンの領域（範囲）を示す。これらのヒートマップは、寄与の度合（程度）を示すためにカラーで作成することも可能である（例えば、寄与無し又は小さな寄与を示す青色から、最大寄与を示す赤色まで）。

最後に、図１１は、ボリュームレベルでのスコアリング及びラベリング（ラベル付け）に基づく検査のＲＯＣ解析を示す。ＲＯＣ解析は、検査の品質又は性能の評価のために用いられる。例えば、ＲＯＣ曲線は、識別閾値の変化に対応する二項分類器システムの診断能力を示すグラフプロット（ｇｒａｐｈｉｃａｌ ｐｌｏｔ）である。様々な閾値設定において偽陽性率（ＦＰＲ）に対して真陽性率（ＴＰＲ）をプロットすることによってＲＯＣ曲線を作成することができる。ＲＯＣ曲線の下の面積（しばしば略してＡＵＣと呼ばれる）は、診断能力の指標を表す。ＡＵＣが大きいほど、システムの品質と性能が高い。ＲＯＣ曲線上の任意の点での感度は真陽性率として特定でき、且つ、ＲＯＣ曲線上の任意の点での特異度は１から偽陽性率を減算した値として特定できる。

特に、図１１Ａは、ボリュームのスコアが４つの連続した個々のＢスキャンのスコアの合計（和）に基づいたＲＯＣ曲線を示す。図１１Ｂは、ボリュームのスコアが全ての利用可能な個々のＢスキャンのスコアの平均に基づいたＲＯＣ曲線を示す。これらの解析において、陽性の同定は、本システム及び方法による網膜疾患の同定であった。図１１Ａの解析では、システムは特異度１に対して感度０．８９１６を呈し、特異度０．７７２２において感度０．９７５９に達した。これは、ＲＯＣ曲線の下の面積０．９７９１に対応する。ボリューメトリックスコア（ｖｏｌｕｍｅｔｒｉｃ ｓｃｏｒｅ）を求めるための平均演算について、図１１Ｂは、特異度１に対して感度０．８６７５を示し、特異度０．７８４８で感度９．９７５９に達した。よって、図１１Ｂの曲線下面積は０．９８３４であった。

上記で示唆したように、上記の方法を実行するためのシステムも本開示の範囲内において考慮される。そのようなシステムは、当該方法を実行するための1つ又は複数のプロセッサ（例えば、集積回路、ディスクリート回路などの形態）、ストレージ（例えば、ハードディスク、メモリ、ＲＡＭなど）、及び入出力インターフェイス（例えば、ディスプレイ、キーボード、マウスなど）を含むコンピュータを含んでいてよい。ストレージは、コンピューターと共にローカルに配置されてもよいし、又は、例えば集中型データベース（ｃｅｎｔｒａｌｉｚｅｄ ｄａｔａｂａｓｅ）にリモートで配置されてもよい。システムは、画像やその他の入力データを取得するために使用されるシステムと統合されてもよいし、分離されてもよい。例えば、上記コンピューターは光干渉断層撮影システムを制御するために使用されるコンピューターと同じであってもよい。

様々な特徴が以上に提示されているが、それらの特徴は単独で又はそれらの任意の組み合わせで使用できることを理解されたい。更に、特許請求の範囲に記載された例に係る当業者は変形及び修正を行い得ることを理解されたい。本明細書で説明した例は例示である。本開示は、当業者が、特許請求の範囲に示された要素に同様に対応する代替的な要素を有する代替的な設計を作成し使用することを可能にし得る。このように、意図する範囲は、特許請求の文字通りの文言と異ならない他の例、又はそれと非実質的に異なる他の例を含んでよい。したがって、本開示の範囲は、添付の特許請求の範囲に記載のように定義される。

Claims (8)

1. 眼の画像を処理するシステムであって、
   前記眼の画像中の領域をマスクするマスキング部と、
   マスクされた領域を再構成するように訓練された機械学習システムを用いて、前記マスキング部によりマスクされた前記画像中の前記領域を再構成する再構成部と
   を含む、システム。
2. 前記機械学習システムの訓練は、正常眼の画像を用いて行われる、請求項１のシステム。
3. 前記再構成部により前記領域が再構成された前記画像と、前記マスキング部により前記領域がマスクされる前の前記画像とを比較して類似度を測定する測定部と、
   前記類似度に基づいて、前記画像のラベル及び／又はスコアを決定する決定部と
   を更に含む、請求項１又は２のシステム。
4. 前記測定部は、マルチスケール類似度測定によって前記類似度を測定する、請求項３のシステム。
5. 前記ラベルは、前記眼が正常か異常かを識別し、
   前記スコアは、前記正常又は前記異常の程度を示し、又は、前記異常の種類を示す、
   請求項３又は４のシステム。
6. 前記機械学習システムは、深層畳み込み敵対的生成ネットワークである、請求項１～５のいずれかのシステム。
7. 前記画像は、深さ次元を有するＢスキャン画像又は断面画像である、請求項１～６のいずれかのシステム。
8. 前記画像は、光干渉断層画像である、請求項１～７のいずれかのシステム。
   
   

Images