JP2023507151A - 光コヒーレンストモグラフィセグメンテーションのための深層学習 - Google Patents

Abstract

光コヒーレンストモグラフィ（ＯＣＴ）画像をセグメント化するための機械学習モデルを提供するシステム及び方法が提示される。第１のＯＣＴ画像が、取得され、次に、グラフ検索アルゴリズムを使用して、第１のＯＣＴ画像内の異なる組織に関連する識別された境界でラベル付けされる。第１の複数の画像タイルを生成するために、ラベル付けされた第１のＯＣＴ画像の部分が抽出される。第１の複数の画像タイルからの少なくとも１つの画像タイルを操作することによって（少なくとも１つの画像タイルを回転及び／又は反転させることなどによって）、第２の複数の画像タイルが生成される。機械学習モデルは、第１の複数の画像タイル及び第２の複数の画像タイルを使用して訓練される。訓練された機械学習モデルを使用して、第２のＯＣＴ画像においてセグメンテーションが行われる。

Description

本開示は、画像処理に関し、より詳細には、本開示の様々な実施形態による、生体医学画像セグメンテーションを行うために機械学習モデルを使用することに関する。

眼科学などの特定の生体医学分野では、患者の診断を決定するために、患者の身体部分（例えば、目）の画像（例えば、ｘ線画像、光コヒーレンストモグラフィ（ＯＣＴ）画像など）が捕捉及び解析され得る。画像を解析する際に、画像内の要素の自動セグメンテーションが、定性的画像を診断法及び手術ガイダンスの両方に役立つ定量的測定に変換することができる。しかしながら、自動画像セグメンテーションは、難しい場合がある。例えば、スペックルなどの画像上に現れるアーチファクトにより、ＯＣＴ画像内の異なるタイプの組織間の連続した薄い境界が、不連続となる場合があり、これは、ＯＣＴ画像内で異なるタイプの組織を自動的に識別することを難しくする。さらに、複雑な病的状態も、画像セグメンテーションを難しくし得る。

従来のセグメンテーションアルゴリズムは、この問題を解決するために、問題の明確な記述及び詳細なステップ（例えば、アルゴリズムの設計者によって提供される明確な規則）に依存する。この手法は、解剖構造が、標準的な人のデータベースから確立することができる規則に従う正常な被験者（病気のない患者）から取得した画像にはうまく機能する。しかしながら、異なる病気がある被験者の場合、解剖構造は、正常な状態から大きく異なる可能性があり、ＯＣＴ画像セグメンテーションを難しくする。例えば、病的状態を有する、ある人の目の内部の異なるタイプの組織間の境界は、正常な目のパターンに従わない場合がある。したがって、当該分野において、ＯＣＴ画像を自動的にセグメント化するための効果的な機構を提供する必要がある。

幾つかの実施形態によれば、システムは、非一時的メモリと、１つ以上のハードウェアプロセッサであって、非一時的メモリから命令を読み取って、システムに、光コヒーレンストモグラフィ（ＯＣＴ）画像を取得することと、エッジ検出アルゴリズムに基づいて、ＯＣＴ画像内のエッジを決定することと、ＯＣＴ画像に基づいて、複数の画像タイルを生成することと、複数の画像タイルの少なくとも１つの画像タイルを操作することによって、複数のさらなる画像タイルを生成することと、複数の画像タイル及び複数のさらなる画像タイルに基づいて、ＯＣＴ画像内のエッジを予測するための機械学習モデルを訓練することと、を含む動作を行わせるように構成された、１つ以上のハードウェアプロセッサと、を含む。

幾つかの実施形態によれば、方法は、生体医学画像を取得することと、エッジ検出アルゴリズムに基づいて、生体医学画像内の異なる組織の境界を決定することと、生体医学画像に基づいて、第１の複数の画像タイルを生成することと、第１の複数の画像タイルの少なくとも１つの画像タイルを操作することによって、第２の複数の画像タイルを生成することと、１つ以上のハードウェアプロセッサによって、第１の複数の画像タイル及び第２の複数の画像タイルに基づいて、生体医学画像をセグメント化するための機械学習モデルを訓練することと、を含む。

幾つかの実施形態によれば、機械読取可能命令を記憶した非一時的機械読取可能媒体であって、機械読取可能命令は、機械に、光コヒーレンストモグラフィ（ＯＣＴ）画像を取得することと、少なくとも部分的にエッジ検出アルゴリズムに基づいて、ＯＣＴ画像を解析することと、ＯＣＴ画像の解析に基づいて、第１の複数の画像タイルを生成することと、第１の複数の画像タイルの少なくとも１つの画像タイルを操作することによって、第２の複数の画像タイルを生成することと、第１の複数の画像タイル及び第２の複数の画像タイルに基づいて、ＯＣＴ画像をセグメント化するための機械学習モデルを訓練することと、を含む動作を行わせるように実行可能である、非一時的機械読取可能媒体。

本技術、本技術の特徴、及び本技術の利点をより完全に理解するために、添付の図面と併せて、以下の説明を参照する。

図１は、幾つかの実施形態による、生体医学画像を解析するためのシステムの図である。 図２は、幾つかの実施形態による、生体医学画像をセグメント化するための機械学習モデルを訓練するための訓練モジュールの図である。 図３は、幾つかの実施形態による、機械学習モデルを訓練するプロセスを示す。 図４Ａは、幾つかの実施形態による、生体医学画像を分割する例示的方法を示す。 図４Ｂは、幾つかの実施形態による、生体医学画像から画像タイルを抽出する例示的方法を示す。 図５は、幾つかの実施形態による、少なくとも１つの画像タイルを操作することによって、さらなる画像タイプを生成することを示す。 図６Ａ－６Ｂは、幾つかの実施形態による処理システムの図である。 図７は、幾つかの実施形態による、多層ニューラルネットワークの図である。

図面において、同一符号を有する要素は、同一又は類似の機能を有する。

発明の態様、実施形態、実装形態、又はモジュールを示すこの説明及び添付の図面は、限定するものとして解釈されるべきではなく、特許請求の範囲が、保護された発明を定義する。この説明及び特許請求の範囲の精神及び範囲から逸脱することなく、様々な機械的、構成的、構造的、電気的、及び動作上の変更を行ってもよい。場合によっては、本発明をあいまいにしないために、周知の回路、構造、又は技術は、図示又は詳細に説明されていない。２つ以上の図の類似の番号は、同一又は類似の要素を表す。

この説明において、本開示と一致する幾つかの実施形態を説明する特定の詳細が示されている。実施形態の完全な理解を提供するために、多数の特定の詳細が示されている。しかしながら、これらの具体的詳細の一部又は全部なしに幾つかの実施形態が実施されてもよいことは、当業者には明らかであろう。本明細書に開示された特定の実施形態は、限定的でなく、例示的であるように意図される。当業者であれば、本明細書に具体的に説明されないが、この開示の範囲及び精神の範囲内にある他の要素を実現してもよい。加えて、不必要な繰り返しを避けるために、一実施形態に関連して図示されて説明された１つ以上の特徴は、特に別途説明しない限り、又は１つ以上の特徴によって実施形態が機能しなくなる場合を除いて、他の実施形態に組み込まれてもよい。

下記の技術は、画像（例えば、ｘ線画像、光コヒーレンストモグラフィ（ＯＣＴ）画像などの生体医学画像）を自動的にセグメント化するための機械学習モデルを提供するためのシステム及び方法を含み、機械学習モデルは、既存の訓練画像の操作に基づいて人工的に生成された訓練データを使用して訓練される。上述の通り、ＯＣＴ画像セグメンテーションは、画像上に現れるアーチファクト（例えば、スペックル）及び患者の複雑な病的状態などの要因により、難しい場合がある。これまで、ＯＣＴ画像セグメンテーションを行うために、グラフ検索アルゴリズムなどの従来のアルゴリズムが使用（例えば、コンピュータにおいて実装）されてきた。しかしながら、これらのアルゴリズムは、解剖構造が、標準的な人のデータベースから確立することができる規則（又はパターン）に従う正常な患者（例えば、病気のない患者）の画像に対してセグメンテーションを行う場合にのみ効果的となり得る。これらのアルゴリズムは、アーチファクトを含むＯＣＴ画像、及び／又は病的状態を有する患者から得たＯＣＴ画像に対してセグメンテーションを行う場合には、複雑な病的状態を有するこれらの患者の解剖構造が、異なるパターンに従う場合、又はどのようなパターンにも従わない場合があるため、効果的ではないかもしれない。

幾つかの実施形態では、機械学習モデルは、画像（例えば、ｘ線画像、ＯＣＴ画像など）のセグメンテーションを行うように構成され得る。機械学習モデルは、過去に取得された患者の画像などの訓練データを使用して訓練され得る。生体医学画像セグメンテーションを行うための従来のアルゴリズムに勝る、畳み込みニューラルネットワーク（ＣＮＮ）などの機械学習モデルを使用する利点は、機械学習モデルが、画像をセグメント化する方法に関する明確な規則に依存しないことである。より正確に言えば、十分な訓練データを用いて、機械学習モデルは、単独で規則を導出し、新しい訓練データに基づいて継続的に発展（例えば、規則を修正及び／又は補正）することができる。そのため、大量の高品質訓練データを与えられると、機械学習モデルは、正確且つ効果的に画像をセグメント化するように訓練され得る。これまでは、訓練データの生成は、人間のオペレータが、グラウンドトゥルースを決定するために、既存の画像内の異なる組織タイプの境界を手作業で解析及びラベル付けすることを必要とする。しかしながら、このように訓練データを生成することは、面倒であり、及び誤りを生じやすいだけでなく、関与する手作業の労力により、大量の訓練データを生成することが困難である。機械学習モデルの性能は、機械学習モデルを訓練する訓練データの量及び品質に大きく依存するため、機械学習モデルの性能は、訓練データがこのように生成される場合に、おそらく損なわれるだろう。

そのため、本開示の様々な実施形態によれば、画像セグメンテーションを行うように構成された機械モデルを訓練するための大量の高品質訓練データを自動的に生成するための訓練システムが提供され得る。幾つかの実施形態では、訓練システムは、訓練画像を取得し得る。訓練画像は、過去に患者から得た既存の画像でもよい。幾つかの実施形態では、訓練データシステムは、訓練画像の解析及びラベル付けを行う（例えば、訓練画像における、目の異なる層などの異なるタイプの組織の境界（エッジとも呼ばれる）を識別することによって）ために、従来のアルゴリズム（例えば、グラフ検索アルゴリズム）、及び手作業又は半自動注釈を使用してもよい。本明細書で述べるように、画像をセグメント化するために従来のアルゴリズムを使用する欠点の１つは、従来のアルゴリズムが、かなりの量のアーチファクト（例えば、スペックル）を有する画像、又は異なる病的状態（例えば、異なる目の病気）を有する患者の画像に対してセグメンテーションを行う際に効果的ではないかもしれない点である。そのため、従来のアルゴリズムを使用して生成された訓練データは、きれいな画像（例えば、かなりの量のアーチファクトを持たない画像）、及び正常な患者の画像にのみ限定され得る。訓練データを拡張して、様々な病状を有する患者の画像をカバーするために、幾つかの実施形態の訓練システムは、既存の訓練画像を操作することによって、さらなる訓練データを人工的に生成し得る。

幾つかの実施形態では、訓練システムは、各訓練画像から画像タイル（例えば、パッチ）を取得し得る。異なる実施形態は、訓練画像から画像タイルを取得する際に、異なる技術を使用し得る。幾つかの実施形態では、訓練システムは、訓練画像を複数のタイルに分割し得る。例えば、１６０×４０ピクセルのサイズを有する画像から、訓練システムは、画像を６４個の同じサイズ（１０×１０ピクセル）のタイルへと分割し得る。幾つかの実施形態では、訓練システムは、訓練データを生成するように構成された装置の装置属性（例えば、グラフィック処理ユニットのメモリサイズ）を取得することができ、その装置属性に基づいて、画像を分割することができる。例えば、訓練システムは、装置のグラフィック処理ユニットのメモリサイズを超えないタイルサイズを決定することができ、次に、そのタイルサイズに基づいて、画像をタイルに分割することができる。

幾つかの実施形態では、訓練システムは、画像に対して１つ以上の解析を行うこともでき、その１つ以上の解析に基づいて、画像を分割することができる。例えば、訓練システムは、関連性のあるデータを含まない画像の部分（例えば、背景又はブランクデータを含む画像の部分）を決定するために、ピクセル解析を行ってもよい。この点について、訓練システムは、実質的に類似した（又は同一の）ピクセル値を有する隣接したピクセルを持つ画像の部分（例えば、閾値を下回る、それらの部分内の空間周波数）を決定するために、画像内の各ピクセルのピクセル値を解析し得る。次に、訓練システムは、画像を複数のタイルに分割する前に、画像の上記部分を排除（例えば、除去）し得る。

幾つかの実施形態では、画像を複数のタイルに分割する代わりに、訓練システムは、画像から異なる画像部分を抽出することによって画像タイルを生成し得る。例えば、訓練システムは、決定されたタイルサイズ（例えば、１０×１０ピクセル）を有する仮想ウィンドウを生成し得る。訓練システムは、画像の最初の位置（例えば、左上隅）に仮想ウィンドウを配置し得る。訓練システムは、仮想ウィンドウ内の画像の部分が関連性閾値を超えるか否かを決定するために、その画像の部分を解析し得る。画像の部分が関連性閾値を超えると決定されると、訓練システムは、画像タイルとして、その画像の部分を抽出し得る。一方、画像の部分が関連性閾値を超えないと決定されると、訓練システムは、その画像の部分を無視し得る。幾つかの実施形態において、訓練システムは、画像の部分の空間周波数が空間周波数閾値を超えるか否か、画像の部分がラベル付けされたデータを含む（例えば、グラフ検索アルゴリズムによってラベル付けされた異なる組織の境界の一部を含む）か否かなどの１つ以上のファクタに基づいて、画像の部分が関連性閾値を超えるか否かを決定し得る。

仮想ウィンドウ内の画像の部分を抽出（又は無視）した後に、訓練システムは、画像の別の部分をカバーするために仮想ウィンドウを別の位置へと移動させ得る（例えば、仮想ウィンドウを所定のピクセル数だけ右へ、下へなど移動させる）。訓練データシステムは、仮想ウィンドウによってカバーされる画像の異なる部分を解析し、及び関連性閾値を超える部分を抽出し続け得る。仮想ウィンドウの所定の移動に基づいて、仮想ウィンドウによる画像カバーの異なる部分は、画像から抽出された画像タイルが部分的にオーバーラップし得るように、互いにオーバーラップしてもよく、又は互いにオーバーラップしなくてもよい。画像から抽出された各画像タイルは、機械学習モデルを訓練するための別個の訓練データ片となり得る。画像の異なる部分を独立して解析し、及び関連性のある部分のみを抽出することによって、訓練データの品質が大幅に向上し得る。

初期訓練画像は、正常な患者（例えば、病気のない患者）の画像であるので、これらの画像から取得されたタイルは、異なるタイプの病状を有する患者のために機械学習モデルに十分な訓練を提供することはまだできない。したがって、幾つかの実施形態では、訓練システムは、画像タイルを操作することによって、様々な病状を有する患者に対応する、さらなる訓練データを生成し得る。例えば、訓練システムは、様々な病状を有する患者の画像をシミュレーションするために、各タイルの配向を調整し得る（これは、画像タイル中の層の境界の配向を効果的に変更する）。幾つかの実施形態では、訓練システムは、各タイルを１つ以上の回転分だけ回転させることによってさらなるタイルを生成してもよく、各さらなるタイルは、タイルを所定の回転度にまで回転させることに対応する。例えば、訓練システムは、各タイルを９０度、１８０度、及び２７０度だけ回転させるように構成されてもよい。したがって、原画像タイルごとに、訓練システムは、３つのさらなるタイル（例えば、３つのさらなる訓練データ片）を生成することができる－原タイルを９０度回転させることに対応する第１のさらなるタイル、原タイルを１８０度回転させることに対応する第２のさらなるタイル、及び原タイルを２７０度回転させることによる第３のさらなるタイル。他の実施形態において、異なる回転度が使用されてもよく、及び／又は異なる数のさらなるタイルが生成されてもよい。

幾つかの実施形態では、タイルを回転させる代わりに、又はタイルを回転させることに加えて、訓練システムは、各原タイル及び各さらなるタイルを軸（例えば、水平軸、垂直軸など）に沿って反転させることによって、さらなるタイルを生成することもできる。例えば、所与のタイルの水平軸及び垂直軸に沿ってタイルを反転させることによって、訓練システムは、上記所与のタイルに基づいて、２つのさらなるタイルを生成し得る。訓練システムが各原タイルを９０度、１８０度、及び２７０度回転させ、その後、原タイル及び回転させたタイルを水平軸及び垂直軸に沿って反転させる例では、訓練システムは、原タイルに基づいて、１１個のさらなるタイルを生成することができ得る。したがって、訓練システムは、訓練データの量を１１倍に増加させることができ、さらなる訓練データは、様々な病状を有する患者の実例をカバーし得る。さらに、訓練システムは、同じ画像タイルの異なるバージョンを生成することによって、さらなる画像タイルを生成することもでき、各バージョンは、画像タイル中に付加されたアーチファクト（例えば、異なる量のスペックルなど）を含む。

訓練システムは、次に、生成された訓練データ（例えば、上記タイル及び上記さらなるタイル）を使用して、機械学習モデルを訓練し得る。幾つかの実施形態では、機械学習モデルは、深層畳み込みニューラルネットワークとして実装され得る。機械学習モデルを訓練する際に、各訓練データ片（例えば、各タイル）は、まず、畳み込み層のセットを通してダウンサンプリングされ、次に、対応する畳み込み層のセットを通してアップサンプリングされる。訓練データのダウンサンプリング及びアップサンプリングにより、機械学習モデルは、ＯＣＴ画像内の組織の境界を識別するように訓練され得る。訓練後に、機械学習モデルは、患者の新しいＯＣＴ画像の組織の境界を識別するために使用され得る。幾つかの実施形態では、機械学習モデルは、新しい訓練データを使用して、定期的に再訓練され得る。例えば、新しいＯＣＴ画像が取得されると、訓練システムは、本明細書に記載した方法を使用して、訓練データを生成し、新しく生成された訓練データを使用して、機械学習モデルを再訓練するように構成され得る。

図１は、幾つかの実施形態による、本明細書で述べるような訓練システムが内部に実装され得るシステム１００を示す。システム１００は、ネットワーク１１５を介して、１つ以上のアイケア専門家（ＥＣＰ）装置（ＥＣＰ装置１３０、１４０、及び１５０など）と結合されたバイオメトリクス解析プラットフォーム１０２を含む。幾つかの実施例において、ネットワーク１１５は、１つ以上のスイッチング装置、ルータ、ローカルエリアネットワーク（例えば、イーサネット（登録商標））、広域ネットワーク（例えば、インターネット）等を含んでいてもよい。

ＥＣＰ装置（例えば、ＥＣＰ装置１３０、１４０、及び１５０）のそれぞれは、ユーザインターフェース（ＵＩ）アプリケーションとＥＣＰ識別子とを含んでいてもよい。例えば、ＥＣＰ装置１３０は、ＵＩアプリケーション１３２とＥＣＰ識別子１３４とを含んでいる。ＵＩアプリケーション１３２は、バイオメトリクス解析プラットフォーム１０２とインタラクトするために、対応するＥＣＰ（例えば、ＥＣＰ１７０）によって使用され得る。例えば、ＵＩアプリケーション１３２は、Ｗｅｂブラウザ又はクライアントアプリケーション（例えば、モバイルアプリケーション）であってもよい。アイケア専門家（ＥＣＰ）１７０は、ＵＩアプリケーション１３２を介して、バイオメトリクス解析プラットフォーム１０２によって生成及び／又は提供されるウェブページなどのグラフィカルユーザインターフェース（ＧＵＩ）にアクセスし得る。ＥＣＰ識別子１３４は、レンズ選択プラットフォーム１０２によってサービス提供される複数のＥＣＰの中からＥＣＰ１７０を一意に識別する識別子である。

バイオメトリクス解析プラットフォーム１０２は、ユーザインターフェース（ＵＩ）サーバ１０３、バイオメトリクス解析エンジン１０６、訓練モジュール１０７、及び画像セグメンテーションモデル１０８を含む。インターフェースサーバ１０３は、幾つかの実施形態において、ＥＣＰ装置１３０、１４０、及び１５０上でユーザインターフェース（例えば、グラフィカルユーザインターフェース（ＧＵＩ）など）を提供するように構成され、このユーザインターフェースにより、ＥＣＰ１７０などのＥＣＰは、バイオメトリクス解析プラットフォーム１０２とインタラクトし得る。例えば、幾つかの実施形態のＵＩサーバ１０３は、レンズ選択プラットフォーム１０２に関連付けられたウェブサイトを提供するウェブサーバを含み得る。ＵＩサーバ１０３は、ＵＩアプリケーション（例えば、ＵＩアプリケーション１３２）により、ＥＣＰ装置上に提示され得る１つ以上のインタラクティブウェブページを生成及び／又は保存し得る。別の例では、ＵＩサーバ１０３は、プロトコル（例えば、ＲＥＳＴプロトコルなど）によりクライアントアプリケーション（例えば、ＵＩアプリケーション１３２）とインタラクトするアプリケーションサーバを含み得る。

画像セグメンテーションモデル１０８は、画像に対してセグメンテーションを行う（例えば、画像上の異なる組織の境界を識別する）ように構成された機械学習モデル（例えば、畳み込みニューラルネットワークなど）でもよい。訓練モジュール１０７は、本明細書に開示される技術を用いて訓練データを生成することによって、画像セグメンテーションモデル１０８を訓練するように構成され得る。訓練モジュール１０７は、患者の画像（例えば、患者の目のＯＣＴ画像など）を取得し得る。訓練モジュール１０７は、画像上の異なる組織の境界の解析及びラベル付けを行うために、従来のアルゴリズム（例えば、グラフ検索アルゴリズム）を使用し得る。次に、訓練モジュール１０７は、本明細書に開示される技術を使用して、さらなる訓練データを人工的に生成し得る。例えば、訓練データモジュール１０７は、（例えば、画像を分割すること、又は画像からタイルを抽出することによって）画像からタイルを取得することができ、さらなる訓練データを生成するために、（例えば、タイルの配向を変更すること、タイルにアーチファクトを付加することなどによって）各タイルを操作することができる。次に、訓練モジュール１０７は、生成された訓練データを使用して、画像セグメンテーションモデル１０８を訓練し得る。画像セグメンテーションモジュール１０８の訓練後に、画像セグメンテーションモデル１０８は、画像（例えば、ＯＣＴ画像）を増補するためにバイオメトリクス解析エンジン１０６によって使用され得る。

幾つかの実施形態では、ＥＣＰ（例えば、ＥＣＰ１７０）は、ＵＩアプリケーション（例えば、ＵＩアプリケーション１３２）及びＵＩサーバ１０３によって提供されるユーザインターフェースにより、患者の目の画像データ（例えば、ＯＣＴ画像）を提供し得る。例えば、ＥＣＰ１７０は、診断装置１６０を使用して、患者の目の画像（例えば、ＯＣＴ画像）を捕捉し得る。幾つかの実施形態では、ＥＣＰ装置１３０が、診断装置から画像を自動的に取り出し、ＵＩサーバ１０３によってバイオメトリクス解析プラットフォーム１０２に画像を送信し得るように、ＥＣＰ装置１３０は、診断装置１６０に結合されてもよい。

幾つかの実施形態では、画像を受信すると、バイオメトリクス解析エンジン１０６は、画像を解析し、画像に基づいて、患者の目に関する診断及び／又は他の情報をＥＣＰ１７０に提供し得る。例えば、バイオメトリクス解析エンジン１０６は、画像内の異なる組織（例えば、異なる角膜層）の境界を識別するために、訓練された画像セグメンテーションモデル１０８を使用し得る。次に、バイオメトリクス解析エンジン１０６は、画像内の識別された境界を強調することによって画像を増補し、増補画像をＥＣＰ装置１３０上に提示し得る。増補画像は、患者の診断及び／又は手術ガイダンスにおいて、ＥＣＰ１７０を支援し得る。幾つかの実施形態では、バイオメトリクス解析エンジン１０６は、増補画像を解析することによって、画像に基づいた、患者のための眼内レンズ又はコンタクトレンズの選択などのさらなる推奨を提供し得る。

図２は、本開示の様々な実施形態による訓練モジュールを示す。図示されるように、訓練モジュール１０７は、セグメンテーションモジュール２０２、及びタイル生成モジュール２０４を含む。訓練モジュール１０７は、セグメンテーションモジュール２０２を使用して、例えば、グラフ検索アルゴリズムを使用することによって既存の画像（例えば、画像２２２）の解析及びラベル付けを行い得る。次に、訓練モジュール１０７は、タイル生成モジュール２０４を使用して、画像セグメンテーションモデル１０８を訓練するための訓練データとして、ラベル付けされた各画像から画像タイルを取得し得る。例えば、タイル生成モジュール２０４は、画像２２２を画像タイル（例えば、画像タイル２２４ａ～２２４ｄ、原画像タイル２２４ａ～２２４ｄとも呼ばれる）に分割し得る。次に、タイル生成モジュール２０４は、さらなる画像タイルを生成するために、原画像タイル２２４ａ～２２４ｄを操作し得る。幾つかの実施形態では、タイル生成モジュール２０４は、さらなる画像タイルを生成するために、原画像タイル２２４ａ～２２４ｄのそれぞれを複数回異なる回転度分だけ回転させ得る。さらに、タイル生成モジュール２０４は、画像セグメンテーションモデル１０８を訓練するためのさらなる画像タイルを生成するために、原画像タイル２２４ａ～２２４ｄのそれぞれ及びさらなる画像タイルのそれぞれを軸（例えば、水平軸、垂直軸など）に沿って反転させることもできる。

図３は、本開示のある実施形態による、画像に対してセグメンテーションを行うように構成された画像セグメンテーションモデルを訓練するためのプロセス３００を示す。幾つかの実施形態では、プロセス３００は、訓練モジュール１０７及び／又はバイオメトリクス解析エンジン１０６によって行われ得る。プロセス３００は、第１の光コヒーレンストモグラフィ（ＯＣＴ）画像を取得することによって開始される。例えば、訓練モジュール１０７は、過去に患者から得た既存の画像（例えば、患者の目から得た既存のＯＣＴ画像）などの訓練画像を取得し得る。幾つかの実施形態では、既存の画像は、ＥＣＰ装置１３０、１４０、及び１５０などの１つ以上のＥＣＰ装置から取得することができる。例えば、ＥＣＰ（例えば、ＥＣＰ１７０）は、（例えば、診断装置１６０などの診断装置を使用して）患者のＯＣＴ画像を捕捉し得る。ＥＣＰは、解析のために、例えば、画像に対してセグメンテーションを行うために、ＯＣＴ画像をバイオメトリクス解析プラットフォーム１０２に送信し得る。

次に、プロセス３００は、（ステップ３１０において）アルゴリズムを使用して、第１のＯＣＴ画像に対してセグメンテーションを行い、（ステップ３１５において）第１のＯＣＴ画像から画像タイルを生成する。例えば、訓練モジュール１０７のセグメンテーションモジュール２０２は、従来のアルゴリズム（例えば、グラフ検索アルゴリズム）を使用して、取得された画像の解析及びラベル付け（例えば、訓練画像における、目の異なる層などの異なるタイプの組織の境界を識別することによって）を行い得る。図４Ａは、ＥＣＰ装置１３０から取得され得る例示的ＯＣＴ画像４０２を示す。この例では、ＯＣＴ画像４０２は、患者の目、具体的には、目の異なる角膜層の画像である。例えば、ＯＣＴ画像４０２は、層４２２及び層４２４を含む目を示し得る。図示されるように、アーチファクト及び画像４０２に関する他の問題により、層４２２及び４２４の境界は、あまり鮮明ではない場合があり、及び／又は途切れる場合がある。そのため、セグメンテーションモジュール２０２は、グラフ検索アルゴリズムを使用して、異なる層の境界を識別し得る。画像４０２に示されるように、グラフ検索アルゴリズムを使用することによって、セグメンテーションモジュール２０２は、層４２２に関して境界４３２及び４３４、並びに層４２４に関して境界４３６及び４３８を含む、層の境界を強調し得る。

次に、訓練モジュール１０７は、画像セグメンテーションモジュール１０８を訓練するための訓練画像として、ラベル付けされた画像（例えば、ラベル付けされたＯＣＴ画像４０２）を使用し得る。図４Ａに示されるように、層４２２及び４２４は、顕著な特徴を有する１つ以上のパターンを示す。例えば、層４２２は、複数の山及び谷を含む波パターンを有し、波の各周期は、顕著な特徴又は特性（例えば、振幅、厚さなど）を有する。層４２２の何れの部分も、画像セグメンテーションモデル１０８を訓練するための別個の特性を含み得る。同様に、層４２４は、細長い形状の要素の不連続パッチを含み、これらの各要素は、画像セグメンテーションモデル１０８を訓練するための顕著な特徴又は特性を有し得る。そのため、幾つかの実施形態において、訓練データ片として、画像４０２を全体として使用する代わりに、訓練モジュール１０７は、訓練データとして画像４０２のタイル（又はパッチ）を取得し得る。

訓練画像（例えば、画像４０２）から画像タイルを取得する際に、異なる実施形態は、異なる技術を使用し得る。幾つかの実施形態において、訓練モジュール１０７のタイル生成モジュール２０４は、訓練画像を複数のタイルに分割し得る。例えば、画像４０２が１６０×４０ピクセルのサイズを有する場合、タイル生成モジュール２０４は、画像４０２を６４個の同じサイズ（１０×１０ピクセル）のタイルへと分割し得る。図４Ａに示されるように、タイル生成モジュール２０４は、仮想線４１２～４２０を使用して、画像４０２をタイル４４２～４４８などの複数のタイルへと分割し得る。幾つかの実施形態において、タイル生成モジュール２０４は、訓練データを生成するように構成された装置（例えば、バイオメトリクス解析プラットフォーム１０２などのコンピュータサーバなど）の装置属性（例えば、グラフィック処理ユニットのメモリサイズ）を取得することができ、その装置属性に基づいて、画像を分割することができる。例えば、タイル生成モジュール２０４は、装置のグラフィック処理ユニットのメモリサイズ（例えば、８ＧＢ、１６ＧＢなど）を超えないタイルサイズを決定することができ、次に、各タイルが、グラフィック処理ユニットのメモリサイズを超えないサイズを有し得るように、上記タイルサイズに基づいて、画像４０２をタイルに分割することができる。

幾つかの実施形態において、タイル生成モジュール２０４は、画像４０２に対して１つ以上の解析を行うこともでき、その１つ以上の解析に基づいて、画像を分割することができる。例えば、タイル生成モジュール２０４は、関連性のあるデータを含まない画像の部分（例えば、背景又はブランクデータを含む画像の部分）を決定するために、ピクセル解析を行ってもよい。この点について、タイル生成モジュール２０４は、実質的に類似した（又は同一の）ピクセル値を有する隣接したピクセルを持つ画像の部分（例えば、閾値を下回る、それらの部分内の空間周波数）を決定するために、画像内の各ピクセルのピクセル値を解析し得る。次に、タイル生成モジュール２０４は、画像を複数のタイルに分割する前に、画像の上記部分を排除（例えば、除去）し得る。例えば、タイル生成モジュール２０４は、画像４０２の部分４５０が関連性のあるデータを持たないことを部分４５０内の低空間周波数及びラベル付けされたデータ（例えば、ラベル付けされた境界）の欠如に基づいて決定し得る。したがって、タイル生成モジュール２０４は、画像４０２をタイルに分割する前に、画像４０２から部分４５０を除去し得る。

幾つかの実施形態において、画像を複数のタイルに分割する代わりに、タイル生成モジュール２０４は、訓練画像（例えば、画像４０２）から異なる画像部分を抽出することによって画像タイルを生成し得る。例えば、タイル生成モジュール２０４は、画像上に、決定されたタイルサイズ（例えば、１０×１０ピクセル）を有する仮想ウィンドウを設け得る。タイル生成モジュール２０４は、画像の最初の位置（例えば、左上隅）に仮想ウィンドウを配置し得る。タイル生成モジュール２０４は、仮想ウィンドウ内の画像の部分が関連性閾値を超えるか否かを決定するために、その画像の部分を解析し得る。画像の部分が関連性閾値を超えると決定されると、タイル生成モジュール２０４は、画像タイルとして、その画像の部分を抽出し得る。一方、画像の部分が関連性閾値を超えないと決定されると、タイル生成モジュール２０４は、その画像の部分を無視し得る。幾つかの実施形態において、タイル生成モジュール２０４は、画像の部分の空間周波数が空間周波数閾値を超えるか否か、画像の部分がラベル付けされたデータを含む（例えば、グラフ検索アルゴリズムによってラベル付けされた異なる組織の境界の一部を含む）か否かなどの１つ以上のファクタに基づいて、画像の部分が関連性閾値を超えるか否かを決定し得る。

図４Ｂは、例えば、タイル生成モジュール２０４によって画像４０２上に設けられた仮想ウィンドウ４６２を示す。仮想ウィンドウ４６２は、画像４０２の第１の画像部分４７２をカバーする最初の位置（例えば、左上隅）に設けられる。タイル生成モジュール２０４は、仮想ウィンドウ４６２内の画像４０２の画像部分４７２が関連性閾値を超えるか否かを決定するために、画像部分４７２を解析し得る。例えば、タイル生成モジュール２０４は、空間周波数が所定の閾値を超えるか否かを決定するために、画像部分４７２のピクセル値を解析し得る。タイル生成モジュール２０４は、ラベル付けされたデータ（例えば、グラフ検索アルゴリズムに基づく、識別された境界）が画像部分４７２内に含まれるか否かも決定し得る。次に、タイル生成モジュール２０４は、例えば、画像４０２の画像部分４７２の空間周波数及び／又はラベル付けされたデータの存在に基づいて、画像４０２の画像部分４７２が関連性閾値を超えるか否かを決定し得る。画像部分４７２が関連性閾値を超えると決定されると、タイル生成モジュール２０４は、画像タイルとして、画像４０２の画像部分４７２を抽出し得る。一方、画像４０２の画像部分４７２が関連性閾値を超えないと決定されると、タイル生成モジュール２０４は、画像部分４７２を無視し得る。この例では、画像部分４７２は、ラベル付けされた境界４３２の一部を含むため、タイル生成モジュール２０４は、画像部分４７２が関連性閾値を超えると決定することができ、したがって、画像４０２から画像部分４７２を抽出し得る。

仮想ウィンドウ内の画像の部分を抽出（又は無視）した後に、タイル生成モジュール２０４は、画像の別の部分をカバーするために仮想ウィンドウを別の位置へと移動させ得る（例えば、仮想ウィンドウを所定のピクセル数だけ右へ、下へなど移動させる）。例えば、図４Ｂに示されるように、タイル生成モジュール２０４は、画像部分４７２を抽出又は無視した後に、画像４０２の第２の画像部分４７４をカバーするために、仮想ウィンドウ４６２を所定のピクセル数（例えば、５ピクセル）だけ右へと移動させ得る。タイル生成モジュール２０４は、仮想ウィンドウによってカバーされる画像の異なる部分を解析し、及び関連性閾値を超える部分を抽出し続け得る。仮想ウィンドウの所定の移動に基づいて、仮想ウィンドウによる画像カバーの異なる部分は、画像から抽出された画像タイルが部分的にオーバーラップし得るように、互いにオーバーラップしてもよく、又は互いにオーバーラップしなくてもよい。この例では、画像部分４７２及び４７４は、互いに部分的にオーバーラップする。画像から抽出された各画像タイルは、画像セグメンテーションモデル１０８を訓練するための別個の訓練データ片となり得る。画像の異なる部分を独立して解析し、及び関連性のある部分のみを抽出することによって、訓練データの品質が大幅に向上し得る。

図５は、（画像４０２を分割すること、又は仮想ウィンドウを使用して画像４０２からタイルを抽出することのどちらかによって）画像４０２から取得された例示的画像タイル５０２～５１２を示す。各画像タイル（原画像タイルとも呼ばれる）は、画像セグメンテーションモデル１０８を訓練するための訓練データ片として使用され得る。しかしながら、本明細書で述べるように、画像をセグメント化するために従来のアルゴリズムを使用する欠点の１つは、従来のアルゴリズムが、かなりの量のアーチファクト（例えば、スペックル）を有する画像、又は異なる病的状態（例えば、異なる目の病気）を有する患者の画像に対してセグメンテーションを行う際に効果的ではないかもしれない点である。そのため、従来のアルゴリズムを使用して生成された訓練データ（例えば、原画像タイル）は、限定され得る（例えば、かなりの量のアーチファクトを持たない画像、及び正常な患者の画像のみがラベル付けされる）。したがって、幾つかの実施形態において、訓練モジュール１０７は、原画像タイルを操作することによって、様々な病状を有する患者に対応する、さらなる訓練データを人工的に生成し得る。

図３を再び参照して、プロセス３００は、（ステップ３２０において）タイルの配向を変更することによって、さらなる訓練画像を生成する。例えば、訓練モジュール１０７は、様々な病状を有する患者の画像をシミュレーションするために、各原画像タイルの配向を調整することによって（これは、画像タイル中の層の識別された境界の配向を効果的に変更する）原画像タイルを操作し得る。幾つかの実施形態では、訓練モジュール１０７は、各原画像タイルを１つ以上の回転分だけ回転させることによってさらなるタイルを生成してもよく、各さらなるタイルは、タイルを所定の回転度にまで回転させることに対応する。例えば、訓練モジュール１０７は、各原画像タイルを９０度、１８０度、及び２７０度だけ回転させることによって、各原画像タイルを操作し得る。図５に示されるように、訓練モジュール１０７は、原画像タイル（例えば、画像タイル５１０）を９０度回転させることによって、さらなる画像タイル５２０ａを生成し得る。訓練モジュール１０７は、画像タイル５１０を１８０度回転させることによって、さらなる画像タイル５２０ｂも生成し得る。訓練モジュール１０７は、画像タイル５１０を２７０度回転させることによって、さらなる画像タイル５２０ｃも生成し得る。したがって、この例では、原画像タイルごとに、訓練モジュール１０７は、原画像タイルを回転させることに基づいて、３つのさらなるタイル（例えば、３つのさらなる訓練データ片）を生成することができる－原タイルを９０度回転させることに対応する第１のさらなるタイル、原タイルを１８０度回転させることに対応する第２のさらなるタイル、及び原タイルを２７０度回転させることによる第３のさらなるタイル。他の実施形態において、異なる回転度が使用されてもよく、及び／又は異なる数のさらなるタイルが生成されてもよい。例えば、原画像タイルをさらなる回転度分だけ回転させることによって、より多数のさらなるタイルを生成することができる。

幾つかの実施形態では、タイルを回転させる代わりに、又はタイルを回転させることに加えて、訓練モジュール１０７は、各原タイル及び各さらなるタイルを軸（例えば、水平軸、垂直軸など）に沿って反転させることによって、さらなるタイルを生成することもできる。例えば、所与のタイルの水平軸及び垂直軸に沿ってタイルを反転させることによって、訓練モジュール１０７は、上記所与のタイルに基づいて、２つのさらなるタイルを生成し得る。図５に示されるように、訓練モジュール１０７は、画像タイル５１０を垂直軸５３０に沿って反転させることによって、さらなる画像タイル５２０ｄを生成し得る。訓練モジュール１０７は、画像タイル５１０を水平軸５２５に沿って反転させることによって、別のさらなる画像タイル５２０ｅを生成することもできる。幾つかの実施形態において、訓練モジュール１０７は、画像タイル５２０ａ～５２０ｃを反転させることによっても、さらなる画像タイルを生成し得る。したがって、訓練データシステムが各原タイルを９０度、１８０度、及び２７０度回転させ、その後、原タイル及び回転させたタイルを水平軸及び垂直軸に沿って反転させる例では、訓練モジュール１０７は、原タイルに基づいて、１１個のさらなるタイルを生成することができ得る。その結果、訓練モジュール１０７は、訓練データの量を１１倍に増加させることができ、さらなる訓練データは、様々な病状を有する患者の実例をカバーし得る。さらに、訓練モジュール１０７は、同じ画像タイルの異なるバージョンを導出すること（例えば、様々な量のアーチファクトを同じ画像タイルに付加すること）によって、さらなるタイルを生成し得る。

訓練モジュール１０７は、次に、生成された訓練データ（例えば、上記タイル及び上記さらなるタイル）を使用して、画像セグメンテーションモデル１０８を訓練し得る。幾つかの実施形態において、セグメンテーションモデル１０８は、本明細書に全体として援用される、Ｒｏｎｎｅｂｅｒｇｅｒらによる「Ｕ－Ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ」というタイトルの文献に記載される技術を使用して、深層畳み込みニューラルネットワークとして実装されてもよい。Ｒｏｎｎｅｂｅｒｇｅｒに記載される通り、画像セグメンテーションモデル１０８を訓練する際に、各訓練データ片（例えば、各画像タイル）は、まず、畳み込み層のセットを通してダウンサンプリングされ、次に、対応する畳み込み層のセットを通してアップサンプリングされる。訓練データのダウンサンプリング及びアップサンプリングにより、画像セグメンテーションモデル１０８は、ＯＣＴ画像内の組織の境界を識別するように訓練され得る。訓練後に、画像セグメンテーションモデル１０８は、患者の新しいＯＣＴ画像の組織の境界を識別するために使用され得る。幾つかの実施形態では、画像セグメンテーションモデル１０８は、新しい訓練データを使用して、定期的に再訓練され得る。例えば、新しいＯＣＴ画像が取得されると、訓練モジュール１０７は、本明細書に記載した方法を使用して、訓練データを生成し、新しく生成された訓練データを使用して、画像セグメンテーションモデル１０８を再訓練するように構成され得る。

図３を再び参照して、プロセス３００は、（ステップ３３０において）第２のＯＣＴ画像を受け取り、（ステップ３３５において）訓練された機械学習モデルを使用して、第２のＯＣＴ画像に対してセグメンテーションを行う。例えば、バイオメトリクス解析エンジン１０６は、ＵＩサーバ１０３を介して、例えばＥＣＰ装置１３０、１４０、及び１５０の１つから画像を受け取り得る。バイオメトリクス解析エンジン１０６は、画像セグメンテーションモデル１０８を使用して、画像内の異なる層（例えば、異なるタイプの組織）の境界を識別し得る。幾つかの実施形態において、バイオメトリクス解析エンジン１０６は、画像を画像タイルに分割することができ、各画像タイルは、所定のサイズ（例えば、画像セグメンテーションモデル１０８を訓練するための画像タイルを生成するために決定されたサイズ）を有する。バイオメトリクス解析エンジン１０６は、画像タイル内の異なる層（例えば、異なるタイプの組織）の境界の識別を得るために、画像タイルを１つずつ画像セグメンテーションモデル１０８に提供し得る。

幾つかの実施形態において、バイオメトリクス解析エンジン１０６は、画像内の異なる層又は異なる層の境界を強調することによって画像を増補し、増補画像をＥＣＰ装置に提示し得る。幾つかの実施形態において、バイオメトリクス解析エンジン１０６は、識別された層に基づいて、画像に対するさらなる解析を行うことができ、レポート（例えば、患者のための眼内レンズの種類又はコンタクトレンズの種類の推奨など）をＥＣＰ装置上に提示し得る。

図６Ａ及び図６Ｂは、幾つかの実施形態による処理システムの図である。図６Ａ及び４６Ｂには２つの実施形態を示しているが、当業者であればまた、他のシステムの実施形態も可能であることを容易に理解するであろう。幾つかの実施形態によれば、図６Ａ及び／又は６Ｂの処理システムは、バイオメトリクス解析プラットフォーム１０２並びにＥＣＰ装置１３０、１４０、及び１５０等の１つ以上に含まれ得るコンピューティングシステムを代表する。

図６Ａは、システム６００の構成要素がバス６０５を用いて互いに電気通信しているコンピューティングシステム６００を示している。システム６００は、プロセッサ６１０と、読み出し専用メモリ（ＲＯＭ）６２０、ランダムアクセスメモリ（ＲＡＭ）６２５等の形態のメモリ（例えば、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、及び／又は他のメモリチップ若しくはカートリッジ）を含む様々なシステム構成要素をプロセッサ６１０に結合するシステムバス６０５と、を含む。システム６００は更に、プロセッサ６１０に直接接続されるか、近接しているか、又はプロセッサ６１０の一部として統合されている、高速メモリのキャッシュ６１２を含んでいてもよい。システム６００は、プロセッサ６１０による高速アクセスのために、キャッシュ６１２を介してＲＯＭ６２０、ＲＡＭ６２５、及び／又は１つ以上の記憶デバイス６３０に記憶されたデータにアクセスしてもよい。幾つかの実施例では、キャッシュ６１２は、メモリ６１５、ＲＯＭ６２０、ＲＡＭ６２５、及び／又はキャッシュ６１２に以前に記憶された１つ以上の記憶デバイス６３０からのデータにプロセッサ６１０がアクセスする際の遅延を回避するパフォーマンスブーストを提供してもよい。幾つかの実施例において、１つ以上の記憶デバイス６３０は、１つ以上のソフトウェアモジュール（例えば、ソフトウェアモジュール６３２、６３４、６３６等）を記憶する。ソフトウェアモジュール６３２、６３４、及び／又は６３６は、方法３００のプロセスなどの様々な動作を行うようにプロセッサ６１０を制御することができ、及び／又は制御するように構成され得る。また、システム６００は１つのプロセッサ６１０のみを示しているが、プロセッサ６１０は、１つ以上の中央処理装置（ＣＰＵ）、マルチコアプロセッサ、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、グラフィックス処理ユニット（ＧＰＵ）、テンソル処理ユニット（ＴＰＵ）等を代表してもよいことが理解されよう。幾つかの実施例において、システム６００は、スタンドアロンサブシステムとして、及び／又はコンピューティング装置に追加されたボードとして、若しくは仮想マシンとして実装されてもよい。

ユーザがシステム６００と対話するのを可能にするために、システム６００は、１つ以上の通信インターフェース６４０及び／又は１つ以上の入出力（Ｉ／Ｏ）装置６４５を含む。幾つかの実施例において、１つ以上の通信インターフェース６４０は、１つ以上のネットワーク及び／又は通信バス規格に従って通信を提供するために、１つ以上のネットワークインターフェース、ネットワークインターフェースカード等を含んでいてもよい。幾つかの実施例において、１つ以上の通信インターフェース４４０は、ネットワーク１１５等のネットワークを介してシステム６００と通信するためのインターフェースを含んでいてもよい。幾つかの実施例において、１つ以上のＩ／Ｏ装置６４５には、１つ以上のユーザインターフェース装置（例えば、キーボード、ポインティング／選択装置（例えば、マウス、タッチパッド、スクロールホイール、トラックボール、タッチスクリーン等）、オーディオ装置（例えば、マイクロフォン及び／又はスピーカ）、センサ、アクチュエータ、表示デバイス等）を含んでいてもよい。

１つ以上の記憶デバイス６３０のそれぞれは、ハードディスク、光学媒体、ソリッドステートドライブ等によって提供されるもののような、非一時的及び不揮発性記憶デバイスを含んでいてもよい。幾つかの実施例において、１つ以上の記憶デバイス６３０のそれぞれは、システム６００（例えば、ローカル記憶デバイス）と同じ場所に配置され、及び／又はシステム６００（例えば、クラウド記憶デバイス）から離れて配置され得る。

図６Ｂは、本明細書中に説明する方法（例えば、方法３００及び／又は５１０）のいずれかを実行する際に用いられてもよいチップセットアーキテクチャに基づくコンピューティングシステム６５０を示している。システム６５０は、ソフトウェア、ファームウェア、及び／又は１つ以上のＣＰＵ、マルチコアプロセッサ、マイクロプロセッサ、マイクロコントローラ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ、ＧＰＵ、ＴＰＵ等の他の計算を実行してもよい、任意の数の物理的及び／又は論理的に個別のリソースを代表するプロセッサ６５５を含んでいてもよい。示されるように、プロセッサ６５５は、１つ以上のＣＰＵ、マルチコアプロセッサ、マイクロプロセッサ、マイクロコントローラ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ、ＧＰＵ、ＴＰＵ、コプロセッサ、コーダ－デコーダ（ＣＯＤＥＣ）等も含み得る、１つ以上のチップセット６６０によって支援される。示されるように、１つ以上のチップセット６６０は、１つ以上のＩ／Ｏ装置６６５、１つ以上の記憶デバイス６７０、メモリ６７５、ブリッジ６８０、及び／又は１つ以上の通信インターフェース６９０のうちの１つ以上と共に、プロセッサ６５５とインターフェースする。幾つかの実施例において、１つ以上のＩ／Ｏ装置６６５、１つ以上の記憶デバイス６７０、メモリ、及び／又は１つ以上の通信インターフェース６９０は、図６Ａ及びシステム６００の同様に名付けられた対応物に対応してもよい。

幾つかの実施例において、ブリッジ６８０は、１つ以上のキーボード、ポインティング／選択装置（例えば、マウス、タッチパッド、スクロールホイール、トラックボール、タッチスクリーン等）、オーディオ装置（例えば、マイク及び／又はスピーカ）、表示デバイス等の、システム６５０に１つ以上のユーザインターフェース（ＵＩ）構成要素へのアクセスを提供するための追加のインターフェースを提供してもよい。幾つかの実施形態によれば、システム６００及び／又は６５０は、方法２００のプロセスの実行の際にユーザ（例えば、外科医及び／又は他の医療関係者）を支援するのに適したグラフィカルユーザインターフェース（ＧＵＩ）を提供してもよい。

上述の実施形態による方法は、非一時的で有形の機械読取可能媒体に記憶される実行可能命令として実装されてもよい。実行可能命令は、１つ以上のプロセッサ（例えば、プロセッサ６１０及び／又はプロセッサ６５５）によって実行されると、方法３００のプロセスを１つ以上のプロセッサに行わせ得る。方法３００のプロセスを含み得る機械読取可能媒体の幾つかの一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、その他の磁気媒体、ＣＤ－ＲＯＭ、その他の光媒体、パンチカード、紙テープ、孔のパターンを有したその他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、その他のメモリチップ若しくはカートリッジ、及び／又はプロセッサ若しくはコンピュータが読み取りを行うように適応したその他の媒体である。

これらの開示による方法を実装する装置は、ハードウェア、ファームウェア、及び／又はソフトウェアを含むことができ、且つ様々なフォームファクタのいずれかを取ってもよい。かかるフォームファクタの典型的な例としては、ラップトップ、スマートフォン、スモールフォームファクタのパーソナルコンピュータ、携帯情報端末等が挙げられる。本明細書で記載されている機能性の一部はまた、周辺機器及び／又はアドインカードで具体化されてもよい。かかる機能性はまた、更なる例として、単一の装置において実行される異なるチップ又は異なるプロセスの中から回路基板上に実装されてもよい。

図７は、幾つかの実施形態による、多層ニューラルネットワーク７００の図である。幾つかの実施形態において、ニューラルネットワーク７００は、本明細書で述べるような、ＯＣＴ画像などの画像に対してセグメンテーションを行うための機械学習モデルを実装するために使用されるニューラルネットワークを代表し得る。ニューラルネットワーク７００は、入力層７２０を用いて入力データ７１０を処理する。幾つかの実施例において、入力データ７１０は、１つ以上のモデルに提供される入力データ、及び／又は１つ以上のモデルを訓練するために用いられるプロセス中の更新時に１つ以上のモデルに提供される訓練データに対応してもよい。入力層７２０は、スケーリング、範囲制限等によって入力データ７１０を調整するために用いられる複数のニューロンを含む。入力層７２０の各ニューロンは、隠れ層７３１の入力に供給される出力を生成する。隠れ層７３１は、入力層７２０からの出力を処理する複数のニューロンを含む。幾つかの実施例において、隠れ層７３１のニューロンのそれぞれが出力を生成し、次いでその出力が、隠れ層７３９で終わる１つ以上の追加の隠れ層を介して伝播される。隠れ層７３９は、以前の隠れ層からの出力を処理する複数のニューロンを含む。隠れ層７３９の出力は、出力層７４０に供給される。出力層７４０は、スケーリング、範囲制限等によって隠れ層７３９からの出力を調整するために用いられる１つ以上のニューロンを含む。ニューラルネットワーク７００のアーキテクチャは代表的なものに過ぎず、１つの隠れ層のみを有するニューラルネットワーク、入力層及び／又は出力層なしのニューラルネットワーク、リカレント層を有するニューラルネットワーク等を含む、他のアーキテクチャが可能であることを理解すべきである。

幾つかの実施例では、入力層７２０、隠れ層７３１～７３９、及び／又は出力層７４０のそれぞれは、１つ以上のニューロンを含む。幾つかの実施例では、入力層７２０、隠れ層７３１～７３９、及び／又は出力層７４０のそれぞれは、同じ数又は異なる数のニューロンを含み得る。幾つかの実施例において、ニューロンのそれぞれは、式１に示されるように、その入力ｘの組み合わせ（例えば、訓練可能な重み行列Ｗを使用した加重和）を取り、任意選択の訓練可能なバイアスｂを加え、活性化関数ｆを適用して、出力ａを生成する。幾つかの実施例において、活性化関数ｆは、線形活性化関数、上限及び／又は下限を有する活性化関数、対数シグモイド関数、双曲線タンジェント関数、整流線形単位関数等であってもよい。整流線形単位（ＲｅＬＵ）活性化関数などの活性化関数は、同様に、非線形でもよい。幾つかの実施例において、ニューロンのそれぞれは、同じ又は異なる活性化関数を有してもよい。
ａ＝ｆ（Ｗｘ＋ｂ）．．．．．．．．．．．．．．．．．．．．．（１）

幾つかの実施例において、ニューラルネットワーク７００は、入力データとグラウンドトゥルース（例えば、予期された）出力データ（例えば、過去に患者のためにＥＣＰによって選択されたレンズ製品等）との組み合わせを含む訓練データ（例えば、患者のバイオメトリックデータ等）の組み合わせである、教師あり学習を用いて訓練されてもよい。入力データ７１０用の入力データを用いて生成されたニューラルネットワーク７００の出力と、グラウンドトゥルース出力データと比較したニューラルネットワーク７００によって生成された出力データ７５０との差。生成された出力データ７５０とグラウンドトゥルース出力データとの間の差は、次いで、ニューラルネットワーク７００にフィードバックされて、様々な訓練可能な重み及びバイアスを補正してもよい。幾つかの実施例において、確率的勾配降下アルゴリズム等を使用する逆伝播技術を用いて、その差をフィードバックしてもよい。幾つかの実施例において、訓練データの組み合わせの多数のセットが、全体的な損失関数（例えば、各訓練の組み合わせの差に基づく平均二乗誤差）が許容レベルに収束するまで、ニューラルネットワーク７００に複数回提示されてもよい。

例示的な実施形態が示され、説明されてきたが、前述の開示では広範囲の修正、変更、及び置換が想定されており、場合によっては、実施形態の幾つかの特徴は、他の特徴の対応する使用なしに利用されてもよい。当業者であれば、多くの変形、代替、及び修正を認識するであろう。従って、本発明の範囲は、以下の特許請求の範囲によってのみ限定されるべきであり、特許請求の範囲は、本明細書に開示される実施形態の範囲と一致する方法で広く解釈されることが適切である。

Claims (20)

1. システムであって、
   非一時的メモリと、
   １つ以上のハードウェアプロセッサであって、前記非一時的メモリと結合され、且つ前記非一時的メモリから命令を読み取って前記システムに、
   光コヒーレンストモグラフィ（ＯＣＴ）画像を取得することと、
   エッジ検出アルゴリズム又は手作業の注釈に基づいて、前記ＯＣＴ画像内のエッジを決定することと、
   前記ＯＣＴ画像に基づいて、複数の画像タイルを生成することと、
   前記複数の画像タイルの少なくとも１つの画像タイルを操作することによって、複数のさらなる画像タイルを生成することと、
   前記複数の画像タイル及び複数のさらなる前記画像タイルに基づいて、ＯＣＴ画像内のエッジを予測するための機械学習モデルを訓練することと、
   を含む動作を行わせるように構成された１つ以上のハードウェアプロセッサと、
   を含むシステム。
2. 少なくとも１つの前記画像タイルの前記操作が、少なくとも１つの前記画像タイルを回転させること、又は少なくとも１つの前記画像タイルを軸に沿って反転させることの少なくとも一方を含む、請求項１に記載のシステム。
3. 複数のさらなる前記画像タイルが、少なくとも１つの前記画像タイルを０度、９０度、１８０度、及び２７０度で回転させることに対応した画像タイルを含む、請求項２に記載のシステム。
4. 複数のさらなる前記画像タイルが、少なくとも１つの前記画像タイルを垂直軸又は水平軸の少なくとも一方に沿って反転させることに対応した画像タイルを含む、請求項２に記載のシステム。
5. 前記エッジ検出アルゴリズムが、グラフ検索アルゴリズムを含む、請求項１に記載のシステム。
6. 前記機械学習モデルが、深層畳み込みニューラルネットワークを含む、請求項１に記載のシステム。
7. 前記動作が、前記訓練された機械学習モデルを使用して、第２のＯＣＴ画像内のエッジを予測することをさらに含む、請求項１に記載のシステム。
8. 方法であって、
   生体医学画像を取得することと、
   エッジ検出アルゴリズムに基づいて、前記生体医学画像内の異なる組織の境界を決定することと、
   前記生体医学画像に基づいて、第１の複数の画像タイルを生成することと、
   前記第１の複数の画像タイルの少なくとも１つの画像タイルを操作することによって、第２の複数の画像タイルを生成することと、
   １つ以上のハードウェアプロセッサによって、前記第１の複数の画像タイル及び前記第２の複数の画像タイルに基づいて、生体医学画像をセグメント化するための機械学習モデルを訓練することと、
   を含む方法。
9. 前記決定された境界が、前記生体医学画像内の目の前部角膜層に対応する、請求項８に記載の方法。
10. 前記第１の複数の画像タイルの前記生成が、前記生体医学画像を画像パッチに分割することを含む、請求項８に記載の方法。
11. 前記生体医学画像の１つ以上の特性を解析することをさらに含み、前記生体医学画像が、前記解析に基づいて、前記第１の複数の画像タイルに分割される、請求項１０に記載の方法。
12. 前記第１の複数の画像タイルの前記生成が、
    前記生体医学画像の複数の異なる部分を解析することと、
    前記複数の異なる部分から、関連性閾値を超える前記生体医学画像の部分のサブセットを選択することと、
    を含む、請求項８に記載の方法。
13. 前記複数の異なる部分の前記解析が、前記複数の異なる部分からの前記生体医学画像の一部が前記エッジ検出アルゴリズムによって決定された境界を含むか否かを決定することを含む、請求項１２に記載の方法。
14. 前記第２の複数の画像タイル中の少なくとも２つの画像タイルが部分的にオーバーラップする、請求項８に記載の方法。
15. 機械読取可能命令を格納した非一時的機械読取可能媒体であって、前記機械読取可能命令は、機械に、
    光コヒーレンストモグラフィ（ＯＣＴ）画像を取得することと、
    少なくとも部分的にエッジ検出アルゴリズムに基づいて、前記ＯＣＴ画像を解析することと、
    前記ＯＣＴ画像の前記解析に基づいて、第１の複数の画像タイルを生成することと、
    前記第１の複数の画像タイルの少なくとも１つの画像タイルを操作することによって、第２の複数の画像タイルを生成することと、
    前記第１の複数の画像タイル及び前記第２の複数の画像タイルに基づいて、ＯＣＴ画像をセグメント化するための機械学習モデルを訓練することと、
    を含む動作を行わせるように実行可能である、非一時的機械読取可能媒体。
16. 前記ＯＣＴ画像の前記解析が、前記ＯＣＴ画像内のエッジを識別することを含む、請求項１５に記載の非一時的機械読取可能媒体。
17. 前記動作が、
    前記第１の複数の画像タイル中の各画像タイル内で識別された幾つかのエッジを決定することと、
    各画像タイル内で識別された前記幾つかのエッジに基づいて、前記第２の複数の画像タイルを生成するために、前記第１の複数のタイルから少なくとも１つの前記画像タイルを選択することと、をさらに含む、請求項１６に記載の非一時的機械読取可能媒体。
18. 少なくとも１つの前記画像タイルの前記操作が、少なくとも１つの前記画像タイルを回転させること、又は少なくとも１つの前記画像タイルを軸に沿って反転させることの少なくとも一方を含む、請求項１５に記載の非一時的機械読取可能媒体。
19. 前記第２の複数の画像タイルが、少なくとも１つの前記画像タイルを０度、９０度、１８０度、及び２７０度で回転させることに対応した画像タイルを含む、請求項１８に記載の非一時的機械読取可能媒体。
20. 前記第２の複数の画像タイルが、少なくとも１つの前記画像タイルを垂直軸又は水平軸の少なくとも一方に沿って反転させることに対応した画像タイルを含む、請求項１８に記載の非一時的機械読取可能媒体。

Images