JP6842481B2

JP6842481B2 - 深層学習を用いた網膜層の３ｄ定量解析

Info

Publication number: JP6842481B2
Application number: JP2019028718A
Authority: JP
Inventors: マオ・ツァイシン; ワング・ゼングォ; チャン・キンプイ; 福間　康文; 康文福間
Original assignee: Topcon Corp
Current assignee: Topcon Corp
Priority date: 2018-02-21
Filing date: 2019-02-20
Publication date: 2021-03-17
Anticipated expiration: 2039-02-20
Also published as: US20190259163A1; US10878574B2; JP2019192215A; EP3530176B1; DE19158556T1; EP3530176A1

Description

関連出願の相互参照
本願は、2018年２月21日に出願された“3D QUANTITATIVE ANALYSIS OF RETINAL LAYERS WITH DEEP LEARNING（深層学習を用いた網膜層の３Ｄ定量解析）”と題する米国仮特許出願第62/633,363に基づく優先権を主張し、その全体が参照により本明細書に援用される。

本開示は、深層学習アルゴリズム及び人工知能を用いた生理学的画像の定量解析に関する。より具体的に、本開示は、眼科用光干渉断層法（ＯＣＴ）画像における網膜層の特定及び解析に関する。

現在のＯＣＴシステム（１μｍのスペクトル範囲領域の光源を使用するものなど）は、網膜内における異なる複数の組織層の視覚化を可能にしている。しかしながら、ＯＣＴ技術におけるそのような進歩にもかかわらず、これら異なる層の定量解析は、主として、断面画像内（Ｂスキャン内又はＢフレーム内）における境界検出に依存するセグメンテーション技術に基づいている。

例えば、１つの一般的な境界検出方法は、グラフ探索理論（グラフ検索理論）を利用する。しかし、この方法は、脈絡膜と強膜との間や、神経節細胞層（ＧＣＬ）と内網状層（ＩＰＬ）との間など、いくつかの層の間に関しては、明確な生理学的境界が欠如しているため及び／又はそれらの層が透明であるために、特に困難である可能性がある。他の一般的な方法についても同様の問題が存在する。更に、いくつかのアプローチでは、脈絡膜−強膜界面（ＣＳＩ）を特定するために血管の３Ｄモデルを構築するなどの一連の複雑なステップが使用される。そして、ＣＳＩは「薄板スプライン（thin plate spline）」（ＴＰＳ）アプローチによって構築される。しかし、このアプローチではＣＳＩが連続且つ滑らかであることを仮定するが、生物学的には、これら２つの層の間に明確な物理的境界はない可能性がある。

ここに開示される主題の第１の例によれば、方法は以下を含む：少なくとも２つの訓練画像を用いて機械学習システムを訓練し、ここで、前記少なくとも２つの訓練画像のうちの第１の訓練画像は第１の種類の生理学的組織から得られ、第２の訓練画像は第２の種類の生理学的組織から得られ、前記機械学習システムは前記第１及び第２の種類の生理学的組織の間における前記少なくとも２つの訓練画像の相違を認識するように訓練され；前記訓練された機械学習システムに被検者の生理学的組織の画像を供給し；前記訓練された機械学習システムを用いて、前記画像のピクセルが前記第１の種類の生理学的組織及び／又は前記第２の種類の生理学的組織に属する確率を特定し、ここで、各確率は前記画像のピクセルに対応し；前記特定された確率に基づいて、前記第１及び第２の種類の生理学的組織の間における前記画像内の境界を特定し、又は、前記第１又は第２の種類の生理学的組織の特性を求める。

上記の例の様々な実施形態によれば、以下のいずれかを含む：前記第１の種類の生理学的組織及び前記第２の種類の生理学的組織は、異なる網膜層である；前記第１の種類の生理学的組織は脈絡膜であり、前記第２の種類の生理学的組織は強膜である；前記少なくとも２つの訓練画像は、少なくとも２つの２Ｄ正面画像である；前記少なくとも２つの２Ｄ正面画像は、ボリューメトリックイメージングデータを基準層に関して平坦化することによって生成される；前記基準層はブルッフ膜である；前記少なくとも２つの２Ｄ正面画像は、所定の深度だけ分離されている；前記第１の訓練画像は、訓練画像の第１の３Ｄボリュームから得られ、前記第２の訓練画像は、訓練画像の第２の３Ｄボリュームから得られ、ここで、前記第１の３Ｄボリュームの中心は、前記第２の３Ｄボリュームの中心から得られた所定の個数のピクセルである；モデルに供給された前記画像の前記ピクセルについて確率マップを生成することを更に含み、ここで、前記確率マップの各ピクセルは、前記モデルに供給された前記画像の対応ピクセルの特定された確率を表す；前記画像のＡライン内の複数のピクセルについて特定された複数の確率を所定の閾値と比較することを更に含む；前記Ａライン内の境界ピクセルは、確率が前記所定の閾値以上である第１のピクセルとして特定され、ここで、前記境界ピクセルは、前記特定された境界のピクセルである；前記Ａライン内の境界ピクセルは、ピクセルの集合における第１のピクセルとして特定され、ここで、前記ピクセルの集合における各ピクセルは、前記所定の閾値以上の特定された確率を有する；前記画像内の前記境界は、最短経路探索技術にしたがって特定される；前記画像内の前記境界は、機械学習技術にしたがって特定される；所定の閾値以上である前記被検者の前記画像内の各ピクセルを抽出することを更に含む；前記抽出されたピクセルは３Ｄボリュームを形成し、前記方法は前記抽出されたピクセルによって形成された前記３Ｄボリュームを表示することを更に含む；前記画像は、３Ｄボリュームの画像の一部であり、ここで、前記３Ｄボリュームの複数の画像は、前記訓練された機械学習システムに供給され、且つ、特定された前記第１及び第２の種類の生理学的組織間の境界、又は、求められた前記第１及び第２の種類の生理学的組織の特性を有する；前記第１の訓練画像と前記第２の訓練画像との間の相違は、前記第１の種類の生理学的組織と前記第２の種類の生理学的組織との間におけるテクスチャの相違である；前記機械学習システムが訓練される前に前記第１又は第２の訓練画像に前処理を施すことを更に含む；前記訓練された機械学習システムに前記画像を供給する前に前記被検者の生理学的組織の画像を前処理を施すことを更に含む。

撮影された対象物からの３Ｄボリュームデータの例を示す。

本明細書に記載された方法の第１の例示的な実施形態のフローチャートを示す。

網膜の異なる複数の層からの複数の正面訓練画像の例を示す。

機械学習システムを訓練するための「２Ｄ逐次的アプローチ」を示す。

機械学習システムを訓練するための「３Ｄアプローチ」を示す。

学習済みの機械学習システムを用いて入力された３Ｄボリュームデータを解析するための「２Ｄアプローチ」及び結果として生じる確率マップを示す。

学習済みの機械学習システムによって生成されたＢスキャン確率マップの例を示す。

Ｂスキャン確率マップの閾値解析の例を示す。

機械学習システムを使用する「２Ｄアプローチ」にしたがって求められた比較のための確率マップを示す。機械学習システムを使用する「２Ｄ逐次的アプローチ」にしたがって求められた比較のための比較確率マップを示す。機械学習システムを使用する「３Ｄアプローチ」にしたがって求められた比較のための確率マップを示す。

従来の技術にしたがって求められた比較のための脈絡膜−強膜界面を示す。「２Ｄアプローチ」にしたがって機械学習システムから出力された確率データから求められた比較のための脈絡膜−強膜界面を示す。「２Ｄ逐次的アプローチ」にしたがって機械学習システムから出力された確率データから求められた比較のための脈絡膜−強膜界面を示す。「３Ｄアプローチ」にしたがって機械学習システムから出力された確率データから求められた比較のための脈絡膜−強膜界面を示す。

抽出された３Ｄ脈絡膜ボリューメトリック画像の例を示す。

網膜の神経節細胞層（ＧＣＬ）と内網状層（ＩＰＬ）との間の境界の標識を示す。

上記の欠点を考慮して、本開示は、異なる構造層のテクスチャの見た目が異なるという認識に部分的に基づく。更に、これらの相違は、深層学習アルゴリズム及び人工知能を用いた機械学習ベースの技法を用いて解析及び分類することができる。したがって、本開示は、３次元における定量解析のための機械学習の使用に関する。より具体的には、本開示は、網膜構造／層に関する光コヒーレンストモグラフィ（ＯＣＴ）３Ｄイメージングボリュームデータのそのような解析に関する。しかしながら、この方法は、任意のイメージングモダリティによって撮影された構造体の任意の層（例えば、生理学的構造体の任意の組織層）の画像に適用できることが理解されるべきである。

３Ｄボリュームデータ１００の例を図１に示す。一例としてのＯＣＴ及び図１の３Ｄ座標系を使用すると、撮影されている対象物のｘｙ位置それぞれにおいてｚ方向に入射光が照射されて、ボリュームデータ１００が取得される。次に、３Ｄ座標系に関して、ｘｙ位置それぞれにおける入射光について得られたデータを、本明細書では「Ａライン」又は「Ａスキャン」と呼ぶ；（２Ｄ画像を形成する）ｙｚ平面又はｘｚ平面におけるＡラインの集合を、本明細書では「Ｂスキャン」又は「Ｂフレーム」１０２（特定のｘ位置におけるｙｚＢスキャン）、「Ｂスキャン」又は「Ｂフレーム」１０４（特定のｙ位置におけるｘｚＢスキャン）と呼ぶ；特定のｚ深度におけるｘｙ平面内の２Ｄ画像、又は（例えば、範囲内の全ての深度にわたって値を平均化することにより、又は他の何らかの統計的演算を実行することによる）或る深度範囲にわたるｘｙ平面内の投影を、本明細書では「正面（en face）」、「投影（projection）」、又は「平坦化された（flattened）」画像１０６と呼ぶ。或る深度範囲にわたって正面画像が形成される場合、その範囲は、、例えば、ブルッフ膜（ＢＭ）、脈絡膜、又は強膜のような、特定された層に対して定義されてもよい。

簡単に言うと、本開示によれば、多層物体の異なる複数の層の間のテクスチャの相違を識別するように機械学習モデルが訓練される。フル（全）３Ｄ空間内のデータで訓練することにより、結果として得られるモデルは、３Ｄ画像内の各ピクセルが或る層に属する確率を予測することができる。得られた確率マップを用いて、境界データ及びボリュームデータなどの有用な情報を抽出することができる。言い換えると、機械学習システムの出力は、特定のピクセルが特定の層に属する確率であってもよい。そして、確率を比較することにより、これら層の間の境界を決定すること、及び／又は、これら層の他の特性を求めることが可能になる。これの第１の例示的な実施形態が図２に示されている。

図２に示されているように、上述のテクスチャ解析を実行するために使用される機械学習システム（例えば、深層学習モデル）は、まず、異なる複数の層（例えば、脈絡膜と強膜）のテクスチャを区別するために訓練される（２００）。この訓練は、３Ｄイメージングボリュームデータから抽出された情報に基づく。訓練に使用される画像は、特定の物体（例えば、ヒト網膜）の関心対象の層（例えば、所望の境界標識の両側にある層）について取得される。これらの画像は、任意のデータセットから取得することができ、学習済みの機械が最終的に解析する被検者から取得する必要は特にない。一般に、層は深度に対して最も変化するので、訓練のためには、上述のように基準平面又は基準層（例えば、ブルッフ膜）に対して平坦化することが可能な正面２Ｄ−ＯＣＴ画像を使用することが好ましい。もちろん、関心対象の異なる複数の層のテクスチャに機械学習システムが適用される限り、任意のモダリティ及び／又は平面からの画像を使用することができる。

図３は、脈絡膜３０２（網膜の関連するＢスキャンで示される）を表す例示的な複数の正面訓練画像３００及び強膜３０６の複数の画像３０４を示す。訓練中に、これらの画像３００、３０４は、既知の対応する層とともに機械学習システムに入力される。これにより、学習済みの機械は、訓練された画像のテクスチャをそれに対応する層に関連付けることができるようになる。図３に示されている層からの画像を用いた訓練は、機械学習システムに入力された画像のピクセルが脈絡膜又は強膜に属するかどうかを特定し、続いて脈絡膜−強膜境界を特定するように、機械学習システムを訓練させるために使用される。いくつかの実施形態では、機械学習システムに入力する前に、ノイズ低減やコントラスト向上のための前処理を訓練画像３００、３０４のいずれか又は全てに対して施してもよい。

訓練の実施形態に応じて、訓練画像は、機械学習システムによる訓練のために多くの異なる形態で入力され、処理されてもよい。例えば、本明細書で使用されている「２Ｄアプローチ」は、層を表す正面画像を独立的に処理することを意味する。言い換えれば、２Ｄアプローチでは、正面訓練画像の各ピクセルについて、単一の２Ｄ正面画像内の情報のみを使用して機械学習システムを訓練することによって、対応する層の決定を行う。したがって、機械学習システムは、そのピクセルのみを、対応する層に関連付ける。

図４は、「２Ｄ逐次的アプローチ」を示す。２Ｄ逐次的アプローチでは、（ボリュームを形成する）複数の正面画像を使用して機械学習システムを訓練することで、基準正面画像内のピクセルの層指定を判断する。図４の例では、２Ｄアプローチの場合のように個別の正面画像を考慮するのではなく、１０枚の正面画像（例えば、５１２×２５６×１０のボリューム）を有するボリューム４００が機械学習システムの訓練に用いられる。図示のように、１０枚の正面画像は１０個のピクセルの深度に対応し、各ピクセル深度は異なる正面画像４０２〜４２０によって表される。しかしながら、ボリュームは任意のサイズのものであってよく、正面画像は１ピクセルを超える深度にわたる投影であってよい。ボリューム４００を用いて、機械学習システムは、最初に、１０枚のうちの１枚の正面画像のピクセルの層指定の判断を学習する。他の９枚の画像は、改善のための追加情報を提供する。より具体的には、機械学習システムは、ボリュームの複数の画像から所定の順序にしたがって一度に１枚の正面画像を処理することで、ボリュームにわたるテクスチャの変化を認識する。追加情報は、ボリューム内の関心対象の基準画像の上方及び／又は下方の正面画像からのものであってよい。

例えば、ボリューム４００における最も外側の画像４０２を基準とすると、機械学習システムは、ボリューム４００内の追加画像それぞれを通じて内方に進むにつれて、対応するＸＹ位置におけるピクセルへの変化を認識するように、学習することができる。同様に、基準画像がボリュームの中間にある場合（例えば、層４１２にある場合）、機械学習システムは、ボリューム内の外向き画像及び／又はボリューム内の下向き画像に注目することによって、基準画像の上方及び／又は下方のピクセルの変化を認識するように、学習することができる。そうすることで、テクスチャ変化率などのｚ軸（深度）に沿った追加情報が、機械学習システムの訓練中に取得され、処理される。画像内のピクセルがどの層に属するかを予測する際の精度を向上させるために、この情報を役立てることができる。

「３Ｄアプローチ」として本明細書に記載されている他の訓練の実施形態が図５に示されている。３Ｄアプローチは、上記の２Ｄ逐次的アプローチに類似している。しかしながら、２Ｄ逐次的アプローチのようにボリュームの２Ｄ画像を一度に１枚ずつ処理するのではなく、３Ｄボリュームの全ての２Ｄ画像が同時に考慮されるものであり、また、複数の３Ｄボリュームが考慮されてもよい。これにより、機械学習システムは、より大きい３Ｄボリュームデータの異なる深度から取得された複数の３Ｄボリューム内のテクスチャ変化を認識するように学習することができる。

例えば、図５は、基準層５１４に対する複数の正面画像５０２〜５１２によって表される大きい３Ｄボリューム５００の一部を示す。これらの正面画像は、単一の深度における画像であってもよいし、或る深度範囲にわたって平坦化された画像であってもよく、したがってボリューム５００内のサブボリュームを表してもよい。これらの正面画像は、逐次的（順次的、一連のもの）であってもよく、又は特定の所定の深度（例えば、５ピクセル）だけ離れていてもよい。他の実施形態では、３Ｄボリューム５００は、複数のサブボリュームによって直接的に表現されてもよい。ここで、各サブボリュームは、特定の所定の距離（例えば、５ピクセル）だけ離れた中心深度を有する。この場合、複数の層５０２〜５１２は、６つのサブボリュームのそれぞれの中心深度における正面画像を表していてよい。いずれにせよ、基準層５１４は、機械学習システムが訓練されている境界に対応していてよい。したがって、ＣＳＩの上記の例を使用する場合、基準層５１４の上方にある正面画像又はサブボリューム５０２〜５０６は、脈絡膜を表すものとして訓練目的のために特定されてよい；更に、基準層５１４の下方にある正面画像又はサブボリューム５０８〜５１２は、強膜を表すものとして訓練目的のために特定されてよい。

次に、これら正面画像又はサブボリューム５０２〜５１２（又はそれらの組み合わせ）のそれぞれは、訓練のために機械学習システムによって一緒に処理されてよく、それにより、システムは、ボリューム５００全体にわたる変化を認識することを学習することができる。或いは、各サブボリュームは、訓練のために個別に処理されてもよい。このとき、各正面画像は、一緒に処理されたサブボリュームを含む。本明細書で説明及び図示された例は、特定の個数の正面画像及びサブボリュームに関するものであるが、任意の個数を用いてもよく、それらの画像及びサブボリュームは任意の距離だけ分離されてよい。

図２に戻って参照すると、３Ｄボリュームデータは、物体／被検者（例えば、被検者の網膜）を画像化することによって取得される（２１０）。図２は、機械学習システムを訓練した後に３Ｄボリュームデータが取得される場合を示しているが、データはいつ取得されてもよい。機械学習システムが（例えば、深層学習モデルとして）訓練されると、この訓練された機械学習システムに取得された３Ｄボリュームデータが入力される（２２０）。訓練画像と同様に、機械学習システムに入力される前に、取得された３Ｄボリュームデータに前処理を施してノイズを低減したりコントラストを向上させたりしてもよい。ピクセル単位で処理を進めることで、機械学習システムは、画像データの各ピクセルが特定の層（例えば、脈絡膜又は強膜）の一部である確率を求め、出力する。次いで、機械学習システムは、（訓練されているように）関心対象の層のボリューメトリック確率マップを生成及び／又は出力することができる（２３０）。ボリューメトリック確率マップは、境界を特定するために後段の処理で使用することができる。言い換えれば、入力された３Ｄボリュームデータからの複数の正面画像又は他の２次元Ｂスキャン画像に着目することによって、機械学習システムは、入力された３Ｄボリューム内の各ピクセルが、システムが認識するように訓練された層のうちの１つに属する確率を求めることができる。これらの確率値は、確率ボリュームマップを生成する（２３０）ために用いることができる。

確率解析を実行させるために学習済みの機械学習モデルに画像を入力するとき、入力される画像は、モデルを訓練するために使用した方法と同じ方法で（同じアプローチにしたがって）入力することが好ましい。したがって、上述した複数の訓練アプローチについては、「２Ｄアプローチ」にしたがって訓練された学習済みの機械が（上述したように）２Ｄ正面画像を取り込む一方、「２Ｄ逐次的アプローチ」及び「３Ｄアプローチ」にしたがって訓練された学習済みの機械は２Ｄ正面画像のスタック（ボリューム）を取り込む。

一例として、図６は、２Ｄアプローチによるそのような解析を示す。それに示されているように、入力された３Ｄボリュームデータからの複数の個々の正面画像６００は、訓練された機械学習システム６２０に入力される。機械学習システム６２０の出力は、ボリューメトリック確率データである。ボリューメトリック確率データは、複数の入力された正面画像６００のそれぞれに対応する複数の正面確率マップ６３０として表現することができる。確率マップ６３０のそれぞれは、その画像内の任意のピクセル（したがって、入力された複数の正面画像６００内の複数の対応するピクセル）が、機械学習システム６２０が認識するように訓練された層のうちの１つの層の内部に存在する可能性が高いかどうかを示す。このステップが実行されている間において、これらの正面画像は平坦化される必要はなく、ＸＹ平面からこれらの正面画像を抽出することができる。図６の例では、確率マップ上のより明るいピクセルは、そのピクセルが強膜からのものである可能性がより高いことを示す。もちろん、他の確率マッピングが用いられてもよい。例えば、より暗いピクセルがより高い確率を表す確率マッピングが用いられてもよいし、又は、確率を色で表現した（例えば、黒が低い確率を示し、赤が高い確率を示し、それらの間の色が中間の確率を示す）確率マッピングが用いられてもよい。

図６は、ボリューメトリック確率データから抽出された正面確率マップ６３０を示しているが、確率データを示す複数のＢスキャンを抽出することも可能である。図１に戻って参照すると、Ｂスキャンは、例えば、ＸＹ平面内の関心領域を通るような、ＸＺ平面又はＹＺ平面内においてｚ方向（深さ）に延びる垂直スライスである。図７は、正面確率マップ６３０から抽出されたＢスキャン確率マップ７００を示す。図７の例では、結果として得られたＢスキャン確率マップ７００もまた強膜の確率を示す。更に、（白い実線で示されている）特定されたブルッフ膜（ＢＭ）７１０に対応する深度より上方の深度における全ての確率はゼロに設定されており、したがって、（例えば、ＣＳＩを特定するために）ＢＭより下方の部分のみが解析される。

再び図２を参照すると、（例えば、ボリュームの各Ｂスキャンにおいて）ボリューメトリックデータに閾値処理技術を適用することによって、更なる解析（例えば、層の間の境界、サイズ、又は他の特性を求めるための解析）を実行することができる（２４０）。一例として、Ｂスキャン内の（及び、各Ｂスキャンに着目ことによってボリューム内の）脈絡膜−強膜界面（ＣＳＩ）は、Ｂスキャン内の各Ａラインについて境界ピクセルを特定することによって検出することができる。この検出は、境界ピクセルが、例えば、或る閾値よりも大きい強膜確率を有するＡライン内の第１のピクセル（又は、その直前のピクセル）として特定されている境界ピクセルを用いて方向性をもって実行することができる（例えば、外側の網膜から内側の網膜への方向で見る；Ｂスキャン画像を上から下への方向で見る）。

より具体的には、図８を参照すると、抽出されたＢスキャン７００内の各Ａラインは、矢印８００によって示されているように、上から下に向けて（外側網膜から内側網膜まで）解析されてもよい。もちろん、上記のように、いくつかの実施形態では、他の方向に解析を進めてもよい。解析が行われている間、（Ｂスキャン確率マップが、ピクセルが強膜からのものである確率を示しているので、図８の例におけるＣＳＩの）境界ピクセル８１０は、例えば、（１）所定の閾値以上の確率を有する第１のピクセルとして特定されるか、又は、（２）それぞれが所定の閾値以上の確率を有する一連のピクセルのうちの第１のピクセルとして特定される。この第２の例に関して、一連のピクセルは任意の所定の長さであってよい。例えば、この長さが５ピクセルである場合、所定の確率閾値を少なくとも有する（上から下に向かって）最初の５つの連続するピクセルが特定され、その一連のピクセルの第１のピクセルとして境界ピクセルが特定される。このようにして、境界ピクセルでないピクセルが閾値負担（threshold burden）を満たすことを引き起こすノイズ又は他のエラーを除去することができる。他の実施形態では、一連のピクセル内の任意のピクセルが、境界ピクセル、層内の第１のピクセル、又は前の層内の最後のピクセルとして特定されてもよい。

他の実施形態では、最短距離技術、機械学習（一般に、人工知能）技術などを用いて境界を特定してもよい。例えば、最短距離技術は、得られたデータの断面又は他の部分集合において最左端のＡラインから最右端のＡラインへの最短経路を見つけることによって境界を特定することができ、又はその逆も可能である。経路長は、ピクセル距離、及び各ピクセルが所与の層に属する確率（例えば、より高い確率がより短い経路をもたらす上記の確率マップからの値）に基づいて求められる。機械学習技術は、前記の確率マップを用いて境界を求めるためにアルゴリズムを訓練させることによって境界を特定することができる。前記の訓練手順が行われている間に、確率マップ及び対応するグラウンドトゥルース（ground truth）境界が機械学習システムに提示され、システムは、予測された境界とグラウンドトゥルース境界との間の差を最小化するように訓練される。機械学習システムは、畳み込みニューラルネットワーク、サポートベクターマシン、決定木、又は任意の他のアーキテクチャであってもよい。もちろん、境界を求めるための追加の技法を用いることも可能である。

なお、上記の方法及びアプローチは、導出された確率に基づいて境界を求めるための単なる例示である。本開示はこれらに限定されるものではなく、機械学習モデルによって生成された確率に基づいて境界を求めるための他の方法が本開示の範囲内で想定されている。更に、画像化された物体の他の特性を求めるために、セグメンテーションのための境界標識を越える追加的な解析が実行されてもよい。例えば、境界解析は、層の上部境界及び下部境界を特定するために適用されてよく、それにより、層のサイズ／深度を特定することが可能である。ボリュームのような３Ｄ特性を求めるために、複数の２Ｄ画像（正面画像又はＢスキャン）に対して更なる３Ｄ解析が実行されてもよい。更なる解析は、２Ｄ領域にわたるこれらの特性の変化（例えば、関心対象のＸＹ領域にわたる層の深度の変化）を考慮することができる。追加的な解析は、後処理、特定された境界の平滑化などを含んでもよい。

最後に、図２を参照すると、特定された境界を示すＢスキャン、３Ｄボリューメトリック画像、更なる処理に関連するデータなどは、出力又は表示されてよく（２５０）、或いは、後の使用及び／又は更なる解析のために保存されてよい。これらの表示の例は、例えば、図９〜１２に関して、より詳細に示され、論じられている。

以上は強膜及び脈絡膜に関する記載であり、ＣＳＩを特定するために上から下に向かって（脈絡膜から強膜まで）解析しているが、別の方向で解析を行ってもよいことを再度記しておく。例えば、各ピクセルが脈絡膜に属する確率に関連する確率マップは、脈絡膜内の第１のピクセルを特定するために下から上に向かって（強膜から脈絡膜まで）解析することができる。これも同様にＣＳＩを表すであろう。これらの異なるタイプの解析は、学習済みの機械がそのテクスチャを特定するように訓練された任意の構造に対する任意の境界に実行されてもよい。

図９Ａ〜Ｃ及び図１０Ａ〜Ｄは、上述したような機械学習システムを使用する「２Ｄアプローチ」、「２Ｄ逐次的アプローチ」、及び「３Ｄアプローチ」に基づく、確率マップ及び結果として得られた脈絡膜−強膜界面標識を求めるための比較結果を示す。図９に見られるように、同じ関心位置からの３つのＢスキャン確率マップが示され、各マップは異なるアプローチにしたがって求められている。上述したように、２Ｄアプローチ（図９Ａ）では、Ａライン内の各ピクセルが個別に解析されるので、各ピクセルの確率を求める際により多くの変化の影響を受けやすい。したがって、２Ｄアプローチに対応する確率マップは比較的多くのノイズを呈する。一方、２Ｄ逐次的アプローチ（図９Ｂ）及び３Ｄアプローチ（図９Ｃ）は、より滑らかであり、強膜中の各ピクセルについて高い確率を示すことによって、強膜全体をより厳密に特定している。同様に、図１０Ａ〜Ｄに示されている、結果として得られた脈絡膜−強膜界面標識は、２Ｄアプローチ（１０１０、図１０Ｂ）に比べて比較的ノイズが多いが、従来のセグメンテーション及び平滑化技術（１０００、図１０Ａ）にしたがって特定された同じ界面の近くにとどまっている。２Ｄ逐次的アプローチ（１０２０、図１０Ｃ）及び３Ｄアプローチ（１０３０、図１０Ｄ）も同様に、従来のセグメンテーションアプローチ（１０００、図１０Ａ）と同様の特定された界面をもたらすが、より連続的な境界標識を提供していると言える。

図１１は、網膜の各層を含む元のボリューム１１１０から抽出された脈絡膜１１００の３Ｄボリューメトリック画像の例を示す。元のボリューム１１１０は、学習済みの機械学習システムに入力されたデータとして用いられ、それから脈絡膜の確率が出力された。そして、脈絡膜１１００は、脈絡膜の確率を解析することによって機械学習システムから抽出された。より具体的には、３Ｄボリューム１１１０全体にわたって、所定の閾値を超える層確率を有するピクセルを選択することによって（又は、前記確率を使用する任意の類似の方法によって）、特定の層（又は複数の層）の３Ｄボリューム（例えば脈絡膜１１００）が、より大きい３Ｄボリューム１１００から抽出されることも可能である。言い換えれば、単に境界ピクセルを特定するのではなく、特定の層に属する全てのピクセルが特定される。

上述のように、本開示は脈絡膜及び強膜を具体的に説明しているが、本開示は任意の層及び任意の境界に適用可能である。図１２は、例えば、本明細書の説明にしたがった、神経節細胞層（ＧＣＬ）と内網状層（ＩＰＬ）との間の境界標識を示す。そのような用途では、機械学習システムは、上記のような脈絡膜及び強膜ではなく、ＧＣＬ及びＩＰＬのテクスチャを特定するように訓練される。ＧＣＬの正面画像１２１０及びＩＰＬの正面画像１２２０は、各層におけるテクスチャの相違を提示するために示されている。結果として得られた求められた境界標識１２３０は、Ｂスキャン１２００上に示されている。更に他の例では、黄斑（例えば、網膜神経節細胞層）領域ならびに視神経乳頭領域（例えば、篩状板）を特定及び解析することが可能である。

本開示の方法を実行し実施するように構成されたシステムも考えられる。例えば、上記の方法は、上記の解析を実行するようにプログラムされたプロセッサ及びメモリを有するコンピュータ上で実行することができる。コンピュータは、被検者の撮影を実行するコンピュータ（例えば、ＯＣＴ装置）と同じもの又は異なるものであってよい。コンピュータは、複数の遠隔地（例えば、臨床現場）からアクセス可能な集中型コンピュータであってよい。コンピュータはまた、深層学習システムと同じもの又は異なるものであってよい。

Claims

少なくとも２つの訓練画像を用いて機械学習システムを訓練し、ここで、前記少なくとも２つの訓練画像のうちの第１の訓練画像は第１の種類の生理学的組織から得られ、第２の訓練画像は第２の種類の生理学的組織から得られ、前記機械学習システムは前記第１及び第２の種類の生理学的組織の間における前記少なくとも２つの訓練画像の相違を認識するように訓練され、
前記訓練された機械学習システムに被検者の生理学的組織の画像を供給し、
前記訓練された機械学習システムを用いて、前記画像のピクセルが前記第１の種類の生理学的組織及び／又は前記第２の種類の生理学的組織に属する確率を特定し、ここで、各確率は前記画像のピクセルに対応し、
前記特定された確率に基づいて、前記第１及び第２の種類の生理学的組織の間における前記画像内の境界を特定し、又は、前記第１又は第２の種類の生理学的組織の特性を求め、
前記少なくとも２つの訓練画像は、少なくとも２つの２Ｄ正面画像であり、
前記少なくとも２つの２Ｄ正面画像は、ボリューメトリックイメージングデータを基準層に関して平坦化することによって生成される、
方法。
前記基準層はブルッフ膜である、
請求項１の方法。
少なくとも２つの訓練画像を用いて機械学習システムを訓練し、ここで、前記少なくとも２つの訓練画像のうちの第１の訓練画像は第１の種類の生理学的組織から得られ、第２の訓練画像は第２の種類の生理学的組織から得られ、前記機械学習システムは前記第１及び第２の種類の生理学的組織の間における前記少なくとも２つの訓練画像の相違を認識するように訓練され、
前記訓練された機械学習システムに被検者の生理学的組織の画像を供給し、
前記訓練された機械学習システムを用いて、前記画像のピクセルが前記第１の種類の生理学的組織及び／又は前記第２の種類の生理学的組織に属する確率を特定し、ここで、各確率は前記画像のピクセルに対応し、
前記特定された確率に基づいて、前記第１及び第２の種類の生理学的組織の間における前記画像内の境界を特定し、又は、前記第１又は第２の種類の生理学的組織の特性を求め、
前記第１の訓練画像は、訓練画像の第１の３Ｄボリュームから得られ、前記第２の訓練画像は、訓練画像の第２の３Ｄボリュームから得られ、ここで、前記第１の３Ｄボリュームの中心は、前記第２の３Ｄボリュームの中心から得られた所定の個数のピクセルである、
方法。