JP2023549096A

JP2023549096A - 深層学習を使用する生体眼球測定

Info

Publication number: JP2023549096A
Application number: JP2023526361A
Authority: JP
Inventors: ディミトリアンゲロプロスロバート; スタンフィルブライアン
Original assignee: アルコンインコーポレイティド
Priority date: 2020-11-14
Filing date: 2021-10-14
Publication date: 2023-11-22
Also published as: CA3195928A1; WO2022101710A1; US20220151482A1; EP4244831A1; CN116348923A; AU2021377491A1

Abstract

人の眼の生体ランドマーク寸法測定値を推定するための方法は、可能な実施形態では、ホストコンピュータを介して人の眼の１つ以上の画像を受信することを含む。方法は、１つ以上の画像を受信することに応じて、深層学習アルゴリズムを使用して、ホストコンピュータを介して１つ以上の画像内のランドマーク点位置の予備セットを生成することと、次いで、ホストコンピュータのポストホック処理ルーチンを使用してランドマーク点位置の予備セットを精緻化し、それによって推定ランドマーク点位置の最終セットを生成することと、を含む。加えて、生体ランドマーク寸法測定値は、推定ランドマーク点位置の最終セットを使用して、ホストコンピュータを介して自動的に生成される。次いで、推定ランドマーク点位置のセットを含むデータセットが出力される。メモリからの命令を実行して本方法を実施するホストコンピュータ。

Description

本開示は、正確な患者の生体測定値、特に人の眼の解剖学に関連する測定値を導出するための、自律的な人工知能ベースの方法及び関連システムに関する。生体測定は、生体測定値の収集されたセットに対して規律ある統計的分析を適用する処理である。眼科に関連して、生物学的データには、患者の眼の内部構造の詳細な解剖学的測定値が含まれる。したがって、患者の生体測定は、屈折矯正手術、眼内レンズの選択及び挿入、網膜手術、並びに他の手術又は診断処置のそれぞれの術前及び術後段階に付随する重要な術前及び術後の要素である。

歴史的に、人の眼の状態の診断は、非侵襲的な画像技術に依存しており、超音波生体顕微鏡（ＵＢＭ）及び光干渉断層計（ＯＣＴ）が現代医学において普及している。ＵＢＭに関して、この画像化技術は、従来の超音波走査周波数（例えば５０～１００ＭＨｚ）に対してより高い周波数領域の超音波エネルギーを使用して、眼の前眼部を画像化するために一般的に使用される。これに対して、ＯＣＴは、低コヒーレンスで細長い光波を眼内に方向づけて、黄斑及び視神経などの眼底構造を画像化する干渉法である。ＵＢＭ、ＯＣＴ、又は患者の眼の他の画像の収集時、施術者は、画像内の関連するランドマーク特徴を履歴的にマークし、その間の距離を測定する。画像内の画素間距離は、ミリメートルなどの有意なスケールに変換され得る。注釈付き画像はその後、患者の眼球の解剖学的構造を評価する際に、並びに眼の手術を実行する前後に頼りにされる。

本明細書に開示されるものは、人の眼の画像においてランドマーク特徴を検出し、その後、そのようなランドマーク特徴間のランドマーク寸法を推定するための非侵襲的な高速評価方法及び関連システムである。本教示は、本明細書に記載されるような例示的な畳み込みニューラルネットワーク（ＣＮＮ）などの、深層学習人工知能（ＡＩ）技術に依存するが、必ずしもこれらに限定されない。本アプローチは、１つ以上の入力画像及び本明細書に記載されたＡＩに基づく画像処理技術を使用して自律的な方式で動作し、患者の生体測定を実行する従来の方法に対して、高い信頼性、再現性、及び正確な方法で眼内寸法のデータセットを生成する。

当技術分野において理解されるように、術前の手術計画及び術後の治療計画には、特定のランドマーク寸法に関する正確な知識が必要である。一般に眼の手術には、前房深度、水晶体厚さ、水晶体直径、又は他の重要な眼内寸法の測定値が必要となり得る。ランドマーク寸法を測定するための従来のアプローチには、手動でのボックス閾値の使用、及び患者の眼の所定の画像に対する寸法データのハードコーディングが含まれる。そのようなアプローチは、外科医独自のスキルセットに大きく依存する傾向があり、精度、速度、再現性の点で最適でない場合がある。

既存の技術とは異なり、本開示のＡＩが生成した結果は、次いで、古典的な画像処理技術を使用してリアルタイムで精緻化されて、特に眼の軸方向領域での最終的な寸法推定値におけるノイズを低減する。精緻化されたランドマーク位置間の距離は、画像サイズによってスケーリングされてもよく、最終的に、人の介入を必要とすることなく、関心のある測定値の正確な推定値を提供する。ユーザは、任意選択的に、いくつかの実施形態においてホストコンピュータとインターフェースして、予測結果をユーザの好み又は専門的判断に対してカスタマイズするように深層学習／ＡＩベースの予測を調整することができる。

本明細書に開示される例示的な実施形態では、人の眼の生体ランドマーク寸法測定値を推定するための方法は、ホストコンピュータを介して人の眼の１つ以上の画像を受信することを含む。１つ以上の画像を受信することに応じて、方法は、深層学習アルゴリズムを使用して、ホストコンピュータを介して１つ以上の画像内のランドマーク点位置の予備セットを生成することを含み得る。方法はまた、ホストコンピュータのポストホック処理ルーチンを使用してランドマーク点位置の予備セットを精緻化し、それによって推定ランドマーク点位置の最終セットを生成することを含む。この代表的な実施形態の一部として、方法は、推定ランドマーク点位置の最終セットを使用して、ホストコンピュータを介して生体ランドマーク寸法測定値を自動的に生成し、次いで、推定ランドマーク点位置のセットを含むデータセットを出力することを含み得る。

本方法は、ホストコンピュータと通信している画像化デバイスから、人の眼の１つ以上の画像を受信することを含み得る。非限定的な実装態様では、画像化デバイスは、限定されないが、超音波生体顕微鏡（ＵＢＭ）デバイス又は光干渉断層計（ＯＣＴ）デバイスであり得る。

例示的な構成における深層学習アルゴリズムは、畳み込みニューラルネットワーク（ＣＮＮ）であり得る。そのような実施形態では、ランドマーク点位置の予備セットを生成することは、ＣＮＮを介して１つ以上の画像を処理することを含み得る。ポストホック処理ルーチンを使用してランドマーク点位置の予備セットを精緻化することは、ランドマーク点位置の予備セット内の少なくとも１つのランドマーク点位置を強調するために、画像画素強度、コントラスト、及び／又はシャープネスレベルを精緻化することを含み得る。

本開示のいくつかの態様では、推定ランドマーク点位置の最終セットを使用して、ホストコンピュータを介して生体ランドマーク寸法測定値を自動的に生成することは、推定ランドマーク点位置の最終セットにおける異なる推定ランドマーク点位置間のそれぞれの直線距離を自動的に測定することを含み得る。直線距離は、他の可能な眼内寸法の中でも、人の眼の前房深度、水晶体直径、及び水晶体厚さのうちの１つ以上に対応し得る。

推定ランドマーク点位置のセットを含むデータセットを出力することは、線形距離を含む人の眼の注釈付き画像を表示及び／若しくは印刷すること、並びに／又は線形距離を含むデータテーブルを表示及び／若しくは印刷することを含み得る。

また、眼の生体ランドマーク寸法測定値を推定するように構成されたホストコンピュータが本明細書に開示されている。ホストコンピュータは、深層学習アルゴリズム用の命令が記録又は記憶されたメモリと、画像化デバイスと通信する入力／出力（Ｉ／Ｏ）回路と、プロセッサと、を含む。画像化デバイスは、いくつかの実施形態では、ホストコンピュータの一体型部分であり得る。プロセッサによる命令の実行により、ホストコンピュータに、人の眼の１つ以上の画像を受信させ、１つ以上の画像を受信することに応じて、深層学習アルゴリズムを使用して１つ以上の画像内のランドマーク点位置の予備セットを生成させる。実行はまた、プロセッサに、ポストホック処理モジュールを使用してランドマーク点位置の予備セットを精緻化させ、それによって推定ランドマーク点位置の最終セットを生成させて、推定ランドマーク点位置の最終セットを使用して生体ランドマーク寸法測定値を自動的に生成させ、推定ランドマーク点位置のセットを含むデータセットを出力させる。

本開示の上述の特徴及び利点並びに他の可能な特徴及び利点は、本開示を実施するための最良の態様の以下の詳細な説明を添付の図面と併せて読めば容易に明らかとなるであろう。

図１は、本明細書に記載の方法を使用して画像のセットから測定値を導出するための自律的なシステムの概略図である。図２は、例示的な実施形態による本方法のフローチャートである。図３は、様々なランドマーク特徴又は関心点を示している人の眼の代表的な画像である。図４は、本開示による、例示的な畳み込みニューラルネットワークによる処理後の図３の代表的な画像である。図５は、ポストホック処理後の調整されたランドマーク位置を示している、図３及び図４の代表的な画像である。図６は、本開示に従って自動で寸法注釈付けした後の図５の代表的な画像である。

本開示の前述した特徴及び他の特徴は、添付の図面と併せて考慮されると、以下の説明及び添付の請求項からより完全に明らかになるであろう。これらの図面は、本開示によるいくつかの実施形態のみを示しており、且つその範囲を限定するものとみなされるべきではないことを理解した上で、本開示は、添付の図面の使用を通して更なる具体性及び詳細ともに説明される。図面又は本明細書の他の箇所に開示される任意の寸法は、例示の目的のみのものである。

本開示の要素が、本明細書で説明されている。しかしながら、開示される実施形態は単なる例示であり、他の実施形態が様々な代替形態を取り得ることが理解されよう。図面は必ずしも縮尺通りではなく、特定の構成要素の詳細を示すために、いくつかの特徴が誇張又は最小化され得る。したがって、本明細書に開示された特定の構造的及び機能的な詳細は、限定的に解釈されるべきではなく、単に、本開示を様々に採用することを当業者に教示するための代表的な基礎として解釈されるべきである。

以下の説明では、特定の用語が参照のみを目的として使用される場合があり、そのため、それらは、限定を意図するものではない。例えば、「上方」及び「下方」などの用語は、参照される図面内における方向を指す。「前部」、「後部」、「前方」、「後方」、「左」、「右」、「後部」、及び「側部」などの用語は、議論している構成要素又は要素を説明する本文及び関連図面を参照することによって明確になる、一貫しているが、任意の基準系の範囲内での構成要素又は要素の部分の向き及び／又は位置を説明するものである。更に、「第１」、「第２」、「第３」などの用語は、別々の構成要素を説明するために使用され得る。そのような用語には、具体的に上述された語、それらの派生語及び類似の意味の語を含み得る。

図１は、人の患者の眼２２内の所定の寸法を推定するためのシステム２０を概略的に示している。システム２０は、ホストコンピュータ（ホスト）５０と有線又は遠隔で通信する画像化デバイス３０を含み、後者は、画像化デバイス３０からの入力データ（矢印ＡＡ）と協力して深層学習／人工知能（ＡＩ）ベースの方法４０を実行するように構成されている。ホストコンピュータ５０及び画像化デバイス３０は、例示的に明確にするために図１では別々に示されているが、当業者であれば、特定の実施形態では、画像化デバイス３０がホストコンピュータ５０の一体型構成要素又は動作要素を形成するように、画像化デバイス３０がホストコンピュータ５０と統合され得ることを理解するであろう。方法４０の例示的な実施形態が、図２に示され、図３～図６を参照して後述されており、図３～図６は、ホストコンピュータ５０との間の様々な入力、中間データ、及び出力の代表的な実施形態を示している。

本明細書で企図されるような例示的な眼科用又は光学的使用に関連して、図１の画像化デバイス３０は、矢印ＢＢによって示されるように、電磁スペクトルの所定の帯域におけるエネルギーを眼２２に向かって／眼２２内に収集するように構成されている。画像化デバイス３０は、眼２２の内側の解剖学的構造の１つ以上のデジタル画像２４を収集する目的で、この方法で動作する。一方、他の解剖学的構造が、本開示の範囲内で画像化され得る。

当技術分野において理解されるように、眼２２は、脳と連動して視覚を可能にするように作用する。したがって、眼２２は、光刺激を受けて処理し、それによって電気化学的な神経インパルスを発生させて、そのような神経インパルスが最終的に脳によって画像及び／又は色に変換されるように、身体の器官の中でもユニークに構成されている。眼２２がその意図される生物学的機能を果たすために、角膜、水晶体、毛様体筋、小帯、硝子体、黄斑、視神経、網膜、小室、及び他の眼の重要な解剖学的構造が、効果的に機能しなければならない。しかしながら、怪我、年齢、病気、遺伝などの要因により、患者は、視力維持又は強化のために外科的介入を必要とする場合がある。そのような場合、日常的な検査と同様に、施術者は、眼２２の内部の解剖学的な詳細のビューを提供するために画像化デバイス３０を利用することを選択することができる。

この目的のために、図１に示される画像化デバイス３０は、超音波生体顕微鏡（ＵＢＭ）デバイス、光干渉断層計（ＯＣＴ）デバイス、又は画像化デバイス３０の任意の他の医学的に関連する実施形態として、様々に具体化され得る。従来のカラー画像とは異なり、画像化デバイス３０によって提供される医療用画像は、眼２２の明瞭且つ明確な描写ではなく、むしろ独自の収集及び解析専門性を必要とする画素化グレースケール画像である。例示的なＵＢＭ画像２４－１が、後述するような注釈を付加して図３に示されている。図１の画像３４において関心のある特徴又はランドマークを迅速且つ正確に検出するために、したがって、ホストコンピュータ５０は、収集された画像２４を含む入力データＡＡの受信に応じて、深層学習／ＡＩベースの方法４０を実行するようにソフトウェアでプログラムされてハードウェアで装備され、すなわち構成される。

本明細書及び一般的な技術で使用される「深層学習」という用語は、１つ以上のコンピュータ、この場合ではホストコンピュータ５０が、提供された訓練データから直接、特徴及び／又はタスクを学習する機械学習技術である。そのようなデータは、画像、テキスト、及び／又は音声データの形態であり得る。機械学習の実装形態は、ニューラルネットワークを採用することができ、その典型的な実施形態は、入力層、いくつかの中間隠れ層、及び出力層を含む。ニューラルネットワークを採用する深層学習技術では、ニューラルネットワークは多層であってもよく、その構成ニューロンを、数十又は更には数百の異なる隠れ層、階層モデル、及び高レベルフィルタに配置してもよい。

特に画像処理の領域における深層学習は、畳み込みニューラルネットワーク又はＣＮＮを組み込むことができ、図１のホストコンピュータ５０は、示されるような可能な実施形態では、そのようなＣＮＮ２５を含む。ＣＮＮ２５は、様々な人工ニューロンを介して訓練画像のセットの画素データを受信及び処理するように構成され、入力画像及び構成画素データは、特定のカテゴリに自動的に分類される。したがって、本ＣＮＮのようなＣＮＮ、及び場合によっては本開示の範囲内で使用可能な他の深層学習技術の目標は、相互接続ニューロンを介して未知の関数の近似値を出力することである。各ニューロンは、対応する活性化閾値に基づいて選択的に活性化されて、他の相互接続ニューロンにデータを渡す。したがって、学習処理は、追加の画像２４に対するＣＮＮ２５の露出に基づいて連続的に更新される各ニューロン内のそれぞれの調整可能な重みを適用することを伴い、場合によっては以前の分類エラーを使用して定期的に更新される。最終的に、非線形変換が活性化関数を使用して様々なニューラル出力の線形結合に適用されて、図１の矢印ＣＣによって示されるような予測出力ファイル２６、例えば、所与の入力画像２４又はそのセットにおける認識されたランドマーク特徴を生成する。

なおも図１を参照すると、例示的な単純化のために単一デバイスの概略図として示されているが、ホストコンピュータ５０は、各々が十分なコンピュータ読み取り可能媒体又はメモリ（Ｍ）及び１つ以上のプロセッサ（Ｐ）を有する、任意の数のネットワーク接続又は相互接続コンピュータデバイスを含み得る。メモリ（Ｍ）は、データ／命令の提供に参加する非一時的（例えば、有形の）媒体の形態であってよく、これは次いで、プロセッサ（Ｐ）によって読み取られ得る。メモリ（Ｍ）は、不揮発性媒体及び揮発性媒体を含むがこれらに限定されない、多くの形態を取り得る。

例示の簡略化のために省略するが、ホストコンピュータ５０は、高速クロック、画像化デバイス３０と通信する入力／出力（Ｉ／Ｏ）回路２１、場合によっては他のハードウェア構成要素などを含むことができ、これらはメモリ（Ｍ）及びプロセッサ（Ｐ）とともにタワー又は他のコンピュータハウジング５０Ｃ内に含まれ得る。加えて、ホストコンピュータ５０は、上述のＣＮＮ２５、及びその動作が図２を参照して後述されるポストホック処理モジュール３０にアクセスするか、又はそれ自体がホストする。方法４０を実行する際に画像２４とのユーザ対話を容易にするために、ホストコンピュータ５０はまた、表示画面２８、キーボード２９、マウス３２などであるがこれらに限定されない様々な周辺デバイスを含み得る。方法４０の完了時、ホストコンピュータ５０は、推定ランドマーク測定値を含む出力ファイル２６を生成することができ、この例示的な出力ファイル２６が図６に示されており、後述される。

いくつかの実施形態では、ＣＮＮ２５及びポストホック処理モジュール３０の方法４０及び基礎となる機能性は、アプリケーション（「アプリ」）タイル５２を介してアクセスされて、コンピュータ実行可能コード又は命令を起動することができる。そのようなコードは、例えば、ＪＡＶＡ（登録商標）、Ｍａｒｋｄｏｗｎ、Ｒ－言語、又は他の適切なコーディング言語で記述され得る。例えば、ユーザは、アプリタイル５２を介してアプリケーションを開き、その後、処理すべきＡＶＩフォーマット又は他の適切な画像若しくはビデオを含むフォルダを指し示すことができる。ＡＶＩファイルは、ホストコンピュータ５０によって、深層学習が次いで適用される個々の離散画像に分解され得る。ユーザは次いで、自動的に選択されたフレーム上の新しいランドマークを選択することによって、又は分析すべきビデオの異なるフレームを選択することなどによって、予測結果と対話することができる。ユーザはまた、ランドマークの特徴をより正確に識別するために、画像をズーム及び／又は明るくすることができる。

図２を参照すると、方法４０は、画像２４に深層学習機能を適用して、図１に示される眼２２の測定値のセットを最終的に予測する。したがって、方法４０は、図１の人の眼１１における特定の重要な生体ランドマーク寸法測定値を推定するために使用され得る。上記のような代表的な実施形態では、深層学習は、深層学習アルゴリズム、例えば、ＣＮＮ２５を介して提供される。そのような実施形態では、方法４０は、画像２４内の所定のランドマーク位置を正しく識別するために、ＣＮＮ２５の訓練を予備ブロックＢ４２において開始する。訓練には、ブロックＢ４２の開始時に、ＣＮＮ２５の畳み込み構造を定義することを含み得る。構造の定義に関して、ブロックＢ４２には、当業者であれば理解するように、割り当てられた重み及びフィルタ、閾値などを含む、隠れ層の数及びその構成ニューロンの定義を含み得る。

加えてブロックＢ４２の一部として、方法４０は、関心のあるランドマークが予めマークされた訓練画像のセットをコンパイルすることを含み得る。代表的なランドマークが、例として、図２の点１～１５に示されている。ＣＮＮ２５のパラメータは、例えば、最適化アルゴリズムバックプロパゲーション又は他の適切な技術を使用して、訓練画像から学習される。訓練のために利用可能な画像の数に応じて、単一又は複数のＣＮＮ２５のいずれかが、異なる実装形態において使用され得る。すなわち、ブロックＢ４２における訓練の目的のために少数の訓練画像しか利用できない場合、予測における不確実性を低減するために、複数のＣＮＮ２５が訓練されることになる。逆に、数千の訓練画像が訓練のために利用可能である場合、新たに収集された画像２４におけるランドマーク位置を正確に予測するために、単一のＣＮＮ２５で十分であることになる。

理解されるように、且つ上記で別々に要約されたように、所与のＣＮＮ２５は、入力のセット、この例ではブロックＢ４２において訓練画像を受け取る畳み込み層を含む。ＣＮＮ２５の各人工ニューロンは、重みを合計し、結果を予測出力にマッピングする関数とともに、各々が関連する重みを有する入力値のセットとして表すことができる。次いで、フィルタ又はカーネルの形態の人工ニューロンを使用して、入力画像にわたって移動し、且つフィルタ内の値と画像画素値とを乗算することによって、要素ごとの乗算関数を実行する。この方法により、特徴マップが生成される。

したがって、方法４０の一部として使用されるＣＮＮ２５の畳み込み層は、ブロックＢ４２の訓練画像における特定の特徴又はパターンの有無を検出するために行列の形態のフィルタを利用することができ、同じ処理が方法４０の実行において後で生じる。複数の隠れ層、例えば、より多くの畳み込み層又はより多くのプーリング層は、特徴マップを受け取り、その後、追加のフィルタを通して特徴マップを処理することができる。予測結果は次いで、予測値として出力層を通過し、本方法４０において、図３の代表画像２４－１に示された表示ランドマーク１～１５のうちの１つ、一部、又は全てを含む。このようにして、ＣＮＮ２５は、入力画像のセットから、角部、端部、及び曲率などの高レベルランドマーク特徴を抽出することができる。

事実上、ブロックＢ４２により、訓練画像の所与のセットのその分類を、所定の正しいベースライン分類、すなわち検証された参照画像と比較することによって、ＣＮＮ２５を訓練することができる。初期及びその続の分類反復からのエラーは、ＣＮＮ２５にフィードバックされ、ＣＮＮ２５を適切に訓練するために必要な回数だけ反復されて、様々なニューラル重み及びフィルタを修正するために使用され得る。いったんＣＮＮ２５が訓練されると、方法４０は次いで、ブロックＢ４４に進む。

ブロックＢ４４では、ホストコンピュータ５０を介して眼２２の１つ以上の画像３４を受信すること、すなわち、図１の収集された画像２４をホストコンピュータ５０及びＣＮＮ２５又はその別のアプリケーションに適した深層学習アルゴリズムに効果的に入力することを必要とする。ブロックＢ４４のいくつかの実施形態は、画像化デバイス３０を使用するときに１つ以上の画像２４を収集し、次いで収集された画像２４をホストコンピュータ５０にデジタル的に伝送することを含み得る。

図３を手短に参照すると、図１の眼２２のベースライン画像２４－１が、もっぱら説明の目的で、代表的なランドマーク点を公称的に１～１５でラベル付けしたＵＢＭ画像をオーバーレイした形態で示されている。図３の上部に見えるのは、眼２２の残りの画像化された構造の位置を特定して識別するのに役立つ、認識可能なパターンを有する角膜エコー４２である。重要なランドマーク関心点は、以下のように画像２４－１内で、眼科医又は当業者によって認識されるであろう。

ブロックＢ４４の一部として、１つ以上の画像２４を受信することに応じて、ホストコンピュータ５０は、深層学習アルゴリズム、この例ではＣＮＮ２５を使用して、画像２４内のランドマーク点位置の予備セットを生成することができる。ＣＮＮ２５は、ブロックＢ４４の一部として、訓練されたＣＮＮ２５を通して画像２４－１に類似した複数の画像２４を処理することによって、上記のランドマーク点１～１５の分布及び位置を推定することができる。図４は、代表的な初期深層学習結果を画像２４－２として示しており、ＣＮＮ２５が提供した推定位置が領域４４Ａ及び４４Ｂにおいて白丸のクラスタとして示され、その平均値が、所与のランドマーク点に対して、そのような領域の中心部において黒丸として示されている。

したがって、図４は、ＣＮＮ２５が、例えば、所定のサンプリング間隔にわたって撮影されたビデオストリームを複数の時間的に関連する離散画像２４に分離することによって、眼２２の複数の異なる画像２４を処理する結果の代表例である。各画像２４の処理は、わずかに異なる予測ランドマーク点を提供することができ、その結果は、示されるように領域４４Ａ及び４４Ｂのクラスタとして現れている。また、参考のために三角形を介して図４に示されるのは、図３に示されるランドマーク点１～１５の各々の真の位置である。したがって、ブロックＢ４４には、単一の推定ランドマーク点位置を提供するために、ランドマーク位置推定値の各セットのモード又は平均値を計算することを含み得る。方法４０は次いで、ブロックＢ４６に進む。

ブロックＢ４６は、ポストホック処理モジュール３０を使用してランドマーク点位置の予備セットを精緻化することを含み、次いで、所定のポストホック処理ルーチンを実行して、それによって推定ランドマーク点位置の最終セットを生成する。ポストホック処理のための代表的な技術は、１つ以上の特定のランドマーク関心点の詳細をもたらすように、画像画素強度、コントラスト、シャープネスなどを精緻化することを含む。例えば、図５は、前房深度及び水晶体厚さを導出する際に特に重要である図３のランドマーク点５、６、及び７を包含する、ブラケットＤＤとＥＥとの間の特定の中央領域において、ノイズをフィルタリング除去してその結果を更に精緻化した後に、そのようなポストホック処理を使用することで可能になった、推定ランドマーク点位置の最終セットの代表的な結果画像２４－２を示している。したがって、ＣＮＮ２５からの予測されたランドマーク位置又は場所は、ブロックＢ４６においてポストホックで調整されて、予測に追加の画像情報を組み込みことができる。ポストホック処理は平坦な２次元画像上で生じるため、対応するＸＹ座標が、ランドマーク関心点の各々に対して利用可能である。方法４０は、図２のブロックＢ４８に進む。

ブロックＢ４８において、図２の方法４０は、推定ランドマーク点位置の最終セットを使用して生体ランドマーク寸法測定値を自動的に生成することによって終了し、そのような測定値又は寸法の判定は、図１のホストコンピュータ５０によって実行され、そのような測定値の識別は、場合によってはホストコンピュータ５０のメモリ（Ｍ）に予めプログラムされている。例えば、ホストコンピュータ５０は、その位置又は場所がＣＮＮ２５の動作によって予測され、その後、ポストホック処理モジュール３０によって精緻化された、図３の代表的なランドマーク点１～１５のいずれかの間の直線距離を自動的に計算することができる。所与のランドマーク寸法は、そのように位置する任意の２つのランドマーク間の距離を対象の画像２４の画素解像度によってスケーリングすることによって判定され得る。

ブロックＢ４８の一部として、図１のホストコンピュータ５０は、推定ランドマーク測定値を含む出力ファイル２６を生成することができ、したがって、ブロックＢ４８は、例えば、表示画面２８上にデータテーブルを表示することによって、及び／又は直線距離を含むデータテーブルを印刷することによって、推定ランドマーク点位置のセットを含むデータセットを出力することを包含する。ユーザは、ランドマーク位置のいずれかを調整することができ、その場合、ユーザが指定した測定値が、そのような表の別の列に現れ得る。そのような出力ファイル２６の任意選択の画像コンテンツの例示的な実施形態が、図６の注釈付き画像２４－４として表され、様々なランドマーク寸法が以下のように描画及びラベル付けされている。
ＡＣＤ＝前房深度
ＳＴＳ＝溝間距離
ＣＰＤ＝毛様体突起直径
ＬＤ＝水晶体直径
ＬＴ＝水晶体厚さ
そのような代表的な寸法は、他の処置の中でも、眼内レンズ度数計算値、屈折手術のカスタマイズ、及び網膜疾患の診断及び手術に対して、共通して使用される。

方法４０及び開示されるＣＮＮ２５によって可能になる本解決策は、したがって、図１に示される眼２２内のランドマーク点の迅速な初期識別を可能にする。初期推定ランドマーク位置は、次いで、古典的な画像処理技術を使用して、ポストホック処理モジュール３０を介して精緻化される。精緻化されたランドマーク位置間の距離は、真の測定値の推定値を形成し、場合によっては、複数のランドマーク位置推定値のモードが最終測定値として使用され得る。

生の画像２４において識別すべき解剖学的構造の例として水晶体を使用することにより、上述のＣＮＮ２５は、水晶体が画像２４内のどこにあるか、又は実際に、水晶体が更に画像２４内に現れているかどうかに関しては指示されない。代わりに、ＣＮＮ２５はレンズの特性を教わり、次いで、その後の動作中に、ＣＮＮ２５は画像２４の中から類似した「レンズ様の」特性を位置特定することを課される。したがって、方法４０は、正確な生体測定値を導出する際に、図１の眼２２の所与の画像において、人が指定した関心領域を置換する。

本発明の解決策は、完全に自動化されてもよく、又は他の実施形態では、例えば、ポストホック処理中に、外科医又は施術者の限定的な役割を維持してもよい。いずれの場合も、方法４０の実行により、既存の方法に対して、眼球測定値の精度、再現性、及び信頼性を大幅に改善する。更に、推定値のポストホック精緻化により、特に眼２２の軸方向領域における最終的な推定値のノイズを低減する。有用な測定値は、ＣＮＮ２５に提供される画像２４の数に関係なく予測され、より多数の画像２４を介して提供される全体的に改善された予測精度である。

詳細な説明及び図面又は各図は、本開示をサポートし、説明するものであるが、本開示の適用範囲は、特許請求の範囲によってのみ定義される。特許請求の範囲に記載された開示を実施するための最良の態様及び他の実施形態の幾つかを詳細に説明したが、添付の特許請求の範囲において定義された開示を実施するための様々な代替的な設計及び実施形態が存在する。

更に、図面に示された実施形態又は本明細書で言及された様々な実施形態の特徴は、必ずしも互いに独立した実施形態として理解されるべきではない。むしろ、ある実施形態の例のうちの１つにおいて説明された特性のそれぞれは、他の実施形態からの１つ又は複数の他の望ましい特性と組み合わせることが可能であり、その結果、言葉で説明されていない、又は図面を参照することによって説明されていない、他の実施形態を得ることができる。したがって、かかる他の実施形態は、添付の特許請求の範囲の枠組み内に含まれる。

Claims

眼の生体ランドマーク寸法測定値を推定するための方法であって、
ホストコンピュータを介して前記眼の１つ以上の画像を受信することと、
前記１つ以上の画像を受信することに応じて、深層学習アルゴリズムを使用して、前記ホストコンピュータを介して前記１つ以上の画像内のランドマーク点位置の予備セットを生成することと、
前記ホストコンピュータのポストホック処理ルーチンを使用してランドマーク点位置の前記予備セットを精緻化し、それによって推定ランドマーク点位置の最終セットを生成することと、
推定ランドマーク点位置の前記最終セットを使用して、前記ホストコンピュータを介して前記生体ランドマーク寸法測定値を自動的に生成することと、
推定ランドマーク点位置の前記セットを含むデータセットを出力することと、
を含む、方法。
前記ホストコンピュータを介して前記眼の１つ以上の画像を受信することが、前記ホストコンピュータと通信している画像化デバイスから前記眼の前記１つ以上の画像を受信することを含む、請求項１に記載の方法。
前記画像化デバイスが、超音波生体顕微鏡（ＵＢＭ）デバイスを含む、請求項２に記載の方法。
前記画像化デバイスが、光干渉断層計（ＯＣＴ）デバイスを含む、請求項２に記載の方法。
前記深層学習アルゴリズムが、畳み込みニューラルネットワーク（ＣＮＮ）であり、ランドマーク点位置の前記予備セットを生成することが、前記ＣＮＮを介して前記１つ以上の画像を処理することを含む、請求項１に記載の方法。
前記ホストコンピュータを介して前記眼の前記１つ以上の画像を受信する前に、別の片眼又は両眼の訓練画像のセットを用いて前記ＣＮＮを訓練することを更に含む、請求項５に記載の方法。
前記ポストホック処理ルーチンを使用してランドマーク点位置の前記予備セットを精緻化することが、ランドマーク点位置の前記予備セット内の少なくとも１つのランドマーク点位置を強調するために、画像画素強度、コントラスト、及び／又はシャープネスレベルを精緻化することを含む、請求項１に記載の方法。
推定ランドマーク点位置の前記最終セットを使用して、前記ホストコンピュータを介して前記生体ランドマーク寸法測定値を自動的に生成することが、推定ランドマーク点位置の前記最終セットにおける異なる推定ランドマーク点位置間のそれぞれの直線距離を自動的に測定することを含む、請求項１に記載の方法。
前記それぞれの直線距離が、前記眼の前房深度、水晶体直径、及び水晶体厚さのうちの１つ以上を含む、請求項８に記載の方法。
推定ランドマーク点位置の前記セットを含む前記データセットを出力することが、前記直線距離を含む前記眼の注釈付き画像を表示及び／又は印刷することを含む、請求項８に記載の方法。
推定ランドマーク点位置の前記セットを含む前記データセットを出力することが、前記直線距離を含むデータテーブルを表示及び／又は印刷することを含む、請求項８に記載の方法。
画像化デバイスを使用して、収集された画像として前記眼の前記１つ以上の画像を収集し、次いで前記収集された画像を前記ホストコンピュータにデジタル的に伝送することを更に含む、請求項１に記載の方法。
眼の生体ランドマーク寸法測定値を推定するように構成されたホストコンピュータであって、
深層学習アルゴリズム用の命令が記録又は記憶されたメモリと、
画像化デバイスと通信する入力／出力（Ｉ／Ｏ）回路と、
プロセッサであって、前記プロセッサによる前記命令の実行により、前記ホストコンピュータに、
前記眼の１つ以上の画像を受信させ、
前記１つ以上の画像を受信することに応じて、前記深層学習アルゴリズムを使用して前記１つ以上の画像内のランドマーク点位置の予備セットを生成させ、
前記ホストコンピュータのポストホック処理モジュールを使用してランドマーク点位置の前記予備セットを精緻化させ、それによって推定ランドマーク点位置の最終セットを生成させ、
推定ランドマーク点位置の前記最終セットを使用して、前記生体ランドマーク寸法測定値を自動的に生成させ、
推定ランドマーク点位置の前記セットを含むデータセットを出力させる、プロセッサと、
を備える、ホストコンピュータ。
前記１つ以上の画像が、超音波生体顕微鏡（ＵＢＭ）画像及び／又は光干渉断層計（ＯＣＴ）画像を含む、請求項１３に記載のホストコンピュータ。
前記深層学習アルゴリズムが、訓練画像のセットを用いて以前に訓練された畳み込みニューラルネットワーク（ＣＮＮ）である、請求項１３に記載のホストコンピュータ。
前記プロセッサによる前記命令の実行により、前記ホストコンピュータに、ランドマーク点位置の前記予備セット内の少なくとも１つのランドマーク点位置を強調するために、画像画素強度、コントラスト、及び／又はシャープネスレベルのうちの１つ以上を精緻化することによって、ランドマーク点位置の前記予備セットを精緻化させる、請求項１３に記載のホストコンピュータ。
前記プロセッサによる前記命令の実行により、前記ホストコンピュータに、推定ランドマーク点位置の前記最終セットにおける異なる推定ランドマーク点位置間のそれぞれの直線距離を自動的に測定することによって、前記生体ランドマーク寸法測定値を自動的に生成させる、請求項１３に記載のホストコンピュータ。
前記画像化デバイスを更に備える、請求項１３に記載のホストコンピュータ。
前記プロセッサによる前記命令の実行により、前記ホストコンピュータに、直線距離を含む前記眼の注釈付き画像及びデータテーブルを表示及び／又は印刷することによって、推定ランドマーク点位置の前記セットを含む前記データセットを出力させ、前記直線距離が、前記眼の前房深度、水晶体直径、及び水晶体厚さのうちの１つ以上に対応している、請求項１３に記載のホストコンピュータ。
人の眼の生体ランドマーク寸法測定値を推定するための方法であって、
ホストコンピュータを介して前記人の眼の１つ以上の超音波画像を受信することと、
前記１つ以上の超音波画像を受信することに応じて、畳み込みニューラルネットワーク（ＣＮＮ）を使用して、前記ホストコンピュータを介して前記１つ以上の画像内のランドマーク点位置の予備セットを生成することと、
前記ホストコンピュータのポストホック処理ルーチンを使用して、ランドマーク点位置の前記予備セットの画像画素強度、コントラスト、及び／又はシャープネスレベルを精緻化して、少なくとも１つのランドマーク点位置を強調し、それによって推定ランドマーク点位置の最終セットを生成することと、
推定ランドマーク点位置の前記最終セットにおける異なる推定ランドマーク点位置間のそれぞれの直線距離を自動的に測定し、それによって前記人の眼の前房深度、水晶体直径、及び／又は水晶体厚さを含む生体ランドマーク寸法測定値を生成することと、
注釈付き画像、及び前記直線距離を含むデータテーブルを出力することと、
を含む、方法。