JP2023534449A - 眼科手術用のデジタル画像最適化 - Google Patents

Abstract

本開示は、眼から反射された光を検出し、検出された光に対応する信号をプロセッサに送信する少なくとも１つのセンサを含むカメラを含むデジタル画像最適化システムを提供する。システムは、プロセッサを含み、命令を実行して眼のデジタル画像を生成する画像得処理システムを更に含む。画像処理システムはまた、命令を実行して、トレーニング済み機械学習モデルを含むデジタル画像最適化アルゴリズムを眼のデジタル画像に適用して、眼の最適化されたデジタル画像を生成する。システムは、眼の最適化されたデジタル画像を表示するデジタル画像を更に含む。

Description

本開示は、眼科手術及び手術用機器に関し、より具体的には、眼科手術でのデジタル視覚化を改善するためのデジタル画像最適化システム及び関連する方法に関する。

眼科手術は、眼又は眼の任意の部分に対して実行される手術である。眼科手術は、毎年、数万人の患者の視力を保護し且つ改善させる。しかしながら、眼の僅かな変化に対しても視力が敏感であり、多くの眼構造の特性が微細且つ精緻であるため、眼科手術は、実行が困難であり、些細若しくは稀な手術ミスを減らすか、又は手術スキルの精度が僅かに向上するだけで手術後の患者の視力に顕著な差が生じる場合がある。

眼科手術の一種である硝子体網膜手術は、硝子体液、網膜、及び硝子体網膜膜など、眼の内部を含む様々な繊細な手術を包含する。とりわけ、外膜、糖尿病性網膜症、硝子体出血、黄斑円孔、網膜剥離、白内障手術の合併症を含む、多くの眼疾患の治療において視覚感覚性能を改善するために、異なる硝子体網膜外科手術が、時にはレーザと共に使用される。

硝子体網膜手術などの眼科手術中、眼科医は通常、接眼レンズを備えた非電子の光学的手術用顕微鏡を使用して、手術を受けている眼の拡大画像を観察する。より最近では、硝子体網膜の外科医は、硝子体網膜手術中の視覚化を支援するために、接眼レンズなしのデジタル画像システムを使用する場合がある。これらのシステムには、外科医が偏光眼鏡、デジタル接眼レンズ、又はヘッドマウントディスプレイを使用してディスプレイ画面上で網膜を観察することを可能にする、２Ｄ相補型金属酸化物半導体（ＣＭＯＳ）シングルチップのペア又は３チップセンサを備えた三次元（３Ｄ）高ダイナミックレンジ（「ＨＤＲ」）カメラシステムが含まれ得る。ディスプレイ画面により、接眼レンズを使用して手術を観察する必要から解放し、手術室内の他の人が外科医とまったく同じように見ることを可能にする。このシステムはまた、従来の光学アナログ手術用顕微鏡と比較して、高倍率下でのデジタル画像の改善及び被写界深度の拡大を可能にし、それにより眼の視覚化の改善を可能にする。

本開示は、眼科手術でのデジタル視覚化を改善するデジタル画像最適化システム及び関連する方法を提供する。デジタル画像最適化システムは、眼から反射された光を検出し、検出された光に対応する信号をプロセッサに送信する少なくとも１つのセンサを含むカメラを含む。デジタル画像最適化システムは、プロセッサを含む画像処理システムも含む。画像処理システムは、命令を実行して、眼のデジタル画像を生成し、命令を実行して、トレーニング済み機械学習モデルを含むデジタル画像最適化アルゴリズムを眼のデジタル画像に適用して、眼の最適化されたデジタル画像を生成する。デジタル画像最適化システムは、眼の最適化されたデジタル画像を表示するデジタルディスプレイも含む。

デジタル画像最適化システム及びその使用方法は、以下の追加の特徴を含み得る。ｉ）デジタル画像最適化アルゴリズムは、眼のデジタル画像における器具グレア、光学収差、硝子体混濁、又はそれらの任意の組合せを少なくとも部分的に低減して、眼の最適化されたデジタル画像を生成し得、ｉｉ）眼の最適化デジタル画像は、眼のデジタル画像以上のコントラスト、鮮鋭度、明瞭度、ダイナミックレンジ、又はそれらの任意の組合せを有し得、ｉｉｉ）眼の最適化されたデジタル画像は、眼のデジタル画像以下のノイズ、歪み、ビネット、又はそれらの任意の組合せを有し得、ｉｖ）デジタル画像最適化アルゴリズムは、補間、多重露光画像ノイズ低減、又はそれらの組合せを利用して、眼の最適化されたデジタル画像を生成し得、ｖ）トレーニング済み機械学習モデルは、赤色ブーストライブラリからの複数のトレーニング画像を使用してトレーニング済みであることができ、ｖｉ）トレーニング済み機械学習モデルは、手術開始時に捕捉された眼の複数のデジタル画像と、手術終了時に捕捉された眼の複数の対応するデジタル画像とを使用してトレーニングされていることができ、ｖｉｉ）デジタル画像最適化システムは、ＮＧＥＮＵＩＴＹ（登録商標）３Ｄ視覚化システム（Ｎｏｖａｒｔｉｓ ＡＧ Ｃｏｒｐ．，Ｓｗｉｔｚｅｒｌａｎｄ）の構成要素であり得る。

本開示は、他眼から反射された光を検出し、検出された光に対応する信号をプロセッサに送信する少なくとも１つのセンサを含むカメラを含むデジタル画像最適化システムを更に提供する。少なくとも１つのセンサはまた、術眼から反射された光も検出し、検出された光に対応する信号をプロセッサに送信する。デジタル画像最適化システムは、プロセッサを含む画像処理システムも含む。画像処理システムは命令を実行して、他眼のテンプレートデジタル画像を生成し、命令を実行して、テンプレートデジタル画像のデジタル鏡像を生成し、命令を実行して、術眼の作業デジタル画像を生成し、命令を実行して、デジタル鏡像を作業デジタル画像と位置合わせして、網膜アーケードアライメントテンプレートを生成する。デジタル画像最適化システムは、作業デジタル画像及び網膜アーケードアライメントテンプレートを表示するデジタルディスプレイも含む。

デジタル画像最適化システム及びその使用方法は、以下の追加の特徴を含み得る。ｉ）網膜アーケードアライメントテンプレートは、作業デジタル画像へのオーバーレイとして表示し得、ｉｉ）テンプレートデジタル画像は、他眼の網膜、他眼の網膜中心静脈、他眼の網膜アーケード、他眼の視神経円板、又はそれらの任意の組合せである眼構造を含み得、ｉｉｉ）作業デジタル画像は、術眼の網膜、術眼の網膜中心静脈、術眼の網膜アーケード、術眼の視神経円板、又はそれらの組合せを含み得、ｉｖ）作業デジタル画像は、他眼のテンプレートデジタル画像の視野と同等の術眼の視野を含み得、ｖ）作業デジタル画像へのデジタル鏡像の位置合わせは、他眼の視神経円板及び術眼の視神経円板、他眼の網膜中心静脈及び術眼の網膜中心静脈、他眼の動脈静脈交差部及び術眼の動脈静脈交差部、又はそれらの任意の組合せである眼構造を位置合わせすることを含み得、ｖｉ）デジタル画像最適化システムは、ＮＧＥＮＵＩＴＹ（登録商標）３Ｄ視覚化システム（Ｎｏｖａｒｔｉｓ ＡＧ Ｃｏｒｐ．，Ｓｗｉｔｚｅｒｌａｎｄ）の構成要素であり得る。

本開示は、光ファイバを含む内視鏡を含むデジタル画像最適化システムを更に提供する。デジタル画像最適化システムは、眼の内部から反射され、光ファイバを伝播する光を検出する少なくとも１つのセンサを含むカメラも含む。センサは、検出された光に対応する信号をプロセッサに送信する。デジタル画像最適化システムは、プロセッサを含む画像処理システムも含む。画像処理システムは、命令を時刻して、眼の内視鏡デジタル画像を生成し、命令を実行して、トレーニング済み機械学習モデルを含む内視鏡デジタル画像最適化アルゴリズムを眼の内視鏡デジタル画像に適用して、眼の最適化された内視鏡デジタル画像を生成する。デジタル画像最適化システムは、眼の最適化された内視鏡デジタル画像を表示するデジタルディスプレイも含む。

デジタル画像最適化システム及びその使用方法は、以下の追加の特徴を含み得る。ｉ）内視鏡デジタル画像最適化アルゴリズムは、補間、多重露光画像ノイズ低減、又はそれらの組合せを利用して、眼の最適化された内視鏡デジタル画像を生成し得、ｉｉ）機械学習モデルは、画像処理法を使用して首尾良く最適化された眼の複数の内視鏡デジタル画像を含む複数のトレーニング画像を使用してトレーニング済みであることができ、ｉｉｉ）内視鏡デジタル画像最適化アルゴリズムは単一画像超解像を利用して、眼の最適化された内視鏡デジタル画像を生成し得、ｉｖ）単一画像超解像はベリーディープ超解像ニューラルネットワークを使用し得、ｖ）内視鏡デジタル画像最適化アルゴリズムは、少なくとも部分的に、眼の内視鏡デジタル画像のノイズを低減し、解像度を上げ、デジタル画像の品質を改善し、又はそれらの任意の組合せを行い得、ｖｉ）デジタル画像最適化システムは、ＮＧＥＮＵＩＴＹ（登録商標）３Ｄ視覚化システム（Ｎｏｖａｒｔｉｓ ＡＧ Ｃｏｒｐ．，Ｓｗｉｔｚｅｒｌａｎｄ）の構成要素であり得る。

本開示は、デジタル画像最適化システムを含む最適化ネットワークを更に提供する。デジタル画像最適化システムは、眼から反射された光を検出し、検出された光に対応する信号をプロセッサに送信する少なくとも１つのセンサを含むカメラを含む。デジタル画像最適化システムは、第１のプロセッサを含み、命令を時刻して眼のデジタル画像を生成する第１の画像処理システムを更に含む。デジタル画像最適化システムは、デジタルディスプレイを更に含む。最適化ネットワークは、デジタル画像最適化システム及びデジタル画像管理システムに通信可能に結合された通信ネットワークも含む。最適化ネットワークは、眼のデジタル画像をデジタル画像管理システムに送信する。最適化ネットワークは、デジタル画像管理システムも含む。デジタル画像管理システムは、第２のプロセッサを含み、トレーニング済み機械学習モデルを含む第２の画像処理システムを含む。第２の画像処理システムは、命令を実行して、トレーニング済み機械学習モデルを使用して眼のデジタル画像を処理し、眼の最適化されたデジタル画像を計算し、眼の最適化されたデジタル画像をデジタルディスプレイに送信する。デジタルディスプレイは、眼の最適化されたデジタル画像を表示する。

最適化ネットワーク及びその使用方法は、以下の追加の特徴を含み得る。ｉ）第２の画像処理システムは、第１の画像処理システムの一部としてローカルに記憶し得、ｉｉ）第２の画像処理システムはサーバで動作し得、ｉｉｉ）第２の画像処理システムは、クラウドベースのデジタル画像最適化サービスを提供し得、ｉｖ）トレーニング済み機械学習モデルは、複数のトレーニング画像を使用してトレーニング済みであり得、ｖ）複数のトレーニング画像は、手術開始時に捕捉された眼の複数のデジタル画像と、手術終了時に捕捉された同じ眼の複数のペアのデジタル画像とを含み得、ｖｉ）複数のトレーニング画像は、画像処理法を使用して首尾良く最適化された眼の複数の内視鏡デジタル画像を含み得、複数のトレーニング画像は、ＮＧＥＮＵＩＴＹ（登録商標）３Ｄ視覚化システム（Ｎｏｖａｒｔｉｓ ＡＧ Ｃｏｒｐ．，Ｓｗｉｔｚｅｒｌａｎｄ）を使用して捕捉されたことが可能であり、ｖｉｉ）複数のトレーニング画像は、通信ネットワークを使用してデジタル画像管理システムにアップロードし得、ｖｉｉｉ）トレーニング済み機械学習モデルは、畳み込みニューラルネットワーク及び少なくとも１つの長短期メモリユニットを含む統合アーキテクチャを使用してトレーニングされたことが可能であり、ｉｘ）デジタル画像最適化システムは、ＮＧＥＮＵＩＴＹ（登録商標）３Ｄ視覚化システム（Ｎｏｖａｒｔｉｓ ＡＧ Ｃｏｒｐ．，Ｓｗｉｔｚｅｒｌａｎｄ）の構成要素であり得る。

本開示は、機械可読情報を含む、患者に固定される識別マーカを含むデジタルタイムアウトシステムを更に提供する。デジタルタイムアウトシステムは、機械可読情報を取得し、機械可読情報に対応する信号をプロセッサに送信する少なくとも１つのセンサを含むカメラも含む。デジタルタイムアウトシステムは、プロセッサを含み、機械可読情報を処理して患者データを特定する画像処理システムも含む。画像処理システムはまた、患者データと、外科医、手術室内のスタッフ、又はそれらの組合せに提供された情報との間の不一致、一致、又はそれらの組合せを判断する。

デジタルタイムアウトシステム及びその使用方法は、以下の追加の特徴を含み得る。ｉ）デジタルタイムアウトシステムは、患者データと、外科医、手術室内のスタッフ、又はそれらの組合せに提供された情報との間の不一致、一致、又はそれらの組合せを表示するデジタルディスプレイを更に含み得、ｉｉ）識別マーカは患者の眼の上に固定し得、ｉｉｉ）識別マーカはリムーバブル転写式タトゥー、パッチ、ステッカー、テープ、又はそれらの任意の組合せであり得、ｉｖ）識別マーカはロケータを更に含み得、ｖ）機械可読情報は一次元バーコード、多次元バーコード、クイックレスポンスコード、記号、又はそれらの任意の組合せであり得、ｖｉ）デジタルタイムアウトシステムは、ＮＧＥＮＵＩＴＹ（登録商標）３Ｄ視覚化システム（Ｎｏｖａｒｔｉｓ ＡＧ Ｃｏｒｐ．，Ｓｗｉｔｚｅｒｌａｎｄ）の構成要素であり得、ｖｉｉ）患者データは、患者と関連する識別情報、患者と関連する医療情報、索引付け情報、又はそれらの任意の組合せである、患者と関連する情報を含み得、ｖｉｉｉ）カメラは、眼から反射された光を検出し、検出された光に対応する信号を第１のプロセッサに送信し得、画像処理システムは、命令を実行して眼のデジタル画像を生成し得、ｉｘ）システムは、デジタルタイムアウトシステム及びデジタル画像管理システムに通信可能に結合された通信ネットワークを含み得る。通信ネットワークは、眼のデジタル画像をデジタル画像管理システムに送信し得る。デジタル画像管理システムは、第２のプロセッサ及びトレーニング済み機械学習モデルを含む第２の画像処理システムを含み得る。機械可読データは、眼のデジタル画像と関連し、デジタル画像管理システムに記憶された索引付け情報を含み得、ｘ）トレーニング済み機械学習モデルは、眼のデジタル画像を含む複数のトレーニング画像を使用してトレーニング済みであり得る。複数のトレーニング画像は、眼のデジタル画像と関連する索引付け情報に基づいて選択済みであり得る。

本開示は、カメラを用いて眼のデジタル画像を捕捉し、画像処理システムを使用してデジタル画像最適化アルゴリズムを適用し、眼の最適化されたデジタル画像を生成し、眼の最適化されたデジタル画像をデジタルディスプレイに表示することにより、眼のデジタル画像を最適化する方法を更に提供する。デジタル画像最適化アルゴリズムは、少なくとも部分的に、眼のデジタル画像における器具グレア、光学収差、硝子体混濁、又はそれらの任意の組合せを低減して、眼の最適化されたデジタル画像を生成し得る。デジタル画像最適化アルゴリズムは、トレーニング済み機械学習モデルであり得る。トレーニング済み機械学習モデルは、手術開始時に捕捉された眼の複数のデジタル画像と、手術終了時に捕捉された眼の複数の対応するデジタル画像とを使用してトレーニング済みであり得る。カメラは、ＮＧＥＮＵＩＴＹ（登録商標）３Ｄ視覚化システム（Ｎｏｖａｒｔｉｓ ＡＧ Ｃｏｒｐ．，Ｓｗｉｔｚｅｒｌａｎｄ）の構成要素であり得る。

本開示は、手術開始時に眼の複数の入力デジタル画像を捕捉し、手術終了時に眼の複数の出力デジタル画像を捕捉し、眼の複数の入力デジタル画像及び眼の複数の出力デジタル多像をトレーニング画像として使用して、機械学習モデルをトレーニングし、トレーニング済み機械学習モデルを使用して、デジタル画像最適化アルゴリズムとして使用することにより、デジタル画像最適化アルゴリズムを生成する方法を更に提供する。

本開示は、他眼のデジタル画像を捕捉し、術眼のデジタル画像を捕捉し、他眼のデジタル画像の鏡像を生成し、他眼のデジタル画像の鏡像を術眼のデジタル画像と位置合わせして、網膜アーケードアライメントテンプレートを生成し、網膜アーケードアライメントテンプレートを術眼のデジタル画像へのオーバーレイとしてデジタルディスプレイに表示し、網膜アーケードアライメントテンプレートを使用して術眼に眼科手術を実行することにより、眼のデジタル画像を最適化する方法を更に提供する。他眼のデジタル画像の鏡像は、視神経円板、網膜中心静脈、動脈静脈交差部、分岐静脈、又はそれらの任意の組合せを位置合わせすることにより、術眼のデジタル画像と位置合わせし得る。

本開示は、内視鏡を使用して眼の内視鏡デジタル画像を捕捉し、内視鏡デジタル画像最適化アルゴリズムを適用して、眼の最適化された内視鏡デジタル画像を生成し、眼の最適化された内視鏡デジタル画像をデジタルディスプレイに表示することにより、眼の内視鏡デジタル画像を最適化する方法を更に提供する。内視鏡デジタル画像最適化アルゴリズムは、補間、多重露光ノイズ低減、機械学習、深層学習、又はそれらの任意の組合せを使用し得る。

本開示は、眼の複数の内視鏡デジタル画像を捕捉し、画像処理法を使用して眼の複数の内視鏡デジタル画像を最適化して、眼の複数の最適化された内視鏡デジタル画像を生成し、眼の複数の内視鏡デジタル画像を入力画像として使用し、眼の複数の最適化された内視鏡デジタル画像を出力画像として使用して、機械学習モデルをトレーニングし、トレーニング済み機械学習モデルを内視鏡デジタル画像最適化アルゴリズムとして使用することにより、内視鏡デジタル画像最適化アルゴリズムを生成する方法を更に提供する。

本開示は、画像処理システムを使用して、複数の入力画像及び複数の対応する出力画像を含む複数のトレーニング画像を統合アーキテクチャに入力し、畳み込みニューラルネットワークを使用して、複数の入力画像の特徴表現を生成し、統合アーキテクチャを使用して、眼の複数の予測された最適化デジタル画像と複数の対応する出力画像との間の複数の仮説的差分を計算し、複数の仮説的差分と、複数の入力画像と複数の対応する出力画像との間で計算された複数の差分との間の損失を計算し、全体損失が予め定義された閾値よりも小さいか否かを評価し、全体損失が予め定義された閾値よりも小さくない場合、統合アーキテクチャのパラメータを更新し、全体損失が予め定義された閾値よりも小さい場合、統合アーキテクチャのパラメータを記憶し、トレーニングを終了することにより、機械学習モデルをトレーニングする方法を更に提供する。損失は、損失関数を使用して計算し得る。損失関数は平滑Ｌ１損失関数であり得る。複数の仮説的差分は、複数の入力画像の特徴表現を使用して計算し得る。機械学習モデルがトレーニングされると、画像処理システムはサーバで動作し得る。画像処理システムは、クラウドベースのデジタル画像最適化サービスを提供し得る。

本開示は、カメラを使用して、患者に固定された識別マーカにプリントされた機械可読情報を取得し、画像処理システムを使用して機械可読情報を処理し、機械可読情報に基づいて患者の識別情報の正確性を判断し、患者の識別情報が不正確である場合、計画されている医療処置を停止し、患者の識別情報が正確である場合、機械可読情報に基づいて、計画されている医療処置が正確であると判断し、計画されている医療処置が不正確である場合、計画されている医療処置を停止し、計画されている医療処置が正確である場合、計画されている医療処置を実行することにより、デジタルタイムアウトを実行する方法を更に提供する。

本開示は、デジタル画像最適化システムを使用して眼のデジタル画像を捕捉し、眼のデジタル画像に処理された機械可読情報を関連付け、眼のデジタル画像を使用して機械学習モデルをトレーニングし、トレーニング済み機械学習モデルを使用して眼のデジタル画像を処理し、画像処理システムを使用して眼の最適化されたデジタル画像を生成し、眼の最適化されたデジタル画像をデジタルディスプレイに表示することにより、眼のデジタル画像を最適化する方法を更に提供する。眼のデジタル画像は、処理された機械可読情報に基づいて１組のトレーニング画像への包含に選択し得る。

デジタル画像最適化システム及びその使用方法の態様は、明らかに相互に排他的でない限り、互いに組み合わせることができる。加えて、デジタル画像最適化システム及び上述のその関連する方法の追加の特徴もまた、明らかに相互に排他的でない限り、互いに組み合わせることができる。

本開示並びにその特徴及び利点をより完全に理解するために、ここで、添付図面と併せて、以下の説明に対して参照が行われるが、これらの図面は縮尺通りではなく、同様の数字は同様の特徴を指す。

図１は、カメラ、画像処理システム、及びデジタルディスプレイを含むデジタル画像最適化システムの模式表現である。 図２Ａ－２Ｂは、トレーニング画像の模式表現である。 図２Ｃ－２Ｄは、トレーニング画像の模式表現である。 図３は、眼のデジタル画像を最適化して、眼科手術でのデジタル視覚化を改善する方法を示す流れ図である。 図４は、機械学習モデルを使用して、眼科手術でのデジタル視覚化を改善するデジタル画像最適化アルゴリズムを生成する方法を示す流れ図である。 図５は、カメラ、画像処理システム、及びデジタルディスプレイを含むデジタル画像最適化システムの模式表現である。 図６は、眼科手術でのデジタル視覚化を改善するために、網膜アーケードアライメントテンプレートを使用することによって眼のデジタル画像を最適化する方法を示す流れ図である。 図７は、内視鏡、光ファイバ、光ファイバ光源、カメラ、画像処理システム、及びデジタルディスプレイを含むデジタル画像最適化システムの模式表現である。 図８は、眼科手術でのデジタル視覚化を改善するために、眼の内視鏡デジタル画像を最適化する方法を示す流れ図である。 図９は、機械学習モデルを使用して、眼科手術でのデジタル視覚化を改善する内視鏡デジタル画像最適化アルゴリズムを生成する方法を示す流れ図である。 図１０は、デジタル画像最適化システム、通信ネットワーク、及びデジタル画像管理システムを含む最適化ネットワークの模式表現である。 図１１は、眼の最適化されたデジタル画像を特定するための解決策の一例の図である。 図１２は、機械学習モデルの統合アーキテクチャの一例の図である。 図１３は、機械学習モデルをトレーニングする方法を示す流れ図である。 図１４は、識別マーカ、カメラ、画像処理システム、及びデジタルディスプレイを含め、デジタルタイムアウトシステムの模式表現である。 図１５は、デジタルタイムアウトを実行する方法を示す流れ図である。 図１６は、眼科手術で眼のデジタル画像を最適化する方法を示す流れ図である。 図１７は、デジタル画像最適化システムを含むコンピュータシステムの模式表現である。 図１８Ａ－１８Ｃは、デジタル画像最適化システムを含む医療システムの模式表現である。

本開示は、眼科手術でのデジタル視覚化を改善するためのデジタル画像最適化を含むシステム及び関連する方法を提供する。

眼科医は、眼を視覚化する際に、固有の課題に直面する。特に、医療処置中の収差は眼のデジタル画像の品質を低下させる恐れがある。例えば、患者の瞳孔を通して得られた任意のビューは光学収差を受け、光学収差は眼のデジタル画像を歪ませ得る。光学収差は、眼疾患又は以前の手術によって引き起こされる場合があり、これが外科医によって観察される収差のある画像をもたらす、角膜の非球面性又は眼内レンズインプラントを引き起こす。硝子体混濁もデジタル画像の品質を低下させる恐れがある。加えて、眼内に挿入されるステンレス鋼機器は、術中に眼を見るとき、画質を低下させるグレアを生み出す恐れがある。他の例では、約３０，０００ピクセルの内視鏡デジタル画像等の低解像度デジタル画像が、１００万ピクセル超の高解像度デジタルディスプレイに表示されることがある。これは、不良な画質の内視鏡デジタル画像に繋がる恐れがある。

不良な画質は、眼の内部を視覚化する外科医の能力を妨害し、手術をより困難にする場合がある。アナログシステムでは、収差の影響を補正する方法は非常に限られており、その多くは簡単に補正できない。デジタル視覚化システムでは、種々の補正手段が可能であり、それにより、外科医及び眼科手術を補佐する他の人員に提示される眼のデジタル画像を改善し得る。しかしながら、現行のシステム及び方法は、眼のデジタル画像の品質改善に、機械学習モデルを含み得る最適化アルゴリズムを利用しない場合がある。さらに、現行のシステム及び方法は、最適化アルゴリズムで利用するために、眼のデジタル画像の目録作成するために識別マーカを利用しない場合がある。そのような場合、眼のデジタル画像の画質は低下し得る。例えば、眼のデジタル画像は、コントラスト、鮮鋭度、明瞭度、及びダイナミックレンジが低下し得、ノイズ、歪み、及びビネットが増大し得る。画質の低下は、眼科手術中の合併症リスクを上げ得る。

本開示のデジタル画像最適化システム及び方法は、眼科手術でのデジタル視覚化を改善することにより、より高速で安全且つより効率的な医療処置を提供し得る。本明細書に開示されるデジタル画像最適化システム及び方法は、他のシステム及び方法によって提供されるデジタル画像と比較して器具グレア、光学収差、硝子体混濁、又はそれらの任意の組合せを低下させた、最適化されたデジタル画像を提供することによって眼科手術でのデジタル視覚化を改善し得る。本明細書に開示されるデジタル画像最適化システム及び方法は、術中、網膜アタッチメントのアライメントのための網膜アーケードアライメントテンプレートを提供することにより、現行のシステム及び方法と比較して眼科手術でのデジタル視覚化を改善し得る。本明細書に開示されるデジタル画像最適化システム及び方法は、超解像度デジタル画像である最適化されたデジタル画像を提供することにより、眼科手術でのデジタル視覚化を改善し得る。本開示のシステム及び方法は、眼のデジタル画像を最適化するために機械学習モデルを含むことにより、現行のシステム及び方法と比較して眼科手術でのデジタル視覚化を改善し得る。本明細書に開示されるデジタル画像最適化システム及び方法は、機械学習モデルをトレーニングするために、トレーニング画像を提供することにより、眼科手術でのデジタル視覚化を改善し得る。トレーニング画像は、複数の医療処置からの複数の眼の複数のデジタル画像であり得る。本明細書に開示されるデジタル画像最適化システム及び方法は、クラウドベースのデジタル画像最適化サービスを提供することにより、眼科手術でのデジタル視覚化を改善し得る。本明細書に開示されるデジタル画像最適化システム及び方法は、デジタルタイムアウトを提供することによって眼科手術でのデジタル視覚化を改善し得る。デジタルタイムアウトは、患者と関連する医療情報が、外科医、手術室内のスタッフ、又はそれらの組合せに提供される情報と一致することの計算チェックを含み得る。

本明細書に開示されるシステム及び方法は、眼のデジタル画像のコントラスト、鮮鋭度、明瞭度、及びダイナミックレンジを改善し得、眼のデジタル画像のノイズ、歪み、及びビネットを低減し得るデジタル画像最適化システムを提供することにより、眼科手術でのデジタル視覚化を改善し得る。デジタル画像最適化システムは、デジタル支援硝子体網膜手術（「ＤＡＶＳ」）システムの構成要素であってもよく、又はＮＧＥＮＵＩＴＹ（登録商標）３Ｄ視覚化システム（Ｎｏｖａｒｔｉｓ ＡＧ Ｃｏｒｐ．，Ｓｗｉｔｚｅｒｌａｎｄ）の構成要素であってもよい。例えば、眼のデジタル画像は、カメラ又は内視鏡を用いて捕捉し得る。本明細書に開示されるシステム及び方法は、機械学習モデルを使用して、眼のデジタル画像を最適化し得る。本明細書に開示されるシステム及び方法は、網膜アーケードアライメントテンプレートを使用して、術中、異なる段階で捕捉された同じ眼のデジタル画像を位置合わせし、最適化されたデジタル画像を硝子体切除に続く網膜の再付着に提供し得る。本明細書に開示されるシステム及び方法は、クラウドベースのデジタル画像最適化サービスを可能にする最適化ネットワークを提供することもできる。最適化ネットワークは、デジタル支援硝子体網膜手術（「ＤＡＶＳ」）システムの構成要素であってもよく、又はＮＧＥＮＵＩＴＹ（登録商標）３Ｄ視覚化システム（Ｎｏｖａｒｔｉｓ ＡＧ Ｃｏｒｐ．，Ｓｗｉｔｚｅｒｌａｎｄ）の構成要素であってもよい。本明細書に開示されるシステム及び方法は、眼のデジタル画像についての機械可読情報を含むデジタルタイムアウトシステムを提供することもできる。機械可読情報は、最適化ネットワークに眼のデジタル画像を記憶するための記録管理及び機械学習モデルをトレーニングするためのトレーニング画像の選択に有用であり得る。デジタルタイムアウトシステムは、デジタル支援硝子体網膜手術（「ＤＡＶＳ」）システムの構成要素であってもよく、又はＮＧＥＮＵＩＴＹ（登録商標）３Ｄ視覚化システム（Ｎｏｖａｒｔｉｓ ＡＧ Ｃｏｒｐ．，Ｓｗｉｔｚｅｒｌａｎｄ）の構成要素であってもよい。

これより図１を参照すると、デジタル画像最適化システム１００は、カメラ１５０、画像処理システム１７０、及びデジタルディスプレイ１９０を含み得る。画像処理システム１７０は、眼１０１の最適化されたデジタル画像を提供し得る。カメラ１５０は、眼１０１のデジタル画像を捕捉し得る。カメラ１５０によって捕捉される眼１０１のデジタル画像は、視野１６０を含み得る。視野１６０は、眼１０１の拡大ビューを含んでもよく、黄斑、硝子体液、又は眼１０１の他の領域の高倍率ビューを含んでもよい。視野１６０は外科器具１０５を含むこともできる。外科器具１０５はカニューレであってもよく、又は眼科手術で使用される別の外科ツールであってもよい。

カメラ１５０は、デジタルカメラ、ＨＤＲカメラ、３Ｄカメラ、又はそれらの任意の組合せであり得る。カメラ１５０は、ＮＧＥＮＵＩＴＹ（登録商標）３Ｄ視覚化システム（Ｎｏｖａｒｔｉｓ ＡＧ Ｃｏｒｐ．，Ｓｗｉｔｚｅｒｌａｎｄ）の構成要素であってもよい。カメラ１５０はまた、顕微鏡に結合されたカメラであってもよい。カメラ１５０は、顕微鏡の接眼レンズに取って代わってもよく、第５世代の画像キャプチャモジュール（ＩＣＭ５）３Ｄ手術用カメラであってもよい。カメラ１５０は、眼１０１（図示せず）の立体デジタル像を提供するように構成し得る。カメラ１５０はレンズ１２１を含んでもよい。レンズ１２１はまた、オプトメカニカルフォーカスレンズ、マニュアルフォーカスレンズ、又はそれらの任意の組合わせであってもよい。カメラ１５０は、電荷結合デバイス（ＣＣＤ）センサ又は相補型金属酸化物半導体（ＣＭＯＳ）センサであり得る少なくとも１つの画像センサ１５２を含んでもよい。カメラ１５０は、モノクロカメラ又はカラーカメラであってもよく、少なくとも１つの画像センサ１５２は、モノクロ画像センサ又はカラー画像センサであってもよい。少なくとも１つの画像センサ１５２は、例えばベイヤーフィルタ等のカラーフィルタアレイを備えた画像センサであってもよく、又はカラーフィルタアレイを備えていない画像センサであってもよい。

デジタル画像最適化システム１００は、可視光照明源１５５を含み得る。可視光照明源１５５は、カメラ１５０の可視光照明源であり得る。可視光照明源１５５は眼内照明器（ｅｎｄｏｉｌｌｕｍｉｎａｔｏｒ）であり得る。可視光照明源１５５は、キセノン源、白色ＬＥＤ光源、又は他の任意の適切な可視光源を含み得る。可視光照明源１５５は、眼１０１の内部構造を照明し得る。

可視光照明源１５５によって放出され、外科器具１０５から反射された光は、器具グレア１１０を生じさせ得る。器具グレア１１０は、他の照明源によって放出された光によって生じることもある。器具グレア１１０は、カメラ１５０によって捕捉される眼１０１のデジタル画像においてノイズ又は歪みとして現れ得る。

可視光照明源１５５によって放出され、眼１０１の内部から反射された光は、光学収差１２０による影響を受けることもある。光学収差１２０は、長時間の医療処置若しくは眼の欠陥によって生じ得る角膜混濁又は白内障若しくは眼内血液によって生じ得る水晶体混濁によって生じ得る。光学収差１２０は、眼１０１の他の特徴、外科セットアップ、又はそれらの組合せによって生じることもある。光学収差１２０は、カメラ１５０によって捕捉された眼１０１のデジタル画像のコントラスト、鮮鋭度、明瞭度、及びダイナミックレンジを低減し得る。

可視光照明源１５５によって放出され、眼１０１から反射された光は、硝子体混濁１３０の影響を受け得、この影響は例えば、カメラ１５０によって捕捉された眼１０１のデジタル画像において混濁又はフォグとして現れ得る。

カメラ１５０によって捕捉されたデジタル画像は、画像処理システム１７０によって処理し得る。画像処理システム１７０は、プロセッサ１８０を含み得る。カメラ１５０は、少なくとも１つの画像センサ１５２を使用して眼１０１の内部からレンズ１２１内に反射された光を検出することができ、検出された光に対応する信号をプロセッサ１８０に送ることができる。プロセッサ１８０は、命令を実行して、眼１０１のデジタル画像を生成し得る。画像処理システム１７０は、メモリ媒体１８１を含むこともできる。眼１０１のデジタル画像は、メモリ媒体１８１に記憶し得る。

プロセッサ１８０は、命令を実行して、デジタル画像最適化アルゴリズムを眼１０１のデジタル画像に適用して、眼の最適化されたデジタル画像１９１を生成し得る。デジタル画像最適化アルゴリズムは、トレーニング済みの機械学習モデルであるアルゴリズムであり得る。機械学習モデルは、論じるように、明示的にプログラムせずに、経験から学習され発展したデジタル画像最適化アルゴリズムを開発できるようにし得る。一例では、機械学習モデルは、過去の手術からのデジタル画像の「赤色ブースト」ライブラリをトレーニング画像として使用してトレーニングし得る。赤色ブーストライブラリは、眼の不良な赤色反射の画像及び眼の明るい赤色反射の画像を含み得る。赤色ブーストライブラリでトレーニングすることにより、機械学習モデルは、眼の最適化されたデジタル画像１９１を予測することが可能であり得る。デジタル画像最適化アルゴリズムは代替的には、別の画像強調技法、例えば補間又は多重露光画像ノイズ低減を利用するアルゴリズムであり得る。

デジタル画像最適化アルゴリズムは、カメラ１５０によって捕捉された眼１０１のデジタル画像における器具グレア１１０、光学収差１２０、硝子体混濁１３０、又はそれらの任意の組合せを少なくとも部分的に低減して、眼の最適化されたデジタル画像１９１を生成し得る。眼の最適化されたデジタル画像１９１では、デジタル最適化アルゴリズムが適用されていない、カメラ１５０によって捕捉された眼１０１のデジタル画像よりも少ない器具グレア１１０、光学収差１２０、硝子体混濁１３０、又はそれらの任意の組合せを有し得る。

プロセッサ１８０は、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、グラフィックス処理ユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、又はプログラム命令及び／又はプロセスデータを解釈且つ／又は実行するように構成された他の任意のデジタル若しくはアナログ回路を含み得る。

プロセッサ１８０は、命令を記憶且つ／又は実行することができる任意の物理デバイスを含み得る。プロセッサ１８０は、プロセッサ命令を実行して、本明細書に記載の１つ又は複数のシステム、１つ又は複数のフローチャート、１つ又は複数のプロセス、及び／又は１つ又は複数の方法の少なくとも一部を実施し得る。例えば、プロセッサ１８０は、命令を実行して、眼１０１のデジタル画像を生成し得る。プロセッサ１８０は、メモリ媒体１８１から命令を受信するように構成され得る。一例では、プロセッサ１８０は、メモリ媒体１８１を含み得る。別の例では、メモリ媒体１８１は、プロセッサ１８０の外部にあり得る。メモリ媒体は命令を記憶し得る。メモリ媒体１８１により記憶された命令は、プロセッサ１８０により実行可能であり得、本明細書に記載の１つ又は複数のシステム、１つ又は複数のフローチャート、１つ又は複数の方法、及び／又は１つ又は複数のプロセスの少なくとも一部に従い複数の命令により構成、コーディング、且つ／又は符号化され得る。メモリ媒体１８１は、プロセッサ１８０によって実行可能であり、カメラ１５０によって捕捉された眼１０１のデジタル画像にデジタル画像最適化アルゴリズムを適用し得る命令を記憶し得る。

ＦＰＧＡは、本明細書に記載の１つ又は複数のシステム、１つ又は複数のフローチャート、１つ又は複数のプロセス、及び／又は１つ又は複数の方法の少なくとも一部を実施するように構成、コーディング、且つ／又は符号化され得る。例えば、ＦＰＧＡは、眼１０１のデジタル画像を生成するように構成、コーディング、且つ／又は符号化され得る。ＡＳＩＣは、本明細書に記載の１つ又は複数のシステム、１つ又は複数のフローチャート、１つ又は複数のプロセス、及び／又は１つ又は複数の方法の少なくとも一部を実施するように構成され得る。例えば、ＡＳＩＣは、眼１０１のデジタル画像を生成するように構成、コーディング、且つ／又は符号化され得る。ＤＳＰは、本明細書に記載の１つ又は複数のシステム、１つ又は複数のフローチャート、１つ又は複数のプロセス、及び／又は１つ又は複数の方法の少なくとも一部を実施するように構成、コーディング、且つ／又は符号化され得る。例えば、ＤＳＰは、眼１０１のデジタル画像を生成するように構成、コーディング、且つ／又は符号化され得る。

単一のデバイスが、プロセッサ１８０及び画像処理システム１７０を含んでもよく、又はプロセッサ１８０は、画像処理システム１７０とは別体であってもよい。一例では、単一のコンピュータシステムが、プロセッサ１８０及び画像処理システム１７０を含み得る。別の例では、デバイスが、プロセッサ１８０及び画像処理システム１７０を含み得る集積回路を含み得る。代替的には、プロセッサ１８０及び画像処理システム１７０は、手術用コンソールに組み込まれ得る。

プロセッサ１８０は、メモリ媒体１８１に記憶されたプログラム命令及び／又はプロセスデータを解釈且つ／又は実行し得る。メモリ媒体１８１は、部分的又は全体的に、アプリケーションメモリ、システムメモリ、又はその両方として構成され得る。メモリ媒体１８１は、１つ又は複数のメモリデバイスを保持且つ／又は収容するように構成された任意のシステム、デバイス、又は装置を含み得る。各メモリデバイスは、プログラム命令及び／又はデータを一定期間保持するように構成された任意のシステム、任意のモジュール、又は任意の装置（例えば、コンピュータ可読媒体）を含み得る。記載された１つ又は複数のサーバ、電子デバイス、又は他の機械は、関連する機械の機能を実行するためのプログラム命令を記憶且つ実行し得る１つ又は複数の同様のかかるプロセッサ又はメモリを含み得る。

デジタル画像最適化システム１００は、デジタルディスプレイ１９０を含み得る。デジタルディスプレイ１９０は、眼科手術で使用可能である十分な解像度で眼１０１のデジタル画像を表示することができる任意のタイプのスクリーン又はプロジェクタを含み得る。例えば、デジタル画像を提示する従来の硝子体網膜外科システムで使用されるタイプのディスプレイを含む、眼科手術に関連して使用される任意のタイプのスクリーン又はプロジェクタを含み得る。デジタルディスプレイ１９０は、眼の最適化されたデジタル画像１９１を表示し得る。これは、最適化されない眼１０１のデジタル画像よりも器具グレア１１０、光学収差１２０、硝子体混濁１３０、又はそれらの任意の組合せが少ない眼のデジタル画像を提供することにより、眼科手術でのデジタル視覚化を改善し得る。デジタルディスプレイ１９０は、眼１０１のデジタル画像と眼の最適化されたデジタル画像１９１との結合デジタル画像であるデジタル画像を表示し得る。結合デジタル画像はプロセッサ１８０によって生成し得る。結合画像に表示される眼１０１のデジタル画像と眼の最適化されたデジタル画像１９１との割合は、例えばコントローラ１９２によって制御されるスライダバーを使用して外科医によって制御し得る。このようにして、外科医は、手術中、最適化されたデジタル画像が視覚化に使用される程度を制御することができる。

デジタルディスプレイ１９０は、単一の画像又は立体視的観察用に２つの画像を表示することができる。デジタルディスプレイ１９０は、デジタルディスプレイ、スクリーン、ヘッドアップディスプレイ、ヘッドマウントディスプレイ、又はそれらの任意の組合せであってもよく、また、複数のディスプレイを含んでもよい。デジタルディスプレイ１９０は、フラットパネルディスプレイ又は超高精細３Ｄフラットパネルディスプレイであってもよい。デジタルディスプレイ１９０は、３Ｄ有機発光ダイオード（ＯＬＥＤ）手術用ディスプレイであってもよい。デジタルディスプレイ１９０上に表示される画像は、パッシブ円偏光眼鏡を通して観察することができる。デジタルディスプレイ１９０は、ピクチャインピクチャディスプレイであってもよい。デジタルディスプレイ１９０は、デジタル支援硝子体網膜手術（「ＤＡＶＳ」）システムの構成要素であってもよく、又はＮＧＥＮＵＩＴＹ（登録商標）３Ｄ視覚化システム（Ｎｏｖａｒｔｉｓ ＡＧ Ｃｏｒｐ．，Ｓｗｉｔｚｅｒｌａｎｄ）の構成要素であってもよい。

デジタルディスプレイ１９０は、プロセッサ１８０又は他のプロセッサによって生成された眼の最適化されたデジタル画像１９１及びプロセッサ１８０又は他のプロセッサによって生成された他の情報を表示し得る。そのような情報には、手術用パラメータ、手術モード、流量、眼圧、内視鏡ビデオ、ＯＣＴ画像、警告、デジタル画像、色分け、拡張現実情報等のグラフィック情報又はテキスト情報が含まれ得る。プロセッサ１８０は、円偏光眼鏡、デジタル接眼レンズ、又はヘッドマウントディスプレイを用いて見ることができる、デジタルディスプレイ１９０での表示に向けて、カメラ１５０を使用して作られたビデオをリフォーマットし得る。

デジタル最適化アルゴリズムは、機械学習モデルを使用して生成し得る。機械学習モデルは、論じるように、複数トレーニング画像を使用してトレーニングし得る。トレーニング画像は、図２Ａ～図２Ｄに示されるように、手術開始時に捕捉されたデジタル画像及び手術終了時に捕捉されたデジタル画像を含み得る。手術開始時に捕捉されたデジタル画像は、眼の最悪視覚化を提供し得る。これは、デジタル画像が器具グレア１１０、光学収差１２０、硝子体混濁１３０、又はそれらの任意の組合せを含むためであり得る。手術終了時に捕捉された同じ眼のデジタル画像は、眼の最良視覚化を提供し得る。これは、器具グレア１１０、光学収差１２０、硝子体混濁１３０、又はそれらの任意の組合せ等のノイズ又は歪みの原因の多くがなくなったためであり得る。したがって、複数の眼にわたり手術開始時に捕捉された複数のデジタル画像及び手術終了時に捕捉された眼の複数の対応するデジタル画像を使用して機械学習モデルをトレーニングすることにより、手術開始時に捕捉された入力デジタル画像から、手術終了時に捕捉されるデジタル画像を予測するデジタル最適化アルゴリズムを生成し得る。必要であれば、手術開始時に捕捉された眼のデジタル画像は、視神経円板、網膜アーケード、又はそれらの組合せを使用して、手術終了時に捕捉される眼のデジタル画像と位置合わせし得る。これは、位置合わせし、画像を比較するための見当を提供し得る。

例えば、手術開始時の眼のデジタル画像２０１は、図２Ａに示されるように、手術開始時にカメラ１５０によって捕捉された眼１０１のデジタル画像であり得る。手術開始時の眼のデジタル画像２０１は、例えば可視光照明源１５５によって放出され、外科器具１０５から反射された光によって生じた器具グレア１１０を含み得る。器具グレア１１０は、手術開始時の眼のデジタル画像２０１においてノイズ又は歪みとして現れ得る。手術開始時の眼のデジタル画像２０１は、可視光照明源１５５によって放出され、眼１０１の内部から反射された光によって生じる光学収差１２０を含むこともある。光学収差１２０は、例えば混濁した水晶体２２０によって生じ得る。光学収差１２０は、手術開始時の眼のデジタル画像２０１のコントラスト、鮮鋭度、明瞭度、及びダイナミックレンジを低減し得る。

手術終了時の眼のデジタル画像２０２は、図２Ｂに示されるように、手術終了時にカメラ１５０によって捕捉された眼１０１のデジタル画像であり得る。手術終了時、外科器具１０５は眼１０１から少なくとも部分的に取り出されている可能性がある。したがって、手術終了時の眼のデジタル画像２０２は、器具グレア１１０が少ないか、又は器具グレア１１０を含まない可能性がある。手術終了時、混濁した水晶体２２０は人工水晶体２２１と少なくとも部分的に置換されている可能性がある。したがって、手術終了時の眼のデジタル画像２０２は、光学収差１２０が少ないか、又は光学収差１２０を含まない可能性がある。手術終了時の眼のデジタル画像２０２は、手術開始時の眼のデジタル画像と比較して改善したコントラスト、鮮鋭度、明瞭度、及びダイナミックレンジを有し得、ひいてはノイズ、歪み、及びビネットが低下し得る。

別の例では、手術開始時の眼のデジタル画像２０３は、図２Ｃに示されるように、手術開始時にカメラ１５０によって捕捉された眼１０１のデジタル画像であり得る。手術開始時の眼のデジタル画像２０３は、可視光照明源１５５によって放出され、硝子体２１０から反射された光によって生じる硝子体混濁１３０を含み得る。硝子体混濁１３０は、手術開始時の眼のデジタル画像２０３においてノイズ又は歪みとして現れ得る。手術開始時の眼のデジタル画像２０３は、可視光照明源１５５によって放出され、眼１０１の内部から反射された光によって生じる光学収差１２０を含むこともある。光学収差１２０は血液２１１によって生じることもある。光学収差１２０は、手術開始時の眼のデジタル画像２０３のコントラスト、鮮鋭度、明瞭度、及びダイナミックレンジを低下させる恐れがある。

手術終了時の眼のデジタル画像２０４は、図２Ｄに示されるように、手術終了時にカメラ１５０によって捕捉された眼１０１のデジタル画像であり得る。手術終了時、硝子体２１０は眼１０１から少なくとも部分的に取り出されている可能性がある。したがって、手術終了時の眼のデジタル画像２０４は、硝子体混濁１３０が少ないか、又は硝子体混濁１３０を含まない可能性がある。手術終了時、血液２１１も少なくとも部分的にと除去されている可能性がある。したがって、手術終了時の眼のデジタル画像２０４は、光学収差１２０が少ないか、又は光学収差１２０を含まない可能性がある。手術終了時の眼のデジタル画像２０４は、手術開始時の眼のデジタル画像２０３と比較して、改善したコントラスト、鮮鋭度、明瞭度、及びダイナミックレンジを有し得、ひいてはノイズ、歪み、及びビネットが低下し得る。

手術開始時の眼の複数のデジタル画像及び手術終了時の同じ眼の複数のデジタル画像はそれぞれ、機械学習モデルをトレーニングするための１組のトレーニング画像における入力画像及び出力画像として使用し得る。例えば、入力画像は手術開始時の眼のデジタル画像２０１であり得、出力画像は手術終了時の眼のデジタル画像２０２であり得る。機械学習モデルは、論じるように、入力画像から特徴を抽出し、抽出された特徴間の関係関数及び入力画像と出力画像との間の差を学習することに基づいてトレーニングし得る。トレーニング済みの機械学習モデルは、デジタル画像最適化アルゴリズムとして使用し得る。

デジタル画像最適化アルゴリズムは、メモリ媒体１８１を使用してプロセッサ１８０で実行され、手術開始時の眼のデジタル画像、例えば手術開始時の眼のデジタル画像２０１又は手術開始時の眼のデジタル画像２０３を最適化するプロセッサ命令を生成し得る。プロセッサ１８０は、命令を実行して、眼の最適化されたデジタル画像１９１を生成し得る。眼の最適化されたデジタル画像１９１は、手術終了時の眼のデジタル画像、例えば手術終了時の眼のデジタル画像２０２又は手術終了時の眼のデジタル画像２０４と同等の、改善された画質を有し得る。眼の最適化されたデジタル画像１９１は、眼１０１のデジタル画像と比較して、改善したコントラスト、改善した鮮鋭度、改善した明瞭度、改善したダイナミックレンジ、低下したノイズ、低下した歪み、低下したビネット、又はそれらの任意の組合せを有し得る。

図３は、眼のデジタル画像を最適化して、眼科手術でのデジタル視覚化を改善する方法のフローチャートを提示する。ステップ３００において、眼のデジタル画像が捕捉される。眼のデジタル画像は、カメラ１５０等のカメラによって捕捉し得る。眼のデジタル画像は、手術開始時に捕捉し得るとともに、手術開始時の眼のデジタル画像２０１等のデジタル画像であり得、又は眼のデジタル画像は術中に捕捉し得る。眼のデジタル画像は、器具グレア１１０等の器具グレア、光学収差１２０等の光学収差、硝子体混濁１３０等の硝子体混濁、又はそれらの任意の組合せを有し得る。ステップ３１０において、デジタル画像最適化アルゴリズムは眼のデジタル画像に適用されて、眼の最適化されたデジタル画像１９１等の眼の最適化されたデジタル画像を生成する。デジタル画像最適化アルゴリズムは、トレーニング済み機械学習モデルであり得る。ステップ３２０において、眼の最適化されたデジタル画像は、デジタルディスプレイ１９０等のデジタルディスプレイに表示される。

図４は、機械学習モデルを使用して、眼科手術でのデジタル視覚化を改善するデジタル画像最適化アルゴリズムを生成する方法のフローチャートを提示する。ステップ４００において、カメラ１５０によって捕捉される手術開始時の眼のデジタル画像２０１等の眼の入力デジタル画像が手術開始時に捕捉される。ステップ４１０において、カメラ１５０によって捕捉される手術終了時の眼のデジタル画像２０２等の同じ眼の出力デジタル画像が手術終了時に捕捉される。ステップ４２０において、手術開始時の眼の入力デジタル画像及び手術終了時に捕捉された眼の出力デジタル画像はそれぞれ、１組のトレーニング画像における入力画像及び出力画像として使用されて、機械学習モデルをトレーニングする。ステップ４３０において、複数の患者の複数の入力画像及び出力画像についてステップ４００～４２０を繰り返す。これらの画像は、広範囲の外科医及び眼科病院から収集し得る。複数の入力画像及び出力画像を使用して、入力画像のみ、例えば手術開始時の眼のデジタル画像のみが提供される場合、出力画像、例えば手術終了時の眼のデジタル画像を予測するように機械学習モデルをトレーニングし得る。ステップ４４０において、トレーニング済み機械学習モデルをデジタル画像最適化アルゴリズムとして使用して、眼のデジタル画像を改良し得る。

代替の例において、デジタル画像最適化システム５００は、図５に示されるように、網膜アーケードアライメントテンプレートを提供することによって眼科手術でのデジタル視覚化を改善し得る。網膜アーケードは、網膜の脈管構造を含み得る。網膜アーケードは、耳側アーケード導管を含み得る。網膜アーケードを位置合わせすることにより、術中、異なる段階で捕捉された同じ眼のデジタル画像を位置合わせし得る。代替的には、他眼５０２（手術されない健康な眼）の網膜アーケードのデジタル鏡像の同じ患者の術眼５０１のデジタル画像への位置合わせは、術中、網膜アーケードアライメントテンプレートを提供し得る。これは、術眼の最適化されたデジタル画像を提供し得る。他眼は右眼であり得、術眼は同じ患者の左眼であり得る。代替的には、他眼は右眼であり得、術眼は同じ患者の左眼であり得る。

例えば、硝子体切除術中、術眼のデジタル画像への他眼の網膜アーケードの重ねられた位置合わせされたデジタル画像を使用して、網膜アーケードアライメントテンプレートを網膜再付着に提供することにより、デジタル視覚化を改善し得る。これは、少なくとも部分的に、硝子体切除術に続く環状歪み（ｃｙｃｌｏ－ｄｉｓｔｏｒｔｉｏｎ）を防止して、網膜剥離を正し得る。他眼の網膜アーケードのパターンは、任意の他の眼と比較して、術眼の網膜アーケードのパターンと最も良く類似し得る。位置合わせは、図５に示されるように、デジタル視覚化システムを使用して術中に行われ得る。視覚化システムは、２Ｄ又は３Ｄ視覚化システムであり得る。

デジタル画像最適化システム５００は、カメラ５５０、画像処理システム５７０、及びデジタルディスプレイ５９０を含み得る。手術用カメラ５５０は、デジタルカメラ、ＨＤＲカメラ、３Ｄカメラ、又はそれらの任意の組合せであり得る。カメラ５５０は、ＮＧＥＮＵＩＴＹ（登録商標）３Ｄ視覚化システム（Ｎｏｖａｒｔｉｓ ＡＧ Ｃｏｒｐ．，Ｓｗｉｔｚｅｒｌａｎｄ）の構成要素であり得る。カメラ５５０はまた、顕微鏡に結合されたカメラであってもよい。カメラ５５０は、顕微鏡の接眼レンズに取って代わってもよく、第５世代の画像キャプチャモジュール（ＩＣＭ５）３Ｄ手術用カメラであってもよい。カメラ５５０は、術眼５０１又は他眼５０２（図示せず）の立体デジタル画像を提供するように構成し得る。カメラ５５０は、レンズ５２１を含んでもよい。レンズ５２１はまた、オプトメカニカルフォーカスレンズ、マニュアルフォーカスレンズ、又はそれらの任意の組合せであってもよい。カメラ５５０は、電荷結合デバイス（ＣＣＤ）センサ又は相補型金属酸化物半導体（ＣＭＯＳ）センサであり得る少なくとも１つの画像センサ５５２を含んでもよい。カメラ５５０はモノクロカメラ又はカラーカメラであってもよく、少なくとも１つの画像センサ５５２は、モノクロ画像センサ又はカラー画像センサであってもよい。少なくとも１つの画像センサ５５２は、例えばベイヤーフィルタ等のカラーフィルタアレイを備えた画像センサであってもよく、又はカラーフィルタアレイを備えていない画像センサであってもよい。代替的には、カメラ５５０によって捕捉される画像は、光学コヒーレンストモグラフィ（ＯＣＴ）画像、多／超スペクトル画像、超音波画像、又はそれらの任意の組合せであり得る。

カメラ５５０によって捕捉される術眼５０１又は他眼５０２のデジタル画像は、視野５６０を含み得る。視野５６０は、術眼５０１又は他眼５０２の拡大ビューを含み得、網膜アーケード又は術眼５０１若しくは他眼５０２の他の領域の高倍率ビューを含み得る。

術前、カメラ５５０は、他眼５０２の眼底のテンプレートデジタル画像５９２を捕捉し得る。テンプレートデジタル画像５９２は、他眼の網膜のデジタル画像５１０、他眼の網膜中心静脈のデジタル画像５１２、他眼の網膜アーケードのデジタル画像５１５、他眼の視神経円板のデジタル画像５１７、又はそれらの任意の組合せを含み得る。術中、カメラ５５０は、術眼５０１の眼底の作業デジタル画像５９１を捕捉し得る。作業デジタル画像５９１は、他眼５０２のテンプレートデジタル画像５９２の視野５６０と同等の術眼５０１の視野５６０を有し得る。作業デジタル画像５９１は、術眼の網膜のデジタル画像５０９、術眼の網膜中心静脈のデジタル画像５１１、術眼の網膜アーケードのデジタル画像５１４、術眼の視神経円板のデジタル画像５１６、又はそれらの任意の組合せを含み得る。

カメラ５５０によって捕捉されたデジタル画像は、画像処理システム５７０によって処理し得る。画像処理システム５７０は、プロセッサ５８０を含み得る。カメラ５５０は、少なくとも１つの画像センサ５５２を使用して、術眼５０１又は他眼５０２の内部からレンズ５２１内に反射された光を検出し得、画像センサ５５２は、検出された光に対応する信号をプロセッサ５８０に送信し得る。プロセッサ５８０は、命令を実行して、術眼５０１の作業デジタル画像５９１、他眼５０２のテンプレートデジタル画像５９２、又はそれらの組合せを生成し得る。画像処理システム５７０は、メモリ媒体５８１を含むこともできる。作業デジタル画像５９１、テンプレートデジタル画像５９２、又はそれらの組合せは、メモリ媒体５８１に記憶し得る。

プロセッサ５８０は命令を実行して、テンプレートデジタル画像５９２のデジタル鏡像５９３を作成し得る。プロセッサ５８０は命令を実行して、デジタル鏡像５９３を作業デジタル画像５９１と位置合わせして、網膜アーケードアライメントテンプレート５９４を生成し得る。プロセッサ５８０は命令を実行して、他眼の視神経円板５１７を術眼の視神経円板５１６と位置合わせし、他眼の網膜中心静脈を術眼の網膜中心静脈と位置合わせすることにより、又はそれらの組合せにより、デジタル鏡像５９３を作業デジタル画像５９１と位置合わせし得る。プロセッサ５８０は命令を実行して、動脈静脈交差部（図示せず）、分岐静脈（図示せず）、又はそれらの組合せを位置合わせすることにより、デジタル鏡像５９３を作業デジタル画像５９１と位置合わせすることもできる。プロセッサ５８０はプロセッサ１８０と同様であり得る。

デジタルディスプレイ５９０は、眼科手術で使用可能である十分な解像度で術眼５０１のデジタル画像を表示することができる任意のタイプのスクリーン又はプロジェクタを含み得る。例えば、デジタル画像を提示する従来の硝子体網膜外科システムで使用されるタイプのディスプレイを含む、眼科手術に関連して使用される任意のタイプのスクリーン又はプロジェクタを含み得る。デジタルディスプレイ５９０はデジタルディスプレイ１９０と同様であり得る。

デジタルディスプレイ５９０は、作業デジタル画像５９１、テンプレートデジタル画像５９２、デジタル鏡像５９３、網膜アーケードアライメントテンプレート５９４、又はそれらの任意の組合せを表示し得る。デジタルディスプレイ５９０は、作業デジタル画像５９１及び網膜アーケードアライメントテンプレート５９４のオーバーレイを表示し得る。これは、網膜アーケードアライメントテンプレート５９４を網膜再付着のために提供することにより、眼科手術でのデジタル視覚化を改善し得る。網膜アーケードアライメントテンプレート５９４のオーバーレイを有する作業デジタル画像５９１は、作業デジタル画像５９１単独と比較して、眼の最適化されたデジタル画像を表し得る。デジタルディスプレイ５９０は、網膜アーケードアライメントテンプレート５９４と作業デジタル画像５９１との結合デジタル画像であるデジタル画像を表示し得る。結合デジタル画像はプロセッサ５８０によって生成し得る。結合画像に表示される作業デジタル画像５９１と網膜アーケードアライメントテンプレート５９４と割合は、例えばコントローラ５９５によって制御されるスライダバーを使用して外科医によって制御し得る。このようにして、外科医は、術中、網膜アーケードアライメントテンプレート５９４が視覚化に使用される程度を制御し得る。

デジタルディスプレイ５９０は、単一の画像又は立体視的観察用に２つの画像を表示することができる。デジタルディスプレイ５９０は、デジタルディスプレイ、スクリーン、ヘッドアップディスプレイ、ヘッドマウントディスプレイ、又はそれらの任意の組合せであってもよく、また、複数のディスプレイを含んでもよい。デジタルディスプレイ５９０は、フラットパネルディスプレイ又は超高精細３Ｄフラットパネルディスプレイであってもよい。デジタルディスプレイ５９０は、３Ｄ有機発光ダイオード（ＯＬＥＤ）手術用ディスプレイであってもよい。デジタルディスプレイ５９０上に表示される画像は、パッシブ円偏光眼鏡を通して観察することができる。デジタルディスプレイ５９０は、デジタル支援硝子体網膜手術（「ＤＡＶＳ」）システムの構成要素であってもよく、又はＮＧＥＮＵＩＴＹ（登録商標）３Ｄ視覚化システム（Ｎｏｖａｒｔｉｓ ＡＧ Ｃｏｒｐ．，Ｓｗｉｔｚｅｒｌａｎｄ）の構成要素であってもよい。

代替的には、デジタルディスプレイ５９０は、ピクチャインピクチャディスプレイであってもよく、少なくとも２つのデジタル画像を同時に表示し得る。例えば、デジタルディスプレイ５９０は、作業デジタル画像５９１及び網膜アーケードアライメントテンプレート５９４を同時に表示し得る。作業デジタル画像５９１はメイン画像として表示し得、網膜アーケードアライメントテンプレート５９４は差し込み位置に表示し得る。代替的には、作業デジタル画像５９１はメイン画像として表示し得、網膜アーケードアライメントテンプレート５９４のオーバーレイを有する作業デジタル画像５９１は差し込み位置に表示し得る。

デジタルディスプレイ５９０は、プロセッサ５８０又は他のプロセッサによって生成された作業デジタル画像５９１、テンプレートデジタル画像５９２、デジタル鏡像５９３、網膜アーケードアライメントテンプレート５９４、又はそれらの任意の組合せと、プロセッサ５８０又は他のプロセッサによって生成された他の情報とを表示し得る。そのような情報には、手術用パラメータ、手術モード、流量、眼圧、内視鏡ビデオ、ＯＣＴ画像、警告、デジタル画像、色分け、拡張現実情報等のグラフィック情報又はテキスト情報が含まれ得る。プロセッサ５８０は、円偏光眼鏡、デジタル接眼レンズ、又はヘッドマウントディスプレイを用いて見ることができる、デジタルディスプレイ５９０での表示に向けて、カメラ５５０を使用して作られたビデオをリフォーマットし得る。

デジタル画像最適化システム５００は、硝子体切除術後、網膜アーケードアライメントテンプレート５９４を網膜再付着のために提供することにより、眼のデジタル画像を最適化するのに使用し得る。画像処理システム５７０は、網膜が網膜アーケードアライメントテンプレート５９４を使用して再付着中であるとき、網膜の任意の位置合わせずれを検出し得る。網膜の位置合わせずれは、例えば軟質先端部カニューレを使用して調整し得る。画像処理システム５７０を使用して、位置合わせずれの程度を定量化することもできる。位置合わせずれの程度は、数学的、グラフィカル的、又はそれらの組合せで定量化されて、網膜再付着の外科医の評価について通知し得る。数学的情報、グラフィカル情報、又はそれらの組合せは、デジタル画像最適化システム５００によって更に使用されて、手術のアライメントの動きを外科医に示唆し得る。

図６は、網膜アーケードアライメントテンプレートを使用することにより、眼のデジタル画像を最適化して、眼科手術でのデジタル視覚化を改善する方法のフローチャートを提示する。ステップ６００において、術前、テンプレートデジタル画像５９２等の他眼のデジタル画像が捕捉される。ステップ６１０において、術中、作業デジタル画像５９１等の術眼のデジタル画像が捕捉される。ステップ６２０において、デジタル鏡像５９３等の他眼のデジタル画像の鏡像が生成される。ステップ６３０において、他眼のデジタル画像の鏡像は、網膜アーケードの特徴を使用して術眼のデジタル画像に位置合わせされて、網膜アーケードアライメントテンプレート５９４等の網膜アーケードアライメントテンプレートを生成する。例えば、デジタル画像は、視神経円板、網膜中心静脈、動脈静脈交差部、分岐静脈、又はそれらの任意の組合せを位置合わせすることによって位置合わせし得る。デジタル画像は２Ｄ又は３Ｄで位置合わせし得る。ステップ６４０において、網膜アーケードアライメントテンプレートは、術眼のデジタル画像へのオーバーレイとして表示される。ステップ６５０において、眼科手術が、網膜アーケードアライメントテンプレートを使用して術眼に対して実行される。網膜アーケードアライメントテンプレートを使用して改善されたデジタル視覚化から恩恵を受ける眼科処置の一例には、硝子体切除術に続く網膜の再付着があり得る。

別の代替の例では、デジタル画像最適化システム７００は、図７に示されるように、眼の内視鏡デジタル画像の超解像度最適化を提供することにより、眼科手術でのデジタル画像を改善し得る。これは、低解像度デジタル画像、例えば約３０，０００ピクセルの内視鏡デジタル画像の解像度を上げることにより、眼科手術でのデジタル視覚化を改善し得る。これにより、低解像度デジタル画像を高解像度デジタルディスプレイ、例えば１００万ピクセルを越えるデジタルディスプレイに改善された画質で表示することができる。

これより図７を参照すると、デジタル画像最適化システム７００は、内視鏡７１５、光ファイバ７４０、光ファイバ光源７４１、カメラ７５０、画像処理システム７７０、及びデジタルディスプレイ７９０を含み得る。画像処理システム７７０は、プロセッサ７８０及びメモリ媒体７８１を更に含み得る。デジタル画像最適化システム７００は、眼１０１の最適化された内視鏡デジタル画像７９１を提供して、眼科手術でのデジタル視覚化を改善し得る。

内視鏡７１５は、眼１０１に挿入し得る。内視鏡７１５は、眼１０１の内部の所望の視野７６０が、最適化された内視鏡デジタル画像７９１に捕捉されるように位置決めし得る。光ファイバ７４０は、内視鏡７１５内に位置決めし得、内視鏡７１５の先端部まで延在し得る。光ファイバ７４０は約３０，０００本の画像ファイバを含み得る。代替的には、光ファイバ７４０は、任意の適した数の画像ファイバを含んで、内視鏡７１５を使用して眼１０１の所望の最適化された内視鏡デジタル画像７９１を提供し得る。

光ファイバ７４０は光ファイバ光源７４１に結合し得る。光ファイバ光源７４１は、レーザ源、狭帯域レーザ源、広帯域レーザ源、スーパーコンティニュームレーザ源、白熱電球、ハロゲン電球、金属ハロゲン化物電球、キセノン電球、水銀蒸気電球、発光ダイオード（ＬＥＤ）、レーザエンジン、他の適したソース、又はそれらの任意の組合せであり得る。眼１０１の内部から反射された光は、光ファイバ７４０内の画像ファイバを伝播し得、カメラ７５０によって検出し得る。デジタル画像最適化システム７００は、カメラ７５０（図示せず）に加えて内視鏡７１５の接眼レンズを含むこともできる。

カメラ７５０は、少なくとも１つのカメラセンサ７５２を含み得る。少なくとも１つのカメラセンサ７５２は、相補型金属酸化物半導体（ＣＭＯＳ）センサ又は電荷結合デバイス（ＣＣＤ）センサであり得る。カメラ７５０は、モノクロカメラ又はカラーカメラであってもよく、少なくとも１つのカメラセンサ７５２は、モノクロ画像センサ又はカラー画像センサであってもよい。少なくとも１つのカメラセンサ７５２は、眼１０１の内部から反射された光であり得る、光ファイバ７４０によって伝播する光を使用してデジタル画像を捕捉し得る。少なくとも１つのカメラセンサ７５２は、眼１０１の内視鏡デジタル画像であり得る、眼１０１のデジタル画像を捕捉し得る。

光ファイバ７４０、光ファイバ光源７４１、カメラ７５０、及び少なくとも１つのカメラセンサ７５２は、制御デバイス７４２によって制御し得る。例えば、制御デバイス７４２は、光ファイバ光源７４１の強度、少なくとも１つのカメラセンサ７５２の感度、又はそれらの任意の組合せを調整し得る。図７は、デジタル画像最適化システム７００内に１つの内視鏡７１５を示しているが、デジタル画像最適化システム７００は複数の内視鏡７１５、光ファイバ７４０、カメラ７５０、及びカメラセンサ７５２を含んでもよい。この場合、複数の内視鏡７１５を眼１０１の複数の位置に挿入して、眼の複数の内視鏡デジタル画像を提供し得る。

デジタル画像最適化システム７００は、画像処理システム７７０を含み得る。少なくとも１つのカメラセンサ７５２によって捕捉されたデジタル画像は、画像処理システム７７０によって処理し得る。画像処理システム７７０はプロセッサ７８０を含み得る。カメラ７５０は、少なくとも１つのカメラ画像センサ７５２を使用して、眼１０１の内部から反射され、光ファイバ７４０によって伝播する光を検出し、検出された光に対応する信号をプロセッサ７８０に送信し得る。プロセッサ７８０は命令を実行して、眼１０１の内視鏡デジタル画像を生成し得る。

カメラ７５０によって捕捉された眼１０１の内視鏡デジタル画像は、画像処理システム７７０によって処理し得る。画像処理システム７７０は、メモリ媒体７８１を含むこともできる。眼１０１の内視鏡デジタル画像は、メモリ媒体７８１に記憶し得る。プロセッサ７８０は命令を実行して、内視鏡デジタル画像最適化アルゴリズムを眼１０１の内視鏡デジタル画像に適用して、眼の最適化された内視鏡デジタル画像７９１を生成し得る。眼の最適化された内視鏡デジタル画像７９１は、眼の超解像度デジタル画像であり得る。超解像度デジタル画像は、眼の低解像度内視鏡デジタル画像をアップスケーリングして、眼の高解像度内視鏡デジタル画像を生成することによって生成し得る。説明するように、眼の最適化された内視鏡デジタル画像７９１の生成に使用し得る方法の例には、限定ではなく、補間、多重露光画像ノイズ低減、機械学習、深層学習、又はそれらの任意の組合せがある。例えば補間法を使用すると、機械学習法を使用する場合よりも高速に、眼の最適化された内視鏡デジタル画像７９１を生成することができる。例えば機械学習法を使用すると、補間法を使用する場合よりも改善された、眼の最適化された内視鏡デジタル画像７９１を生成することができる。

内視鏡デジタル画像最適化アルゴリズムは、補間を使用して眼の最適化された内視鏡デジタル画像７９１を生成し得る。例えば、内視鏡デジタル画像最適化アルゴリズムは、眼１０１の内視鏡デジタル画像中の低品質対象ピクセルをコントラスト、鮮鋭度、明瞭度、又はそれらの任意の組合せがより高い隣接ピクセルで置換することにより、眼の最適化された内視鏡デジタル画像７９１を生成し得る。低品質対象ピクセルは、予期される色を表示しないピクセル、特定の色を永久的に表示するピクセル、永久的に白色のピクセル、永久的に黒色のピクセル、永久的に「ホットピクセル」として表示するピクセル、デッドピクセル、又はそれらの任意の組合せであり得る。対象ピクセルは、変更中の領域が概して小さい場合、いかなる目立つ画像歪みもなくピクセル画質を最適化するように変更し得る。内視鏡デジタル画像最適化アルゴリズムに含むことができる補間法の例には、限定ではなく、最近傍補間、線形補間、双線形補間、双三次補間、異方性フィルタリング、又はそれらの任意の組合せがあり得る。

別の例では、内視鏡デジタル画像最適化アルゴリズムは、多重露光画像ノイズ低減を使用して眼の最適化された内視鏡デジタル画像７９１を生成し得る。内視鏡７１５は、眼１０１の複数の内視鏡デジタル画像を結合して、眼の単一の最適化された内視鏡デジタル画像７９１を与えるように、対照領域にわたって外科医によって動的に走査し得る。

内視鏡デジタル画像最適化アルゴリズムは、機械学習モデルを使用してトレーニングし得る。機械学習モデルは、論じたように、複数のトレーニング画像を使用してトレーニングし得、複数のトレーニング画像は、上述した画像処理法の１つ等の画像処理法を使用して首尾良く最適化された眼の複数の内視鏡デジタル画像であり得る。例えば、眼の内視鏡デジタル画像の最適化は、外科医が眼の最適化された内視鏡デジタル画像を使用して手術を首尾良く完了した場合、成功したと見なし得る。

更なる例では、内視鏡デジタル画像最適化アルゴリズムは、深層学習法を使用して眼の最適化された内視鏡デジタル画像７９１を生成し得る。例えば、内視鏡デジタル画像最適化アルゴリズムは、深層学習を使用して単一画像超解像（ＳＩＳＲ）を利用し得る。ＳＩＳＲは、単一の低解像度デジタル画像から高解像度デジタル画像を生成するプロセスであり得る。一例では、ベリーディープ超解像（ＶＤＳＲ）ニューラルネットワークをＳＩＳＲに使用し得る。ＶＤＳＲニューラルネットワークは、低解像度デジタル画像と高解像度デジタル画像との間のマッピングを学習し得る。一般に、同じ対象の低解像度デジタル画像及び高解像度デジタル画像は、同様の画像内容を有し得る。低解像度デジタル画像は、高周波詳細において高解像度デジタル画像と異なり得る。同じ対象の高解像度画像と高解像度画像のサイズに一致するようにアップスケーリングされた低解像度画像との間のピクセル値の差分は、残差画像と呼ぶことができる。ＶＤＳＲニューラルネットワークは、眼の内視鏡デジタル画像の低解像度及び高解像度ペアの１組のトレーニング画像から残差画像を推定するように学習し得る。眼の高解像度内視鏡デジタル画像は、推定された残差画像を眼のアップスケーリングされた低解像度内視鏡デジタル画像に追加することにより、眼の低解像度内視鏡デジタル画像から再構築し得る。ＶＤＳＲニューラルネットワークを使用することにより、ＳＩＳＲは、眼１０１の低解像度内視鏡デジタル画像から眼１０１の高解像度内視鏡デジタル画像を復元し得る。眼１０１の高解像度内視鏡デジタル画像は、眼の最適化された内視鏡デジタル画像７９１であり得る。代替として、ＳＩＳＲを実行するために、他の適したニューラルネットワークが内視鏡デジタル画像最適化アルゴリズムによって使用され得る。

内視鏡デジタル画像最適化アルゴリズムは、少なくとも部分的に、カメラ７５０によって捕捉された眼１０１の内視鏡デジタル画像のノイズ低減、解像度増大、デジタル画質改善、又はそれらの任意の組合せを行い得る。例えば、眼の最適化された内視鏡デジタル画像７９１は、内視鏡デジタル最適化アルゴリズムが適用されなかった、カメラ７５０によって捕捉された眼１０１の内視鏡デジタル画像と比較して、増大したコントラスト、鮮鋭度、明瞭度、ダイナミックレンジ、又はそれらの任意の組合せを有し得る。デジタル画像最適化システム７００は内視鏡７１５を含むが、眼の超解像度デジタル画像は、カメラ、例えばカメラ１５０又はカメラ５５０等のカメラを用いて捕捉された眼のデジタル画像にも等しく提供することができる。

最適化された内視鏡デジタル画像７９１は、デジタルディスプレイ７９０に表示し得る。デジタルディスプレイ７９０は、眼科手術で使用可能である十分な解像度で、最適化された内視鏡デジタル画像７９１を表示可能な任意のタイプのスクリーン又はプロジェクタを含み得る。例えば、デジタル画像を提示する従来の硝子体網膜外科システムで使用されるタイプのディスプレイを含む、眼科手術に関連して使用される任意のタイプのスクリーン又はプロジェクタを含み得る。デジタルディスプレイ７９０は、最適化された内視鏡デジタル画像７９１を、眼１０１の別のデジタル画像、例えば眼の最適化されたデジタル画像１９１と同時に表示し得る。デジタルディスプレイ７９０は、眼１０１の内視鏡デジタル画像と最適化された内視鏡デジタル画像７９１との結合デジタル画像であるデジタル画像を表示し得る。結合デジタル画像はプロセッサ７８０によって生成し得る。結合画像に表示される眼１０１の内視鏡デジタル画像と眼の最適化された内視鏡デジタル画像７９１との割合は、例えばコントローラ７９２によって制御されるスライダバーを使用して外科医によって制御し得る。このようにして、外科医は、手術中、最適化された内視鏡デジタル画像７９１が視覚化に使用される程度を制御することができる。

デジタルディスプレイ７９０は、単一の画像又は立体視的観察用に２つの画像を表示することができる。デジタルディスプレイ７９０は、デジタルディスプレイ、スクリーン、ヘッドアップディスプレイ、ヘッドマウントディスプレイ、又はそれらの任意の組合せであってもよく、また、複数のディスプレイを含んでもよい。デジタルディスプレイ７９０は、フラットパネルディスプレイ又は超高精細３Ｄフラットパネルディスプレイであってもよい。デジタルディスプレイ７９０は、３Ｄ有機発光ダイオード（ＯＬＥＤ）手術用ディスプレイであってもよい。デジタルディスプレイ７９０上に表示される画像は、パッシブ円偏光眼鏡を通して観察することができる。デジタルディスプレイ７９０は、デジタル支援硝子体網膜手術（「ＤＡＶＳ」）システムの構成要素であってもよく、又はＮＧＥＮＵＩＴＹ（登録商標）３Ｄ視覚化システム（Ｎｏｖａｒｔｉｓ ＡＧ Ｃｏｒｐ．，Ｓｗｉｔｚｅｒｌａｎｄ）の構成要素であってもよい。

代替的には、デジタルディスプレイ７９０は、ピクチャインピクチャディスプレイであってもよく、少なくとも２つのデジタル画像を同時に表示し得る。例えば、デジタルディスプレイ７９０は、最適化された内視鏡デジタル画像７９１及び眼の最適化されたデジタル画像１９１等の眼１０１の別のデジタル画像を同時に表示し得る。最適化された内視鏡デジタル画像７９１は、メイン画像として表示し得、眼１０１の別のデジタル画像は差し込み位置に表示し得る。代替的には、眼１０１の別のデジタル画像はメイン画像として表示し得、最適化された内視鏡デジタル画像７９１は差し込み位置に表示し得る。

デジタルディスプレイ７９０は、プロセッサ７８０又は別のプロセッサによって生成された、最適化された内視鏡デジタル画像７９１と、プロセッサ７８０又は別のプロセッサによって生成された他の情報とを表示し得る。そのような情報には、手術用パラメータ、手術モード、流量、眼圧、内視鏡ビデオ、ＯＣＴ画像、警告、デジタル画像、色分け、拡張現実情報等のグラフィック情報又はテキスト情報が含まれ得る。プロセッサ７８０は、円偏光眼鏡、デジタル接眼レンズ、又はヘッドマウントディスプレイを用いて見ることができる、デジタルディスプレイ７９０での表示に向けて、カメラ７５０を使用して作られたビデオをリフォーマットし得る。

図８は、内視鏡デジタル画像最適化アルゴリズムを使用することにより、眼の内視鏡デジタル画像を最適化して、眼科手術でのデジタル視覚化を改善する方法のフローチャートを提示する。ステップ８００において、患者の眼の内視鏡デジタル画像が、内視鏡７１５等の内視鏡を使用して捕捉される。ステップ８１０において、内視鏡デジタル画像最適化アルゴリズムが眼の内視鏡デジタル画像に適用されて、眼の最適化された内視鏡デジタル画像７９１等の眼の最適化された内視鏡デジタル画像を生成する。内視鏡デジタル画像最適化アルゴリズムは、補間、多重露光画像ノイズ低減、機械学習、深層学習、又はそれらの任意の組合せを使用し得る。ステップ８２０において、眼の最適化された内視鏡デジタル画像は、デジタルディスプレイ７９０等のデジタルディスプレイに表示される。

図９は、眼科手術でのデジタル視覚化を改善する、機械学習モデルを使用して内視鏡デジタル画像最適化アルゴリズムを生成する方法のフローチャートを提示する。ステップ９００において、内視鏡７１５によって捕捉された眼１０１の内視鏡デジタル画像等の患者の眼の内視鏡デジタル画像が捕捉される。ステップ９１０において、眼の内視鏡デジタル画像は、補間、多重露光画像ノイズ低減、又はそれらの組合せ等の画像処理法を使用して最適化されて、眼の最適化された内視鏡デジタル画像７９１等の眼の最適化された内視鏡デジタル画像を生成する。眼の内視鏡デジタル画像の最適化は、外科医が眼の最適化された内視鏡デジタル画像を使用して手術を首尾良く完了した場合、成功したと見なし得る。ステップ９２０において、眼の内視鏡デジタル画像及び眼の最適化された内視鏡デジタル画像はそれぞれ、機械学習モデルをトレーニングするための１組のトレーニング画像における入力画像及び出力画像として使用される。ステップ９３０において、ステップ９００～９２０が、複数の患者の内視鏡デジタル画像の複数の入力画像及び出力画像に対して繰り返される。これらの画像は、広範囲の外科医及び眼科病院から収集し得る。複数の入力画像及び出力画像を使用して、入力画像のみ、例えば眼の内視鏡デジタル画像のみが提供される場合、出力画像、例えば眼の最適化された内視鏡デジタル画像を予測するように機械学習モデルをトレーニングし得る。ステップ９４０において、トレーニング済み機械学習モデルを内視鏡デジタル画像最適化アルゴリズムとして使用して、眼の内視鏡デジタル画像を改良し得る。

デジタル画像最適化システム１００、デジタル画像最適化システム５００、及びデジタル画像最適化システム７００は、図１０に示されるように、最適化ネットワーク１０００と併せて使用し得る。最適化ネットワーク１０００は、通信ネットワーク１０１０及びデジタル画像管理システム１０１５を更に含み得る。図１０は、デジタル画像管理システム１０１５を使用して、眼１０１のデジタル画像から眼の最適化されたデジタル画像１１９１を生成する一例を示す。図１０は最適化ネットワーク１０００においてカメラ１５０を含むが、最適化ネットワーク１０００は代替的には、内視鏡７１５等の内視鏡又は任意の他の適した眼科視覚化システムを含み得る。デジタル画像管理システム１０１５は、通信ネットワーク１０１０を経由して画像処理システム１７０等のローカル画像処理システムと通信し得る。代替的には、デジタル画像管理システム１０１５は、画像処理システム１７０等のローカル画像処理システムの一部であってもよく、又はこれを含んでもよい。

デジタル画像管理システム１０１５は、眼１０１の複数のトレーニング画像を使用して、機械学習モデルをトレーニングし得る。例えば、デジタル画像管理システム１０１５は、手術開始時に捕捉された眼の複数のデジタル画像及び手術終了時に捕捉された同じ眼の複数のペアになったデジタル画像、例えば手術開始時の眼のデジタル画像２０１及び手術終了時の眼のデジタル画像２０２を使用して、機械学習モデルをオフラインでトレーニングし得る。デジタル画像管理システム１０１５は代替的には、画像処理法を使用して首尾良く最適化された眼の複数の内視鏡デジタル画像を使用して、機械学習モデルをオフラインでトレーニングし得る。機械学習モデルのトレーニングに使用されるトレーニング画像は、通信ネットワーク１０１０を介してデジタル画像管理システム１０１５にアップロードし得る。機械学習モデルのトレーニングに使用される画像は、デジタル支援硝子体網膜手術システム、例えばＮＧＥＮＵＩＴＹ（登録商標）３Ｄ視覚化システム（Ｎｏｖａｒｔｉｓ ＡＧ Ｃｏｒｐ．，Ｓｗｉｔｚｅｒｌａｎｄ）を使用して捕捉し得る。機械学習モデルのトレーニングに使用される画像は、複数の外科医によって捕捉し得る。機械学習モデルのトレーニングに使用される画像は、複数の場所における複数の患者の画像であり得る。機械学習モデルのトレーニングに使用される画像は、同様の解像度の画像、同様のカメラを用いて捕捉された画像、同様の医療処置中に捕捉された画像、又はそれらの任意の組合せであり得る。

術中、デジタル画像管理システム１０１５は、トレーニング済み機械学習モデルを使用して眼１０１のデジタル画像を処理して、眼の最適化されたデジタル画像１１９１を生成し得る。眼の最適化されたデジタル画像１１９１は、デジタル画像管理システム１０１５によって処理されていない、カメラ１５０によって捕捉された眼のデジタル画像よりも低い器具グレア、低い光学収差、低い硝子体混濁、又はそれらの任意の組合せを有し得る。眼の最適化デジタル画像１１９１は、デジタル画像管理システム１０１５によって処理されていない、カメラ１５０によって捕捉された眼１０１のデジタル画像よりも高いコントラスト、鮮鋭度、明瞭度、ダイナミックレンジ、又はそれらの任意の組合せを有し得る。

図１１は、眼の最適化されたデジタル画像１１９１であり得る眼の最適化されたデジタル画像を特定する解決策の一例を示す。デジタル画像管理システム１０１５は画像処理システム１１７０を含み得、画像処理システム１１７０は、プロセッサ１１８０、メモリ媒体１１８１、及び機械学習モデル１０２５を更に含み得る。画像処理システム１１７０は、眼１０１のデジタル画像における情報に基づいて差分を計算し、差分を眼１０１のデジタル画像と結合することにより、眼１０１のデジタル画像から眼の最適化されたデジタル画像を特定し得る。差分は、眼１０１のデジタル画像の生のピクセルデータに基づいて計算し得る。例えば、眼１０１のデジタル画像は、手術開始時、デジタル画像最適化システム１００によって捕捉し得る。眼１０１のデジタル画像は、器具グレア、光学収差、硝子体混濁、又はそれらの任意の組合せを含み得る。画像処理システム１１７０は、眼１０１のデジタル画像の生のピクセルデータに基づいて差分を計算し得る。差分は、機械学習モデル１０２５を使用して計算し得る。画像処理システム１１７０は更に、眼１０１のデジタル画像を差分と結合することによって眼の最適化されたデジタル画像を特定し得る。

図１１に示されるように、デジタル画像最適化システム１００は、眼１０１のデジタル画像を捕捉し、それを画像処理システム１１７０に送信し得る。デジタル画像最適化システム１００は、通信ネットワーク１０１０等の通信ネットワークを使用して、眼１０１のデジタル画像を画像処理システム１１７０に送信し得る。画像処理システム１１７０は、デジタル画像管理システム１０１５に含まれ得る。したがって、画像処理システム１１７０は、リモート眼科視覚化システムから捕捉された眼のデジタル画像を処理して、最適化されたデジタル画像を生成し得る。代替的には、画像処理システム１１７０は、トレーニングされると、眼科視覚化システムにローカルに、例えばデジタル画像最適化システム１００内の画像処理システム１７０に記憶し得る。この例では、画像処理システム１１７０は、眼１０１のデジタル画像をローカルで最適化し得る。

画像処理システム１１７０は、機械学習モデル１０２５を使用して眼１０１のデジタル画像の差分を計算し得る。機械学習モデル１０２５は、図１１に示されるように、複数のトレーニング画像１０３０を使用してトレーニングし得る。複数の眼１１０１のトレーニング画像１０３０を取得し得る。各組のトレーニング画像１０３０は、例えば手術開始時の眼のデジタル画像２０１であり得る入力画像と、例えば手術終了時の眼のデジタル画像２０２であり得る出力画像とを含む。画像処理システム１１７０は、トレーニング画像１０３０にアクセスして、機械学習モデル１０２５をトレーニングし得る。機械学習モデル１０２５は、（１）入力画像から特徴を抽出し、（２）抽出された特徴と、入力画像と出力画像との間の差分との間の関係関数を学習することに基づいてトレーニングし得る。したがって、入力画像のみが提供される場合、機械学習モデル１０２５を使用して、出力画像を予測し得る。代替的には、任意の適したトレーニング画像１０３０を任意の適した様式で取得して、眼のデジタル画像を最適化するように機械学習モデル１０２５をトレーニングし得る。

図１２は、眼のデジタル画像における情報に基づいて差分を計算するため、例えば手術開始時の眼のデジタル画像２０１と手術終了時の眼のデジタル画像２０２との間の差分を計算するための機械学習モデル１０２５の一例の統合アーキテクチャ１２００を示す。統合アーキテクチャ１２００は、畳み込みニューラルネットワーク（ＣＮＮ）１２１０と、少なくとも１つの長短期メモリユニット（ＬＳＴＭ）１２２０とを含み得る。畳み込みニューラルネットワーク１２１０は、画像の解析に有効であり得る一種の深層フィードフォワード人工ニューラルネットワークを含み得る。畳み込みニューラルネットワーク１２１０は、必要な前処理が最小である多様な多層パーセプトロンを使用し得る。多層パーセプトロンは、その重み共有アーキテクチャ及び平行移動（ｔｒａｎｓｌａｔｉｏｎ）不変特性により、シフト不変又は空間不変人工ニューラルネットワークとしても知られている。畳み込みニューラルネットワーク１２１０は複数の連続層を含み得る。少なくとも１つの長短期メモリユニット１２２０は、リカレントニューラルネットワークを含み得、リカレントニューラルネットワークは、最終的にはより大きなリカレントニューラルネットワークの構築構成要素又は隠れ層のブロックとして使用し得る。長短期メモリユニット１２２０は、従来のリカレントニューラルネットワークにおける接続と同様のリカレント接続を含み得るため、それ自体がリカレントネットワークであり得る。畳み込みニューラルネットワーク１２１０及び少なくとも１つの長短期メモリユニット１２２０は統合し得る。統合は、畳み込みニューラルネットワーク１２１０の複数の連続層のうちの最後の後に少なくとも１つの長短期メモリユニット１２２０を挿入することによって達成し得る。畳み込みニューラルネットワーク１２１０は、全結合層１２１１である最後の連続層を含み得る。少なくとも１つの長短期メモリユニット１２２０は、全結合層１２１１の後に挿入し得る。少なくとも１つの長短期メモリユニット１２２０は、眼のデジタル画像の生のピクセルデータ、例えば画像幅、画像長さ、カラーチャネルデータ、又はそれらの任意の組合せに対応し得る。少なくとも１つの長短期メモリユニット１２２０の出力は、出力ベクトル１２３０であり得る。画像処理システム１１７０は、出力ベクトル１２３０を使用して、眼のデジタル画像における情報に基づいて差分を計算し得る。代替として、画像処理システム１１７０は、機械学習モデル１０２５のトレーニングに任意の適したアーキテクチャを使用し得る。

画像処理システム１１７０は、畳み込みニューラルネットワーク１２１０を使用して複数のトレーニング画像１０３０を処理することにより、複数のトレーニング画像１０３０の特徴表現を生成し得る。畳み込みニューラルネットワーク１２１０は、予めトレーニングされた分類ネットワークに基づき得る。例えば、予めトレーニングされた分類ネットワークは、残差ネットワークを含み得る。画像処理システム１１７０は、予めトレーニングされた分類ネットワークの最後の全結合層１２１１を変更することにより、畳み込みニューラルネットワーク１２１０を実施し得る。画像処理システム１１７０は、畳み込みニューラルネットワーク１２１０の出力を複数のトレーニング画像１０３０の生成された特徴表現として使用し得る。特徴表現の一例は数値ベクトルであり得る。画像処理システム１１７０は、畳み込みニューラルネットワーク１２１０の出力を少なくとも１つの長短期メモリユニット１２２０の入力として使用することもできる。代替として、特徴表現は、任意の適した様式で任意の適した畳み込みニューラルネットワークを使用して生成し得る。

画像処理システム１１７０は、複数のトレーニング画像１０３０の特徴表現と、トレーニング画像１０３０の入力画像及びシステム画像のペア間の差分との間の関係関数を学習し得る。関係関数の学習は、機械学習統合アーキテクチャ１２００及び特定の損失関数に基づき得る。関係関数は写像関数を含み得る。写像関数の入力は、入力画像の特徴表現及び入力画像と対応する出力画像との間の差分を含み得る。写像関数の出力は、眼の予測された仮説的最適化デジタル画像と対応する出力画像との間の差分を含み得る。差分は、デジタル画像の生のピクセルデータ、例えば画像幅、画像長さ、カラーチャネルデータ、又はそれらの任意の組合せに対応する値を含み得る。写像関数は、特定の損失関数に更に基づき得る。例えば、損失関数は平滑Ｌ１損失関数であり得る。任意の変数ｘについて、平滑Ｌ１損失関数は、
として定義し得る。代替として、画像処理システム１１７０は、任意の適した関係関数を任意の適した様式で学習し得る。

図１３は、機械学習モデル１０２５等の機械学習モデルをトレーニングする方法のフローチャートを提示する。ステップ１３００において、画像処理システム１１７０等の画像処理システムは、トレーニング画像１０３０等の複数のトレーニング画像を統合アーキテクチャ１２００等の統合アーキテクチャに入力し得る。複数のトレーニング画像は、複数の入力画像及び複数の対応する出力画像を含み得る。入力画像は例えば、手術開始時の眼のデジタル画像２０１であり得、出力画像は例えば、手術終了時の眼のデジタル画像２０２であり得る。ステップ１３１０において、画像処理システムは畳み込みニューラルネットワーク１２１０等の畳み込みニューラルネットワークを使用して、複数のトレーニング画像のうちの複数の入力画像の特徴表現を生成し得る。ステップ１３２０において、画像処理システムは統合アーキテクチャを使用して、眼の複数の予測された最適化デジタル画像と対応する出力画像との間の複数の仮説的差分を計算し得る。複数の仮説的差分は、複数の対応する入力画像の特徴表現を使用して計算し得る。ステップ１３３０において、画像処理システムは、複数の仮説的差分と、複数の入力画像と複数の対応する出力画像との間で計算された複数の差分との間の損失を計算し得る。損失は損失関数を使用して計算し得、損失関数は平滑Ｌ１損失関数を含み得る。ステップ１３４０において、画像処理システムは、全体損失が予め定義された閾値よりも小さいか否かを評価し得る。全体損失が予め定義された閾値よりも小さくない場合、画像処理システムはステップ１３５０に進み得る。ステップ１３５０において、画像処理システムは統合アーキテクチャのパラメータを更新し得る。次いでステップ１３１０～１３４０のサイクルを繰り返し得る。全体損失が予め定義された閾値よりも小さい場合、画像処理システムはステップ１３６０に進み得る。ステップ１３６０において、画像処理システムは、統合アーキテクチャのパラメータを記憶し、トレーニングを終了し得る。これは、機械学習モデルが収束したためであり得る。代替的には、眼のデジタル画像を最適化するように機械学習モデルをトレーニングする任意の適した方法を使用し得る。

画像処理システム１１７０は、デジタル画像管理システム１０１５と関連するシステムでトレーニングし得る。トレーニングされると、画像処理システム１１７０はサーバで動作し得、クラウドベースのデジタル画像処理サービスに使用し得る。代替的には、トレーニングされると、画像処理システム１１７０をローカル眼科視覚化システムに配布し得る。これは、デジタル画像最適化システム１００、デジタル画像最適化システム５００、デジタル画像最適化システム７００、又はそれらの任意の組合せ等のローカルデジタル画像最適化システムを含み得る。

例えば、トレーニング済みの画像処理システム１１７０は、眼のデジタル画像を受信し得る。眼のデジタル画像は、カメラ１５０等のカメラによって捕捉されてもよく、又は内視鏡７１５等の内視鏡によって捕捉されてもよい。画像処理システム１１７０は、トレーニング済み機械学習モデル１０２５を使用して眼のデジタル画像を処理することにより、眼の最適化されたデジタル画像を計算し得る。画像処理システム１１７０はまず、例えば畳み込みニューラルネットワーク１２１０を使用して、トレーニング済み機械学習モデル１０２５を使用して眼のデジタル画像を処理することにより、眼のデジタル画像の特徴表現を生成し得る。次いで画像処理システム１１７０は、例えば少なくとも１つの長短期メモリユニット１２２０を使用して、トレーニング済み機械学習モデルを使用して、生成された特徴表現及び眼のデジタル画像を処理し得る。次いで画像処理システム１１７０は、眼のデジタル画像と眼の予測された最適化デジタル画像との間の差分を出力し得る。画像処理システム１１７０はこの差分を使用して、眼のデジタル画像から眼の最適化されたデジタル画像を計算し得る。代替的には、画像処理システム１１７０は、眼の任意のデジタル画像の最適化されたデジタル画像を任意の適した様式で計算し得る。

デジタル画像最適化システム１００、デジタル画像最適化システム５００、デジタル画像最適化システム７００、及び最適化ネットワーク１０００は、図１４に示されるように、デジタルタイムアウトシステム１４００と併せて使用し得る。デジタルタイムアウトシステム１４００は、識別マーカ１４０５、カメラ１４５０、画像処理システム１４７０、デジタルディスプレイ１４９０、通信ネットワーク１０１０、及びデジタル画像管理システム１０１５を含み得る。画像処理システム１４７０は、プロセッサ１４８０及びメモリ媒体１４８１を更に含み得る。

カメラ１４５０は、カメラ１５０等のカメラであり得る。カメラ１４５０は、デジタル支援硝子体網膜手術（「ＤＡＶＳ」）システムの構成要素であってもよく構成要素であってもよく、又はＮＧＥＮＵＩＴＹ（登録商標）３Ｄ視覚化システム（Ｎｏｖａｒｔｉｓ ＡＧ Ｃｏｒｐ．，Ｓｗｉｔｚｅｒｌａｎｄ）の構成要素であってもよい。デジタルディスプレイ１４９０は、デジタルディスプレイ１９０等のディスプレイであり得る。デジタルディスプレイ１４９０は、デジタル支援硝子体網膜手術（「ＤＡＶＳ」）システムの構成要素であってもよく、又はＮＧＥＮＵＩＴＹ（登録商標）３Ｄ視覚化システム（Ｎｏｖａｒｔｉｓ ＡＧ Ｃｏｒｐ．，Ｓｗｉｔｚｅｒｌａｎｄ）の構成要素であってもよい。

識別マーカ１４０５は患者１４１０に固定し得る。識別マーカ１４０５は、患者１４１０の眼１０１の上に固定し得る。識別マーカ１４０５は、患者１４１０の手術を受ける眼１０１の上に固定し得る。代替的には、識別マーカ１４０５は、患者１４１０の、手術を促進する任意の位置に固定し得る。識別マーカ１４０５は、リムーバブル転写式タトゥー、パッチ、ステッカー、テープ、又はそれらの任意の組合せであり得る。識別マーカ１４０５は、落ち得ないマーカ、滲み得ないマーカ、誤って適用され得ないマーカ、又はそれらの組合せであるような、患者１４１０に固定される任意の他の適したマーカであってもよい。

識別マーカ１４０５は白色背景又は黒色背景であり得る。代替的には、識別マーカ１４０５は白色背景を背にした黒色であり得る。識別マーカ１４０５は、例えば十字形等のロケータ１４３０を含んでもよい。カメラ１４５０はロケータ１４３０を識別し、ロケータ１４３０に相対した特定の位置にそれ自体を位置決めし得る。カメラ１４５０はロボット制御されるカメラであり得る。カメラ１４５０は、６つの自由度で動作することができる。ロケータ１４３０は、カメラ１４５０が患者１４１０の眼１０１の上にそれ自体を自動的に配置できるようにし得る。

識別マーカ１４０５は、患者１４１０と関連する機械可読情報１４２０を含み得る。例えば、機械可読情報１４２０は、バーコード等の機械可読マークを含み得る。バーコードは一次元バーコードであり得る。バーコードは多次元バーコードであり得る。バーコードはクイックレスポンス（ＱＲ）コード１４２５であり得る。別の例において、機械可読情報１４２０は記号であり得、又は記号を含み得る。記号は、光学文字認識（ＯＣＲ）プロセス及び／又はシステムを介して処理し得る手書き言語（例えば英語、独語、仏語、中国語、ロシア語等）の文字であり得、又はそれを含み得る。

機械可読情報１４２０は、患者１４１０と関連する情報の記憶に使用し得る。患者１４１０と関連する情報は、患者１４１０と関連する識別情報を含み得る。識別情報は、中でも特に氏名、生年月日、及び政府識別番号の１つ又は複数を含み得る。患者１４１０と関連する情報は、患者１４１０と関連する医療情報を含むこともできる。患者１４１０と関連する医療情報は、中でも特に、医療処置、投薬リスト、患者１４１０の医師、医療処置の対象である患者１４１０の部位、１つ又は複数の薬物アレルギー、診断、及び医療処置での患者１４１０の向きの１つ又は複数を含み得る。患者１４１０と関連する医療情報は、手術する眼、例えば右眼又は左眼を含み得る。別の例において、患者１４１０と関連する情報は索引付け情報を含み得る。索引付け情報は、患者１４１０と関連する情報を記憶するデータベース及び／又はストレージデバイスへの索引付けに使用し得る。索引付け情報は、患者１４１０と関連する情報を記憶するデータベース及び／又はストレージデバイスから、患者１４１０と関連する情報を検索するのに使用し得るキーとして使用し得、又はそのキーの作成に使用し得る。

機械可読情報１４２０は、任意の種類のサポート媒体フォーマットで、例えば紙、布、プラスチックカード、ステッカー、又はそれらの任意の組合せで、識別マーカ１４０５上にプリントし得る。機械可読情報１４２０は、バーコード並びに／或いはカスタム光学コード及び／又はマークを含み得る。カメラ１４５０は、識別マーカ１４０５のデジタル画像を捕捉し、信号をプロセッサ１４８０に送信し得る。カメラ１４５０は、患者１４１０の手術する眼１０１のデジタル画像を捕捉し、信号をプロセッサ１４８０に送信してもよい。カメラ１４５０は、機械可読情報１４２０を取得してもよい。機械可読情報１４２０は、プロセッサ１４８０を使用して画像処理システム１４７０によって処理し得る。患者１４１０の眼１０１のデジタル画像も、プロセッサ１４８０を使用して画像処理システム１４７０によって処理し得る。カメラ１４５０は、手術室において識別マーカ１４０５を認識することによって機械可読情報１４２０を自動的に取得し得る。機械可読情報１４２０は、カメラ１４５０が機械可読情報１４２０を取得すると、カメラ１４５０の自動ホワイトバランス色較正を開始し得る。

機械可読情報１４２０の処理は、１つ又は複数の画像を処理して、機械可読情報１４２０を介して記憶された情報を特定することを含み得る。例えば、１つ又は複数の画像は、医療処置と関連する情報を含む１つ又は複数のバーコードを含み得る。１つ又は複数のバーコードは、本明細書に記載される情報を含み得、機械可読情報１４２０の処理は、機械可読情報１４２０から医療処置と関連する情報を検索することを含み得る。

機械可読情報１４２０はプロセッサ１４８０を使用して処理されて、患者データを特定し得る。一例では、機械可読情報１４２０は患者データを含み得る。別の例では、機械可読情報１４２０を処理して患者データを特定することは、ストレージデバイスから患者の１つ又は複数の部位を検索することを含み得る。ストレージデバイスから検索される患者データは、計画されている医療処置についての情報、前の眼科手術若しくは検査からの画像データ、前の眼科手術若しくは検査からの診断データ、前の眼の状態についての情報、又はそれらの任意の組合せを含み得る。検索された患者データは、デジタルディスプレイ１４９０に表示し得る。検索された患者データは、デジタルディスプレイ１４９０にピクチャインピクチャディスプレイとして表示し得る。機械可読情報１４２０は、暗号化された情報を含み得る。例えば、機械可読情報１４２０を処理して患者データを特定することは、機械可読情報１４２０を介して記憶された情報を復号化して、患者データを特定することを含み得る。

機械可読情報１４２０は、手術開始時に読み取り得る。機械可読情報１４２０は、手術終了時に読み取り得る。代替的には、機械可読情報１４２０は術中の必要な任意のときに読み取り得る。機械可読情報１４２０の読み取りは、デジタルタイムアウトを開始し得る。デジタルタイムアウトは、患者１４１０と関連する情報が、外科医、手術室内のスタッフ、又はそれらの組合せに提供された情報と一致することの計算チェックを提供し得る。デジタルタイムアウトは、患者１４１０と関連する情報と比較した、外科医、手術室内のスタッフ、又はそれらの組合せに提供された情報における任意のエラーを検出するのに使用し得る。例えば、デジタルタイムアウトは、患者の識別情報、計画されている医療処置、手術する眼、又はそれらの任意の組合せのパリティチェックの外科的均等物を提供し得る。

デジタルタイムアウトは、患者１４１０の識別情報を確認し得る。デジタルタイムアウト中、画像処理システム１４７０は、機械可読情報１４２０に記憶された患者１４１０と関連する識別情報を外科医、手術室内のスタッフ、又はそれらの組合せに提供された情報と比較し得る。デジタルタイムアウト中、画像処理システム１４７０は機械可読情報１４２０を使用して、患者の眼の画像を検索し、この画像を、カメラ１４５０を用いて捕捉された患者１４１０の眼１０１のデジタル画像と比較し得る。これは、患者１４１０の身元を確認し得る。

デジタルタイムアウトは、患者１４１０に計画されている医療処置を確認し得る。デジタルタイムアウト中、画像処理システム１４７０は、患者１４１０と関連する医療情報において提供される、手術する眼の識別情報を、外科医、手術室内のスタッフ、又はそれらの組合せに提供された情報における手術する眼の識別情報と比較し得る。デジタルタイムアウト中、画像処理システム１４７０は、実行しようとしている医療処置を、患者１４１０と関連する医療情報に記録されている、計画されている医療処置と比較し得る。

画像処理システム１４７０は、機械可読情報１４２０によって提供される患者１４１０と関連する情報と、外科医、手術室内のスタッフ、又はそれらの組合せに提供された情報との間の不一致を特定し得る。画像処理システム１４７０は、患者１４１０と関連する情報と、外科医、手術室内のスタッフ、又はそれらの組合せに提供された情報との間の一致を特定し得る。画像処理システム１４７０は、患者１４１０と関連する情報と、外科医、手術室内のスタッフ、又はそれらの組合せに提供された情報との間の不一致、一致、又はそれらの組合せを、デジタルディスプレイ１４９０上に表示することによって特定し得る。代替的には、画像処理システム１４７０は、任意の適した手段を使用して、患者１４１０と関連する情報と、外科医、手術室内のスタッフ、又はそれらの組合せに提供された情報との間の不一致、一致、又はそれらの組合せを報告し得る。患者１４１０と関連する情報と、外科医、手術室内のスタッフ、又はそれらの組合せに提供された情報との間に不一致が存在する場合、デジタルタイムアウトシステム１４００は、外科医が医療機器、例えばカメラ１４５０を使用するのを阻止し得る。

機械可読情報１４２０は、最適化ネットワーク、例えば最適化ネットワーク１０００において利用することもできる。機械可読情報１４２０は、眼１０１の対応する特定のデジタル画像と関連し得、又はそれと共にデジタル的に記憶し得る索引付け情報を含み得る。例えば、機械可読情報１４２０によって提供される索引付け情報は、患者１４１０の眼１０１の対応するデジタル画像と共にデジタル画像管理システム１０１５にデジタル的に記憶し得る。デジタル画像管理システム１０１５は、眼１０１のデジタル画像から眼の最適化されたデジタル画像１４９１を生成し得る。デジタル画像管理システム１０１５は、通信ネットワーク１０１０を経由して画像処理システム１４７０等のローカル画像処理システムと通信し得る。

デジタル画像管理システム１０１５は、トレーニング画像１０３０等の１組のトレーニング画像における眼１０１の患者デジタル画像を使用して、機械学習モデル１０２５等の機械学習モデルをトレーニングし得る、画像処理システム１１７０等の画像処理システムを含み得る。機械可読情報１４２０によって提供される患者１４１０と関連する情報は、眼１０１の患者デジタル画像についての追加情報を提供し得る。これは、最適化ネットワークに眼のデジタル画像を記憶するための記録管理において有用であり得る。機械可読情報１４２０によって提供される患者１４１０と関連する情報は、機械学習モデルをトレーニングするためにトレーニング画像を選択するに当たっても有用であり得る眼１０１の患者デジタル画像についての追加情報を提供し得る。例えば、性別、年齢、眼の状態、又はそれらの任意の組合せ等の情報を使用して、眼の最適化された画像を計算するようにトレーニングされた画像処理システムを提供するために、トレーニング画像として選択される眼のデジタル画像をフィルタリングし得る。

図１５は、デジタルタイムアウトを実行する方法のフローチャートを提示する。ステップ１５００において、識別マーカ１４０５にプリントされた機械可読情報１４２０等の機械可読情報をカメラ１４５０等のカメラによって取得し得る。ステップ１５１０において、例えば画像処理システム１４７０によって機械可読情報を処理する。ステップ１５２０において、手術室内の外科医、スタッフ、又はそれらの組合せに提供された情報と比較した患者の識別情報の正確性が、機械可読情報に基づいて判断される。患者の識別情報の正確性は、患者と関連付けられ識別情報、例えば患者１４１０と関連する識別情報を、例えばその日の医療処置にスケジュールされた患者のリストであり得る手術室内の外科医、スタッフ、又はそれらの組合せに提供された情報と比較することによって判断し得る。ステップ１５３０において、患者の識別情報が不正確である場合、計画された医療処置は停止される。ステップ１５４０において、患者の識別情報が正確である場合、手術室内の外科医、スタッフ、又はそれらの組合せに提供された情報と比較した、計画されている医療処置の正確性が、機械可読情報に基づいて決定される。計画されている医療処置の正確性は、患者と関連する医療情報、例えば患者１４１０と関連する医療情報を、例えばその日にスケジュールされた医療処置のリストであり得る手術室内の外科医、スタッフ、又はそれらの組合せに提供された情報と比較することにより、判断し得る。ステップ１５５０において、計画されている医療処置が不正確である場合、計画されている医療処置は停止される。ステップ１５６０において、計画されている医療処置が正確である場合、計画されている医療処置は実行される。

図１６は、眼科手術での眼のデジタル画像を最適化する方法のフローチャートを提示する。ステップ１６００において、眼１０１のデジタル画像等の眼のデジタル画像が、デジタル画像最適化システムによって捕捉される。デジタル画像最適化システムは、例えばデジタル画像最適化システム１００であり得、眼のデジタル画像は、例えばカメラ１５０によって捕捉し得る。別の例では、デジタル画像最適化システムは、デジタル画像最適化システム５００であり得、眼のデジタル画像はカメラ５５０によって捕捉し得る。代替的には、デジタル画像最適化システムは、デジタル画像最適化システム７００であり得、眼のデジタル画像は、内視鏡７１５等の内視鏡によって捕捉し得る。ステップ１６１０において、眼のデジタル画像は、処理された機械可読情報、例えば機械可読情報１４２０と関連付けられる。機械可読情報は、デジタルタイムアウト、例えばデジタルタイムアウトシステム１４００を使用して開始されるデジタルタイムアウト中、眼のデジタル画像が捕捉されたとき、処理することが可能であり得る。機械可読情報は、眼が眼のデジタル画像にある患者と関連する情報を含み得る。ステップ１６２０において、眼のデジタル画像を使用して、最適化ネットワーク１０００における機械学習モデル１０２５等の機械学習モデルをトレーニングする。例えば、眼のデジタル画像は、トレーニング画像１０３０等の複数のトレーニング画像に入力として含まれ得る。眼のデジタル画像は、処理された機械可読情報に基づいて、トレーニング画像１０３０への包含に選択された可能性がある。ステップ１６３０において、眼のデジタル画像は、トレーニング済み機械学習モデル、例えばトレーニング済み機械学習モデル１０２５によって処理される。代替の例では、ステップ１６３０はステップ１６００から又は機械学習モデルが既にトレーニングされている場合にはステップ１６１０から直接続き得る。ステップ１６４０において、眼の最適化されたデジタル画像が、画像処理システム、例えば画像処理システム１１７０によって生成される。ステップ１６５０において、眼の最適化されたデジタル画像はデジタルディスプレイに表示される。例えば、最適化されたデジタル画像は、デジタルディスプレイ１９０、デジタルディスプレイ５９０、デジタルディスプレイ７９０、又はデジタルディスプレイ１４９０に表示し得る。

デジタル画像最適化システム１００、デジタル画像最適化システム５００、デジタル画像最適化システム７００、最適化ネットワーク１０００、又はデジタルタイムアウトシステム１４００は、図１７００に示されるように、コンピュータシステム１７００と組み合わせて使用し得る。コンピュータシステム１７００は、プロセッサ１７１０、揮発性メモリ媒体１７２０、不揮発性メモリ媒体１７３０、及び入力／出力（Ｉ／Ｏ）デバイス１７４０を含み得る。揮発性メモリ媒体１７２０、不揮発性メモリ媒体１７３０、及びＩ／Ｏデバイス１７４０は、プロセッサ１７１０に通信可能に結合され得る。

用語「メモリ媒体」は「メモリ」、「記憶デバイス」、「メモリデバイス」、「コンピュータ可読媒体」、及び／又は「有形計算機可読記憶媒体」を意味する場合がある。例えば、メモリ媒体は、ハードディスクドライブを含む直接アクセス記憶デバイス、テープディスクドライブなどのシーケンシャルアクセス記憶デバイス、コンパクトディスク（ＣＤ）、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、電気的消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、非一時的媒体、又はそれらの任意の組合せ等の記憶媒体を限定なしに含み得る。図１７に示すように、不揮発性メモリ媒体１７３０は、プロセッサ命令１７３２を含み得る。プロセッサ命令１７３２は、プロセッサ１７１０により実行され得る。一例では、プロセッサ命令１７３２の１つ又は複数の部分は、不揮発性メモリ媒体１７３０を介して実行され得る。別の例では、プロセッサ命令１７３２の１つ又は複数の部分は、揮発性メモリ媒体１７２０を介して実行され得る。プロセッサ命令１７３２の１つ又は複数の部分は、揮発性メモリ媒体１７２０に転送され得る。

プロセッサ１７１０は、本明細書に記載の１つ又は複数のシステム、１つ又は複数のフローチャート、１つ又は複数のプロセス、及び／又は１つ又は複数の方法の少なくとも一部を実行するに当たりプロセッサ命令１７３２を実行することができる。例えば、プロセッサ命令１７３２は、本明細書に記載の１つ又は複数のシステム、１つ又は複数のフローチャート、１つ又は複数の方法、及び／又は１つ又は複数のプロセスの少なくとも一部に従い複数の命令により構成、コーディング、及び／又は符号化され得る。プロセッサ１７１０は単一のプロセッサとして示されているが、プロセッサ１７１０は、複数のプロセッサであってもよく、又は複数のプロセッサを含んでもよい。記憶媒体及びメモリ媒体のうち１つ又は複数は、ソフトウェア製品、プログラム製品、及び／又は製造品であり得る。例えば、ソフトウェア製品、プログラム製品、及び／又は製造品は、本明細書に記載の１つ又は複数のシステム、１つ又は複数のフローチャート、１つ又は複数の方法、及び／又は１つ又は複数のプロセスの少なくとも一部に従い、プロセッサにより実行可能な命令により構成、コーディング、且つ／又は符号化され得る。

プロセッサ１７１０は、メモリ媒体に保存された、及び／又はネットワークを介して受信されたプログラム命令、処理データ、又はその両方を解釈及び実行すべく動作可能な任意の適当なシステム、デバイス、又は装置を含んでいてもよい。プロセッサ１７１０は更に、１つ又は複数のマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、又はプログラム命令、プロセスデータ、若しくはその両方を解釈及び実行すべく構成された他の回路を含んでいてよい。

Ｉ／Ｏデバイス１７４０は、ユーザからの入力及びユーザへの出力を可能にすることによりユーザがコンピュータシステム１７００及び関連する要素と対話することを許可、許諾、且つ／又は可能にする任意の１つ又は複数の機器を含んでいてもよい。ユーザからの入力を容易にすることにより、ユーザがコンピュータシステム１７００を操作及び／又は制御できるようになり、ユーザへの出力を容易にすることにより、コンピュータシステム１７００がユーザの操作及び／又は制御の効果を表示できるようになる。例えば、Ｉ／Ｏデバイス１７４０は、ユーザがデータ、命令、又はその両方をコンピュータシステム１７００に入力できるように、及び別途コンピュータシステム１７００及びその関連する構成要素を操作及び／又は制御できるようにする。Ｉ／Ｏデバイスは、ユーザインターフェースデバイス、例えばキーボード、マウス、タッチスクリーン、ジョイスティック、手持ちレンズ、ツール追跡デバイス、座標入力デバイス、又はシステムでの使用に適した他の任意のＩ／Ｏデバイス等を含み得る。

Ｉ／Ｏデバイス１７４０は、プロセッサ１７１０が本明細書に記載の１つ又は複数のシステム、プロセス、及び／又は方法の少なくとも一部を実施することを容易にし、及び／又は許可し得る、特に、１つ又は複数のバス、１つ又は複数のシリアルデバイス、及び／又は１つ又は複数のネットワークインターフェースを含み得る。一例において、Ｉ／Ｏデバイス１７４０は、プロセッサ１７１０が外部記憶装置と通信することを促進及び／又は許可することができるストレージインターフェースを含み得る。記憶装置インターフェースは、特に、ユニバーサルシリアルバス（ＵＳＢ）インターフェース、ＳＡＴＡ（シリアルＡＴＡ）インターフェース、ＰＡＴＡ（パラレルＡＴＡ）インターフェース、及び小型計算機システムインターフェース（ＳＣＳＩ）の１つ又は複数を含み得る。第２の例では、Ｉ／Ｏデバイス１７４０は、プロセッサ１７１０がネットワークと通信することを促進及び／又は可能にし得るネットワークインターフェースを含み得る。Ｉ／Ｏデバイス１７４０は、無線ネットワークインターフェース及び有線ネットワークインターフェースのうちの１つ又は複数を含み得る。第３の例では、Ｉ／Ｏデバイス１７４０は、特に、ペリフェラルコンポーネントインタコネクト（ＰＣＩ）インターフェース、ＰＣＩエクスプレス（ＰＣＩｅ）インターフェース、シリアルペリフェラルインタコネクト（ＳＰＩ）インターフェース、及び集積回路間（Ｉ２Ｃ）インターフェースのうちの１つ又は複数を含み得る。第４の例では、Ｉ／Ｏデバイス１７４０は、プロセッサ１７１０が１つ又は複数のセンサとデータを通信できるようにし得る回路を含み得る。第５の例では、Ｉ／Ｏデバイス１７４０は、プロセッサ１７１０が、特に、ディスプレイ１７５０及びデジタル画像最適化システム１００の１つ又は複数とデータを通信することを容易にし、且つ／又は可能にすることができる。図１７に示すように、Ｉ／Ｏデバイス１７４０は、ネットワーク１７７０に結合され得る。例えば、Ｉ／Ｏデバイス１７４０はネットワークインターフェースを含み得る。別の例では、ネットワーク１７７０はネットワーク１０１０を含み得る。

ネットワーク１７７０は、有線ネットワーク、無線ネットワーク、光ネットワーク、又はそれらの任意の組合せを含み得る。ネットワーク１７７０は、様々な種類の通信ネットワーク含んでいてもよく、且つ／又はこれらに結合されていてもよい。例えば、ネットワーク１７７０は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット、公衆交換電話網（ＰＳＴＮ）、セルラ電話ネットワーク、衛星電話ネットワーク、又はそれらの任意の組合せを含み得、及び／又はそれに結合され得る。ＷＡＮは、プライベートＷＡＮ、コーポレートＷＡＮ、パブリックＷＡＮ、又はそれらの任意の組合せを含み得る。

図１７はデジタル画像最適化システム１００の外部にあるものとしてコンピュータシステム１７００を示すが、デジタル画像最適化システム１００はコンピュータシステム１７００を含んでもよい。例えば、プロセッサ１７１０は、プロセッサ１８０であってもよく、又はプロセッサ１８０を含んでもよい。

図１８Ａ～図１８Ｃは、医療システム１８００の一例を示している。図１８Ａに示されるように、医療システム１８００はデジタル画像最適化システム１００を含み得る。代替的には、医療システム１８００は、デジタル画像最適化システム５００、デジタル画像最適化システム７００、最適化ネットワーク１０００、デジタルタイムアウトシステム１４００、又はそれらの任意の組合せを含み得る。図１８Ｂに示されるように、医療システム１８００は、デジタル画像最適化システム１００及びコンピュータシステム１７００を含み得る。デジタル画像最適化システム１００は、コンピュータシステム１７００と通信可能に結合し得る。図１８Ｃに示されるように、医療システム１８００は、コンピュータシステム１７００を含み得るデジタル画像最適化システム１００を含み得る。

デジタル画像最適化システム１００、デジタル画像最適化システム５００、デジタル画像最適化システム７００、最適化ネットワーク１０００、デジタルタイムアウトシステム１４００、コンピュータシステム１７００、医療システム１８００、及びそれらの構成要素は、明らかに相互に排他的でない限り、本明細書に記載の視覚化ツール及びシステムの他の要素と組み合わせることができる。例えば、デジタル画像最適化システム５００はデジタルタイムアウトシステム１４００と組み合わせることができ、本明細書に記載の他の最適化システム、視覚化システム、コンピュータシステム、及び医療システムと併用することができる。

上記の開示した主題は、例示的と見なされるべきであり、限定的と見なされるべきではなく、添付の特許請求の範囲は、本開示の真の趣旨及び範囲内にあるそのような全ての修正形態、改良形態及び他の実施形態を網羅することが意図されている。例えば、デジタル画像最適化システムは、眼科手術でのデジタル視覚化を改善するために最も一般的に必要とされるが、普通ならば手術とは見なされない純粋な診断手順等の別の手順で有用である場合、本明細書に記載のシステム及び方法を採用することができる。

Claims (64)

1. デジタル画像最適化システムであって、
   眼から反射された光を検出し、前記検出された光に対応する信号をプロセッサに送信するように動作可能な少なくとも１つのセンサを備えたカメラと、
   前記プロセッサを備えた画像処理システムであって、
   命令を実行して、前記眼のデジタル画像を生成すること及び
   命令を実行して、トレーニング済み機械学習モデルを含むデジタル画像最適化アルゴリズムを前記眼の前記デジタル画像に適用して、前記眼の最適化されたデジタル画像を生成することを行うように動作可能な画像処理システムと、
   前記眼の前記最適化されたデジタル画像を表示するように動作可能なデジタルディスプレイと、を備えるデジタル画像最適化システム。
2. 前記デジタル画像最適化アルゴリズムは、前記眼の前記デジタル画像における器具グレア、光学収差、硝子体混濁、又はそれらの任意の組合せを少なくとも部分的に低減して、前記眼の前記最適化されたデジタル画像を生成する、請求項１に記載のデジタル画像最適化システム。
3. 前記眼の前記最適化されたデジタル画像は、前記眼の前記デジタル画像以上のコントラスト、鮮鋭度、明瞭度、ダイナミックレンジ、又はそれらの任意の組合せを有する、請求項１に記載のデジタル画像最適化システム。
4. 前記眼の前記最適化されたデジタル画像は、前記眼の前記デジタル画像以下のノイズ、歪み、ビネット、又はそれらの任意の組合せを有する、請求項１に記載のデジタル画像最適化システム。
5. 前記デジタル画像最適化アルゴリズムは、補間、多重露光画像ノイズ低減、又はそれらの組合せを利用して、前記眼の前記最適化されたデジタル画像を生成する、請求項１に記載のデジタル画像最適化システム。
6. 前記トレーニング済み機械学習モデルは、赤色ブーストライブラリからの複数のトレーニング画像を使用してトレーニングされた、請求項１に記載のデジタル画像最適化システム。
7. 前記トレーニング済み機械学習モデルは、手術の開始時に捕捉された前記眼の複数のデジタル画像と、前記手術の終了時に捕捉された前記眼の複数の対応するデジタル画像とを使用してトレーニングされた、請求項１に記載のデジタル画像最適化システム。
8. 前記デジタル画像最適化システムは、ＮＧＥＮＵＩＴＹ（登録商標）３Ｄ視覚化システムの構成要素である、請求項１に記載のデジタル画像最適化システム。
9. デジタル画像最適化システムであって、
   少なくとも１つのセンサを備えたカメラであって、前記少なくとも１つのセンサは、
   他眼から反射された光を検出し、前記検出された光に対応する信号をプロセッサに送信すること及び
   術眼から反射された光を検出し、前記検出された光に対応する信号をプロセッサに送信することを行うように動作可能である、カメラと、
   前記プロセッサを備えた画像処理システムであって、
   命令を実行して、前記他眼のテンプレートデジタル画像を生成すること、
   命令を実行して、前記テンプレートデジタル画像のデジタル鏡像を生成すること、
   命令を実行して、前記術眼の作業デジタル画像を生成すること、及び
   命令を実行して、前記デジタル鏡像を前記作業デジタル画像と位置合わせして、網膜アーケードアライメントテンプレートを生成することを行うように動作可能な画像処理システムと、
   前記作業デジタル画像及び前記網膜アーケードアリアメントテンプレートを表示するように動作可能なデジタルディスプレイと、を備えるデジタル画像最適化システム。
10. 前記網膜アーケードアライメントテンプレートは、前記作業デジタル画像へのオーバーレイとして表示される、請求項９に記載のデジタル画像最適化システム。
11. 前記テンプレートデジタル画像は、前記他眼の網膜、前記他眼の網膜中心静脈、前記他眼の網膜アーケード、前記他眼の視神経円板、又はそれらの任意の組合せである眼構造を含む、請求項９に記載のデジタル画像最適化システム。
12. 前記作業デジタル画像は、前記術眼の網膜、前記術眼の網膜中心静脈、前記術眼の網膜アーケード、前記術眼の視神経円板、又はそれらの任意の組合せである眼構造を含む、請求項９に記載のデジタル画像最適化システム。
13. 前記作業デジタル画像は、前記他眼の前記テンプレートデジタル画像の視野と同等の前記術眼の視野を含む、請求項９に記載のデジタル画像最適化システム。
14. 前記作業デジタル画像への前記デジタル画像の位置合わせは、前記他眼の視神経円板及び前記術眼の視神経円板、前記他眼の網膜中心静脈及び前記術眼の網膜中心静脈、前記他眼の動脈静脈交差部及び前記術眼の動脈静脈交差部、前記他眼の分岐静脈及び前記術眼の分岐静脈、又はそれらの任意の組合せである眼構造の位置合わせを含む、請求項９に記載のデジタル画像最適化システム。
15. 前記デジタル画像最適化システムは、ＮＧＥＮＵＩＴＹ（登録商標）３Ｄ視覚化システムの構成要素である、請求項９に記載のデジタル画像最適化システム。
16. デジタル画像最適化システムであって、
    光ファイバを含む内視鏡と、
    眼の内部から反射され、前記光ファイバを伝播した光を検出し、前記検出された光に対応する信号をプロセッサに送信するように動作可能な少なくとも１つのセンサを備えたカメラと、
    前記プロセッサを備えた画像処理システムであって、
    命令を実行して、前記眼の内視鏡デジタル画像を生成すること及び
    命令を実行して、トレーイング済み機械学習モデルを含む内視鏡デジタル画像最適化アルゴリズムを前記眼の前記内視鏡デジタル画像に適用し、前記眼の最適化された内視鏡デジタル画像を生成することを行うように動作可能な画像処理システムと、
    前記眼の前記最適化されたデジタル画像を表示するように動作可能なデジタルディスプレイと、を備えるデジタル画像最適化システム。
17. 前記内視鏡デジタル画像最適化アルゴリズムは、補間、多重露光画像ノイズ低減、又はそれらの組合せを利用して、前記眼の最適化された内視鏡デジタル画像を生成する、請求項１６に記載のデジタル画像最適化システム。
18. 前記機械学習モデルは、画像処理法を使用して首尾良く最適化された複数の前記眼の前記内視鏡デジタル画像を含む複数のトレーニング画像を使用してトレーニングされた、請求項１６に記載のデジタル画像最適化システム。
19. 前記内視鏡デジタル画像最適化アルゴリズムは、単一画像超解像を利用して、前記眼の前記最適化された内視鏡デジタル画像を生成する、請求項１６に記載のデジタル画像最適化システム。
20. 前記単一画像超解像はベリーディープ超解像ニューラルネットワークを使用する、請求項１９に記載のデジタル画像最適化システム。
21. 前記内視鏡デジタル画像最適化アルゴリズムは、少なくとも部分的に前記眼の前記内視鏡デジタル画像のノイズを低減し、解像度を上げ、デジタル画像品質を改善し、又はそれらの任意の組合せを行う、請求項１６に記載のデジタル画像最適化システム。
22. 前記デジタル画像最適化システムは、ＮＧＥＮＵＩＴＹ（登録商標）３Ｄ視覚化システムの構成要素である、請求項１６に記載のデジタル画像最適化システム。
23. 最適化ネットワークであって、
    デジタル画像最適化システムであって、
    眼から反射された光を検出し、検出された光に対応する信号を第１のプロセッサに送信するように動作可能な少なくとも１つのセンサを備えたカメラ、
    前記第１のプロセッサを備え、命令を実行して前記眼のデジタル画像を生成するように動作可能な第１の画像処理システム、及び
    デジタルディスプレイを備えたデジタル画像最適化システムと、
    前記デジタル画像最適化システム及びデジタル画像管理システムに通信可能に結合され、前記眼の前記デジタル画像を前記デジタル画像管理システムに送信するように動作可能な通信ネットワークと、を備え、
    前記デジタル画像管理システムは、
    第２のプロセッサ及びトレーニング済み機械学習モデルを備えた第２の画像処理システムを備え、
    前記第２の画像処理システムは、命令を実行して、前記トレーニング済み機械学習モデルを使用して前記眼の前記デジタル画像を処理し、前記眼の最適化されたデジタル画像を計算し、前記眼の前記最適化されたデジタル画像を前記デジタルディスプレイに送信するように動作可能であり、
    前記デジタルディスプレイは、前記眼の前記最適化されたデジタル画像を表示するように動作可能である、最適化ネットワーク。
24. 前記第２の画像処理システムは、前記第１の画像処理システムの一部としてローカルに記憶される、請求項２３に記載の最適化ネットワーク。
25. 前記第２の画像処理システムはサーバ上で動作する、請求項２３に記載の最適化ネットワーク。
26. 前記第２の画像処理システムは、クラウドベースのデジタル画像最適化サービスを提供する、請求項２５に記載の最適化ネットワーク。
27. 前記トレーニング済み機械学習モデルは、複数のトレーニング画像を使用してトレーニングされた、請求項２３に記載の最適化ネットワーク。
28. 前記複数のトレーニング画像は、手術の開始時に捕捉された前記眼の複数のデジタル画像と、前記手術の終了時に捕捉された同じ前記眼の複数のペア画像を含む、請求項２７に記載の最適化ネットワーク。
29. 前記複数のトレーニング画像は、画像処理法を使用して首尾良く最適化された前記眼の複数の内視鏡デジタル画像を含む、請求項２７に記載の最適化ネットワーク。
30. 前記複数のトレーニング画像は、ＮＧＥＮＵＩＴＹ（登録商標）３Ｄ視覚化システムを使用して捕捉された、請求項２７に記載の最適化ネットワーク。
31. 前記複数のトレーニング画像は、前記通信ネットワークを使用して前記デジタル画像管理システムにアップロードされる、請求項２７に記載の最適化ネットワーク。
32. 前記トレーニング済み機械学習モデルは、統合アーキテクチャを使用してトレーニングされ、前記統合アーキテクチャは、
    畳み込みニューラルネットワーク及び
    少なくとも１つの長短期メモリユニットを含む、請求項２３に記載の最適化ネットワーク。
33. 前記デジタル画像最適化システムは、ＮＧＥＮＵＩＴＹ（登録商標）３Ｄ視覚化システムの構成要素である、請求項２３に記載の最適化ネットワーク。
34. デジタルタイムアウトシステムであって、
    機械可読情報を含む、患者に固定された識別マーカと、
    前記機械可読情報を取得し、前記機械可読情報に対応する信号をプロセッサに送信するように動作可能な少なくとも１つのセンサを備えたカメラと、
    前記プロセッサを備えた画像処理システムであって、
    前記機械可読情報を処理して患者データを特定すること及び
    患者データと手術室内の外科医、スタッフ、又はそれらの組合せに提供される情報の不一致、一致、又はそれらの組合せを特定することを行うように動作可能な画像処理システムと、を備えるデジタルタイムアウトシステム。
35. 患者データと手術室内の外科医、スタッフ、又はそれらの組合せに提供される情報の不一致、一致、又はそれらの組合せを表示するように動作可能なデジタルディスプレイを更に備えた請求項３４に記載のデジタルタイムアウトシステム。
36. 前記識別マーカは前記患者の眼の上に固定される、請求項３４に記載のデジタルタイムアウトシステム。
37. 前記識別マーカは、リムーバブル転写式タトゥー、パッチ、ステッカー、テープ、又はそれらの任意の組合せである、請求項３４に記載のデジタルタイムアウトシステム。
38. 前記識別マーカはロケータを更に含む、請求項３４に記載のデジタルタイムアウトシステム。
39. 前記機械可読情報は一次元バーコード、多次元バーコード、クイックリスポンスコード、シンボル、又はそれらの任意の組合せである、請求項３４に記載のデジタルタイムアウトシステム。
40. 前記デジタルタイムアウトシステムは、ＮＧＥＮＵＩＴＹ（登録商標）３Ｄ視覚化システムの構成要素である、請求項３４に記載のデジタルタイムアウトシステム。
41. 前記患者データは、前記患者と関連する識別情報、前記患者と関連する医療情報、索引付け情報、又はそれらの任意の組合せである前記患者と関連する情報を含む、請求項３４に記載のデジタルタイムアウトシステム。
42. 前記カメラは、眼から反射された光を検出し、前記検出された光に対応する信号を第１のプロセッサに送信するように更に動作可能であり、前記画像処理システムは、命令を実行して、前記眼のデジタル画像を生成するように更に動作可能である、請求項３４に記載のデジタルタイムアウトシステム。
43. 前記デジタルタイムアウトシステム及びデジタル画像管理システムに通信可能に結合された通信ネットワークを更に備え、前記通信ネットワークは、前記眼の前記デジタル画像を前記デジタル画像管理システムに送信するように動作可能であり、
    前記デジタル画像管理システムは、第２のプロセッサ及びトレーニング済み機械学習モデルを含む第２の画像処理システムを含み、
    前記機械可読データは、前記眼の前記デジタル画像と関連し、前記デジタル画像管理システムに記憶された索引付け情報を含む、請求項４２に記載のデジタルタイムアウトシステム。
44. 前記トレーニング済み機械学習モデルは、前記眼の前記デジタル画像を含む複数のトレーニング画像を使用してトレーニングされており、前記複数のトレーニング画像は、前記眼の前記デジタル画像と関連する前記索引付け情報に基づいて選択された、請求項４３に記載のデジタルタイムアウトシステム。
45. 眼のデジタル画像を最適化する方法であって、
    カメラを用いて眼のデジタル画像を捕捉することと、
    画像処理システムを使用してデジタル画像最適化アルゴリズムを適用し、前記眼の最適化されたデジタル画像を生成することと、
    前記眼の前記最適化されたデジタル画像をデジタルディスプレイに表示することと、を含む、方法。
46. 前記デジタル画像最適化アルゴリズムは、少なくとも部分的に、前記眼の前記デジタル画像における器具グレア、光学収差、硝子体混濁、又はそれらの任意の組合せを低減して、前記眼の前記最適化されたデジタル画像を生成する、請求項４５に記載の方法。
47. 前記デジタル画像最適化アルゴリズムは、トレーニング髄機械学習モデルである、請求項４５に記載の方法。
48. 前記トレーニング済み機械学習モデルは、手術開始時に捕捉された前記眼の複数のデジタル画像と、手術終了時に捕捉された前記眼の複数の対応するデジタル画像とを使用してトレーニングされた、請求項４７に記載の方法。
49. 前記カメラは、ＮＧＥＮＵＩＴＹ（登録商標）３Ｄ視覚化システムの構成要素である、請求項４５に記載の方法。
50. デジタル画像最適化アルゴリズムを生成する方法であって、
    手術の開始時に眼の複数の入力デジタル画像を捕捉することと、
    前記手術の終了時に前記眼の複数の出力デジタル画像を捕捉することと、
    前記眼の前記複数の入力デジタル画像及び前記眼の前記複数の出力デジタル画像をトレーニング画像として使用して、機械学習モデルをトレーニングすることと、
    前記トレーニング済みの機械学習モデルをデジタル画像最適化アルゴリズムとして使用することと、を含む、方法。
51. 眼のデジタル画像を最適化する方法であって、
    他眼のデジタル画像を捕捉することと、
    術眼のデジタル画像を捕捉することと、
    前記他眼の前記デジタル画像の鏡像を生成することと、
    前記他眼の前記デジタル画像の前記鏡像を前記術眼の前記デジタル画像と位置合わせして、網膜アーケードアライメントテンプレートを生成することと、
    前記網膜アーケードアライメントテンプレートを前記術眼の前記デジタル画像へのオーバーレイとしてデジタルディスプレイに表示することと、
    前記網膜アーケードアライメントテンプレートを使用して前記術眼に眼科手術を実行することと、を含む、方法。
52. 前記他眼の前記デジタル画像の前記鏡像は、視神経円板、網膜中心静脈、動脈静脈交差部、分岐静脈、又はそれらの任意の組合せを位置合わせすることにより、前記術眼の前記デジタル画像と位置合わせされる、請求項５１に記載の方法。
53. 眼の内視鏡デジタル画像を最適化する方法であって、
    内視鏡を使用して眼の内視鏡デジタル画像を捕捉することと、
    内視鏡デジタル画像最適化アルゴリズムを適用して、前記眼の最適化された内視鏡デジタル画像を生成することと、
    前記眼の前記最適化された内視鏡デジタル画像をデジタルディスプレイに表示することと、を含む、方法。
54. 前記内視鏡デジタル画像最適化アルゴリズムは、補間、多重露光ノイズ低減、機械学習、深層学習、又はそれらの任意の組合せを使用する、請求項５３に記載の方法。
55. 内視鏡デジタル画像最適化アルゴリズムを生成する方法であって、
    眼の複数の内視鏡デジタル画像を捕捉することと、
    画像処理法を使用して前記眼の前記複数の内視鏡デジタル画像を最適化して、前記眼の複数の最適化された内視鏡デジタル画像を生成することと、
    前記眼の前記複数の内視鏡デジタル画像を入力画像として使用し、前記眼の複数の前記最適化された内視鏡デジタル画像を出力画像として使用して、機械学習モデルをトレーニングすることと、
    前記トレーニング済み機械学習モデルを内視鏡デジタル画像最適化アルゴリズムとして使用することと、を含む、方法。
56. 機械学習モデルをトレーニングする方法であって、
    画像処理システムを使用して、複数の入力画像及び複数の対応する出力画像を含む複数のトレーニング画像を統合アーキテクチャに入力することと、
    畳み込みニューラルネットワークを使用して、前記複数の入力画像の特徴表現を生成することと、
    前記統合アーキテクチャを使用して、眼の複数の予測された最適化デジタル画像と複数の対応する出力画像との間の複数の仮説的差分を計算することと、 前記複数の仮説的差分と、前記複数の入力画像と前記複数の対応する出力画像との間で計算された複数の差分との間の損失を計算することと、
    全体損失が予め定義された閾値よりも小さいか否かを評価することと、
    前記全体損失が前記予め定義された閾値よりも小さくない場合、前記統合アーキテクチャのパラメータを更新することと、
    前記全体損失が前記予め定義された閾値よりも小さい場合、前記統合アーキテクチャの前記パラメータを記憶し、トレーニングを終了することと、を含む、方法。
57. 前記損失は、損失関数を使用して計算される、請求項５６に記載の方法。
58. 前記損失関数は平滑Ｌ１損失関数である、請求項５７に記載の方法。
59. 前記複数の仮説的差分は、前記複数の入力画像の前記特徴表現を使用して計算される、請求項５６に記載の方法。
60. 前記機械学習モデルがトレーニングされると、前記画像処理システムはサーバで動作する、請求項５６に記載の方法。
61. 前記画像処理システムは、クラウドベースのデジタル画像最適化サービスを提供する、請求項６０に記載の方法。
62. デジタルタイムアウトを実行する方法であって、
    カメラを使用して、患者に固定された識別マーカにプリントされた機械可読情報を取得することと、
    画像処理システムを使用して前記機械可読情報を処理することと、
    前記機械可読情報に基づいて前記患者の識別情報の正確性を判断することと、
    前記患者の前記識別情報が不正確である場合、計画されている医療処置を停止することと、
    前記患者の前記識別情報が正確である場合、前記機械可読情報に基づいて、前記計画されている医療処置が正確であると判断することと、
    前記計画されている医療処置が不正確である場合、前記計画されている医療処置を停止することと、
    前記計画されている医療処置が正確である場合、前記計画されている医療処置を実行することと、を含む、方法。
63. 眼のデジタル画像を最適化する方法であって、
    デジタル画像最適化システムを使用して眼のデジタル画像を捕捉することと、
    前記眼の前記デジタル画像に処理された機械可読情報を関連付けることと、
    前記眼の前記デジタル画像を使用して機械学習モデルをトレーニングすることと、
    トレーニング済み機械学習モデルを使用して前記眼の前記デジタル画像を処理することと、
    画像処理システムを使用して前記眼の最適化されたデジタル画像を生成することと、
    前記眼の前記最適化されたデジタル画像をデジタルディスプレイに表示することと、を含む、方法。
64. 前記眼の前記デジタル画像は、前記処理された機械可読情報に基づいて１組のトレーニング画像への包含に選択される、請求項６３に記載の方法。

Images