JP2024507470A - デジタル画像相関を通した網膜牽引の追跡 - Google Patents

Abstract

患者の眼の網膜に対する網膜牽引を定量化するための追跡システムは、インジケータデバイス、ステレオカメラ及び電子制御ユニット（ＥＣＵ）を含む。ステレオカメラは、立体画像データを収集及び出力する。インジケータデバイスと通信するＥＣＵは、眼科処置中にステレオカメラから立体画像データを受信し、且つその後、立体画像ペア内の一致するピクセルとして追跡点を割り当てることにより、方法を実行する。ＥＣＵはまた、立体画像ペアを使用してデジタル画像相関（ＤＩＣ）プロセスを自動的に行って、追跡点の相対運動を確認し、且つ牽引マップを使用して追跡点の相対運動を網膜牽引に関連付ける。網膜牽引の大きさを示す数値牽引指数が生成される。ＥＣＵは、数値牽引指数に基づいて、インジケータデバイスを使用して制御動作を実行する。

Description

本開示は、網膜手術中に網膜に対する牽引力を定量化、追跡及び緩和するためのイメージングベースの方策に関する。

硝子体切除術及び他の眼の侵襲性手術では、外科医が患者の眼球の硝子体腔内に特殊な手術器具を挿入し、その後、特定の手術手技を行う際に手術器具を操作することを必要とする。外科医の行為は、網膜及び周囲の眼内組織を高度に拡大した像によってリアルタイムで誘導される。このため、拡大された網膜画像は、一般的に、外科医及び他の担当臨床医の視界内に表示される。同時に、拡大された網膜は、高倍率の眼科用顕微鏡のアイピースを通してなど、他の方法で見ることができる。

当技術分野で理解されているように、硝子体腔は、人の眼の水晶体と網膜との間に広がり、水晶体及び網膜は、それぞれ眼球の前方領域及び後方領域に位置する。硝子体腔は、硝子体液と呼ばれる透明なゲル状の物質で占められており、硝子体液自体は、硝子体皮質と呼ばれる薄い膜内に封入されている。網膜は、別の薄い介在する組織層、すなわち内境界膜（ＩＬＭ）によって硝子体から隔離されている。

ＩＬＭは、網膜表面に固着しているため、黄斑円孔又は剥離網膜の修復などのよくある眼科手術、瘢痕組織の除去及び他の繊細な眼の手術では、担当外科医がＩＬＭを確実に把持し、慎重に裏側にある網膜からＩＬＭを剥離する必要があり得る。ＩＬＭの剥離には、障害のある網膜を弛緩させる効果がある一方、外科医が網膜表面にスムーズにアクセスできるようにする効果もある。ＩＬＭ剥離処置の実施は、外科医によって付与される牽引力をＩＬＭに意図的に加えることを伴う。外科医が網膜から離れるようにＩＬＭを動かすと、このような力は、付着した網膜に加わる。その結果として生じる網膜表面にわたる牽引は、本明細書及び一般的な技術分野で網膜牽引と呼ばれる。

本明細書に開示されるのは、眼科処置（必ずしも限定されないが、主に硝子体切除術及び他の侵襲性の眼の手術）を実施する間の網膜牽引を定量化するための自動化されたイメージングベースのシステム及び方法である。当技術分野で理解されるように、内境界膜（ＩＬＭ）を操作するための代替的な手法は、鉗子により補助される「ピンチアンドピール」手技及び摩擦に基づく手技を含み、これらのうちの後者は、特殊な掻取ループ、例えばＡｌｃｏｎ，Ｉｎｃ．によって市販されているＦＩＮＥＳＳＥ（商標）Ｆｌｅｘ Ｌｏｏｐ Ｃｕｒｖｅｄ Ｎｉｔｉｎｏｌ ｌｏｏｐを利用する。両方の例示的な器具の使用は、網膜の牽引を生じさせ、これは、ときにＩＬＭの医原性裂傷及び他の起こり得る眼外傷を引き起こす可能性がある。

ある患者の眼のＩＬＭの構造的完全性は、遺伝、年齢、外傷及び疾患などの要因により異なる傾向がある。その結果、ある患者の眼に対して加えられた網膜牽引の特定の大きさ及び持続時間の影響は、予測することが難しい。同様に、外科医のスキルレベルのばらつき、ある外科医が採用する手術器具の固有の能力及び制約並びに他の要因により、大きく異なる最終結果が生じ得る。したがって、本発明の解決策は、網膜手術中の不確実性を低減すると同時に、手術結果を改善し、総合的な外科医の自信を高めることを目的とする。

これら及び他の可能な目標を達成するために、本手法は、網膜の立体画像の収集及び処理と、立体画像データの立体画像ペア内の一致するピクセルとしての標的ピクセル（「追跡点」）の自動化された及び／又は外科医の指示による割り当てとに依存する。割り当てられた追跡点の相対運動は、電子制御ユニット（ＥＣＵ）、例えばスタンドアロン型若しくは分散型コンピュータデバイス又は異なる実施形態ではステレオカメラと部分的若しくは完全に一体化された関連のハードウェアを使用して、眼科処置中に慎重にモニタリングされる。

本明細書に記載されるＥＣＵは、牽引モデルを使用して網膜牽引を自動的に定量化し、ＥＣＵは、最終的に、そのような網膜牽引の大きさを示す数値牽引指数（ｎｕｍｅｒｉｃ ｔｒａｃｔｉｏｎ ｑｕｏｔｉｅｎｔ）を出力する。簡略化された手法では、数値牽引指数は、大きさを示す単位のない値、例えば最大値１と最小値０とを有する正規化された値であり得る。ＥＣＵは、場合により網膜の表面エリア全体にわたって又は網膜の指定されたゾーン若しくは領域内で平均化された数値牽引指数が、対応する牽引閾値を超える場合など、数値牽引指数に基づいてリアルタイムで外科医に自動的に警告を発する。いくつかの実施形態では、外科医によってＩＬＭに付与される引く力又は引っ張る力に対して、外科医がより情報に基づいた調節を行うことを可能にするために、リアルタイムの音声、視覚及び／又は触覚によるアラートが生成され得る。

非限定的な例示的実施形態において、眼科処置中のこのような網膜牽引を定量化するための追跡システムは、インジケータデバイス、ステレオカメラ及びＥＣＵを含む。この特定の実施形態では、インジケータデバイスと有線又は無線で通信するＥＣＵは、ステレオカメラから立体画像データを受信するように構成され、ＥＣＵは、場合によりステレオカメラと一体化されるか、又はステレオカメラと通信する別個のハードウェアとして存在する。その後、コントローラは、立体画像ペア内において、標的ピクセルを、自律的に又は外科医の指示による入力信号を使用して割り当て、以下では、単純さ及び明瞭さのために、このような割り当てられた標的ピクセルを「追跡点」と呼ぶ。

この代表的な構成におけるＥＣＵには、上述の牽引モデルがプログラムされる。想定される牽引モデルを実装するために様々な手法が使用され得るが、１つの可能な解決策は、収集された立体画像に対してデジタル画像相関（ＤＩＣ）プロセスを自動的に行うように構成されたソフトウェアベースの論理ブロックを含み、ＤＩＣプロセスは、追跡点の相対運動を確認するために使用される。次に、ＥＣＵは、例えば、ルックアップテーブルを使用して、追跡点の相対運動を、そのような運動を生じさせる特定の網膜牽引に関連付け、その後、ＥＣＵは、上述の数値牽引指数を出力する。したがって、提供された数値牽引指数は、上述のように網膜牽引の大きさを示す。その後、ＥＣＵは、例えば、数値牽引指数の大きさが、事前に較正された閾値又はユーザが較正可能な閾値を超える場合、数値牽引指数に基づいてインジケータデバイスに対して適切な制御動作を実行する。

ＥＣＵによって追跡された相対運動が、患者誘発性及び／又は外部誘発性の眼球運動などの他の力によって引き起こされるベースライン運動とは対照的に、主に外科医によって加えられる網膜牽引から生じることを確実にするために、ＥＣＵは、そのようなベースライン運動を考慮し、最終的にフィルタ除去するために、相対運動に自由体／固体運動フィルタを適用するように構成され得る。

インジケータデバイスは、１つ又は複数の高解像度表示スクリーン、例えば４Ｋ以上の解像度のＬＥＤバックライト付き医療用モニタを含み得る。このような実施形態では、ＥＣＵは、１つ又は複数の表示スクリーンを介して、網膜表面の直感的な「ヒートマップ」を単独で又はテキストメッセージ若しくはプロンプトと併せて自動的に提示するように構成され得る。現在の網膜牽引のレベルをグラフ的に表す、表示されるヒートマップは、一部の構成では、例えばピクセル単位又は領域単位で比較的高牽引の場所を正確に示し得る。このようなヒートマップは、対応する高牽引ゾーンを示すために、３次元眼底画像に重ね合わせる形式などにおいて、表示された網膜の立体画像の上に表示することができる。

眼科処置中の網膜牽引を定量化するための付随する方法も開示される。例示的な実施形態によれば、この方法は、眼科処置中にＥＣＵを介してステレオカメラから立体画像データを受信することを含み、立体画像データは、立体画像ペアを含む。この方法は、立体画像ペア内の一致するピクセルとして追跡点を割り当てること及びＥＣＵを介して、立体画像ペアを使用してＤＩＣプロセスを自動的に行うことも含む。このようにして、ＥＣＵは、追跡点の相対運動を確認する。

さらに、この特定の実施形態における方法は、ＥＣＵの牽引マップを使用して、追跡点の相対運動を網膜牽引に関連付けて、それにより網膜牽引の大きさを示す数値牽引指数を決定することを含む。その後、ＥＣＵは、インジケータデバイスを使用して制御動作を実行し、制御動作は、数値牽引指数に基づき、且つ網膜牽引の大きさを示す。

本明細書では、患者の眼の網膜に対する網膜牽引を定量化するためのシステムも開示され、このシステムは、中央処理装置（ＣＰＵ）と、命令セットが記録されたコンピュータ可読媒体とを含む。ＣＰＵによる命令の実行は、ＣＰＵに、眼科処置中、１つ又は複数の立体画像ペアを含む立体画像データをステレオカメラから受信することと、１つ又は複数の立体画像ペア内の一致するピクセルとして追跡点を割り当てることとを行わせる。ＣＰＵはまた、立体画像を使用してＤＩＣプロセスを自動的に行って、追跡点の相対運動を確認する。この特定の実施形態では、ＣＰＵは、牽引マップを使用して、網膜牽引の大きさを示す数値牽引指数として、追跡点の相対運動を網膜牽引に関連付ける。その後、ＣＰＵは、数値牽引指数が１つ又は複数の較正された牽引閾値を超える場合、外部インジケータデバイスに制御信号を伝達する。

本開示の上記の特徴及び利点並びに他の可能な特徴及び利点は、添付の図面との関連で考慮される場合、本開示を実施するための最良の態様に関する以下の詳細な説明から明らかになるであろう。

図１は、デジタル画像相関（ＤＩＣ）プロセスを使用して、代表的な眼科処置中の網膜牽引を自動的に定量化及び追跡するための追跡システムを使用した手術室のセットアップの概略図である。 図２は、内境界膜（ＩＬＭ）を把持して網膜から剥離し、それにより網膜に牽引力を付与する代表的な眼科処置の概略図である。 図３は、図１に示した追跡システムの例示的な実施形態である。 図４は、本開示の一態様による、網膜牽引が上昇したエリア又はゾーンを描いたヒートマップの概略図である。 図５は、開示された解決策の一部として使用可能な立体画像データ及び関連する追跡点の概略図である。 図６は、図１に示す牽引システムを使用して網膜牽引の定量化及び追跡を行うための例示的な方法を記載するフローチャートである。

本開示の前述の特徴及び他の特徴は、添付の図面と併せて考慮される以下の説明及び添付の特許請求の範囲からより完全に明白である。

本開示の実施形態を本明細書で説明する。しかしながら、開示された実施形態は単なる例であり、他の実施形態が様々な代替の形態を取り得ることを理解されたい。図は、必ずしも縮尺通りではない。一部の特徴は、特定の構成要素の詳細を示すために誇張又は最小化される場合がある。したがって、本明細書に開示された特定の構造的及び機能的な詳細は、限定として解釈されるものではなく、単に本開示を様々に採用することを当業者に教示するための代表的な基礎として解釈されるものである。当業者であれば理解するように、図の何れか１つを参照して図示及び説明した様々な特徴を、１つ又は複数の他の図に図示した特徴と組み合わせて、明示的に図示又は説明されない実施形態を作り出すことができる。図示された特徴の組み合わせは、一般的な用途のための代表的実施形態を提供する。しかしながら、本開示の教示と一致する特徴の様々な組み合わせ及び変更形態が特定の用途又は実装形態にとって望ましい場合がある。

以下の説明では、特定の用語が参照目的でのみ使用される場合があり、したがって限定を意図するものではない。例えば、「上」及び「下」などの用語は、参照される図面における方向を指す。「前」、「後ろ」、「前部」、「後部」、「左」、「右」、「後方」及び「側方」などの用語は、議論されている構成要素又は要素を説明する本文及び関連する図面を参照することによって明確になる、一貫しているが、任意の基準系内での構成要素又は要素の部分の向き及び／又は位置を説明する。さらに、「第１の」、「第２の」、「第３の」などの用語は、別個の構成要素を説明するために使用され得る。このような用語は、上記で具体的に言及した語、それらの派生語及び類似の意味の語を含み得る。

同様の参照番号が同様の構成要素を指す図面を参照すると、代表的な手術室１０が図１に概略的に描かれている。このような手術室１０は、多軸手術ロボット１２及び手術台１４、例えば図示のようなテーブル又は調節可能／リクライニング可能な手術椅子を備え得る。手術室１０が手術チーム（図示せず）によって占有されている場合、多軸手術ロボット１２は、当技術分野で理解されているように、患者の眼内の解剖学的構造を高倍率下で３次元的に視覚化することができるステレオカメラ１６に接続され得る。関連するハードウェア及びソフトウェアを使用して、外科医は、３次元（３Ｄ）ビューインググラス（図示せず）を使用してヘッドアップで、網膜２５及び周囲の解剖学的構造の高度に拡大された３Ｄ画像１８及び１１８を使用して、標的組織を正確に視覚化することができ、これらの画像は、対応する高解像度の医療用表示スクリーン２０及び／又は２００を使用して表示又は投影することができる。このような表示スクリーン２０及び２００は、図３に示すようなインジケータデバイス（ＩＮＤ）２０Ａの１つの可能な実施形態であり、外科医によるヘッドアップビューイングを可能にする。この方法によるヘッドアップビューイングは、眼科用顕微鏡のアイピースを通した標的組織の従来のトップダウンビューイングと比較して、外科医の首及び背中へのストレス及び負担を軽減するという利点を有する。

図１の例示的な実施形態に示されるように構成され得るか、又は様々な他の用途に適したサイズ及び／又は形状に構成され得るステレオカメラ１６は、ローカル制御プロセッサ（ＬＣＰ）３６を含むか又はそれに通信可能に接続される。ＬＣＰ ３６は、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、中央処理装置等として具現化され得、立体画像データ３８を収集及び出力するように構成される。すなわち、所定のサンプリング間隔に従った各時点について、２つのデジタル画像が立体画像ペア３８Ｐ（画像１、画像２）として同時に収集される。当技術分野で理解されているように、立体画像ペア３８Ｐが３Ｄメガネを通して外科医及び他の担当臨床医によって見られるとき、立体画像ペア３８Ｐは、３Ｄ画像に収束する。

外科的に有用なレベルの光学倍率及び／又はデジタル倍率並びに網膜２５及び他の眼内の解剖学的構造のデジタルイメージングは、最新の眼科用／外科用高品質光学デバイスの絶え間なく進化する能力によって可能となる。ステレオカメラ１６は、そのようなデバイスの１つである。したがって、硝子体切除術又は他の眼科処置中にステレオカメラ１６からの立体画像データ３８をリアルタイムで利用できることは、図２～６を参照して後述する本発明の解決策の実現技術である。手術全体を通して外科医が光学アイピースを通して網膜２５を見る従来の眼科用顕微鏡を使用する手法と比較して、本発明の解決策は、外科医がより人間工学的に優しい「ヘッドアップ」姿勢を維持することを可能にし、その結果、外科医の首及び背中へのストレス及び負担を軽減する。

図１の例示的な手術室１０内には、図３のインジケータデバイス２０Ａと通信する電子制御ユニット（ＥＣＵ）５０を含むキャビネット２２も存在する。異なる可能な実装形態では、図６に例示される方法７０を具現化するコンピュータ可読命令がＥＣＵ ５０に常駐し得る。ＥＣＵ ５０は、図１に示すようなスタンドアロン型コンピュータであり得るか、分散型／ネットワーク化システムであり得るか、又はステレオカメラ１６と部分的若しくは完全に一体化され得る。表示スクリーン２０と共に配置されるように任意選択の場所に描かれているキャビネット２２は、手術室１０内の他の場所に位置決めされ得る。このようなキャビネット２２は、塗装されたアルミニウム又はステンレス鋼など、軽量且つ消毒が容易な構造で構築され得、埃、破片及び湿気の侵入の可能性から構成ハードウェアを保護するために使用され得る。視認性を向上させるために、ステレオカメラ１６の光学ヘッドに取り付けられたランプ１７により及び場合により図３の患者の眼３０内に挿入された内部照明器３２から光が放射され得る。

図１のＥＣＵ ５０は、立体画像データ３８、すなわち画像１及び画像２の矢印によって概略的に表される連続した立体画像ペア３８Ｐを受信するように構成され、ＥＣＵ ５０は、このような立体画像データ３８をステレオカメラ１６からリアルタイムで受信する。方法７０の一部として、ＥＣＵ ５０は、自律的に又は外科医の関与の下で、立体画像ペア３８Ｐ内の一致するピクセルとして追跡点を割り当て、次に、追跡点の相対運動を確認するために、立体画像ペア３８Ｐに対してデジタル画像相関（ＤＩＣ）プロセスを自動的に行う。さらに、ＥＣＵ ５０は、図３に描かれているような牽引マップ５５を使用することなどにより、追跡点の相対運動を網膜牽引に関連付け、ＥＣＵ ５０は、網膜牽引の大きさを示す数値牽引指数としてこれを行う。次に、ＥＣＵ ５０は、数値牽引指数に基づいて、図３のインジケータデバイス２０Ａ及び／若しくは２０Ｂ並びに／又は他の音声、視覚若しくは触覚デバイスに関する制御動作を実行する。

図２を簡単に参照すると、内境界膜（ＩＬＭ）剥離処置を受けている代表的な患者の眼３０が示されており、この処置では、手術器具３４を使用して、ＩＬＭ ３１が裏側にある網膜２５から慎重に分離及び剥離される。ＩＬＭ剥離を達成するために、外科医は、手術器具３４を慎重に操作してＩＬＭ ３１に牽引力（矢印Ｆ_Ｔ）を付与する。このようにして、外科医は、網膜２５に対する作業に備えて網膜２５を露出させることができる。実務では、薄く、可撓性があり且つ透明であるＩＬＭ ３１は、簡単に識別できない。したがって、外科医は、インドシアニングリーン（ＩＣＧ）又はメンブレンブルーデュアル（Ｍｅｍｂｒａｎｅ－Ｂｌｕｅ－Ｄｕａｌ）（ＤＯＲＣ Ｉｎｔｅｒｎａｔｉｏｎａｌ）などの少量のコントラスト増強染色色素をＩＬＭ ３１に塗布して、ＩＬＭ ３１を軽く染色し、それによりコントラストを向上させることが一般的な方法である。このようにして向上させたＩＬＭ ３１の視覚化により、外科医は、当技術分野で理解されているように、網膜２５を露出させるためにＩＬＭ ３１の剥離を開始することができる。

上記の通り、ある患者のＩＬＭ ３１の構造的完全性は、遺伝、年齢、外傷及び疾患などの要因により、場合によりかなり大きく異なることが予想される。したがって、特定の手術例における網膜牽引の効果は、本教示がなければ予測することが困難である。同様に、手術スキルのばらつき並びに手術器具の固有の能力及び特定の選択は、集合的に、経時的に異なる手術結果をもたらし得る。したがって、本発明の解決策は、ＩＬＭ剥離及び他の処置中の網膜牽引のリアルタイムモニタリングを容易にする一方、外科医にリアルタイムの直感的なフィードバックを提供することも意図している。モニタリング及び直感的なフィードバックは、一緒に、外科医が、単独で作業していようと、又は図３の例示的な手術ロボット６０の支援を受けて作業していようと、最適な手術結果を得るために必要な調節を行うことを可能にする。

ここで、図３を参照すると、本明細書で詳細に記載されるように構築された追跡システム１００の動作中、代表的な眼科処置１３、この例では侵襲的硝子体網膜手術を受けている患者の眼３０が示されている。追跡システム１００は、患者の眼３０内の網膜牽引を定量化するために動作可能である。このために、追跡システム１００は、インジケータデバイス２０Ａ及び２０Ｂ、ステレオカメラ１６並びにＥＣＵ ５０を含み、これらのうちの後者の２つは、いくつかの実施形態では単一デバイスに統合され得る。眼科処置１３の過程において、内部照明器３２は、患者の眼３０の硝子体腔１５内に挿入され得る。図１のランプ１７からの一部の光と同様に、内部照明器３２の遠位端Ｅ１から放射される光ＬＬは、硝子体腔１５を照明するために使用される。限定されないが、赤／緑／青（ＲＧＢ）レーザ、発光ダイオード（ＬＥＤ）、ハロゲン電球などの様々な照明技術を使用して光ＬＬを放射することができる。

図３の代表的な眼科処置１３の間、外科医は、網膜２５上又は網膜２５に近接して手術作業を行うために、手術器具３４を硝子体腔１５内に挿入することを必要とされる場合がある。当業者には理解されるように、図２に示すＩＬＭ ３１を操作するための従来の手法は、鉗子により補助される「ピンチアンドピール」手技又はＡｌｃｏｎ，Ｉｎｃ．によるＦＩＮＥＳＳＥ（商標）Ｆｌｅｘ Ｌｏｏｐ Ｃｕｒｖｅｄ Ｎｉｔｉｎｏｌ ｌｏｏｐなどの特殊な掻取器具の代替的使用を含む。したがって、本開示の範囲内の手術器具３４は、何れかのデバイス又は両方のデバイスを包含し得る。

上記の技法は、一般的には、手術器具３４を操作する外科医の器用なスキルにより手動で行われる。しかしながら、進化するマシンビジョン支援ロボット外科技術により、いくつかの実施形態では、例えば多軸手術ロボット６０を使用する、半自動化又は自動化された剥離処置の構築が可能となる。例えば、手術器具３４は、手術ロボット６０のエンドエフェクタ６０Ｅに取り付けられ得、このエンドエフェクタ６０Ｅは、ＥＣＵ ５０と通信して配置され得る。このような手術ロボット６０は、直接的に又は手術用ワークステーションなどのヒューマンマシンインタフェース（図示せず）を介して、ＥＣＵ ５０とのインタラクションを通して外科医によって遠隔操作され得る。代替的に、手術ロボット６０は、手術器具３４の重量を支えることによって外科医のストレスの負担を軽減すること、震えの事例を減少させることなどの限られたサポート機能を有し得るが、操作動作は外科医のみに任せることも可能である。手術ロボット６０によって実行されるか、又はある程度サポートされる、このような自動化された剥離術は、当技術分野で理解されているように、網膜押込力を測定する場合など、網膜牽引の深い知識を必要とする。

内部照明器３２に関して、有向光ＬＬは、網膜２５の露出表面に入射して、網膜２５に付着している図２のＩＬＭ ３１を含む照明された網膜表面２５Ｉを生じさせる。内部照明器３２は、ＥＣＵ ５０又は別の制御プロセッサからの照明制御信号（矢印ＣＣ_Ｌ）により制御可能な付属の電源（ＰＳ）３７（例えば、フィルタリングされた壁コンセント又はバッテリパック並びに有向光（矢印ＬＬ）の確実な生成及び伝送を保証するのに適した電力インバータなど）に結合される。眼科処置１３の過程で、ステレオカメラ１６は、照明された網膜表面２５Ｉ及びＩＬＭ ３１（図２）の立体画像データ３８を収集し、その後、収集された立体画像データ３８をＥＣＵ ５０に送信して、本網膜牽引（Ｒ－ＴＲＡＣ）方法７０に従って処理する。

インジケータデバイス（ＩＮＤ）２０Ａ、例えば図１の表示スクリーン２０及び／又は２００は、同様にＥＣＵ ５０と通信し、ＥＣＵ ５０からのインジケータ制御信号（矢印ＣＣ_２０Ａ）に応答して作動／オンするように構成される。インジケータ制御信号（矢印ＣＣ_２０Ａ）に応答して且つインジケータデバイス２０Ａの特定の構成に応じて、インジケータデバイス２０Ａは、図４に示され且つ後述されるヒートマップ４５などの適切な視覚アラームを提供し得る。このようにして、ＥＣＵ ５０は、インジケータデバイス２０Ａを使用して、網膜２５の表面エリアに対する網膜牽引レベルの直感的なグラフ描写を提示する。

別の同様に構成されたインジケータデバイス２０Ｂをインジケータデバイス２０Ａと併せて使用することにより、複数のアラート、おそらく方法７０の結果に応答して段階的に増大するアラートが提供され得る。例えば、インジケータデバイス２０Ｂは、音声、視覚及び／又は触覚によるアラーム又は警告を提供し得る。インジケータデバイス２０Ｂの可能な実装形態は、音声スピーカのものであり、この場合、インジケータ制御信号（矢印ＣＣ_２０Ｂ）により、インジケータデバイス２０Ｂは、可聴チャイム又は警告音を鳴らすことができる。代替的に、インジケータデバイス２０Ｂは、インジケータ制御信号（矢印ＣＣ_２０Ｂ）の受信により、インジケータデバイス２０Ｂが容易に識別可能な方法において、例えば赤色光を使用して点灯するような色分けされたランプを含み得る。ウェアラブルデバイス、フロアマットなどを含む可能性を有する、低レベル振動などの触覚フィードバックは、図１の手術室１０内の外科医又は別の臨床医に提示され得る。

図３のＥＣＵ ５０は、図示の明瞭さ及び単純さのために単一のボックスとして概略的に描かれているが、ＥＣＵ ５０は、中央処理装置（ＣＰＵ）５２及び十分な量のメモリ５４、すなわちＣＰＵ ５２によって読み取ることが可能なデータ／命令の提供に関与する非一時的な（例えば、有形の）媒体を含むコンピュータ可読媒体をそれぞれが有する１つ又は複数のネットワーク化されたデバイスを含み得る。方法７０及びそれに付随する牽引マップ５５を具現化する命令は、メモリ５４に記憶され得、且つ本明細書に記載される様々な機能をＣＰＵ ５２に実行させるためにＣＰＵ ５２によって実行され得、このようにして場合により較正可能な入力５８（矢印ＣＡＬ）と併せて本方法７０を可能にする。

メモリ５４は、限定されないが、不揮発性媒体及び揮発性媒体を含む多くの形態を取り得る。当技術分野で理解されているように、不揮発性媒体は、光ディスク及び／若しくは磁気ディスク又は他の永続的なメモリを含み得、揮発性媒体は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）などを含み得、これらの何れか又はすべてがＥＣＵ ５０のメインメモリを構成し得る。入力／出力（Ｉ／Ｏ）回路５６は、ステレオカメラ１６、内部照明器３２並びにインジケータデバイス２０Ａ及び／又は２０Ｂを含む、眼科処置１３中に使用される様々な周辺デバイスに対する接続及び通信を容易にするために使用され得る。限定されないが、ローカル発振器又は高速クロック、信号バッファ、フィルタなどを含む、図示されていないが、当技術分野で一般的に使用される他のハードウェアがＥＣＵ ５０の一部として含まれ得る。

図４を簡単に参照すると、網膜２５が代表的な眼底画像４２として示されている。当技術分野で理解されているように、眼底画像４２は、一般的には、網膜２５の様々な主要構造、主に視神経乳頭４４、網膜動脈４６及びそこから派生する周囲の静脈及び黄斑４８のカラー画像、白黒画像又はグレースケール画像として具現化される。眼科診療で一般的なものであり、したがって担当臨床医が精通する眼底画像４２は、表示されるヒートマップ４５の直感的な背景として使用することができる。このような構成では、ＥＣＵ ５０は、網膜２５をデジタル的に複数の仮想ゾーンに分割するか、又は網膜２５を他の方法で複数の仮想ゾーンに分離し（そのような２つのゾーンＺ１及びＺ２が図４に描かれている）、且つ網膜牽引を網膜表面２５にマッピングするように構成され得る。このようにして、複数のゾーンは、例えば、網膜２５の表面エリア全体にわたって網膜牽引を平均化すること及び単一の牽引閾値を適用することの代替として、個別に診断され、且つ応答し得る対応するレベルの網膜牽引を有し得る。

図４の任意選択の表示構成では、ＥＣＵ ５０は、ヒートマップ４５を眼底画像４２、すなわち図１の立体画像ペア３８Ｐによって形成される立体画像上に重ね合わせることができ、この情報は、インジケータデバイス２０Ａ及び／又は２０Ｂを介してリアルタイムで提示される。このようにして、ヒートマップ４５は、網膜２５にわたる網膜牽引の大きさの分布又は集中を一見して示す情報を直感的に提供する。

ここで、図６を参照すると、図３に示すようなＥＣＵ ５０のメモリ５４に記憶又は記録された命令の実行は、ＥＣＵ ５０のＣＰＵ ５２及び他のハードウェアに方法７０を行わせる。方法７０の代表的な実施形態は、論理ブロックＢ７２から始まり、この論理ブロックＢ７２は、図２の網膜２５を、例えば図３の内部照明器３２からの有向光ＬＬを使用して、場合により図１のランプ１７からのいくらかの追加の光と共に照明することを含む。論理ブロックＢ７２の実施に先立つ手術ステップは、図３の患者の眼３０を切開すること並びに硝子体腔１５内に内部照明器３２及び手術器具３４を慎重に挿入することを含むであろう。その後、方法７０は、論理ブロックＢ７４に進む。

図６の論理ブロックＢ７４は、ＥＣＵ ５０を介してステレオカメラ１６から図３の立体画像データ３８を受信することを伴う。これは、眼科処置１３中にリアルタイムで生じる。ＥＣＵ ５０は、図示の明瞭さのために描かれているように、いくつかの実施形態では、ステレオカメラ１６とは別体であり得る。代替的に、ＥＣＵ ５０は、ＬＣＰ ３６がＥＣＵ ５０と一体であるように、すなわちＥＣＵ ５０及びステレオカメラ１６が事実上単一の機能ユニットであり、その結果、構成要素の数を削減し、場合により他の処理効率及び通信待ち時間の短縮を提供するように、ステレオカメラ１６のＬＣＰ ３６を含み得る。

図５を簡単に参照すると、収集された立体画像データ３８は、デジタル実施形態では画像ピクセルから形成され、したがって、図６の論理ブロックＢ７４は、立体画像ペア３８Ｐの各構成画像の対応するピクセルフィールドを識別することも含む。例えば、画像１及び画像２は、公称（Ｘ，Ｙ）ピクセル座標系に配置された８ピクセル×８ピクセル（８×８）のデジタル画像として示されている。画像１及び画像２は、同じ時点で収集されるため、画像１における割り当てられたピクセル（４，５）は、画像２における同じピクセル（４，５）と一致するなどである。つまり、所与の立体画像ペア３８Ｐ内では、画像１のピクセル（４，５）は、画像２のピクセル（４，５）と一致する。図６の論理ブロックＢ７４の一部として、ＥＣＵ ５０は、自動的に又は外科医のサポート若しくは指示により（例えば、入力信号（図示せず）による）、立体画像ペア３８Ｐ内の少なくとも１つの一致するピクセルに追跡点を割り当てる。方法７０の範囲内において、この動作は、立体画像ペア３８Ｐの各画像内の特定の一致するピクセルを識別することを伴い得る。代わりに、単一の一致するピクセルが追跡に不十分な解像度を提供する場合、そのような一致するピクセルの定義されたピクセルクラスタが割り当てられ得る。次に、方法７０は、論理ブロックＢ７６に進む。

図６の論理ブロックＢ７６において、図３に示すＥＣＵ ５０は、次に、収集された立体画像データ３８を使用して網膜牽引を定量化する。論理ブロックＢ７６の一部として、ＥＣＵ ５０は、論理ブロックＢ７４の一部として割り当てられた追跡点の相対運動を確認するために、立体画像データ３８内の１つ又は複数の立体画像ペア３８Ｐに対して上述のＤＩＣプロセスを自動的に行い得る。当技術分野において理解されるように、ＤＩＣは、撮像された被写体における静的又は動的な変形、輪郭、ひずみ、振動及び他の変位を定量化するためにデジタル画像処理技術分野で使用される光学技術である。この例では、撮像された被写体は、網膜２５、図２のＩＬＭ ３１及び周囲の眼内組織であり、相関は、論理ブロックＢ７４からの識別された追跡点に適用される。

論理ブロックＢ７６の一部として、ＥＣＵ ５０は、そのような追跡点の相対運動を、論理ブロックＢ７４で定量化されたような網膜牽引にも関連付ける。例えば、ＥＣＵ ５０は、例えば、追跡点の相対運動によってインデックスを付けられたルックアップテーブルとして、図３に概略的に示す牽引マップ５５を参照し得る。所与の相対運動値は、例えば、本明細書において数値牽引指数と呼ばれる値に対応し得、そのような値は、網膜牽引の大きさを示す。このような数値牽引指数は、可能な実施形態において、正規化され得、０は、網膜２５に対する牽引なしに対応し、１は、最大量の牽引に対応する。非正規化実施形態は、実際の対応する牽引値と同様に選択的に使用され得る。

患者の眼３０の動きは、ときに患者の動き又は外力により生じる場合がある。例えば、患者は、患者の自由意志による場合又は外科医が患者及び／若しくは図１の台１４にぶつかったことに応答した場合或いは他の場合であろうと、手術中に動くことがある。その結果生じる運動は、当技術分野では自由体運動又は固体運動と呼ばれる。このような運動に関して、立体画像ペア３８Ｐの２つの一致する画像ピクセル又は追跡点間の相対距離は、運動下でも同じままである。したがって、網膜牽引を定量化する目的で本明細書において考慮される相対運動は、例えば、固体運動フィルタを適用することにより、このようなベースライン固体運動を除外する。これにより、ＥＣＵ ５０は、論理ブロックＢ７６の範囲内で生じるＤＩＣプロセスの一部として、網膜２５の固体運動を考慮することができる。ＥＣＵ ５０が数値牽引指数を決定すると、方法７０は、論理ブロックＢ７８に進む。

図６の論理ブロックＢ７８において、ＥＣＵ ５０は、次に、論理ブロックＢ７６からの数値牽引指数を、較正された牽引閾値（「牽引≦ＣＡＬ？」）又は上記のような網膜２５の異なる領域若しくはゾーンに対応する複数のそのような牽引閾値と比較する。方法７０は、較正された牽引閾値の何れも超えない場合、すなわち網膜牽引が１つ又は複数の上述の較正された牽引閾値以下である場合、論理ブロックＢ７２を繰り返す。方法７０は、ＥＣＵ ５０が較正された牽引閾値の１つ又は複数を超えたと肯定的に決定した場合、選択的に論理ブロックＢ８０に進む。

論理ブロックＢ８０は、数値牽引指数に基づいて制御動作を実行することを伴い、制御動作は網膜牽引を示す。例えば、ＥＣＵ ５０は、数値牽引指数が、較正された牽引閾値を超えることに応答して、インジケータデバイス２０Ａ及び／又は２０Ｂを適切な方法で作動させ得る。図３の多軸手術ロボット６０が使用される実施形態では、制御動作は、手術ロボット６０、特に当技術分野で理解されるように手術ロボット６０の１つ又は複数の回転関節に運動制御信号を送信して、力の負担を軽減するために位置を変更すること又は可能な自律的実施形態では、数値牽引指数に応答して、必要に応じて掻き取る力、引っ張る力／引く力及び／又は他の値を変更することを含み得る。

論理ブロックＢ８０の一部として、ＥＣＵ ５０は、多くの可能な制御動作の何れをＥＣＵ ５０が実行すべきかを決定する際、論理ブロックＢ７８において所与の牽引閾値を超えた大きさを考慮し得る。すなわち、制御動作は、網膜牽引の現在のレベルと超過した牽引閾値との間の差の大きさにふさわしいものとすることができ、ＥＣＵ ５０は、場合により、大きさが増大するにつれて対応するアラームを段階的に増大させる。制御動作の実行は、任意選択的に、数値牽引指数が、較正された牽引閾値を超える場合、図１の１つ又は複数の表示スクリーン２０及び／又は２００の設定を調節することを含み得る。

例示的な例は、図４の代表的ゾーンＺ１及びＺ２に関する対応する牽引閾値を確立することを含む。ＥＣＵ ５０は、図１の表示スクリーン２０及び／又は２００を介して、図４の色分けされたバージョンのヒートマップ４５を表示し得、これにより、外科医は、特定のゾーンにおいて、別のゾーンと比較して牽引が過度に加えられているか否かを一見して判別することができる。一実施形態では、ＥＣＵ ５０は、網膜牽引が増大するにつれて所与のゾーンを黄色から赤色に徐々に色を付けることなどにより、所与のゾーンの網膜牽引が次第に増大するにつれて「より熱い」ゾーンの色及び／又は明るさを自動的に調節することができる。所与のゾーンに関して牽引閾値を超えると、ＥＣＵ ５０は、警告音を鳴らすこと、振動させること、警告メッセージを表示することなどにより、特定の補足的な方法で図３のインジケータデバイス２０Ｂを作動させることができる。このような警告メッセージの代わりに又はそれに加えて、ＥＣＵ ５０は、鉗子の代わりにループ状スクレーパの使用を推奨することなどにより、外科医に別の手術器具３４を使用するように促すことができる。

図１及び図３のＥＣＵ ５０、図４の直感的なヒートマップ４５並びに図６に示す方法７０を使用することにより、図３に示す眼科処置１３を行う外科医は、直感的で、場合により必要に応じて局所的な方法において、網膜２５に加えられている実際の牽引レベルを認識する。所与の閾値を超えない限り且つ所与の閾値を超えるまでアラームが鳴らないため、本手法は、わずらわしさが最小限であり、ある外科医の好みに合うように較正可能な入力５８（図３の矢印ＣＡＬ）によって容易にカスタマイズ可能である。

このような任意選択のカスタマイズに関して、本明細書では、手術結果は、ある外科医が採用する個々のスキルセット及び技術に大きく依存することが認識される。そのために、本開示のＥＣＵ ５０は、場合により、較正された牽引閾値のセットがすべての患者に使用されるデフォルト設定を使用することを含む、閾値感度オプションの範囲を提示するように構成され得る。しかしながら、いくつかの実装形態では、外科医は、手術に関する好みを適切に考慮するか、又は年齢、性別、糖尿病、緑内障、高血圧などの健康状態、以前の外傷、疾患及び／又は手術、過去の結果などの異なる患者固有のパラメータ／可変パラメータを考慮するために、そのようなデフォルト設定から逸脱することを望む場合がある。例えば、いくつかの手法では、外科医は、ＥＣＵ ５０を介して、上記のパラメータ例の何れか又はすべてを含む患者に関する一連の質問に答えるように促され得、その後、ＥＣＵ ５０は、牽引マップ５５と併せて適用すべき対応する閾値を推奨又は自動的に選択する。

閾値の適応に関しては、ある患者及び／又は外科医に関して方法７０の使用をカスタマイズすることに加えて、牽引閾値は、履歴結果を使用して経時的に調節され得る。例として、何日、何ヶ月又は何年にもわたる複数の手術の履歴結果を使用して、１つ又は複数の牽引閾値を超えることに関連した特定の制御動作が不要であったか又は時期尚早であった可能性があると経時的に決定することができる。このような例では、ＥＣＵ ５０は、外科医の専門的な裁量により、ＩＬＭ ３１又は網膜２５を損傷する恐れなしに、必要に応じてより高いレベルの網膜牽引を外科医が採用できるようにするために、後続の手術中に選択的に牽引閾値を増加させることができる。代替的に、適用された牽引閾値が低すぎることを履歴結果が示す場合（おそらく何れも予期されていなかった損傷又は満足のいかない結果を招く）、ＥＣＵ ５０は、牽引閾値を減少させることができる。

当業者であれば、方法７０は、図３のメモリ５４又は別個のメモリ場所に記録されたコンピュータ可読命令として実装され得、ＣＰＵ ５２による命令の実行は、ＣＰＵ ５２が、図３に概略的に示された患者の眼３０の網膜２５に対する網膜牽引を定量化することを可能にすることを認識するであろう。すなわち、方法７０を具現化する命令の実行は、ＣＰＵ ５２及びメモリ５４から構築されるシステムに、眼科処置１３中に図３のステレオカメラ１６から立体画像データ３８を受信することと、立体画像ペア３８Ｐ内で追跡点を割り当てることとを行わせる。

命令の実行はまた、ＣＰＵ ５２に、立体画像ペア３８Ｐを使用して上記のＤＩＣプロセスを自動的に行わせ、それにより例えば図５に示すように追跡点の相対運動を確認し、図３の牽引マップ５５を使用して、網膜牽引の大きさを示す数値牽引指数として追跡点の相対運動を網膜牽引に関連付ける。次に、ＣＰＵ ５２は、単独で又は他の関連ハードウェアを使用して、数値牽引指数が１つ又は複数の較正された牽引閾値を超える場合、制御信号（矢印ＣＣ_２０Ａ）をインジケータデバイス２０Ａに伝達する。例えば、制御信号（矢印ＣＣ_２０Ａ）は、図４に示される上記の色分けされたヒートマップ４５を表示するように構成され得、それにより図１の表示スクリーン２０及び／又は２００を介して網膜牽引を直感的に表示する。

詳細な説明及び図面は、本開示をサポート及び説明するものであるが、本開示の範囲は、特許請求の範囲によってのみ定義される。特許請求される本開示を実施するための最良の態様及び他の実施形態のいくつかを詳細に説明したが、添付の特許請求の範囲に定義される本開示を実施するための様々な代替設計及び実施形態が存在する。

さらに、図面に示された実施形態又は本明細書で言及された様々な実施形態の特徴は、必ずしも互いに独立した実施形態として理解されるべきものではない。むしろ、ある実施形態の例の１つに記載された各特徴は、他の実施形態からの１つ又は複数の他の所望の特徴と組み合わされ得、それにより言語で記載されないか又は図面を参照することによって記載されない他の実施形態がもたらされる。したがって、そのような他の実施形態は、添付の特許請求の範囲の枠組み内に入る。

Claims (20)

1. 眼科処置中の患者の眼の網膜牽引を定量化するための追跡システムであって、
   インジケータデバイスと、
   前記患者の眼の網膜の立体画像データを収集及び出力するように構成されたステレオカメラと、
   前記インジケータデバイス及び前記ステレオカメラと通信する電子制御ユニット（ＥＣＵ）であって、
   前記眼科処置中に前記ステレオカメラから前記立体画像データを受信することであって、前記立体画像データは、立体画像ペアを含む、受信することと、
   前記立体画像ペアの一致するピクセルとして追跡点を割り当てることと、
   前記立体画像ペアに対してデジタル画像相関（ＤＩＣ）プロセスを自動的に行って、前記追跡点の相対運動を確認することと、
   前記ＥＣＵの牽引マップを使用して、前記網膜牽引の大きさを示す数値牽引指数として、前記追跡点の相対運動を前記網膜牽引に関連付けることと、
   前記数値牽引指数に基づいて制御動作を実行することであって、前記制御動作は、前記網膜牽引を示す、実行することと
   を行うように構成される電子制御ユニット（ＥＣＵ）と
   を含む追跡システム。
2. 前記ステレオカメラは、前記ＥＣＵと一体であるローカル制御プロセッサを含む、請求項１に記載の追跡システム。
3. 前記ＤＩＣプロセスの一部として、前記ＥＣＵは、前記相対運動に固体運動フィルタを適用して、前記網膜の固体運動を考慮するように構成される、請求項１に記載の追跡システム。
4. 前記インジケータデバイスは、１つ又は複数の高解像度表示スクリーンを含む、請求項１に記載の追跡システム。
5. 前記ＥＣＵは、前記数値牽引指数が、較正された牽引閾値を超える場合、前記１つ又は複数の高解像度表示スクリーンの設定を調節することにより、前記数値牽引指数に基づいて前記制御動作を実行するように構成される、請求項４に記載の追跡システム。
6. 前記１つ又は複数の高解像度表示スクリーンの前記設定を調節することは、前記１つ又は複数の高解像度表示スクリーンを介して前記網膜牽引の色分けされたヒートマップを表示することを含む、請求項５に記載の追跡システム。
7. 前記ＥＣＵは、前記立体画像ペアによって形成される立体画像の上に前記網膜牽引の前記色分けされたヒートマップを表示するように構成される、請求項６に記載の追跡システム。
8. 前記ＥＣＵは、前記数値牽引指数が、較正された牽引閾値を超えることに応答して、前記制御動作を実行するように構成される、請求項１に記載の追跡システム。
9. 前記ＥＣＵは、前記追跡システムのユーザから較正可能な入力を受信し、且つ前記較正可能な入力に基づいて、前記較正された牽引閾値を調節するように構成される、請求項８に記載の追跡システム。
10. 眼科処置中の患者の眼の網膜に対する網膜牽引を定量化する方法であって、
    電子制御ユニット（ＥＣＵ）を介して、前記眼科処置中にステレオカメラから前記網膜の立体画像データを受信することであって、前記立体画像データは、立体画像ペアを含む、受信することと、
    前記立体画像ペアの一致するピクセルとして追跡点を割り当てることと、
    前記立体画像ペアを使用して、前記ＥＣＵを介してデジタル画像相関（ＤＩＣ）プロセスを自動的に行って、それにより前記追跡点の相対運動を確認することと、
    前記ＥＣＵの牽引マップを使用して、前記追跡点の相対運動を前記網膜牽引に関連付けて、それにより前記網膜牽引の大きさを示す数値牽引指数を決定することと、
    前記数値牽引指数に基づいて、インジケータデバイスを使用して、前記ＥＣＵを介して制御動作を実行することであって、前記制御動作は、前記網膜牽引を示す、実行することと
    を含む方法。
11. 前記ＤＩＣプロセスを自動的に行うことは、前記相対運動に固体運動フィルタを適用して、それにより前記網膜の固体運動を考慮することを含む、請求項１０に記載の方法。
12. 前記インジケータデバイスは、１つ又は複数の表示スクリーンを含み、前記数値牽引指数に基づいて前記制御動作を実行することは、前記数値牽引指数が、較正された牽引閾値を超える場合、前記１つ又は複数の表示スクリーンの設定を調節することを含む、請求項１０に記載の方法。
13. 前記設定を調節することは、前記１つ又は複数の表示スクリーンを介して前記網膜牽引の色分けされたヒートマップを表示することを含む、請求項１２に記載の方法。
14. 前記網膜牽引の前記色分けされたヒートマップを表示することは、前記立体画像ペアから形成された立体画像の上に前記色分けされたヒートマップを表示することを含む、請求項１３に記載の方法。
15. 前記数値牽引指数に応答して前記制御動作を実行することは、前記数値牽引指数を、較正された牽引閾値と比較することと、前記数値牽引指数が、前記較正された牽引閾値を超える場合に前記インジケータデバイスを作動させることとを含む、請求項１０に記載の方法。
16. 前記ＥＣＵを介して、較正可能な入力を受信することと、その後、前記較正可能な入力に基づいて、前記較正された牽引閾値を調節することとをさらに含む、請求項１５に記載の方法。
17. 前記較正された牽引閾値は、前記網膜の異なるゾーン又は領域にそれぞれ対応する複数の牽引閾値を含む、請求項１５に記載の方法。
18. 過去の手術結果を示す履歴データに応答して、較正された牽引閾値を経時的に適応させることをさらに含む、請求項１０に記載の方法。
19. 患者の眼の網膜に対する網膜牽引を定量化するためのシステムであって、
    中央処理装置（ＣＰＵ）と、
    命令が記録されるコンピュータ可読媒体と
    を含み、前記ＣＰＵによる前記命令の実行は、前記ＣＰＵに、
    眼科処置中にステレオカメラから立体画像データを受信することであって、前記立体画像データは、立体画像ペアを含む、受信することと、
    前記立体画像ペア内の一致するピクセルとして追跡点を割り当てることと、
    前記立体画像ペアを使用してデジタル画像相関（ＤＩＣ）プロセスを自動的に行って、それにより前記追跡点の相対運動を確認することと、
    牽引マップを使用して、前記網膜牽引の大きさを示す数値牽引指数として、前記追跡点の相対運動を前記網膜牽引に関連付けることと、
    前記数値牽引指数が１つ又は複数の較正された牽引閾値を超える場合、インジケータデバイスに制御信号を伝達することと
    を行わせる、システム。
20. 前記外部インジケータデバイスは、表示スクリーンを含み、前記制御信号は、前記表示スクリーンを介して前記網膜牽引の色分けされたヒートマップを表示するように構成される、請求項１９に記載のシステム。

Images