JP7036828B2 - 拡張現実眼科手術用顕微鏡の投射のためのシステムと方法 - Google Patents

Description

本開示は眼科手術及び手術器具に関し、より詳しくは、拡張現実眼科手術用顕微鏡の投射のためのシステム及び方法に関する。

眼科において、眼科手術は眼及び付属的視覚構造に対して行われ、毎年何万人もの人々の視力を保存し、改善している。しかしながら、視覚が眼内の小さい変化によってさえ影響を受けやすく、多くの眼構造が微細で繊細な性質であることを考えると、眼科手術は施行が難しく、軽微又は稀な手術のエラーを減少させたり、又は外科的技術の精度を少し高めたりしただけでも、術後の患者の視力には非常に大きな差が生じる可能性がある。

眼科手術は、眼及び付属的視覚構造に対して行われる。眼科手術中、患者は支持台の上に仰向けで、手術用顕微鏡の下に位置付けられる。開瞼器が挿入されて眼球が露出した状態に保たれる。外科医は、手術用顕微鏡を使って患者の眼を見ることが多く、手術器具が導入されて、様々な種類の処置が行われてもよい。手術用顕微鏡は、処置中に眼の一部を画像化し、任意選択により照明する。手術用顕微鏡は、多くの形態で、例えば天井取付型手術用顕微鏡又は移動式のカート取付型手術用顕微鏡として構成されてもよい。

顕微鏡画像は、眼科手術中に小さい眼構造を見るために使用される。これらは拡大されるものの、これらの画像がそれ以外に通常の視力で見えるものにどれだけよくマッチするかが、外科医がどれだけうまく施術できるかに影響を与える。単眼顕微鏡画像は、見ている物体に関する情報を大きさ、フォーカス、陰影、及びオクルージョンを通じて提供する。現在、立体（３Ｄ）表示により両眼視差、すなわち片眼での画像の見え方と反対の眼での見え方との差異が加わり、それによってこれらはより写実的となり、より多くの視覚情報が外科医に提供される。しかしながら、眼科手術で使用される顕微鏡画像に含まれる情報にはまだ改善の余地が残っている。

本開示は眼科手術のためのシステムを提供する。システムは、眼科顕微鏡のイメージングシステムに通信可能に連結された拡張現実装置を含む。拡張現実装置は、デジタル画像を投射するように構成されたレンズと、レンズに連結された外面であって、少なくとも部分的に透明な外面と、拡張現実装置のオペレータの眼の焦点を検出し、焦点に基づく信号を送信するように構成された視線制御手段と、視線制御手段と外面に通信可能に連結された調光システムと、を含む。調光システムは、眼科顕微鏡のイメージングシステムからデジタル画像を受信し、デジタル画像をレンズに投射し、視線制御手段からオペレータの眼の焦点に関する信号を受信し、受信した信号に基づいて、拡張現実装置の外面を少なくとも部分的に透明と不透明との間で変化させるように動作可能なプロセッサをさらに含んでいてもよい。

システムは、以下のようなその他の特徴の１つ又は複数をさらに有していてもよく、これらは明確に相互に排他的でない限り組み合わせてもよい：ｉ）拡張現実装置は拡張現実グラスを含んでいてもよく、ｉｉ）デジタル画像は、オペレータの各眼のためにレンズ上に投射される別々の画像を含んでいてもよく、ｉｉｉ）システムはデジタル画像と関与するように構成された器具を含んでいてもよく、ｉｉｉ－ａ）器具はオペレータが操作する物理的器具を含んでいてもよく、ｉｉｉ－ｂ）器具はオペレータが操作するデジタル器具を含んでいてもよく、ｉｖ）システムはデジタル画像と関与するように構成された制御装置を含んでいてもよい。

本開示はさらに、眼科手術を行う方法を提供する。方法は、眼科顕微鏡のイメージングシステムからデジタル画像を受信するステップと、デジタル画像を拡張現実装置のレンズへと投射するステップと、オペレータの眼の焦点に関する信号を受信するステップと、受信した信号に基づいて、拡張現実装置の外面を少なくとも部分的に透明と不透明との間で変化させるステップと、を含んでいてもよい。

方法は、以下のようなその他の特徴の１つ又は複数をさらに有していてもよく、これらは明確に相互に排他的でない限り組み合わせてもよい：ｉ）拡張現実装置は拡張現実グラスを含んでいてもよく、ｉｉ）デジタル画像は、オペレータの各眼のためにレンズ上に投射される別々の画像を含んでいてもよく、ｉｉｉ）方法は、器具をデジタル画像と関与させるステップをさらに含んでいてもよく、ｉｉｉ－ａ）器具はオペレータが操作する物理的器具を含んでいてもよく、ｉｉｉ－ｂ）器具はオペレータが操作するデジタル器具を含んでいてもよく、ｉｖ）方法はデジタル画像と関与するように構成された制御装置を含んでいてもよい。

本開示はそこに命令が記憶された非一時的コンピュータ読取可能媒体をさらに含み、命令は、プロセッサにより読取可能であり、読み取られ、実行されると、眼科顕微鏡のイメージングシステムからデジタル画像を受信し、デジタル画像を拡張現実装置のレンズに投射し、オペレータの眼の焦点に関する信号を受信し、受信した信号に基づいて、拡張現実装置の外面を少なくも部分的に透明と不透明との間で変化させるように構成される。

非一時的コンピュータ読取可能媒体は、以下のようなその他の特徴の１つ又は複数をさらに有していてもよく、これらは明確に相互に排他的でない限り組み合わせてもよい：ｉ）拡張現実装置は拡張現実グラスを含んでいてもよく、ｉｉ）デジタル画像は、オペレータの各眼のためにレンズ上に投射される別々の画像を含んでいてもよく、ｉｉｉ）プロセッサは、器具をデジタル画像と関与するように構成されていてもよく、ｉｉｉ－ａ）器具はオペレータが操作する物理的器具を含んでいてもよく、ｉｉｉ－ｂ）器具はオペレータが操作するデジタル器具を含んでいてもよい。

上記の何れのシステムも、上記の何れの非一時的コンピュータ読取可能媒体も含んでいてよく、上記の何れの方法も実行してよい。上記の何れの非一時的コンピュータ読取可能媒体も、上記の何れの方法も実行してよい。

本発明ならびにその特徴及び利点をさらによく理解するために、ここで、以下の説明を添付の図面と共に参照するが、図は正確な縮尺によらず、図中、同様の番号は同様の特徴を示す。

眼科手術を行うための眼科手術用顕微鏡システムの概略図である。 外面が透明である場合の拡張現実装置を用いた部分ビューを示す。 外面が不透明である場合の拡張現実装置を用いた部分ビューを示す。 デジタル画像が器具と関与している場合の拡張現実装置を用いた部分ビューを示す。 本明細書に記載されている拡張現実眼科手術用顕微鏡の投射の方法を示す。

以下の説明の中で、開示されている主題を論じやすくするために、例として詳細事項が示されている。しかしながら、当業者にとっては開示されている実施形態は例示にすぎず、考えうる実施形態のすべてを網羅しているわけではないことが明らかであるはずである。

本開示は、眼科手術中に拡張現実を使用するためのシステムと方法を提供する。幾つかの場合に、システムは拡張現実装置、例えばヘッドセット及び／又はグラスを使用して、眼科顕微鏡からの画像を表示する。例えば、拡張現実グラスは、１つ又は複数の透明又は半透明のレンズと、個々の画像を、これらをレンズで反射させることによって各眼へと投射する光学系と、を含んでいてもよい。画像は、レンズを通じてオペレータの通常の視野に追加されるデジタル画像、立体（３Ｄ）画像、例えばホログラムとして解釈される。幾つかの場合に、デジタル又は３Ｄ画像は半透明である。それゆえ、投射された画像はオペレータにとって、グラスを通して通常見える物理的空間に追加されて見える。投射された画像の半透明性により、オペレータは画像の背後の物理的空間が目障りとなって、投射された画像をはっきりと見ることが難しいかもしれない。本開示のシステムは、透明から不透明へと変化してもよいレンズ外面を含んでいてもよい。例えば、外面は、透明と不透明との間で変化するように電子的に制御される調光フィルムを含んでいてもよい。外面は、調光システムから信号を受信したことに基づいて、透明と不透明との間の変化を開始してもよい。調光システムは、視線制御手段を含んでいてもよい。視線制御手段は、オペレータの視線を検出し、オペレータの焦点が投射画像に合っているか、又は物理的空間に合っているかを特定してもよい。視線制御手段はまた、オペレータの焦点が物理的空間から投射画像に、又はその逆に移ったことを検出してもよい。視線制御手段がオペレータの焦点が物理的空間から投射画像に移ったことを検出すると、視線制御手段は外面を透明から不透明へと変化させる信号を送信してもよい。それに加えて、視線制御手段が使用の焦点が投射画像から物理的空間へと移ったことを検出すると、視線制御手段は、外面を不透明から透明に変化させる信号を送信してもよい。

幾つかの場合において、システムと方法は、眼科手術中に手術室の機器をタッチレス操作するために使用されてもよい。例えば、拡張現実装置により投射されるデジタル又は３Ｄ画像は、手術機器のための仮想制御手段を含んでいてもよい。拡張現実装置は、オペレータの手を、手が手術機器を操作している間に追跡するために提供されてもよい。さらに、物理的装置は、オペレータにより使用されてもよい。例えば、物理的装置には制御ノブ、ハンドル、キーボード、及び／又は具体的な実装にとって適当な他の何れかの好適な物理的装置が含まれていてもよく、これらに限定されない。幾つかの場合において、物理的装置は、例えばプラスチック又は紙製等、使い捨てであってもよい。仮想制御手段及び／又は物理的装置の使用により、オペレータは滅菌性を損なわずに手術機器を精密に制御できるかもしれない。

図１は、眼科手術を実行するための眼科手術用顕微鏡システム１００の概略図である。顕微鏡システム１００は、例えば有線又は無線でイメージングシステム１０４に通信可能に連結された眼科顕微鏡１０２を含む。イメージングシステム１０４は、例えば有線又は無線で拡張現実装置１０６に通信可能に連結されてもよい。

眼科顕微鏡１０２は少なくとも１つの顕微鏡レンズ１２０を含み、それを通じて光ビームが眼又は付属的構造で反射してからカメラ１２２に入る。カメラ１２２は、ライトフィールドカメラ、ビデオカメラ、又は捕捉された画像のデジタル情報をイメージングシステム１０４に提供する他の何れのカメラであってもよい。イメージングシステム１０４は、カメラ１２２から受信したデジタル情報を使って、視覚的表示装置、例えばマルチビューディスプレイ、３Ｄグラス又はゴーグル、スクリーン、及び／又は他の何れかの適当なディスプレイ上に画像を表示する。幾つかの実施形態において、３Ｄグラスは拡張現実装置１０６に含められてもよく、さらに拡張現実グラス１２４に含められてもよい。

顕微鏡レンズ１２０は、眼科手術において使用される何れの種類の拡大レンズを含んでいてもよく、これは例えば広角レンズを含む直接接触レンズ及び間接レンズである。図１には１つの顕微鏡レンズ１２０が示されているが、複数のレンズを使って、視覚画像の拡大又はその他の面を変化させることができるようにしてもよい。幾つかの実施形態において、拡大レンズ１２０は眼科顕微鏡１０２内にあってもよく、又はまったくなくてもよい。特に、カメラ１２２はイメージングシステム１０４と共に、眼科顕微鏡１０２により捕捉されるデータを使って何れの視覚画像の焦点も変更してよいため、イメージングシステム１０４を使って表示される視覚画像を、顕微鏡レンズ１２０を使用せずに拡大することが可能であるかもしれない。

カメラ１２２は、光ビームがどの方向から到達したかに関する情報を捕捉して、その情報をデジタル化できる何れのライトフィールドカメラ又はその他の機器もしくはセンサであってもよい。カメラ１２２は、光の色や強度等の画像情報だけでなく、光線のベクトルに関する方向情報も捕捉してよい。カメラ１２２は、１つ又は複数の光センサを含んでいてもよく、これは光をデジタル画像に変換できる何れの電子機器であってもよい。例えば、光センサは、光－デジタルセンサ、半導体電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）デバイス、Ｎ型金属酸化膜半導体（ＮＭＯＳ）デバイス、又は１つ又は複数の集積回路の一部としてフォトダイオードアレイを含む別の電子機器であってよい。

イメージングシステム１０４は、カメラ１２２からのデジタル情報を使って、画像情報及び方向情報を生成してもよい。この方向情報はさらに、デジタル画像及び／又は３Ｄ画像を生成するために使用されてもよい。イメージングシステム１０４は、カメラ１２２から分離されてそれと通信しても、又はカメラ１２２の一部であってもよい。イメージングシステム１０４は処理リソースを含んでいてもよく、これは、カメラ１２２からのデジタル情報を処理して視覚的ディスプレイ上に画像を表示するために使用可能な情報を生成するための１つ又は複数のアルゴリズムを記憶するメモリと通信してもよい。このようなアルゴリズムは、情報の生成において、例えば光センサの配置等のカメラ１２２の構成要素の配置及び追加の要素の有無に関する情報を使用してもよい。イメージングシステム１０４はまた、拡張現実グラス１２４又は他の何れかの適当な視覚ディスプレイを使ってデジタル画像及び／又は３Ｄ画像を表示するために使用可能な情報を生成するのに適した、眼科手術以外に関して開発された何れのアルゴリズムも使用してよい。カメラ１２２は、イメージングシステム１０４と共に、また任意選択により１つ又は複数の追加のカメラ、光センサ、もしくは処理リソースと共に、デジタル画像及び／又は３Ｄ画像を、拡張現実グラス１２４を用いた眼科手術中に使用するのに十分な解像度で表示するために使用可能な情報を生成してもよい。

拡張現実装置１０６は、拡張現実グラス１２４を含んでいてよい。拡張現実グラス１２４は、オペレータの頭部に装着して、左眼及び右眼に異なる画像を投射し、オペレータの頭部が動いたときに画像の視点を調整できる何れの装置を含んでいてもよい。拡張現実グラス１２４は、デジタル画像及び／又は３Ｄ画像を１つ又は複数のレンズ１０８上に表示する能力を含み、位置認識を利用してデジタル現実を提供することができる。デジタル画像は、オペレータの各眼のためにレンズに投射される個々の画像からなっていてもよい。合成されたデジタル画像は、３Ｄ画像又はホログラムとして解釈されもてもよい。デジタル画像及び／又は３Ｄ画像は実質的に透明であってもよい。それに加えて、拡張現実装置１０６の一部は、人に、例えばベルトを介して、拡張現実グラス１２４を介して、グラスのクリップを介して物理的に取り付けられることによって、又は、例えばスマートフォンもしくはラップトップ等のコンピューティングデバイスを通して見る等、オペレータが手で持つことによって装着されてもよい。拡張現実装置１０６は本明細書において、観察装置として拡張現実グラス１２４を使用するように示されているが、特定の実装に適当であるように、何れの観察装置が利用されてもよい。

拡張現実装置１０６は、外面１１０をさらに含んでいてもよい。外面１１０は、拡張現実グラス１２４と合体されていてもよく、又は拡張現実グラス１２４に取り付けられた別の装置であってもよい。例えば、外面１１０はレンズ１０８又は拡張現実グラス１２４にクリップで取り付けられ、又はそれ以外の方法で結合されてもよい。外面１１０は、交差偏光フィルム又は、電子信号に応答して透明と不透明との間で変化可能なその他の種類のフィルムもしくは被覆材を含んでいてもよい。外面１１０が不透明に変化すると、外面１１０は基本的に光を発しなくてもよく、暗く、又は黒く見えてもよい。それに加えて、外面１１０は、透明と不透明との間で段階的変化を有するように動作してもよく、それによって光は部分的に外面１１０を通ってもよい。

拡張現実装置１０６はまた、視線制御手段１１２も含んでいてよい。視線制御手段は、例えば有線又は無線で拡張現実グラス１２４及び調光システム１１４に通信可能に連結されてもよい。視線制御手段１１２は、オペレータの視線の方向及び／又は焦点を特定する何れの装置であってもよい。視線制御手段１１２は、オペレータの片眼又は両眼を追跡して、オペレータの視線を特定するように動作可能であってもよい。例えば、視線制御手段１１２は、オペレータの眼の焦点が、デジタル画像及び／又は３Ｄ画像等の１つ又は複数のデジタル画像の投射を含んでいてもよいレンズ１０８に合っているか、又はオペレータの眼の焦点がレンズ１０８の先の物理的空間に合っているかを特定するように動作可能であってもよい。

それに加えて、拡張現実装置１０６は調光システム１１４を含んでいてもよい。調光システム１１４は、例えば有線又は無線で拡張現実グラス１２４及び／又は外面１１０に通信可能に連結されてもよい。調光システム１１４は、外面１１０を透明から不透明へと変化させるように動作可能であってもよい。調光システム１１４により行われる変化は、略瞬間的であってもよい。調光システム１１４は、例えば有線又は無線で視線制御手段１１２に通信可能に連結されて、視線制御手段１１２から信号を受信し、及び／又はそこに送信してもよい。例えば、視線制御手段１１２が、オペレータの眼の焦点がレンズ１０８に投射されたデジタル画像に合っていると判断した場合、視線制御手段１１２は信号を調光システム１１４に送信してもよい。視線制御手段１１２から信号を受信すると、調光システム１１４は外面１１０を不透明に変化させてもよい。さらに、視線制御手段１１２が、オペレータの眼の焦点がレンズ１０８の先の物理的空間に合っていると判断すると、視線制御手段１１２は調光システム１１４に信号を送信してもよい。視線制御手段１１２から信号を受け取ると、調光システム１１４は外面１１０を透明又は半透明に変化させてもよい。

調光システム１１４は処理リソース１１６を含んでいてもよく、これは、視線制御手段１１２からのデジタル情報を処理して外面１１０を透明と不透明との間で変化させるための１つ又は複数のアルゴリズムを記憶するメモリ１１８と通信してもよい。このようなアルゴリズムは、オペレータの眼の視線の焦点及び／又は方向に関する情報、又は特定の実装に固有のその他の何れの適当な情報も使用してよい。調光システム１１４はまた、外面１１０を透明と不透明との間で変化させるのに適した、眼科手術以外に関連して開発された何れのアルゴリズムを使用してもよい。

図２Ａは、外面１１０が透明である場合の、拡張現実装置１０６を用いた部分ビュー２０２を示す。図２Ａは、図１に関して述べたレンズ１０８を通した部分ビュー２０２を含む。図２Ａに示される例において、調光システム１１４はすでに外面１１０を透明又は半透明に変化させて、物理的空間２０４がデジタル画像２０６を通して完全に、又は部分的に見えるようにしたかもしれない。例えば、視線制御手段１１２は、オペレータの眼の焦点が物理的空間２０４に合っている、又は眼がそこに向けられていることを検出したかもしれない。したがって、視線制御手段１１２は信号を調光システム１１４に送信したかもしれず、調光システム１１４は外面１１０を透明又は半透明に変化させたかもしれない。部分ビュー２０２は、拡張現実装置１０６のレンズ１０８がオペレータの視野の中に位置付けられ、オペレータの実際の物理的空間２０４の視野の全部が隠されていない拡張現実環境の例示的な図を示している。

拡張現実装置のレンズ１０８は、レンズ１０８内のデジタル画像２０６の投射と、レンズ１０８上へのデジタル画像２０６の投射より先とその周囲の両方の実際の物理的空間２０４のビューとを同時に提供する。幾つかの実施形態において、拡張現実装置１０６はイメージングシステム１０４と共同して、オペレータに見える物理的空間２０４とレンズ１０８上に示されることになるデジタル画像２０６とを確立するように機能する。特に、レンズ１０８上のデジタル画像２０６の大きさと範囲は、オペレータの視野の特定の部分に限定されず、これは、デジタル画像２０６がオペレータの視野全体に広がるかもしれないからである。幾つかの実施形態において、デジタル画像２０６は所定の観察寸法に限定されてもよい。幾つかの実施形態において、デジタル画像２０６はレンズ１０８に適合する寸法として、デジタル画像２０６によってオペレータの視野全体が見えなくならないようにしてもよい。例えば、デジタル画像２０６はオペレータの両眼の視野のうちの一方の一部分にわたって延び、反対の眼は物理的空間２０４を見ることができるようにしてもよい。さらに、レンズ１０８上で表示されるデジタル画像２０６の投射は、物理的位置に対応する特定の空間領域に固定されてもよい。拡張現実装置１０６は、その物理的位置に対するオペレータの向きに関して、デジタル画像２０６の投射の一部又は全部を表示してもよい。拡張現実装置１０６は、１つ又は複数の加速度計及び／又はジャイロスコープを含み、オペレータの頭の動きを示してもよい。例えば、オペレータがある特定の物理的位置のほうを向いている場合にデジタル画像２０６は表示されるが、デジタル画像２０６は、オペレータが動いてその物理的位置がオペレータと整列しなくなると、取り除かれてもよい。

デジタル画像２０６は、特定の大きさ又は位置に限定されなくてもよい。幾つかの実施形態において、デジタル画像２０６は眼科手術中の眼の投射であってもよい。幾つかの実施形態において、デジタル画像２０６は、様々なデジタルコンテンツの投射、例えば物理的又はデジタル制御手段、２次元（２Ｄ）画像、ビデオ、テキスト、実行可能アプリケーション、及び／又は特定の実装に固有の他の何れのデジタルコンテンツであってもよい。

幾つかの実施形態において、レンズ１０８に投射されるデジタル画像２０６は、オペレータとの物理的相互作用を通じて関与されるように動作可能であってもよい。具体的には、デジタル画像２０６は、レンズ１０８に投射され、オペレータにより関与されて、様々な行為及び結果がトリガされてもよい。例えば、物理的空間２０４の物理的接触により、デジタル画像２０６の中にさらに別の情報が現れること、眼科手術に関連する機器の動き、及び／又はレンズ１０８に投射されるデジタル画像２０６からの情報の除去が作動されてもよい。拡張現実装置１０６は、レンズ１０８に投射されたデジタル画像２０６をある物理的位置と相関させ、その後、オペレータとそのデジタル画像２０６との物理的相互作用を認識して、所定の結果を生じさせるように動作可能であってもよい。

図２Ｂは、外面１１０が不透明である場合の、拡張現実装置１０６を用いた部分ビュー２０８を示す。図２Ｂは、図１に関して述べたレンズ１０８を通した部分ビュー２０８を含む。図２Ｂに示される例において、調光システム１１４はすでに外面１１０を不透明に、例えば黒又は無色に変化させたかもしれず、それによって物理的空間２０４はデジタル画像２０６の背後に完全に隠れている。例えば、視線制御手段１１２は、オペレータの眼の焦点がデジタル画像２０６に合っている、又は眼がそこに向けられていることを検出したかもしれない。したがって、視線制御手段１１２は調光システム１１４に信号を送信したかもしれず、調光システム１１４は外面１１０を不透明に変化させたかもしれない。部分ビュー２０８は、拡張現実装置１０６のレンズ１０８がオペレータの視野の中に位置付けられ、外面１１００がオペレータの実際の物理的空間２０４の視野の全体を見えなくしている拡張現実環境の例示的な図を示す。

図２Ｃは、デジタル画像２０６が器具２１２と関与している場合の、拡張現実装置１０６を用いた部分ビュー２１０を示す。図２Ｃは、図１に関して述べたレンズ１０８を通した部分ビュー２０８を含む。図２Ｃに示される例において、調光システム１１４はすでに外面１１０を不透明に、例えば黒又は無色に変化させたかもしれず、それによって物理的空間２０４はデジタル画像２０６の背後に完全に隠れている。オペレータは、デジタル画像２０６を物理的又はデジタル器具２１２と関与させて、デジタル画像２０６を操作し、又はそれと相互作用してもよい。器具２１２との関与として示されているが、関与は、オペレータの付加物又は別の人物の付加物となされてもよい。拡張現実装置１０６は、器具２１２又は、デジタル空間内の所定の位置に割り当てられた１つ又は複数のその他の項目による物理的動作を認識してデジタル画像２０６とのデジタルリアクションを開始するように動作可能であってもよい。さらに、デジタル画像２０６との関与は、実際の物理的環境の中でなくてもよく、その代わりに、オペレータによる実際の物理的行動と、レンズ１０８に投射される、拡張現実装置１０６によるこれらの行動の拡張デジタル現実への適用との組合せであってもよい。それに加えて、デジタル画像２０６との関与は、制御手段又は入力／出力装置の使用、例えばボタン、レバー、キーボード、マウス、音声認識制御手段、又は特定の実装のための他の何れの適当な制御手段を通じて行われてもよい。オペレータは、物理的制御手段又は、デジタル画像２０６上の制御手段を保持又は操作してよい。物理的制御手段は、オペレータに物理的装置を扱っている触覚を提供するために利用されてもよい。そのため、物理的制御手段は使い捨てであってもよく、手術環境の滅菌性に影響を与えないかもしれない。デジタル画像２０６のオペレータによる関与により、手術器具のタッチレス制御が可能となるかもしれない。

図３は、本明細書に記載されているような、拡張現実眼科手術用顕微鏡の投射の方法３００を示す。方法３００は、上述のシステム及び装置と共に使用されてよい。方法３００は、拡張現実装置を使ってデジタル画像を投射し、外面を透明と不透明との間で変化させてもよい。方法３００に記載される特定の動作は任意選択によるものであってもよく、又は本開示のシステム及び装置を使った各種の眼科手術において順番が変更されてもよい。

ステップ３０５で、眼科顕微鏡は顕微鏡レンズを通じて画像を捕捉し、その画像をカメラ及び／又はイメージングシステムに送信する。例えば、図１に関して述べた眼科顕微鏡１０２は、顕微鏡レンズ１２０を使って画像を捕捉してもよい。

ステップ３１０で、カメラ及び／又はイメージングシステムは受信した画像をデジタル画像に変換する。例えば、イメージングシステム１０４は、カメラ１２２及び／又は眼科顕微鏡１０２から画像を受信して、その画像をデジタル画像に変換してもよい。

ステップ３１５で、拡張現実装置はデジタル画像を受信する。例えば、イメージングシステム１０４は、デジタル画像を拡張現実装置に送信してもよい。拡張現実装置は、デジタル画像を受信して、それをさらなる処理のために準備してもよい。

ステップ３２０で、拡張現実装置はデジタル画像を拡張現実グラスの１つ又は複数のレンズに投射する。例えば、デジタル画像は、拡張現実グラス１２４のレンズ１０８に投射されてもよい。

ステップ３２５で、拡張現実装置はオペレータの眼の焦点又は方向を特定する。例えば、図１に関して述べた視線制御手段１１２は、オペレータの眼の視線を検出し、視線の焦点又は方向を特定してもよい。視線制御手段１１２は、視線、例えばオペレータの眼の焦点又は方向における変化も検出するように動作可能であってよい。

ステップ３３０で、拡張現実装置は、オペレータの眼の焦点に基づく信号を受信する。例えば、視線制御手段１１２は調光システム１１４に、オペレータの眼の焦点又は方向に関する情報を含む信号を送信してもよい。調光システム１１４は、視線制御手段１１２から信号を受信してもよい。

ステップ３３５で、拡張現実装置は、オペレータの焦点がデジタル画像に合っているか否かを特定する。例えば、視線制御手段１１２及び／又は調光システム１１４は、オペレータの眼の焦点が投射されたデジタル画像、例えば図２Ａ～２Ｃに関して示されたデジタル画像２０６に合っているか否かを特定するように動作可能であってもよい。オペレータの眼の焦点がデジタル画像２０６に合っていると、方法３００はステップ３４０に進み、そこで調光システム１１４は外面１１０を不透明に変化させる。オペレータの眼の焦点がデジタル画像２０６に合っていないと、方法３００はステップ３４５に進み、そこで調光システム１１４は外面１１０を透明又は半透明に変化させる。

上で開示された主題は、例示的であり、限定的ではないと考えるものとし、付属の特許請求の範囲は本開示の実際の主旨と範囲に含まれる改変、改良、及び他の実施形態のすべてを包含することが意図される。例えば、上記の何れのシステムも、上記の何れの非一時的コンピュータ読取可能媒体も含んでいてよく、上記の何れの方法も実行してよい。上記の何れの非一時的コンピュータ読取可能媒体も、上記の何れの方法も実行してよい。それゆえ、法の下で可能な限り最大限に、本開示の範囲は以下の特許請求の範囲及びその均等物の可能な限り最も広い解釈により特定されるものとし、上記の詳細な説明によって制限又は限定されないものとする。

Claims (20)

1. 眼科手術のためのシステムにおいて、
   眼科顕微鏡のイメージングシステムに通信可能に連結された拡張現実装置を含み、前記拡張現実装置は、
   デジタル画像を投射するように構成されたレンズであって、少なくとも部分的に透明な外面を備える、レンズと、
   前記拡張現実装置のオペレータの眼の焦点を検出し、焦点に基づく信号を送信するように構成された視線制御手段と、
   前記視線制御手段と前記外面に通信可能に連結された調光システムであって、
   前記眼科顕微鏡の前記イメージングシステムから前記デジタル画像を受信し、
   前記デジタル画像を前記レンズに投射し、
   前記視線制御手段から前記オペレータの前記眼の前記焦点に関する信号を受信し、
   前記受信した信号に基づいて、前記視線制御手段が前記オペレータの焦点が前記レンズの先の物理的空間から前記デジタル画像に移ったことを検出する時に、前記レンズの前記外面を透明から不透明へと変化させ、かつ、前記視線制御手段が前記オペレータの焦点が前記デジタル画像から物理的空間に移ったことを検出する時に、前記レンズの前記外面を不透明から透明へと変化させるように動作可能なプロセッサを含む調光システムと、
   を含むシステム。
2. 前記拡張現実装置は前記レンズを備える拡張現実グラスを含む、請求項１に記載のシステム。
3. 前記デジタル画像は、前記オペレータの各眼のために前記レンズ上に投射される別々の画像を含む、請求項１に記載のシステム。
4. 前記デジタル画像と関与するように構成された器具をさらに含む、請求項１に記載のシステム。
5. 前記器具は前記オペレータが操作する物理的器具を含む、請求項４に記載のシステム。
6. 前記器具は前記オペレータが操作するデジタル器具を含む、請求項４に記載のシステム。
7. 前記デジタル画像と関与するように構成された制御装置をさらに含む、請求項１に記載のシステム。
8. 眼科手術のためのシステムを作動させる方法において、
   前記システムは、
   眼科顕微鏡のイメージングシステムからデジタル画像を受信し、
   前記デジタル画像を拡張現実装置のレンズへと投射し、
   オペレータの眼の焦点に関する信号を受信し、
   前記受信した信号に基づいて、視線制御手段が前記オペレータの眼の焦点が前記拡張現実装置の先の物理的空間から前記拡張現実装置上の前記デジタル画像に移ったことを検出する時に、前記拡張現実装置の外面を透明から不透明へと変化させ、かつ、前記視線制御手段が前記オペレータの眼の焦点が前記デジタル画像から前記拡張現実装置の先の物理的空間に移ったことを検出する時に、前記拡張現実装置の前記外面を不透明から透明へと変化させるように構成された、眼科手術のためのシステムを作動させる方法。
9. 拡張現実装置は拡張現実グラスを含む、請求項８に記載の方法。
10. 前記デジタル画像は、前記オペレータの各眼のために前記レンズ上に投射される別々の画像を含む、請求項８に記載の方法。
11. 器具をデジタル画像と関与させるステップをさらに含む、請求項８に記載の方法。
12. 前記器具は前記オペレータが操作する物理的器具を含む、請求項１１に記載の方法。
13. 前記器具は前記オペレータが操作するデジタル器具を含む、請求項１１に記載の方法。
14. 前記システムは、前記デジタル画像と関与するように構成された制御装置をさらに含む、請求項８に記載の方法。
15. そこに命令が記憶された非一時的コンピュータ読取可能媒体において、前記命令はプロセッサにより読取可能であり、読み取られ、実行されると、前記プロセッサに、
    眼科顕微鏡のイメージングシステムからデジタル画像を受信させ、
    前記デジタル画像を拡張現実装置のレンズに投射させ、
    オペレータの眼の焦点に関する信号を受信させ、
    前記受信した信号に基づいて、視線制御手段が前記オペレータの焦点が前記レンズの先の物理的空間から前記デジタル画像に移ったことを検出する時に、前記レンズの外面を透明から不透明へと変化させ、かつ、前記視線制御手段が前記オペレータの焦点が前記デジタル画像から物理的空間に移ったことを検出する時に、前記レンズの前記外面を不透明から透明へと変化させるように構成される非一時的コンピュータ読取可能媒体。
16. 前記拡張現実装置は拡張現実グラスを含む、請求項１５に記載の非一時的コンピュータ読取可能媒体。
17. 前記デジタル画像は、前記オペレータの各眼のために前記レンズ上に投射される別々の画像を含む、請求項１５に記載の非一時的コンピュータ読取可能媒体。
18. 前記プロセッサは、器具を前記デジタル画像と関与させるようにさらに構成される、請求項１５に記載の非一時的コンピュータ読取可能媒体。
19. 前記器具は前記オペレータが操作する物理的器具を含む、請求項１８に記載の非一時的コンピュータ読取可能媒体。
20. 前記器具は前記オペレータが操作するデジタル器具を含む、請求項１８に記載の非一時的コンピュータ読取可能媒体。

Images