JP2023525248A - コマンドを入力するためのアイトラッキングシステム - Google Patents

Abstract

特定の実施形態では、コマンドを入力するためのアイトラッキングシステムは、コンピュータ、３次元メガネ及びディスプレイを含む。コンピュータは、グラフィカル要素を有する３次元グラフィカルユーザインターフェースを生成し、各グラフィカル要素は、コマンドに対応する。３次元メガネは、３次元グラフィカルユーザインターフェースをユーザの両眼の方に向ける。ディスプレイは、グラフィカル要素をユーザに対して表示する。ディスプレイは、両眼を照明するように構成される発光ダイオードと、３次元グラフィカルユーザインターフェースに対する両眼の動きをトラッキングして、トラッキングされた両眼を生じさせるように構成されるカメラとを含む。コンピュータは、３次元グラフィカルユーザインターフェースに対するトラッキングされた両眼の動きを、選択されるグラフィカル要素との対話として解釈し、且つ選択されるグラフィカル要素に対応するコマンドを起動する。

Description

本開示は、概して、医療システムを制御することに関し、より詳細には、コマンドを入力するための両眼用システムに関する。

医療デバイスは、操作者からのコマンドに応答して多様なアクションを実行し得る。例えば、操作者は、コマンドパネルからコマンドを選択して、顕微鏡の倍率、焦点及び輝度を変更し得る。しかしながら、医療デバイスのためのコマンドを入力することには、特別な懸念がある。コマンドパネルに接触することにより、パネルが汚染される場合がある。さらに、コマンドを入力するためにパネルの一部を探索することにより、ユーザから時間及び注意が奪われる。したがって、既知のコマンドパネルは、特定の状況に対して適当でないことがある。

特定の実施形態では、コマンドを入力するためのアイトラッキングシステムは、コンピュータ、３次元（３Ｄ）メガネ及びディスプレイを含む。コンピュータは、グラフィカル要素を有する３Ｄグラフィカルユーザインターフェース（ＧＵＩ）を生成し、各グラフィカル要素は、コマンドに対応する。３Ｄメガネは、３Ｄ ＧＵＩをユーザの両眼の方に向ける。ディスプレイは、グラフィカル要素をユーザに対して表示する。ディスプレイは、両眼を照明することによって両眼の上に光反射を生成するように構成される発光ダイオード（ＬＥＤ）と、３Ｄ ＧＵＩに対する両眼の動きをトラッキングして、トラッキングされた両眼を生じさせるように構成されるカメラとを含む。コンピュータは、３Ｄ ＧＵＩに対するトラッキングされた両眼の動きを、選択されるグラフィカル要素との対話として解釈し、且つ選択されるグラフィカル要素に対応するコマンドを起動する。

特定の実施形態では、アイトラッキングシステムを使用してコマンドを入力するための方法は、コンピュータにより、１つ又は複数のグラフィカル要素を含む３次元（３Ｄ）グラフィカルユーザインターフェース（ＧＵＩ）を生成することを含む。各グラフィカル要素は、コマンドに対応する。ディスプレイは、３Ｄ ＧＵＩを表示し、及び３Ｄメガネは、１つ又は複数のグラフィカル要素を含む３Ｄ ＧＵＩをユーザの両眼の方に向ける。ディスプレイに関連付けられた２つ以上の発光ダイオード（ＬＥＤ）は、ユーザの両眼を照明する。ディスプレイに関連付けられた少なくとも１つのカメラは、３Ｄ ＧＵＩに対する両眼の動きをトラッキングして、トラッキングされた両眼を生じさせる。トラッキングされた両眼は、２つ以上のＬＥＤによって照明され得る。コンピュータは、３Ｄ ＧＵＩに対するトラッキングされた両眼の動きを、選択されるグラフィカル要素との対話として解釈し、及びコンピュータは、選択されるグラフィカル要素に対応するコマンドを起動する。

本開示の実施形態について、添付図面を参照して例としてより詳細に説明する。

図１は、ユーザが眼の動きでコマンドを入力することを可能にするアイトラッキングシステムの実施形態を示す。 図２は、３Ｄメガネを含むアイトラッキングシステムの実施形態を示す。 図３は、図１のシステムと共に使用され得る、眼の動きでコマンドを入力する方法の実施例を示す。

ここで、説明及び図面を参照すると、開示される装置、システム及び方法の例示的な実施形態が詳細に示されている。当業者に明らかであるように、開示される実施形態は、例示であり、全ての可能な実施形態を網羅するものではない。

図１は、ユーザが眼の動きでコマンドを入力することを可能にするアイトラッキングシステム１００の実施形態を示す。図１に示される実施形態では、アイトラッキングシステム１００は、コンピュータ１２６、ディスプレイ１０６及びデバイス１２２に通信可能に連結されたフットペダル１２４を含む。コンピュータ１２６は、１つ又は複数のプロセッサ１２８、インターフェース１３０並びに３Ｄグラフィカルユーザインターフェース（ＧＵＩ）１３４、アイトラッキング１３６及びデバイス制御１３８のためのコンピュータプログラムなどのロジックを記憶する１つ又は複数のメモリ１３２を含む。ディスプレイ１０６は、発光ダイオード（ＬＥＤ）１０２－１及び１０２－２（本明細書ではまとめて「ＬＥＤ１０２」と称する）並びにカメラ１０４を含む。加えて、ディスプレイ１０６は、３Ｄ ＧＵＩ１３４の１つ又は複数のグラフィカル要素１４０を表示し得る。図２に示される実施形態では、グラフィカル要素１４０は、焦点要素１１２、輝度要素１１４、ズーム要素１１６、処置要素１１８及び操縦要素１２０を含む。グラフィカル要素１４０は、前要素１０８及び次要素１１０を追加的に含み得る。他の実施形態では、３Ｄ ＧＵＩ１３４は、ユーザが眼の動きでコマンドを入力することを可能にするための、追加の、より少ない又は任意の適当な組み合わせのグラフィカル要素１４０を含み得る。

動作の実施例では、アイトラッキングシステム１００は、ユーザが例えば手術用カメラなどの任意の適当なデバイス１２２にコマンドを入力することを可能にする。コンピュータ１２６は、１つ又は複数のグラフィカル要素１４０を含む３Ｄ ＧＵＩ１３４を生成する。各グラフィカル要素１４０は、コマンドに対応する。少なくとも１つの３Ｄメガネが、例えば、眼科的処置を行う外科医などのユーザの両眼の方に３Ｄ ＧＵＩ１３４を向け得るように、ディスプレイ１０６は、１つ又は複数のグラフィカル要素１４０を含む３Ｄ ＧＵＩ１３４を表示する。２つ以上のＬＥＤ１０２は、ディスプレイ１０６に通信可能に連結されて、ユーザの両眼を照明し得る。少なくとも１つのカメラ１０４は、ディスプレイ１０６に通信可能に連結されて、３Ｄ ＧＵＩ１３４に対する両眼の動きをトラッキングし、トラッキングされた両眼を生じさせ得る。トラッキングされた両眼は、２つ以上のＬＥＤ１０２によって照明され得る。コンピュータ１２６は、３Ｄ ＧＵＩ１３４に対するトラッキングされた両眼の動きを、選択されるグラフィカル要素１４０との対話として解釈し得、且つ選択されるグラフィカル要素１４０に対応するコマンドを起動し得る。

一実施形態では、デバイス１２２は、患者の生体構造の高品質画像を可能にする解像度、画像深度、明瞭度及びコントラストを有する手術用カメラであり得る。例えば、ハイダイナミックレンジ（ＨＤＲ）手術用カメラは、外科的処置、例えば眼科的処置中にアクションを実行するために眼の３Ｄ画像をキャプチャするように使用され得る。デバイス１２２は、ディスプレイ１０６と（例えば、有線接続、無線接続などを介して）通信可能に連結され得、ディスプレイ１０６は、外科医、スタッフ、学生及び／又は他の第三者に、眼の生体構造への深径覚を与える３Ｄ画像の立体表現を表示し得る。デバイス１２２は、広い視野を維持しながら、眼の生体構造の拡大率を増大させるためにも使用され得る。３Ｄ画像の立体表現は、３Ｄメガネを用いてディスプレイ１０６上で見られ得る。ディスプレイ１０６上に表示される３Ｄ画像の立体表現を用いると、ユーザは、顕微鏡の対眼レンズの上にかがむこと及び首に負担を掛けることなく、快適な位置にある間に患者の眼に対して外科的処置を実行し得る。

特定の実施形態では、コンピュータ１２６は、３Ｄ ＧＵＩ１３４を生成し、３Ｄ ＧＵＩ１３４は、ディスプレイ１０６を介してユーザの両眼の方に向けられる。３Ｄ ＧＵＩ１３４は、１つ又は複数のグラフィカル要素１４０を含み、グラフィカル要素１４０は、任意の適当なサイズ又は形状を有し得る。各グラフィカル要素１４０は、典型的には、アクションを実行するため、例えばユーザによって定義される選択若しくは設定を受け入れるため、コンピュータ１２６にプログラムされたユーザ選択動作を実行するため、ユーザによって要求された情報を表示するため又は他の適当なアクションのための、デバイス１２２に対するコマンドに対応する。図１に示される実施形態では、グラフィカル要素１４０は、前要素１０８、次要素１１０、焦点要素１１２、輝度要素１１４、ズーム要素１１６、処置要素１１８及び操縦要素１２０を含む。前要素１０８は、前に戻るコマンド、例えば前のメニュー、メニューのリスト上の前のオプション及び／又は外科的処置の前のステップに移動するコマンドに対応する。次要素１１０は、先に進むコマンド、例えば次のメニュー、メニューのリスト上の次のオプション及び／又は外科的処置の次のステップに移動するコマンドに対応する。焦点要素１１２は、デバイス１２２によってキャプチャされる外科的処置の１つ又は複数の３Ｄ画像の焦点を制御するコマンドに対応する。輝度要素１１４は、外科的処置の１つ又は複数の３Ｄ画像の輝度レベル、例えばデバイス１２２のレンズを通して受光される光の量を制御するコマンドに対応する。ズーム要素１１６は、外科的処置の１つ又は複数の３Ｄ画像の画角を制御するコマンドに対応する。処置要素１１８は、外科的処置に関連付けられた処置パラダイムを含むステップのシーケンスをディスプレイ１０６上に表示するコマンドに対応する。操縦要素１２０は、外科的処置中、例えばｘ軸、ｙ軸及び／又はｚ軸に沿ったデバイス１２２の動きを制御するコマンドに対応する。ユーザは、ディスプレイ１０６上に表示されるコマンドに対応するグラフィカル要素１４０とユーザの視線を対話させることにより、コマンドを入力し得る。

一実施形態では、コンピュータ１２６は、例えば、グラフィカル要素１４０の選択を示す、グラフィカル要素１４０に対する眼の動き（例えば、視線を動かすか若しくは向けること又は眼を瞬きすること）として対話を解釈し得る。一実施形態では、所定の秒数により、選択されるグラフィカル要素１４０の選択が示されるように、ユーザは、少なくとも所定の秒数、例えば少なくとも３、５又は１０秒間、ユーザの視線をグラフィカル要素１４０に向け得る。別の実施形態では、ユーザは、選択されるグラフィカル要素１４０の選択を示すために、ユーザの視線をグラフィカル要素１４０に向け、所定の回数、例えば１、２又は３回瞬きし得る。他の実施形態では、対話は、ユーザの身体の別の部分の動きによって確認され得る。例えば、ユーザは、ユーザの視線をグラフィカル要素１４０の方に向けてグラフィカル要素１４０を選択し得、その後、ユーザの足でフットペダル１２４を作動させるか、又はユーザの手で物理ボタンを押すことにより、グラフィカル要素１４０の選択を確認し得る。図１に示される実施形態では、フットペダル１２４は、デバイス１２２を介してディスプレイ１０６に通信可能に連結され得る。別の実施形態では、フットペダル１２４は、ディスプレイ１０６に直接通信可能に連結され得る。特定の実施形態では、３Ｄ ＧＵＩ１３４は、ユーザの視線がグラフィカル要素１４０と対話したかどうか、又はグラフィカル要素１４０を選択したかどうかを示し得る。例えば、３Ｄ ＧＵＩ１３４は、ユーザの視線が選択した、ディスプレイ１０６上に表示されたグラフィカル要素１４０を強調し得る（例えば、より明るくするか又は色を変更するなど）。ユーザは、例えば、瞬きをし、手若しくは足を動かし、且つ／又はフットペダル１２４を作動させることにより、選択を確認し得る。

一実施形態では、コンピュータ１２６のアイトラッキングプログラム１３６は、３Ｄ ＧＵＩ１３４に対するトラッキングされた両眼の動きを、選択されるグラフィカル要素１４０との対話として解釈し、デバイス制御プログラム１３８は、選択されるグラフィカル要素１４０に対応するコマンドを起動する。アイトラッキングプログラム１３６は、カメラ１０４によって生成された画像データから眼の視線方向を判定するための既知のアルゴリズムを含む。プロセッサ１２８は、視線方向を判定するためのアルゴリズムに基づいて計算を実行する。追加的に、アイトラッキングプログラム１３６は、例えば、瞬きなどの他の眼の動きを検出し得る。視線方向及び３Ｄ ＧＵＩ１３４の位置を考慮すると、プロセッサ１２８は、グラフィカル要素１４０の選択を示す方式において、視線が３Ｄ ＧＵＩ１３４のグラフィカル要素１４０と対話したかどうかを判定し得る。グラフィカル要素１４０が選択される場合、デバイス制御プログラム１３８は、選択される要素に対応するコマンドを起動する。

一実施形態では、ディスプレイ１０６は、デバイス１２２によってキャプチャされた外科的処置の１つ又は複数の３Ｄ画像の立体表現を表示し得る。ディスプレイ１０６は、ユーザに対して表示される外科的処置の１つ又は複数の３Ｄ画像の上に３Ｄ ＧＵＩ１３４が重畳され得るように、３Ｄ ＧＵＩ１３４を追加的に表示し得る。一実施形態では、ディスプレイ１０６は、デバイス１２２から情報（例えば、手術パラメータ）を受信し得、１つ又は複数の３Ｄ画像の立体表現と共に情報を表示し得る。別の実施形態では、ディスプレイ１０６は、動作（例えば、映像記録を開始及び停止すること）を実行するために、デバイス１２２から信号を受信することもできる。一実施形態では、ディスプレイ１０６は、外科的処置の１つ又は複数の３Ｄ画像の立体表現を表示するために用いられる３Ｄモニタであり得るか又はそれを含み得る。図１に示される実施形態では、ディスプレイ１０６は、ＬＥＤ１０２及びカメラ１０４を含み得る。

一実施形態では、ＬＥＤ１０２は、外科的処置中、トラッキングされた両眼を照明し得る。具体的には、ＬＥＤ１０２は、トラッキングされた両眼を照明して、画像データを生成するためにカメラ１０４によって検出され得る光の反射を生成し得る。ＬＥＤ１０２は、任意の適当な光、例えば可視光及び／又は赤外線（ＩＲ）光で照明し得る。一実施形態では、ＬＥＤ１０２は、電磁放射線スペクトルのＩＲ範囲、例えば７００ナノメートル（ｎｍ）～１ミリメートル（ｍｍ）の範囲の光を放射するソリッドステート発光（ＳＳＬ）デバイスであり得るか又はそれを含み得る。赤外線カメラと共に使用されるとき、ＩＲ ＬＥＤ１０２は、肉眼では見えないまま、トラッキングされた両眼を照明し得る。このようにして、ＩＲ ＬＥＤ１０２は、例えば、外科的処置中にユーザのトラッキングされた両眼に放射される明るい光など、視覚的な注意散漫を引き起こすことなく、トラッキングされた両眼を照明し得る。図１に示される実施形態では、ＬＥＤ１０２がディスプレイ１０６の上に配置されているが、ＬＥＤ１０２は、トラッキングされた両眼の動きをトラッキングするための任意の適当な位置に配置され得る。追加的に、任意の適当な数のＬＥＤ１０２は、トラッキングされた両眼の動きをトラッキングするために用いられ得る。他の実施形態では、任意の適当な発光体、例えばハロゲンランプ、赤外線ランプ、フィルタ付き白熱ランプなどが使用され得る。

一実施形態では、カメラ１０４は、外科的処置中、ディスプレイ１０６上に表示される３Ｄ ＧＵＩ１３４のグラフィカル要素１４０に対するトラッキングされた両眼の動きをトラッキングし得る。具体的には、カメラ１０４は、例えば、角膜（前面）、瞳孔中心、輪部、レンズ（後面）及び／又はトラッキングされた両眼の任意の他の適当な部分から、ＬＥＤ１０２によって照明されるトラッキングされた両眼からの光反射を検出し得る。カメラ１０４は、トラッキングされた両眼を描写する画像データを生成し得、その画像データをコンピュータ１２６に送信し得る。特に、カメラ１０４は、トラッキングされた両眼からの光反射を描写する画像データを生成し得、その画像データを（例えば、有線接続、無線接続などを介して）コンピュータ１２６のアイトラッキングプログラム１３６に伝送し得る。画像データを受信することに応答して、アイトラッキングプログラム１３６は、画像データを用いて、３Ｄ ＧＵＩ１３４に対するトラッキングされた両眼の動きを、選択されるグラフィカル要素１４０との対話として解釈し得る。同様に、コンピュータ１２６のデバイス制御プログラム１３８は、カメラ１０４によって生成された画像データを用いて、選択されるグラフィカル要素１４０に対応するコマンドを起動し得る。図１に示される実施形態では、カメラ１０４がディスプレイ１０６の上に配置されているが、カメラ１０４は、トラッキングされた両眼の動きをトラッキングするための任意の適当な位置に配置され得る。追加的に、任意の適当な数のカメラ１０４は、トラッキングされた両眼の動きをトラッキングするために用いられ得る。他の実施形態では、例えば、サーモグラフィックカメラ、短波長赤外線カメラ、中波長赤外線カメラ、長波長赤外線カメラなどの任意の適当なカメラが使用され得る。

図２は、３Ｄメガネ２００を含むアイトラッキングシステム１００の実施形態を示す。図２に示される実施形態では、３Ｄメガネ２００は、例えば、眼科的処置を行う外科医など、ユーザの両眼の方に３Ｄ ＧＵＩ１３４を向け得る。ＬＥＤ１０２は、光ビーム、例えば光ビーム２０２－１及び２０２－２（本明細書ではまとめて「光ビーム２０２」と称する）を放射することにより、ユーザの両眼を照明し得る。これは、図２に示されており、図２では、ＬＥＤ１０２－１が光ビーム２０２－１を放射し、ＬＥＤ１０２－２が光ビーム２０２－２を放射する。ＬＥＤ１０２によって放射される各光ビーム２０２は、３Ｄメガネ２００のレンズを通して進行して、光反射２０４－１及び２０４－２（本明細書ではまとめて「光反射２０４」と称する）を両眼から発生させ得る。両眼からの光反射２０４は、カメラ１０４によってトラッキングされて、トラッキングされた両眼を生じさせ得る。例えば、光ビーム２０２は、カメラ１０４が３Ｄ ＧＵＩ１３４に対するトラッキングされた両眼の動きをトラッキングするために使用され得る、トラッキングされた両眼の角膜からの光反射２０４を引き起こし得る。カメラ１０４が、光反射２０４に基づいて、トラッキングされた両眼の動きをトラッキングし得るように、ユーザのトラッキングされた両眼は、外科的処置全体を通してＬＥＤ１０２から放射される光ビーム２０２によって連続的に照明され得る。３Ｄ ＧＵＩ１３４に対するトラッキングされた両眼の動きは、コンピュータ１２６（図示せず）により、選択されるグラフィカル要素１４０との対話として解釈され得、コンピュータ１２６は、選択されるグラフィカル要素１４０に対応するコマンドを起動し得る。例えば、カメラ１０４は、光反射２０４をトラッキングして、トラッキングされた両眼を描写する画像データを生成し得る。コンピュータ１２６は、画像データを解釈して、トラッキングされた両眼が焦点要素１１２との対話（例えば、視線）を開始したことを判定し得る。トラッキングされた両眼の動きを焦点要素１１２との対話として解釈し、且つ／又は所定の数の瞬きを受信すると、コンピュータ１２６は、焦点コマンド命令デバイス１２２を起動して、デバイス１２２によってキャプチャされる外科的処置の１つ又は複数の３Ｄ画像の焦点を制御し得る。一実施形態では、１つ又は複数のセンサが、３Ｄ ＧＵＩ１３４に対するトラッキングされた両眼の動きをトラッキングし得るように、３Ｄメガネ２００は、３Ｄメガネ２００内に配置される１つ又は複数のセンサ（図示せず）を含み得る。例えば、ＬＥＤ１０２は、トラッキングされた両眼を照明し得、１つ又は複数のセンサは、トラッキングされた両眼が、選択されるグラフィカル要素１４０との対話を開始したかどうかを判定し得る。

いくつかの実施形態では、ディスプレイ１０６に対するユーザの頭の位置は、外科的処置前にアイトラッキングシステム１００を較正するために判定され得る。一実施形態では、カメラ１０４が、トラッキングされた両眼を描写する画像データを正確に生成し得るように、ユーザがカメラ１０４を較正し得る。例えば、ユーザが、典型的には、外科的処置中に使用される着座位置にある間、ディスプレイ１０６は、ディスプレイ１０６上に表示される特定のグラフィカル要素１４０を見るようにユーザに指示するプロンプトを表示し得る。コンピュータ１２６は、着座位置におけるユーザのトラッキングされた両眼の軌道を、ディスプレイ１０６上に表示される特定のグラフィカル要素の位置と関連付けて、アイトラッキングシステム１００を較正し得る。別の実施形態では、アイトラッキングシステム１００は、ユーザから画像データを受信することなく較正プロセスを起動し得る。例えば、アイトラッキングシステム１００は、システム起動時、周囲の環境に関連してカメラ１０４を較正するために用いられる組み込み自己テスト（ＢＩＳＴ）を採用し得る。

図３は、図１及び図２のシステム１００と共に使用され得る、眼の動きでコマンドを入力する方法の実施例を示す。方法は、ステップ３１０で開始し、ステップ３１０において、コンピュータ１２６は、１つ又は複数のグラフィカル要素１４０を含む３次元（３Ｄ）グラフィカルユーザインターフェース（ＧＵＩ）１３４を生成する。各グラフィカル要素１４０は、コマンドに対応する。ステップ３２０において、ディスプレイ１０６は、グラフィカル要素１４０を含む３Ｄ ＧＵＩ１３４を表示する。３Ｄメガネ２００は、ステップ３３０において、３Ｄ ＧＵＩ１３４をユーザの両眼の方に向ける。ステップ３４０において、２つ以上の発光ダイオード（ＬＥＤ）１０２は、両眼を照明する。２つ以上のＬＥＤ１０２は、ディスプレイ１０６に関連付けられ得る。例えば、ＬＥＤ１０２は、図２に示されるように、ディスプレイ１０６に通信可能に連結され得る。ステップ３５０において、カメラ１０４は、３Ｄ ＧＵＩに対する両眼の動きをトラッキングして、トラッキングされた両眼を生じさせ得る。トラッキングされた両眼は、２つ以上のＬＥＤ１０２によって照明され得る。コンピュータ１２６は、ステップ３６０において、３Ｄ ＧＵＩに対するトラッキングされた両眼の動きを、選択されるグラフィカル要素１４０との対話として解釈する。ステップ３７０において、コンピュータ１２６は、選択されるグラフィカル要素に対応するコマンドを起動する。

本明細書で開示されたシステム及び装置のコンポーネント（例えば、コンピュータ）は、インターフェース、ロジック及び／又はメモリを含み得、そのいずれもハードウェア及び／又はソフトウェアを含み得る。インターフェースは、コンポーネントへの入力を受信し、コンポーネントから出力を提供し、且つ／又は入力及び／若しくは出力を処理し得る。ロジックは、コンポーネントの動作を実行し、例えば命令を実行して入力から出力を生成し得る。ロジックは、１つ若しくは複数のコンピュータ又は１つ若しくは複数のマイクロプロセッサ（例えば、コンピュータ内に存在するチップ）などのプロセッサであり得る。ロジックは、コンピュータプログラム又はソフトウェアなど、コンピュータによって実行され得る、メモリ内の符号化されたコンピュータ実行可能命令であり得る。メモリは、情報を記憶し得、１つ又は複数の有形の、非一時的な、コンピュータ可読の、コンピュータ実行可能記憶媒体を含み得る。メモリの例は、コンピュータメモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）又は読み出し専用メモリ（ＲＯＭ））、大容量記憶媒体（例えば、ハードディスク）、リムーバブル記憶媒体（例えば、コンパクトディスク（ＣＤ）又はデジタルビデオディスク（ＤＶＤ））及びネットワークストレージ（例えば、サーバ又はデータベース）を含む。

本開示は、特定の実施形態に関して説明されているが、実施形態の修正形態（代用形態、追加形態、改変形態又は省略形態など）は、当業者に明らかである。したがって、本発明の範囲から逸脱することなく、実施形態に対する修正形態がなされ得る。例えば、本明細書で開示されたシステム及び装置に対する修正形態がなされ得る。システム及び装置のコンポーネントは、統合又は分離され得、システム及び装置の動作は、より多い、より少ない又は他のコンポーネントによって実行され得る。別の例として、本明細書で開示された方法に対する修正形態がなされ得る。方法は、より多い、より少ない又は他のステップを含み得、ステップは、任意の適当な順序で実行され得る。

Claims (20)

1. コマンドを入力するためのアイトラッキングシステムであって、
   １つ又は複数のグラフィカル要素を含む３次元（３Ｄ）グラフィカルユーザインターフェース（ＧＵＩ）を生成するように構成されるコンピュータであって、各グラフィカル要素は、コマンドに対応する、コンピュータ、
   前記１つ又は複数のグラフィカル要素を含む前記３Ｄ ＧＵＩをユーザの両眼の方に向けるように構成される少なくとも１つの３Ｄメガネ、
   前記１つ又は複数のグラフィカル要素を前記ユーザに対して表示するように構成されるディスプレイであって、
   前記両眼を照明するように構成される２つ以上の発光ダイオード（ＬＥＤ）、及び
   前記３Ｄ ＧＵＩに対する前記両眼の動きをトラッキングして、トラッキングされた両眼を生じさせるように構成される少なくとも１つのカメラであって、前記トラッキングされた両眼は、前記２つ以上のＬＥＤによって照明される、少なくとも１つのカメラ
   を含むディスプレイ
   を含み、前記コンピュータは、
   前記３Ｄ ＧＵＩに対する前記トラッキングされた両眼の動きを、選択されるグラフィカル要素との対話として解釈することと、
   前記選択されるグラフィカル要素に対応する前記コマンドを起動することと
   を行うようにさらに構成される、アイトラッキングシステム。
2. 外科的処置の１つ又は複数の３Ｄ画像をキャプチャするように構成されるデバイスであって、前記ディスプレイに通信可能に連結され、前記ディスプレイは、前記外科的処置の前記１つ又は複数の３Ｄ画像及び前記１つ又は複数のグラフィカル要素を前記ユーザに対して表示するように構成される、デバイスをさらに含む、請求項１に記載のアイトラッキングシステム。
3. 前記１つ又は複数のグラフィカル要素は、前記ユーザに対して前記ディスプレイ上に表示された前記外科的処置の前記１つ又は複数の３Ｄ画像の上に重畳される、請求項２に記載のアイトラッキングシステム。
4. 前記１つ又は複数のグラフィカル要素は、
   前記外科的処置の前記１つ又は複数の３Ｄ画像の焦点を制御するコマンドに対応する焦点要素、
   前記外科的処置の前記１つ又は複数の３Ｄ画像の輝度レベルを制御するコマンドに対応する輝度要素、
   前記外科的処置の前記１つ又は複数の３Ｄ画像の画角を制御するコマンドに対応するズーム要素、
   前記外科的処置に関連付けられた処置パラダイムを含むステップのシーケンスを前記ディスプレイ上に表示するコマンドに対応する処置要素、
   前記デバイスの動きを制御するコマンドに対応する操縦要素
   の少なくとも１つを含む、請求項２に記載のアイトラッキングシステム。
5. 前記１つ又は複数のグラフィカル要素は、
   前に戻るコマンドに対応する前要素、及び
   先に進むコマンドに対応する次要素
   の少なくとも１つを含む、請求項１に記載のアイトラッキングシステム。
6. 前記２つ以上のＬＥＤは、赤外線（ＩＲ）ＬＥＤから構成される、請求項１に記載のアイトラッキングシステム。
7. 前記選択されるグラフィカル要素との前記対話は、前記ユーザの前記トラッキングされた両眼によって発生する所定の数の瞬きを含み、前記所定の数の瞬きは、前記選択されるグラフィカル要素の選択を示す、請求項１に記載のアイトラッキングシステム。
8. 前記選択されるグラフィカル要素との前記対話は、前記ユーザの前記トラッキングされた両眼が、前記選択されるグラフィカル要素と対話する所定の秒数を含み、前記所定の秒数は、前記選択されるグラフィカル要素の選択を示す、請求項１に記載のアイトラッキングシステム。
9. 前記選択されるグラフィカル要素との前記対話は、前記選択されるグラフィカル要素の、フットペダルを介したユーザ確認を含み、前記フットペダルは、前記ディスプレイに通信可能に連結される、請求項１に記載のアイトラッキングシステム。
10. 前記少なくとも１つの３Ｄメガネ内に配置される１つ又は複数のセンサであって、前記３Ｄ ＧＵＩに対する前記トラッキングされた両眼の前記動きをトラッキングするように構成される１つ又は複数のセンサをさらに含む、請求項１に記載のアイトラッキングシステム。
11. アイトラッキングシステムを使用してコマンドを入力するための方法であって、
    コンピュータにより、１つ又は複数のグラフィカル要素を含む３次元（３Ｄ）グラフィカルユーザインターフェース（ＧＵＩ）を生成することであって、各グラフィカル要素は、コマンドに対応する、生成することと、
    ディスプレイにより、前記１つ又は複数のグラフィカル要素を含む前記３Ｄ ＧＵＩを表示することと、
    少なくとも１つの３Ｄメガネにより、前記１つ又は複数のグラフィカル要素を含む前記３Ｄ ＧＵＩをユーザの両眼の方に向けることと、
    前記ディスプレイに関連付けられた２つ以上の発光ダイオード（ＬＥＤ）により、前記ユーザの前記両眼を照明することと、
    前記ディスプレイに関連付けられた少なくとも１つのカメラにより、前記３Ｄ ＧＵＩに対する前記両眼の動きをトラッキングして、トラッキングされた両眼を生じさせることであって、前記トラッキングされた両眼は、前記２つ以上のＬＥＤによって照明される、生じさせることと、
    前記３Ｄ ＧＵＩに対する前記トラッキングされた両眼の動きを、選択されるグラフィカル要素との対話として解釈することと、
    前記選択されるグラフィカル要素に対応する前記コマンドを起動することと
    を含む方法。
12. デバイスにより、外科的処置の１つ又は複数の３Ｄ画像をキャプチャすることであって、前記デバイスは、前記ディスプレイに通信可能に連結され、前記ディスプレイは、前記外科的処置の前記１つ又は複数の３Ｄ画像及び前記１つ又は複数のグラフィカル要素を前記ユーザに対して表示するように構成される、キャプチャすることをさらに含む、請求項１１に記載の方法。
13. 前記１つ又は複数のグラフィカル要素は、前記ユーザに対して前記ディスプレイ上に表示された前記外科的処置の前記１つ又は複数の３Ｄ画像の上に重畳される、請求項１２に記載の方法。
14. 前記１つ又は複数のグラフィカル要素は、
    前記外科的処置の前記１つ又は複数の３Ｄ画像の焦点を制御するコマンドに対応する焦点要素、
    前記外科的処置の前記１つ又は複数の３Ｄ画像の輝度レベルを制御するコマンドに対応する輝度要素、
    前記外科的処置の前記１つ又は複数の３Ｄ画像の画角を制御するコマンドに対応するズーム要素、
    前記外科的処置に関連付けられた処置パラダイムを含むステップのシーケンスを前記ディスプレイ上に表示するコマンドに対応する処置要素、
    前記デバイスの動きを制御するコマンドに対応する操縦要素
    の少なくとも１つを含む、請求項１２に記載の方法。
15. 前記１つ又は複数のグラフィカル要素は、
    前に戻るコマンドに対応する前要素、及び
    先に進むコマンドに対応する次要素
    の少なくとも１つを含む、請求項１１に記載の方法。
16. 前記２つ以上のＬＥＤは、赤外線（ＩＲ）ＬＥＤから構成される、請求項１１に記載の方法。
17. 前記選択されるグラフィカル要素との前記対話は、前記ユーザの前記トラッキングされた両眼によって発生する所定の数の瞬きを含み、前記所定の数の瞬きは、前記選択されるグラフィカル要素の選択を示す、請求項１１に記載の方法。
18. 前記選択されるグラフィカル要素との前記対話は、前記ユーザの前記トラッキングされた両眼が、前記選択されるグラフィカル要素と対話する所定の秒数を含み、前記所定の秒数は、前記選択されるグラフィカル要素の選択を示す、請求項１１に記載の方法。
19. 前記選択されるグラフィカル要素との前記対話は、前記選択されるグラフィカル要素の、フットペダルを介したユーザ確認を含み、前記フットペダルは、前記ディスプレイに通信可能に連結される、請求項１１に記載の方法。
20. 前記少なくとも１つの３Ｄメガネ内に配置される１つ又は複数のセンサであって、前記３Ｄ ＧＵＩに対する前記トラッキングされた両眼の前記動きをトラッキングするように構成される１つ又は複数のセンサをさらに含む、請求項１１に記載の方法。

Images