JP5847725B2 - 低侵襲外科システムにおいて手の存在を検出するための方法およびシステム - Google Patents

Description

本発明の態様は、低侵襲手術システムの制御に関し、より具体的に、低侵襲手術システムを制御する際に、執刀医の手の運動を使用することに関する。

関連技術
手の位置およびジェスチャーを追跡するための方法および技法が知られている。例えば、いくつかのビデオゲームコントローラは、ハンドトラッキング入力を利用する。例えば、Ｎｉｎｔｅｎｄｏ Ｗｉｉ（登録商標）ゲームプラットフォームは、無線位置および配向センシング遠隔操作を支援する（Ｗｉｉ（登録商標）は、米国ワシントン州レッドモンド、Ｎｉｎｔｅｎｄｏ ｏｆ Ａｍｅｒｉｃａ Ｉｎｃの登録商標である）。バットをスイングする、または魔法の杖を振る等のジェスチャーおよび他の身体的動作の使用は、このプラットフォームの基本ゲーム要素を提供する。Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ Ｍｏｖｅは、Ｎｉｎｔｅｎｄｏ Ｗｉｉ（登録商標）ゲームプラットフォームに類似する特徴を有する。

ＣｙｂｅｒＧｌｏｖｅ Ｓｙｓｔｅｍｓの無線ＣｙｂｅｒＧｌｏｖｅ（登録商標）モーション捕獲データグローブは、各指に２つの屈曲センサを有する１８個のデータセンサと、４個の外転センサと、親指の交差、手掌のアーチ、手首の屈曲、および手首の外転を測定するセンサとを含む。（ＣｙｂｅｒＧｌｏｖｅ（登録商標）は、カルフォルニア州サンノゼ、ＣｙｂｅｒＧｌｏｖｅ Ｓｙｓｔｅｍｓの登録商標である。）三次元追跡システムは、ＣｙｂｅｒＧｌｏｖｅ（登録商標）モーション捕獲データグローブとともに使用し、手のｘ、ｙ、ｚ、偏揺れ、ピッチ、転動位置、および配向情報を入手することができる。ＣｙｂｅｒＧｌｏｖｅ（登録商標）モーション捕獲データグローブのモーション捕獲システムは、デジタルプロトタイプ評価、バーチャルリアリティ生物力学、およびアニメーションに使用されている。

４０個のセンサを有する別のデータグローブは、Ｍｅａｓｕｒａｎｄ Ｉｎｃ．のＳｈａｐｅＨａｎｄデータグローブである。Ｍｅａｓｕｒａｎｄ Ｉｎｃ．のＳｈａｐｅＣｌａｗポータブル軽量ハンドモーション捕獲システムは、空間における手および腕の位置および配向とともに、人指し指および親指の運動を捕獲する、フレキシブルリボンシステムを含む。

非特許文献１において、ＫｉｍおよびＣｈｉｅｎは、ジェスチャー認識のためにＰｏｌｈｅｍｕｓセンサを用いた三次元軌跡入力の使用について探求する。ＫｉｍおよびＣｈｉｅｎは、三次元軌跡が、主にビデオベースのアプローチにおいて使用される、二次元ジェスチャーよりも優れた識別力を提供するため、この形態の入力を提案する。ＫｉｍおよびＣｈｉｅｎは、彼らの実験に、Ｆａｋｅｓｐａｃｅ ＰｉｎｃｈＧｌｏｖｅの背面に取り付けられたＰｏｌｈｅｍｕｓ磁気位置追跡センサを利用した。ＰｉｎｃｈＧｌｏｖｅは、ユーザがジェスチャーの最初と最後を信号で伝える手段を提供しながら、Ｐｏｌｈｅｍｕｓセンサが、ユーザの手の三次元軌跡を捕獲する。

非特許文献２では、ＰＣおよびウェブカメラ等の汎用ハードウェアおよび低コストセンサを使用するハンドジェスチャー認識による、視覚的相互作用環境内でのアプリケーション用のリアルタイムビジョンシステムが提案されている。非特許文献３では、視覚ベースのハンドジェスチャーに関するレビューが提示された。提示された１つの結論は、大部分のアプローチが、制御された研究室設定において適切であり得るが、任意の設定に一般化しないいくつかの基礎的前提に依存するということであった。著者らは、「ハンドジェスチャーインターフェースのコンピュータビジョン法は、双方向性およびユーザビリティを達成するためのロバスト性および速度に関して、現在の性能を越えなければならない」と述べている。医療領域において、ジェスチャー認識は、放射線画像の滅菌ブラウジングに対して考慮されている。非特許文献４を参照されたい。

Ｉｎ−Ｃｈｅｏｌ ＫｉｍおよびＳｕｎｇ−Ｉｌ Ｃｈｉｅｎ、「Ａｎａｌｙｓｉｓ ｏｆ ３Ｄ Ｈａｎｄ Ｔｒａｊｅｃｔｏｒｙ Ｇｅｓｔｕｒｅｓ Ｕｓｉｎｇ Ｓｔｒｏｋｅ−Ｂａｓｅｄ Ｃｏｍｐｏｓｉｔｅ Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌｓ」、Ａｐｐｌｉｅｄ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．１５ Ｎｏ．２，ｐ．１３１−１４３，２００１年９〜１０月 Ｅｌｅｎａ Ｓａｎｃｈｅｚ−Ｎｉｅｌｓｅｎほか、「Ｈａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ ｆｏｒ Ｈｕｍａｎ−Ｍａｃｈｉｎｅ Ｉｎｔｅｒａｃｔｉｏｎ」、Ｊｏｕｒｎａｌ ｏｆ ＷＳＣＧ，Ｖｏｌ．１２，Ｎｏ．１−３，ＩＳＳＮ １２１３−６９７２，ＷＳＣＧ’２００４，Ｆｅｂｒｕａｒｙ ２−６ ２０００３，Ｐｌｚｅｎ Ｃｚｅｃｈ Ｒｅｐｕｂｌｉｃ Ｐｒａｇａｔｉ Ｇａｒｇほか、「Ｖｉｓｉｏｎ Ｂａｓｅｄ Ｈａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ」、４９ Ｗｏｒｌｄ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅ，Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，９７２−９７７（２００９） Ｊｕａｎ Ｐ．Ｗａｃｈｓほか、「Ａ Ｇｅｓｔｕｒｅ−ｂａｓｅｄ Ｔｏｏｌ ｆｏｒ Ｓｔｅｒｉｌｅ Ｂｒｏｗｓｉｎｇ ｏｆ Ｒａｄｉｏｌｏｇｙ Ｉｍａｇｅｓ」，Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｍｅｒｉｃａｎ Ｍｅｄｉｃａｌ Ｉｎｆｏｒｍａｔｉｃｓ Ａｓｓｏｃｉａｔｉｏｎ（２００８；１５：３２１−３２３，ＤＯＩ １０．１１９７／ｊａｍｉａ．Ｍ２４）

一態様において、低侵襲手術システムにおけるハンド追跡システムは、ヒトの手の一部のロケーションを追跡する。低侵襲手術システムのシステム制御パラメータは、ヒトの手の一部のロケーションに基づいて生成される。低侵襲手術システムの操作は、システム制御パラメータを使用して制御される。

一態様において、ヒトの手の一部に装着されたセンサ素子を追跡して、ヒトの手の一部の位置を取得する。制御点の位置および配向は、ロケーションに基づく。低侵襲手術システムにおけるデバイスの遠隔操作は、制御点のロケーションおよび配向に基づいて制御される。一態様において、デバイスは、遠隔操作されるスレーブ手術器具である。別の態様において、デバイスは、手術部位のビデオ画像に提示される仮想プロキシである。仮想プロキシの例には、仮想スレーブ手術器具、バーチャルハンド、および仮想テレストレーションデバイスが挙げられる。

さらなる態様において、制御点の位置および配向に加えて、グリップ閉合パラメータが生成される。遠隔操作スレーブ手術器具のエンドエフェクタのグリップは、グリップ閉合パラメータに基づいて制御される。

別の態様において、システム制御パラメータは、スレーブ手術器具の遠隔操作に使用される制御点の位置および配向である。さらに別の態様において、システム制御パラメータは、両手から決定される。システム制御パラメータは、両手の一方に対する制御点の位置および配向、ならびに両手のもう一方に対する制御点の位置および配向である。制御点は、低侵襲手術システムにおいて、内視鏡カメラマニピュレータの遠隔操作に使用される。

さらに別の態様において、ヒトの手の一部上のセンサ素子に加えて、第２のヒトの手の一部に装着されたセンサ素子を追跡する。第２の制御点の位置および配向は、第２のヒトの手の一部のロケーションに基づいて生成される。本態様において、制御点および第２の制御点は、遠隔操作制御に使用される。

さらに別の態様において、ヒトの手の指に装着されたセンサ素子を追跡する。指間の運動を決定し、低侵襲手術システムにおいて遠隔操作されるスレーブ手術器具の配向は、その運動に基づいて制御する。

運動が第１の運動である場合、制御ステップは、スレーブ手術器具の手首の先端を、その指向方向に転動させるステップを含む。運動が第１の運動とは異なる第２の運動である場合、制御ステップは、スレーブ手術器具の偏揺れ運動を含む。

低侵襲手術システムは、ハンド追跡システム、およびハンド追跡システムに連結されるコントローラを含む。ハンド追跡システムは、ヒトの手の一部に装着される複数のセンサ素子のロケーションを追跡する。コントローラは、制御点の位置および配向に対してロケーションを変える。コントローラは、制御点に基づいて、低侵襲手術システムにおけるデバイスを移動させるコマンドを送信する。再度、一態様において、デバイスは、遠隔操作されるスレーブ手術器具であるが、別の態様において、デバイスは、手術部位のビデオ画像に提示される仮想プロキシである。

一態様において、システムはまた、複数の追跡センサを含むマスターフィンガー追跡デバイスを含む。マスターフィンガー追跡デバイスは、圧縮性本体、圧縮性本体に固定された第１のフィンガーループ、および圧縮性本体に固定された第２のフィンガーループをさらに含む。複数の追跡センサ中の第１の追跡センサは、第１のフィンガーループに取り付けられる。複数の追跡センサ中の第２のラッキングセンサは、第２のフィンガーループに取り付けられる。

したがって、一態様において、低侵襲手術システムは、マスターフィンガー追跡デバイスを含む。マスターフィンガー追跡デバイスは、圧縮性本体と、圧縮性本体に固定される第１のフィンガーループと、圧縮性本体に固定される第２のフィンガーループと、を含む。第１の追跡センサは、第１のフィンガーループに取り付けられる。第２の追跡センサは、第２のフィンガーループに取り付けられる。

圧縮性本体は、第１の末端、第２の末端、および外面を含む。外面は、第１の末端と第２の末端との間に伸長する第１の部分、および第１の末端と第２の末端との間に伸長する、第１の部分とは反対に除去される第２の部分とを含む。

圧縮性本体はまた、長さを有する。長さは、ヒトの手の第１指と第２指との間の分離を制限するように選択される。

第１のフィンガーループは、第１の末端に隣接する圧縮性本体に固定され、外面の第１の部分を中心として伸長する。第１のフィンガーループをヒトの手の第１指に設置するとき、外面の第１の部分の最初の部分が第１指に接触する。

第２のフィンガーループは、第２の末端に隣接する圧縮性本体に固定され、外面の第１の部分を中心として伸長する。第２のフィンガーループをヒトの手の第２指に設置するとき、外面の第１の部分の２番目の部分が第２指に接触する。第１指および第２指が相互に対して移動するとき、圧縮性本体は、圧縮性本体が移動への抵抗を提供するように２本の指の間に位置付けられる。

圧縮性本体の厚さは、第１指の先端がちょうど第２指の先端に触れたとき、圧縮性本体が完全に圧縮されないように選択される。圧縮性本体は、遠隔操作されるスレーブ手術器具のエンドエフェクタのグリップ力に対応して、触覚フィードバックを提供するように構成される。

一態様において、第１および第２の追跡センサは、受動電磁センサである。さらなる態様において、各受動電磁追跡センサは、６度の自由度を有する。

マスターフィンガー追跡デバイスを使用する方法は、ヒトの手の第１指に装着されたセンサの第１のロケーションと、第２指に装着された別のセンサの第２のロケーションとを追跡するステップを含む。各ロケーションは、Ｎ度の自由度を有し、Ｎはゼロより大きい整数である。第１のロケーションおよび第２のロケーションは、制御点のロケーションにマッピングされる。制御点のロケーションは、６度の自由度を有する。６度の自由度は、２＊Ｎ度の自由度以下である。第１のロケーションおよび第２のロケーションはまた、１度の自由度を有するパラメータにマッピングされる。低侵襲手術システムにおけるスレーブ手術器具の遠隔操作は、制御点のロケーションおよびパラメータに基づいて制御される。

第１の態様において、パラメータは、グリップ閉合距離である。第２の態様において、パラメータは配向を含む。別の態様において、Ｎは６であるが、異なる態様において、Ｎは５である。

なおもさらなる態様において、ヒトの手の一部に装着されたセンサ素子は、ヒトの手の一部の複数のロケーションを得るように追跡される。複数のロケーションに基づいて、複数の既知のハンドジェスチャーからハンドジェスチャーが選択される。低侵襲手術システムの操作は、ハンドジェスチャーに基づいて制御される。

ハンドジェスチャーは、ハンドジェスチャーポーズ、ハンドジェスチャー軌道、またはハンドジェスチャーポーズとハンドジェスチャーとの組み合わせのうちのいずれか１つであり得る。ハンドジェスチャーがハンドジェスチャーポーズであり、複数の既知のハンドジェスチャーが、複数の既知のハンドジェスチャーポーズを含む場合、低侵襲手術システムのユーザインターフェースは、ハンドジェスチャーポーズによって制御される。

さらに、一態様において、ハンドジェスチャーがハンドジェスチャーポーズである場合、ハンドジェスチャーの選択は、追跡された複数のロケーションから認められる特徴集合を生成することを含む。認められる特徴集合を、複数の既知のハンドジェスチャーポーズの特徴集合と比較する。既知のハンドジェスチャーのうちの１つは、ハンドジェスチャーポーズとして選択される。選択された既知のハンドジェスチャーポーズは、システムコマンドにマッピングされ、システムコマンドは、低侵襲手術システムにおいてトリガされる。

なおもさらなる態様において、ハンドジェスチャーがハンドジェスチャー軌道を含む場合、低侵襲手術システムのユーザインターフェースは、ハンドジェスチャー軌道に基づいて制御される。

ハンド追跡システムおよびコントローラを有する低侵襲手術システムにおいて、コントローラは、ハンドジェスチャーのロケーションを変える。コントローラは、ハンドジェスチャーに基づいて、低侵襲手術システムの操作モードを修正するようにコマンドを送る。

さらに別の態様において、ヒトの一部に装着されたセンサ素子を追跡して、ヒトの手の一部のロケーションを得る。ロケーションに基づいて、この方法は、ヒトの手の一部の位置が低侵襲手術システムのマスターツールグリップの位置からの閾値距離内であるか否かを決定する。低侵襲手術システムの操作は、決定の結果に基づいて制御される。一態様において、マスターツールグリップに連結された遠隔操作スレーブ手術器具の遠隔操作は、決定の結果に基づいて制御される。別の態様において、ユーザインターフェースの表示、またはプロキシビジュアルの表示は、決定の結果に基づいて制御される。

一態様において、ヒトの手の一部の位置は、制御点の位置によって特定される。別の態様において、ヒトの手の一部の位置は、人指し指の位置である。

低侵襲手術システムは、ハンド追跡システムを含む。ハンド追跡システムは。ヒトの手の一部のロケーションを追跡する。コントローラは、執刀医の手が低侵襲手術システムの特定操作を許可するのに十分なだけマスターツールグリップに近接しているか否かを決定する際に、そのロケーションを使用する。

低侵襲手術システムはまた、ハンド追跡システムに連結されるコントローラを含む。コントローラは、ロケーションをシステム制御パラメータに変換し、そのシステム制御パラメータに基づいて、低侵襲手術システムにコマンドを投入する。
本明細書は、例えば、以下の項目も提供する。
（項目１）
ヒトの手の一部に装着されたセンサ素子を追跡して、該ヒトの手の一部のロケーションを得るステップと、
該ヒトの手の一部の位置が、低侵襲手術システムのマスターツールグリップの位置からの閾値距離内にあるか否かを決定するステップと、
該決定するステップの結果に基づいて、該低侵襲手術システムの操作を制御するステップと
を含む、方法。
（項目２）
前記制御するステップは、
前記距離が、閾値未満のときに、前記マスターツールグリップに結合されている遠隔操作スレーブ手術器具の遠隔操作を可能にするステップと、
該距離が該閾値より大きいときに、該遠隔操作スレーブ手術器具の遠隔操作を停止するステップと
を含む、項目１に記載の方法。
（項目３）
前記制御するステップは、
前記距離が、閾値未満のときに、前記低侵襲手術システムのディスプレイ上のユーザインターフェースをオフにするステップと、
該距離が、該閾値より大きいときに、該低侵襲手術システムのディスプレイ上のユーザインターフェースをオンにするステップと
を含む、項目１に記載の方法。
（項目４）
前記ヒトの手の一部の位置は、制御点位置を含む、項目１に記載の方法。
（項目５）
前記ヒトの手の一部の位置は、人差し指の位置を含む、項目１に記載の方法。
（項目６）
前記ヒトの手の一部のロケーションは、追跡された位置を含み、前記決定するステップは、
該追跡された位置を共通座標フレームにおける第１の位置にマッピングするステップと、
前記マスターツールグリップの位置を該共通座標フレームにおける第２の位置にマッピングするステップと
をさらに含む、項目２に記載の方法。
（項目７）
前記決定するステップは、
前記第１の位置と前記第２の位置との間の前記共通座標フレームにおける距離を生成するステップと、
該距離を前記閾値距離と比較するステップと
をさらに含む、項目６に記載の方法。
（項目８）
前記ヒトの手の一部に装着されたセンサ素子は、複数の基準マーカーを含む、項目１に記載のシステム。
（項目９）
前記ヒトの手の一部に装着されたセンサ素子は、受動電磁センサを含む、項目１に記載のシステム。
（項目１０）
低侵襲手術システムであって、
該低侵襲手術システムは、
第１のロケーションを有しているマスターツールグリップと、
ハンド追跡システムであって、該ハンド追跡システムは、ヒトの手の一部に装着されたセンサ素子の第２のロケーションを追跡する、ハンド追跡システムと、
該ハンド追跡システムに連結されているコントローラであって、該コントローラは、該ヒトの手の一部の位置と、前記マスターツールグリップの位置との間の距離が、閾値距離内であるか否かを決定し、決定の結果に基づいて、システムイベントを該低侵襲手術システムに投入する、コントローラと
を含む、低侵襲手術システム。
（項目１１）
前記イベントは、前記距離が、前記閾値距離より大きいときに、ハンド非存在イベントである、項目１０に記載のシステム。
（項目１２）
前記イベントは、前記距離が、前記閾値距離未満のときに、ハンド存在イベントである、項目１０に記載のシステム。
（項目１３）
前記ヒトの手の一部の位置は、前記第２のロケーションにおける人差し指の位置を含む、項目１０に記載のシステム。
（項目１４）
前記ヒトの手の一部の位置は、前記第２のロケーションから決定された制御点位置を含む、項目１０に記載のシステム。
（項目１５）
前記ヒトの手の一部に装着されたセンサ素子は、複数の基準マーカーを含む、項目１０に記載のシステム。
（項目１６）
前記ヒトの手の一部に装着されたセンサ素子は、受動電磁センサを含む、項目１０に記載のシステム。
（項目１７）
処理ユニットと、
前記システムイベントを受信するように構成されているシステムコントローラと、
前記プロセッサユニットを実行するモジュールによって生成されたユーザインターフェースと、
ディスプレイデバイスと
をさらに含み、
該システムイベントが、ハンド非存在イベントの際に、該システムコントローラは、該ディスプレイデバイス上のユーザインターフェースのディスプレイをオンにし、
該システムイベントが、ハンド存在イベントの際に、該システムコントローラーは、該ディスプレイデバイス上のユーザインターフェースのディスプレイをオフにする、項目１０に記載のシステム。
（項目１８）
前記マスターツールグリップに連結可能であり、該マスターツールグリップから分離可能である遠隔操作低侵襲手術器具と、
前記システムイベントを受信するように構成されているシステムコントローラと
をさらに含み、
該システムイベントが、ハンド存在イベントの際に、該遠隔操作手術器具は、該マスターツールグリップに連結され、該システムコントローラは、該遠隔操作低侵襲手術器具の遠隔操作を可能にし、
該システムイベントが、ハンド非存在イベントの際に、該システムコントローラは、該遠隔操作低侵襲手術器具の遠隔操作を停止する、項目１０に記載のシステム。

図１は、ハンド追跡システムを含む、低侵襲遠隔操作手術システムの高レベル図である。 図２Ａ〜２Ｇは、図１の低侵襲遠隔操作手術システムの遠隔操作スレーブ手術器具を制御するために使用される、ハンド追跡マスターツールグリップの様々な構成の例である。 図２Ａ〜２Ｇは、図１の低侵襲遠隔操作手術システムの遠隔操作スレーブ手術器具を制御するために使用される、ハンド追跡マスターツールグリップの様々な構成の例である。 図２Ａ〜２Ｇは、図１の低侵襲遠隔操作手術システムの遠隔操作スレーブ手術器具を制御するために使用される、ハンド追跡マスターツールグリップの様々な構成の例である。 図２Ａ〜２Ｇは、図１の低侵襲遠隔操作手術システムの遠隔操作スレーブ手術器具を制御するために使用される、ハンド追跡マスターツールグリップの様々な構成の例である。 図２Ａ〜２Ｇは、図１の低侵襲遠隔操作手術システムの遠隔操作スレーブ手術器具を制御するために使用される、ハンド追跡マスターツールグリップの様々な構成の例である。 図２Ａ〜２Ｇは、図１の低侵襲遠隔操作手術システムの遠隔操作スレーブ手術器具を制御するために使用される、ハンド追跡マスターツールグリップの様々な構成の例である。 図２Ａ〜２Ｇは、図１の低侵襲遠隔操作手術システムの遠隔操作スレーブ手術器具を制御するために使用される、ハンド追跡マスターツールグリップの様々な構成の例である。 図３Ａ〜３Ｄは、図１の低侵襲遠隔操作手術システムにおいて、システムモードを制御するために使用される、ハンドジェスチャーポーズの例である。 図３Ａ〜３Ｄは、図１の低侵襲遠隔操作手術システムにおいて、システムモードを制御するために使用される、ハンドジェスチャーポーズの例である。 図３Ａ〜３Ｄは、図１の低侵襲遠隔操作手術システムにおいて、システムモードを制御するために使用される、ハンドジェスチャーポーズの例である。 図３Ａ〜３Ｄは、図１の低侵襲遠隔操作手術システムにおいて、システムモードを制御するために使用される、ハンドジェスチャーポーズの例である。 図４Ａ〜４Ｃは、図１の低侵襲遠隔操作手術システムにおいて、システムモードを制御するためにも使用される、ハンドジェスチャー軌道の例である。 図４Ａ〜４Ｃは、図１の低侵襲遠隔操作手術システムにおいて、システムモードを制御するためにも使用される、ハンドジェスチャー軌道の例である。 図４Ａ〜４Ｃは、図１の低侵襲遠隔操作手術システムにおいて、システムモードを制御するためにも使用される、ハンドジェスチャー軌道の例である。 図５は、カメラベースの追跡システムにおいて、ハンドトラッキングするための基準マーカーの設置の例示である。 図６Ａおよび６Ｂは、図１の執刀医のコンソールのより詳細な図であり、図１の低侵襲遠隔操作手術システムによって、ハンドトラッキングに利用される座標系の例を含む。 図６Ａおよび６Ｂは、図１の執刀医のコンソールのより詳細な図であり、図１の低侵襲遠隔操作手術システムによって、ハンドトラッキングに利用される座標系の例を含む。 図７は、手に装着されたツールグリップおよび図１の低侵襲遠隔操作手術システムによって、ハンドトラッキングに使用されるロケーションおよび座標系のより詳細な図である。 図８は、図１の低侵襲遠隔操作手術システムにおいて、手の指を追跡するために追跡システムにおいて使用され、スレーブ手術器具の遠隔操作に関するデータを生成するために使用されるプロセスのプロセスフロー図である。 図９は、図８のロケーションデータを制御点およびグリップパラメータにマッピングするプロセスのより詳細なプロセスフロー図である。 図１０は、ハンドジェスチャーポーズおよびハンドジェスチャー軌道を認識するために追跡システムにおいて使用されるプロセスのプロセスフロー図である。 図１１は、手の存在検出のために追跡システムにおいて使用されるプロセスのプロセスフロー図である。 図１２は、マスターフィンガー追跡デバイスの一実施例の例示である。 図１３は、プロキシビジュアルを含む、表示デバイスに提示されるビデオ画像の例示であり、本実施例では、仮想ゴースト器具および遠隔操作スレーブ手術器具を含む。 図１４は、プロキシビジュアルを含む、表示デバイスに提示されるビデオ画像の例示であり、本実施例では、一対の仮想ハンドおよび遠隔操作スレーブ手術器具を含む。 図１５は、プロキシビジュアルを含む、表示デバイスに提示されるビデオ画像の例示であり、本実施例では、仮想テレストレーションデバイス、および仮想ゴースト器具、ならびに遠隔操作スレーブ手術器具を含む。

図面において、３桁の参照番号の最初の桁は、その参照番号を有する素子が最初に現れる図面の図番を示し、４桁の参照番号の最初の２ケタは、その参照番号を有する素子が最初に現れる図の図番を示す。

本明細書で使用する、ロケーションは、位置および配向を含む。

本明細書で使用する、ハンドジェスチャー（ジェスチャーと呼ばれる場合がある）は、ハンドジェスチャーポーズ、ハンドジェスチャー軌道、およびハンドジェスチャーポーズとハンドジェスチャー軌道との組み合わせを含む。

本発明の態様は、低侵襲手術システム、例えば、カリフォルニア州サニーベール、Ｉｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌ，Ｉｎｃ．によって市販されているｄａ Ｖｉｎｃｉ（登録商標）低侵襲遠隔操作手術システムの制御能力を、低侵襲手術システムを制御する際に手のロケーション情報を利用することによって増強させることができる。手の１本または複数の指の測定ロケーションを使用して、システム制御パラメータを決定し、それらを順に使用して、手術システムにおいてシステムコマンドをトリガする。システムコマンドは、手のロケーションが追跡されている人のロケーション、すなわち、その人が執刀医のコンソールにいるか否かに依存する。

測定されたロケーションが、執刀医のコンソールにおいてではなく、ヒトの手の指に対してである場合、システムコマンドは、手の配向と２本の指の相対運動との組み合わせに基づく遠隔操作スレーブ手術器具の一部の配向を変更するコマンドと、先端の運動が手の一部の運動に続くように、遠隔操作スレーブ手術器具の先端を移動させるコマンドとを含む。測定されたロケーションが、執刀医のコンソールにおける人の手の指に関する場合、システムコマンドは、スレーブ手術器具の運動が継続してマスターツールグリップの運動を追跡するのを許可するか、または防止するコマンドを含む。測定されたロケーションが、執刀医のコンソールにおいてではない人の手の指に関するか、または執刀医のコンソールにおける人の手の指に関するか、のいずれかである場合、システムコマンドは、システムまたはシステムの一部に、ハンドジェスチャーポーズに基づいて動作するように命令することと、システムまたはシステムの一部に、ハンドジェスチャー軌道に基づいて動作するように命令することと、を含む。

図１は、ハンド追跡システムを含む、低侵襲遠隔操作手術システム１００、例えば、ｄａ Ｖｉｎｃｉ（登録商標）手術システムの高レベル図である。ｄａ Ｖｉｎｃｉ（登録商標）手術システムに随伴する他の部品、ケーブル等が存在するが、開示からの逸脱を回避するため、それらは図１において例示されない。低侵襲手術システムに関するさらなる情報は、例えば、米国特許出願第１１／７６２，１６５号（２００７年６月１３日出願、「Ｍｉｎｉｍａｌｌｙ Ｉｎｖａｓｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」を開示）、および米国特許第６，３３１，１８１号（２００１年１２月１８日発行、「Ｓｕｒｇｉｃａｌ Ｒｏｂｏｔｉｃ Ｔｏｏｌｓ， Ｄａｔａ Ａｒｃｈｉｔｅｃｔｕｒｅ，Ａｎｄ Ｕｓｅ」を開示）において見出されてもよく、いずれも参照することにより本明細書に組み込まれる。例えば、いずれも参照することにより本明細書に組み込まれる、米国特許第７，１５５，３１５号（２００５年１２月１２日出願、「Ｃａｍｅｒａ Ｒｅｆｅｒｅｎｃｅｄ Ｃｏｎｔｒｏｌ Ｉｎ Ａ Ｍｉｎｉｍａｌｌｙ Ｉｎｖａｓｉｖｅ Ｓｕｒｇｉｃａｌ Ａｐｐａｒａｔｕｓ」を開示）、および第７，５７４，２５０号（２００３年２月４日出願、「Ｉｍａｇｅ Ｓｈｉｆｔｉｎｇ Ａｐｐａｒａｔｕｓ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ａ Ｔｅｌｅｒｏｂｏｔｉｃ Ｓｙｓｔｅｍ」を開示）も参照されたい。

本実施例において、システム１００は、複数のマニピュレータを有するカート１１０を含む。各マニピュレータおよびそのマニピュレータによって制御される遠隔操作スレーブ手術器具は、執刀医のコンソール１８５上のマスターツールマニピュレータに連結および分離することができ、さらにそれらは、マスターフィンガー追跡グリップ１７０と呼ばれる場合がある、機械的に非接地の非動力マスター追跡グリップ１７０に連結および分離することができる。

マニピュレータ１１３上に装着された立体内視鏡１１２は、患者１１１の体内の手術部位１０３の画像を提供し、ディスプレイ１８７および執刀医のコンソール１８５におけるディスプレイに表示される。画像は、立体内視鏡１１２の視野に、スレーブ手術デバイスのうちのいずれかの画像を含む。執刀医のコンソール１８５上のマスターツールマニピュレータと、スレーブ手術デバイスと、立体内視鏡１１２との間の相互作用は、既知のシステムと同様であるため、当該技術分野における有識者に知られている。

一態様において、執刀医１８１は、執刀医の手の少なくとも１本の指を動かし、順に、マスターフィンガー追跡グリップ１７０内のセンサにロケーションを変更させる。ハンドトラキングトランスミッタ１７５は、指の新しい位置および配向が、マスターフィンガー追跡グリップ１７０によって感知されるように、フィールドを提供する。新しく感知された位置および配向は、ハンド追跡コントローラ１３０に提供される。

一態様において、以下でさらに完全に説明されるように、ハンド追跡コントローラ１３０は、感知された位置および配向を、執刀医１８１の視界座標系における制御点の位置および制御点の配向にマッピングする。ハンド追跡コントローラ１３０は、このロケーション情報をシステムコントローラ１４０に送信し、順に、システムコマンドを、マスターフィンガー追跡グリップ１７０に連結される遠隔操作スレーブ手術器具に送信する。以下でさらに完全に説明されるように、マスターフィンガー追跡グリップ１７０、執刀医１８１は、例えば、遠隔操作スレーブ手術器具のエンドエフェクタのグリップ、ならびにエンドエフェクタに連結された手首に転動および偏揺れを制御することができる。

別の態様において、執刀医１８１の手の少なくとも一部、または執刀医１８０の手のハンドトラッキングを、ハンド追跡コントローラ１３０によって使用し、ハンドジェスチャーポーズが、執刀医によって行われるか、またはハンドジェスチャーポーズとハンドジェスチャー軌道との組み合わせが、執刀医によって行われるかを決定する。各ハンドジェスチャーポーズおよびハンドジェスチャーポーズと組み合わされる各軌道は、異なるシステムコマンドにマッピングされる。システムコマンドは、例えば、システムモードの変更を制御し、低侵襲手術システム１００の他の態様を制御する。

例えば、既知の低侵襲手術システムに見られるように、足踏みペダルおよびスイッチを使用する代わりに、ハンドジェスチャー、ハンドジェスチャーポーズまたはハンドジェスチャー軌道のいずれかを使用して、（ｉ）マスターツールグリップおよび関連する遠隔操作スレーブ手術器具の運動の間で追跡を開始し、（ｉｉ）マスタークラッチを起動し（スレーブ器具のマスター制御を分離する）、（ｉｉｉ）内視鏡カメラを制御し（内視鏡の移動または特徴、例えば、焦点または電子ズーム等をマスターに制御させる）、（ｉｖ）ロボットアームを交換し（２つのスレーブ器具間の特定のマスター制御を交換する）、（ｖ）ＴＩＬＥＰＲＯ^ＴＭを交換する（執刀医のディスプレイ上の補助ビデオウィンドウの表示をトグルする）。（ＴＩＬＥＰＲＯは、米国カリフォルニア州サニーベール、Ｉｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌ，Ｉｎｃ．の商標である）。

システム１００に２つのマスターツールグリップしかなく、執刀医１８０がその２つのマスターツールグリップに連結された２つの遠隔操作スレーブ手術器具以外のスレーブ手術器具の移動を制御する場合、執刀医は、第１のハンドジェスチャーを使用して、２つの遠隔操作スレーブ手術器具の一方または両方を所定位置に固定してもよい。次に、執刀医は、マスターツールグリップ異なるハンドジェスチャーを使用することによって、遠隔操作スレーブ手術器具に対するマスターツールグリップの一方または両方を、マニピュレータアームのもう一方によって保持される他のスレーブ手術器具と関連付け、本実装においては、遠隔操作スレーブ手術器具に対するマスターツールグリップの関連付けを交換する。執刀医１８１は、システム１００に２つのマスターフィンガー追跡グリップしかない場合に同等の手順を行う。

さらに別の態様において、執刀医のコンソール１８５に装着されたハンドトラッキングユニット１８６は、執刀医１８０の手の少なくとも一部を追跡し、感知したロケーション情報をハンド追跡コントローラ１３０に送信する。ハンド追跡コントローラ１３０は、執刀医の手が、例えば、システムが追跡するのに十分なだけマスターツールグリップに近接しているか、例えば、スレーブ手術器具の運動は、マスターツールグリップの運動を追跡するかを決定する。以下でより完全に説明されるように、一態様において、ハンド追跡コントローラ１３０は、執刀医の手の位置および対応するマスターツールグリップの位置を決定する。２つの位置の差異が既定距離内、例えば、閾値分離未満である場合、追跡が許可され、そうでなければ追跡は抑制される。したがって、距離は、執刀医のコンソール１８５上のマスターツールグリップに関する、執刀医の手の存在の一指標として使用される。別の態様において、マスターツールグリップの位置に対する執刀医の手の位置が、閾値分離未満である場合、ディスプレイ上のユーザインターフェースの表示は抑制され、例えば、ディスプレイデバイス上でオフになる。逆に、マスターツールグリップの位置に対する執刀医の手の位置が、閾値分離を超える場合、ユーザインターフェースは、ディスプレイデバイス上に表示され、例えば、オンになる。

執刀医の手の存在検出は、長年の問題であった。存在検出は、異なる接触感知技術、例えば、容量性スイッチ、圧力センサ、および機械スイッチ等を使用して何度も試行された。しかしながら、これらのアプローチは、執刀医がマスターツールグリップを保持する方法および場所に異なる選好を有するため、本質的に問題がある。距離を存在の一指標として使用することは、この種の存在検出では、執刀医がマスターツールグリップに軽く触れると、瞬時に身体的接触を断ち、マスターツールグリップを調整できるようにするが、執刀医がマスターツールグリップを指で保持する方法を制約しないため有利である。

（ハンドトラッキングを介する手術器具の制御）
マスターフィンガー追跡グリップ２７０と呼ばれる場合がある、機械的に非接地の非動力マスターフィンガー追跡グリップ２７０の一実施例は、図２Ａ〜２Ｄにおいて異なる構成で例示され、以下でより完全に説明される。マスターフィンガー追跡グリップ２７０は、指装着センサ２１１、２１２（指および親指装着センサ２１１、２１２と称される場合もある）を含み、人指し指２９２Ｂの先端および親指２９２Ａの先端のそれぞれのロケーション（一実施例における位置および配向）を独立して追跡し、すなわち、執刀医の手の２本の指のロケーションを追跡する。したがって、既知の低侵襲手術システムにおけるマスターツールグリップのロケーションを追跡することとは対照的に、手自体のロケーションが追跡される。

一態様において、センサは、センサが装着される手の各指に対して、６度の自由度の追跡を提供する（３変換および３転動）。別の態様において、センサは、センサが装着される手の各指に対して、５度の自由度の追跡を提供する（３変換および２転動）。

なおもさらに別の態様において、センサは、センサが装着される手の各指に対して、３度の自由度の追跡を提供する（３変換）。２本の指がそれぞれ３度の自由度で追跡される場合、手首機序を含まないスレーブ手術器具を制御するには、合計６変換度の自由度で十分である。

パッド入りフォームコネクタ２１０は、指および親指装着センサ２１１、２１２の間に接続される。コネクタ２１０は、親指２９２Ａおよび人指し指２９２Ｂ、すなわち、手の指２９１Ｒを、固定距離内に制約し、すなわち、マスターフィンガー追跡グリップ２７０が装着される手の指２９１Ｒの間の最大分離距離が存在する。親指２９２Ａおよび人指し指２９２Ｂは、最大分離（図２Ａ）から完全閉合構成（図２Ｄ）に移され、パッドは、正のフィードバックを提供し、執刀医１８１が、マスターフィンガー追跡グリップ１７０に連結された遠隔操作スレーブ手術器具のエンドエフェクタのグリップ力を制御するのを助ける。

図２Ａにおいて、親指２９２Ａおよび人指し指２９２Ｂがマスターフィンガー追跡グリップ２７０によって許可される最大距離だけ分離して示される位置の場合、グリップ力は最小である。逆に、親指２９２Ａおよび人指し指２９２Ｂが、コネクタ２１０によって許可される限り近接している、すなわち、マスターフィンガー追跡グリップ２７０によって許可される最小距離だけ分離している、図２Ｄに示される位置において、グリップ力は最大である。図２Ｂおよび２Ｃは、中間グリップ力にマッピングされる位置を表す。

以下でより完全に説明されるように、図２Ａ〜２Ｄにおける親指２９２Ａおよび人指し指２９２Ｂのロケーション（位置および配向）は、グリップ閉合パラメータ、例えば、マスターフィンガー追跡グリップ２７０に連結された遠隔操作スレーブ手術器具のグリップを制御するために使用される、標準化グリップ閉合値にマッピングされる。特に、親指２９２Ａおよび人指し指２９２Ｂの感知されたロケーションは、ハンド追跡コントローラ１３０によって、グリップ閉合パラメータにマッピングされる。

したがって、執刀医１８１の手の一部のロケーションが追跡される。追跡されたロケーションに基づいて、低侵襲手術システム１００のシステム制御パラメータ、すなわち、グリップ閉合パラメータは、ハンド追跡コントローラ１３０によって生成され、システムコントローラ１４０に供給される。システムコントローラ１４０は、遠隔操作スレーブ手術器具に送信されるシステムコマンドを生成する際に、グリップ閉合パラメータを使用する。システムコマンドは、遠隔操作手術器具に指示して、グリップ閉合パラメータに対応するグリップ閉合を有するようにエンドエフェクタを構成させる。したがって、低侵襲手術システム１００は、グリップ閉合パラメータを使用して、低侵襲手術システム１００の遠隔操作スレーブ手術器具の操作を制御する。

図２Ａ〜２Ｄにおける親指２９２Ａおよび人指し指２９２Ｂのロケーション（位置および配向）はまた、ハンド追跡コントローラ１３０によって、制御点の位置および制御点の配向にマッピングされる。制御点の位置および制御点の配向は、執刀医１８１の視界座標系にマッピングされた後、コマンド信号を介して、システムコントローラ１４０に提供される。視界座標系における制御点の位置および制御点の配向は、システムコントローラ１４０によって、マスターフィンガー追跡グリップ１７０に連結されたスレーブ手術器具の遠隔操作に使用される。

再度、執刀医１８１の手の一部のロケーションが追跡される。追跡されたロケーションに基づいて、低侵襲手術システム１００の別のシステム制御パラメータ、すなわち、制御点の位置および配向が、ハンド追跡コントローラ１３０によって生成される。ハンド追跡コントローラ１３０は、コマンド信号を、制御点の位置および配向とともにシステムコントローラ１４０に伝送する。システムコントローラ１４０は、遠隔操作スレーブ手術器具に送信されるシステムコマンドを生成する際に、制御点の位置および配向を使用する。システムコマンドは、遠隔操作手術器具に指示して、遠隔操作手術器具を制御点の位置および配向に基づいて位置付けさせる。したがって、低侵襲手術システム１００は、制御点の位置および配向を使用して、低侵襲手術システム１００の遠隔操作スレーブ手術器具の操作を制御する。

センサ２１１、２１２の位置に基づいて、グリップ閉合を決定することに加えて、人指し指２９２Ｂと親指２９２Ａとの間の他の相対運動を使用して、スレーブ手術器具の偏揺れ運動および転動運動を制御する。スピンドルを転動させるように、指２９２Ｂと親指２９２Ａを一緒に横方向にこすり合わせることは（想像上のスピンドル２９３を中心として（図２Ｅ）の矢印によって表される）、スレーブ手術器具の先端の転動を生じるが、人指し指と親指とを相互に沿って縦方向に前後に摺動させることは（矢印２９５によって表される指向方向で、軸に沿って（図２Ｆ）の矢印によって表される）、スレーブ手術器具のＸ軸に沿って、偏揺れ運動を生じる。これは、人指し指の先端位置と親指の先端位置との間のベクトルをマッピングすることによって達成され、制御点の配向のＸ軸を定義する。人指し指および親指は、それぞれ軸２９５に沿って対称的に摺動しているため、制御点の位置は比較的安定したままである。人指し指および親指の運動は、完全に対称的な運動ではないが、位置は依然として十分に安定したままであり、ユーザは、起こり得るあらゆる摂動を容易に修正することができる。

再度、執刀医１８１の手の一部のロケーションが追跡される。追跡されたロケーションに基づいて、さらに別のシステム制御パラメータ、すなわち、執刀医の手２９１Ｒの２本の指の間の相対運動が、ハンド追跡コントローラ１３０によって生成される。

ハンド追跡コントローラ１３０は、相対運動をマスターフィンガー追跡グリップ１７０に連結された遠隔操作スレーブ手術器具の配向に変換する。ハンド追跡コントローラ１３０は、配向とともにコマンド信号をシステムコントローラ１４０に送信する。この配向は、絶対配向マッピングであるが、システムコントローラ１４０は、一態様において、あらゆる他の受動ジンバルマスターツールグリップからの配向入力と同一の方法で、遠隔操作中にラチェットとともにこの入力を使用する。ラチェットの一実施例は、参照することによりその全体が本明細書に組み込まれる、同一出願人による米国特許出願第１２／４９５，２１３号（２００９年６月３０日出願、「Ｒａｔｃｈｅｔｉｎｇ Ｆｏｒ Ｍａｓｔｅｒ Ａｌｉｇｎｍｅｎｔ Ｏｆ Ａ Ｔｅｌｅｏｐｅｒａｔｅｄ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ」を開示）に記載される。

システムコントローラ１４０は、遠隔操作スレーブ手術器具に送信されるシステムコマンドを生成する際に、配向を使用する。システムコマンドは、遠隔操作手術器具に指示して、遠隔操作手術器具を配向に基づいて転動させる。したがって、低侵襲手術システム１００は、２本の指の間の運動を使用して、低侵襲手術システム１００の遠隔操作スレーブ手術器具の操作を生後する。

運動が第１の運動である場合、例えば、スピンドルを転動させるように、指２９２Ｂと親指２９２Ａを横方向にこすり合わせる場合、配向は転動であり、システムコマンドは、指向方向に沿って、スレーブ手術器具の手首の先端転動をもたらす。運動が第１の運動とは異なる第２の運動である場合、例えば、人指し指と親指とを相互に沿って縦方向に前後に摺動させる場合（図２Ｆ）、配向は偏揺れであり、システムコマンドは、スレーブ手術器具の手首の偏揺れ運動をもたらす。

さらに別の態様において、執刀医が、システム操作モードをジェスチャー認識モードに変更すると、両手が追跡され、一態様において、手に装着されるセンサの感知された位置および配向に基づいて、両手の制御点および配向が生成される。例えば、図２Ｇに例示されるように、それぞれの手の親指および人指し指の先端が一緒に接触して、円のような形態を形成する。それぞれの手の感知位置は、ハンド追跡コントローラ１３０によって、一対の制御点位置にマッピングされる。制御点の対は、カメラ制御システムイベントとともに、システムコントローラ１４０に送信される。

したがって、本態様において、執刀医１８１のそれぞれの手の一部のロケーションが追跡される。低侵襲手術システム１００の別のシステム制御パラメータ、すなわち、一対の制御点位置が、追跡されたロケーションに基づいて、ハンド追跡コントローラ１３０によって生成される。ハンド追跡コントローラ１３０は、一対の制御点位置を、カメラ制御システムイベントとともに、システムコントローラ１４０に送信する。

カメラ制御システムイベントに応答して、システムコントローラ１４０は、一対の制御点位置に基づいて、カメラ制御システムコマンドを生成する。カメラ制御システムコマンドは、低侵襲手術システム１００の遠隔操作内視鏡カメラマニピュレータに送信される。したがって、低侵襲手術システム１００は、一対の制御点位置を使用して、低侵襲手術システム１００の遠隔操作内視鏡カメラマニピュレータの操作を制御する。

（ハンドジェスチャーポーズおよびハンドジェスチャー軌道を介するシステム制御）
本態様において、ジェスチャー検出モードの操作に置かれた後、ハンド追跡コントローラ１３０は、ハンドジェスチャーポーズ、またはハンドジェスチャーポーズおよびハンドジェスチャー軌道を検出する。コントローラ１３０は、ハンドジェスチャーポーズを、あるシステムモード制御コマンドにマッピングし、同様に、コントローラ１３０は、ハンドジェスチャー軌道を、他のシステムモード制御コマンドにマッピングする。ポーズおよび軌道のマッピングは、独立しているため、例えば、手動のシグナル言語トラッキングとは異なることに留意されたい。既知の低侵襲手術システムに見られるように、スイッチ、多数のフットペダル等を操作する代わりに、ハンドジェスチャーポーズおよびハンドジェスチャー軌道を使用して、システムコマンドを生成し、システム１００を制御する能力は、システム１００の優れた使い易さを執刀医に提供する。

執刀医が立っている場合、システム１００を制御するためのハンドジェスチャーポーズおよびハンドジェスチャー軌道の使用は、執刀医が眼を離して、および／またはスクリーンを見ること、ならびに執刀医がシステムモードを変更する場合に、フットペダルまたはスイッチを探すことが不要になる。最後に、様々なスイッチおよびフットペダルの排除は、低侵襲手術システムに要するフロアスペースを減少させる。

低侵襲手術システム１００を制御するために使用されるハンドジェスチャーポーズおよびハンドジェスチャー軌道の特定の集合は、各ハンドジェスチャーポーズおよび各ハンドジェスチャー軌道が明白である限り、重要でない。特に、１つのハンドジェスチャーポーズは、ハンド追跡コントローラ１３０によって、ポーズの集合における１つまたは複数の他のハンドジェスチャーポーズとして解釈されるべきではなく、ハンドジェスチャー軌道は、軌道の集合における複数のハンドジェスチャー軌道として解釈されるべきではない。したがって、以下に論じられるハンドジェスチャーポーズおよびハンドジェスチャー軌道は、単なる例示であり、限定することを意図しない。

図３Ａ〜３Ｄは、それぞれハンドジェスチャーポーズ３００Ａ〜３００Ｄの実施例である。図４Ａ〜４Ｃは、ハンドジェスチャー軌道の実施例である。例えば、図２Ａの構成は、図３Ａのそれに類似しているように見えるが、操作モードの低侵襲手術システム１００は、２つの構成が使用される場合は異なることに留意されたい。

図２Ａにおいて、遠隔操作される低侵襲スレーブ手術器具は、マスターフィンガー追跡グリップ１７０に連結され、システム１００は、遠隔操作される低侵襲スレーブ手術器具が、追跡される執刀医の手の動きに従うように、追跡モードである。図３Ａ〜３Ｄおよび４Ａ〜４Ｃにおいて、執刀医は、システム１００をジェスチャー認識モードにした後、例示されるハンドジェスチャーポーズまたはハンドジェスチャー軌道のうちの１つを行う。ハンドジェスチャーポーズおよびハンドジェスチャー軌道は、システムモードの制御において使用され、追跡モードの操作では使用されない。例えば、ハンドジェスチャーポーズによって制御されるシステムモードは、視覚的表示を可能化、不可能化、および循環させ、視覚的表示をクラッチし、ならびにテレストレーションを描写／消去する。

ハンドジェスチャーポーズ３００Ａ（図３Ａ）において、親指２９２Ａおよび人指し指２９２Ｂは、マスタークラッチ閾値を超えて分離され、例えば、２本の手の指２９１Ｒ間の拡散は、１１５ｍｍを超える。人指し指２９２Ｂを伸ばし、親指２９２Ａを曲げたハンドジェスチャーポーズ３００Ｂ（図３Ｂ）を使用して、ハンド追跡コントローラ１３０に、執刀医がハンドジェスチャー軌道を追跡していることをシグナル伝達する（図４Ａおよび４Ｂを参照）。親指２９２Ａを上に向け、人指し指２９２Ｂを曲げたハンドジェスチャーポーズ３００Ｃ（図３Ｃ）を使用して、ユーザインターフェースをオンにし、ユーザインターフェースにおいてモードを循環させる。親指２９２Ａを下に向け、人指し指２９２Ｂを曲げたハンドジェスチャーポーズ３００Ｄ（図３Ｄ）を使用して、ユーザインターフェースをオフにする。他のハンドジェスチャーポーズには、「ＯＫ」ハンドジェスチャーポーズ、Ｌ字型ハンドジェスチャーポーズ等が挙げられる。

ハンド追跡コントローラ１３０は、一態様において、多次元特徴ベクトルを使用して、ハンドジェスチャーポーズを認識および識別する。最初に、複数のハンドジェスチャーポーズを特定する。次に、複数の特徴を含む特徴集合が特定される。特徴集合は、複数のポーズにおける各ハンドジェスチャーポーズを固有に識別するように設計される。

ハンドジェスチャーポーズ認識プロセスは、トレーニングデータベースを使用してトレーニングされる。トレーニングデータベースは、ハンドジェスチャーポーズのそれぞれに関する複数の事例を含む。複数の事例は、多数の異なる人によって行われたポーズの特徴ベクトルを含む。特徴集合は、トレーニングデータベースの各事例に対して生成される。これらの特徴集合は、以下でより完全に説明されるように、多次元ベイズ識別器をトレーニングするために使用される。

執刀医１８０が、ハンドジェスチャーモードの操作を入力する場合、執刀医は、スイッチを起動し、例えば、フットペダルを踏み、次に少なくとも片手でハンドジェスチャーポーズを行う。この実施例は、単一フットペダルを必要とするが、既知の低侵襲手術システムのフットトレイにおける他のフットペダルの排除を可能にしながら、依然として上記の利点を有することに留意されたい。ハンドトラッキングユニット１８６は、執刀医の片手または両手の親指および人指し指の感知された位置および配向を表す信号を、ハンド追跡コントローラ１３０に送信する。

執刀医の手の指に関するトラッキングデータを使用して、ハンド追跡コントローラ１３０は、観察された特徴集合を生成する。ハンド追跡コントローラ１３０は、次に、トレーニングされた多次元ベイズ識別器およびマハラノビス距離を使用して、観察された特徴集合が、複数のポーズにおけるハンドジェスチャーポーズの特徴集合である可能性、すなわち、確率を決定する。これは、複数のポーズにおけるハンドジェスチャーポーズのそれぞれに対して行われる。

ハンド追跡コントローラ１３０によって、観察されたハンドジェスチャーポーズとして選択される、複数のポーズにおけるハンドジェスチャーポーズは、マハラノビス距離が、そのハンドジェスチャーポーズのトレーニングデータベースにおいて、最大マハラノビス距離未満である場合に、最小マハラノビス距離を有するものである。選択されたハンドジェスチャーポーズは、システムイベントにマッピングされる。ハンド追跡コントローラ１３０は、システムイベントをシステムコントローラ１４０に投入する。

システムコントローラ１４０は、システムイベントを処理し、システムコマンドを発行する。例えば、ハンドジェスチャーポーズ３００Ｃ（図３Ｃ）が検出される場合、システムコントローラ１４０は、システムコマンドをディスプレイコントローラ１５０に送信して、ユーザインターフェースをオンにする。それに応じて、ディスプレイコントローラ１５０は、プロセッサ１５１上のユーザインターフェースモジュール１５５の少なくとも一部を実行して、執刀医のコンソール１８５のディスプレイ上にユーザインターフェースを生成する。

したがって、本態様において、低侵襲手術システム１００は、ヒトの手の一部のロケーションを追跡する。追跡されたロケーションに基づいて、システム制御パラメータが生成され、例えば、ハンドジェスチャーポーズが選択される。ハンドジェスチャーポーズを使用して、低侵襲手術システム１００のユーザインターフェースを制御し、例えば、ユーザインターフェースを執刀医のコンソール１８５のディスプレイに表示する。

ユーザインターフェース制御は、単なる例示であり、限定することを意図しない。ハンドジェスチャーを使用して、既知の低侵襲手術システムにおける、例えば、マスタークラッチ、カメラ制御、カメラフォーカス、マニピュレータアーム交換等のモード変更のうちのいずれかを行うことができる。

ハンドジェスチャーポーズ認識プロセスが、観察されたハンドジェスチャーポーズがハンドジェスチャー軌道のハンドジェスチャーポーズであると決定した場合、システムイベントは、ポーズの認識に基づいて、ハンド追跡コントローラ１３０によって投入されない。代わりに、ハンドジェスチャー軌道認識プロセスが開始される。

本実施例において、ハンドジェスチャーポーズ３００Ｂ（図３Ｂ）は、ハンドジェスチャー軌道を生成するために使用されるポーズである。図４Ａおよび４Ｂは、ハンドジェスチャーポーズ３００Ｂを使用して作製される、ハンドジェスチャー軌道４００Ａおよび４００Ｂの二次元実施例である。図４Ｃは、使用され得るハンドジェスチャー軌道の他の二次元実施例を提示する。

一態様において、ハンドジェスチャー軌道認識プロセスは、隠れマルコフモデルΛを使用する。隠れマルコフモデルΛの確立分布を生成するために、トレーニングデータベースが必要とされる。トレーニングデータベースを取得する前に、ハンドジェスチャー軌道の集合を特定する。一態様において、図４Ｃの１６ハンドジェスチャー軌道が選択される。

一態様において、多数の被検体を選択して、ハンドジェスチャー軌道のそれぞれを作製する。一実施例において、各被検体は、各軌道を既定回数行う。作製された各軌道の各被検体の位置および配向は、トレーニングデータベースに保存した。一態様において、以下でより完全に説明されるように、トレーニングデータベースを使用して、反復ボーム−ウェルチ法を使用する、個別の左右隠れマルコフモデルをトレーニングした。

執刀医が軌道を作製する場合、データは、ハンド追跡コントローラ１３０によって、観察配列Ｏに変換される。観察配列Ｏおよび隠れマルコフモデルλを用いて、ハンド追跡コントローラ１３０は、どのハンドジェスチャー軌道が観察された記号配列に対応するかを決定する。一態様において、ハンド追跡コントローラ１３０は、隠れマルコフモデルλを用いる前方再帰アルゴリズムを使用して、観察された記号配列の全確率を生成する。確率が閾値確率を超える場合、最高確率を有するハンドジェスチャー軌道が選択される。最高確率が閾値確率未満である場合、ハンドジェスチャー軌道は選択されず、処理が終了する。

選択されたハンドジェスチャー軌道をシステムイベントにマッピングする。ハンド追跡コントローラ１３０は、システムイベントをシステムコントローラ１４０に注入する。

システムコントローラ１４０は、システムイベントを処理し、システムコマンドを発行する。例えば、選択されたハンドジェスチャー軌道が、イベントにマッピングされて手術部位の照明レベルを変更する場合、システムコントローラ１４０は、システムイベントを照明器のコントローラに送信し、照明レベルを変更する。

（ハンド追跡を介した存在検出）
一態様において、上に示されるように、執刀医の手２９１Ｒ、２９１Ｌ（図６Ａ）の位置を追跡し、低侵襲手術システム １００の遠隔操作が許可されるか否かを決定し、いくつかの態様において、ユーザインターフェースを執刀医に表示するか否かを決定する。再度、ハンド追跡コントローラ１３０は、執刀医１８０Ｂの手の少なくとも一部を追跡する（図６Ａ）。ハンド追跡コントローラ１３０は、マスターツールグリップ、例えば、マスターツールグリップ６２１（図６Ｂ）のロケーションを生成し、マスターツールグリップ６２１Ｌ、６２１Ｒ（図６Ａ）、および手の一部のロケーションを表す。ハンド追跡コントローラ１３０は、２つのロケーションを共通座標フレームにマッピングし、次に、共通座標フレームの２つのロケーション間の距離を決定する。距離は、執刀医の手の一部の追跡ロケーションに基づく、低侵襲手術システムのシステム制御パラメータである。

距離が安全閾値未満、すなわち、手の一部とマスターツールグリップとの間の最大許容分離未満であるとき、低侵襲手術システム１００の遠隔操作が許可され、そうでなければ遠隔操作は抑制される。同様に、ユーザインターフェースの表示を制御するために存在検出を使用する態様において、距離が安全閾値未満、すなわち、手の一部とマスターツールグリップとの間の最大許容分離未満であるとき、低侵襲手術システム１００のディスプレイ上のユーザインターフェースの表示が抑制され、そうでなければユーザインターフェースの表示が許可される。

したがって、距離は、低侵襲手術システム１００の遠隔操作を制御する際に使用される。特に、ハンド追跡コントローラ１３０は、システムイベントをシステムコンゴローラ１４０に送信し、遠隔操作が許可されるか否かを示す。システムイベントに応答して、システムコントローラ１４０は、遠隔操作を可能にするか、または抑制するかのいずれかであるように、システム１００を構成する。

（ハンドロケーション追跡技法）
上に詳述される追跡の種々の態様を考慮する前に、追跡技法の一実施例が説明される。本実施例は単なる例証であり、以下の説明に照らして、必要な手または指ロケーション情報を提供する、あらゆる追跡技法を利用することができる。

一態様において、パルスＤＣ電磁追跡は、図２Ａ〜２Ｄおよび図７に示されるように、手の２本の指、例えば、親指および人指し指に装着されたセンサとともに使用される。各センサは、６度の自由度を測定し、一態様において、８ｍｍ×２ｍｍ×１．５ｍｍのサイズを有する。追跡システムは、０．８ｍ半球の器用な作業空間および位置感知解像度０．５ｍｍおよび０．１度を有する。更新速度は１６０ヘルツであり、４ミリ秒の感知待ち時間を有する。システムに組み込まれる場合、追加の待ち時間は、通信および追加のフィルタリングに起因して発生し得る。最大３０ミリ秒の有効コマンド待ち時間が許容されることがわかった。

本態様において、追跡システムは、電磁ハンド追跡コントローラ、マスターフィンガー追跡グリップで使用するためのセンサ、およびハンド追跡トランスミッタを含む。本発明の一実施形態における使用に適した追跡システムは、米国バーモント州バーリントン、Ａｓｃｅｎｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｒｐｏｒａｔｉｏｎから３ＤガイダンスｔｒａｋＳＴＡＲ^ＴＭシステムとして、ミッドレンジトランスミッタとともに入手できる（ｔｒａｋＳＴＡＲ^ＴＭは、Ａｓｃｅｎｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｒｐｏｒａｔｉｏｎの商標である）。トランスミッタは、中距離を超える高精度追跡のために、パルスＤＣ磁場を生成し、７８ｃｍ（３１インチ）と特定される。このシステムは、各センサに２４０〜４２０更新／秒のダイナミック追跡を提供する。小型能動センサの出力は、電力線雑音源の影響を受けない。トランスミッタとセンサとの間のクリアな視線が必要とされない。すべての態度追跡があり、慣性ドリフトまたは光学干渉はない。高い金属免疫があり、非磁気金属からの変形はない。

フィンガーカバーを有する電磁追跡システムが本明細書において使用されるが、これは単なる例示であり、限定することを意図しない。例えば、ペン型デバイスは、執刀医によって保持され得る。ペン型デバイスは、デバイスの外面に３つ以上の非共線的基準マーカーを有するフィンガーピースである。通常、少なくとも３つの基準マーカーをあらゆる視点で可視化するために、より多くの基準マーカーが、自己遮蔽に起因して使用される。基準マーカーは、フィンガーピースの６自由度（３変換および３転動）の運動、およびしたがって、ペン型デバイスを保持する手の運動を決定する。ペン型デバイスはまた、一態様においてグリッピングを感知する。

ペン型デバイスを、既知のパラメータの２つ以上のカメラによって見て、基準マーカーを３次元でローカライズし、フィンガーピースの３次元ポーズを推測する。基準マーカーは、例えば、１）カメラに近接して照明を有する逆反射球、２）カメラに近接して照明を有する凹凸半球、または３）（点滅）ＬＥＤ等の活性マーカーとして実装され得る。一態様において、フィンガーピースの近赤外照明が使用され、フィルターを使用して、カメラでの可視スペクトルを遮断し、背景クラッタからの妨害を最小限にする。

別の態様において、データグローブ５０１（図５）または素手５０２が使用され、基準マーカー５１１は、執刀医が装着するグローブ５０１の親指および人指し指（および／またはグローブの他の指）および／または手５０２の皮膚に直接取り付けられる。再度、冗長マーカーを使用して、自己遮蔽に対応することができる。また基準マーカーを他の指に装着して、特異的に定義されたハンドジェスチャーを通して、より多くのユーザインターフェース特徴を可能にすることができる。

基準マーカーの三次元ロケーションは、共通視界を有する複数カメラの三角測量によって計算される。基準マーカーの３次元ロケーションを使用して、手の３次元ポーズ（変換および転動）およびグリップサイズを推測する。

マーカーロケーションは、使用前に較正する必要がある。例えば、執刀医は、マーカーを有する手を異なるポーズでカメラに示すことができる。次に、異なるポーズを較正に使用する。

さらに別の態様において、マーカーのないハンド追跡が使用される。多関節ハンド運動は、１つまたは複数のカメラから見られる画像を使用し、コンピュータソフトウェアを実行することによってこれらの画像を処理することにより追跡することができる。実行しているコンピュータソフトウェアは、有用となる手のすべての自由度を追跡する必要はない。実行しているソフトウェアは、手術ツールを本明細書において示されるように制御するために有用となる手の２本の指に関連する一部を追跡すればよい。

カメラベースの追跡において、測定値の精度は、画像におけるマーカーのローカライゼーション精度、カメラの形状に起因する３次元再構成制度、および冗長データ、例えば、最小数を超える、例えば、３つの基準マーカー、最小数（１または２）を超えるカメラ、ならびに時間平均およびフィルタリングに依存する。

３次元再構成精度は、カメラ構成の精度に大きく依存する。執刀医のコンソール上の既知のロケーションに取り付けられたいくつかの基準マーカーを使用して、執刀医のコンソールに関する多眼カメラの外因性パラメータ（転動および変換）を決定することができる。このプロセスは、自動に行うことができる。活性基準マーカーは、較正プロセス中および手順前にのみオンであるため、較正基準マーカーに使用することができる。手順中は較正基準マーカーをオフにして、執刀医の手のローカライズに使用される基準マーカーとの混乱を避ける。また相対的外因性パラメータは、カメラの共通視野において移動するマーカーを観察することによって計算することもできる。

使用に適した他の追跡技術には、これらに限定されないが、慣性追跡、深度カメラ追跡、およびファイバー屈曲感知が挙げられる。

本明細書で使用する、追跡センサと呼ばれる場合があるセンサ素子は、上述されるハンド追跡技法、例えば、能動電磁センサ、基準マーカーのうちのいずれかに対するセンサ、または他の技法のうちのいずれかに対するセンサであり得る。

（座標系）
上述される様々なプロセスをさらに詳細に考慮する前に、執刀医のコンソール１８５Ｂの一実施例（図６Ａ）が考慮され、以下の実施例において使用するために、様々な座標系が定義される。執刀医のコンソール１８５Ｂは、執刀医のコンソール１８５の一実施例である。執刀医のコンソール１８５Ｂは、ビューア６１０と称される場合がある３次元ビューア６１０、マスターツールグリップ６２１Ｌ、６２１Ｒを有するマスターツールマニピュレータ６２０Ｌ、６２０Ｒ、およびベース６３０を含む。マスターツールグリップ６２１（図６Ｂ）は、マスターツールグリップ６２１Ｌ、６２１Ｒのより詳細な図である。

マスターツールマニピュレータ６２０Ｌ、６２０Ｒのマスターツールグリップ６２１Ｌ、６２１Ｒは、執刀医１８０Ｂによって、人指し指および親指を使用して保持され、標的および把持が、直感的ポインティングおよびピンチング運動を伴うようにする。マスターツールマニピュレータ６２０Ｌ、６２０Ｒを、マスターツールグリップ６２１Ｌ、６２１Ｒと合せて使用し、既知の低侵襲遠隔操作手術システムにおける既知のマスターツールマニピュレータと同一の方法で、遠隔操作スレーブ手術器具、遠隔操作内視鏡等を制御する。またマスターツールマニピュレータ６２０Ｌ、６２０Ｒ、およびマスターツールグリップ６２１Ｌ、６２１Ｒの位置座標は、スレーブ手術器具を制御する際に使用される運動学からわかる。

通常ビューイングモードの操作において、ビューア６１０は、３次元画像の手術部位１０３を立体内視鏡１１２から表示する。ビューア６１０は、執刀医の手付近のコンソール１８５Ｂ（図６Ｂ）上に位置付けられ、執刀医１８０Ｂが手術部位１０３を直接見下ろしていると感じるように、ビューア６１０において見られる手術部位の画像が配向されるようにする。画像における手術器具は、執刀医１８０Ｂは自身の手の位置に基づいて予測するため、執刀医の手が配置および配向される場所に実質的に位置すると思われる。しかしながら、執刀医１８０Ｂは、ビューア６１０における手術部位の表示画像を見ながら、自身の手だけでなく、マスターツールグリップ６２１Ｌ、６２１Ｒの位置または配向を見ることができない。

一態様において、マスターツールマニピュレータ６２０Ｌ、６２０Ｒは、それらがベース６３０の上に位置付けられるように、またそれらがビューア６１０の下に存在しないように、すなわち、マスターツールマニピュレータが、ハンドジェスチャーから離れて停留するように、執刀医１８０Ｂの正面およびビューア６１０の下から直接動かされる。これは、ビューア６１０の下に非閉塞容積を提供し、執刀医１８０Ｂは、ハンドジェスチャー、ハンドジェスチャーポーズまたはハンドジェスチャー軌道のうちのいずれか、または両方を行うことができる。

図６Ａの態様において、３つの座標系、ビュー座標系６６０、ワールド座標系６７０、およびトラッカ座標系６５０が、執刀医のコンソール１８５Ｂに関して定義される。相当する座標系は、以下でより完全に説明されるマッピングが、マスターフィンガー追跡グリップ１７０またはマスターツールグリップ６２１Ｌ、６２１Ｒからの追跡データに対して行われ得るように、執刀医１８１（図１）に対して定義されることに留意されたい。例えば、参照することにより既に組み込まれている、米国特許出願第１２／６１７，９３７号（２００９年１１月１３日出願、「Ｐａｔｉｅｎｔ−Ｓｉｄｅ Ｓｕｒｇｅｏｎ Ｉｎｔｅｒｆａｃｅ Ｆｏｒ ａ Ｍｉｎｉｍａｌｌｙ Ｉｎｖａｓｉｖｅ Ｔｅｌｅｏｐｅｒａｔｅｄ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ」を開示）を参照されたい。

ビュー座標系６６０において、執刀医１８０Ｂは、Ｚ軸Ｚビューを見下ろしている。Ｙ軸Ｙビューは、表示において上向きである。Ｘ軸Ｙビューは、表示の左を指す。ワールド座標系６７０において、Ｚ軸Ｚワールドは、垂直軸である。ワールドＸ軸ＸワールドおよびワールドＹ軸Ｙワールドは、Ｘ軸Ｘワールドに垂直な平面にある。

図６Ｂは、マスターツールグリップ６２１およびマスターツールマニピュレータ６２０のより詳細な例示である。座標系６８０、６９０は、図１１の方法１１００に関して以下でより完全に論じられる。

（ハンド追跡を介した手術器具制御のプロセス）
図７は、追跡座標系７５０においてロケーション７１３を有する、人指し指２９２Ｂに装着されたセンサ２１２、および追跡座標系７５０においてロケーション７１１を有する、親指２９２Ａに装着されたセンサ２１２の例示である。センサ２１１および２１２は、上述される電磁追跡システムの一部である。親指２９２Ａおよび人指し指２９２Ｂは、右手２９１Ｒの指の例である。前述のとおり、ヒトの手の一部は、少なくとも１本の手の指を含む。当該分野における有識者に知られているように、指または指骨と呼ばれる場合がある手の指は、親指（第１指）、人指し指（第２指）、中指（第３指）、薬指（第４指）、および小指（第５指）である。

本明細書において、親指および人指し指は、ヒトの手の２本の指の例として使用される。これは単なる例示であり、限定することを意図しない。例えば、親指および中指を、親指と人指し指の代わりに使用することができる。本明細書の説明は、中指の使用にも直接適用できる。右手の使用もまた単なる例示である。同様のセンサが左手に装着される場合、本明細書の説明は、左手にも直接適用できる。

ケーブル７４１、７４２は、マスターフィンガー追跡グリップ２７０のセンサ２１１、２１２をハンド追跡コントローラ１３０に接続する。一態様において、ケーブル７４１、７４２は、センサ２１１、２１２からの位置および配向情報を、ハンド追跡コントローラ１３０に伝える。

感知した位置および配向データをハンド追跡コントローラ１３０に伝送するためのケーブルの使用は、単なる例示であり、この特定の態様に限定することを意図しない。本開示に照らして、当該分野における有識者は、マスターフィンガー追跡グリップまたはマスターフィンガー追跡グリップからの感知した位置および配向データをハンド追跡コントローラ１３０に（例えば、無線接続の使用によって）伝送するための機序を選択することができる。

ケーブル７４１、７４２は、マスターフィンガー追跡グリップ２７０の運動を阻害しない。マスターフィンガー追跡グリップ２７０は、機械的に非接地であるため、各マスターフィンガー追跡グリップは、執刀医の到達可能な作業空間およびハンド追跡トランスミッタの作業空間（例えば、デカルド座標系における左−右、上−下、内−外、転動、ピッチ、および偏揺れ）内の位置および配向の両方に対して、効果的に拘束されない。

一態様において、上述されるように、マスターフィンガー追跡グリップ２７０上の各センサ２１１、２１２は、３度の変換および３度の転動、すなわち６度の自由度を感知する。したがって、２つのセンサから感知されたデータは、１２度の自由度を表す。別の態様において、マスターフィンガー追跡グリップ２７０上の各センサ２１１、２１２は、３度の変換および２度の転動（偏揺れおよびピッチ）、すなわち５度の自由度を感知する。したがって、２つのセンサから感知されたデータは、１０度の自由度を表す。

追跡されたロケーションに基づいて、制御点位置および制御点配向を使用し、遠隔操作スレーブ手術器具を制御することは、以下でより完全に説明されるように、６度の自由度（３変換および３配向）を必要とする。したがって、各センサが５または６度の自由度を有する態様において、センサ２１１、２１２は、冗長自由度を提供する。上述のとおり、および以下でより完全に説明されるように、冗長自由度は、位置および配向以外の遠隔操作スレーブ手術器具の態様を制御するために使用されるパラメータにマッピングされる。

なおもさらなる態様において、各センサ２１１、２１２は、３変換自由度のみを感知するため、合せて６度の自由度を表す。これは、手首機序を含まないスレーブ手術器具の３度の変換、転動、およびグリップ閉合を制御するのに十分である。以下の説明を使用して、６度の自由度を用いる制御点のロケーションを生成する。制御点のロケーションは、スレーブ手術器具の配向として取られる。グリップ閉合パラメータは、下記のとおり、制御点ロケーションおよび制御点配向を使用して決定される。転動は、上記のとおり、親指および人指し指の相対運動を使用して決定される。

センサが６度の自由度を感知する態様、またはセンサが５度の自由度を感知する態様のいずれかにおいて、人指し指センサ２１２は、追跡座標フレーム７５０において、人指し指位置Ｐ_{ｉｎｄｅｘ}および人指し指配向Ｒ_{ｉｎｄｅｘ}を表す信号を生成する。親指センサ２１１は、追跡座標フレーム７５０において、親指位置Ｐ_{ｔｈｕｍｂ}および親指配向Ｒ_{ｔｈｕｍｂ}を表す信号を生成する。一態様において、位置ｐ_{ｉｎｄｅｘ}およびｐ_{ｔｈｕｍｂ}は、ユーザの人指し指２９２Ｂの爪の中心およびユーザの親指２９２Ａの爪の中心とそれぞれ整列していると見なされる。

本実施例において、位置ｐ_{ｉｎｄｅｘ}およびｐ_{ｔｈｕｍｂ}は、それぞれ３×１ベクトルとして追跡座標フレーム７５０に表される。位置ｐ_{ｉｎｄｅｘ}およびｐ_{ｔｈｕｍｂ}は、追跡座標にある。

配向Ｒ_{ｉｎｄｅｘ}およびＲ_{ｔｈｕｍｂ}は、それぞれ３×３マトリクスとして追跡座標フレーム７５０に表される。すなわち、

制御点位置ｐ_ｃｐは、人指し指２９２Ｂと親指２９２Ａの中間にある。制御点位置ｐ_ｃｐは、制御点フレーム７９０にあるが、追跡座標において特定される。制御点フレーム７９０のＺ軸は、以下でより完全に説明されるように、制御点位置ｐ_ｃｐを通して指向方向に伸長する。

また以下で説明されるように、人指し指２９２Ｂおよび親指２９２Ａは、スレーブ手術器具の顎部にマッピングされるが、２本の指は、器具の顎部よりも器用である。制御点フレーム７９０のＹ軸は、器具顎閉合に使用されるピンに対応する。したがって、制御点フレーム７９０のＹ軸は、以下で説明されるように、人指し指２９２Ｂと親指２９２Ａとの間のベクトルに垂直である。

制御点位置ｐ_ｃｐは、追跡座標フレーム７５０の追跡座標において、３×１ベクトルとして表される。制御点配向Ｒ_ｃｐは、追跡座標において、３×３マトリクスとして表される。すなわち、

図８は、手の一部のロケーションを、スレーブ手術器具のグリップ、例えば、図１における遠隔操作スレーブ手術器具のうちの１つを制御するために使用されるグリップ閉合パラメータにマッピングするためのプロセスフロー図である。このマッピングはまた、ロケーションの経時変化を新しいグリップ閉合パラメータ、ならびに対応するスレーブ器具先端のロケーションおよびそのロケーションに移動する速度にマッピングする。

最初に、プロセス８００に入ると、ハンドロケーションデータを受信するプロセス８１０は、人指し指位置および配向（ｐ_{ｉｎｄｅｘ}、Ｒ_{ｉｎｄｅｘ}）ならびに親指位置および配向（ｐ_{ｔｈｕｍｂ}、Ｒ_{ｔｈｕｍｂ}）を受信し、それらは本実施例において、データ８１１として保存される。人指し指位置および配向（ｐ_{ｉｎｄｅｘ}、Ｒ_{ｉｎｄｅｘ}）ならびに親指位置および配向（ｐ_{ｔｈｕｍｂ}、Ｒ_{ｔｈｕｍｂ}）は、追跡システムからのデータに基づく。プロセス８１０は、ロケーションデータを制御点およびグリップパラメータにマッピングするプロセス８２０に移る。

ロケーションデータを制御点およびグリップパラメータにマッピングするプロセス８２０は、制御点位置ｐ_ｃｐ、制御点配向Ｒ_ｃｐ、およびグリップ閉合パラメータｇ_ｇｒｉｐを、人指し指位置および配向（ｐ_{ｉｎｄｅｘ}、Ｒ_{ｉｎｄｅｘ}）ならびに親指位置および配向（ｐ_{ｔｈｕｍｂ}、Ｒ_{ｔｈｕｍｂ}）を使用して生成する。制御点位置ｐ_ｃｐ、制御点配向Ｒ_ｃｐ、およびグリップ閉合パラメータｇ_ｇｒｉｐは、データ８２１として保存される。

一態様において、プロセス８２０において行われる制御点マッピングは、既知のマスターツールマニピュレータ制御点配置の主要な特性を模倣するように定義される。したがって、親指および人指し指の運動に対する応答は、執刀医のコンソール１８０Ｂ（図６Ａ）に類似する執刀医のコンソールを有する既知の遠隔操作低侵襲手術システムのユーザによく知られており、直感的である。

図９は、ロケーションデータを制御点およびグリップパラメータにマッピングするプロセス８２０の一態様に対するより詳細なプロセスフロー図である。最初に、プロセス８２０において、ハンド位置データを制御点にマッピングするプロセス９１０は、制御点位置ｐ_ｃｐのロケーションを、人指し指位置ｐ_{ｉｎｄｅｘ}および親指位置ｐ_{ｔｈｕｍｂ}から生成する。すなわち、
ｐ_ｃｐ＝０．５＊（ｐ_{ｔｈｕｍｂ}＋ｐ_{ｉｎｄｅｘ}）
制御点位置ｐ_ｃｐは、人指し指位置ｐ_{ｉｎｄｅｘ}および親指位置ｐ_{ｔｈｕｍｂ}の平均である。ハンド位置データを制御点にマッピングするプロセス９１０は、制御点配向を生成するプロセス９２０に対する処理に移る。

上に示されるように、制御点配向のＺ軸は、指向方向に整列される。制御点配向を生成するプロセス９２０の本態様において、ロドリゲス軸／角度式を使用して、制御点配向のＺ軸指向方向ベクトル

を、人指し指指向方向ベクトル

と親指指向方向ベクトル

との間の半転動として定義する。親指配向Ｒ_{ｔｈｕｍｂ}から、親指指向方向ベクトル

は、

である。

同様に、人指し指配向Ｒ_{ｉｎｄｅｘ}から、人指し指指向方向ベクトル

は、

である。

ベクトルωは、人指し指指向方向ベクトル

および親指指向方向ベクトル

に垂直なベクトルである。ベクトルωは、人指し指指向方向ベクトル

および親指指向方向ベクトル

の外積として定義される。すなわち、

角度θは、人指し指指向方向ベクトル

と親指指向方向ベクトル

との間の角度の大きさである。角度θは、

として定義される。

軸ωおよび角度θを有する、Ｚ軸指向方向ベクトル

は、

である。

したがって、プロセス９１０は、制御点位置ｐ_ｃｐを生成し、プロセス９２０の最初の部分は、制御点フレーム７９０におけるＺ軸の近似指向方向を生成した。人指し指および親指配向ベクトルの補間を進めて、同様の方法で制御点単位ベクトル軸

および

を生成した後、それらを再度直交させて、制御点配向マトリクスを生じる。

しかしながら、優れた遠隔操作器用性は、以下のマッピングを使用することによって、指の追跡位置から達成することができる。このマッピングは、人指し指および親指の相対位置を使用して、このマッピングは、人指し指および親指の相対位置を使用して、指間の小ジンバルを操作するかのように、制御点を効果的に転動および偏揺れさせる。プロセス９２０の残りを以下のように行い、直交制御点単位ベクトル軸

の完全集合を生成する。

これらのベクトルを有する、制御点配向Ｒ_ｃｐは、

である。

ここでプロセス９１０および９２０とともに、プロセス８２０は、人指し指および親指の位置および配向（ｐ_{ｉｎｄｅｘ}、Ｒ_{ｉｎｄｅｘ}）、（ｐ_{ｔｈｕｍｂ}、Ｒ_{ｔｈｕｍｂ}）をマッピングして、制御点位置および配向（ｐ_ｃｐ、Ｒ_ｃｐ）を制御する。プロセス８２０は、依然として、グリップ閉合パラメータｇ_ｇｒｉｐを生成しなければならない。したがって、制御点配向を生成するプロセス９２０は、グリップ閉合パラメータを生成するプロセス９３０に対する処理に移行する。

プロセス９３０において、グリップ閉合は、制御点位置Ｐ_ｃｐおよびＺ軸方向Ｚ(＾)_ｃｐによって定義される中心軸から人指し指位置ｐ_{ｉｎｄｅｘ}および親指位置ｐ_{ｔｈｕｍｂ}の距離によって決定される。これは、親指と人指し指が接触しているときに、グリップ閉合を摺動に対して不変であるようにする。

したがって、人指し指位置ｐ_{ｉｎｄｅｘ}および親指位置ｐ_{ｔｈｕｍｂ}は、フレーム７９０のＺ軸にマッピングされる。位置ｐ_{ｉｎｄｅｘ＿ｐｒｏｊ}は、フレーム７９０のＺ軸に対する人指し指位置ｐ_{ｉｎｄｅｘ}の投影であり、位置ｐ_{ｔｈｕｍｂ＿ｐｒｏｊ}は、フレーム７９０のＺ軸に対する親指位置ｐ_{ｔｈｕｍｂ}の投影である。

位置ｐ_{ｉｎｄｅｘ＿ｐｒｏｊ}および位置ｐ_{ｔｈｕｍｂ＿ｐｒｏｊ}を使用して、評価グリップ閉合距離ｄ_ｖａｌを評価する。すなわち、

本明細書において、二重の平行線は、標準ユークリッド距離の既知の表示である。評価グリップ閉合距離ｄ_ｖａｌは、最大距離閾値ｄ_ｍａｘおよび最小距離閾値ｄ_ｍｉｎによって境界される。図７に示されるように、センサ２１１、２１２間のパッド入りフォームコネクタ２１０は、指を固定分離内、すなわち、最大距離閾値ｄ_ｍａｘと最小距離閾値ｄ_ｍｉｎとの間に拘束する。さらに、中間距離ｄ_０は、２本の指がちょうど接触しているときの分離距離に対応する。

特定のセンサおよびコネクタの集合に関して、最大距離閾値ｄ_ｍａｘ、最小距離閾値ｄ_ｍｉｎ、および中間距離ｄ_０が実験的に決定される。一態様において、センサおよびコネクタの３つの異なる組み合わせは、小さい手、平均的な手、および大きい手に対して提供される。コネクタ２１０の長さが各組み合わせにおいて異なるため、各組み合わせは、その独自の最大距離閾値ｄ_ｍａｘ、最小距離閾値ｄ_ｍｉｎ、および中間距離ｄ_０を有する。

プロセス９３０は、距離ｄ_ｖａｌを最小距離閾値ｄ_ｍｉｎと比較する。比較によって、距離ｄ_ｖａｌが最小距離閾値ｄ_ｍｉｎ未満であることがわかった場合、グリップ閉合距離ｄは、最小閾値距離ｄ_ｍｉｎに設定される。そうでなければ、プロセス９３０は、距離ｄ_ｖａｌを最大距離閾値ｄ_ｍａｘと比較する。比較によって、距離ｄ_ｖａｌが最大距離閾値ｄ_ｍａｘより大きいことがわかった場合、グリップ閉合距離ｄは、最大距離閾値ｄ_ｍａｘに設定される。そうでなければ、グリップ閉合距離は、距離ｄ_ｖａｌに設定される。

グリップ閉合距離を決定するために距離ｄ_ｖａｌで行われる試験は、以下のように要約される。

次に、プロセス９３０において、グリップ閉合パラメータｇ_ｇｒｉｐが生成される。

したがって、最大距離閾値ｄ_ｍａｘと距離ｄ_０との間のグリップ閉合距離は、ゼロと１の間の値にマッピングされる。最小距離閾値ｄ_ｍｉｎと距離ｄ_０との間のグリップ閉合距離ｄは、−１とゼロの間の値にマッピングされる。

グリップ閉合パラメータｇ_ｇｒｉｐの値１は、人指し指２９２Ｂおよび親指２９２Ａがコネクタ２１０によって許容される最大程度に分離されるときに得られる（図２Ａ）。グリップ閉合パラメータｇ_ｇｒｉｐの値ゼロは、人指し指２９２Ｂの先端と親指２９２Ａの先端がちょうど接触しているときに得られる（図２Ｃ）。ゼロと１の間の範囲内の値は、スレーブ手術器具のエンドエフェクタの開閉を制御する。グリップ閉合パラメータｇ_ｇｒｉｐの値−１は、人指し指２９２Ｂおよび親指２９２Ａが接触し、コネクタ２１０が人指し指２９２Ｂおよび親指２９２Ａの間で完全に圧縮されるときに得られる（図２Ｄ）。ゼロと−１の間の範囲内の値は、エンドエフェクタの閉じた顎部の噛合力を制御する。コネクタ２１０は、顎部閉合の能動触覚キューを提供する。

グリップ閉合距離ｄを２つの範囲のうちの１つに含まれる値にマッピングするこの例は、単なる例示であり、限定することを意図しない。実施例は、グリップ閉合距離ｄを第１の範囲のグリップ閉合パラメータｇ_ｇｒｉｐにマッピングして、グリップ閉合距離ｄが中間距離ｄ_０よりも大きいときに、スレーブ手術器具のエンドエフェクタの顎部の開閉を制御する例示である。ここで「開閉」は、顎部の開放および閉合を意味する。グリップ閉合距離ｄを第２の範囲のグリップ閉合パラメータｇ_ｇｒｉｐにマッピングして、グリップ閉合距離ｄが中間距離ｄ_０未満であるときに、エンドエフェクタの閉じた顎部の噛合力を制御する。

したがって、プロセス８２０は、人指し指位置および配向（ｐ_{ｉｎｄｅｘ}、Ｒ_{ｉｎｄｅｘ}）ならびに親指位置および配向（ｐ_{ｔｈｕｍｂ}、Ｒ_{ｔｈｕｍｂ}）を制御点位置および配向（Ｐ_ｃｐ、Ｒ_ｃｐ）およびデータ８２１として保存されるグリップ閉合パラメータｇ_ｇｒｉｐにマッピングする。プロセス８２０は、ワールド座標にマッピングするプロセス８３０に移行する（図８）。

ワールド座標にマッピングするプロセス８３０は、データ８２１を受信し、データ８２１をワールド座標系にマッピングする。（ワールド座標系６７０（図６Ａ）を参照）。特に、制御点位置および配向（ｐ_ｃｐ、Ｒ_ｃｐ）ならびにグリップ閉合パラメータｇ_ｇｒｉｐは、追跡座標系７５０（図７Ｂ）の座標をワールド座標系６７０の座標にマッピングする、４×４同次変換^ｗｃＴ_ｔｃを使用して、ワールド座標制御点位置および配向（ｐ_{ｃｐ＿ｗｃ}、Ｒ_{ｃｐ＿ｗｃ}）、マッピングされ、例えば、

式中、
^ｗｃＲ_ｔｃは、追跡座標ｔｃの配向をワールド座標ｗｘの配向にマッピングし、
^ｗｃｔ_ｔｃは、追跡座標ｔｃの位置をワールド座標ｗｃの位置に変換する。
グリップ閉合パラメータｇ_ｇｒｉｐは、このマッピングによって変更されない。ワールド座標ｗｃのデータは、データ８３１として保存される。プロセス８３０は、視界座標にマッピングするプロセス８４０に移行する。

視界座標にマッピングするプロセス８４０は、ワールド座標ｗｃのデータ８３１を受信し、データ８３１を視界座標系にマッピングする（視界座標系６６０（図６Ａ）を参照）。特に、ワールド座標制御点位置および配向（ｐ_{ｃｐ＿ｗｃ}、Ｒ_{ｃｐ＿ｗｃ}）およびグリップ閉合パラメータｇ_ｇｒｉｐは、視界座標系６７０（図６Ａ）の座標を視界座標系６６０の座標にマッピングする、４×４同次変換^ｗｃＴ_ｔｃを使用して、視界座標制御点位置および配向（ｐ_{ｃｐ＿ｅｃ}、Ｒ_{ｃｐ＿ｅｃ}）にマッピングされ、例えば、

式中、
^ｅｃＲ_ｗｃは、視界座標ｅｃの配向をワールド座標ｗｃの配向にマッピングし、
^ｅｃｔ_ｗｃは、視界座標ｅｃの位置をワールド座標ｗｃの位置に変換する。

再度、グリップ閉合パラメータｇ_ｇｒｉｐは、マッピングによって変更されない。視界座標のデータは、データ８４１として保存される。プロセス８４０は、速度を生成するプロセス８５０に移行する。

プロセス８００において、マッピングプロセス８３０および８４０は、単に例示を容易にするために、２つの異なるプロセスとして説明される。一態様において、マッピングプロセス８３０および８４０は、追跡座標ｔｃの制御点データが、追跡座標系６５０（図６Ａ）の座標を視界座標系６６０の座標にマッピングする、４×４同次変換^ｅｃＴ_ｔｃを使用して、視界座標ｅｃのデータに直接マッピングされ、例えば、

である。

本態様において、視界座標の制御点の位置Ｐ_{ｃｐ＿ｅｃ}は、
ｐ_{ｃｐ＿ｅｃ}＝^ｅｃＴ_ｔｃｐ_{ｃｐ＿ｔｃ’}
であり、視界座標の制御点の配向Ｒ_{ｃｐ＿ｅｃ}は、
Ｒ_{ｃｐ＿ｅｃ}＝^ｅｃＲ_ｗｃ ^ｗｃＲ_ｔｃＲ_{ｃｐ＿ｔｃ}
である。

いくつかの態様において、ワールド座標マッピングは、排除されてもよい。この場合、制御点データは、ワールド座標系を利用することなく、追跡座標系から視界座標系に直接マッピングされる。

遠隔操作の場合、位置、配向、および速度が必要である。したがって、速度を生成するプロセス８５０は、必要な速度を生成する。速度は、多数の方法で生成することができる。いくつかの実装、例えば、慣性センサおよびジャイロスコープセンサ等は、差分信号を直接測定して、制御点の直線速度および角速度を生じることができる。速度を直接測定できない場合、プロセス８５０は、一態様において、視界座標系のロケーション測定値からの速度を推定する。

速度は、サンプリング間隔を超えて、視界座標系の有限差分を使用して推定されてもよい。例えば、直線速度ｖ_{ｃｐ＿ｅｃ}は、

として推定され、角速度ω_{ｃｐ＿ｅｃ}は、

として推定される。

速度を生成するプロセス８５０の別の態様において、制御点直線速度ｖ_{ｃｐ＿ｔｃ}および制御点角速度ω_{ｃｐ＿ｔｃ}は、追跡座標系７５０（図７）の追跡座標において感知される。本態様において、直接感知される制御点直線速度ｖ_{ｃｐ＿ｔｃ}および直接感知される制御点角速度ω_{ｃｐ＿ｔｃ}は、転動^ｅｃＲ_ｔｃを使用して、追跡座標系７５０から視界座標系６６０に転動させる。特に、上に定義される転動マッピングを使用して、
^ｅｃＲ_ｔｃ＝^ｅｃＲ_ｗｃ ^ｗｃＲ_ｔｃ
Ｖ_{ｃｐ＿ｅｃ}＝^ｅｃＲ_ｔｃ ｖ_{ｃｐ＿ｔｃ}
ω_{ｃｐ＿ｅｃ}＝^ｅｃＲ_ｔｃω_{ｃｐ＿ｔｃ}
速度を生成するプロセス８５０は、制御コマンドを送信するプロセス８６０に移行する。プロセス８６０は、位置、配向、速度、およびデータ８５１として保存されたグリップ閉合パラメータに基づいて、スレーブ手術器具に適切なシステム制御コマンドを送信する。

一態様において、プロセス８１０〜８５０は、ハンド追跡コントローラ１３０（図１）によって行われる。コントローラ１３０は、プロセッサ１３１上のフィンガー追跡モジュール１３５を実行して、プロセス８１０〜８５０を行う。本態様において、フィンガー追跡モジュール１３５は、メモリ１３２に保存される。プロセス８５０は、システムイベントをシステムコントローラ１４０に送信し、順にプロセス８６０を行う。

当然のことながら、ハンド追跡コントローラ１３０およびシステムコントローラ１４０は、ハードウェア、プロセッサ上で実行されるソフトウェア、およびファームウェアのあらゆる組み合わせによって、実際に実装されてもよい。またこれらのコントローラの機能は、本明細書に説明されるように、１つのユニットによって行われ得るか、または異なるコンポーネントに分割され、それぞれが順にハードウェア、プロセッサ上で実行されるソフトウェア、およびファームウェアのあらゆる組み合わせによって実装されてもよい。異なるコンポーネントに分割される場合、コンポーネントは、１つのロケーションに集中され得るか、または分散処理の目的でシステム１００に分散されてもよい。

（ジェスチャーハンドポーズおよびジェスチャー軌道制御のプロセス）
図１０は、システム１００のハンドジェスチャーポーズおよびハンドジェスチャー軌道のプロセス１０００の一態様のプロセスフロー図である。上述される一態様において、ハンドジェスチャーポーズ認識プロセス１０５０は、多次元ベイズ識別器を使用し、ハンドジェスチャー軌道認識プロセス１０６０は、個別の隠れマルコフモデルλを使用する。

上述のとおり、図３Ａ〜３Ｄは、ハンドジェスチャーポーズの実施例である。ハンドジェスチャーポーズ認識１０５０をトレーニングするために、多数のハンドジェスチャーポーズが特定される。利用されるハンドジェスチャーポーズの数は、認識プロセス１０５０によって曖昧に識別され得る固有のポーズを定義する能力によって、および執刀医が異なるハンドジェスチャーポーズのそれぞれを記憶し、確実に再現する能力によって制限される。

ハンドジェスチャーポーズを定義することに加えて、複数の特徴ｆ_ｉ（ｉは１〜ｎの範囲）を含む特徴集合が定義される。数字ｎは、使用される特徴の数である。特徴の数および種類は、許容されるポーズの集合におけるハンドジェスチャーポーズのそれぞれが、正確に識別され得るように選択される。一態様において、数字ｎは６である。

以下は、ｎ個の特徴を有する１つの特徴集合の例である。

特徴ｆ_１は、人指し指２９２Ｂの指向方向

および親指２９２Ａの指向方向

のドット積である。特徴ｆ_２は、人指し指２９２Ｂと親指２９２Ａとの間の距離である。特徴ｆ_３は、人指し指２９２Ｂの指向方向

に投影された親指２９２Ａの距離である。特徴ｆ_４は、人指し指２９２Ｂの指向方向

に沿った軸から親指２９２Ａまでの距離である。特徴ｆ_５は、親指２９２Ａの指向方向

のＺコンポーネントである。特徴ｆ_ｎは、親指２９２Ａの親指法線ベクトル

および人指し指２９２Ｂの指向方向

のドット積である。

方法１０００を使用する前に、ハンドジェスチャーポーズのトレーニングデータベースを開発する必要がある。多数の異なるユーザは、各ハンドジェスチャーポーズを少なくとも１回行い、各ユーザの各ハンドジェスチャーポーズの位置および配向は、追跡システムを使用して測定される。例えば、人々の集団における各個人が、許容されるハンドジェスチャーポーズを行う。人指し指および親指位置および配向（ｐ_{ｉｎｄｅｘ}、Ｒ_{ｉｎｄｅｘ}）、（ｐ_{ｔｈｕｍｂ}、Ｒ_{ｔｈｕｍｂ}）は、トレーニングデータベースにおいて、人々の集団における各個人の各ハンドジェスチャーポーズに対して保存される。

トレーニングデータベースを使用して、特徴集合｛ｆ_ｉ｝が、各ユーザの各ハンドジェスチャーポーズに生成される。各ハンドジェスチャーポーズのトレーニング特徴ベクトルの集合を次に使用して、平均ｆ(―)_ｉおよび共分散Σ_ｆｉを計算する。

したがって、トレーニングデータベースを使用し、トレーニングされた各ジェスチャーの特徴ベクトルの平均および共分散を得る。さらに、各ハンドジェスチャーポーズに対して、マハラノビス距離ｄ（ｆ_ｉ）（以下の考察を参照）は、各トレーナーに生成され、各ハンドジェスチャーポーズの最大マハラノビス距離ｄ（ｆ_ｉ）は、そのハンドジェスチャーポーズの閾値として保存される。

マハラノビス距離の測定を使用して、トレーニングされたすべてのジェスチャーが、使用される指定の特徴集合に対して十分に異なり、かつ曖昧であることを立証することもできる。これは、指定のジェスチャー特徴ベクトル平均

およびすべての他の許容されるジェスチャーポーズの特徴ベクトル平均のマハラノビス距離を試験することによって達成することができる。この試験距離は、その指定のジェスチャーに使用される最大トレーニング距離閾値よりもはるかに長い必要がある。

当該分野における有識者に知られているように、隠れマルコフモデルの仕様は、２つのモデルパラメータＮ、Ｍおよび３つの確率速度Ａ、Ｂ、πの仕様を必要とする。隠れマルコフモデルΛは、以下のように表される。
Λ＝（Ａ，Ｂ，π）
モデルパラメータＮは、モデルにおける状態の数であり、モデルパラメータＭは、状態当たりの観察記号の数である。３つの確率速度は、状態遷移確率分布Ａ、観察ジェスチャー確率分布Ｂ、および初期状態分布πである。

個別の隠れマルコフモデルの一態様において、遷移確率分布Ａは、Ｎ×Ｎマトリクスである。観察ジェスチャー確率分布Ｂは、Ｎ×Ｍマトリクスであり、初期状態分布πは、Ｎ×１マトリクスである。

観察配列Ｏおよび隠れマルコフモデルΛを受けて、観察配列Ｏ割る隠れマルコフモデルΛの確率、すなわち、Ｐ（Ｏ｜Λ）を、以下でより完全に説明されるように、プロセス１０００において評価する。

隠れマルコフモデルΛの確率分布を生成するために、トレーニングデータベースが必要とされる。トレーニングデータベースを取得する前に、ハンドジェスチャー軌道の集合が特定される。

多数の被検体ｊを選択して、ハンドジェスチャー軌道のそれぞれを作製する。図４Ｃにおいて、１６個のハンドジェスチャー軌道が２次元投影形態で提示されるが、被検体は、様々なハンドジェスチャー軌道を行う場合に拘束されず、いくつかの３次元変型が生じるのを可能にする。一態様において、各被検体は、各ハンドジェスチャー軌道をｋ回行い、これによってハンドジェスチャー軌道当たりｊ＊ｋトレーニング配列が生成される。

一態様において、個別の左右隠れマルコフモデルが使用された。隠れマルコフモデルΛは、確率Ｐ（Ｏ｜Λ）が、反復ボーム−ウェルチ法を使用して局所的に最大化されるように選択される。例えば、参照することにより本明細書に組み込まれる、Ｌａｗｒｅｎｃｅ Ｒ．Ｒａｂｉｎｅｒ，”Ａ Ｔｕｔｏｒｉａｌ ｏｎ Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌｓ ａｎｄ Ｓｅｌｅｃｔｅｄ Ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ，”Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ，Ｖｏｌ．７７，Ｎｏ．２，ｐｐ．２５７−２８６（１９８９年２月）を、モデルに精通する者の隠れマルコフモデルの知識の証明として参照されたい。一態様において、反復法は、モデルが３連続反復で０．１％以内に集中したときに停止した。

初期状態確率πは、モデルが常に状態１から開始するように設定した。推移確率マトリクスＡは、ランダムエントリで初期化し、列ベースで降順に保存した。左右構造を強化するために、遷移確率マトリクスＡの下位の対角にあるすべてのエントリは、ゼロに設定した。さらに、２つの状態を超える遷移は、エントリをゼロに設定することによって却下し、すべての列ｉおよび行ｊに対して（ｉ−ｊ）＞２。遷移確率マトリクスＡは、列ベースで最後に標準化した。

観察確率マトリクスＢの初期化は、望ましい数の状態に基づいて、観察配列を均一に分割した。したがって、各状態は、ローカル頻度数に基づく確率を有する１つまたは複数の記号を最初に観察することができる。このマトリクスもまた、列ベースで標準化した。例えば、参照することにより本明細書に組み込まれる、Ｎ．Ｌｉｕ，Ｒ．Ｉ．Ａ．Ｄａｖｉｓ，Ｂ．Ｃ．Ｌｏｖｅｌｌ，Ｐ．Ｊ．Ｋｏｏｔｓｏｏｋｏｓ，”Ｅｆｆｅｃｔ ｏｆ Ｉｎｉｔｉａｌ ＨＭＭ Ｃｈｏｉｃｅｓ ｉｎ Ｍｕｌｔｉｐｌｅ Ｓｅｑｕｅｎｃｅ Ｔｒａｉｎｉｎｇ ｆｏｒ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ，”Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ，５−７，Ｌａｓ Ｖｅｇａｓ，ｐｇｓ６０８−６１３（２００４年４月）を、モデルに精通する者の隠れマルコフモデルの知識の証明として参照されたい。隠れマルコフモデルは、ハンドジェスチャー軌道のそれぞれに対して開発した。

方法１０００に戻って、ジェスチャーモード可能化チェックプロセス１００１は、執刀医がシステム１００の操作のジェスチャー認識モードを可能にしたか否かを決定する。一態様において、ジェスチャー認識モードを可能にするために、執刀医は、執刀医のコンソール１８５上でフットペダルを踏む（図１Ａ）。ジェスチャー認識モードが可能である場合、チェックプロセス１００１は、ハンドロケーションデータを受信するプロセス１０１０に移行し、そうでなければ戻る１００２を通って戻る。

ハンドロケーションデータを受信するプロセス１０１０は、執刀医によって行われているジェスチャーの人指し指位置および配向（ｐ_{ｉｎｄｅｘ}、Ｒ_{ｉｎｄｅｘ}）ならびに親指位置および配向（ｐ_{ｔｈｕｍｂ}、Ｒ_{ｔｈｕｍｂ}）を受信する。上記のとおり、人指し指位置および配向（ｐ_{ｉｎｄｅｘ}、Ｒ_{ｉｎｄｅｘ}）ならびに親指位置および配向（ｐ_{ｔｈｕｍｂ}、Ｒ_{ｔｈｕｍｂ}）は、追跡システムからのデータに基づく。プロセス１０１０は、特徴を生成するプロセス１０１１に移行する。

特徴を生成するプロセス１０１１において、人指し指位置および配向（ｐ_{ｉｎｄｅｘ}、Ｒ_{ｉｎｄｅｘ}）ならびに親指位置および配向（ｐ_{ｔｈｕｍｂ}、Ｒ_{ｔｈｕｍｂ}）を使用して、観察された特徴ベクトルｆ_ｉ＿ｏにおける特徴ｆ_１＿ｏ〜ｆ_ｎ＿ｏのそれぞれを生成する。特徴を生成するプロセス１０１１は、特徴を既知のポーズと比較するプロセス１０１２に移行する。

特徴を既知のポーズと比較するプロセス１０１２は、各ポーズに対して、観察された特徴ベクトルｆ_ｉ＿ｏをトレーニングされた特徴集合｛ｆ_ｉ｝と比較する。このプロセスは、観察された特徴ベクトルが、特定のハンドジェスチャーポーズに対してトレーニングデータセット特徴集合｛ｆ_ｉ｝内に含まれる、すなわち、トレーニングデータセットに対応する可能性を決定する。これは、以下のように表すことができ、
Ｐ（ｆ_ｉ＿ｏ｜Ω）
式中、トレーニングデータセット特徴集合｛ｆ_ｉ｝は、オブジェクトクラスΩに由来する。

本実施例において、確率Ｐ（ｆ_ｉ＿ｏ｜Ω）は、

であり、式中、Ｎは、特徴ベクトルの次元であり、すなわち、上記実施例ではｎである。

この可能性を特徴化するために使用される統計は、マハラノビス距離ｄ（ｆ_ｉ＿ｏ）であり、以下のように定義される

式中、

である。マハラノビス距離は、当該分野における有識者に知られている。例えば、参照することにより本明細書に組み込まれる、Ｍｏｇｈａｄａｍ，Ｂａｂａｃｋ ａｎｄ Ｐｅｎｔｌａｎｄ，Ａｌｅｘ，”Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｖｉｓｕａｌ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｏｂｊｅｃｔ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ，”ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ Ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．１９，Ｎｏ．７，ｐｐ．６９６〜７１０（１９９７年７月）を参照されたい。

固有ベクトルΦおよび固有ベクトルΛを使用して、共分散Σ_ｆｉ、Σ_ｆｉ ^−１は、対角化形態で使用され、マハラノビス距離ｄ（ｆ_ｉ＿ｏ）が、

＝ｙ^ＴΛ^−１ｙ
となるようにし、

である。対角化形態は、マハラノビス距離ｄ（ｆ_ｉ＿ｏ）を合計に関して表されるのを可能にする。

本実施例において、これは、マハラノビス距離ｄ（ｆ_ｉ＿ｏ）を決定するために評価される式である。したがって、プロセス１０１１は、マハラノビス距離ｄ（ｆ_ｉ＿ｏ）を生成する。完了時に、プロセス１０１２は、ポーズを選択するプロセス１０１３に移行する。

ポーズを選択するプロセス１０１３において、最小マハラノビス距離ｄ（ｆ_ｉ＿ｏ）を有するハンドジェスチャーポーズは、マハラノビス距離ｄ（ｆ_ｉ＿ｏ）が、そのハンドジェスチャーポーズに関するトレーニングデータベースにおいて最大マハラノビス距離未満であるときに選択される。マハラノビス距離ｄ（ｆ_ｉ＿ｏ）が、そのハンドジェスチャーポーズに関するトレーニングデータベースにおいて最大マハラノビス距離よりも大きい場合、ハンドジェスチャーポーズは選択されない。ポーズを選択するプロセス１０１２は、時間フィルタープロセス１０１４に移行する。

時間フィルタープロセス１０１４は、プロセス１０１３の結果が、同一の結果を連続して既定回数もたらしたか否かを決定する。プロセス１０１３が、同一の結果を連続して既定回数もたらした場合、時間フィルタープロセス１０１４は、ジェスチャーポーズチェックプロセス１０１５に移行し、そうでなければ戻る。既定回数は、時間フィルタープロセス１０１４が、ハンドジェスチャーポーズを切り替える時に、振動または過渡検出を回避するように選択される。

ジェスチャーポーズチェックプロセス１０１５は、選択されたハンドジェスチャーポーズが、ハンドジェスチャー軌道において使用されるハンドジェスチャーポーズであるか否かを決定する。選択したハンドジェスチャーポーズが、ハンドジェスチャー軌道において使用されるハンドジェスチャーポーズである場合、ジェスチャーポーズチェックプロセス１０１５は、処理を、速度配列を生成するプロセス１０２０に移行させ、そうでなければ処理をポーズ変更チェックプロセス１０１６に移行させる。

ポーズ変更チェックプロセス１０１６は、ハンドジェスチャーポーズが最後の通過方法１０００から変更されたか否かを決定する。選択されたハンドジェスチャーポーズが、直前の時間フィルタジェスチャーポーズ結果と同一である場合、ポーズ変更チェックプロセス１０１６は、戻る１００３を通して戻り、そうでなければ、システムイベントにマッピングするプロセス１０３０に移行する。

システムイベントにマッピングするプロセス１０３０は、選択したハンドジェスチャーポーズをシステムイベントにマッピングし、例えば、ハンドジェスチャーポーズに割り当てられたシステムイベントが検索される。システムイベントが検出されると、システムイベントにマッピングするプロセス１０３０は、処理を、システムイベントを投入するプロセス１０３１に移行させる。

一態様において、システムイベントを投入するプロセス１０３１は、システムイベントを、システムコントローラ１４０のイベントハンドラに送信する（図１）。システムイベントに応答して、システムコントローラ１４０は、適切なシステムコマンドを、システム１００のコントローラおよび／または他の装置に送信する。例えば、ハンドジェスチャーポーズがターンオンユーザインターフェースイベントに割り当てられる場合、システムコントローラ１４０は、コマンドをディスプレイコントローラ１５０に送信し、ユーザインターフェースをオンにする。ディスプレイコントローラ１５０は、ユーザインターフェースモジュール１５５の一部を、ユーザインターフェースをオンにする必要があるプロセッサ１５０上で実行する。

ハンドジェスチャーポーズが、軌道を作製する際に使用されるハンドジェスチャーポーズである場合、方法１０００における処理は、ジェスチャーポーズチェックプロセス１０１５から速度配列を生成するプロセス１０２０に移行する。一態様において、ハンドジェスチャー軌道認識に使用される主な特徴は、単位速度ベクトルである。単位速度ベクトルは、ジェスチャーの開始位置に対して不変である。さらに、標準化速度ベクトルは、ジェスチャーのサイズまたは速度における変動を説明する。したがって、プロセス１０２０において、制御点サンプルは、標準制御点速度配列、すなわち、単位速度ベクトルの配列に変換される。

速度配列を生成するプロセス１０２０の完了時に、プロセス１０２０は、処理を、速度配列を記号配列に変換するプロセス１０２１に移行させる。上記のとおり、個別の隠れマルコフモデルΛは、入力として個別の記号を必要とする。プロセス１０２１において、個別の記号は、ベクトル定量を通して、標準化制御点速度配列から生成される。

一態様において、ベクトル定量は、クラスタリング割当てが変化しなくなったときに、プロセスが停止するという条件で、修正Ｋ平均クラスタリングを使用して行った。Ｋ平均クラスタリングが使用されるが、プロセスは、特徴が単位ベクトルであるという事実を利用する。この例において、同様の方向のベクトルがクラスタ化される。これは、各単位特徴ベクトルと標準化クラスタベクトルとのドット積を、類似性測定基準として使用して行う。

クラスタリングは、ベクトルを３２個のクラスタにランダム割当てすることによって初期化され、全体プロセスは、複数回繰り返し適用され、最善のクラスタリング結果は、最大合計「以内」クラスタコスト測定基準に基づいて選択される。この事例において、「以内」クラスタコストは、類似性の測定基準に基づくことに留意されたい。得られたクラスタのそれぞれは、隠れマルコフモデルの記号として機能する、固有の指数が割り当てられる。次に入力ベクトルを最近のクラスタ平均にマッピングし、そのクラスタの対応する指数が、記号として使用される。このようにして、単位速度ベクトルの配列は、指数または記号の配列に変換することができる。

一態様において、クラスタベクトルに、固定された８方向２次元ベクトル定量コードブックに基づいて、記号を割り当てた。したがって、プロセス１０２０は、観察記号配列を生成し、ジェスチャー確率を生成するプロセス１０２３に移行する。

一態様において、どのジェスチャーが観察記号配列に対応するかを決定するために、ジェスチャー確率を生成するプロセス１０２３は、隠れマルコフモデルを有する前方再帰アルゴリズムを使用して、各ジェスチャーが観察記号配列に一致する確率を見出す。前方再帰アルゴリズムは、参照することにより本明細書に既に組み込まれている、Ｒａｉｎｅｒの”Ａ Ｔｕｔｏｒｉａｌ ｏｎ Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌｓ ａｎｄ Ｓｅｌｅｃｔｅｄ Ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ”において説明される。ジェスチャー確率を生成するプロセス１０２３が完了すると、処理は軌道を選択するプロセス１０２４に移行する。

軌道を選択するプロセス１０２４において、ハンドジェスチャー軌道は、許容される隠れマルコフモデル軌道ジェスチャーモデルの中で指し候の確率を有する。この確率は、許容される指定の閾値よりも大きくなければならない。最高確率が閾値よりも大きくない場合、ハンドジェスチャー軌道は選択されない。この閾値は、誤認を回避しながら最大認識精度に調整する必要がある。

完了すると、軌道を選択するプロセス１０２４は、処理を軌道発見チェックプロセス１０２５に移行させる。軌道を選択するプロセス１０２４が、ハンドジェスチャー軌道を選択した場合、軌道発見チェックプロセス１０２５は、処理をシステムイベントにマッピングするプロセス１０３０に移行させ、そうでなければ戻る１００４を通して戻る。

システムイベントにマッピングするプロセス１０３０は、選択したハンドジェスチャー軌道をシステムイベントにマッピングし、例えば、ハンドジェスチャー軌道に割り当てられたシステムイベントが検索される。システムイベントが見出されると、システムイベントにマッピングするプロセス１０３０は、処理を、システムイベントを投入するプロセス１０３１に移行させる。

一態様において、システムイベントを投入するプロセス１０３１は、システムイベントを、システムコントローラ１４０のイベントハンドラに送信する（図１）。システムイベントに応答して、システムコントローラ１４０は、適切なシステムコマンドを、適切なコントローラまたは装置に送信する。例えば、システムイベントがユーザインターフェースのアクションに割り当てられる場合、システムコントローラ１４０は、ディスプレイコントローラ１５０にコマンドを送信し、ユーザインターフェースにおけるそのアクションを行う（例えば、手術部位のビューイングモードを変更する）。

（存在検出のプロセス）
さらに別の態様において、上述されるように、執刀医１８０Ｂの手の少なくとも一部の追跡位置を使用して、手がマスターマニピュレータツールグリップ６２１（マスターツールグリップ６２１と称される場合もある）上に存在するか否かを決定する。図１１は、一態様において、システム１００のハンド追跡コントローラ１３０によって行われる存在検出のプロセス１１００の一態様のプロセスフロー図である。プロセス１１００は、一態様において執刀医の手のそれぞれに対して個別に行われる。

関節角度を取得するプロセス１１１０において、マスターツールマニピュレータ６２０（図６Ｂ）の関節角度が測定される。関節角度を取得するプロセス１１１０は、処理を、順運動学を生成するプロセス１１１１に移行させる。

マスターツールマニピュレータ６２０における様々なリンクの長さは既知であり、マスターツールマニピュレータ６２０のベース６２９の位置が知られているため、幾何学的関係を使用して、マスター作業空間座標系６８０におけるマスターツールグリップ６２１の位置を生成する。したがって、順運動学を生成するプロセス１１１１は、プロセス１１１０からの角度を使用して、マスター作業空間座標系６８０におけるマスターツールグリップ６２１の位置ｐ_ｍｔｍを生成する。順運動学を生成するプロセス１１１１は、処理をワールド座標にマッピングするプロセス１１１２に移行させる。

ワールド座標にマッピングするプロセス１１１２は、マスター作業空間座標系６８０における位置ｐ_ｍｔｍを、ワールド座標系６７０における位置ｐ_{ｍｔｍ＿ｗｃ}にマッピングする（図６Ａ）。具体的に、
ｐ_{ｍｔｍ＿ｗｃ}＝^ｗｃＴ_ｗｓ＊ｐ_ｍｔｍ
式中、^ｗｃＴ_ｗｓは、４×４同次固定変換であり、マスター作業空間座標系６８０における座標をワールド座標系６７０における座標にマッピングする。
完了すると、ワールド座標にマッピングするプロセス１１１２は、処理をハンド−マスターツールグリップ分離を生成するプロセス１１３０に移行させる。

ハンドロケーションデータを受信するプロセス１１２０に戻り、ハンドロケーションデータを受信するプロセス１１２０は、人指し指の位置および配向（ｐ_{ｉｎｄｅｘ}、Ｒ_{ｉｎｄｅｘ}）ならびに親指の位置および配向（ｐ_{ｔｈｕｍｂ}、Ｒ_{ｔｈｕｍｂ}）を受信（回収）する。人指し指の位置および配向（ｐ_{ｉｎｄｅｘ}、Ｒ_{ｉｎｄｅｘ}）ならびに親指の位置および配向（ｐ_{ｔｈｕｍｂ}、Ｒ_{ｔｈｕｍｂ}）は、追跡システムからのデータに基づく。ハンドロケーションデータを受信するプロセス１１２０は、処理を、ハンド位置を生成するプロセス１１２１に移行させる。

ハンド位置を生成するプロセス１１２１は、人指し指の位置および配向（ｐ_{ｉｎｄｅｘ}、Ｒ_{ｉｎｄｅｘ}）ならびに親指の位置および配向（ｐ_{ｔｈｕｍｂ}、Ｒ_{ｔｈｕｍｂ}）を、上述されるように（その記述は、参照することにより本明細書に組み込まれる）、追跡座標系における制御点位置および配向にマッピングする。位置Ｐ_ｈａｎｄは、追跡座標における制御点の位置である。ハンド位置を生成するプロセス１１２１は、処理をワールド座標にマッピングするプロセス１１２２に移行させる。

存在検出における制御点位置の仕様は、単なる例示であり、限定することを意図しない。本開示に照らして、存在検出は、例えば、人指し指の先端の位置および親指の先端の位置を使用するか、またはそれらの位置の１つのみを使用することによって行うことができる。いかに記載されるプロセスは、ヒトの手の一部に随伴するこれらの様々な位置のそれぞれに相当する。

ワールド座標にマッピングするプロセス１１２２は、追跡座標系の位置ｐ_ｈａｎｄをワールド座標系６７０の位置ｐ_{ｈａｎｄ＿ｗｃ}にマッピングする（図６Ａ）。具体的に、
Ｐ_{ｈａｎｄ＿ｗｃ}＝^ｗｃＴ_ｔｃ＊ｐ_ｈａｎｄ
式中、^ｗｃＴ_ｗｓは、４×４同次固定変換であり、追跡座標系６５０における座標をワールド座標系６７０における座標にマッピングする。
完了すると、ワールド座標にマッピングするプロセス１１２２は、処理をハンド−マスターツールグリップ分離を生成するプロセス１１３０に移行させる。

ハンド−マスターツールグリップ分離を生成するプロセス１１３０は、ワールド座標系６７０の位置ｐ_{ｍｔｍ＿ｗｃ}とワールド座標系６７０の位置ｐ_{ｈａｎｄ＿ｗｃ}との間の分離距離ｄ_ｓｅｐを生成する。一態様において、分離距離ｄ_ｓｅｐは、
ｄ_ｓｅｐ＝｜｜ｐ_{ｍｔｍ＿ｗｃ}−ｐ_{ｈａｎｄ＿ｗｃ}｜｜
である。完了すると、ハンド−マスターツールグリップ分離を生成するプロセス１１３０は、処理を距離安全チェックプロセス１１３１に移行させる。

距離安全チェックプロセス１１３１は、分離距離ｄ_ｓｅｐを安全距離閾値と比較する。この閾値は、執刀医が把持を変更し、エンドエフェクタの最遠端を操作するのを依然として可能にしながら、保守的となるのに十分小さい必要がある。分離距離ｄ_ｓｅｐが、安全距離閾値未満である場合、距離安全チェックプロセス１１３１は、ハンド存在オンプロセス１１４０に移行する。逆に、分離距離ｄ_ｓｅｐが、安全距離閾値よりも大きい場合、距離安全チェックプロセス１１３１は、ハンド存在オフプロセス１１５０に移行する。

ハンド存在オンプロセス１１４０は、システム１００が遠隔操作にあるか否かを決定する。システム１００が遠隔操作にある場合、アクションは不要であり、遠隔操作の継続が許可されるため、プロセス１１４０は、プロセス１１００をもう一度やり直す。システム１００が遠隔操作にない場合、ハンド存在オンプロセス１１４０は、ハンド存在イベントを、システムイベントを投入するプロセスに送信し、順に、ハンド存在イベントをシステムコントローラ１４０に送信する。

ハンド存在オフプロセス１１５０は、システム１００が遠隔操作にあるか否かを決定する。システム１００が遠隔操作にない場合、アクションは不要であるため、プロセス１１５０は、プロセス１１００をもう一度やり直す。システム１００が遠隔操作にある場合、ハンド存在オフプロセス１１５０は、ハンド非存在イベントを、システムイベントを投入するプロセスに送信し、順に、ハンド存在イベントをシステムコントローラ１４０に送信する。

システムコントローラ１４０は、ハンド存在イベントまたはハンド非存在イベントが、システムモードの操作に対するあらゆる変更を必要とし、適切なコマンドを発行するか否かを決定する。一態様において、システムコントローラ１４０は、ハンド存在イベントに応答して遠隔操作を可能にし、例えば、遠隔操作低侵襲手術がマスターツールグリップに連結される場合でさえも、ハンド非存在イベントに応答して、遠隔操作を可能および不可能にする。本分野における有識者に知られているように、遠隔操作低侵襲手術器具は、マスターツールグリップに脱着することができる。

他の態様において、ハンド存在イベントおよびハンド非存在イベントは、システムコントローラ１４０によって、他のイベントと合せて使用し、遠隔操作が可能か否かを決定する。例えば、執刀医の頭の存在検出は、遠隔操作を可能にするか否かを決定する際に、執刀医の片手または両手の存在検出と合せてもよい。

同様に、上記のとおり、ハンド存在イベントおよびハンド非存在イベントをシステムコントローラ１４０によって使用し、低侵襲手術システムのディスプレイ上のユーザインターフェースの表示を制御する。システムコントローラ１４０が、ハンド非存在イベントを受信するとき、ユーザインターフェースがオンにならない場合は、システムコントローラ１４０がコマンドをディスプレイコントローラ１５０に送信し、ユーザインターフェースをオンにする。ディスプレイコントローラ１５０は、ユーザインターフェースをオンにするために必要なプロセッサ１５０上のユーザインターフェースモジュール１５５の一部を実行する。システムコントローラ１４０がハンド存在イベントを受信するとき、ユーザインターフェースがオンである場合は、システムコントローラ１４０がコマンドをディスプレイコントローラ１５０に送信し、ユーザインターフェースをオフにする。ディスプレイコントローラ１５０は、ユーザインターフェースをオンにするために必要なプロセッサ１５０上のユーザインターフェースモジュール１５５の一部を実行する。

ハンド存在イベントおよびハンド非存在イベントを、他のイベントと合せて、システムコントローラ１４０によって使用し、ユーザインターフェースを表示するか否かを決定することができる。したがって、ユーザインターフェースディスプレイおよび遠隔操作制御は、存在検出を使用するシステムモード制御の例であり、これら２つの特定モードのシステム制御に限定することを意図しない。

例えば、存在検出は、以下でより完全に説明されるもの等のプロキシビジュアルの制御に使用することができる。様々なモードの組み合わせ、例えば、遠隔操作およびプロキシビジュアルディスプレイもまた、ハンド存在イベントおよびハンド非存在イベントに基づいて、システムコントローラ１４０によって制御することができる。

ハンド存在検出はまた、マスターツールグリップ６２１Ｌ、６２１Ｒの二重の目的を排除する際に有用であり、例えば、フットペダルを押した後、マスターツールグリップ６２１Ｌ、６２１Ｒを使用して、執刀医のコンソール１８５Ｂに表示されるユーザインターフェースを制御する。マスターツールグリップが二重の目的を果たす場合、例えば、手術器具およびユーザインターフェースの両方の制御に使用される場合、執刀医は、通常、フットペダルを押して、ユーザインターフェースモードの操作に切り替える必要がある。いくつかの理由で、執刀医がフットペダルを押すのに失敗したが、システムがユーザインターフェースモードの操作に切り替わった場合、マスターツールグリップの移動は、手術器具の望ましくない運動を引き起こし得る。存在検出プロセス１１００を使用して、この問題を回避し、マスターツールグリップの二重目的を排除する。

存在検出プロセス１１００を用いて、一実施例において、ハンド存在オフイベントがシステムコントローラ１４０によって受信された場合、システムコントローラ１４０は、システムコマンドを送信して、マスターツールマニピュレータ６２０ｌ、６２０Ｒ（図６Ａ）を所定位置に固定し、システムコマンドをディスプレイコントローラ１５０に送信して、ユーザインターフェースを執刀医のコンソール１８５Ｂのディスプレイに提示する。執刀医の手の運動を追跡し、それを使用して、ユーザインターフェースにおける要素を制御し、例えば、スライダースイッチを移動させる、ディスプレイを変更する等する。上記のとおり、制御点は、視界座標フレームにマッピングされるため、ユーザインターフェースにおける素子の位置と関連付けることができる。制御点の運動を使用して、その素子を操作する。これは、執刀医がフットペダルを起動させる必要なく達成され、執刀医が不注意に手術器具を動かすことができないように行われる。したがって、これは、マスターツールグリップを使用して、手術器具およびユーザインターフェースの両方を制御することに随伴する問題を排除する。

上記例において、ワールド座標フレームは、共通座標フレームの例である。ワールド座標フレームを共通座標フレームとして使用することは、単なる例示であり、限定することを意図しない。

（マスターフィンガー追跡グリップ）
図１２は、マスターフィンガー追跡グリップ１２７０の一実施例の例示である。マスターフィンガー追跡グリップ１２７０は、マスターフィンガー追跡グリップ１７０、２７０の一実施例である。

マスターフィンガー追跡グリップ１２７０は、圧縮性本体１２１０および２つのフィンガーループ１２２０、１２３０を含む。圧縮性本体１２１０は、第１端１２１３および第２端１２１４を有する。本体部分１２１５は、第１端１２１３と第２端１２１４との間に伸長する。

圧縮性本体１２１０は、外面を有する。外面は、第１の部分１２１６および第２の部分１２１７を含む。第１の部分１２１６、例えば、上部分は、第１端１２１３と第２端１２１４との間に伸長する。第２の部分１２１７、例えば、底部分は、第１端１２１３と第２端１２１４との間に伸長する。第２の部分１２１７は対向し、第１の部分１２１６から除去される。

一態様において、外面は、布製ケースの表面である。布は手術質での使用に適している。布製ケースは、圧縮可能なフォームを包含する。フォームは、圧縮への耐性を提供し、圧縮が解放されると拡張するように選択される。一態様において、いくつかのフォーム片が布製ケースに含まれた。フォームはまた、第１指の先端が第２指の先端に向かって移動すると、第１の部分１２１６が、ヒトの手の第１指と第２指との間に位置付けられるように、屈曲可能でなければならない。

本体部分１２１５は、フィンガーループ１２２０とフィンガーループ１２３０との間に長さＬを有する。上で説明されるように、長さＬは、ループ１２２０の第１指とループ１２３０の第２指との間の分離を制限するように選択される（図２Ａを参照）。

一態様において、本体部分１２１５は、厚さＴを有する。図２Ｃに例示されるように、厚さＴは、マスターフィンガー追跡グリップ１２７０が、末端１２１４に隣接する外面の第２の部分１２１７上の領域１２３６および末端１２１３に隣接する第２の部分１２１７上の領域１２２６が、ちょうど接触する場合、第２の部分１２１７は、長さＬに沿ってそれ自体と完全に接触しないように選択される。

第１のフィンガーループ１２２０は、第１端１２１３に隣接する圧縮性本体１２１０に固定される。ループ１２２０は、圧縮性本体１２１０の外面の第１の部分１２１６の領域１２２５を中心として伸長する。ヒトの手の第１指に第１のフィンガーループ１２２０を装着すると、領域１２２５は、第１指に接触し、例えば、外面の第１の部分１２１６の最初の一部が親指に接触する。

この実施例において、フィンガーループ１２２０は、２つの末端、第１の布製末端１２２１Ａおよび第２の布製末端１２２１Ｂを有する。末端１２２１Ａおよび末端１２２１Ｂは、本体１２１０に固定される布片の末端である。一片のループ布１２２２Ｂは、末端１２２１Ｂの内面に取り付けられ、一片のフック布１２２２Ａは、末端１２２１Ａの外面に取り付けられる。フック布およびループ布の例は、一方は小さいフック付きスレッドを有し、もう一方は粗表面を有する、２つのナイロン布片から成る、ナイロン締結テープである。２つの片は、一緒に押されると強力な結合を成す。市販の締結テープの一例は、ＶＥＬＣＲＯ（登録商標）締結テープである（ＶＥＬＣＲＯ（登録商標）は、Ｖｅｌｃｒｏ Ｉｎｄｕｓｔｒｉｅｓ Ｂ．Ｖ．の登録商標である）。

第２のフィンガーループ１２３０は、第２の末端１２１４に隣接する圧縮性本体１２１０に固定される。ループ１２３０は、圧縮性本体１２１０の外面の第１の部分１２１６の領域１２３５を中心として伸長する。第２のフィンガーループ１２３０をヒトの第２指に装着すると、領域１２３５は第２指に接触し、例えば、外面の第１の部分１２１６の第２の部分は、人指し指に接触する。第１の部分の第２の一部１２３５は対向し、第１の部分の最初の一部１２２５から除去される。

この例において、フィンガーループ１２３０はまた、第１の繊維端１２３１Ａおよび第２の繊維端１２３１Ｂの２つの末端を有する。末端１２３１Ａおよび末端１２３１Ｂは、本体１２１０に固定される布片の末端である。一片のループ布１２３２Ｂは、末端１２３１Ｂの内面に取り付けられ、一片のフック布１２３２Ａは、１２３１Ａの外面に取り付けられる。

第１のロケーション追跡センサ１２１１は、第１のフィンガーループ１２２０に固定される。第２のロケーション追跡センサ１２１２は、第２のフィンガーループ１２３０に固定される。ロケーション追跡センサは、上述されるセンサ素子のいずれかであり得る。一実施例において、ロケーション追跡センサ１２１１、１２１２は、受動電磁センサである。

（プロキシビジュアルシステム）
一態様において、ハンド追跡制御システムを使用して、１人の執刀医が別の執刀医を監督するために使用され得る複数のプロキシビジュアルのうちのいずれか１つを制御する。例えば、執刀医１８０（図１Ａ）が、マスターフィンガー追跡グリップ１７０を使用して、執刀医１８１によって監督されている場合、執刀医１８１は、マスターフィンガー追跡グリップ１７０を使用して、手術器具のプロキシビジュアルを制御する一方、執刀医１８０は、マスターツールグリップを使用して、遠隔操作スレーブ手術器具を制御する。

あるいは、執刀医１８１はテレストレートすることができるか、またはディスプレイにおけるバーチャルハンドを制御することができる。また執刀医１８１は、ディスプレイに提示されるマスターツールグリップ６２１のバーチャル画像を操作することによって、執刀医のコンソール上のマスターツールグリップを操作する方法を示す。これらのプロキシビジュアルの例は、単なる例示であり、限定することを意図しない。

さらに、執刀医のコンソールにおいてではないが、マスターフィンガー追跡グリップ１７０の使用もまた例示的であり、限定することを意図しない。例えば、上述される存在検出システムを用いて、執刀医のコンソールにおける執刀医は、マスターツールグリップから手を動かすことができ、次に、その手を使用して、手がハンド追跡システムによって追跡されると、別の執刀医を監督することができる。

監督を容易にするために、プロキシビジュアルモジュール（図示せず）が、一態様において、視覚処理サブシステムの一部として処理される。本態様において、実行モジュールは、監督者の手の制御点の位置および配向を受信し、内視鏡カメラ画像でリアルタイムに構成され、執刀医のコンソール１８５、アシスタントディスプレイ、および患者側執刀医インターフェースディスプレー１８７のあらゆる組み合わせに表示される、立体画像をレンダーリングする。

執刀医１８１が、既定のアクション、例えば、ハンドジェスチャーポーズを取ることによって、監督を開始すると、プロキシビジュアルシステムループが起動され、例えば、プロキシビジュアルモジュールがプロセッサモジュール上で実行される。既定のアクションとして使用される、特定のアクション、例えば、ハンドジェスチャーポーズは、システムコントローラ１４０（図１）がそのアクションを認識するように構成されている限り必須ではない。

一態様において、プロキシビジュアルは、マスターフィンガー追跡グリップ１７０によって制御される仮想ゴースト器具１３１１（図１３）であるが、遠隔操作スレーブ手術器具１３１０は、執刀医のコンソール１８５のマスターツールマニピュレータのうちの１つによって制御される。執刀医１８１は、表示デバイスの両方の器具１３１０および１３１１を見るが、執刀医１８０は、執刀医のコンソール１８５における立体表示の両方の器具１３１０および１３１１を見る。仮想ゴースト器具１３１１をプロキシビジュアルとして使用することは、単なる例示であり、この特定画像に限定することを意図しない。本開示に照らして、他の画像をプロキシビジュアルに使用することができ、プロキシビジュアルおよび遠隔操作スレーブ手術器具の実際のエンドエフェクタの画像を表す画像間の区別を容易にする。

仮想ゴースト器具１３１１は、仮想ゴースト器具１３１１が、仮想ゴースト器具１３１１を実際の器具１３１０から明確に区別する方法（例えば、透明または半透明ゴースト器具、顕著に着色された画像等）で表示されることを除いて、実際の器具１３１０に類似するように思われる。仮想ゴースト器具１３１１の制御および操作は、実際の遠隔操作手術器具に関して上述されるものと同一である。したがって、執刀医１８１は、マスターフィンガー追跡グリップ１７０を使用して、仮想ゴースト器具１３１１を操作して、遠隔操作スレーブ手術器具１３１０の適切な使用を示すことができる。執刀医１８０は、器具１３１０を伴う仮想ゴースト器具１３１１の運動を模倣する。

仮想ゴースト器具は、参照することによりその全体が本明細書に組み込まれる、同一出願人による米国特許出願公開第ＵＳ２００９／０１９２５２３ Ａ１号（２００９年３月３１日出願、「Ｓｙｎｔｈｅｔｉｃ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ａ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ」を開示）において、より完全に説明される。またそれぞれを参照することによりその全体が本明細書に組み込まれる、米国特許出願第１２／４８５，５０３号（２００９年６月１６日出願、「Ｖｉｒｔｕｒａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｔｏｏｌ ｆｏｒ Ｍｉｎｉｍａｌｌｙ Ｉｎｖａｓｉｖｅ Ｓｕｒｇｅｒｙ」を開示）米国特許出願第１２／４８５，５４５号（２００９年６月１６日出願、「Ｖｉｒｔｕａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｔｏｏｌ ｆｏｒ Ｍｉｎｉｍａｌｌｙ Ｉｎｖａｓｉｖｅ Ｓｕｒｇｅｒｙ」を開示）、米国特許出願公開第ＵＳ２００９／００３６９０２ Ａ１号（２００８年８月１１日出願、「Ｉｎｔｅｒａｃｔｉｖｅ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ ｆｏｒ Ｒｏｂｏｔｉｃ Ｍｉｎｉｍａｌｌｙ Ｉｎｖａｓｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ」を開示）、米国特許出願公開第ＵＳ２００７／０１６７７０２ Ａ１号（２００５年１２月３０日出願、「Ｍｅｄｉｃａｌ Ｒｏｂｏｔｉｃ Ｓｙｓｔｅｍ Ｐｒｏｖｉｄｉｎｇ Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｔｅｌｅｓｔｒａｔｉｏｎ」を開示）、米国特許出願公開第ＵＳ２００７／０１５６０１７ Ａ１号（２００５年１２月３０日出願、「Ｓｔｅｒｅｏ Ｔｅｌｅｓｔｒａｔｉｏｎ ｆｏｒ Ｒｏｂｏｔｉｃ Ｓｕｒｇｅｒｙ」を開示）、および米国特許出願公開第ＵＳ２０１０／０１６４９５０ Ａ１号（２００９年５月１３日出願、「Ｅｆｆｉｃｉｅｎｔ ３−Ｄ Ｔｅｌｅｓｔｒａｔｉｏｎ ｆｏｒ Ｌｏｃａｌ Ｒｏｂｏｔｉｃ Ｐｒｏｃｔｏｒｉｎｇ」を開示）も参照されたい。

別の態様において、プロキシビジュアルは、一対の仮想ハンド１４１０、１４１１（図１４）であり、マスターフィンガー追跡グリップ１７０および図１では見ることができない第２のマスターフィンガー追跡グリップによって制御される。遠隔操作スレーブ手術器具１４２０、１４２１は、執刀医のコンソール１８５のマスターツールマニピュレータによって制御される。執刀医１８１は、表示デバイス１８７においてビデオ画像１４００を見て、執刀医１８０は、執刀医のコンソール１８５における立体ディスプレイのビデオ画像も見る。仮想ハンド１４１０、１４１１は、ビデオ画像１４００における他の物体からそれらを明らかに区別する方法で表示される。

仮想ハンドの親指および人指し指の開閉は、上述されたグリップ閉合パラメータｇ_ｇｒｉｐを使用して制御される。仮想ハンドの位置および配向は、制御点位置および配向によって、上述のように制御され、これもまた上述されるように、視界座標空間にマッピングされる。

したがって、執刀医１８１が執刀医の右手を３次元に移動させると、仮想ハンド１４１１は、ビデオ画像１４００における動きに従う。執刀医１８１は、仮想ハンド１４１１を転動させて、執刀医１８０に遠隔操作スレーブ手術器具１４２１を転動させるよう指示する。執刀医１８１は、仮想ハンド１４１０を特定のロケーションに移動させた後、親指および人指し指の動きを使用して、執刀医１８０に遠隔操作スレーブ手術器具 １４２０をそのロケーションに移動させ、組織を把持するように指示する。執刀医１８０が器具１４２０で組織を把持する場合、執刀医１８１は、仮想ハンド１４１０を使用して、執刀医１８０に組織を移動させる方法を指示する。これはすべてリアルタイムで発生し、仮想ハンド１４１０、１４１１は、立体内視鏡画像に重ね合わせられる。しかしながら、プロキシビジュアルは、単一鏡システムで使用することもできる。

別の態様において、執刀医１８１は、ハンドジェスチャーポーズを使用して、プロキシビジュアルが、ビデオ画像１５００に提示される、仮想ゴースト器具１５１０および仮想テレストレーションデバイス１５１１である、表示モードを変更する（図１５）。テレストレーションデバイス１５１１は、マスターフィンガー追跡グリップ１７０によって制御されるが、図１では見ることができない第２のマスターフィンガー追跡グリップは、仮想ゴースト器具１５１１を制御する。

遠隔操作スレーブ手術器具１５２０、１５２１は、執刀医コンソール１８５のマスターツールマニピュレータによって制御される。執刀医１８１は、表示デバイス１８７におけるビデオ画像１５００を見て、執刀医１８０はあ、執刀医のコンソール１８５における立体表示のビデオ画像１５００も見る。仮想テレストレーションデバイス１５１１および仮想ゴースト器具１４１１は、ビデオ画像１４００における他の物体からそれらを明らかに区別する方法で表示される。

仮想テレストレーションデバイス１５１１でテレストレートするために、執刀医１８１は、親指および人指し指を一緒にして、想像上のペンまたは鉛筆を把持する可能ようにした後、親指および人指し指がこの位置にある右手を動かして、表示されたビデオ画像においてテレストレートする。ビデオ画像１５００において、執刀医１８１は、親指および人指し指をそのように位置付け、マーク１５１２を作製して、手術器具１５２１を使用して、切断されるべき組織の位置を示す。マーク１５１２が作製された後、執刀医１８１０は、親指および人指し指を離し、仮想テレストレーションデバイス１５１１をビデオ画像１５００に示される位置に移動させる。

仮想テレストレーションデバイス１５１１のマーキング能力は、上述されるように、グリップ閉合パラメータｇ_ｇｒｉｐを使用して制御される。上記のとおり、親指および人指し指がちょうど接触するとき、グリップ閉合パラメータｇ_ｇｒｉｐは、第２の範囲の初期値にマッピングされるため、グリップ閉合パラメータｇ_ｇｒｉｐが第２の範囲内にある場合、テレストレーションは、テレストレーションデバイス１５１１に関して可能になる。視界座標系にマッピングされた後の制御点位置および配向を使用して、仮想テレストレーションデバイス １５１１の運動を制御する。

本発明の態様および実施形態を例示する上記の説明および添付の図面は、限定として見なされるべきではなく、請求項は保護された発明を定義する。様々な機械的、構成的、構造的、電気的、および操作上の変更は、本説明の精神および範囲ならびに請求項から逸脱することなく、行ってもよい。いくつかの例において、よく知られている回路、構造、および技術は、本発明を曖昧にするのを避けるため、詳細に図示または説明されなかった。

さらに、本説明の用語は、本発明を限定することを意図しない。例えば、空間的に関連する用語、例えば、「ｂｅｎｅａｔｈ（下）」、「ｂｅｌｏｗ（下）」、「ｌｏｗｅｒ（下位）」、「ａｂｏｖｅ（上）」、「ｕｐｐｅｒ（上位）」、「ｐｒｏｘｉｍａｌ（近位）」、「ｄｉｓｔａｌ（遠位）」等を使用して、図面に例示されるように、１つの素子または特徴に対する別の素子または特徴の関係を説明してもよい。これらの空間的に関連する用語は、図面に示される位置および配向に加えて、使用または操作しているデバイスの異なる位置（すなわち、ロケーション）および配向（すなわち、転動配置）を包含する。例えば、図面のデバイスが回転される場合、他の素子または特徴の「下（ｂｅｌｏｗまたはｂｅｎｅａｔｈ）」にあるとして記述される素子は、他の素子または特徴の「上（ａｂｏｖｅまたはｏｖｅｒ）」にある。したがって、典型的な用語「ｂｅｌｏｗ」は、上および下の両方の位置および配向を包含することができる。デバイスは、その他に配向されてもよく（９０度回転されるか、または他の配向）、本明細書に使用される空間的に関連する記述子は、それに従って解釈される。同様に、様々な軸に沿っておよび軸を中心とする運動の記述は、様々な特別のデバイス位置および配向を含む。

「ａ」、「ａｎ」、および「ｔｈｅ」という単数形は、文脈上他に指定のない限り、複数形も同様に含むことを意図する。「含む（ｃｏｍｐｒｉｓｅｓ、ｃｏｍｐｒｉｓｉｎｇ、ｉｎｃｌｕｄｅｓ等）」という用語は、規定された特徴、ステップ、操作、プロセス、素子、および／またはコンポーネントを特定するが、１つまたは複数の他の特徴、ステップ、操作、プロセス、素子、コンポーネント、および／または群の存在または追加を除外しない。連結されるとして記載されるコンポーネントは、電気的または機械的に直接連結されてもよいか、または１つもしくは複数の中間コンポーネントを介して、間接的に連結されてもよい。

メモリは、揮発性メモリ、非揮発性メモリ、またはそれら２つのあらゆる組み合わせを指す。プロセッサは、プロセッサによって実行される指示を含有するメモリに連結される。これは、コンピュータシステム内、または代替として別のコンピュータへの接続を介して、モデムおよびアナログ回線、またはデジタルインターフェースおよびデジタル回線を介して達成され得る。

本明細書において、コンピュータプログラム製品は、ハンド追跡に関して説明されるプロセスのうちのいずれか１つまたはあらゆる組み合わせに必要とされるコンピュータ可読コードを保存するように構成された媒体、またはハンド追跡に関して説明されるプロセスのいずれか１つまたはあらゆる組み合わせのコンピュータ可読コードが保存される媒体を含む。コンピュータプログラム製品のいくつかの例は、ＣＤ−ＲＯＭディスク、ＤＶＤディスク、フラッシュメモリ、ＲＯＭカード、フロッピー（登録商標）ディスク、磁気テープ、コンピュータハードドライブ、ネットワーク上のサーバー、およびコンピュータ可読プログラムコードを表すネットワークを超えて伝送される信号である。非一過性有形コンピュータプログラム製品は、様々なコントローラに関して説明されるプロセスのうちのいずれか１つまたはあらゆる組み合わせに対するコンピュータ可読指示を保存するように構成された非一過性有形媒体、または様々なコントローラに関して説明されるプロセスのうちのいずれか１つまたはあらゆる組み合わせに対するコンピュータ可読指示が保存される非一過性有形媒体を含む。非一過性有形コンピュータプログラムは、ＣＤ−ＲＯＭディスク、ＤＶＤディスク、フラッシュメモリ、ＲＯＭカード、フロッピー（登録商標）ディスク、磁気テープ、コンピュータハードドライブ、および他の非一過性物理記憶媒体である。

本開示に照らして、ハンド追跡に関して説明されるプロセスのうちのいずれか１つまたはあらゆる組み合わせにおいて使用される指示は、操作システムおよびユーザの関心を引くコンピュータプログラミング言語を使用して、多様なコンピュータシステムコンフィギュレーションにおいて実装することができる。

図１の異なるメモリおよびプロセッサの使用は、単なる例示であり、限定することを意図しない。いくつかの態様において、単一のハードウェアプロセッサを使用することができ、他の態様では、複数のプロセッサを使用することができる。

また例示のそれぞれに対して、様々なプロセスが、ハンド追跡コントローラとシステムコントローラとの間に分配された。これも例示であり、限定することを意図しない。様々なプロセスをコントローラ全体に分配することができるか、またはハンド追跡プロセスにおける操作の原理を変更することなく、コントローラに統合することができる。

すべての実施例および例示的参照は、非限定であり、本明細書に記載される特定の実装および実施形態ならびにそれらに相当するものに請求項を限定するために使用されてはならない。見出しは単に書式設定のためであり、１つの見出し下のテキストは、１つまたは複数の見出し下のテキストを相互参照または適用し得るため、いかなる方法においても対象の事項を限定するために使用されてはならない。最後に、本開示に照らして、一態様または実施形態に関連して説明される特定の特徴は、具体的に図面に示されないか、またはテキストに記載されない場合であっても、本発明の他の開示される態様または実施形態に適用されてもよい。

Claims (18)

1. センサ素子の位置を受信する手段であって、該センサ素子は、ヒトの手の固有の部分に装着されている、手段と、
   該ヒトの手の位置がマスターツールマニピュレータのマスターツールグリップの位置から閾値距離内にあるか否かを決定する手段であって、該マスターツールマニピュレータは、手術システムのコンソール内にあり、該ヒトの手の位置は、該センサ素子の位置を用いて決定される、手段と、
   該決定の結果に基づいて、該手術システムの操作のシステムモードを制御する手段と
   を含む、システム。
2. 前記操作のシステムモードは、スレーブ手術器具の遠隔操作を含み、
   前記手術システムの操作のシステムモードを制御する手段は、
   前記ヒトの手の位置が前記マスターツールグリップの位置から前記閾値距離内にある場合には、該マスターツールグリップに結合されている該スレーブ手術器具の遠隔操作を許可し、
   該ヒトの手の位置が該マスターツールグリップの位置から該閾値距離内にない場合には、該スレーブ手術器具の遠隔操作を抑制する、請求項１に記載のシステム。
3. 前記操作のシステムモードは、ユーザインターフェースのディスプレイを含み、
   前記手術システムの操作のシステムモードを制御する手段は、
   前記ヒトの手の位置が前記マスターツールグリップの位置から前記閾値距離内にある場合には、該手術システムのディスプレイ上の該ユーザインターフェースをオフにし、
   該ヒトの手の位置が該マスターツールグリップの位置から該閾値距離内にない場合には、該手術システムのディスプレイ上の該ユーザインターフェースをオンにする、請求項１に記載のシステム。
4. 前記ヒトの手の位置は、制御点位置を含む、請求項１に記載のシステム。
5. 前記ヒトの手の位置は、人差し指の位置を含む、請求項１に記載のシステム。
6. 前記決定する手段は、前記センサ素子の位置を共通座標フレームにおける第１の位置にマッピングし、該第１の位置は、前記ヒトの手の位置であり、
   該決定する手段は、前記マスターツールグリップの位置を該共通座標フレームにおける第２の位置にマッピングする、請求項１に記載のシステム。
7. 前記決定する手段は、前記第１の位置と前記第２の位置との間の前記共通座標フレームにおける距離を生成し、該共通座標フレームにおける距離は、前記ヒトの手の位置と前記マスターツールグリップの位置との間の距離を表し、
   該決定する手段は、該共通座標フレームにおける距離を前記閾値距離と比較する、請求項６に記載のシステム。
8. 前記センサ素子は、複数の基準マーカーを含む、請求項１に記載のシステム。
9. 前記センサ素子は、受動電磁センサを含む、請求項１に記載のシステム。
10. 手術システムであって、
    該手術システムは、
    該手術システム内のコンソールに結合されているマスターツールマニピュレータであって、該マスターツールマニピュレータは、マスターツールグリップを含む、マスターツールマニピュレータと、
    ハンド追跡システムであって、該ハンド追跡システムは、ヒトの手の固有の部分の一部に装着されたセンサ素子の位置を追跡する、ハンド追跡システムと、
    該マスターツールグリップの位置および該センサ素子の位置を受信するように結合されている第１のコントローラであって、該第１のコントローラは、該ヒトの手の位置と、該マスターツールグリップの位置との間の距離を決定することにより、該マスターツールグリップが該ヒトの手から閾値距離内にあるか否かを決定し、該ヒトの手の位置は、該センサ素子の位置を用いて該第１のコントローラにより決定され、該第１のコントローラは、該マスターツールグリップが該ヒトの手から該閾値距離内にあるか否かに基づいて、システムイベントを該手術システムに投入する、第１のコントローラと
    を含む、手術システム。
11. 前記システムイベントは、前記マスターツールグリップが前記ヒトの手から前記閾値距離内にない場合にハンド非存在イベントである、請求項１０に記載のシステム。
12. 前記システムイベントは、前記マスターツールグリップが前記ヒトの手から前記閾値距離内にある場合にハンド存在イベントである、請求項１０に記載のシステム。
13. 前記ヒトの手の位置は、人差し指の位置を含む、請求項１０に記載のシステム。
14. 前記ヒトの手の位置は、制御点位置を含む、請求項１０に記載のシステム。
15. 前記センサ素子は、複数の基準マーカーを含む、請求項１０に記載のシステム。
16. 前記センサ素子は、受動電磁センサを含む、請求項１０に記載のシステム。
17. 処理ユニットと、
    前記システムイベントを受信するように構成されている第２のコントローラと、
    該処理ユニットで実行するモジュールによって生成されたユーザインターフェースと、
    ユーザインターフェースのディスプレイを出力するように構成されているディスプレイデバイスと
    をさらに含み、
    該システムイベントがハンド非存在イベントの場合には、該第２のコントローラは、該ユーザインターフェースのディスプレイをオンにし、
    該システムイベントがハンド存在イベントの場合には、該第２のコントローラは、該ユーザインターフェースのディスプレイをオフにする、請求項１０に記載のシステム。
18. 前記マスターツールグリップに遠隔操作可能に結合されている手術器具と、
    前記システムイベントを受信するように構成されている第２のコントローラと
    をさらに含み、
    該システムイベントがハンド存在イベントの場合には、該第２のコントローラは、該手術器具の遠隔操作を可能にし、
    該システムイベントがハンド非存在イベントの場合には、該第２のコントローラは、該手術器具の遠隔操作を可能にしない、請求項１０に記載のシステム。