JP2023551532A - ユーザインターフェースとマスタコントローラとの間の相互作用 - Google Patents

Abstract

マウント構造に移動可能に取り付けられる手動セレクタによるクリック事象の作動を制御するための方法であって、第１の制御状態において、手動セレクタに維持力を付与することと、第２の制御状態において、中立位置からの手動セレクタの変位の増加の関数として増加する触覚力を手動セレクタに付与することと、第３の制御状態において、ディスプレイシステムでクリック事象の発生を引き起こすクリック事象信号を付与することと、大きさが減少した大きさまで減少する触覚力を手動セレクタに付与することとを含む、方法が提供される。

Description

（関連出願の参照）
本出願は、２０２０年１２月１日に出願された米国特許出願第６３／１２０，２０２号、および２０２１年５月１２日に出願された米国特許出願第６３／１８７，８７９号に対する優先権の利益を主張するものであり、各出願は、その全体が参照により本明細書に組み込まれる。

最小侵襲医療技術は、診断処置または外科処置中に損傷を受ける組織の量を減らし、それによって、患者の回復時間、不快感および有害な副作用を減らすことを意図している。ロボット技術を使用する遠隔操作手術システム（いわゆる手術ロボットシステム）は、手動腹腔鏡手術および開腹手術の限界を克服するために使用されることがある。テレプレゼンスシステムにおける進歩は、外科医に患者の身体の内側のビュー、手術器具の動きの程度の数の増大、および長距離にわたる外科的協調についての能力を提供する。手術ロボット技術に対する遠隔操作制御は、典型的には、手術器具の動きを制御する手動制御マニピュレータとのユーザ相互作用を含み、ロボットシステム事象の発生をトリガするフィンガ制御セレクタとのユーザ相互作用を含む。触覚フィードバックが、手術ロボット技術に対するユーザの遠隔操作制御を向上させることができる。

一態様では、マウント構造に移動可能に取り付けられる手動セレクタによるクリック事象の作動を制御する方法が提供される。センサは、中立位置からの手動セレクタの変位距離を感知する。手動センサは、中立位置からの第１の閾値距離未満の変位距離にある間に、第１の制御状態に従って１つ以上のモータを制御して、維持力を付与する。手動センサが、中立位置からの第１の閾値距離と中立位置からの第２の閾値距離との間の変位距離にある間に、モータは、中立変位位置からの手動セレクタの変位の増加の関数として増加する触覚力を手動セレクタに付与するように、第２の制御状態に従って制御される。手動センサが中立位置からの第２の閾値距離をひとたび満たすと、ディスプレイシステムでクリック事象の発生を引き起こすように、クリック事象信号が付与される。また、手動センサが中立位置からの第２の閾値距離をひとたび満たすと、１つ以上のモータは、手動セレクタに付与される触覚力の大きさを第２の制御状態の間に付与される触覚力の最大の大きさよりも少ない減少した大きさまで減少させるように、第３の制御状態に従って制御される。

別の態様では、第１の二次元（２Ｄ）平面内のカーソルの動きを、第２の２Ｄ平面内のユーザ入力デバイスの動きに基づいてならびにユーザ入力デバイスに移動可能に取り付けられる手動セレクタの動きに基づいて制御する方法が提供される。カーソルは、一定の移動比に従って第２の２Ｄ平面内でのユーザ入力デバイスの移動に追従するように、第１の２Ｄ平面内を移動させられる一方で、手動セレクタは、第１の閾値速度よりも少ない速度でユーザ入力デバイスに対して移動する。カーソルは、コントローラに対する手動セレクタの移動の速度が第１の閾値速度と第２の閾値速度との間にあるのに応答して、ユーザ入力デバイスに対する手動セレクタの移動の速度の増加の関数として減少する移動比に従って第２の２Ｄ平面内でのユーザインターフェースデバイスの移動に従うように、第１の２Ｄ平面内を移動させられる。カーソルは、ユーザ入力デバイスに対する手動セレクタの移動の速度が第２の閾値速度より下に減少することに応答して、ユーザ入力デバイスに対する手動セレクタの移動の速度の減少の関数として増加する移動比に従って第２の２Ｄ平面内のユーザ入力デバイスの動きに従うように、第１の２Ｄ平面内を移動させられる。

必ずしも縮尺で描かれていない図面において、同様の番号は、類似のコンポーネント(構成要素)を異なるビューにおいて記載することがある。末尾の文字が互いに異なる同様の番号は、類似のコンポーネントの異なるインスタンスを表わすことがある。幾つかの実施形態は、添付の図面の図に、限定としてではなく、例として図示されている。

例示的な遠隔操作手術システムを図示する説明図である。 一実施形態による例示的なユーザ入力制御システムを図示する説明図である。 例示的なユーザ入力制御システムの例示的な器具動作コントローラを図示する説明図である。 例示的なユーザ入力制御システムの例示的なアームレストを図示する説明図である。 ３Ｄモード動作中にディスプレイシステム視認平面で視認可能な例示的な仮想手術部位を図示している。 ２Ｄモード動作中にディスプレイシステム視認平面で視認可能な例示的なグラフィカルユーザインターフェースを図示している。 ２Ｄモード動作中にディスプレイシステム視認平面で視認可能な例示的なグラフィカルユーザインターフェースを図示している。 ２Ｄモード動作中にディスプレイシステム視認平面で視認可能な例示的なグラフィカルユーザインターフェースを図示している。 ２Ｄモード動作中にディスプレイシステム視認平面で視認可能な例示的なグラフィカルユーザインターフェースを図示している。 例示的な視認平面及び例示的な触覚平面を示す説明図である。 手動セレクタのためのマウントとして作用する例示的なユーザ入力デバイスの詳細を示す説明図である。 手動セレクタを含むユーザ入力デバイスにおいてユーザ入力を受信し且つユーザ入力デバイスで触覚フィードバックを与えるように制御する制御システムを示す、機能ブロック図である。 クリック事象の間の変位可能な手動セレクタ位置の変位に対する触覚力を表す第１の制御関数曲線を示し、グリップボタン変位の時間整列シーケンスおよびハンド形成のシーケンスとの時間整列とを示す、説明図である。 触覚力の供給およびユーザ入力デバイスに対する手動セレクタの変位に基づくクリック事象のトリガを制御する制御プロセスを表す例示的なフロー図である。 クリック事象がない場合に第１の変換を実施するための入力コントローラの設定を表す説明図である。 クリック事象の存在下で第２の変換を実施するための入力コントローラの設定を表す説明図である。 クリック事象の間の時間に対するコントローラ動作フィルタリングを決定するための例示的な第２の変換関数を表す第２の制御関数曲線を示し、グリップボタン変位の時間整列シーケンス、ハンド形成のシーケンスとの時間整列、および視認平面インスタンスの時間整列シーケンスも示す、説明図である。 例示的なコンピュータシステムの例示的なブロック図である。

以下の記述は、あらゆる当業者が医療デバイスシミュレータのシステム及び方法を作成して使用することを可能にするために提示される。実施形態に対する様々な修正は、当業者には容易に明らかであり、本明細書で定義される包括的原理は、本発明の主題事項の範囲から逸脱することなく、他の実施形態および用途に適用されることがある。その上、以下の記述では、多数の詳細が説明のために示される。しかしながら、当業者は、本発明の主題事項がこれらの特定の詳細を使用せずに実施される場合があることを理解するであろう。他の例では、周知の機械コンポーネント、プロセス、およびデータ構造が、不必要な詳細で開示を不明瞭にしないために、ブロック図形態で示される。以下に参照される図面におけるフロー図は、プロセスを表すために使用される。コンピュータシステムが、これらのプロセスの幾つかを実行するように構成されることがある。コンピュータ実装プロセスを表すフロー図内のモジュールが、これらのモジュールを参照して記載される行為(アクション)を実行するためのコンピュータプログラムコードに従ったコンピュータシステムの設定を表す。よって、本発明の主題事項は、図示された実施形態に限定されることを意図するものではなく、本明細書に開示される原理および構成と一致する最も広い範囲が付与されるべきである。

（遠隔操作手術システム）
図１は、例示的な遠隔操作手術システム１００を図示する概略図である。遠隔操作手術システム１００は、患者１０６に対して様々な処置を実施する際にユーザ入力制御に応答して手術器具１０４の動作を操作するための、１つ以上のリンクを含むことがある、器具マニピュレータアセンブリ１０２を含む。器具マニピュレータアセンブリ１０２は、手術台１０８に取り付けられるか、あるいは手術台１０８の近くに位置する。ユーザ入力制御システム１１０は、ユーザ１１２が手術部位を視認して、器具マニピュレータアセンブリ１０２を制御することを可能にする。

代替の実施形態において、例示的な遠隔操作手術システム１００は、１つよりも多くの器具マニピュレータアセンブリ１０２を含むことができる。マニピュレータアセンブリの正確な数は、とりわけ、手術手順および手術室内の空間的制約に依存する。

ユーザ入力制御システム１１０は、手術台１０８と同じ部屋に位置することができる。しかしながら、外科医または臨床医のようなユーザ１１２は患者１０６とは異なる部屋または全く異なる建物に位置し得ることが理解されるべきである。ユーザ入力制御システム１１０は、一般に、視覚化システム１１６と、ディスプレイシステム１２０とを含む、ビジョンシステム(visions system)を含み、１つ以上のユーザ入力デバイス２０４と、１つ以上の器具マニピュレータアセンブリ１０２と、（本明細書では「入力コントローラ」と呼ぶ）器具動作および入力デバイス触覚フィードバック触覚コントローラ１１８とを含む、動作システム(motion system)を含む。

１つ以上のユーザ入力デバイス２０４は、ユーザ入力デバイス２０４で提供されるユーザ入力に応答して１つ以上の器具１０４の動作を制御するために、１つ以上の器具マニピュレータアセンブリ１０２に動作的に結合される。例示的な遠隔操作手術システム１００において、１つ以上のユーザ入力デバイス２０４および１つ以上の器具マニピュレータアセンブリ１０２は、入力コントローラ１１８に通信的に結合される。例示的な動作ンコントローラ(motion controller)が、１つ以上の器具マニピュレータアセンブリ１０２の動き(motion)を制御するために１つ以上のユーザ入力デバイス２０４で受信されるユーザ入力を処理する。例示的な入力コントローラ１１８が、１つ以上の器具マニピュレータアセンブリ１０２の動きに基づいておよび／またはユーザ入力デバイス２０４の動きに基づいて１つ以上のユーザ入力デバイス２０４における触覚力の状態を調整するために使用される、触覚フィードバック信号を生成する。

ユーザ入力デバイス２０４は、重力平衡アーム、ジョイスティック、トラックボール、グローブ、トリガグリップ、捩り可能なノブ、捩り可能なグリップ、スライダ、レバープッシュボタン等のような、任意の数の様々な入力デバイスを含むことがある。幾つかの実施形態において、ユーザ入力デバイス２０４は、テレプレゼンスまたはユーザ１１２が器具１０４を直接制御している強い感覚を有するようにユーザ入力デバイス２０４が器具１０４と一体であるという知覚をユーザ１１２に提供するために、関連する手術器具１０４と同程度の自由度を備えることがある。幾つかの実施形態において、ユーザ入力デバイス２０４は、６以上の自由度で移動する手動入力デバイスであり、器具を作動させるための（例えば、把持ジョーを閉じる、電極に電位を印加する、医学処置を送達するなどのための）作動可能なハンドルまたは他の制御構成（例えば、１つ以上のボタン、スイッチなど）を含むこともある。

視覚化システム１１６(visualization system)は、ユーザ１１２が１つ以上の器具を操作するときに、手術部位の同時の二次元画像または三次元画像をユーザ１１２に提供する。視覚化システム１１６は、視覚画像が手術部位内に位置付けられる内視鏡によってキャプチャされることがあるように、視認スコープアセンブリを含むことがある。視覚化システム１１６は、制御システム１１０のプロセッサを含むことがある１つ以上のコンピュータプロセッサと対話するかあるいはその他の方法で１つ以上のコンピュータプロセッサによって実行される、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組み合わせとして実装されることがある。

ディスプレイシステム１２０が、視覚化システム１１６によってキャプチャされる手術部位及び手術器具１０４の視覚画像を表示することがある。ディスプレイシステム１２０およびユーザ入力デバイス２０４は、スコープアセンブリ内の視覚撮像デバイスおよび手術器具１０４の相対的位置が外科医の眼および手の相対的位置に類似するように方向付けられることがあるので、オペレータ（例えば、ユーザ１１２）は、器具１０４に隣接する作業ボリューブを恰も実質的にトゥループレゼンスにおいて見るかのように、手術器具１０４をユーザ入力デバイス２０４で操作することがある。「トゥループレゼンス(true presence)」とは、画像の提示が、手術器具１０４を物理的に操作しているオペレータの視点をシミュレートする真実の透視画像であることを意味する。

器具運動入力コントローラ１１８は、少なくとも１つのプロセッサ回路（図示せず）と、典型的には、ユーザ入力デバイス２０４、ユーザ入力制御システム１１０、およびディスプレイシステム１２０間の制御をもたらす複数のプロセッサ回路とを含む。入力コントローラ１１８は、本明細書に記載される方法の一部または全部を実施するためのソフトウェアプログラミング命令も含む。入力コントローラ１１８は、図１の簡略化された概略図において単一ブロックとして示されているが、入力コントローラ１１８は、（例えば、ユーザ入力デバイス２０４および／またはユーザ入力制御システム１１０上の）多数のデータ処理回路を含むことがある。多種多様の集中型または分散型データ処理アーキテクチャのいずれかが利用されることがある。その上、１つ以上の処理回路は、仮想機械(マシン)で実装されることができる。同様に、プログラミングコードは、多数の別個のプログラムまたはサブルーチンとして実装されてよく、あるいは本明細書に記載される遠隔操作システムの多数の他の態様に統合されてよい。様々な実施形態において、入力コントローラ１１８は、Bluetooth、IrDA、HomeRF、IEEE 802.11、DECT、およびWireless Telemetryのような、無線通信プロトコルをサポートしてよい。

例示的な入力コントローラ１１８が、手術器具１０４で検知される力およびトルクに基づくユーザ入力デバイス２０４での触覚力および／または触覚トルクのフィードバックをユーザ入力デバイス２０４に提供するサーボコントローラを含むことがある。例示的な入力コントローラ１１８は、入力デバイスで感知される力およびトルクに基づくユーザ入力デバイス２０４への触覚力および／または触覚トルクのフィードバックをユーザ入力デバイス２０４に提供するサーボコントローラを含むことがある。任意の適切な従来のまたは特殊化されたサーボコントローラが使用されることがある。サーボコントローラは、器具マニピュレータアセンブリ１０２から分離されることがあり、あるいは器具マニピュレータアセンブリ１０２と一体化されることがある。サーボコントローラは、ユーザ入力デバイス２０４から分離されることがあり、あるいはユーザ入力デバイス２０４と一体化されることがある。例示的な医療システムでは、例示的なサーボコントローラおよびマニピュレータアセンブリ１０２が、患者１０６に隣接して位置付けられるロボットアームカートの部分として提供される。例示的な医療システムでは、例示的なサーボコントローラおよびユーザ入力デバイス２０４が、ユーザに隣接して位置付けられて、ユーザ入力デバイス２０４で入力を提供する。

本文書の目的のために、手術器具１０４を「制御されたデバイス(controlled device)」と呼ぶことがある。

例示的な遠隔操作手術システム１００では、入力コントローラ１１８が、少なくとも１つの制御デバイス１０４（例えば、「手術器具」）を制御し、１つ以上の器具マニピュレータアセンブリ１０２の１つ以上のリンク機構１０２－１(linkages)の移動を制御することがある。例示的な器具マニピュレータアセンブリ１０２が、器具１０４と関連付けられたエンドエフェクタの動きを制御するために結合された１つ以上のモータを含む。例示的な器具マニピュレータアセンブリ１０２は、器具１０４に結合された１つ以上のエンドエフェクタの動きを制御するために結合された１つ以上のモータを含む。リンク機構１０２－１は、セットアップ構造(set-up structure)と呼ばれることがあり、セットアップ構造は、セットアップ構造が空間内のある位置および向きで位置付けられかつ保持されることを可能にするジョイント１０２－２(joints)に結合された１つ以上のリンク(links)を含む。器具の１つ以上のエンドエフェクタの動きを制御するように結合されたモータは、手術器具１０４を自然にまたは外科的に作られた解剖学的オリフィスに前進させ、手術器具１０４を移動させ、かつ器具のエンドエフェクタを３つの程度の直線運動（例えば、ｘ、ｙ、およびｚ直線運動）および３つの程度の回転運動（例えば、ロール、ピッチ、ヨー）を含むことがある複数の自由度で移動させるように、手術器具１０４にさらに結合される。生検デバイスのジョー内に組織を把持するための関節作動可能なエフェクタ、組織サンプルを得るためのもしくは薬剤を分配するためのエフェクタ、または、以下にさらに詳細に記載される、例えば、参照により組み込まれる「Camera Referenced Control in a Minimally Invasive Surgical Apparatus」という名称の米国特許第６，６７１，５８１号、ような、他の治療を提供するための別のエフェクタが、最小侵襲手術装置におけるカメラ参照制御に関する更なる情報を含むように、例示的なマニピュレータアセンブリ１０２のモータは、手術器具１０４のエフェクタを作動させるように構成されることがある。

例示的な遠隔操作手術システム１００では、訓練目的のために、ディスプレイシステム１２０は、患者内の手術部位をシミュレートする仮想環境を表示することがある。仮想環境は、手術器具１０４に加えて、様々な生物学的構造を含むことがある。ユーザ１１２は、仮想環境内で仮想器具を操作して、実際の患者を害する可能性がないように、様々なスキルまたは手順で訓練、認証、または実験を行う。

ライブ手術または模擬外科処置のいずれかにおいて、ディスプレイシステム１２０は、ユーザ（例えば、ユーザ１１２）にユーザインターフェースを提示するために使用されることがある。一実施形態において、ディスプレイシステム１２０は、ステレオディスプレイなどの３Ｄビューを提供する。他の例示的な遠隔操作手術システムにおいて、ディスプレイシステム１２０は、例えば、高精細内視鏡カメラから、３Ｄ画像を投影するために使用される。ユーザインターフェースは、例えば、半透明インターフェースを使用することによって、オーバーレイとして表示されることがあり、あるいは、手術野の視野の代わりに表示されることがある。

図２Ａは、例示的なユーザ入力制御システム１１０を示す図である。ユーザは、ユーザ入力制御システム１１０に座ることがあり、ディスプレイシステム１２０、ユーザ入力デバイス２０４、およびフットスイッチパネル２０６にアクセスすることがある。フットスイッチパネル２０６は、例えば、ユーザが、様々な手術器具間の交換、またはビデオもしくはカメラの構成の制御のような、様々なタスクの実行の間を切り替えることを可能にするクラッチとして作用することがある。ユーザ入力制御システム１１０に着座している間に、ユーザは、彼らの腕をアームレスト２０８に置くことがある。ライブ手術で操作するときに、ディスプレイシステム１２０は、ポータルまたはカニューレと呼ばれることがある、手術部位への小さな開口を通して挿入されたカメラからキャプチャされるような手術野を表示する。訓練目的のために、シミュレートされた環境が、ディスプレイシステム１２０上に表示されることがあり、ここで、シミュレートされた環境は、手術部位および仮想制御デバイス（例えば、手術器具）の立体視表示であることがある。ユーザがユーザ入力デバイス２０４を動かすと、仮想手術器具が立体視表示において対応する様式で動くことがある。

図２Ｂは、ユーザ入力制御システム１１０に動作的に結合された例示的なユーザ入力デバイス２０４を示す説明図である。例示的なユーザ入力デバイス２０４は、ジンバルマウント２２５を含み、ジンバルマウント２２５は、枢動ジョイント２２９によって互いに接続された複数のリンク２２７を含む関節作動アーム部分を含む。ユーザは、例えば、ピンチャープッシュボタンのような変位可能な手動セレクタ２１２の上に自分の親指と示指を位置決めすることによって、フィンガループ２１０を把持する。例示的なユーザ入力デバイス２０４において、ユーザの親指と示指は、典型的には、フィンガループ２１０を作り出すためにスロットに通されるストラップによって変位可能な手動セレクタ２１２上に保持される。例示的なセレクタ２１２は、図５を参照して以下に説明される、第１および第２のグリップボタン５０３ａ、５０３ｂを含み、それらのボタンは、例えば、ユーザの親指が一方のグリップボタンと係合させ、ユーザの示指が他方のグリップボタンと係合させて、ユーザの親指と示指との間で把持されることができるように、ある距離で離間される。少なくとも１つのグリップボタンは、グリップボタン間で係合されるグリップボタンに加えられるユーザの締め付け力に応答して、グリップボタン間の変位距離を減少させるために移動可能である。例示的なユーザ入力デバイス２０４のジョイント２２９は、例えば、力のフィードバック、重力補償などを提供するために、モータなどに動作的に接続される。さらに、例示的なユーザ入力デバイス２０４のジョイント位置がユーザ入力コントローラ１１８によって決定されて、ユーザ入力デバイスに動作的に結合された１つ以上の器具の動作を制御しあるいは１つ以上の入力デバイス２０４に付与される触覚フィードバック力を制御することを可能にするように、適切に位置付けられたセンサ、例えば、エンコーダ、ポテンショメータなどが、例示的なユーザ入力デバイス２０４の各ジョイント２２９上に位置付けられる。

例示的な遠隔操作手術システム１００は、２つのユーザ入力デバイス２０４を含み、各ユーザ入力デバイスは、ユーザがそれぞれの手の示指および親指を挿入することがある２つのフィンガループ２１０を備える。２つのユーザ入力デバイス２０４は、それぞれ、手術器具または仮想手術器具を制御することがある。ユーザは、一方または両方の器具動作コントローラ２０４のために複数の器具間で交換するためのソフトウェアまたはハードウェア機構が提供されることがある。例えば、ユーザは、２つの鉗子および開創器のような、３つの器具が提供されることがある。鉗子の一方または両方は、組織を焼灼することができるエネルギ器具であることがある。ユーザは、先ず、各器具動作コントローラ２０４で鉗子を使用し、次に、右例のユーザ入力デバイス２０４を切り替えて、開創器を制御して手術野の一部を露出させ、次に、右例のユーザ入力デバイス２０４を切り替えて鉗子に戻して、組織の切断、プロービング、または解剖医を継続することがある。

例示的なユーザ入力デバイス２０４を使用している間に、ユーザには、示指および親指（またはループ２１０に挿入された任意の２本の指）によるピンチング動作に加えて、回転動作（ロール、ピッチ、ヨー）と共に、完全な３Ｄ可動域（ｘ、ｙ、およびｚ軸）が提供される。よって、適切なユーザ入力デバイス２０４を動かすことによって、ユーザは、全可動域を通じて対応する手術器具を操作することができる。

図２Ｃは、一実施形態による、ユーザ入力制御システム１１０のアームレスト２０８を示す図である。アームレスト２０８は、タッチスクリーン、ソフトボタン、機械的ボタンなどのような、１つ以上のタッチ制御装置を含むことがある。図２Ｃに示す例では、単一のタッチスクリーン２１４が示されており、タッチスクリーンを通じて、ユーザは、様々なビデオ、オーディオ、または他のシステム設定を構成することがある。

（グラフィカルユーザインターフェースの概要）
動作中、ユーザは、様々な時にユーザインターフェースを提示されることがある。例えば、ユーザインターフェースは、ユーザが一揃いのトレーニングモジュールから選択することを可能にするように提示されることがある。別の例として、ユーザがユーザ入力制御システム１１０の動作の様々な態様を構成することを可能にするために、ユーザインターフェースが提供されることがある。ユーザが例示的なユーザ入力デバイス２０４を作動させる一方または両方の手を有するとき、例示的なユーザ入力デバイス２０４を解放し、次に、ユーザ入力制御システム１１０のアームレスト２０８に一体化されたタッチスクリーンインターフェースのような別の入力機構を作動させなければならないことは、不便なことがある。

図３は、３Ｄモードで動作するディスプレイシステム１２０によって表示される仮想手術部位を示す説明図である。仮想手術部位３００は、ディスプレイシステム１２０上に表示されることがあり、２つの仮想制御デバイス３０２を含む。このモードで作動するときに、ユーザ入力デバイス２０４は、（仮想手術部位３００の境界内の）自由空間内で３Ｄにおいて移動して、制御デバイス３０２を制御することができる。第２のモードにおいて、ユーザ入力デバイス２０４は、例えば、平面的であるかあるいは緩やかな湾曲のような輪郭を有することができる仮想表面内の移動に制限される。第２のモードは、例えば、ユーザ入力デバイス２０４を、例えば、ポインティングデバイス及びクリックデバイスとして使用して制御されることができる制御要素（例えば、ボタン、ノブ、スライダ、プルダウンメニュー）を含むグラフィカルユーザインターフェースを提示するために使用されることができる。例えば、第２のモードは、例えば、術前画像のような２Ｄ画像を提示するために使用されることができる。第２のモードは、２Ｄ仮想表面と大まかに整列されることができるユーザ入力デバイス２０４のための動作空間を提供するために有用である。

図４Ａは、２Ｄモードで動作するディスプレイシステム１２０によって表示される第１の例示的なグラフィカルユーザインターフェースのスクリーンディスプレイ４００を示す。第１のグラフィカルユーザインターフェース４００は、手術部位ビューへのオーバーレイとしてあるいはスタンドアロンのインターフェースとして任意に表示される。カーソル４０２が、第１のユーザインターフェース４００内に表示され、ボタン、スライダ、オプションリストなどのような、１つ以上のユーザインターフェース制御をアクティブ化(起動)させるために使用される。カーソル４０２は、ユーザ入力デバイス２０４によって制御されることがある。ユーザ入力デバイス２０４に結合されたサーボ制御装置を使用して、ユーザには、第１のユーザインターフェース４００に触れている感覚を提供するよう、触覚フィードバックが提供されてよい。例えば、ユーザが、入力デバイス２０４を使用して、ユーザインターフェース制御構造の仮想動作をもたらして、例えば、仮想ボタンを選択したり、仮想スライダ制御装置をスライドさせたり、あるいはユーザインターフェースに表示される仮想ダイヤルを移動させたりするときに、例えば、入力デバイス２０４に結合されたユーザ入力デバイス２０４のモータは、入力デバイス２０４を振動させたり、震動させたり、ユーザの動きに対抗する反力を付与させたり、あるいはユーザインターフェース制御の作動に他の方法で反応させたりして、ユーザに感覚フィードバックを提供することがある。図４Ａは、ユーザ選択可能なメニュープルダウン矢印４０４を含む、例示的なログインディスプレイ４０１を示している。ユーザは、カーソル４０２を動かして、メニュー選択矢印４０２をオーバーレイすることができ、然る後、ユーザは、変位可能な手動セレクタ２１２を作動させること（例えば、締め付けること）によって、オーバーレイされたメニュー選択矢印４０２を選択して、ディスプレイシステム１２０内のプルダウンメニュー（図示せず）の表示または手術部位３００内の電気手術器具（図示せず）の通電のような手術システム動作の発生を引き起こすクリック事象を与えることができる。

本明細書で使用されるとき、「クリック事象(click event)」とは、コントローラ１１８に信号をディスプレイシステムに送信させてユーザインターフェースディスプレイ内の選択可能な要素を選択させるあるいは作動させる、ユーザ入力デバイス２０４に対する変位可能な手動セレクタ２１２の変位を指すことがある。本明細書で使用されるとき、「クリック事象」とは、コントローラ１１８にマニピュレータアセンブリの１つ以上のモータに信号を送らせて、現実または仮想器具、器具エンドエフェクタ、またはマニピュレータリンク機構のうちの１つ以上のものの動きを引き起こす、ユーザ入力デバイス２０４に対する変位可能な手動セレクタ２１２の変位を指すことがある。例示的な遠隔操作手術システム１００において、クリック事象は、システム１００の２Ｄ動作中にユーザインターフェースディスプレイ内の選択可能な要素の選択または作動を引き起こし、クリック事象は、システム１００の３Ｄモード動作中にマニピュレータアセンブリの現実または仮想コンポーネントの動きを引き起こす。

例えば、２Ｄモード動作中に、ユーザは、カーソルを使用して、プルダウンメニューからメニュー項目を選択することができる。ログインスクリーン４０１は、複数の制御要素（すなわち、仮想ボタン）４０６を有するキーパッドも含む。ユーザは、カーソル４０２を動かして、キーパッド制御要素をオーバーレイすることができ、然る後、ユーザは、変位可能な手動セレクタ２１２を締め付けることによって、オーバーレイされたキーパッドボタンを選択して、ディスプレイ領域４０８内に選択された要素の表示を引き起こすクリック事象を与えることができる。例示的な遠隔操作手術システム１００では、キーボード制御パネルを使用して、例えば、エネルギレベルの電気手術器具を選択することができる。

図４Ｂは、複数の制御要素メニュー４２０と、例示的な器具マニピュレータアセンブリ１０２を示す器具マニピュレータアセンブリ画像４２２とを含む、例示的な第２のグラフィカルユーザインターフェースのスクリーンディスプレイ４２１を示す。例示的な遠隔操作手術システム１００では、ユーザが、２Ｄ動作モードでユーザ入力デバイス２０４を使用して、制御要素メニュー４２０内から制御要素を選択することができ、然る後、選択されたメニュー要素に対応する異なるメニュー（図示せず）が表示される。

図４Ｃは、図４Ｂ～図４Ｃのリスト内操作(Endowrist Manipulation)制御要素のユーザ選択に応答して、器具マニピュレータアセンブリ画像４２２をオーバーレイして表示されたリスト内操作メニュー４２５を有する、図４Ｂの例示的な第２のグラフィカルユーザインターフェースのスクリーンディスプレイ４２１を示す。

図４Ｄは、図４Ｂ～図４Ｄのカーソルモード制御要素のユーザ選択に応答して、器具マニピュレータアセンブリ画像４２２をオーバーレイして表示されたカーソルモードメニュー４２７を有する、図４Ｂ～図４Ｃの例示的な第２のグラフィカルユーザインターフェースのスクリーンディスプレイ４２１を示す。第２のユーザインターフェース４００では、より多くのまたはより少ないスクリーンが使用される場合があることが理解されよう。

例示的な第１および第２のグラフィカルユーザインターフェースディスプレイ４００、４０２は、２Ｄインターフェースとして示されている。よって、ユーザがグラフィカルユーザインターフェース内のカーソルを制御しているときに、ユーザ入力デバイス２０４は、２Ｄ領域に制約される。対照的に、手術シミュレーションモード（例えば、第１のモード）にあるとき、ユーザ入力デバイス２０４は、完全なまたはほぼ完全な３Ｄ運動自由度を許容される。しかしながら、グラフィカルユーザインターフェースモード（例えば、第２のモード）において、ユーザ入力デバイス２０４は、２Ｄ運動に制約される。２Ｄ運動は、平面的な領域に制約され得るか、あるいは、例えば、穏やかな凸状の湾曲のような、緩やかな湾曲を有する領域に制約され得る。ユーザ入力デバイス２０４の動きを制約する２Ｄ領域は、ユーザの手およびユーザ入力デバイス２０４がディスプレイシステム２０２に表示される角度とほぼ同じ角度になるように、空間内で方向付けられることができる。そのような相関は、ユーザが、表示されたグラフィカルユーザインターフェースに対して３Ｄ空間内の自分の手を方向付けるのを助けることがある。

一例が、視認平面５０２(viewing plane)および触覚平面５０４(haptic plane)を示す、図５に示されている。視認平面５０２は、グラフィカルユーザインターフェース画像が、例えば、図４Ａ～図４Ｄの例示的な第１および第２のグラフィカルユーザインターフェースのスクリーンディスプレイ４００、４２１を表示することができるディスプレイシステム２０２内のユーザによってユーザに提示される、平面的な領域を表す。視認平面５０２内のデカルト座標場所は、触覚平面５０４内のデカルト座標場所に対応する。ユーザは、ユーザ入力デバイス２０４のうちの１つを触覚平面内の対応するデカルト座標場所に移動させ、その対応する場所でクリックすることによって、視認平面５０２内のデカルト座標場所に表示される制御要素を選択することができる。より具体的には、視認平面５０２に表示されるグラフィカルユーザインターフェース内のカーソルの動きは、触覚平面５０４内のユーザ入力デバイス２０４の動きに従う。よって、ユーザがユーザ入力デバイス２０４を２Ｄ触覚領域５０４内で移動させると、カーソルが、視覚画像領域５０２内に表示された第１および第２のグラフィカルユーザインターフェースのスクリーンディスプレイ４００、４２１のうちの１つの内で対応して移動して表示される。第２のモードにおいて、ユーザの手の動きは、視認領域５０２内のカーソル画像の対応する動きを引き起こす、２Ｄ領域５０４内のユーザ入力デバイス２０４の対応する動きを引き起こす。視覚画像領域５０２に表示される所望の制御要素を選択するために、ユーザは、ユーザ入力デバイス２０４を自分の手と係合させ、手を動かして、所望の制御要素でカーソルと視覚的に整列するようなカーソルの対応する動きを引き起こすように、ユーザ入力デバイス２０４の対応する動作を生じさせることができる。カーソルが整列させられた状態で、ユーザは、例えば、変位可能な手動セレクタ２１２に動きを付与するために指の動きを付与して、クリックして選択する（「クリック」）ユーザインターフェースの作用(action)に影響を与えることによって、所望の制御要素を選択することができる。クリックに応答して、プロセッサ回路は、選択された制御要素に関連する作用を実装する。

ユーザ入力デバイス２０４は、２Ｄ触覚平面領域５０４内に制約される。ユーザが、触覚平面５０４のｚ軸に対してユーザ入力デバイス２０４を「上」または「下」に移動しようとすると、ユーザは、そのような移動からの抵抗に直面することがある。ユーザが、例えば、ディスプレイ構成設定を用いて、視認平面５０２の向きを変更するならば、触覚平面５０４は、視認平面５０２に対してほぼ平行の向きを維持するように調整することがある。様々な実施形態において、触覚平面は、視認平面に対して固定的または動的な角度オフセットで方向付けられることがある。代替的に、触覚平面は、地面に対して固定的または動的な角度オフセットで方向付けられることがある。ユーザは、制約、例えば、触覚平面の位置または向きを変更することもある。

１つ以上のプロセッサ回路は、第１の（３Ｄ）モードにおいて制御されたデバイスに対応する移動を与えるときにユーザ入力デバイス２０４の移動をスケーリングし、第２の（２Ｄ）モードにおいてカーソルに対応する移動を与えるように構成される。第１のモードにおいて、スケーリングは、ユーザが従来の開腹手術よりも大きな容易さで複雑な医学処置を実行することを可能にする。スケーリングは、制御されたデバイスまたはカーソルに対応する移動を付与する前にスケールファクタに従ってユーザ入力デバイス２０４の指令された移動をスケーリングすることを含む。スケーリングは、ユーザ入力デバイス２０４の速度および位置の変化を考慮し、これらを制御されるデバイスまたはカーソルの位置における対応するスケーリングされた変化に変換する。スケールファクタは、調整可能であり、第１および第２のモードにおける動作中に異なり得る。第２のモードでは、例えば、スケールファクタは、１（すなわち、スケーリングなし）であり得る。参照により組み込まれる「Medical robotic System Adapted to Inhibit Motions Resulting in Excessive End Effector Forces」という名称の米国特許第７，８４３，１５８は、スケーリングに関するさらなる情報を含む。

（手動クリックセレクタを備えるユーザ入力デバイス）
図６Ａは、変位可能な手動クリックセレクタ２１２のためのマウントとして作用する例示的なユーザ入力デバイス２０４の詳細を示す斜視図である。例示的なユーザ入力デバイス２０４は、ジンバルマウントアセンブリ２２５に取り付けられ、図２Ａの入力コントローラ１１８に結合される。ジンバルマウント２２５は、全体的なコントローラ２２５の動作を感知するための複数のコントローラ動作センサ５２９（１つのみが示されている）を含む。例示的なユーザ入力デバイス２０４は、複数の自由度でコントローラの動作を感知するために、コントローラ動作センサ（第１のセンサ）５２９を含むことができる。例示的なユーザ入力デバイス２０４は、長手軸５３１を含む細長いハンドル５３０として構成されたピンチマウント部材を含む例示的な変位可能な手動セレクタ２１２を含む。例示的な手動セレクタ２１２は、手動セレクタ２１２がユーザ入力デバイス２０４の２Ｄ運動と一体的に移動するように、ならびに手動セレクタ２１２がユーザ入力デバイス２０４の３Ｄ運動と一体的に移動するように、例示的なユーザ入力デバイス２０４と一体的に形成される。例示的な手動セレクタ２１２は、ハンドル５３０に取り付けられた第１および第２の関節作動可能ピンチャグリップボタン５３０ａ、５３０ｂを含む。ハンドル５３０は、手動セレクタ２１２のグリップボタン５３０ａ、５３０ｂを取り付けるためのマウント部材として作用する。手動セレクタ２１２の第１および第２のグリップボタン５３０ａ、５３０ｂは、ハンドル５３０の両側から傾斜して直立している。

第１および第２のグリップボタン５３０ａ、５３０ｂは、ハンドル５３０に対して関節作動するようにハンドル５３０に固定される。第１および第２のグリップボタン５３０ａ、５３０ｂは、それらの遠位端が互いにより接近して離間しかつそれらの近位端がさらに離間した状態で、ハンドル５３０に対して傾斜される。本明細書で使用されるとき、「近位(proximal)」という用語は、マニピュレータ支持構造により近いならびに患者の解剖学的構造からより離れた場所を指し、「遠位(distal)」という用語は、マニピュレータ支持構造からより離れたならびに患者により近い場所を指す。第１および第２のグリップボタン５３０ａ、５３０ｂは、ユーザがそれらに加える力に従って異なることがある、それらの遠位端間の角度αを有する。例示的な遠隔操作手術システム１００では、ユーザがグリップボタン５３０ａ、５３０ｂを互いにより近くに移動させるためにピンチ力をかけないときに、グリップボタン５３０ａ、５３０ｂは、中立位置にある。例示的なユーザ入力デバイス２０４において、グリップボタン５３０ａ、５３０ｂは、中立位置で互いから最大に変位される。例示的なユーザ入力デバイス２０４では、グリップ部材が中立位置にあるとき、角度αは、鋭角である。例示的なユーザ入力デバイス２０４では、中立位置において、１つ以上のモータ５４５が、グリップボタン５３０ａ、５３０ｂを互いに向かって移動させるユーザによって付与される力に抗する触覚カウンタ力をグリップボタン５３０ａ、５３０ｂに付与し、ユーザは、グリップボタン５３０ａ、５３０ｂを互いに向かって移動させるために、この触覚カウンタ力を克服しなければならない。代替の例示的なユーザ入力デバイス２０４では、中立位置において、バネのような付勢部材（図示せず）が、互いに向かうグリップボタン５３０ａ、５３０ｂの変位に抗するための反応力を提供し、ユーザは、グリップボタン５３０ａ、５３０ｂを互いに向かって移動させるために、この反応力を克服しなければならない。

例示的なユーザ入力デバイス２０４において、１つ以上のモータ５４５は、（ｉ）ユーザがグリップボタン５３０ａ、５３０ｂに力を付与しないときの第１の条件で、ならびに（ｉｉ）グリップボタン５３０ａ、５３０ｂが所定の閾値を満たすそれらの間の変位位置距離を有するときの第２の条件で、グリップボタン５３０ａ、５３０ｂを中立位置に移動させる。代替の例示的なユーザ入力デバイス２０４において、バネのような付勢部材（図示せず）は、（ｉ）ユーザがグリップボタン５３０ａ、５３０ｂに力を付与しないときの第１の条件で、ならびに（ｉｉ）グリップボタン５３０ａ、５３０ｂが所定の閾値を満たすそれらの間の変位位置距離を有するときの第２の条件で、グリップボタン５３０ａ、５３０ｂを中立位置に移動させる。例示的なユーザ入力デバイス２０４において、第２の条件は、グリップボタン５３０ａ、５３０ｂが、以下に説明する第２のグリップ閾値（Ｔ_Ｇ２）距離未満であるそれらの間の変位位置距離を有するときに生じる。クリック事象が、手術システムに、グリップボタン５３０ａ、５３０ｂが第２のグリップ閾値（Ｔ_Ｇ２）距離よりも大きいクリック事象変位位置に到達するときにまたは到達する前に、ディスプレイシステム１２０でのディスプレイ作用または手術部位３００内での器具作用のような作用を開始させる。よって、変位距離位置が以下に記載されるグラフ７７０の第１の制御状態７７６にある時までに、グリップボタン５３０ａ、５３０ｂ間の変位距離の減少に応答して、作用が開始された。例えば、図４Ｂ～図４Ｃの第２のグラフィカルユーザインターフェースのスクリーンディスプレイ４２１内の制御要素メニュー４２０内の制御要素が選択され、選択された制御要素に対応するスクリーンディスプレイが表示される。例えば、クリック事象がリスト内操作制御要素(endowrist manipulation control element)の選択であるならば、図４Ｃのリスト内操作メニュー４２５が表示される。

例示的なユーザ入力デバイス２０４では、ユーザが、それぞれのグリップボタン５３０ａ、５３０ｂに対してハンドル５３０に向かうそれぞれの方向において力を付与して、グリップ部材が停止面として作用するハンドルマウント５３０に当接するまで、それらの間の変位を減少させることができ、然る後、グリップボタンとハンドルマウントとの間に変位がない。より具体的には、幾つかの実施形態によれば、第１および第２のグリップボタン５３０ａ、５３０ｂは、マスタピボット軸５３６を中心に枢動するためにハンドルに固定される。１つ以上のモータ５４５または他の付勢部材がグリップボタン５３０ａ、５３０ｂを押圧して離間させる。例示的なユーザ入力デバイス２０４において、１つ以上のモータ５４５は、ハンドル５３０に向かうグリップボタン５３０ａ、５３０ｂのユーザ付与半径方向内向き方向の動きの間に、マウント部材５３０からグリップボタン５３０ａ、５３０ｂに向かう半径方向外向きの方向において可変の触覚力を付与するように構成される。例示的なユーザ入力デバイス２０４において、１つ以上のモータ５４５は、両方のグリップボタン５３０ａ、５３０ｂに触覚力を付与できる単一のモータ（図示せず）を含むことができる。代替の例示的なユーザ入力デバイス２０４において、１つ以上のモータ５４５は、第１のグリップボタン５３０ａに触覚力を付与する第１のモータ（図示せず）を含むことができ、第２のグリップボタン５３０ｂに触覚力を付与する第２のモータ（図示せず）を含むことができる。ハンドル５３０は、第１の経路に沿うグリップボタン５３０ａ、５３０ｂの移動および中立変位位置からのそれらの変位を感知するホール効果デバイスのような１つ以上の変位センサ（第２のセンサ）５４７を含む。ハンドルにフィンガループ（図示せず）を取り付けて、グリップボタンからの滑りを回避することができる。例えば、親指および／または指用の剛性または可撓性のループを任意に含む、任意の手術器具ハンドルを含む、多種多様なグリップボタン構造が、本開示の範囲内で使用されることがある。グリップボタンと制御されるデバイスとの間の制御関係は、「Grip Strength with Tactile Feedback for Robotic Surgery」という名称の米国特許第６，５９４，５５２号により詳細に説明されており、その完全な開示は、参照により明示的に組み込まれる。

第１の（３Ｄ）動作モードにおいて、ユーザ入力デバイス２０４およびグリップボタン５３０ａ、５３０ｂは、例えば、ユーザ入力デバイス２０４の３Ｄ動きおよびマスタピボット軸５３６を中心とするグリップボタン５３０ａ、５３０ｂの動きに応答して、制御されるデバイス１０４の動きを制御するために、運動学的構成を通じて動作的に結合される。第２の（２Ｄ）動作モードにおいて、コントローラ２０４およびグリップボタン５３０ａ、５３０ｂは、視認平面５０２内の２Ｄカーソルの動きおよび視認平面５０２内の制御要素選択を制御するために動作的に結合される。

例示的な遠隔操作手術システム１００において、１つ以上のモータは、ハンドル５３０から半径方向外向き方向に可変の触覚力をグリップボタン５３０ａ、５３０ｂに付与するように選択可能に構成される。ユーザは、自分の指を使用して、グリップボタン５３０ａ、５３０ｂに力を付与して、それらを互いにより近く移動させるように、それらをそれらの間に位置するハンドル５３０に向かってならびに互いに向かって付勢することができる。以下に説明するように、第２の（２Ｄ）モードでは、ユーザは、手動セレクタ２１２を使用して、ハンドル５３０に向かって半径方向内向きに指力を付与して中立抵抗及びモータ制御された触覚力を克服しかつグリップボタン５３０ａ、５３０ｂを互いに向かって押すことによって、クリック事象をもたらして、グラフィカルユーザインターフェース制御要素を選択することができる。以下に説明するように、可変触覚力が、手動セレクタ２１２のグリップボタン５３０ａ、５３０ｂに付与されて、視認平面５０２内でのクリック事象の発生が発生したときを示す触覚フィードバックを提供する。

例示的なユーザ入力デバイス２０４は、ユーザが、３つの軸５３４ａ、軸５３４ｂ、および軸５３４ｃの３つの軸を中心として作動可能なマウント部材ハンドル５３０を回転させることを可能にするように、４つの自由度のジンバルマウント２２５を含む。第１の（３Ｄ）モードにおける動作中、器具１０４のような物理的または仮想的な制御されたデバイスが、ユーザ入力デバイス２０４の３Ｄ運動に従う。第２の（２Ｄ）モードにおける動作中、２Ｄ視認領域５０２内のカーソルのような制御されたユーザインターフェース要素が、２Ｄ領域５０４内のユーザ入力デバイス２０４の２Ｄ運動に従う。

より具体的には、ユーザ入力デバイス２０４のハンドルマウント５３０部分は、第１の枢動ジョイント１６によって第１の肘形状リンク５１４に結合される。第１のリンク５３２は、枢動ジョイント５２０によって第２の肘形状リンク５３７に結合される。第２のリンク５３７は、枢動ジョイント５２４によって第３の肘形状リンク５３８に枢動的に結合される。幾つかの実施形態において、アーム５３８およびジンバル２２５のモータは、部材ハンドル５３０を取り付けるために位置力および向き力を能動的に加えることができ、それによって、外科医に触覚フィードバック(tactile feedback)を提供する。ジンバル２２５は、リンク５３２、５３７、５３８を含む。ジンバル２２５は、軸５３４ｄを中心に回転するようにプラットフォーム５４０に取り付けられ、リンク５３２、５３７、５３８は、追加の軸５３４ａ、５３４ｂ、および５３４ｃを画定する。ハンドル５３０は、軸５３４ｄを中心とした動きのために能動的に駆動されるジョイントによってジンバル２２５に取り付けられる。故に、ジンバル２２５は、冗長な配向自由度(orientational degree of freedom)を含む４つの駆動される配向自由度を提供する。ジンバル２２５、アーム５３８、およびこれらのジョイント用の駆動モータは、「Master Having Redundant Degrees of Freedom」という名称の米国特許第６，７１４，８３９号に詳細に記載されており、その完全な開示は、参照により明示的に組み込まれる。

図６Ｂは、手動セレクタ２１２を含むユーザ入力デバイス２０４でユーザ入力を受信することを制御し、ユーザ入力デバイス２０４で触覚フィードバックを付与する、制御システム６８０を示す機能ブロック図である。入力コントローラ１１８が、マニピュレータアセンブリ１０２を制御するために結合され、ディスプレイシステム１２０を制御するために結合される。ユーザ入力デバイス２０４は、ユーザ入力デバイス２０４全体に動きを付与する、ユーザの手の動きのような、第１のユーザ入力動作６５２を受信するように構成される。ユーザ入力デバイス２０４に対して移動可能に取り付けられる手動セレクタ２１２は、ユーザ入力デバイス２０４に対して手動セレクタ２１２に動きを付与する、ユーザ指運動のような、第２のユーザ入力６５４を受信するように構成される。１つ以上の第１のセンサ５４７ａは、ユーザ入力デバイス２０４全体の動きを感知して、対応する第１のセンサ信号（Ｓ_１）５４９ａを入力コントローラ１１８に提供するように構成される。１つ以上の第２のセンサ５４７ｂは、ユーザ入力デバイス２０４に対する手動セレクタ２１２の動きを感知して、対応する第２のセンサ信号（Ｓ_２）５４９ｂを入力コントローラ１１８に提供するように構成される。１つ以上のモータ５４５は、入力コントローラ１１８からモータ制御信号５５１を受け取って、触覚フィードバック力５５３を手動セレクタ２１２に付与するように結合される。入力コントローラ１１８は、第１および第２のセンサ信号５４９ａ、５４９ｂのうちの１つ以上に基づいて、１つ以上のモータ５４５にモータ制御信号（Ｍ_Ｃ）５５１を提供して、１つ以上のモータに触覚フィードバック力５５３を手動セレクタ２１２に付与させるように構成される。

ユーザは、モード選択信号（Ｓ_Ｍ）５５５を提供して、入力コントローラ１１８を３Ｄモードおよび２Ｄモードのいずれかで動作させることができる。３Ｄモードでは、変位可能な手動セレクタ２１２は、第１のユーザ入力動作６５２に応答してユーザ入力デバイス２０４の動きと協調して３Ｄにおいて移動することができ、第２のユーザ入力に応答してユーザ入力デバイス２０４に対して変位されることができる。２Ｄモードにおいて、変位可能な手動セレクタ２１２は、第１のユーザ入力に応答してユーザ入力デバイス２０４と協調して２Ｄにおいて移動することができ、第２のユーザ入力デバイス６５４に応答してユーザ入力デバイス２０４に対して変位されることができる。

３Ｄモードにおいて、入力コントローラ１１８は、セレクタを取り付けるユーザ入力デバイス２０４に対する変位可能な手動セレクタ６１２およびユーザ入力デバイス２０４全体の変位のうちの１つ以上を生じさせる運動付与ユーザ入力に応答して、器具１０４、器具エンドエフェクタおよびマニピュレータリンクのうちの１つ以上のものの動作を制御する１つ以上のモータ（図示せず）を含む、マニピュレータアセンブリ１０２を制御する。２Ｄモードにおいて、入力コントローラ１１８は、例えば、ユーザ入力デバイス２０４に対する変位可能な手動セレクタ６１２及びユーザ入力デバイス２０４全体の変位のうちの１つ以上を生じさせるユーザ入力に応答して、メニュー、カーソル、スライダ、ノブ、またはボタンのような、１つ以上の制御要素を含むグラフィカルユーザインターフェースのスクリーンディスプレイを含む、ディスプレイシステム１２０を制御する。

第１の変位センサ５４７ａは、ユーザ入力デバイス２０４全体の変位を感知して、ユーザ入力デバイス２０４の変位を示す対応する第１のセンサ信号５４９ａを入力コントローラ１１８に提供するように結合される。第２のセンサ５４７ｂは、ユーザ入力デバイス２０４に対する手動セレクタ２１２の変位を感知して、セレクタ２１２を移動可能に取り付けるユーザ入力デバイス２０４に対する手動セレクタ２１２の変位を示す対応する第２のセンサ信号５４９ｂを入力コントローラ１１８に提供するように結合される。入力コントローラ１１８は、３Ｄモードにあるときに第１および第２のセンサ信号に応答してマニピュレータアセンブリ１０２を制御する制御信号を提供し、２Ｄモードにあるときに第１および第２のセンサ信号のうちの１つ以上に応答してディスプレイシステム１２０を制御する制御信号を提供するための実行可能な命令を有して構成された１つ以上のプロセッサ回路を含む。入力コントローラ１１８は、第１および第２のセンサ信号５４９ａ、５４９ｂのうちの１つ以上に基づいて、触覚フィードバック力ＦＨを手動セレクタ２１２に付与するために、１つ以上のモータ５４５にモータ制御信号５５３を提供するようにさらに構成される。

（クリック事象を示す触覚フィードバック）
図７は、グリップボタン変位のシーケンスおよび手形成のシーケンスと時間整列されたクリック事象の間の、変位可能な手動セレクタ２１２位置の変位に対する触覚力を表す第１の制御関数曲線７２０を示す説明図である。図６Ａの例示的なユーザ入力デバイス２０４は、一対の対向するグリップボタン５３０ａ、５３０ｂを取り付けるマウントとして作用するハンドル５３０を含む。上記で説明されたように、代替の例示的な手動セレクタは、重力平衡アーム、ジョイスティック、トラックボール、グローブ、トリガグリップ、捩れ可能なノブ、捩れ可能なグリップ、スライダ、レバー押ボタンなどを含む。ユーザは、変位可能な手動セレクタ２１２の所定の変位を生じさせる第２のユーザ入力動作を付与することによって、クリック事象を生じさせることができる。例えば、図６Ａの手動セレクタ２１２のために、ユーザは、中立位置変位からクリック事象完了位置変位距離までのグリップボタン５３０ａ、５３０ｂの距離の変位を減少させることによって、クリック事象を引き起こすことができる。図６Ａの例示的なユーザ入力デバイス２０４において、各グリップボタンは、開位置と閉位置との間のグリップボタン５３０ａ、５３０ｂの移動を通して、ユーザ入力デバイスのハンドルマウント５３０から等しく変位されるが、グリップボタン間の変位距離は、グリップボタン５３０ａ、５３０ｂが開位置から閉位置へ移動するにつれて減少し、グリップボタン５３０ａ、５３０ｂが閉位置から開位置へ移動するにつれて増加する。その上、図６Ａの例示的なユーザ入力デバイス２０４において、各々の個別のグリップボタン５３０ａ、５３０ｂは、それとユーザ入力デバイスのハンドルマウント５３０との間の変位距離を有し、変位距離は、グリップボタンが中立変位位置からクリック事象完了変位位置へ移動するにつれて減少し、グリップボタンがクリック事象変位位置から中立変位位置へ移動するにつれて増加する。

図７は、クリック事象の間にユーザの指によって引き起こされる第２のユーザ入力動作６４６に起因するピンチャ閉鎖の間の、図６Ａの例示的な手動セレクタ２１２のグリップボタン５３０ａ、５３０ｂの変位位置の例示的なシーケンスを、ユーザの指位置７５２、７５４、７５６のシーケンスによって表わす。図７は、図６Ａの例示的な手動セレクタ２１２のグリップボタン５３０ａ、５３０ｂの変位位置７６２、７６４、７６８、７７０の対応する例示的なシーケンスも示す。説明を簡単かつ明瞭にするために、例示的なユーザの指７５８、７６０、および指位置のシーケンス７５２、７５４、７５６は、それらが接触するそれぞれのグリップボタン５３０ａ、５３０ｂ、およびグリップボタン変位位置７６２、７６４、７６８、７７０の対応するシーケンスから分離されて示されているが、実際の使用において、それぞれの指７５８、７６０は、それぞれのグリップボタン５３０ａ、５３０ｂと接触していることが理解されるであろう。例えば、実際の例示的な使用では、カーソル指７５８が第１のグリップボタン５３０ａと接触し、親指７６０が第２のグリップボタン５３０ｂと接触する。

図７は、図６Ａのグリップボタン５３０ａ、５３０ｂの変位位置７６２、７６４、７６８、７７０の例示的なシーケンスを示しており、各位置は、クリック事象の間にグリップボタンによって移動されるユーザ入力デバイスのハンドル５３０に対する異なる移動距離に対応する。よって、グリップボタン変位位置７６２および対応する指位置７５２によって示される例示的な変位距離で、グリップボタンは、例示的なシーケンスにおいて、ユーザ入力デバイスのハンドル５３０に対して、第１の（最小）距離を移動した。グリップボタン変位位置７６４および対応する指位置７５４によって示される例示的な変位距離で、グリップボタンは、第１の距離よりも大きい、ユーザ入力デバイスのハンドル５３０に対する第２の距離を移動した。グリップボタン変位位置７６８および対応する指位置７５６によって示される例示的な変位距離で、グリップボタンは、ユーザ入力デバイスのハンドル５３０に対して、第１および第２の距離の合計よりも大きい第３の距離を移動した。グリップボタン変位位置７７０および対応する指位置７５６によって示される例示的な変位距離で、グリップボタンは、第１、第２、および第３の距離よりも大きい、ユーザ入力デバイスのハンドル５３０に対する第４の距離を移動した。

図７は、グリップ５３０ａ、５３０ｂに第２のユーザ入力動作６５４を付与する手７５９の指位置の対応するシーケンスも示す。指位置シーケンスは、完全に開いた指位置７５２で始まり、部分的に閉じた／部分的に開いた指位置７５４が続き、実質的に閉じた指位置７５６が続く。ハンドルマウント５３０を中心とするグリップボタン変位位置のシーケンスが示されている。グリップボタンシーケンスは、完全に開いたグリップボタン変位位置７６２で始まり、部分的に閉じた／部分的に開いたグリップボタン位置７６４が続き、ほぼ完全に閉じたグリップボタン位置７６８が続き、完全に閉じたグリップボタン位置７７０が続く。

図７は、手動セレクタ２１２、第２のセンサ５４７ｂ、入力コントローラ１１８、１つ以上のモータ５４５、および入力デバイスのハンドル５３０のような停止面を使用して実装される、クリック事象トリガリングおよび触覚フィードバック制御関数の組み合わせを制御する制御関数曲線７７０を表す、例示的な曲線を含む。入力コントローラ１１８は、制御関数得７００を実装するための実行可能な命令でプログラムされた１つ以上のプロセッサ回路を含む。制御関数７７０は、クリック事象のトリガリングを制御し、手動セレクタ２１２を変位させる第２のユーザ入力動作６５４に応答して付与される触覚フィードバック力を制御する。より具体的には、入力コントローラ１１８は、１つ以上の第２のセンサによって提供される第２のセンサ信号Ｓ_２に応答して制御関数を実施して、ディスプレイシステム１２０またはマニピュレータアセンブリ１０２でのクリック事象のトリガリングを制御して、１つ以上のモータ５４５に、手動セレクタ２１２に触覚力を付与させるように構成される。制御関数得７７０によれば、クリック事象をトリガするために、ユーザは、手動セレクタ２１２を少なくとも規定された変位距離だけ変位させなければならない。その上、制御関数７７０によれば、触覚フィードバック力は、ユーザが手動セレクタ２１２を変位させている間に、手動セレクタ２１２に付与される。触覚フィードバック力は、手動セレクタ２１２のユーザの増加する変位に応答して、クリック事象の蓄積(build up)およびトリガリングの両方をユーザに示す。停止面は、クリック事象のトリガに続く規定量のさらなる変位の後に手動セレクタ２１２のさらなる変位を停止させる、突然の反応力を付与する。

制御関数曲線７７０は、複数の状態を有する。第１の制御状態７７２は、手動セレクタ２１２の変位が第１の閾値変位Ｔ_Ｄ１未満である中立状態または休止状態である。図６Ａのユーザ入力デバイス２０４の場合、第１の制御状態７７２において、グリップボタン５３０ａ、５３０ｂは、中立位置における最大変位と第１の閾値距離Ｔ_Ｄ１との間にある距離だけハンドル５３０から変位される。例示的な遠隔操作手術システム１００では、第１の制御状態７７２において、弾性部材が、手動セレクタ２１２に維持力を付与して、中立位置においてそれを付勢する。図６Ａのユーザ入力デバイス２０４の場合、第１の制御状態７７２において、バネ部材のような付勢部材が、互いからならびにハンドル５３０から最大に変位されたグリップボタン５３０ａ、５３０ｂを付勢する一方で、入力コントローラ１１８は、１つ以上のモータに一定のゼロの力を付与させる。代替の例示的な遠隔操作手術システム１００では、第１の制御状態において、入力コントローラ１１８は、１つ以上のモータ５４５に、手動セレクタ２１２に弾性維持力を付与させて、それを中立変位位置に付勢する。代替的な第１の制御状態７７２において、１つ以上のモータ５４５は、手動セレクタ２１２を中立位置に維持するためにバネのような維持力を生成するように制御される。代替的な第１の制御状態７７２において、１つ以上のモータは、ユーザが維持力を克服する力を付与し、それがセレクタ２１２を第１の変位閾値距離未満だけ変位させ、次に、ユーザがその力を除去することに応答して、手動セレクタ２１２を中立位置に戻すための力を提供する。第１の制御状態７７２にある間に、ユーザは、手動セレクタに動きを付与して、変位が第１の閾値距離Ｔ_Ｄ１であることを条件として、手動セレクタを中立位置から幾分変位させることがある。図６Ａの例示的なユーザ入力デバイスについてのユーザの指に対するそのような維持力の大きさおよび方向は、矢印７５２ａ、７５２ｂによって表される。第１および第２の方向は、ハンドル５３０の長手軸５３１から半径方向外向きに延びる。

第２の制御状態７７４は、触覚力が手動セレクタ２１２の変位の増加に対して第１の速度で増加する触覚フィードバック力増加状態である。第２の制御状態７７４は、第１の閾値距離ＴＤ１を満たすが、第２の閾値距離ＴＤ２をまだ満たさない、手動セレクタ２１２の変位を含む。第２の制御状態７７４の間に、１つ以上の第２のセンサ５４７ｂは、中立位置からの手動セレクタ２１２の変位の増加を感知し、対応する第２のセンサ信号値Ｓ２を入力コントローラ１１８に送信して、変位の増加を報告する。次に、入力コントローラ１１８は、モータ制御信号５５３を生成して、１つ以上のモータ５４５に、中立位置からの手動セレクタ２１２の変位の増加に対して第１の速度で増加する触覚力を手動セレクタ２１２に付与させる。第１の速度が、差し迫ったクリック事象を追跡または中止することによって、ユーザが増加する接触力の触覚的な感覚を認識しかつ反応する時間を有するような速度であるならば、第１の速度は、線形または非線形であることができる。図６Ａの例示的なユーザ入力デバイス２０４の場合、グリップボタン５３０ａ、５３０ｂは、それらがより広く離間した中立位置からますます変位されるにつれて、互いにますますより小さい量だけ変位される。第２の制御状態７７４の間に手動セレクタ２１２の変位の増加に対して第１の速度で大きさが増大する触覚力の蓄積は、触覚表示または警告を、クリック事象が切迫をユーザに提供する。すなわち、その大きさが大きければ大きいほど、クリック事象の発生を引き起こすために、現在の変位はより近い。第２の速度は、ユーザがクリック事象の切迫の徴候に応答して反応する時間を有するように選択されるので、例えば、ユーザは、変位を継続してクリック事象で続行するかあるいは変位を停止してクリック事象を中止するかの意識的な決定を行うことができる。よって、第２の制御状態７７４の間の増大する触覚フィードバックは、手動セレクタ２１２の変位が増大するにつれて、クリック事象がますます切迫していることを、ユーザに警告する。

図６Ａの例示的なユーザ入力デバイス２０４では、第２の制御状態中の第２のフィードバック力の大きさは、矢印７５４ａ、７５４ｂの長さによって表される。グリップボタン５３０ａは、第１の方向において示指７５８に力７５４ａを付与し、グリップボタン５３０ｂは、第１の方向とは反対の第２の方向において親指７６０に力７５４ｂを付与する。第１および第２の方向は、ハンドル５３０の長手軸５３１から半径方向外向きに延びる。第２の制御状態７７４の間にグリップボタン５３０ａ、５３０ｂを互いにより近く移動させるために、ユーザの指７５８、７６０は、触覚力方向７５４ａ、７５４ｂとは反対の方向においてそれぞれの変位力を付与することが理解されるであろう。ユーザが付与する力は、触覚力７５４ａ、７５４ｂを克服するほどに十分に大きい大きさを有する。また、第２の制御状態７７４におけるいずれかの例示的なインスタンスでそれぞれのグリップボタン５３０ａ、５３０ｂによって付与される触覚力７５４ａ、７５４ｂの大きさは、矢印７５４ａ、７５４ｂの長さが矢印７５２ａ、７５２ｂの長さよりも大きいことによって表されるように、第１の制御状態７７２の間の維持力の間に、より大きな力７５２ａ、７５２ｂであることが理解されるであろう。

第３の制御状態７７６は、手動セレクタ２１２の変位が第２の閾値距離Ｔ_Ｄ２を満たすときに発生するクリック事象トリガ状態である。第２のセンサ５４７ｂは、手動セレクタ２１２の変位が中立位置から第２の閾値変位Ｔ_Ｄ２に到達したときを示す第２のセンサ信号を入力コントローラ１１８に送信する。

例示的な入力コントローラ１１８は、２Ｄモードにおいて作動するときに、手動センサ２１２が第２の閾値変位Ｔ_Ｄ２に到達することに応答して、クリック事象トリガ信号をディスプレイシステム１２０に送信して、例えば、制御要素メニュー４２０内のカーソル４０２によってオーバーレイされた視覚ＵＩ制御要素の選択を引き起こす。例示的な入力コントローラ１１８は、３Ｄモードにおいて作動するときに、手動センサ２１２が第２の閾値変位Ｔ_Ｄ２に到達することに応答して、クリック事象トリガ信号をマニピュレータアセンブリ１０２に送信して、例えば、リンクまたは器具エンドエフェクタを作動させる１つ以上のモータ（図示せず）の作動を引き起こす。

加えて、例示的な入力コントローラ１１８は、２Ｄモードまたは３Ｄモードのいずれかで作動するときに、手動センサ２１２が第２の閾値変位ＴＤ２に到達することに応答して、モータ制御信号Ｍ_Ｃをライン５５１上で付与して、１つ以上のモータ５４５に、ステップダウン触覚フィードバック力を手動セレクタ２１２に付与させる。ステップダウン触覚フィードバック力は、手動セレクタ２１２の変位が第２の閾値変位ＴＤ２を横切る瞬間でのピーク値から、第１の制御状態７７２の間に付与される力に一致するかあるいはほぼ一致するレベルまで、触覚フィードバック力を減少させる。より具体的には、触覚力は、手動セレクタ２１２の変位の増加に対して第２の速度で減少する。第２の速度の大きさは、第１の速度の大きさよりも大きい。例示的なシステムにおいて、第２の速度は、クリック事象がトリガされたという実質的に瞬間的な触覚表示をユーザに提供するように選択された大きさを有する。図６Ａの例示的なユーザ入力デバイス２０４では、第３の制御状態７７６の間の第３のフィードバック力の大きさは、矢印７５６ａ、７５６ｂの長さによって表される。グリップボタン５３０ａは、第１の方向において示指７５８に力７６４ａを付与し、グリップボタン５３０ｂは、第１の方向とは反対の第２の方向において親指７６０に力７５６ｂを付与する。例示的なシステムにおいて、制御関数は、１つ以上のセンサ２４７ｂが、変位が中立変位距離に戻るときを示す信号を提供することに応答して第１の制御状態７７２に戻る。

例示的なユーザ入力デバイス２０４において、セレクタ２１２は、手動セレクタ２１２が制御段階７７８で第３の閾値変位Ｔ_Ｄ３に到達した瞬間またはその付近で停止面に衝撃を与える。図６Ａの例示的な入力デバイス２０４において、手動セレクタ２１２は、変位可能なグリップボタン５３０ａ、５３０ｂを含み、ハンドル５３０は、停止面として作用する。停止面に対する手動セレクタ２１２の衝撃は、クリック事象が完了したことおよび手動セレクタ２１２がリセットまたは中立状態である第２の制御状態７７２に戻る準備ができていることを示す追加の触覚的感覚をユーザに提供する、突然の反応力を提供する。よって、停止面５３０は、制御機能７００が第１の制御状態７７２に実際に戻ったときに、触覚フィードバックを提供し、１つ以上のモータ５４５は、第１の制御状態において維持力を提供する。

図８は、ユーザ入力デバイス２０４に対する手動セレクタ２１２の変位に基づいて、力の提供およびクリック事象のトリガを制御するための、図７の制御関数による制御プロセス８００を示す例示的なフロー図である。入力コントローラ１１８は、制御プロセス８００を実施するための実行可能な命令でプログラムされた１つ以上のプロセッサ回路を含む。第１の制御状態７７２の間の動作８０２で、入力コントローラ１１８は、１つ以上のモータ５４５に、手動セレクタ２１２に中立維持力（Ｆ_ＨＮ）を提供させる一方で、１つ以上の第２のセンサ５４７ｂは、ユーザが、手動セレクタ２１２を中立位置から少なくとも第１の閾値距離Ｔ_Ｄ１だけ変位させる第２のユーザ入力モーション６５４を提供しなかったことを示す。第１の閾値決定動作８０４は、１つ以上の第２のセンサ５４７ｂをモニタして、手動セレクタの変位が第１の閾値変位Ｔ_Ｄ１を満たすときを検出する。図６Ａの例示的な手動セレクタ２１２において、第１の閾値決定動作８０４は、中立位置からのグリップボタン５３０ａ、５３０ｂの変位位置が第１の変位閾値を満たすときを決定する。例示的な入力コントローラ１１８は、セレクタ２１２が第１の閾値触覚距離未満だけ変位する間に、１つ以上のモータ５４５にゼロの大きさの触覚力を生成させる、モータ制御信号を提供する。セレクタ２１２が第１の閾値触覚距離未満だけ変位する間に、バネのような付勢部材がセレクタ２１２を中立位置に維持する。

制御プロセスは、変位が第１の閾値変位距離Ｔ_Ｄ１を満たすことに応答して、第２の制御状態７７４に移行する。プロセス８００は、変位が第１の閾値変位距離をまだ満たさない間に、第１の制御状態７７２に留まる。第２の制御状態７７４の間の動作８０６で、入力コントローラ１１８は、１つ以上のモータ５４５に、中立位置からのグリップボタンの変位の増加の関数である第１の速度で増加する触覚フィードバック力を手動セレクタ２１２に付与させる。例示的なシステムにおいて、動作８０６は、例えば、変位の線形または非線形関数として変化させるように、触覚フィードバック力の蓄積速度を設定することができる。第２の閾値決定動作８０８は、１つ以上の第２のセンサ５４７ｂをモニタして、手動セレクタの変位が第２の閾値変位Ｔ_Ｄ２を満たすときを検出する。図６Ａの例示的な手動セレクタ２１２において、第２の閾値決定動作８０８は、グリップボタン５３０ａ、５３０ｂの中立位置からのグリップボタン５３０ａ、５３０ｂの変位位置が第２の変位閾値距離を満たすときを決定する。

制御プロセスは、変位が第２の閾値変位距離Ｔ_Ｄ２を満たすことに応答して、第３の制御状態７７６に移行する。プロセス８００は、変位が第２の閾値変位距離をまだ満たさない間に、第２の制御状態７７４に留まる。動作８０９で、入力コントローラ１１８は、制御信号をディスプレイシステム１２０に送信して、クリック事象の発生をトリガする。動作８１０で、第３の制御状態７７６の間に、入力コントローラ１１８は、１つ以上のモータ５４５に、第２の制御状態から第３の制御状態に移行するときのピーク値から第１の制御状態７７２の間に付与される力に一致するかあるいはほぼ一致するレベルへ第２の速度で減少する触覚フィードバック力を、手動セレクタ２１２に付与させる。第２の速度の大きさは、第１の速度の大きさよりも大きい。決定動作８１２の間に、入力コントローラ１１８は、１つ以上のセンサ５４７ｂによって提供されるセンサ信号をモニタして、セレクタ２１２の変位が第１の閾値変位Ｔ_Ｄ１を満たす（例えば、第１の閾値変位Ｔ_Ｄ１以下である）ときを決定する。第１の変位距離を満たす変位に応答して、制御プロセス８００は、動作８０２に移行して戻る。

第１、第２および第３の制御状態の間の触覚力の変化は、クリック事象の状態の触覚表示をユーザに提供する。第２の制御状態７７４の間に、触覚力の蓄積は、トリガ事象がますます切迫していることをユーザに示す。第３の制御状態７７６の間に、触覚力の急速な減少は、クリック事象のトリガを示す。第１の制御状態７７２の間に、維持力は、触覚事象が発生したこというユーザに対する手持ち式補強(hand-held reinforces to a user)を維持する。物理的停止面５３０でのハードストップ(hard stop)は、手動セレクタ２１２が中立の第１の制御状態７７２に戻ったことをユーザに示す。

（プッシュボタン動作からカーソル動作を隔離すること）
第２の（２Ｄ）モードにおけるディスプレイシステム１２０の動作中に、ユーザの手の数字を使用して、視認平面５０２に表示される制御要素を選択することができる。第２の動作モードの間に、入力コントローラ１１８は、視認平面５０２に表示されるグラフィカルユーザインターフェース内のカーソル４０２の動きを、触覚平面５０４内のユーザ入力デバイス２０４の動きに追従させる。視認平面５０２内のデカルト座標場所は、触覚平面５０４内のデカルト座標場所に対応する。ユーザが、第１に、カーソル４０２を制御要素と視覚的に整列させるために、ユーザ入力デバイス２０４を視覚的平面５０２内の制御要素座標場所に対応する触覚平面５０４内の座標場所に移動させ、第２に、手動セレクタ２１２に作動動作を付与することによって、制御要素を選択する。ユーザの指は、例えば、図７～図８を参照して上述したように、手動セレクタ２１２に動作を付与して、中立位置からのその変位を増加させて、クリック事象をトリガすることができる。

ユーザの指の動きは、ユーザの残余の手の動きに影響を及ぼし得る。図６Ａの例示的な手動セレクタ２１２を参照すると、ユーザが、閉じ力をグリップボタン５３０ａ、５３０ｂに付与してクリックを実施すると、ユーザの指の動きは、グリップボタン５３０ａ、５３０ｂを取り付けるコントローラ２０４の対応する動きを引き起こすことができる。ユーザが付与するグリップボタン５３０ａ、５３０ｂの動きは、コントローラ２０４の位置における僅かな意図しない変化またはジャンプ(jump)を生じさせ得る。触覚平面５０４内のコントローラ２０４の位置におけるそのような意図しない変化は、視認平面５０２内のカーソル４０２の位置における対応する意図しない変化を引き起こし得る。その結果、例えば、グラフィカルユーザインターフェースメニュー内の制御要素上でクリックするためにグリップボタン５３０ａ、５３０ｂが使用されるときに、カーソル４０２は、クリックプロセスの間に制御要素上でジャンプしがちであり得る。よって、ユーザがクリック事象を突然作動させることは、カーソルの動きにおける突然の意図しないジャンプを引き起こして、標的制御要素とのカーソルの不整列を引き起こし、それは間違った標的の選択を引き起こしうる。標的とされるクリック可能な制御要素が大きくなく、ユーザが標的とされる要素を見逃すならば、これは特に苛立たしくあり得る。

見逃された標的は、手術環境において特に有害であり得る。例えば、視認平面５０２は、制御要素の代わりにあるいは制御要素に加えて、術前のＭＲＩまたはＣＴスキャンを表示することができる。外科医ユーザがカーソルを選択のために視覚的に整列させようとする標的要素は、例えば、神経または血管のような、デリケートな解剖学的構成であることがある。外科医は、構成の視野を拡大したりあるいは標的とされる構成の上または下に位置するＭＲＩまたはＣＴスキャン内に表される他の解剖学的構成に移行したりすることを意図することがある。よって、カーソルと標的要素との間の精密な整列が必要とされることがある。

図６Ｂの制御システムを再び参照すると、例示的な入力コントローラ１１８が、１つ以上の第１のセンサ５４７ａによって感知されるユーザ入力デバイス２０４の動きを示すカーソル動作制御信号である、第１のカーソル動作入力信号および第２のカーソル動作入力信号を、ライン５６１上のディスプレイシステム１２０に提供する運動変換関数を計算するように構成される。ディスプレイシステムは、ユーザ入力デバイス２０４の動きに続くグラフィカルユーザインターフェース４００内のカーソル４０２の動きを表示する。

例示的なユーザ入力デバイス２０４において、クリック事象は、典型的には、手動セレクタ２１２の迅速な移動を含む。コントローラシステム１１８は、ユーザ入力デバイス２０４に取り付けられる手動セレクタ２１２へのユーザ動作入力の発生中に変換機能を調整して、そのようなユーザ動作入力もユーザ入力デバイスの動きに影響を与え得るクリック事象を実行する命令で構成される。図９は、クリック事象がない場合に第１の変換Ｆ１を実装するための入力コントローラ１１８の構成を表す説明図である。図１０は、クリック事象がある場合に第２の変換Ｆ２を実施するための入力コントローラ１１８の構成を示す説明図である。

図９を参照すると、入力コントローラ１１８が、ユーザの指(digits)（例えば、指(fingers)および／または親指）の動き及び／または全体的な手の動きが、ユーザがクリック事象信号の起動を引き起こすプロセスにないことを示すことを決定することに基づいて、入力コントローラ１１８は、視認平面５０２内のカーソル４０２の動きを触覚平面５０４内のユーザ入力デバイス２０４の動きに追従させる第１の変換関数Ｆ１を付与する。より具体的には、例示的な入力コントローラ１１８は、視認平面５０２内のカーソル４０２のデカルト座標を触覚平面５０４内のユーザ入力デバイス２０４のデカルト座標と一致させるように構成される。その上、クリック事象がない場合、例示的な入力コントローラ１１８は、ユーザ入力デバイス２０４の動きをカーソル４０２の動きに規定量だけスケーリングすることができる。例えば、入力コントローラ１１８は、ユーザ入力デバイス２０４が触覚平面５０４内を移動する距離が、カーソル４０２が視認平面５０２内を移動する距離と正確に一致する、カーソル動作に対するユーザ入力デバイス動作の所定の１対１（１：１）の移動比(movement ratio)について較正されることができる。代替的に、例えば、入力コントローラ１１８は、ユーザ入力デバイス２０４が触覚平面５０４内を移動する距離が、カーソル４０２が視認平面５０２内を移動する距離の正確に２倍である、所定の２対１（２：１）の移動比について較正されることができる。

図１０を参照すると、入力コントローラ１１８が、ユーザの指（例えば、指及び／又は親指）の動き及び／又は全体的な手の動きが、ユーザがクリック事象を引き起こすプロセスにあることを示すことを決定することに基づいて、入力コントローラ１１８は、ユーザがクリック事象を引き起こしている時間間隔中のユーザ入力デバイスの移動に応答してカーソル移動の比を減少させる第２の変換機能Ｆ２を付与する。低減された移動比は、触覚平面５０４内のユーザ入力デバイスの動きに応答するクリック中に視認平面５０２内のカーソルの動きの減少を引き起こす。

図１１は、クリック事象中の時間に対するコントローラ動作のフィルタリングを決定するための例示的な第２の変換関数Ｆ２を表す第２の制御関数曲線８２０を示し、グリップボタンの変位の時間整列シーケンス、手形成のシーケンスとの時間整列、および視認平面インスタンスの時間整列シーケンスも示す、説明図である。本明細書で使用されるとき、セレクタ速度とは、ユーザ入力デバイス２０４のベースに対する手動セレクタ２１２の中立位置からの変位における増加率を指す。図６Ａの例示的なケースにおいて、セレクタ速度とは、ハンドル５３０に対するグリップボタン５３０ａ、５３０ｂの変位の増加の比(rate)を指す。本明細書で使用されるとき、コントローラ動作フィルタリングの増加は、カーソル４０２の動きに対するユーザ入力デバイス２０４の動きの比の減少に対応する。すなわち、コントローラ動作フィルタリングが大きければ大きいほど、触覚平面５０４内の入力デバイス２０４の動きはより少なくなり、視認平面５０２内のカーソル４０２の対応する動きを引き起こす。

例示的な第２の変換関数Ｆ２は、第１、第２および第３のフィルタリング関数を含む。第２の制御関数曲線８２０によって示されるように、入力コントローラ１１８は、第１の時間間隔Ｔ_１にわたる第１のフィルタリング関数８２２を付与するように構成され、その間に、ユーザ入力デバイス２０４に対する中立位置からの手動セレクタ２１２の変位は、第１の閾値変位速度（Ｔ_Ｒ１）未満の速度(rate)で変化する。第２の制御関数曲線８２０によって示されるように、入力コントローラ１１８は、第２の時間間隔Ｔ_２にわたる第２のフィルタリング関数８２４を付与するように構成され、その間に、ユーザ入力デバイス２０４に対する中立位置からの手動セレクタ２１２の変位は、第１の閾値速度Ｔ_Ｒ１以上の速度で変化する。第２の制御関数曲線８２０によって示されるように、入力コントローラ１１８は、グリップボタン５３０ａ、５３０ｂがもはや第１の閾値速度Ｔ_Ｒ１以上でない速度で移動し続けると、第２の時間間隔Ｔ_２に続いて、第３の時間間隔Ｔ_３にわたる第３のフィルタリング関数８２６を付与するように構成される。図６Ａの例示的なセレクタ２１２の場合、ハンドル５３０に対するグリップボタン５３０ａ、５３０ｂの中立位置からのグリップボタン５３０ａ、５３０ｂの変位は、第１、第２、および第３の時間間隔の各々の間に増加する。

第２制御関数曲線８２０を参照すると、第１の時間間隔Ｔ_１の間に、手動セレクタ２１２は、Ｔ_Ｒ１未満の速度でユーザ入力デバイス２０４に対して移動する（例えば、グリップボタン５３０ａ、５３０ｂは、ハンドル５３０に対して移動する）が、第１のフィルタリング関数８２２は、入力デバイスの移動速度の増加に応じてユーザ入力デバイスの動作フィルタリングを増加させ、手動セレクタ２１２が入力デバイス２０４に対して（例えば、グリップボタン５３０ａ、５３０ｂがハンドル５３０に対して）より速く移動すればするほど、カーソル４０２の対応する移動に対してユーザ入力デバイス２０４の移動が与える影響はより少なく、それはグリップボタン移動の速度の増加を伴う移動比の減少に対応する。よって、カーソル４０２の動きは、第１の時間間隔Ｔ_１の間の第１の動的な移動比に従ってユーザ入力デバイス２０４の動きに従う。図６Ａおよび図１１の例を参照すると、矢印８５２ａ、８５２ｂの方向は、指７５８、７６０の間およびグリップボタン５３０ａ、５３０ｂの間の変位距離の減少を示す。矢印８５２ａ、８５２ｂの長さは、グリップボタンが互いに近づく速度(rate)を示す。例示的な入力コントローラ１１８は、ユーザ入力デバイスの動作フィルタリングを、例えば、時間の線形関数、時間の対数関数または時間の指数関数として増加させるように（相応して移動比を減少させる）ために、第１のフィルタリング関数８２２を使用するように構成されることができる。よって、最初の時間間隔Ｔ_１の間に、セレクタ変位速度(selector displacement rate)は、第１の閾値速度Ｔ_Ｒ１よりも小さいが、ユーザ入力デバイスの動作フィルタリングは、セレクタ速度(selector rate)の増加に伴って増加する。

第２の時間間隔Ｔ_２の間に、手動セレクタ２１２は、第１の閾値速度Ｔ_Ｒ１以上の速度でセレクタに対して移動するが、第２のフィルタリング関数８２２は、実質的に一定の最小移動比をもたらす。代替の例示的な手術システム１００では、手動セレクタ２１２が第１の閾値速度Ｔ_Ｒ１以上の速度でセレクタに対して移動するが、第２のフィルタリング関数８２２は、カーソルの動きがユーザ入力デバイス２０４の動きに追従しないように、カーソル４０２の動きを停止させる。図６Ａおよび図１１の例を参照すると、矢印８５４ａ、８５４ｂの方向は、フィンガ７５８、７６０間のおよびグリップボタン５３０ａ、５３０ｂ間の変位距離の減少を示す。グリップボタン５３０ａ、５３０ｂは、第１の時間間隔の間よりも、第２の時間間隔Ｔ２の間により速い速度で移動しているので、矢印８５４ａ、８５４ｂは、矢印８５２ａ、８５２ｂよりも長い長さを有する。例示的な入力コントローラ１１８は、第２の時間間隔の間に移動比をゼロにさせるように構成されることができる。すなわち、カーソル４０２は、コントローラ２０４の動きに応じて移動しない。より具体的には、例えば、例示的な入力コントローラ１１８は、第２の時間間隔Ｔ_２（すなわち、移動比１：０への移行）の間にカーソルの動きを停止させるように構成されることができる。代替的に、例えば、例示的な入力コントローラ１１８は、第２の時間間隔Ｔ_２の間に移動比を１：０．１に減少させるように構成されることができる。よって、第２の時間間隔Ｔ_２の間に、ユーザ入力デバイス動作のフィルタリングおよび対応する移動比は、一定のままであるのに対し、グリップボタン５３０ａ、５３０ｂの移動速度は、Ｔ_Ｒ１であるか、あるいはＴ_Ｒ１を超える。第２の時間間隔Ｔ_２の持続時間は、セレクタ２１２、５３０ａ、５３０ｂの移動速度が第１の閾値速度Ｔ_Ｒ１と一致するかあるいは第1の閾値速度Ｔ_Ｒ１を超える時間の長さに基づいて決定される。

例示的な手術システム１００では、クリック事象８０９が、第２の時間間隔Ｔ_２の間にトリガされる。クリック事象のトリガは、例えば、図７の第１の制御関数曲線７２０および図８の制御プロセス８００に従って制御されることができる。

第３の時間間隔Ｔ_３の間に、手動セレクタ２１２の移動速度がＴ_Ｒ１未満の速度まで減少すると、第３のフィルタリング関数８２６は、時間の関数としてコントローラ移動フィルタリングを減少させ、それは、時間の関数としての移動比の増加に対応する。よって、カーソル４０２の動きは、第３の時間間隔Ｔ_３の間の第２の動的な移動比に従って、ユーザ入力デバイス２０４の動きに従う。図６Ａの例示的な手動セレクタ２１２およびユーザ入力デバイス２０４を参照すると、ハンドル５３０に対するグリップボタン５３０ａ、５３０ｂの移動速度は、第３の時間間隔Ｔ３の間よりも第２の時間間隔Ｔ_２の間でより大きいので、矢印８５６ａ、８５６ｂは、矢印８５４ａ、８５４ｂよりも短い長さを有する。例示的な入力コントローラ１１８が、例えば、時間の線形関数、時間の対数関数または時間の指数関数として、コントローラ動作フィルタリングを減少させる（相応して移動比を増加させる）ために、第３のフィルタリング関数８２６を使用するように構成されることができる。その上、例示的な入力コントローラ１１８は、例えば、移動比が１：１のクリック前移動比(pre-click movement ratio)を回復するまで、移動比を時間の関数として増加させるために、第３のフィルタリング関数８２６を使用するように構成されることができる。よって、第３の時間間隔Ｔ_３の間に、ユーザ入力デバイス動作のフィルタリングは時間とともに減少し、それは移動比が時間とともに増加することを意味する。

依然として図１１を参照すると、視認窓ディスプレイ(viewing window display)のインスタンス５０２ａ、５０２ｂ、５０２ｃ、５０２ｄのシーケンスは、第２の制御関数曲線８２０に沿った異なる点における視認平面５０２内のカーソル移動速度の変化を絵的に表す。各々の連続的な視認窓インスタンス５０２ａ、５０２ｂ、５０２ｃ、５０２ｄでは、それぞれの矢印５０３ａ、５０３ｂ、５０３ｄが、カーソル４０２と関連付けられている。各々のそれぞれの視認窓ディスプレイのインスタンスにおけるそれぞれの矢印の長さは、それぞれの視認窓の表示時間の間の移動比の大きさ、対応するカーソルの動きに対するユーザ入力デバイスの動きの比を表す。

例示的なクリック事象の開始前に、移動比フィルタは、それぞれの視認窓ディスプレイ５０２ａ内のそれぞれの矢印５０３ａの長い長さによって表される最大値移動比を付与するように機能する。

第１の時間間隔Ｔ_１の間に、Ｔ_Ｒ１未満の速度でのユーザ入力デバイス２０４に対する手動セレクタ２１２の移動に応答して、例示的な入力コントローラ１１８は、グリップボタン変位の減少速度の増加を伴う移動比の減少に対応する、ユーザ入力デバイス２０４に対する手動セレクタ２１２の移動速度の関数としてユーザ入力デバイスの移動フィルタリングを増加させるように、第２の変換関数Ｆ２によって構成される。移動比の減少は、視認窓ディスプレイ５０２ｂ内の矢印５０３ｂのより短い長さによって表される。

第２の時間間隔Ｔ_２の間に、手動セレクタ２１２がＴ_Ｒ１以上の速度でユーザ入力デバイス２０４に対して移動することに応答して、入力コントローラ１１８は、移動速度の継続的な増加にもかかわらず一定の最小移動比をもたらすように、第２の変換関数Ｆ２によって構成される。最小移動比は、視認窓ディスプレイ５０２ｃに矢印がないことによって表される。

第３の時間間隔Ｔ３の間に、もはやＴＲ１以上ではない減少した速度でのユーザ入力デバイス２０４に対する手動セレクタ２１２の動きに応答して、入力コントローラ１１８は、時間の関数としてコントローラ動作フィルタリングを減少させる（相応して移動比を増加させる）ように、第２の変換関数Ｆ２によって構成される。移動比の増加は、視認窓ディスプレイ５０２ｄ内の再出現および矢印５０３ｄによって表される。矢印５０３ｄのより短い長さは、移動比がクリック前レベルにまだ戻っていないことを示すことに留意されたい。

（コンピュータハードウェアおよび記憶デバイス）
図１２は、例示的な実施形態に従って、本明細書で議論された技術（例えば、方法論）のうちのいずれか１つ以上が実施することがある例示的な機械(マシン)を示す例示的なブロック図である。図１２は、例えば、コントローラシステム１１８を実装するために使用されることができる、より具体化されたコンピュータシステム１２００の説明図を示す。コンピュータシステム１２００は、例えば、コンピュータ化されたトレーニングモジュールを実装するように構成されることができる。代替の実施形態において、コンピュータシステム１２００は、スタンドアローンデバイスとして作動するか、あるいは他の機械に接続される（例えば、ネットワーク化される）ことがある。ネットワーク化された配置において、コンピュータシステム１２００は、サーバ－クライアントネットワーク環境内のサーバまたはクライアント機械の容量で、あるいはピア・ツー・ピア（または分散型）ネットワーク環境内のピア機械として作動することがある。コンピュータシステム１２００は、サーバコンピュータ、クライアントコンピュータ、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、または、その機械が取るべき行為を指定する命令のセット（シーケンスまたはその他）を実行することができる任意の機械であってよい。さらに、単一の機械（すなわち、コンピュータシステム１２００）のみが示されているが、「機械(machine)」という用語は、本明細書で議論される方法論のうちのいずれか１つ以上を実行するために命令のセット（または複数セット）を個別にまたは共同で実行する任意の機械の集合も含むと解釈されるべきである。

例示的なコンピュータシステム１２００は、バス１２０８を介して互いに通信する、プロセッサ１２０２（例えば、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、またはそれらの両方）、メインメモリ１２０４、およびスタティックメモリ１２０６を含む。コンピュータシステム１２００は、例えば、手術器具１２４およびフレキシブル器具１２０の位置を表示するために使用され得るビデオディスプレイユニット１２１０（例えば、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、タッチスクリーン、または陰極線管（ＣＲＴ））をさらに含むことがある。コンピュータシステム１２００は、英数字入力デバイス１２１２（例えば、キーボード、物理キーボード、ソフトウェアを使用する仮想キーボード）、カーソル制御デバイスまたは入力センサ１２１４（例えば、マウス、トラックパッド、トラックボール、センサまたはリーダ、機械読取可能情報リーダ、バーコードリーダ）、ディスクドライブユニット１２１６、信号発生デバイス１２１８（例えば、スピーカ）、およびネットワークインターフェースデバイスまたはトランシーバ１２２０も含む。

ディスクドライブユニット１２１６は、本明細書に記載される方法論または機能のうちのいずれか１つ以上を具体化する命令１２２４の１つ以上のセット（例えば、ソフトウェア）が記憶される非一時的な機械読取可能な記憶デバイス媒体１２２２を含む。命令１２２４は、コンピュータシステム１２００による実行中に、メインメモリ１２０４、スタティックメモリ１２０６および／またはプロセッサ１２０２内に、完全にまたは少なくとも部分的に存在することがあり、メインメモリ１２０４およびプロセッサ１２０２も、非一時的な機械読取可能な記憶デバイス媒体を構成する。非一時的な機械読取可能な記憶デバイス媒体１２２２は、集積回路設計および波形構造を記憶することもできる。命令１２２４は、ネットワークインターフェースデバイスまたはトランシーバ１２２０を介して、ネットワーク１２２６を通じてさらに送信または受信されることがある。機械読取可能な記憶デバイス媒体１２２２は、単一の媒体であるように例示的な実施形態に示されているが、「機械読取可能な媒体」、「コンピュータ読取可能な媒体」などの用語は、命令１２２４の１つ以上のセットを記憶する単一の媒体または複数の媒体（例えば、集中型または分散型データベース、および／または関連するキャッシュおよびサーバ）を含むように理解されるべきである。「機械読取可能な媒体」は、機械による実行のための命令のセットを記憶し、符号化し、あるいは保持することができ、機械に本開示の方法論のうちのいずれか１つ以上を実行させる、任意の媒体を含むとも解釈されるべきである。「機械読取可能な媒体」という用語は、固体メモリ、光学および磁気媒体、ならびに搬送波信号を含むが、これらに限定されない。

明確にするために、上記の説明は、異なる機能ユニットまたはプロセッサを参照して、幾つかの実施形態を記載する場合があることが理解されるであろう。しかしながら、異なる機能ユニット、プロセッサまたはドメイン間の機能性の任意の適切な分配が、本開示を損なうことなく使用される場合があることが明らかであろう。例えば、別個のプロセッサまたはコントローラによって実行されるように示される機能性は、同じプロセッサまたはコントローラによって実行されることがある。故に、特定の機能ユニットへの言及は、厳密な論理的又は物理的構造又は組織を示すものとしてではなく、記載される機能性を提供するための適切な手段への言及としてのみ理解される。

本開示は幾つかの実施形態に関連して記載されるが、本明細書に記載される特定の形態に限定されることは意図されていない。当業者は、記載される実施形態の様々な構成が本開示に従って組み合わされる場合があることを認識するであろう。その上、様々な修正および変更が、本開示の範囲から逸脱することなく、当業者によって行われる場合があることが理解されるであろう。

加えて、前述の詳細な説明では、開示を合理化する目的で、様々な構成が単一の実施形態にまとめられていることが分かる。この開示方法は、特許請求される実施形態が各請求項に明示的に列挙されるよりも多くの構成を必要とするという意図を反映するものとして解釈されてはならない。むしろ、後続の請求項が反映するように、発明的な主題事項は、単一の開示された実施形態の全ての構成よりも少ない構成にある。よって、後続の特許請求の範囲は、本明細書によって詳細な記述に説明に組み込まれ、各請求項は、別個の実施形態として自立する。

本発明に従った実施形態の前述の説明および図面は、本発明の主題事項の原理を例示するにすぎない。従って、添付の特許請求の範囲に定義される本発明の主題事項の範囲から逸脱することなく、様々な修正が当業者によって行われ得ることが理解されるであろう。

よって、本発明の特定の例示的な実施形態が添付の図面に記載されかつ図示されるが、そのような実施形態は広範な本発明の主題を例示するにすぎず、限定するものではないこと、および本発明の実施形態は図示および記載される特定の構成および配置に限定されないことが理解されるべきである。何故ならば、様々な他の修正が当業者の心に思い浮かぶことがあるからである。

（様々な例）
例１は、マウント構造に移動可能に取り付けられる手動セレクタによってクリック事象の作動を制御する方法であって、中立位置からの手動セレクタの変位距離の量を感知するために１つ以上のセンサを使用することと、手動セレクタが中立位置からの第１の閾値距離よりも少ない変位距離にあることに応答して、維持力を付与するように第１の制御状態に従って１つ以上のモータを制御することと、手動セレクタが中立位置からの第１の閾値距離と中立位置からの第２の閾値距離との間の変位距離にあるのを感知することに応答して、中立変位位置からの手動セレクタの変位の増加の関数として増加する触覚力を手動セレクタに付与するように第２の制御状態に従って１つ以上のモータを制御することと、手動セレクタが中立位置からの第２の閾値距離を満たすことに応答して、ディスプレイシステムでクリック事象の発生を引き起こすようにクリック事象信号を付与することと、手動セレクタに付与される前記触覚力の大きさを第２の制御状態の間に付与される触覚力の最大の大きさよりも少ない減少した大きさまで減少させるように第３の制御状態に従って１つ以上のモータを制御することと、を含む、方法を含むことができる。

例２は、維持力がゼロである、例１に記載の方法を含むことができる。

例３は、維持力が、第２の制御状態に従って１つ以上のモータによって付与される触覚力よりも少ない、例１に記載の方法を含むことができる。

例４は、第３の制御状態に従って１つ以上のモータを制御することが、大きさが中立変位位置からの手動セレクタの変位の増大の関数として減少した大きさまで減少する触覚力を手動セレクタに付与するように１つ以上のモータを制御することを含む、例１に記載の方法を含むことができる。

例５は、第２の制御状態に従って１つ以上のモータを制御することが、触覚力の大きさを第１の速度で増大させるように１つ以上のモータを制御することを含み、第３の制御状態に従って１つ以上のモータを制御することが、触覚力の大きさを第２の速度で減少させるように１つ以上のモータを制御することを含み、第１の速度の大きさが、第２の速度の大きさよりも少ない、例４に記載の方法を含むことができる。

例６は、第３の制御状態に従って１つ以上のモータを制御することが、大きさが中立変位位置からの手動セレクタの変位の増大の関数として減少した大きさまで減少する触覚力を手動セレクタに付与するように１つ以上のモータを制御することを含む、例４に記載の方法を含むことができる。

例７は、第３の制御状態に従って１つ以上のモータを制御することが、減少した大きさまで瞬間的に減少する触覚力を手動セレクタに付与するように１つ以上のモータを制御することを含む、例４に記載の方法を含むことができる。

例８は、手動セレクタを中立位置まで移動させるために１つ以上のモータを使用することをさらに含む、例１に記載の方法を含むことができる。

例９は、手動セレクタを中立位置まで移動させるために弾性部材を使用することをさらに含む、例１に記載の方法を含むことができる。

例１０は、手動セレクタの動きを止めるために停止面を使用することをさらに含む、例１に記載の方法を含むことができる。

例１１は、手動セレクタの動きを止めるためにマウント構造にある停止面を使用することをさらに含む、例１に記載の方法を含むことができる。

例１２は、手動セレクタが中立位置からの第３の閾値変位距離に達するときに、手動セレクタのさらなる変位を停止させるために、手動セレクタに反作用力を付与するように位置付けられる停止面を使用することをさらに含む、例１に記載の方法を含むことができる。

例１３は、減少した大きさが手動セレクタに先ず付与される変位距離と第３の閾値距離との間の変位距離で手動セレクタに減少した大きさを付与するように第３の制御状態に従って１つ以上のモータを制御することをさらに含む、例１に記載の方法を含むことができる。

例１４は、１つ以上のセンサが、マウント構造に対する手動セレクタの変位を感知するように構成される、例１に記載の方法を含むことができる。

例１５は、手動セレクタの移動中の中立位置からの手動セレクタの変位の量を感知するために１つ以上のセンサを使用する、例１に記載の方法を含むことができる。

例１６は、マウント構造に移動可能に取り付けられる手動セレクタによってクリック事象の作動を制御する装置であって、手動セレクタの位置を感知するように構成される１つ以上のセンサと、手動セレクタに触覚力を付与するように構成される１つ以上のモータと、処理回路構成と、命令を記憶するメモリシステムと、を含み、命令は、処理回路構成によって実行されるときに、処理回路構成に、以下の動作を実行させ、動作は、中立位置からの手動セレクタの変位の量を感知するために前記１つ以上のセンサを使用することと、手動セレクタが中立位置からの第１の閾値距離よりも少ない変位距離にあることに応答して、維持力を付与するように第１の制御状態に従って１つ以上のモータを制御することと、手動セレクタが中立位置からの第１の閾値距離と中立位置からの第２の閾値距離との間の変位距離にあるのを感知することに応答して、大きさが中立変位位置からの手動セレクタの変位の増加の関数として増加する触覚力を手動セレクタに付与するように第２の制御状態に従って１つ以上のモータを制御することと、手動セレクタが中立位置からの第２の閾値距離を満たすことに応答して、ディスプレイシステムでクリック事象の発生を引き起こすようにクリック事象信号を付与することと、大きさが中立変位位置からの手動セレクタの変位の増加の関数として減少した大きさに減少する触覚力を手動セレクタに付与するために、第３の制御状態に従って１つ以上のモータを制御することであって、減少した大きさは、第２の制御状態の間に付与される触覚力の最大の大きさよりも少ない、１つ以上のモータを制御することと、手動セレクタに付与される触覚力の大きさを第２の制御状態の間に付与される触覚力の最大の大きさよりも少ない減少した大きさまで減少させるように第３の制御状態に従って１つ以上のモータを制御することと、を含む、装置を含むことができる。

例１７は、維持力がゼロである、例１６に記載の装置を含むことができる。

例１８は、維持力が、第２の制御状態に従って１つ以上のモータによって付与される触覚力よりも少ない、例１６に記載の装置を含むことができる。

例１９は、第３の制御状態に従って１つ以上のモータを制御する行為が、クリック事象を付与する行為の後に起こる、例１６に記載の装置を含むことができる。

例２０は、第３の制御状態に従って１つ以上のモータを制御することが、大きさが中立変位位置からの手動セレクタの変位の増大の関数として減少した大きさまで減少する触覚力を手動セレクタに付与するように１つ以上のモータを制御することを含む、例１６に記載の装置を含むことができる。

例２１は、第２の制御状態に従って１つ以上のモータを制御することが、触覚力の大きさを第１の速度で増大させるように１つ以上のモータを制御することを含み、第３の制御状態に従って１つ以上のモータを制御することが、触覚力の大きさを第２の速度で減少させるように１つ以上のモータを制御することを含み、第１の速度の大きさが、第２の速度の大きさよりも少ない、例２０に記載の装置を含むことができる。

例２２は、第３の制御状態に従って１つ以上のモータを制御することが、大きさが中立変位位置からの手動セレクタの変位の増大の関数として減少した大きさまで減少する触覚力を手動セレクタに付与するように１つ以上のモータを制御することを含む、例２０に記載の装置を含むことができる。

例２３は、第３の制御状態に従って１つ以上のモータを制御することが、減少した大きさまで瞬間的に減少する触覚力を手動セレクタに付与するように１つ以上のモータを制御することを含む、例２０に記載の装置を含むことができる。

例２４は、実行されるときに、プロセッサに以下の動作を実行させる命令をさらに含み、動作は、手動セレクタを中立位置まで移動させるように１つ以上のモータを制御することを含む、例１６に記載の装置を含むことができる。

例２５は、手動セレクタを中立位置まで移動させるように構成される弾性部材をさらに含む、例１６に記載の装置を含むことができる。

例２６は、手動セレクタが中立位置からの第３の閾値変位距離に達するときに手動セレクタの動きを停止させるように構成される停止面をさらに含む、例１６に記載の装置を含むことができる。

例２７は、第１の二次元（２Ｄ）平面内のカーソルの動きを、第２の２Ｄ平面内のユーザ入力デバイスの動きに基づいてならびにユーザ入力デバイスに移動可能に取り付けられる手動セレクタの動きに基づいて制御する方法であって、手動セレクタが、第１の閾値速度よりも少ない速度でユーザ入力デバイスに対して移動する間に、第１の２Ｄ平面内のカーソルの動きを、一定の移動比に従って第２の２Ｄ平面内のユーザ入力デバイスの動きに追従させることと、コントローラに対する手動セレクタの移動の速度が第１の閾値速度と第２の閾値速度との間にあることに応答して、第１の２Ｄ平面内のカーソルの動きを、ユーザ入力デバイスに対する手動セレクタの移動の速度の増大の関数として減少する移動比に従って第２の２Ｄ平面内のユーザインターフェースデバイスの動きに追従させることと、ユーザ入力デバイスに対する手動セレクタの移動の速度が第２の閾値速度より下であることに応答して、第１の２Ｄ平面内のカーソルの動きを、ユーザ入力デバイスに対する手動セレクタの移動の速度の減少の関数として増加する移動比に従って第２の２Ｄ平面内のユーザ入力デバイスの動きに追従させることと、を含む、方法を含むことができる。

例２８は、手動セレクタが第２の閾値速度よりも大きい速度でユーザ入力デバイスに対して移動することに応答して、第１の２Ｄ平面内のカーソルの動きを、第１の移動比よりも少ない第２の一定な移動比に従って第２の２Ｄ平面内のユーザ入力デバイスの動きに追従させることをさらに含む、例２７に記載の方法を含むことができる。

例２９は、手動セレクタが第２の閾値速度よりも大きい速度でユーザ入力デバイスに対して移動することに応答して、第１の２Ｄ平面内のカーソルの動きに、第２の２Ｄ平面内のユーザ入力デバイスの動きに追従することを停止させることをさらに含む、例２７に記載の方法を含むことができる。

例３０は、ディスプレイシステム内の第１の二次元（２Ｄ）画像ディスプレイ平面内のカーソルの動きを、第２の２Ｄ触覚平面内のユーザ入力デバイスの動きに基づいてならびにユーザ入力デバイスに移動可能に取り付けられる手動セレクタの動きに基づいて制御する装置であって、記手動セレクタの動きを感知するように構成される１つ以上のセンサと、処理回路構成と、命令を記憶するメモリシステムと、を含み、命令は、処理回路構成によって実行されるときに、処理回路構成に、以下の動作を実行させ、動作は、手動セレクタが第１の閾値速度よりも少ない速度でユーザ入力デバイスに対して移動する間に、第１の２Ｄ平面内のカーソルの動きを、一定な移動比に従って第２の２Ｄ平面内のユーザ入力デバイスの動きに追従させることと、ユーザ入力デバイスに対する手動セレクタの移動の速度が第１の閾値速度と第２の閾値速度との間にあることに応答して、第１の２Ｄ平面内のカーソルの動きを、ユーザ入力デバイスに対する手動セレクタの移動の速度の増大の関数として減少する移動比に従って第２の２Ｄ平面内のユーザ入力デバイスの動きに追従させることと、ユーザ入力デバイスに対する手動セレクタの移動の速度が第２の閾値速度より下に減少することに応答して、第１の２Ｄ平面内のカーソルの動きを、ユーザ入力デバイスに対する手動セレクタ移動の速度の減少の関数として増加する移動比に従って第２の２Ｄ平面内のユーザ入力デバイスの動きに追従させることと、を含む、装置を含むことができる。

例３１は、実行されるときに、プロセッサに以下の動作を実行させる、命令をさらに含み、動作は、手動セレクタが第２の閾値速度よりも大きい速度でユーザ入力デバイスに対して移動することに応答して、第１の２Ｄ平面内のカーソルを、第１の移動比よりも少ない第２の一定な移動比に従って第２の２Ｄ平面内のユーザ入力デバイスの動きに追従させることを含む、例３０に記載の装置を含むことができる。

例３２は、実行されるときに、プロセッサに以下の動作を実行させる、命令をさらに含み、動作は、手動セレクタが第２の閾値速度よりも大きい速度でユーザ入力デバイスに対して移動することに応答して、第１の２Ｄ平面内のカーソルに、第２の２Ｄ平面内のユーザ入力デバイスの動きに追従するのを停止させることを含む、例３０に記載の装置を含むことができる。

Claims (11)

1. マウント構造に移動可能に取り付けられる手動セレクタによってクリック事象の作動を制御する装置であって、
   前記手動セレクタの位置を感知するように構成される１つ以上のセンサと、
   前記手動セレクタに触覚力を付与するように構成される１つ以上のモータと、
   処理回路構成と、
   命令を記憶するメモリシステムと、を含み、
   前記命令は、前記処理回路構成によって実行されるときに、前記処理回路構成に、以下の動作を実行させ、前記動作は、
   中立位置からの前記手動セレクタの変位の量を感知するために前記１つ以上のセンサを使用することと、
   前記手動セレクタが前記中立位置からの第１の閾値距離よりも少ない変位距離にあることに応答して、維持力を付与するように第１の制御状態に従って１つ以上のモータを制御することと、
   前記手動セレクタが前記中立位置からの第１の閾値距離と前記中立位置からの第２の閾値距離との間の変位距離にあるのを感知することに応答して、大きさが前記中立変位位置からの前記手動セレクタの変位の増加の関数として増加する触覚力を前記手動セレクタに付与するように第２の制御状態に従って１つ以上のモータを制御することと、
   前記手動セレクタが前記中立位置からの前記第２の閾値距離を満たすことに応答して、
   ディスプレイシステムで前記クリック事象の発生を引き起こすようにクリック事象信号を付与することと、
   前記手動セレクタに付与される前記触覚力の大きさを前記第２の制御状態の間に付与される前記触覚力の最大の大きさよりも少ない減少した大きさまで減少させるように第３の制御状態に従って前記１つ以上のモータを制御することと、を含む、
   装置。
2. 前記維持力は、ゼロである、請求項１に記載の装置。
3. 前記維持力は、前記第２の制御状態に従って前記１つ以上のモータによって付与される触覚力よりも少ない、請求項１に記載の装置。
4. 前記第３の制御状態に従って前記１つ以上のモータを制御する行為は、前記クリック事象を付与する行為の後に起こる、請求項１に記載の装置。
5. 前記第３の制御状態に従って前記１つ以上のモータを制御することは、大きさが前記中立変位位置からの前記手動セレクタの変位の増大の関数として前記減少した大きさまで減少する触覚力を前記手動セレクタに付与するように前記１つ以上のモータを制御することを含む、請求項１に記載の装置。
6. 前記第２の制御状態に従って前記１つ以上のモータを制御することは、前記触覚力の大きさを第１の速度で増大させるように前記１つ以上のモータを制御することを含み、
   前記第３の制御状態に従って前記１つ以上のモータを制御することは、前記触覚力の大きさを第２の速度で減少させるように前記１つ以上のモータを制御することを含み、
   前記第１の速度の大きさは、前記第２の速度の大きさよりも少ない、
   請求項５に記載の装置。
7. 前記第３の制御状態に従って前記１つ以上のモータを制御することは、大きさが前記中立変位位置からの前記手動セレクタの変位の増大の関数として前記減少した大きさまで減少する触覚力を前記手動セレクタに付与するように前記１つ以上のモータを制御することを含む、請求項５に記載の装置。
8. 前記第３の制御状態に従って前記１つ以上のモータを制御することは、前記減少した大きさまで瞬間的に減少する触覚力を前記手動セレクタに付与するように前記１つ以上のモータを制御することを含む、請求項１に記載の装置。
9. 実行されるときに、前記プロセッサに以下の動作を実行させる命令をさらに含み、前記動作は、
   前記手動セレクタを前記中立位置まで移動させるように前記１つ以上のモータを制御することを含む、
   請求項１に記載の装置。
10. 前記手動セレクタを前記中立位置まで移動させるように構成される弾性部材をさらに含む、請求項１に記載の装置。
11. 前記手動セレクタが前記中立位置からの前記第３の閾値変位距離に達するときに前記手動セレクタの動きを停止させるように構成される停止面と、
    前記ユーザ入力デバイスに対する前記手動セレクタの移動の速度が前記第２の閾値速度より下に減少することに応答して、前記第１の２Ｄ平面内の前記カーソルの動きを、前記ユーザ入力デバイスに対する前記手動セレクタの移動の速度の減少の関数として減少する移動比に従って前記第２の２Ｄ平面内の前記ユーザ入力デバイスの動きに追従させることと、を含む、
    請求項１に記載の装置。
    

Images