JP6301443B2

JP6301443B2 - ツール搭載追跡システム及びコンピュータ支援外科手術の方法

Info

Publication number: JP6301443B2
Application number: JP2016501974A
Authority: JP
Inventors: ハイダー、ハニ; アル−シャーウィ、イブラヒム; アンドレスバレラ、オズバルド
Original assignee: ボードオブリージェンツオブザユニバーシティオブネブラスカ
Priority date: 2013-03-15
Filing date: 2014-03-13
Publication date: 2018-03-28
Anticipated expiration: 2034-03-13
Also published as: CN105377175A; US20190090959A1; EP2967657A4; US10080617B2; WO2014151474A1; US9498231B2; HK1220598A1; AU2014234107A1; US11464574B2; JP2016515871A; CA2909166C; US20140107471A1; CA2909166A1; CN105377175B; EP2967657A1; US20170281280A1

Description

本発明は、コンピュータ支援外科手術の分野に関する。より詳細には、本発明は、ツール上の追跡システムが外科手術の間に誘導又は支援を与える、手術室での様々な態様に関する。

（関連出願の相互参照）
本出願は、２０１３年３月１５日出願の「ツール搭載追跡システム及びコンピュータ支援外科手術の方法」と題する米国特許出願第１３／８４２，５２６号の優先権を主張するものである。米国特許出願第１３／８４２，５２６号は、２０１２年６月２７日出願の「ツール搭載追跡システム及びコンピュータ支援外科手術の方法」と題する国際出願（ＰＣＴ／ＵＳ２０１２／０４４４８６）に関連する。国際出願（ＰＣＴ／ＵＳ２０１２／０４４４８６）は、２０１１年６月２７日出願の「電動ツールのコンピュータ支援ナビゲーション及び制御用のシステム」と題する米国特許仮出願第６１／５０１，４８９号の優先権を主張するものである。これらの各々の全体を、あらゆる目的のために本願明細書に援用する。

（参照による組込み）
本明細書で言及する全ての出版物及び特許出願は、各出版物又は特許出願を本願に援用すると具体的かつ個別に示された場合と同様に、本願に援用される。

（連邦政府資金による研究開発の記載）
本発明は、国防総省より拠出された助成金第０５７８１０４号の政府支援で行われたものである。政府は、本発明において一定の権利を有する。

多くの外科手術の処置は、多数の位置合わせジグ及び複雑な軟組織の処置を必要とする複雑な処置である。位置合わせジグの準備及び配置ならびにその他の準備は、この処置の重要な部分であることが多いが、様々な誤差を伴う。例えば、人工膝関節全置換術（「ＴＫＲ」）を実行するときには、関節表面が適切に位置合わせされることを保証するために、人工関節を正確に移植しなければならない。この位置合わせが不正確であると、その位置ずれによって機能が損なわれ、最終的には関節が破損して、人工膝関節の一部分又は複数部分を置換するという複雑な作業が必要になる恐れがある。

人工関節を確実に正確に移植するために、ＴＫＲ処置中に、外科医は、大腿骨、脛骨、及びときには膝蓋骨の切開を誘導するための様々なジグを使用する。これらのジグは、複雑で高価なデバイスであり、外科手術の処置中に患者の体の上で位置づけて患者の体に取り付けるのにかなりの時間と技能を要する。

コンピュータ支援外科手術（ＣＡＳ）の登場により、外科手術の複雑な処置の多くが簡略化される見込みが出てきている。現在までに、切開用ジグ、ツール、及び患者をモニタリングするように設計された別々の部屋ベースのトラッキング・システムを利用するシステムが開発されている。いくつかの例では、コンピュータを使用して、工程中に外科医を誘導することができる。室内カメラをツールの近くに配置することも提案されている。しかし、外科的処置での視線の要件及びその他のリアルタイムでの動的な環境という課題に対処するためには、改善が必要である。

コンピュータ支援外科手術は有望であるが、システムを実用化し、外科医によって有用なものにするためには、多くの側面に対応する必要がある。ＣＡＳデータ及びさらに有用なユーザへの出力を処理する処置の効率、及び／又は品質を改善するために改善を必要としているコンピュータ支援外科手術の側面は、依然として多数存在している。

一般に、一実施形態では、ツール上に搭載した追跡及び誘導デバイスは、（１）外科手術ツールの一部分と解除可能に係合するための表面を有する筐体と、（２）それぞれがコンピュータ支援外科的処置のために選択された術野の実質的に全てを見るために選択された画像出力を提供するような配列になっている第１のカメラ及び第２のカメラであって、前記筐体に結合された、又は前記筐体内にある第１のカメラ及び第２のカメラと、（３）任意選択で、前記筐体に結合された、又は前記筐体内にあるセンサと、（４）少なくとも部分的には前記外科手術視野内で出力を提供するように構成されたプロジェクタと、（５）前記第１のカメラ及び前記第２のカメラのそれぞれから出力を受信し、前記コンピュータ支援外科的処置で使用するために前記第１のカメラ及び前記第２のカメラのそれぞれからの前記出力の少なくとも一部分を使用して画像処理動作を実行するように構成された、前記筐体内にある、又は前記筐体と通信している電子画像プロセッサと、からなる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記筐体内にある、又は前記筐体に結合された第２の１対のカメラとしての第３のカメラ及び第４のカメラ。

一般に、一実施形態では、ツール上に搭載した追跡及び誘導デバイスは、（１）手持ち型外科手術ツールの一部分と解除可能に係合するための表面を有する筐体と、（２）前記筐体に結合された、又は前記筐体内にある第１のカメラ及び第２のカメラを含む第１の１対のカメラと、（３）前記筐体に結合された、又は前記筐体内にある第３のカメラ及び第４のカメラを含む第２の１対のカメラと、からなる。前記筐体は前記外科手術ツールに結合されることが可能であり、前記第１のカメラ、前記第２のカメラ、前記第３のカメラ、及び前記第４のカメラが、前記筐体に結合された前記手持ち型外科手術ツールのアクティブ要素の少なくとも一部分を含む視野を有する画像出力を提供する位置になることが可能である。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。ツール上に搭載した追跡及び誘導デバイスは、前記筐体に結合された、又は前記筐体内にある１つ又は複数のセンサをさらに備えることが可能である。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。ツール上に搭載した追跡及び誘導デバイスは、前記第１の１対のカメラ及び前記第２の１対のカメラから出力を受信し、コンピュータ支援外科的処置の少なくとも１つの工程を促進するために前記第１の１対のカメラ及び前記第２の１対のカメラからの前記出力の少なくとも一部分を使用して画像処理動作を実行するように構成された、前記筐体内にある、又は前記筐体と通信している電子画像プロセッサをさらに備えることが可能である。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。ツール上に搭載した追跡及び誘導デバイスは、少なくとも部分的には前記視野内で出力を提供するように構成された、前記筐体に結合された、又は前記筐体内にあるプロジェクタをさらに備えることが可能である。

ツール上に搭載した追跡及び誘導デバイスの上記その他の実施形態は、１つ又は複数の
センサを備えることが可能である。この１つ又は複数のセンサは、（１）傾斜計、（２）ジャイロスコープ、（３）２軸ジャイロスコープ、（４）３軸ジャイロスコープ又はその他の多軸ジャイロスコープ、（５）１軸、２軸、３軸、又は多軸の加速度計、（６）電位差計、及び（７）前記ツール搭載追跡デバイスに関連するロール、ピッチ、ヨー、配向、又は振動の情報の１つ又は複数を提供するように構成されたＭＥＭＳ計器からなる一群から選択されることが可能である。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。ツール上に搭載した追跡及び誘導デバイスは、前記筐体内にある、又は前記筐体に結合された第３の１対のカメラとしての第５のカメラ及び第６のカメラをさらに備えることが可能である。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記外科手術視野は前記外科手術ツールのアクティブ要素をさらに備えることが可能である。前記アクティブ要素は、のこぎりの刃、バー、又はドリルであることが可能である。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記第１のカメラ及び前記第２のカメラは近距離場立体カメラであることが可能である。前記第３のカメラ及び前記第４のカメラは広視野カメラである。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。ツール上に搭載した追跡及び誘導デバイスは、前記筐体内にある、又は前記筐体に結合された第７のカメラ及び第８のカメラを含む第４の１対のカメラさらに備えることが可能である。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記第１の１対のカメラ、又は前記第２の１対のカメラは、赤外線スペクトル内で見るための物理的又は電子フィルタを備えることが可能である。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記第１のカメラ、前記第２のカメラ、前記第３のカメラ、及び前記第４のカメラは、約５０ｍｍ〜約２５０ｍｍの視野を有することが可能である。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記第１のカメラの視軸及び前記第２のカメラの視軸が、前記筐体又は前記筐体に取り付けられた外科手術ツールの長手方向軸とほぼ平行な線を基準として互いに向かって傾いていることが可能である。前記第３のカメラの視軸及び前記第４のカメラの視軸が、前記筐体又は前記筐体に取り付けられた前記外科手術ツールの前記長手方向軸とほぼ平行な線を基準として互いに向かって傾いていることが可能である。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記第１のカメラの視軸及び前記第２のカメラの視軸が、前記筐体に結合された前記外科手術ツールの前記アクティブ要素の長手方向軸とほぼ平行な線を基準として約０°から約２０°の間の角度で傾いていることが可能である。前記第３のカメラの視軸及び前記第４のカメラの視軸が、前記筐体に結合された前記外科手術ツールのアクティブ要素の前記長手方向軸とほぼ平行な線を基準として約０°から約２０°の間の角度で傾いていることが可能である。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記筐体は前記外科手術ツールに結合されることが可能であり、前記第１のカメラ、前記第２
のカメラ、前記第３のカメラ、前記第４のカメラ、及び前記プロジェクタが、前記外科手術ツールに対し固定の空間関係を有する。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記外科手術ツールのアクティブ要素と、前記プロジェクタ、前記第１のカメラ、前記第２のカメラ、前記第３のカメラ、及び前記第４のカメラとの間のオフセット距離は、前記筐体の構成と、前記筐体の前記外科手術ツールとの係合とに基づき決定されることが可能である。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記プロジェクタが、ピコ・プロジェクタであることが可能である。
上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記プロジェクタからの前記出力が、前記患者の解剖学的構造の一部分の上、前記術野表面の上、又は前記術野表面内に投影されるように適応されることが可能である。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記解剖学的構造の前記一部分が、骨であることが可能である。
上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記適応された出力が、前記解剖学的構造の湾曲、粗さ、又は状態に合わせて調節されることが可能である。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記電子画像プロセッサは、前記筐体と無線通信する、又は前記筐体の外側に位置することが可能である。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記コンピュータ支援外科的処置が、フリーハンド・ナビゲート・コンピュータ支援外科的処置であることが可能である。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記手持ち型外科手術ツールの一部分と解除可能に係合するための前記表面が、前記手持ち型外科手術ツールの前記一部分と相補的な湾曲を形成するように成形されることが可能である。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記外科手術ツールの前記一部分が、前記筐体表面との解除可能な機械的係合及び／又は解除可能な電気的係合に適応するように修正されることが可能である。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。外科手術ツールの一部分と解除可能に係合するための表面は、表面が外科手術ツールに結合されたときに、外科手術ツールのアクティブ・セグメントの少なくとも一部分が水平視野及び垂直視野内にあるように適応及び構成することができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。外科手術ツールのアクティブ・セグメントの少なくとも一部分は、コンピュータ支援外科手術中に使用される外科手術ツールのアクティブ要素の実質的に全てである可能性がある。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。プロジェクタ出力は、実質的に完全に水平視野及び垂直視野内にある可能性がある。
上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。第１
のカメラの視軸及び第２のカメラの視軸は、筐体又は筐体に取り付けられた外科手術ツールの長手方向軸とほぼ平行な線を基準として互いに向かって傾けることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。第１のカメラの視軸及び第２のカメラの視軸は、筐体の長手方向軸とほぼ平行な線を基準として約０°から約２０°の間の角度で傾けることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。第１のカメラの視軸及び第２のカメラの視軸は、筐体に結合された外科手術ツールと関連付けられた器具の長手方向軸とほぼ平行な線を基準として約０°から約２０°の間の角度で傾けることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。プロジェクタは、筐体内に位置決めすることができる。
上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。プロジェクタは、筐体内に位置決めすることができ、プロジェクタからの出力は、第１のカメラと第２のカメラの間の位置にある。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。プロジェクタからの出力は、第１のカメラ又は第２のカメラのうちの１つにより近づけることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。プロジェクタからの出力は、筐体に取り付けられた外科手術ツールと関連付けられたアクティブ要素の前方に出現するように投影することができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。プロジェクタからの出力は、筐体に取り付けられた外科手術ツールと関連付けられたアクティブ要素上又はアクティブ要素付近に投影することができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。プロジェクタは、第１のカメラ及び第２のカメラを含む平面より上方で、筐体内に位置決めすることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。プロジェクタは、第１のカメラ及び第２のカメラを含む平面より下方で、筐体内に位置決めすることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。カメラの軸を通る水平視野は、アクティブの軸を通る水平平面によって規定される平面とほぼ平行である、又は平面と鋭角をなす可能性がある。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。このデバイスは、筐体上のディスプレイをさらに備えることができる。
上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。ディスプレイは、ツール上に搭載した追跡ＣＡＳ（コンピュータ支援外科手術）処理工程から得られる情報をさらに含むことの可能な視覚出力を提供するように構成することができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。ディ
スプレイは、ＣＡＳ工程に関連する外科手術ツールのユーザに誘導を提供するように構成することができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。ディスプレイは、外科手術ツールの速度を調節するための誘導を、外科手術ツールのユーザに提供するように構成することができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。ディスプレイは、ツール上に搭載した追跡デバイスによって収集され、ＣＡＳ処置中に評価されたＣＡＳデータに関連する誘導を、外科手術ツールのユーザに提供するように構成することができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。プロジェクタ及びディスプレイは、外科手術ツールのユーザに視覚指示を提供するように構成することができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。ツール上に搭載した追跡デバイスは、コンピュータ支援外科手術データを収集して処理するようにさらに構成することができる。ツール上に搭載した追跡デバイス、又はツール上に搭載した追跡デバイスと通信している処理システムは、コンピュータ支援外科手術中にリアルタイムでＣＡＳデータを評価するように構成することができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。ＣＡＳを評価することは、ツール上に搭載した追跡デバイスから受信したデータとコンピュータ支援外科手術計画を用いて提供されるデータの比較をさらに含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。ツール搭載追跡デバイスは、１対のカメラからの視覚データ、ツール搭載追跡デバイス上のセンサからのデータ、及び外科手術ツールの動作特徴に関連するデータのうちの１つ又は複数に関連するデータを処理するように構成することができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。外科手術ツールは、ツール搭載追跡デバイスから制御信号を受信して、ＣＡＳデータに基づいて外科手術ツールの実行パラメータを調節するように構成することができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。このデバイスは、ツール搭載追跡デバイスからの制御信号を外科手術ツールに送って外科手術ツールの動作を制御するための、ツール搭載追跡デバイスと外科手術ツールの間の電子インタフェースをさらに備えることができる。実行パラメータは、ツールの切開速度を修正すること、又はツールの動作を停止させることを含む可能性がある。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。ツール搭載追跡デバイスは、コンピュータ支援外科手術（ＣＡＳ）処理モードを決定するように構成することができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。ＣＡＳ処理モードを決定することは、（１）要素に取り付けられた基準フレームを介して術野内でトラッキングされる要素の位置又は位置の組合せなどの術野内の物理的パラメータ、（２）基準フレーム入力、（３）取り込まれた投影画像、（４）センサによって検出される動き、（５）計算による動き検出、（６）コンピュータ支援外科手術の全体的な進捗、
及び（７）予め準備されたコンピュータ支援外科手術計画からの測定又は予測された偏倚のうちの１つ又は複数の評価に基づくことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。このデバイスは、ＣＡＳ処理モードを決定することによって、いくつかの既定の処理モードのうちの１つを選択することをさらに含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。既定の処理モードは、停空モード、部位接近モード、及び能動工程モードであり得る。
上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。既定の処理モードは、停空モードにすることができ、ツール搭載追跡デバイスは、停空モードＣＡＳアルゴリズムを使用してデータを受信し、処理するように構成される。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。このデバイスは、ツール搭載追跡デバイスを用いて受信したデータに停空モードＣＡＳアルゴリズムを適用した結果として生成される出力を外科手術ツールのユーザに提供するようにさらに構成することができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。既定の処理モードは、部位接近モードにすることができ、ツール搭載追跡デバイスは、部位接近モードＣＡＳアルゴリズムを使用してデータを受信し、処理するように構成される。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。このデバイスは、ツール搭載追跡デバイスを用いて受信したデータに部位接近モードＣＡＳアルゴリズムを適用した結果として生成される出力を外科手術ツールのユーザに提供するように構成することができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。既定の処理モードは、能動工程モードにすることができ、ツール搭載追跡デバイスは、能動工程モードＣＡＳアルゴリズムを使用してデータを受信し、処理するように構成される。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。このデバイスは、ツール搭載追跡デバイスを用いて受信したデータに能動工程モードＣＡＳアルゴリズムを適用した結果として生成される出力を外科手術ツールのユーザに提供するように構成することができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。ツール搭載追跡デバイスは、既定の処理モードのそれぞれが、ツール搭載追跡デバイスに搭載された処理システム又はツール搭載追跡デバイスと通信するコンピュータ支援外科手術コンピュータによって利用される１つ又は複数の処理ファクタを調節するように構成することができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。オン・ツール・トラッキングＣＡＳ処理モード・ファクタは、それぞれ単独又は任意の組合せで選択される、（１）カメラ・フレーム・サイズ、（２）オン・ツール・トラッキング・カメラ配向、（３）所望の調節に応じたカメラ・ソフトウェア・プログラム又はファームウェアの調節、（４）カメラの水平視野、垂直視野、又は水平視野と垂直視野の両方の中の関心領域のサイズを修正するためのオン・ツール・トラッキング・カメラ又はその他のカメラの画像出力の調節、（５）調節可能なカメラ・レンズの調節又は位置決めのための駆動信号、（６）画像フレーム・レート、（７）画像出力品質、（８）リフレッシュ・レ
ート、（９）フレーム・グラバ・レート、（１０）基準フレーム２、（１１）基準フレーム１、（１３）基準フレーム上の基準マーカ選択、（１３）基準フレーム外の基準マーカ選択、（１４）可視スペクトル処理、（１５）ＩＲスペクトル処理、（１６）反射スペクトル処理、（１７）ＬＥＤ又は照明スペクトル処理、（１８）外科手術ツール・モータ／アクチュエータの速度及び方向、ＣＡＳ処置全体の進捗、（１９）個々のＣＡＳ工程の進捗、（２０）画像データ・アレイの修正、（２１）オン・ツール・トラッキング・ピコ・プロジェクタのリフレッシュ・レート、（２２）オン・ツール・トラッキング・ピコ・プロジェクタの確度、（２３）１つ又は複数の画像セグメント化技術、（２４）ＣＡＳ進捗に基づく画像部分の１回又は複数回の論理型抽出、（２５）信号対雑音比の調節、（２６）１つ又は複数の画像増幅プロセス、１つ又は複数の撮像フィルタリング・プロセス、（２７）動的なリアルタイムの画像レートの上昇もしくは低下、又はピクセルもしくはサブピクセルのビジョン処理のための加重平均又はその他のファクタの適用、（２８）手ぶれ補償、（２９）のこぎり、ドリル、又はその他の電気外科手術ツールの器具雑音の補償、及び（３０）オン・ツール・トラッキングにより得られる情報に基づく振動補償プロセス、上記のＣＡＳ処理モード・ファクタの各々のうちの１つ又は複数から選択することができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。このデバイスは、前記既定の処理モードのうちの１つの前記選択の結果に基づいて、前記ユーザに提供される出力を調節するようにさらに構成されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記プロジェクタが、前記出力を前記ユーザに提供するように構成されることができる。
上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記ツール搭載追跡デバイスが、前記プロジェクタ出力の表示中に提示される外科手術部位の物理的特徴に基づいて、前記プロジェクタ出力を調節するように構成されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記物理的特徴が、前記プロジェクタ出力に利用可能な部位の一部分の形状、プロジェクタ投影野のトポグラフィ、前記プロジェクタ出力に利用可能な前記部位の前記一部分に対する前記プロジェクタの配向のうちの１つ又は複数であることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記プロジェクタが、前記外科手術ツールが外科手術部位で使用されている間に、前記外科手術ツールの前記ユーザに可視の情報を含む出力を投影するように構成されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記プロジェクタが、前記外科手術ツールの前記ユーザに可視の情報を含む出力を投影して、外科手術計画に応じた術野内の前記外科手術ツールのアクティブ要素の前記位置決めに関連する位置、相対運動、配向、又はその他のナビゲーション・パラメータを示すように構成されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記ツール搭載追跡デバイスが、膝に関連する外科的処置中に前記ユーザに対する前記ＣＡＳ出力を変更するように構成されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記ツール搭載追跡デバイスが、前記ツール搭載追跡デバイスの前記ディスプレイ、又はモバ
イルデバイスのスクリーン上に示されるグラフィカル・ユーザインタフェース上に前記出力を表示するようにさらに構成されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記ツール搭載追跡デバイスが、膝に関連する外科的処置中に、前記ＣＡＳ処理技術又は前記ユーザに対する出力を修正するように構成されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記ツール搭載追跡デバイスが、（１）大腿骨遠位部切開を行う工程、（２）大腿骨遠位部前面切開を行う工程、（３）大腿骨遠位部後面外側顆切開を行う工程、（４）大腿骨遠位部内側顆切開を行う工程、（５）大腿骨遠位部前面面取り切開を行う工程、（６）大腿骨遠位部後面外側顆面取り切開を行う工程、（７）大腿骨遠位部後面内側顆面取り切開を行う工程、及び（８）脛骨近位部切開を行う工程を含む膝に対するコンピュータ支援外科的処置の１つ又は複数の工程をユーザが実行することに基づいて、前記ユーザへのＣＡＳ出力を変更し、ＣＡＳ処理技術を変更するように構成されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記ツール搭載追跡デバイスが、（１）大腿骨遠位部切開を行う工程、（２）大腿骨遠位部前面切開を行う工程、８３）大腿骨遠位部後面外側顆切開を行う工程、（４）大腿骨遠位部内側顆切開を行う工程、（５）大腿骨遠位部前面面取り切開を行う工程、（６）大腿骨遠位部後面外側顆面取り切開を行う工程、（７）大腿骨遠位部後面内側顆面取り切開を行う工程、（８）大腿骨遠位部ボックス切開を行う工程（必要な場合）、（９）大腿骨遠位部安定化ポストの空洞を穿孔する工程、（１０）脛骨近位部切開を行う工程、（１１）脛骨近位部キール切開を行う工程、又は（１２）脛骨近位部の穴を穿孔する工程を含む膝に対するコンピュータ支援外科的処置の１つ又は複数の工程をユーザが実行することに基づいて、前記ユーザへのＣＡＳ出力を変更し、ＣＡＳ処理技術を変更するように構成されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記ツール搭載追跡デバイスが、肩、腰、足首、脊椎、又は肘のうちの１つに関連するＣＡＳ
ＯＴＴ使用可能な外科的処置中にユーザへのＣＡＳ出力を変更するように構成されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記ツール搭載追跡デバイスが、肩、腰、足首、脊椎、又は肘のうちの１つに関連するＣＡＳ
ＯＴＴ使用可能な外科的処置中にＣＡＳ処理技術又は前記ユーザへの出力を修正するように構成されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。このデバイスは、前記ツール搭載追跡デバイス内に、ＣＡＳ処置に関連するデータを評価するように構成された処理システムをさらに備えることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。このデバイスは、前記処理システムからアクセス可能な電子メモリ内に収容された、ＣＡＳ処理工程の実行に関連する電子命令をさらに備えることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。このデバイスは、ＣＡＳ処置に関連するデータを評価するように構成された、ツール搭載追跡デバイスと通信している処理システムをさらに備えることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。このデバイスは、前記ツール搭載追跡デバイスと通信している前記処理システムからアクセス可能な電子メモリ内に収容された、ＣＡＳ処理工程の実行に関連する電子命令をさらに備えることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記外科手術ツールの前記一部分が、前記カメラが前記外科手術ツールとともに使用されているときに前記外科手術ツールと関連付けられたアクティブ要素より下方に位置決めされるように選択されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記外科手術ツールの前記一部分が、前記カメラ及び前記プロジェクタが前記外科手術ツールとともに使用されているときに前記外科手術ツールと関連付けられたアクティブ要素より下方に、又は前記アクティブ要素の片側に位置決めされるように選択されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記ディスプレイが、前記ツール搭載追跡デバイスの前記ユーザのための入力デバイスとして構成されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記プロジェクタが、前記筐体内で傾斜したベース上に位置決めされることができる。
上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記プロジェクタが、ピコ・プロジェクタであることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記プロジェクタ出力が、レーザの形態で提供されることができる。
上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記外科手術ツールの前記一部分が、前記カメラ及び前記プロジェクタが前記外科手術ツールとともに使用されているときに前記外科手術ツールと関連付けられたアクティブ要素より上方に位置決めされるように選択されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。このデバイスは、前記画像処理動作に関連する情報を前記筐体とは分離した構成要素に提供するように構成された、前記筐体内の通信要素をさらに備えることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記通信要素が、前記筐体とは分離している前記構成要素に、また前記構成要素から、無線で提供される情報をさらに含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記通信要素が、有線接続を介して、前記筐体とは分離した前記構成要素に情報を提供される情報をさらに含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記筐体とは分離した前記構成要素が、前記外科手術ツールのアクティブ・セグメントを用いるコンピュータ支援外科手術のための前記情報の使用に関連する命令をコンピュータ可読媒体内に収容するコンピュータであることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記筐体内の前記通信要素が、前記画像処理動作に関連する情報を前記筐体とは分離した構成要素に提供するように構成されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。このデバイスは、前記電子画像プロセッサの動作から得られる出力を使用して実行されるコンピュータ支援外科手術処理工程に関連する少なくとも１つの視覚的に知覚可能な指示を含む出力を、少なくとも部分的には前記第１のカメラ及び前記第２のカメラの前記視野内で生成する命令を受信し、前記プロジェクタに提供するように構成された、前記筐体内の通信要素をさらに備えることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記視覚的に知覚可能な指示が、ユーザに知覚可能であることができる。
上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記視覚的に知覚可能な指示が、前記１対のカメラに知覚可能であることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。このデバイスは、トリガと、前記トリガの操作によって制御されるアクティブ要素とを有する外科手術ツールをさらに備えることができる。前記筐体が、前記外科手術ツールと解除可能に係合した状態で取り付けられることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記第１のカメラ及び前記第２のカメラの配列が、前記アクティブ要素の少なくとも一部分を含む垂直視野及び水平視野を提供することができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記水平視野及び前記垂直視野が、前記アクティブ要素の実質的に全てを含む体積を見るように選択されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記カメラの軸を通る前記水平視野が、前記アクティブ要素の軸を通る水平平面によって規定される平面とほぼ平行である、又は前記平面と鋭角をなすことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記第１のカメラ及び前記第２のカメラが、前記アクティブ・セグメントの長手方向軸のいずれかの側に配置されるように前記筐体内に配列されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記第１のカメラ及び前記第２のカメラが、前記アクティブ・セグメントの前記長手方向軸に向かって傾斜していることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記プロジェクタが、前記アクティブ・セグメントの長手方向軸に対して実質的に水平方向に位置合わせされた状態で前記筐体内に位置決めされることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記プロジェクタが、前記アクティブ要素の長手方向軸に対して角度をなして収束していく関係で前記筐体内に位置決めされることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。このデバイスは、電子機器と、通信機器と、前記ツールの動作を制御するように構成された前記デバイス内のソフトウェア構成要素とをさらに備えることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。このデバイスは、前記トリガと協働するように構成された知覚フィードバック機構をさらに備えることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。このデバイスは、前記外科手術ツールのトリガと置き換わるように構成された知覚フィードバック機構をさらに備えることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記知覚フィードバック機構が、前記機構内のはさみリンケージに結合された少なくとも１つの位置回復要素をさらに備えることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記知覚フィードバック機構が、前記リンケージの動作範囲又は応用性を制御可能に改変するために、前記機構内のはさみリンケージに結合された少なくとも１つの制約要素をさらに含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。このデバイスは、前記知覚フィードバック機構が、前記トリガと並んで配置されるように構成されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。このデバイスは、前記知覚フィードバック機構が、前記トリガを覆うように配置されるように構成されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。このデバイスは、前記機構の動きの特徴が、前記筐体内の構成要素に通信されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記第１のカメラからの出力が、第１のカメラ信号によって前記ツール搭載追跡デバイスの外部の前記電子撮像プロセッサに送信され、前記第２のカメラからの出力が、第２のカメラ信号によって前記ツール搭載追跡デバイスの外部の前記電子撮像プロセッサに送信されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記第１のカメラからの出力及び前記第２のカメラからの出力が、結合カメラ信号によって前記ツール搭載追跡デバイスの外部の前記電子撮像プロセッサに送信されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。このデバイスは、前記カメラからの画像データを解析して、１つ又は複数のトラッキング要素を識別し、前記１つ又は複数のトラッキング要素の画像データを、前記ツール搭載追跡デ
バイスの位置に対する数学的座標に変換するように構成された画像プロセッサをさらに備えることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記画像プロセッサが、前記ツール搭載追跡デバイスの前記筐体内にあることができる。
上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記画像プロセッサが、前記ツール搭載追跡デバイスの外部にあることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記プロジェクタが、前記１対のカメラを用いて前記画像データを取得してから３３ミリ秒以内の画像データに基づく出力を提供するように構成されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。このデバイスは、前記第１のカメラ、前記第２のカメラ、前記第３のカメラ、前記第４のカメラ、前記第５のカメラ、前記第６のカメラ、前記第７のカメラ、及び前記第８のカメラのうちの１つ又は複数が、前記筐体に対し可動であることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記ディスプレイが、タッチ・スクリーンを含むことができる。
上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記１つ又は複数のセンサは、複数の加速時計を含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記１つ又は複数のセンサは、前記筐体内の回路基板に支持されることができる。
上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記１つ又は複数のセンサは、前記回路基板の上の１つ又は複数のセンサを含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記１つ又は複数のセンサは、前記回路基板の下の１つ又は複数のセンサを含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記１つ又は複数のセンサは、前記回路基板において長手方向に隔離している２つのセンサを含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記１つ又は複数のセンサは、前記筐体の壁に取り付けられた、又は前記筐体の壁の内側にある、１つ又は複数のセンサを含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記１つ又は複数のセンサは、前記筐体の前部にある１つのセンサ、又は前記筐体の後部にある１つのセンサを含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記１つ又は複数のセンサは、前記筐体の対向する側面上のセンサを含むことができる。
上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。１つ又は複数のセンサは、前記第１のカメラ及び前記第２のカメラに隣接するセンサを含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記第１のカメラ及び前記第２のカメラの視野が、前記第３のカメラ及び前記第４のカメラの視野と異なることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記第１のカメラ及び前記第２のカメラの視野が、外科的処置中に患者に取り付けられる基準フレームの実質的に全てを含むように構成されることができる。

一般に、一実施形態では、フリーハンド外科手術ツールを用いるコンピュータ支援外科手術（ＣＡＳ）のための方法は、骨又は組織の切開処置が実行される患者の一部分の３次元表現を作成する工程と、（１）前記フリーハンド外科手術ツールのアクティブ要素を用いて前記処置が実行される骨又は組織の前記一部分に対応する前記３次元表現の一領域を識別する工程と、（２）骨又は組織の前記一部分に対応する前記３次元表現の前記領域に対する外科手術計画を作成する工程と、（３）前記処置が実行される骨又は組織の前記一部分の位置を決定する工程と、（４）前記フリーハンド外科手術ツールの位置を決定する工程と、（５）骨又は組織の前記一部分の前記位置と前記手持ち型外科手術ツールの前記位置との間の距離を計算する工程と、（６）骨又は組織の前記一部分と前記手持ち型外科手術ツールとの間の距離が第１のしきい値距離より大きい場合に、前記手持ち型外科手術ツールのモードを通常トラッキング・モードに設定する工程と、（７）骨又は組織の前記一部分と前記手持ち型外科手術ツールとの間の距離が前記第１のしきい値距離より小さく、第２のしきい値距離より大きい場合に、前記手持ち型外科手術ツールのモードを強化トラッキング・モードに設定する工程と、（８）骨又は組織の前記一部分と前記手持ち型外科手術ツールとの間の距離が前記第２のしきい値距離より小さい場合に、前記手持ち型外科手術ツールのモードを切開モードに設定する工程と、からなる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。この方法は、前記フリーハンド外科手術ツールの前記アクティブ要素に、前記外科手術ツールが切開モードである間に、前記骨又は組織を接触させる工程をさらに含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。この方法は、前記アクティブ要素に前記骨又は組織を接触させる工程は、複数の平面状の切開を大腿骨、脛骨、又は膝に行う工程を含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。この方法は、前記アクティブ要素に前記骨又は組織を接触させる工程は、複数の切開を肩、腰、足首、脊椎、又は肘に行う工程を含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記複数の平面状の切開は、人工膝関節全置換術の一部であることができる。
上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記複数の平面状の切開は、患者に移植される所定の人工関節の構成に基づき、予め選択されていることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。複数のＣＡＳＯＴＴ誘導される切開は、患者の肩、腰、足首、脊椎、又は肘に移植される所定の人工関節の構成に基づき、予め選択されていることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記複数の平面状の切開の実行の後、前記手持ち型外科手術ツールのモードを移植適合評価モードに変更する工程をさらに含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。この方法は、前記人工関節の前記複数の切開との適合性を決定するために、前記複数の平面状の切開を前記外科手術計画及び移植される前記人工関節と比較する工程をさらに含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。この方法は、骨又は組織の前記一部分の位置を決定する工程と、前記ＯＴＴ使用可能な手持ち型外科手術ツールの位置を決定する工程と、を繰り返す工程をさらに含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記通常トラッキング・モード及び前記強化トラッキング・モードが、（１）大腿骨と脛骨の間の動きの計算、（２）基準フレームの再較正、及び（３）見当合わせデッキに対する手持ち型外科手術ツールの近接どの決定からなる一群から選択される２次的なタスクを許可し、前記切開モードが、（ａ）腿骨と脛骨の間の動きの計算、（ｂ）基準フレームの再較正、及び（ｃ）見当合わせデッキに対する手持ち型外科手術ツールの近接どの決定からなる一群から選択される２次的なタスクを許可せず、前記切開モードが前記２次的なタスクを許可しないことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記モードを前記通常トラッキング・モード及び前記強化トラッキング・モードに設定する工程が、前記手持ち型外科手術ツールのモータ制御機能をオフにすることを含むことができる。前記モードを前記切開モードに設定する工程が、前記手持ち型外科手術ツールの前記モータ制御機能をイネーブルにすることを含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記モードを前記通常トラッキング・モードに設定する工程が、前記手持ち型外科手術ツールと関連付けられた２次元誘導グラフィカル・インタフェース（ＧＵＩ）をオフにすることを含むことができる。前記モードを前記強化トラッキング・モード及び前記切開モードに設定する工程が、前記手持ち型外科手術ツールと関連付けられた前記２次元誘導ＧＵＩをオンにすることを含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記モードを前記通常トラッキング・モード及び前記強化トラッキング・モードに設定する工程が、前記手持ち型外科手術ツールのプロジェクタをオフにすることを含むことができる。前記モードを前記切開モードに設定する工程が、前記プロジェクタをオンにすることを含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記モードを前記通常トラッキング・モードに設定する工程が、前記手持ち型外科手術ツールのディスプレイをオフにすることを含むことができる。前記モードを前記強化トラッキング・モード及び前記切開モードに設定する工程が、前記ディスプレイをオンにすることを含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記モードを前記通常トラッキング・モードから前記強化トラッキング・モードに変更することが、前記手持ち型外科手術ツールのナビゲーション及び誤差計算に割り当てられるリソースを増加させることを含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記
モードを前記強化モードから前記切開モードに変更することが、ナビゲーション及び誤差計算と、ツール・モータ制御装置と、前記手持ち型外科手術ツールに関連付けられた２次元誘導グラフィカル・インタフェースと、前記手持ち型外科手術ツールのプロジェクタ又はディスプレイとに割り当てられるリソースを増加させることを含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記第１のしきい値距離が、２００ｍｍより大きく、前記第２のしきい値距離が、１００ｍｍから２００ｍｍであることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記第２のしきい値距離が、７０ｍｍから１００ｍｍであることができる。
上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記第２のしきい値距離が、１０ｍｍから０ｍｍであることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記処置を実行する骨又は組織の前記一部分を決定する前に、前記第１のしきい値距離及び前記第２のしきい値距離を設定する工程をさらに含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。１つ又は複数の位置マーカを含む基準フレームを、骨又は組織の前記一部分に対して所定の空間的配向にある患者に取り付ける工程をさらに含み、骨又は組織の前記一部分の位置を決定する工程が、前記基準フレームの位置を決定することを含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。複数のカメラを使用して、前記１つ又は複数の位置マーカの位置を決定する工程をさらに含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記１つ又は複数の位置マーカの位置を、前記カメラからの画像データを解析し、前記１つ又は複数の位置マーカを識別し、前記１つ又は複数の位置マーカの画像データを、前記ツール搭載追跡デバイス及びフリーハンド外科手術ツールの位置に対する数学的座標に変換するように構成された画像プロセッサを使用して決定する工程をさらに含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記複数のカメラが、前記筐体内にある、又は前記筐体に結合されることができる。
一般に、一実施形態では、ツール上に搭載した追跡デバイスである、ツール搭載追跡デバイスが取り付けられた手持ち型外科手術器具を使用してコンピュータ支援外科的処置（ＣＡＳ）を実行するための方法は、（１）前記ツール搭載追跡デバイスの筐体上又は内にある第１の１対のカメラと、１つ又は複数のセンサとからのデータを用いて決定される前記ツールの位置を含むコンピュータ支援外科手術データを収集及び処理する工程と、（２）前記ＣＡＳデータを前記ＣＡＳ処置中にリアルタイムで評価する工程と、（３）ＣＡＳ工程に関連する誘導をユーザに提供することによって、前記ツール搭載追跡デバイスを用いてＣＡＳ関連動作を実行する工程と、（４）前記ＣＡＳ処置に関連する出力を投影又は表示することによって、前記評価する工程に関連する出力を前記外科手術器具の前記ユーザに提供する工程とからなる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記１つ又は複数のセンサが、傾斜計、ジャイロスコープ、２軸ジャイロスコープ、３軸ジャイロスコープ又はその他の多軸ジャイロスコープ、１軸、２軸、３軸、又は多軸の加速度計、電位差計、及び前記ツール搭載追跡デバイスに関連するロール、ピッチ、ヨー、配向
、又は振動の情報の１つ又は複数を提供するように構成されたＭＥＭＳ計器からなる一群から選択されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記方法は、前記ツール搭載追跡デバイスから受信したデータとコンピュータ支援外科手術計画を用いて提供されるデータの比較を評価する工程を含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記方法は、前記評価する工程の結果に基づき、既定のコンピュータ支援外科手術処置モードを決定する工程をさらに含み、前記既定の処理モードが、停空モード、部位接近モード、及び能動工程モードからなる一群から選択されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。（１）大腿骨遠位部切開を行う工程、（２）大腿骨遠位部前面切開を行う工程、（３）大腿骨遠位部後面外側顆切開を行う工程、（４）大腿骨遠位部内側顆切開を行う工程、（５）大腿骨遠位部前面面取り切開を行う工程、（６）大腿骨遠位部後面外側顆面取り切開を行う工程、（７）大腿骨遠位部後面内側顆面取り切開を行う工程、（８）大腿骨遠位部ボックス切開を行う工程、（９）大腿骨遠位部安定化ポストの空洞を穿孔する工程、（１０）脛骨近位部切開を行う工程、（１１）脛骨近位部キール切開を行う工程、又は（１２）脛骨近位部キールの穴を穿孔する工程を含む膝に対するコンピュータ支援外科的処置の１つ又は複数の工程をユーザが実行した結果として、前記ユーザにＣＡＳ出力を提供する前記工程が変更され、ツール上に搭載した追跡ＣＡＳ処理技術が修正されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記ツールの前記位置は、前記第１の１対のカメラの前記位置と患者に取り付けられる１つ又は複数の基準フレームとの間の空間関係と、前記１つ又は複数のセンサからのデータとに基づき、計算されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記ツール搭載追跡デバイスを用いるＣＡＳデータの収集及び処理は、前記ツール搭載追跡デバイスの筐体上又は内にある第２の１対のカメラからデータを受信することをさらに含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記ツールの前記位置は、前記第１の１対のカメラ及び前記第２の１対のカメラの前記位置と患者に取り付けられる１つ又は複数の基準フレームとの間の空間関係と、前記１つ又は複数のセンサからのデータとに基づき、計算されることができる。

一般に、一実施形態では、ツール上に搭載した追跡デバイスである、ツール搭載追跡デバイスが取り付けられた手持ち型外科手術器具を使用してコンピュータ支援外科的処置（ＣＡＳ）を実行するための方法は、（１）前記ツール搭載追跡デバイスの筐体上又は内にある第１の１対のカメラ及び第２の１対のカメラからのデータを用いて決定される前記ツールの位置を含むコンピュータ支援外科手術データを収集及び処理する工程と、（２）前記ＣＡＳデータを前記ＣＡＳ処置中にリアルタイムで評価する工程と、（３）ＣＡＳ工程に関連する誘導をユーザに提供することによって、前記ツール搭載追跡デバイスを用いてＣＡＳ関連動作を実行する工程と、（４）前記ＣＡＳ処置に関連する出力を投影又は表示することによって、前記評価する工程に関連する出力を前記外科手術器具の前記ユーザに提供する工程とからなる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。この
方法は、前記ツール搭載追跡デバイスから受信したデータとコンピュータ支援外科手術計画を用いて提供されるデータの比較を評価する工程を含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。この方法は、前記評価する工程の結果に基づき、既定のコンピュータ支援外科手術処置モードを決定する工程をさらに含み、前記既定の処理モードが、停空モード、部位接近モード、及び能動工程モードからなる一群から選択されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記ツール搭載追跡デバイスを用いてＣＡＳデータを収集及び処理する工程は、前記ツール搭載追跡デバイスの筐体上又は内にある１つ又は複数のセンサからデータを受信する工程をさらに含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記１つ又は複数のセンサが、傾斜計、ジャイロスコープ、２軸ジャイロスコープ、３軸ジャイロスコープ又はその他の多軸ジャイロスコープ、１軸、２軸、３軸、又は多軸の加速度計、電位差計、及び前記ツール搭載追跡デバイスに関連するロール、ピッチ、ヨー、配向、又は振動の情報の１つ又は複数を提供するように構成されたＭＥＭＳ計器からなる一群から選択されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記ツールの前記位置は、患者に取り付けられる１つ又は複数の基準フレーム前記第１の１対のカメラ及び前記第２の１対のカメラの前記位置の間の空間関係に基づき、計算されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。この方法は、コンピュータ支援外科手術処理工程に関連する出力を表示すること、投影すること、又は指示することのうちの１つ又は複数をさらに含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記提供する工程が、前記外科手術機器に取り付けられた前記ツール搭載追跡デバイスに実質的に提供されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。この方法は、知覚指示、触覚指示、音声指示、又は視覚指示のうちの１つ又は複数をさらに含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記知覚指示が、温度指示を含むことができる。
上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記触覚指示が、力指示又は振動指示を含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。出力の提供が、前記ツール搭載追跡デバイスの構成要素によって実行されることができる。
上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記評価する工程が、前記ツール搭載追跡デバイスから受信したデータとコンピュータ支援外科手術計画を用いて提供されるデータの比較を含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記評価する工程中に実行されるデータ処理工程が、前記ツール搭載追跡デバイスから受信する情報に基づいて適応されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記情報が、関連する術野情報からの視覚データ、前記ツール搭載追跡デバイス上のセンサからのデータ、及び前記外科手術機器の動作特徴に関連する取得されるデータのうちの１つ又は複数に関連することができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記出力が、前記評価する校訂の結果に応答して前記外科手術ツールの実行パラメータを調節するために自動的に生成される制御信号であることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記実行パラメータが、ツールの切開速度を修正すること、又はツールの動作を停止させることを含むことができ、前記提供する工程の前記出力が、電動ツールの動作（切開速度を修正すること、及び／又は切開速度を停止すること）を制御する電子機器をさらに含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記評価する工程の結果に基づいて、コンピュータ支援外科手術処理モードを決定する工程をさらに含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記決定する工程が、（１）要素に取り付けられた基準フレームを介して前記術野内でトラッキングされる前記要素の位置又は位置の組合せなどの前記術野内の物理的パラメータ、（２）基準フレーム入力、取り込まれた投影画像、センサによって検出される動き、計算による動き検出、コンピュータ支援外科的処置の全体的な進捗、及び予め準備されたコンピュータ支援外科手術計画からの測定又は予測された偏倚のうちの１つ又は複数の評価に基づくことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記決定する工程が、いくつかの既定の処理モードのうちの１つを選択する。
上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記既定の処理モードが、停空モード、部位接近モード、及び能動工程モードであることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記既定の処理モードが、停空モードであり、前記ツール搭載追跡デバイスから受信されるデータが、停空モードＣＡＳアルゴリズムを使用して処理されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記提供する工程が、前記ツール搭載追跡デバイスを用いて受信したデータに前記停空モードＣＡＳアルゴリズムを適用した結果として生成される出力を含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記既定の処理モードが、部位接近モードであり、前記ツール搭載追跡デバイスから受信されるデータが、部位接近モードＣＡＳアルゴリズムを使用して処理されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記提供する工程が、前記ツール搭載追跡デバイスを用いて受信したデータに前記部位接近モードＣＡＳアルゴリズムを適用した結果として生成される出力を含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記既定の処理モードが、能動工程モードであり、前記ツール搭載追跡デバイスから受信されるデータが、能動工程モードＣＡＳアルゴリズムを使用して処理されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記提供する工程が、前記ツール搭載追跡デバイスを用いて受信したデータに前記能動工程モードＣＡＳアルゴリズムを適用した結果として生成される出力を含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記既定の処理モードのそれぞれが、コンピュータ支援外科手術コンピュータ又は前記ツール搭載追跡デバイスに搭載された処理システムによって利用される１つ又は複数の処理ファクタを調節することができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記ツール上に搭載した追跡ＣＡＳ処理モード・ファクタが、それぞれ単独又は任意の組合せで選択される、（１）カメラ・フレーム・サイズ、（２）ツール上に搭載した追跡カメラ配向、（３）前記所望の調節に応じたカメラ・ソフトウェア・プログラム又はファームウェアの調節、（４）前記カメラの水平視野、前記垂直視野、又は前記水平視野と前記垂直視野の両方の中の関心領域のサイズを修正するためのツール上に搭載した追跡カメラ又はその他のカメラの画像出力の調節、（５）調節可能なカメラ・レンズの調節又は位置決めのための駆動信号、（６）画像フレーム・レート、（７）画像出力品質、（８）リフレッシュ・レート、（９）フレーム・グラバ・レート、（１０）基準フレーム２、（１１）基準フレーム１、（１２）基準フレーム上の基準マーカ選択、（１３）基準フレーム外の基準マーカ選択、（１４）可視スペクトル処理、（１５）ＩＲスペクトル処理、（１６）反射スペクトル処理、（１７）ＬＥＤ又は照明スペクトル処理、（１８）外科手術ツール・モータ／アクチュエータの速度及び方向、（１９）ＣＡＳ処置全体の進捗、（２０）個々のＣＡＳ工程の進捗、画像データ・アレイの修正、（２１）ツール上に搭載した追跡ピコ・プロジェクタのリフレッシュ・レート、（２２）ツール上に搭載した追跡ピコ・プロジェクタの確度、（２３）１つ又は複数の画像セグメント化技術、（２４）ＣＡＳ進捗に基づく画像部分の１回又は複数回の論理型抽出、（２５）信号対雑音比の調節、（２６）１つ又は複数の画像増幅プロセス、１つ又は複数の撮像フィルタリング・プロセス、（２７）動的なリアルタイムの画像レートの上昇もしくは低下のための加重平均又はその他のファクタの適用、ピクセルもしくはサブピクセルのビジョン処理、（２８）手ぶれ補償、（２９）のこぎり、ドリル、又はその他の電気外科手術ツールの器具雑音の補償、及びツール上に搭載した追跡により得られる情報に基づく振動補償プロセスのうちの１つ又は複数から選択されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記
出力が、前記既定の処理モードのうちの１つの前記選択の結果に基づいて調節されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記出力が、前記ツール搭載追跡デバイス内のプロジェクタによって前記ユーザに提供されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記プロジェクタ出力が、前記プロジェクタ出力の表示中に提示される外科手術部位の物理的特徴に基づいて調節されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記プロジェクタ出力が、前記外科手術ツールが外科手術部位で使用されている間に前記外科手術ツールの前記ユーザに可視である情報を含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記プロジェクタ出力が、外科手術計画に応じた術野内の前記外科手術ツールのアクティブ要素の位置決めに関連する位置、相対運動、配向、又はその他のナビゲーション・パラメータを示す、前記外科手術ツールの前記ユーザに可視の情報を含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記ユーザにＣＡＳ出力を出力する前記工程が、膝に関連する外科的処置中に実行される前記工程のうちの１つの結果として変更されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。出力を提供する前記工程が、システム・スクリーン、前記ツール上に搭載した追跡のＧＵＩインタフェース、又はモバイルデバイスのスクリーン状に前記出力を表示することをさらに含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。ツール上に搭載した追跡ＣＡＳ処理技術又は出力が、膝に関連する外科的処置中に実行される前記工程のうちの１つの結果として修正されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。（１）大腿骨遠位部切開を行う工程、（２）大腿骨遠位部前面切開を行う工程、（３）大腿骨遠位部後面外側顆切開を行う工程、（４）大腿骨遠位部内側顆切開を行う工程、（５）大腿骨遠位部前面面取り切開を行う工程、（６）大腿骨遠位部後面外側顆面取り切開を行う工程、（７）大腿骨遠位部後面内側顆面取り切開を行う工程、及び（８）脛骨近位部切開を行う工程を含むコンピュータ支援外科的処置の１つ又は複数の工程を前記ユーザが膝に実行した結果として、ＣＡＳ出力を前記ユーザに出力する前記工程が変更され、ツール上に搭載した追跡ＣＡＳ処理技術又は出力が修正されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。ＣＡＳ出力をユーザに出力する前記工程が、肩、腰、足首、脊椎、又は肘のうちの１つに関連する外科的処置中に実行される前記工程のうちの１つの結果として変更されることができ
る。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。ツール上に搭載した追跡ＣＡＳ処理技術又は出力が、肩、腰、足首、脊椎、又は肘のうちの１つに関連する外科的処置中に実行される前記工程のうちの１つの結果として修正されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記データを評価する前記工程が、前記ツール搭載追跡デバイス内の処理システムを用いて実行されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記処理システムからアクセス可能な電子メモリ内に収容された、ツール上に搭載した追跡ＣＡＳ処理工程の実行に関連する電子命令があることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記データを評価する前記工程が、前記ツール搭載追跡デバイスと通信している処理システムを使用して実行されることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記ツールの位置を患者に取り付けられた１つ又は複数の位置マーカに相対して判定する方法であって、前記カメラからの画像データを解析するように構成された画像プロセッサを使用して、前記１つ又は複数の位置マーカを識別し、前記１つ又は複数の位置マーカの画像データを、前記ツール搭載追跡デバイス及び手持ち型外科手術器具の位置に対する数学的座標に変換する工程をさらに含むことができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記画像プロセッサが、前記ツール搭載追跡デバイス内にあることができる。
上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記画像プロセッサが、前記ツール搭載追跡デバイスの外部にあることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。コンピュータ支援外科手術を実行するシステムは、そのツールの外科手術機能に対応するアクティブ要素を有する外科手術ツールを備えることができる。前記ツール搭載追跡デバイスは、前記外科手術ツールの少なくとも一部分と係合するように構成された筐体を使用して前記ツールに結合されることができ、コンピュータが、少なくとも部分的には前記ツール搭載追跡デバイスから取得したデータを使用してコンピュータ支援外科的処置を実行し、前記外科手術の工程中に使用される出力を提供するためのコンピュータ可読命令が記憶されている電子メモリを有する。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記プロジェクタが、（１）出力を患者の解剖学的構造の一部分に投影する投影機能、（２）外科手術シーン内の表面、（３）電子デバイス、又は（４）プロジェクタ出力範囲内のその他の物体のうちの１つ又は複数をさらに備えることができる。

上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記
コンピュータが、前記筐体内にあることができる。
上記その他の実施形態は、以下の特徴のうちの１つ又は複数を含むことができる。前記コンピュータが、前記ツール搭載追跡デバイスから分離されており、有線又は無線接続を介して接続されていることができる。

一態様では、知覚フィードバック機構は、第１のプラットフォームと、第２のプラットフォームと、第２のリンケージに結合された第１のリンケージによって形成されているはさみリンケージであって、前記はさみリンケージは、前記第１のプラットフォームと前記第２のプラットフォームとの間に延びており、前記第１のリンケージの第１の端部は前記第１のプラットフォームに結合されており、前記第１のリンケージの第２の端部は前記第２のプラットフォームに結合されており、前記第２のリンケージの第１の端部は前記第１のプラットフォームに結合されており、前記第２のリンケージの第２の端部は前記第２のプラットフォームに結合されている、はさみリンケージと、前記第１のプラットフォームと前記第２のプラットフォームとの間の相対運動の力の応答を調節するように前記はさみリンケージに結合されている少なくとも１つの位置回復要素と、を備える。幾つかの態様では、前記少なくとも１つの位置回復要素は、前記第１のリンケージの前記第１の端部と前記第２のリンケージの前記第２の端部との間に結合される。別の態様では、前記少なくとも１つの位置回復要素は前記第２のプラットフォームに沿って延びており、前記第２のプラットフォームに対する前記第２のリンケージ前記第２の端部の運動を調節するように前記はさみリンケージに結合される。一実施形態では、前記第１のプラットフォーム及び前記第２のプラットフォームは、外科手術ツールのオン／オフ又は速度制御トリガと共に動作するように、部分的に覆うように、部分的に囲むように、部分的に上方にあるように、又は完全に上方にあるように構成されている。一実施形態では、トリガとの係合用に前記第１のプラットフォーム内にトリガ・カバーが配置される。

知覚フィードバック機構のさらに別の構成では、前記第１のプラットフォームと前記第２のプラットフォームとの間の相対運動の力の応答を調節するように前記はさみリンケージに結合されている少なくとも１つの位置回復要素は、前記第１のプラットフォームと前記第２のプラットフォームとの間に延びるように提供される。さらになお、前記はさみリンケージに結合され前記第２のプラットフォームに沿って延びる位置回復要素が提供されてもよい。知覚フィードバック機構の１つの特定の構成では、前記位置回復要素は、前記第２のリンケージの前記第２の端部に結合された戻しバネであり、前記戻しバネに結合されたオーバライドバネがあり、また、前記オーバライドバネに結合されたアクチュエータがあってもよい。知覚フィードバック機構の別の実施形態では、前記位置回復要素は、前記第２のプラットフォームに対する前記はさみリンケージの前記第２の端部の運動に引張状態で結合されたバネである。さらに別の位置回復要素構成では、前記第２のプラットフォームに対する前記はさみリンケージの前記第２の端部の運動に圧縮状態で結合されたバネである。幾つかのフィードバック機構では、前記第２のプラットフォームの開口部から延び前記はさみリンケージに結合されるシャフトも存在し、前記はさみリンケージの運動は、前記開口部に対する前記シャフトに対応する。シャフトに対する代替は、例えば、可撓性シャフト部分、ケーブル部分、中空シャフト部分、または可撓性リンケージ部分を含む。

さらに別の構成では、知覚フィードバック機構の一実施形態は、コンピュータ支援外科手術における使用用に構成されたツール上に搭載した追跡（ＯＴＴ）デバイスの一実施形態と共に用いられてもよい。そのようなＯＴＴデバイスは、例えば、シャフト相対運動をコンピュータ支援外科手術処置において用いられる信号に変換するように適合及び構成されるツール上に搭載した追跡デバイス内で共に働く構成要素又は一連構成要素を含む。一態様では、構成要素は、アクチュエータ、ソレノイド、モータ、電位差計、リニア電位差計および誘導位置センサ、又はリニアエンコーダ、又は前記ケーブルの変位を記録及び測
定するようにケーブルに隣接している他のデバイスであってよい。一態様では、ケーブル運動は、外科手術ツールのトリガの動作を表す信号に関係する。まださらなる実施形態では、同じ構成要素または異なる構成要素が、第１のプラットフォームと第２のプラットフォームとの間の相対運動に影響を及ぼすシャフトに対する運動を与えるべく、アクチュエータとしても働いてよい。これらの様々な構成要素および機能は各々、コンピュータ支援外科手術処置中に外科手術ツールの動作を制御することに関係する信号に応じてシャフトに運動を与えるように、又はシャフトに応答するように構成されることを支持する際に用いられる。

別の実施形態では、ナビゲーションありのコンピュータ支援外科手術処置における使用の基準フレームが提供される。基準フレームは、平ら又は３次元の表面、又は周縁部に隣接する又は隣接しないマーカのクラスタと、前記フレームから延びるステムと、前記ステム上の結合部と、前記処置と関係する外科手術野以内の解剖学的構造の一部に係合するように構成された第１の表面と前記結合部に係合する第２の表面とを有するベースと、を含む。幾つかの構成では、結合部上の少なくとも１つの見当合わせ要素と、第２の表面上の少なくとも１つの見当合わせ要素とが存在してもよい。見当合わせ要素は、結合部が第２の表面と係合しているときに、１つ以上の繰り返し可能な３Ｄ相対位置および配向で対合して協働するように適応させ、構成することができる。まださらなる構成では、結合部上の複数の見当合わせ要素と、第２の表面上の複数の見当合わせ要素とがあり、結合部上の見当合わせ要素の一部が第２の表面上の見当合わせ要素の一部に係合すると、外科手術野内の第１の配向にフレームが向けられる。一態様では、第２の表面上の結合部が前記複数の見当合わせ要素の他のものに係合する間の運動は、外科手術野内の異なる第２の配向にフレームの位置を決める。幾つかの態様では、第１及び第２の配向は既知の位置であり、外科手術の事前計画において用いられる。基準フレームは、係合解剖学的構造用の表面又は固定要素用の開口、又は特定の解剖学的構造ターゲットに対合する構成など、他の特徴を含んでもよい。別の態様では、請求項Ｃ１によって提供される基準フレームは、フレームを有する基準フレーム・ガイドと、前記フレームから延びるステムとをさらに備え、ステムは、基準フレームの配置を補助するべく解剖学的特徴に係合するように構成された湾曲又は形状を有する。一態様では、基準フレーム・ガイドは、フレームに沿って、外周部又は基準フレームの一部分と一時的に係合する１つ又は複数の係合要素も含み、基準フレームと関連してベースを適切に位置決め及び調節することができるようにしている。一態様では、骨などの解剖学的構造の一部分は、顆に関連するステムの配置に関係する。別の態様において、基準フレームは、結合部および第２の表面の相対位置および配向を維持するように適合及び構成されたマウント結合部を含む。一態様では、マウント結合部は、マウント結合部がベースに対合するとき、マウント結合部が基準フレームの内部の一部分内にあるように、基準フレームに提供される。別の態様において、マウント結合部は、マウント結合部が基準フレームに取り付けられるとき、マウント結合部が結合部と第２の表面との間の対合接触の領域をほぼまたは完全に囲むように、基準フレームに提供される。

代替の一実施形態では、外科手術野内のコンピュータ支援外科手術処置を行う方法が提供される。第１に、第１の位置で外科手術野内の第１の基準フレームを付ける工程、次いで、第２の位置で外科手術野内の第２の基準フレームを付ける工程、及び、その後、第１及び第２の基準フレームの両方のから得られたコンピュータ支援外科手術処置中に用いられる配置情報を維持するとともに、外科手術ツールを用いて処置の作動工程を開始する工程。代替の一態様では、解剖学的構造のセクションに付けられた第１の及び／又は第２の基準フレームから得られたコンピュータ支援外科手術処置中に用いられる配置情報を維持するとともに、一工程中に、又は処置の一部として、解剖学的構造のセクションに対する外科手術ツールの位置を調節する工程がある。代替の一実施形態では、第１の及び／又は第２の基準フレームのいずれかから得られたコンピュータ支援外科手術処置中に用いられる配置情報を維持するとともに、一工程中に処置の一部として、外科手術ツールを停空さ
せる工程がある。またさらなる態様では、膝に対するコンピュータ支援外科手術処置の１つ又は複数の工程の促進において。開始、調節、又は停空の工程のうちの１つ又は複数が実行されることを備える方法が存在する。さらなる一代替では、１つの遠位部顆切開又は別個の遠位部内側及び外側顆切開を行う工程、前面切開を行う工程、後面外側顆切開を行う工程、後面内側顆切開を行う工程、前面面取り切開を行う工程、後面外側顆面取り切開を行う工程、後面内側顆面取り切開を行う工程、大腿骨ボックス切開を行う工程、外科手術部位の一部に１つ又は複数の穴を穿つ工程、及び脛骨キール構成要素固定アンカフィーチャのために脛骨近位部切開及び関連する穿孔又は切開を行う工程を含む、膝に対するコンピュータ支援外科手術処置のうちの１つ又は複数の工程を含む方法がある。さらに別の代替の実施形態では、方法は、取り付け工程の完了の後に第１の位置および第２の位置に第１の基準フレームおよび第２の基準フレームをそれぞれ維持するとともに、外科手術野に対する基準フレームの一部の配向を変更し、その後、コンピュータ支援外科手術処置の一部のために変更された配向から位置情報を用いる。またさらなる態様では、最初のおよび変更された配向の両方における、第１の基準フレームおよび第２の基準フレームの配向に関係のある位置情報は、予備計画処理の一部としてコンピュータ支援手術に用いられる。

別の代替の実施形態では、ツール上に搭載した追跡及び誘導デバイスがある。一態様では、このデバイスは、外科手術ツールの一部分と解除可能に係合するための表面又はフィーチャを有する筐体と、立体視構成にある第１のカメラ及び任意選択で第２のカメラであって、それぞれがコンピュータ支援外科的処置のために選択された術野の実質的に全て又は一部を見るために選択された画像出力を提供する（提供される場合）第１のカメラ及び第２のカメラとを備える。一態様におけるＯＴＴデバイスは、進行中のＯＴＴＣＡＳ処置に関してユーザに情報を伝えるために単純な出力デバイスを備えてもよい。さらに別の態様では、ＯＴＴデバイスは、少なくとも部分的には前記外科手術視野内で出力を提供するように構成された別個の又はオンボードのプロジェクタを備えてもよい。本明細書に記載されるＯＴＴデバイスの様々な実施形態は、筐体内の電子画像処理および画像通信性能用の種々様々な性能が組み込まれてよい。さらにまた、追加の実施形態は、ＯＴＴデバイスの一実施形態によって提供される１台、２台、又はそれ以上のカメラの各々から出力を受信するように構成されてもよい。これに加えてまたは任意選択で、ＯＴＴデバイスの電子機器及び処理能力は広範囲のデジタル処理機能を行うために利用されてもよい。一態様では、ＯＴＴに含まれる電子機器及びは、コンピュータ支援外科手術処置で使用するために構成されたカメラの一方又は両方からの出力の少なくとも一部分を用いて、画像処理動作を行う。一態様では、ＯＴＴデバイスによる使用用に選択されたカメラは、第１の及び第２のカメラから約７０ｍｍから約２００ｍｍまで、または任意選択で約４０ｍｍから２５０ｍｍまでの視界を含んでよい。他の範囲およびカメラ構成が様々な他の実施形態において用いられてもよい。

さらなる一実施形態では、前記手持ち型外科手術ツールの一部分と解除可能に係合するための前記ＯＴＴ筐体の表面は、前記筐体との係合用に選択された前記外科手術ツール又は修正された外科手術ツールの一部分と相補的な湾曲を形成するように成形され、一部の例では、前記外科手術ツールの前記一部分が、前記筐体表面との解除可能な機械的係合及び／又は解除可能な電気的係合に適応するように修正される。一例では、外科手術ツールの一部分と解除可能に係合するための前記表面が、前記表面が前記外科手術ツールに結合されたときに、前記外科手術ツールのアクティブ・セグメントの少なくとも一部分が前記水平視野及び前記垂直視野内にあるように適応及び構成される。

さらなる態様では、別個の又はオンボードのプロジェクタは、以下のような属性を備えてよい。前記プロジェクタからの前記出力が、前記筐体に取り付けられた外科手術ツールと関連付けられたアクティブ要素上又は前記アクティブ要素付近に投影される。前記プロ
ジェクタからの前記出力が、手術場面における前記手術野表面上、又は内の骨及び／又は囲む組織などの患者の解剖学的部分の一部分に対する投影に適合されてよい。
適合処理によって、解剖学的部分の湾曲、荒さ、又は状態に適合されたプロジェクタ出力が与えられる。一態様では、プロジェクタは、ピコ・プロジェクタとして知られている。

一実施形態では、ツール上に搭載した追跡デバイスである、ツール搭載追跡デバイスが取り付けられた手持ち型外科手術機器を使用してコンピュータ支援外科的処置を実行するための方法は、前記ツール搭載追跡デバイスを用いて、コンピュータ支援外科手術データを収集及び処理する工程と、前記データを前記コンピュータ支援外科的処置中にリアルタイムで評価する工程と、前記ツールの動作を制御し、前記ツールの速度を制御し、かつＣＡＳ工程に関連する誘導をユーザに提供する動作、前記ツールの動作又は速度を制御する、あるいは前記ユーザに誘導を提供して前記の速度を調節する動作、及び前記外科手術機器のユーザに前記評価する工程に関連する出力を提供する動作のうちの少なくとも２つから選択したＣＡＳ関連動作を、前記ツール搭載追跡デバイスを用いて実行する工程とからなる。また、追加又は代替の態様では、コンピュータ支援外科手術処理工程に関連する出力を表示すること、投影すること、又は指示することのうちの１つ又は複数をさらに含んでもよい。

また、追加又は代替の態様では、前記出力が、知覚指示、触覚指示、音声指示、又は視覚指示のうちの１つ又は複数をさらに含むか、前記知覚指示が、温度指示を含むか、前記触覚指示が、力指示又は振動指示を含んでよい。さらなる態様では、前記出力が、前記評価する校訂の結果に応答して前記外科手術ツールの実行パラメータを調節するために自動的に生成される制御信号である。他の態様では、前記実行パラメータが、ツールの切開速度を修正すること、又はツールの動作を停止させることを含み、前記提供する工程の前記出力が、電動ツールの動作（切開速度を修正すること、及び／又は切開速度を停止すること）を制御する電子機器をさらに含む。追加又は代替の態様では、前記決定する工程が、要素に取り付けられた基準フレームを介して前記術野内でトラッキングされる前記要素の位置又は位置の組合せなどの前記術野内の物理的パラメータ、基準フレーム入力、取り込まれた投影画像、センサによって検出される動き、計算による動き検出、コンピュータ支援外科的処置の全体的な進捗、及び予め準備されたコンピュータ支援外科手術計画からの測定又は予測された偏倚のうちの１つ又は複数の評価に基づく。さらにまた、前記決定する工程が、いくつかの既定の処理モードのうちの１つ、例えば、停空モード、部位接近モード、及び能動工程モードを選択する。これらのモードの各々において、特定の出力、処理技術、及びアルゴリズムがＣＡＳデータに適用される。

さらなる態様では、前記ツール上に搭載した追跡ＣＡＳ処理モード・ファクタが、それぞれ単独又は任意の組合せで選択される、カメラ・フレーム・サイズ、ツール上に搭載した追跡カメラの配向、前記所望の調節に応じたカメラ・ソフトウェア・プログラム又はファームウェアの調節、前記カメラの水平視野、前記垂直視野、又は前記水平視野と前記垂直視野の両方の中の関心領域のサイズを修正するための前記ツール上に搭載した追跡・カメラ又はその他のカメラの画像出力の調節、調節可能なカメラ・レンズの調節又は位置決めのための駆動信号、画像フレーム・レート、画像出力品質、リフレッシュ・レート、フレーム・グラバ・レート、基準フレーム２、基準フレーム１、基準フレーム上の基準マーカ選択、基準フレーム外の基準マーカ選択、可視スペクトル処理、ＩＲスペクトル処理、反射スペクトル処理、ＬＥＤ又は照明スペクトル処理、外科手術ツール・モータ／アクチュエータの速度及び方向、ＣＡＳ処置全体の進捗、個々のＣＡＳ工程の進捗、画像データ・アレイの修正、ツール上に搭載した追跡ピコ・プロジェクタのリフレッシュ・レート、ツール上に搭載した追跡・ピコ・プロジェクタの確度、１つ又は複数の画像セグメント化技術、ＣＡＳ進捗に基づく画像部分の１回又は複数回の論理型抽出、信号対雑音比の調節、１つ又は複数の画像増幅プロセス、１つ又は複数の撮像フィルタリング・プロセス、動
的なリアルタイムの画像レートの上昇もしくは低下、又はピクセルもしくはサブピクセルのビジョン処理のための加重平均又はその他のファクタの適用、手ぶれ補償、のこぎり、ドリル、又はその他の電気外科手術ツールの器具雑音の補償、及びツール上に搭載した追跡により得られる情報に基づく振動補償プロセス、ＯＴＴデバイスが任意の１つ又は複数の追加のＯＴＴＣＡＳ処理モード因子とともに搭載されている場合にはＬＣＤタッチ・スクリーンを通じた任意のユーザ・プリファレンスのうちの１つ又は複数から選択される。

さらに他の態様では、前記出力が、前記ツール搭載追跡デバイス内のプロジェクタによって前記ユーザに提供される。これに加えて、前記プロジェクタ出力が、前記プロジェクタ出力の表示中に提示される外科手術部位の物理的特徴に基づいて自動又は主動で調節される。前記物理的特徴が、前記プロジェクタ出力に利用可能な部位の一部分の形状、プロジェクタ投影野のトポグラフィ、前記プロジェクタ出力に利用可能な前記部位の前記一部分に対する前記プロジェクタの配向のうちの１つ又は複数であることが認められる。任意選択で、前記プロジェクタ又はＯＴＴデバイス上のディスプレイは、前記外科手術ツールが外科手術部位で使用されている間に前記外科手術ツールの前記ユーザに可視である情報を含む出力を有する。さらなる態様では、前記プロジェクタ又はＯＴＴデバイス上のディスプレイは、外科手術計画に応じた術野内の前記外科手術ツールのアクティブ要素の位置決めに関連する位置、相対運動、配向、又はその他のナビゲーション・パラメータを示す、前記外科手術ツールの前記ユーザに可視の情報を含む出力を有する。また、ＯＴＴデバイスからの出力を提供する前記工程が、システム・スクリーン、前記ツール上に搭載した追跡のＧＵＩインタフェース、又はモバイルデバイスのスクリーン状に前記出力を表示することをさらに含む。

さらなる態様では、上述の任意の工程は、大腿骨遠位部切開を行う工程、大腿骨遠位部前面切開を行う工程、大腿骨遠位部後面外側顆切開を行う工程、大腿骨遠位部内側顆切開を行う工程、大腿骨遠位部前面面取り切開を行う工程、大腿骨遠位部後面外側顆面取り切開を行う工程、大腿骨遠位部後面内側顆面取り切開を行う工程、大腿骨遠位部ボックス切開を行う工程（必要な場合）、大腿骨遠位部安定化ポストの空洞を穿孔する工程、脛骨近位部切開を行う工程、脛骨近位部キール切開を行う工程、及びペグ、ステム、キールなど脛骨キール構成要素に対する任意のアンカ固定フィーチャのために脛骨近位部切開及び関連する穿孔又は切開を行う工程、又は脛骨近位部の穴を穿孔する工程を含む膝に対するコンピュータ支援外科的処置の１つ又は複数の工程をユーザが実行した結果として、前記ユーザにＣＡＳ出力を出力する前記工程が変更され、ＯＴＴＣＡＳ処理技術が修正される。さらに他の代替では、ＣＡＳ出力をユーザに出力する前記工程が、肩、腰、足首、脊椎、又は肘、又は変形補正又は固定減少骨切断のうちの１つに関連する外科的処置中に実行される前記工程のうちの１つの結果として変更される。これに加えて、ＯＴＴＣＡＳ処理技術又は出力が、肩、腰、足首、脊椎、又は肘、又は変形補正又は固定減少骨切断のうちの１つに関連する外科的処置中に実行される前記工程のうちの１つの結果として修正される。

さらに別の態様では、コンピュータ支援外科手術を実行するシステムは、そのツールの外科手術機能に対応するアクティブ要素を有する外科手術ツールと、前記外科手術ツールの少なくとも一部分と係合するように構成された筐体を使用して前記ツールに結合されたツール搭載追跡デバイスと、前記外科手術ツール及び手術野に関する画像情報を取得するように構成された筐体における１つ以上のカメラと、前記外科手術ツールのアクティブ要素上又は近傍に投射される出力を提供するように構成された筐体におけるグラフィカル・スクリーン・ディスプレイなどの出力デバイス、又は任意選択でプロジェクタと、少なくとも部分的には前記ツール搭載追跡デバイスから取得したデータを使用してコンピュータ支援外科的処置を実行し、前記外科手術の工程中に使用される出力を提供するためのコン
ピュータ可読命令を電子メモリ内に記憶したコンピュータとからなる。ＯＴＴ性能を有するプロジェクタを備えるとき、前記プロジェクタは、出力を患者の解剖学的構造の一部分に投影する投影機能、外科手術シーン内の表面、電子デバイス、又はプロジェクタ出力範囲内のその他の物体のうちの１つ又は複数をさらに備える。一構成では、前記コンピュータが、前記筐体内にある。別では、前記コンピュータが、前記ツール搭載追跡デバイスから分離されており、有線又は無線接続を介して接続されている。さらなる態様では、システムは、上述の方法を選択するＣＡＳモードのいずれかを実行するためのコンピュータ可読命令のうちの１つ又は複数を含む。さらなる態様では、システムは、上述の要素のうちの１つ又は複数を有するツール搭載追跡デバイスを備える。システムは、１つ又は複数の基準フレームとともに用いるために適合及び構成され、本明細書に記載の方法に関連してよい。さらなる態様では、システムは、本明細書に記載の知覚フィードバック機構と組み合わせて用いるように適合及び構成されてよい。

本発明の新規な特徴は、後記の特許請求の範囲に具体的に記載する。本発明の特徴及び利点のよりよい理解は、本発明の原理を利用する例示的な実施形態について記載する以下の詳細な説明、及び以下の添付の図面を参照することによって得られる。

手術器具に取り付けられたツール搭載追跡デバイスの一例を示す等角図。外科手術器具に取り付けられたツール搭載追跡デバイスを示す等角図。カバーが取り外されて内部の構成用が見えている、図１のツール搭載追跡デバイスを示す等角図。カバーが取り外されて内部の構成用が見えている、図２のツール搭載追跡デバイスを示す等角図。図４のツール搭載追跡デバイスを示す上面図である。外科手術ツールから分離された図５のツール搭載追跡デバイスを示す等角図。図５及び図６でも見えているがこの図ではＯＴＴ筐体から取り外されている電子機器パッケージ及び制御回路を示す図。いくつかのＯＴＴデバイス構成のカメラ角度に基づくカメラ視野の変化に関連する図形情報を与える図。いくつかのＯＴＴデバイス構成のカメラ角度に基づくカメラ視野の変化に関連する図形情報を与える図。いくつかのＯＴＴデバイス構成のカメラ角度に基づくカメラ視野の変化に関連する図形情報を与える図。いくつかのＯＴＴデバイス構成のカメラ角度に基づくカメラ視野の変化に関連する図形情報を与える図。カメラ角度の変化に関連する追加情報を与える図。カメラ角度の変化に関連する追加情報を与える図。カメラ角度の変化に関連する追加情報を与える図。カメラ角度の変化に関連する追加情報を与える図。ツール搭載追跡デバイスとともに使用されるプロジェクタの側面図。ツール搭載追跡デバイスとともに使用される角度のついた配向になっているプロジェクタを示す側面図。ツール搭載追跡デバイスとともに使用されるプロジェクタの側面図。ツール搭載追跡デバイスとともに使用される角度のついた配向になっているプロジェクタを示す等角図。ツール搭載追跡デバイスとともに使用される角度のついた配向になっているプロジェクタを示す上面図。いくつかのツール搭載追跡デバイスの実施形態で使用される異なる電子構成要素構成を示す概略図。いくつかのツール搭載追跡デバイスの実施形態で使用されるいくつかの異なる電子構成要素構成を示す概略図。いくつかのツール搭載追跡デバイスの実施形態で使用されるいくつかの異なる電子構成要素構成を示す概略図。いくつかのツール搭載追跡デバイスの実施形態で使用されるいくつかの異なる電子構成要素構成を示す概略図。基準フレームを示す図。基準フレームを示す図。基準フレームを示す図。基準フレーム・ガイドを示す等角図。図１６Ａの基準フレームに取り付けられた図１７のガイドを示す図。図１８の構成要素が動かされる様子、及び解剖学的構造に取り付けられる位置を示す図。上記の取付けを示す等角図。ガイド・フレームの取外しを示す図。解剖学的構造上の適所にある残りのフレームを示す図。脛骨上の適所にある別の基準フレームを示す図。基準フレーム及びその構成要素を示す図。基準フレーム及びその構成要素を示す図。基準フレーム及びその構成要素を示す図。脛骨上の移植部位を示す図。フレームの構成要素を結合する可撓性リンケージを有する別の基準フレームの実施形態を示す図。フレームの構成要素を結合する可撓性リンケージを有する別の基準フレームの実施形態を示す図。フレームの構成要素を結合する可撓性リンケージを有する別の基準フレームの実施形態を示す図。図２６Ｂに示す上側及び下側マウントの周りで使用される可撓性結合部を示す図。図２６Ｂ１ａの可撓性結合部を示す等角図。図２６Ｂの上側及び下側マウントの周りで使用される可撓性結合部を示す図。図２６Ｂ２ａの可撓性結合部を示す等角図。代替の基準フレーム表面を示す図。代替の基準フレーム表面を示す図。概説した大腿骨遠位部付近の例示的な人工膝関節を示す等角図。人工膝関節全置換ＯＴＴＣＡＳ処置を実行するための位置にあるオン・ツール・トラッキング・システム及び関連する外科手術ツールを示す図。人工膝関節全置換ＯＴＴＣＡＳ処置を実行するための位置にあるオン・ツール・トラッキング・システム及び関連する外科手術ツールを示す図。人工膝関節全置換ＯＴＴＣＡＳ処置を実行するための位置にあるオン・ツール・トラッキング・システム及び関連する外科手術ツールを示す図。人工膝関節全置換ＯＴＴＣＡＳ処置を実行するための位置にあるオン・ツール・トラッキング・システム及び関連する外科手術ツールを示す図。人工膝関節全置換ＯＴＴＣＡＳ処置を実行するための位置にあるオン・ツール・トラッキング・システム及び関連する外科手術ツールを示す図。人工膝関節全置換ＯＴＴＣＡＳ処置を実行するための位置にあるオン・ツール・トラッキング・システム及び関連する外科手術ツールを示す図。人工膝関節全置換ＯＴＴＣＡＳ処置を実行するための位置にあるオン・ツール・トラッキング・システム及び関連する外科手術ツールを示す図。人工膝関節全置換ＯＴＴＣＡＳ処置を実行するための位置にあるオン・ツール・トラッキング・システム及び関連する外科手術ツールを示す図。人工膝関節全置換ＯＴＴＣＡＳ処置を実行するための位置にあるオン・ツール・トラッキング・システム及び関連する外科手術ツールを示す図。人工膝関節全置換ＯＴＴＣＡＳ処置を実行するための位置にあるオン・ツール・トラッキング・システム及び関連する外科手術ツールを示す図。循環ＯＴＴＣＡＳ方法（すなわちループ型又は時間反復型）の例示的なループを示す流れ図。図３１Ａに示す方法を用いて実行される例示的な処理工程の追加の詳細を示す流れ図。ＣＡＳ処理モードを決定するために使用される処理工程の例示的な追加の詳細を与える流れ図。ＣＡＳ処理モード及び代表的な出力を決定するための入力と考えられるいくつかのファクタを示す流れ図。停空モード、部位接近モード、及び能動工程モードの工程負荷を決定するために使用される例示的なＯＴＴＣＡＳモード調節処理ファクタを示す流れ図。ＯＴＴＣＡＳ工程適応の結果ならびにその結果得られるモード・アルゴリズム及びその修正された出力を含む例示的なＯＴＴＣＡＳ工程を示す流れ図。関連する外科手術ツールの動作特徴、パラメータ、あるいは任意のＯＴＴＣＡＳ工程又は処置におけるアクティブ要素の使用に関連するその他のデータを含めるための上述のＯＴＴＣＡＳ工程のいずれかの修正を含む例示的なＯＴＴＣＡＳ工程を示す流れ図。様々な代替の知覚フィードバック機構と、関連する運動力学的応答及び設計基準とに関連する図であって、トリガ力に応答して撓んでアクチュエータを動かす屈曲形態を示す図。様々な代替の知覚フィードバック機構と、関連する運動力学的応答及び設計基準とに関連する図であって、トリガ力に応答して変形し、形状を回復する、滑り台形形態を示す図である。様々な代替の知覚フィードバック機構と、関連する運動力学的応答及び設計基準とに関連する図であって、トリガ力に対して回転応答を提供するために使用される回転読取り機又はエンコーダを示す図。様々な代替の知覚フィードバック機構と、関連する運動力学的応答及び設計基準とに関連する図であって、トリガ力に応答して移動して、シャフトをベースの中に押し込むフレームを示し、シャフトの動きを、トリガ力を示す指示として登録することができる図。様々な代替の知覚フィードバック機構と、関連する運動力学的応答及び設計基準とに関連する図であって、偏位してトリガ力の大きさを示すことができるピン留め要素を示す図。様々な代替の知覚フィードバック機構と、関連する運動力学的応答及び設計基準とに関連する図であって、トリガ力を登録し、シャフトを偏移させるために使用することができる単純な４棒機構を上昇した位置で示す図。様々な代替の知覚フィードバック機構と、関連する運動力学的応答及び設計基準とに関連する図であって、トリガ力を登録し、シャフトを偏移させるために使用することができる単純な４棒機構を降下した位置で示す図。様々な代替の知覚フィードバック機構と、関連する運動力学的応答及び設計基準とに関連する図であって、位置回復要素がないはさみ機構を示す図。様々な代替の知覚フィードバック機構と、関連する運動力学的応答及び設計基準とに関連する図であって、位置回復要素として引張りバネを有するはさみ機構を示す図。様々な代替の知覚フィードバック機構と、関連する運動力学的応答及び設計基準とに関連する図であって、位置回復要素として圧縮バネを有するはさみ機構を示す図。様々な代替の知覚フィードバック機構と、関連する運動力学的応答及び設計基準とに関連する図であって、いくつかの実施形態によるはさみ機構を上昇した構成で示す側面図。様々な代替の知覚フィードバック機構と、関連する運動力学的応答及び設計基準とに関連する図であって、いくつかの実施形態によるはさみ機構を降下した構成で示す側面図。様々な代替の知覚フィードバック機構と、関連する運動力学的応答及び設計基準とに関連する図であって、図４０Ａ及び図４０Ｂのはさみ機構の変位特性に関するチャート。様々な代替の知覚フィードバック機構と、関連する運動力学的応答及び設計基準とに関連する図であって、図４０Ａ及び図４０Ｂのはさみ機構の変位特性に関するチャート。様々な代替の知覚フィードバック機構と、関連する運動力学的応答及び設計基準とに関連する図であって、外科医システム・オーバライド機能を有するはさみ機構の一実施形態を示す図。様々な代替の知覚フィードバック機構と、関連する運動力学的応答及び設計基準とに関連する図であって、図４１に示す概略的な機構と同様のはさみ機構を示す図。様々な代替の知覚フィードバック機構と、関連する運動力学的応答及び設計基準とに関連する図であって、図４２の機構の動作特徴を示す図。様々な代替の知覚フィードバック機構と、関連する運動力学的応答及び設計基準とに関連する図であって、図４２の機構の動作特徴を示す図。知覚フィードバック機構を示す等角図。図４５の機構の構成要素及び動作を示す図である。図４５の機構の構成要素及び動作を示す図である。図４５の機構の構成要素及び動作を示す図である。図４５の機構の構成要素及び動作を示す図である。図４５の機構の構成要素及び動作を示す図である。図４５の機構の構成要素及び動作を示す図である。外科手術器具のトリガと相互作用する位置に図４５の知覚フィードバック機構を有するツール（ここではのこぎり）を有する外科手術器具に搭載されたツール搭載追跡デバイスを示す側面図であり、トリガを覆ってトリガの手作業による押圧を防止又は減衰させるように構成された拡張状態の知覚フィードバック機構を示す図。外科手術器具のトリガと相互作用する位置に図４５の知覚フィードバック機構を有するツール（ここではのこぎり）を有する外科手術器具に搭載されたツール搭載追跡デバイスを示す側面図であり、折り畳まれてトリガを露出させ、手作業による制御を可能にしている知覚フィードバック機構を示す図。知覚フィードバック機構の別の代替形態を、開いた、又は拡張した状態で示す図。知覚フィードバック機構の別の代替形態を、閉じた状態で示す図。図４９Ａ及び図４９Ｂのデバイスの内部機構を示す図。図４９Ａ及び図４９Ｂのデバイスの内部機構を示す図。図４９Ａ及び図４９Ｂのデバイスの内部機構を示す図。外科手術ツールのトリガと協働するように搭載され、ＯＴＴ内の構成要素に関連するトリガを送信及び受信するように構成された、図４９Ａ及び図４９Ｂの機構の一実施形態を有する外科手術ツールとともに使用されるように結合された、ＯＴＴの一実施形態を示す図。２つの位置回復要素を利用するはさみ機構の代替の実施形態を示す破断図。ＯＴＴに結合されたトリガ型フィードバック機構を有する外科手術ツールに結合されたＯＴＴ筐体を有するディスプレイを含むオン・ツール・トラッキング及びナビゲーション・デバイス（ＯＴＴ）を示す等角正面図であって、ＯＴＴと通信する例示的なコンピュータシステムも示す図。ＯＴＴに結合されたトリガ型フィードバック機構を有する外科手術ツールに結合されたＯＴＴ筐体を有するディスプレイを含むオン・ツール・トラッキング及びナビゲーション・デバイス（ＯＴＴ）を示す等角後面図であって、ＯＴＴと通信する例示的なコンピュータシステムも示す図。ＯＴＴモジュール及びカメラの実施形態を示す図。ＯＴＴモジュール及びカメラの実施形態を示す図。ＯＴＴモジュール及びカメラの実施形態を示す図。ＯＴＴモジュール及びカメラの実施形態を示す図。ＯＴＴモジュール及びカメラの実施形態を示す図。ＯＴＴモジュール及びカメラの実施形態を示す図。ＯＴＴモジュール及びカメラの実施形態を示す図。ＯＴＴモジュール及びカメラの実施形態を示す図。ＯＴＴモジュール及びカメラの実施形態を示す図。ＯＴＴ使用可能センサの場所を示す図。ＯＴＴ使用可能センサの場所を示す図。ＯＴＴ使用可能センサの場所を示す図。ＯＴＴ使用可能センサの場所を示す図。ＯＴＴＣＡＳ方法に関連する流れ図。ＯＴＴＣＡＳ方法に関連する流れ図。ＯＴＴＣＡＳ方法に関連する流れ図。ＣＡＳ表示に関連する図。ＣＡＳ表示に関連する図。ＣＡＳ表示に関連する図。

本発明は、コンピュータ支援整形外科手術を実行するためのシステム、及びそのシステムを操作するための新規のツールである。本発明は、コンピュータ支援外科手術の全ての要素（ツール、ディスプレイ、及びトラッキング）を必要に応じて組み合わせて１つのスマート器具にすることによって、現在のコンピュータ支援外科手術システムの制限を克服するものである。この器具は、外部ナビゲーション・システムに依拠するものではなく、ツールは、自立型アセンブリとして全てのトラッキング機器をそのツール自体に含んでいる。その結果として、システム全体としては複雑さがかなり軽減され、外科医の邪魔になりにくく、既存の整形外科手術の実施法に容易に統合することができる。

概観すると、このシステムは、いくつかの主要なサブシステムで構成されている。第１のサブシステムは、ツール自体であり、これは、独立型ツール搭載追跡デバイスを担持するために使用されるか、オン・ツール・トラッキング（ＯＴＴ）機能を提供するサブシステム又はサブシステムの要素を収容するように修正される。これらの修正は、追加の構成要素を保持するようにシャーシを延長するような単純なものであってもよいし、追加のサブシステムに給電する、かつ／あるいはモータ速度もしくは給電されるツール上のその他のアクチュエータを停止又は制御するように電源システムを修正するような複雑なものであってもよい。第２のサブシステムは、トラッキング・サブシステムであり、これは、１つ又は複数のトラッカ及び１つ又は複数のトラッキング要素を含む。トラッカは、可視光又は別の波長の光に対して感度がある１つ、２つ（立体視）、又はそれ以上のカメラとす
ることができる。あるいは、トラッカは、電磁トラッカ又はその他の非カメラ型システムであってもよい。トラッキング要素は、トラッカがトラッキングするものであれば何でもよい。例えば、トラッカが赤外線カメラである場合には、トラッキング要素は、赤外線ＬＥＤ、あるいはカメラの周囲又はその他の場所から発出される赤外光を反射する受動表面である。トラッカが可視光に対して感度がある１対の高解像度カメラである場合には、トラッキング要素は、患者の特定の解剖学的構造、あるいはマーカ又は基準フレームなど、解剖学的構造上に直接作成されたマークとすることができる。このサブシステムは、様々な構成でツールに搭載された１つ又は複数のトラッカを利用して、１つ又は複数のトラッキング要素をトラッキングすることができる。１つの態様では、これらの（１つ又は複数の）トラッカ（ＯＴＴＣＡＳ外科手術を実行するためにツール、患者、及びその他の関連する物体をトラッキングするために必要なセンサをトラッキングするために使用される）は、少なくとも部分的には、外科手術ツール上に搭載されて自立型になった状態で位置する。ナビゲーション・システムは、トラッキング・サブシステムが（１つ又は複数の）トラッキング要素のツールに対する相対的な位置（場所及び配向／姿勢）を感知及び計算するときにナビゲートする。

第３のサブシステムは、外科手術計画の実施のＯＴＴＣＡＳ機能を実行するための適当なＣＡＳプラニング・ソフトウェア及びプログラミングを含むＯＴＴＣＡＳコンピュータシステムである。外科手術計画は、様々な手段によって生成し、表現することができるが、最終的には、３次元空間内のオペレータによって意図された切除部（例えば切開部、穿孔、除去すべき組織塊）の場所、配向、寸法、及びその他の属性を含む。このシステムは、患者の解剖学的構造のコンピュータ断層撮影画像（データセット）、及び基準点としての患者の解剖学的構造に適合するようにスケーリングされた患者の解剖学的構造の２Ｄもしくは３Ｄの仮想再構築モデル又はモーフィング・モデルなど、患者の解剖学的構造の撮像により得られる基準データセットを含むことができる。このコンピュータシステムは、トラッキング・システムからのデータ及び外科手術計画をコンパイルして、ツールによる所期の切除部を画定する境界の相対位置を計算する。いくつかの構成では、コンピュータシステムは、その他の構成要素と無線通信する完全に分離した構成要素とすることができる。他の構成では、コンピュータシステムは、その他のシステムと一体化される。トラッキング・システムとコンピュータシステムが協働して、外科医のツールの場所、配向、及び位置（外科手術経路）が所望の切除を生じるかどうかを判定することができる。なお、コンピュータ・サブシステム及びトラッキング・サブシステムが協働して、外科手術部位の３次元空間を確立することに留意することは重要である。トラッキング・サブシステムが機能するために必要な要素は、コンピュータ・サブシステム内に位置していてもよく、あるいはトラッキング・データをコンピュータ・サブシステムに送信する何らかの中間モードであってもよい。

最後のサブシステムは、リアルタイム（又は準リアルタイム）ＯＴＴＣＡＳステップ内で外科医のツールの位置、配向、及び動き、所期の切除部、ならびに両者の間のずれ（誤差）に関係するＯＴＴＣＡＳの適当な出力を外科医に提供する指示器である。指示器は、ツール及び患者の３Ｄ表現と追加の誘導画像又はデジタル投影（例えばピコ・プロジェクタ）とを切除部の適当な位置の患者の解剖学的構造上に表示しているＯＴＴを備えたツール上の、外科医に修正を与える指示を示す光パネル、オーディオ機器を備えたスピーカ、あるいはスクリーン、タッチ・スクリーン、又はｉＰｈｏｎｅ（登録商標）、ｉＰａｄ（登録商標）、もしくはｉＰｏｄ（登録商標）などのデバイス（すなわちいわゆる「スマートフォン」）など、外科手術経路を所期の切除部に対して位置合わせする／位置づける任意の様々な手段とすることができる。指示器は、リアルタイム（又は準リアルタイム）情報に基づいて正しい切除を行うように外科医を誘導するための適当なＯＴＴＣＡＳ出力を提供する働きをする。

次に、個々のサブシステムを見ていく。
コンピュータ支援外科手術用の外科手術室は、手術前計画に使用される第１のコンピュータを含む。例えば、患者の手術前解析、様々な要素の選択、及びモデル化された解剖学的構造上におけるインプラントの計画された位置合わせは、第１のコンピュータで実行することができる。手術室は、外科医を支援し、かつ／あるいは１つ又は複数の外科手術器具を制御する処置の間に使用される、ＯＲコンピュータとも呼ばれる第２のコンピュータを含むこともできる。さらに、手術室は、オン・ツール・トラッキング・システムの実施形態を介して外科手術器具に搭載されたコンピュータ（独立型、又は別のコンピュータと協働する）を含むこともできる。最後に、１つ又は複数のコンピュータは、切開器具トラッキング・システム、モータ制御システム、あるいは投影又は表示システムとインタフェース接続された、通信及び中間ステージのデータ処理機能のための専用ドライバとして使用される。第１のコンピュータは、本例では設けられているが、そのコンピュータの機能は独立型にすることもできるＯＲコンピュータでも実施されるので、いくつかの構成では省略されることもある。さらに、「手術前計画」全体が、ＯＴＴと関連して主にＯＲコンピュータを使用して最終的にＯＲ内で同時に起こることもある。それでも、特定の適用分野で望ましい場合には、第１のコンピュータを使用することもできる。手術前の計画及び処置は、オンライン・ウェブリンクからのデータ又はアクティブな誘導によって支援することもできる。本明細書で使用する「ＣＡＳシステム」又は「ＣＡＳコンピュータ」という用語は、ＣＡＳ機能を実行するためのこれらの組合せのうちのいずれかで実現されるコンピュータ又は電子構成要素を指す。さらに、システムのマイクロプロセシング・ユニットは、オン・ツール・トラッキング器具内に存在することもできる。このような構成では、計算及びユーザインタフェースは、使用されている外科手術ツールに搭載されたコンピュータ内で実行することもできるし、あるいは有線又は無線通信によってメイン・システム・コンピュータと協働して実行することもでき、その一部は、サブシステム「ドライバ」コンピュータによって行うこともできる。無線通信によって直接的に、又は中間ドライバ・コンピュータを介して間接的にメインＯＴＴＣＡＳコンピュータと協働して、このようなシステムは、実行しようとする理想的な切開に対する切開器具の場所の誤差解析を実行し、オン・ツール・トラッカの一部として設けられたスクリーンに、修正アクション及びその他の情報を、単独で、あるいはその目的のためのＯＴＴを備えた１つ又は複数のプロジェクタによって提供される出力と任意の形で組み合わせて表示する。

その結果として、ＯＴＴＣＡＳ用の外科手術室は、（ａ）骨又はその他の組織などの患者の構造、（ｂ）ＯＴＴを担持し、ＯＲコンピュータからの情報に基づいて外科医によって制御される、骨のこぎり及び／又はＯＴＴなどの外科手術ツール、あるいは（ｃ）ナビゲートされるポインタ、見当合わせツール、又はその他の必要に応じた物体などの外科医／アシスタントに固有のツールなどいくつかの要素の空間内の位置及び配向をリアルタイムでトラッキングすることを可能にするトラッキング／ナビゲーション・システムを含むことができる。ツールの場所及び配向（姿勢）及びＯＴＴからのフィードバックに基づいて、システム又はＣＡＳコンピュータは、外科手術ツールの速度を変化させることができ、また起こりうる損傷を避けるためにツールの電源を切ることができる。さらに、ＣＡＳコンピュータは、可変フィードバックをユーザに提供することができる。添付の図面に示されている外科手術器具は、外科手術用のこぎりである。ドリル、リーマ、バー（ｂｕｒｒ）、やすり、ブローチ、メス、スタイラス、又はその他の器具など、他の多くの器具も、本明細書に記載するように制御及び／又はナビゲートすることができることを理解されたい。したがって、以下の説明では、ＯＴＴ使用可能ＣＡＳシステムは、記載する特定のツールに限定されず、広範な範囲の器具及び処置に適用することができる。

以下でさらに述べるように、外科手術室の１つの例示的な使用法は、処置を実行する患者の部分の仮想モデルを使用することを含む。具体的には、処置の前に、ＣＴスキャン、ＭＲＩスキャン、又はその他の技術を使用して、患者の関連する部分の３次元モデルを再
構築する。外科手術の前に、外科医は、この患者のモデルを見て操作して、実際の処置を進める方策を評価することができる。

１つの可能な方法では、処置中に患者モデルをナビゲーション・デバイスとして使用する。例えば、処置の前に、外科医は、患者の一部分の仮想モデルを解析し、処置中に切除する組織を突きとめることができる。このモデルは、その後、実際の処置中に外科医を誘導するために使用される。具体的には、処置中に、ツール搭載追跡デバイスは、処置の進行をモニタリングする。ＯＴＴＣＡＳ工程を実行した結果として、進行／結果は、ＯＲコンピュータ又はＯＴＴモニタ（例えば搭載ＬＣＤスクリーン）にリアルタイムで表示されるので、外科医は、患者モデルに対する進行を見ることができる。ここで、ＯＴＴＣＡＳ処理ステップ（以下でさらに詳細に述べる）に基づくリアルタイムフィードバックを提供するＯＴＴプロジェクタが外科医に与えられていることも重要である。

ＯＴＴＣＡＳ処置中にナビゲーション支援を提供するために、ツール搭載追跡デバイスは、術野内の関連する外科手術ツールの位置をモニタリングする。ＯＴＴＣＡＳシステムは、行われているＯＴＴＣＡＳ処置の要件に応じて、１つ又は複数の位置センサあるいは１つ又は複数の基準マーカを含む基準フレームを使用しない場合もあれば、１つ又は複数使用する場合もある。上述のマーカはいずれも、アクティブな構成でも、パッシブな構成でも利用することができる。必要に応じて、マーカは、システムと通信する有線又は無線のセンサとすることができる。アクティブ・マーカは、ＯＴＴデバイスによって受信される信号を発出する。いくつかの構成では、パッシブ・マーカは、ＯＴＴＣＡＳシステムに電気的に接続する必要のない（必然的に無線の）マーカである。一般に、パッシブ・マーカは、赤外光をＯＴＴデバイス上の適当なセンサに反射する。パッシブ・マーカを使用するときには、手術視野に赤外光が照射され、この赤外光がその後反射されてＯＴＴに受光され、そこから、パッシブ・マーカのデータ場所がＯＴＴＣＡＳによって決定され、そのようなデータから、外科手術部位及びその他の器具の場所及び配向がＯＴＴに対して、また互いに対して計算される。ＯＴＴデバイスのいくつかの実施形態は、赤外線送信デバイス及び赤外線受信機を備えることができる。ＯＴＴは、アクティブ・マーカからの発出光、及びパッシブ・マーカからの反射光を、ＯＴＴに到達するその他の視野情報とともに受光する。ＯＴＴＣＡＳシステムは、計算を実行し、マーカの位置及び術野内のその他の撮像情報を含む画像の視覚処理に基づいてツールの３次元位置及び配向を三角法で測定する。ツール搭載追跡デバイスのいくつかの実施形態は、３本の直交軸に対するＯＴＴ使用可能ツールの位置及び配向を検出するように動作可能である。このようにして、ＯＴＴデバイスからの情報を使用して、ＯＴＴＣＡＳシステムは、ツールの場所及び配向を決定し、次いで、その情報を使用して、ＯＴＴＣＡＳ処理モードを決定し、ユーザに対する適当なＯＴＴＣＡＳ出力を生成する。

ナビゲーション・システム及びその他のＣＡＳシステムではよく行われるように、一連の点又は表面を使用して、患者の解剖学的構造の位置を患者の仮想モデルと見当合わせする、又は相関させる。この情報を集めるために、ナビゲートされるポインタを使用して、解剖学的ランドマークの複数の点、又は患者の解剖学的構造内の表面の１組の点を取得する。あるいは、モーフィング（又は運動学的見当合わせ）と呼ばれる工程を使用して、患者を、その患者個人を実際に撮像して得られたものではない、アトラス又はデータベースから取った、その患者の適当な（スケーリングされた）仮想モデルと見当合わせすることもできる。このような工程中には、外科医は、患者の複数の部分及びいくつかの方策上の解剖学的ランドマークをデジタル化する。ＯＴＴＣＡＳコンピュータは、このデータを解析し、共通の解剖学的形状部分を識別することによって、仮想モデル上の特定の点に対応する患者における点の場所を識別する。

したがって、上述のように、ツール搭載追跡デバイスは、関連する外科手術ツールの位
置、患者の位置、及び１つ又は複数の基準フレームあるいは１つ又は複数のマーカのような処置中に使用される品目の位置など、いくつかの品目の位置をリアルタイムで視覚的にモニタリングする。したがって、ＯＴＴＣＡＳコンピュータは、関連する外科手術ツールの位置に関するＯＴＴＣＡＳデータ、ＯＴＴ画像データ中の視野情報、患者の位置に関するデータ、及び患者のモデルに関するデータを処理する。このＯＴＴＣＡＳコンピュータの工程の結果は、動的でリアルタイムで相互作用的な位置及び配向のフィードバック情報を提供し、この情報を、外科医は、（ＯＴＴデバイスが設けられている場合には）ＯＴＴデバイスによって提供されるモニタ上で見る、又はＯＴＴプロジェクタの表示出力として見ることができる。さらに、上述のように、処置の前に、外科医は、患者モデルを解析して、切除する組織を識別することができ、また、ＯＴＴＣＡＳステップ中又はＣＡＳ処置中に使用される所望のＯＴＴＣＡＳモード用に計画する、あるいはその所望のＯＴＴＣＡＳモードを示すことができる。その後、処置中にこの情報を使用して、ＣＡＳ処理のモード及びその他の要因に基づいて動的に調整される出力を使用して外科医を誘導することができる。

図１は、外科手術器具５０を使用したコンピュータ支援外科手術中にトラッキングを行い、誘導を提供するように構成されたツール搭載追跡デバイス（ＯＴＴ）１００を示す等角図である。ＯＴＴ１００は、プロジェクタ出力１１０のための開口中に１対のカメラ１１５を収容する筐体１０５を有する。ＯＴＴ１００及び表面１２０を有する筐体１０５は、外科手術器具５０と対合するように適応及び構成される。外科手術器具５０は、アクティブ要素５６を有するツール５４を操作するためのトリガ５２を含む。図１の例示的な実施形態では、ツール５４はのこぎりであり、アクティブ要素５６は、その遠位端部の鋸刃の鋸歯状縁部である。

図２は、外科手術器具５０を使用したコンピュータ支援外科手術中にトラッキングを行い、誘導を提供するように構成されたツール搭載追跡デバイス（ＯＴＴ）２００を示す等角図である。ＯＴＴ２００は、プロジェクタ出力２１０のための開口中に１対のカメラ２１５を収容する筐体２０５を有する。ＯＴＴ２００及び表面２２０を有する筐体２０５は、外科手術器具５０と対合するように適応及び構成される。外科手術器具５０は、アクティブ要素５６を有するツール５４を操作するためのトリガ５２を含む。図２の例示的な実施形態では、ツール５４はのこぎりであり、アクティブ要素５６は、その遠位端部の鋸歯状縁部である。

図３及び図４は、筐体の上部カバーを取り外した状態の、図１及び図２のツール搭載追跡デバイスを示す等角図である。図３の等角図では、筐体１０５の内部が露出しており、処理回路１３０、プロジェクタ１２５、及びカメラ１１５の配置を示している。プロジェクタ１２５は、この実施形態では、カメラ１１５を含む平面より上の位置に示してあるが、プロジェクタ１２５の出力がカメラ１１０の平面の上下でより対称になるように傾斜している。プロジェクタは、特殊な状況で必要となった場合には、これより大きく、又は小さく垂直方向に傾斜させ、ある程度は水平方向にも傾斜させて、それが投影する画像を、オクルージョン（例えば図３及び図４の鋸刃又はドリル・ビットによるオクルージョン）、あるいは画像が投影される解剖学的構造又は表面の性質、形状、反射、及びその他の特徴の性質など様々な基準に関連して最適化することができる。図４の等角図では、筐体２０５の露出している内部は、処理回路２３０、プロジェクタ２２５、及びカメラ２１５の配置を示している。プロジェクタ２２５の出力２１０は、この実施形態では、それより高い位置に、カメラ２１５を含む平面に対して鋭角をなすように示してある。

図５、図６、及び図７は、オン・ツール・トラッカ２００の１つの上面図及び２つの等角図である。図４に示すオン・ツール・トラッカの上面図では、電子構成要素の配向及び配列が明快に見える。このタイプのプロジェクタ２２５をこの構成で使用した結果、プロ
ジェクタは、筐体２０５内で、図６に示すように、わずかに傾斜した表面上に斜めに位置決めされている。一実施形態では、ツール搭載追跡デバイスのカメラ又はプロジェクタのうちの一方又は両方は、任意の配向で位置決めすることができ、この配向がそれぞれのデバイスの動作に与える影響は、本明細書に記載する以外の方法で補償される。このように、わずかな物理的な位置ずれは本明細書に記載するソフトウェア技術を用いて調整することができるので、様々に異なるＯＴＴ電子回路及び構成要素の設計が可能である。図７は、筐体２０５から分離されたオン・ツール・トラッカ２００の電子構成要素を示す等角図である。この図は、カメラ２１５と、プロジェクタ２２５と、関連するシステム及び処理電子機器２３０とを筐体２０５内に配置される単一の基板２３５上に有する、「一体型」ＯＴＴ電子パッケージの一実施形態を示している。

図８Ａ、図８Ｂ、図９、及び図１０は全て、ツール搭載追跡デバイス内に含まれるカメラの様々な角度配向でのカメラ視野の結果を示す図である。図８Ａのカメラ１１５は、互いに対して、また外科手術ツール５４の軸に対してほぼ平行な配列で配向される。他の構成要素による遮断を考慮した後で、この構成は、約７０ｍｍから約２００ｍｍの範囲のカメラ視野を提供する。他の実施形態では、例示的なＯＴＴデバイスのカメラ・システムは、約５０ｍｍから約２５０ｍｍの範囲のカメラ視野で動作することができる。カメラ視野は、このＯＴＴデバイスを使用して実行する個々のコンピュータ支援外科手術で必要とされる所望の視野に応じて、物理的又は電子的に変更することができることを理解されたい。

図８Ａのカメラのほぼ平行な配列とは対照的に、図８Ｂ、図９、及び図１０はそれぞれ、異なるカメラ傾斜角の結果と、その結果として生じるカメラ視野の変化とを示している。ＯＴＴカメラの位置決めと傾斜角との関係、ならびにそれらの視角、最小物体距離及び最大物体距離との関係は、図１１Ａ、図１１Ｂ、図１１Ｃ、及び図１１Ｄを参照するとよりよく理解される。図１１Ａは、幾何学的セットアップと、傾斜角（度）を視野ファクタの数と関連付ける図１１Ｂのチャートを生成するために使用される計算を行うための数式とを示す図である。傾斜角に関連するこのチャートのデータを、図１１Ｃ及び図１１Ｄに示すグラフに再現する。これらの図面に示される光学場情報は、本明細書に記載するＯＴＴデバイスの様々な実施形態のうちのいくつかにおけるカメラの位置決めの設計及び最適化で有用である。

様々なＯＴＴの実施形態とともに使用されるプロジェクタのさらなる特徴は、図１２Ａ、図１２Ｂ、図１３Ａ、図１３Ｂ、及び図１３Ｃを参照して理解することができる。ＯＴＴ筐体内のプロジェクタの位置決めに基づくプロジェクタ出力への影響は、図１２Ａと図１２Ｂの比較によって示される。プロジェクタ１２５は、図１２Ａ及び図１３Ａの両方に示すように、ツール５４に対してほぼ平面の関係にあるように見える。しかし、プロジェクタ出力１２６の一部分がツール（この場合は鋸刃）の遠位端部５６の下方でそれより先に延びていることに注目されたい。対照的に、プロジェクタ２２５は、ツール５４に対して鋭角をなして位置決めされる。さらに、プロジェクタ２１０の出力は、カメラ２１５の間のその相対位置と比較すると片側にずれている。しかし、プロジェクタ出力２２６は、大部分が刃５４より上にあり、遠位端部５６としか交差しない。プロジェクタ出力２２６のさらなる特徴は、図１３Ａ及び図１３Ｂを見れば明らかになる。これらの実施形態に記載するプロジェクタ出力、ならびにプロジェクタのサイズ及び配向は、全てのＯＴＴデバイスの実施形態に限定するわけではない。適当なＯＴＴプロジェクタは、いくつかの良好な方法及びＯＴＴ筐体内の配置で構成することができ、所望のプロジェクタのパッケージ・サイズに基づいて調整することができる。プロジェクタ２２５のサンプル出力が明確に示すように、多くの異なるプロジェクタのサイズ、配向、及び角度関係を使用しながら、ＯＴＴＣＡＳ処理システムのプロジェクタ要件に会うように効果的に操作することができる。換言すれば、幅広い様々なプロジェクタのタイプ、出力の場所、及びパッケージン
グを使用することができ、それらもやはり本明細書に記載するＯＴＴデバイスの様々な実施形態に含まれる。

本発明のＯＴＴデバイスの実施形態は、個々のＯＴＴＣＡＳシステムで望まれる固有の動作特徴に応じて、様々な撮像構成要素、プロジェクタ構成要素、及び電子構成要素を備える。ＯＴＴＣＡＳシステムのこの部分の幅広い様々な特徴及び設計ファクタを理解することができるように、以下の例示的な実施形態を与える。

図１４Ａは、ＯＴＴデバイスの一実施形態の概略を示す図である。この例示的な実施形態では、以下が設けられる。
・カメラ／ｄｓｐ／処理（例えばＮａｔｕｒａｌＰｏｉｎｔＯｐｔｉｔｒａｋＳＬ−Ｖ１２０ｒａｎｇｅ）。
・コンピュータ：ＰＣはＷｉｎｄｏｗｓ（登録商標）２０００／ＸＰ／Ｖｉｓｔａ／７、１．５ＧＨｚプロセッサ、ＲＡＭ２５６ＭＢ、空きハード・ディスク容量５ＭＢ、ＵＳＢは２．０Ｈｉ−Ｓｐｅｅｄポート（これは最低限、高速であるほど好ましい）。
・ＣＯＭ：無線通信（例えば無線ＵＳＢに対応するＵＳＢポート・リプリケータ）。
・プロジェクタ：（レーザ・ピコ・プロジェクタのタイプ）。
これらは、この図に示すようにＯＴＴ筐体内に配列される。この実施形態は、局所的な画像処理を実行する機能を有するカメラである「スマート・カメラ」と呼ばれるものを利用する。この処理は、通常はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）によってプログラム可能であることもある。この特定の実施形態の構成要素の構成を利用して、ＯＴＴデバイス及びＯＴＴＣＡＳコンピュータの両方で行われる画像処理を実現する。例えば、ＯＴＴデバイスのＤＳＰが、マーカ・データを検出して処理した後で、これをＯＴＴＣＡＳコンピュータに送信する。この構成では、ホスト・コンピュータに必要とされる処理能力が大幅に低下すると同時に、送信する必要があるデータも最小限に抑えられる。この概略図は、主に特定のＯＴＴデバイスの、あるいはＯＴＴデバイスとＯＴＴ
ＣＡＳコンピュータとの関係における、又はＯＴＴデバイスと１つもしくは複数の中間デバイス・ドライバ・コンピュータとの関係における撮像、データ処理、及び一般的なコンピュータ処理の機能のタイプを示すために有用であるが、この図は、個々の構成要素間の実際の配向、間隔、及び／又は位置合わせを反映していないこともあることを理解されたい。電子通信機能（ＣＯＭ）は、本明細書に記載するＯＴＴＣＡＳ工程、アルゴリズム、及びモードとともに使用されるように適応及び構成されたコンピュータとの間で、有線接続又は任意の適当な無線データ転送モードを介して提供される。ＯＴＴデバイスとＯＴＴＣＡＳコンピュータ（使用する場合）の間の処理データ交換のタイプ、多様性、量、及び品質は、利用する個々のＯＴＴＣＡＳ処置、モード、又はシステムの固有のパラメータ及び考慮事項に応じて変化する。

図１４Ｂは、ＯＴＴデバイスの一実施形態の概略を示す図である。この例示的な実施形態では、以下が設けられる。
・カメラ：有線又は無線のアナログ・カメラ。例えばＦＰＶ無線カメラ。
・ＤＳＰ：ｕＣＦＧＭｉｃｒｏｃｏｎｔｒｏｌｌｅｒＦｒａｍｅＧｒａｂｂｅｒ。これは、ＰＣのＰＣＩバスに接続され、ＰＣの一部になる。
・コンピュータ：コンピュータ：ＰＣはＷｉｎｄｏｗｓ（登録商標）２０００／ＸＰ／Ｖｉｓｔａ／７、１．５ＧＨｚプロセッサ、ＲＡＭ２５６ＭＢ、空きハード・ディスク容量５ＭＢ、ＵＳＢは２．０Ｈｉ−Ｓｐｅｅｄポート（これは最低限、高速であるほど好適である）。
・ＣＯＭ：ハードワイヤード、又はアナログ無線送信機。
・プロジェクタ：Ｍｉｃｒｏｖｉｓｉｏｎ社製ＳＨＯＷＷＸレーザ・ピコ・プロジェクタ。
これらは、この図に示すようにＯＴＴ筐体内に配列される。この特定の実施形態の構成要
素の構成を利用すると、トラッキングのための画像処理がＯＴＴ上で行われず、画像信号がＰＣの一部である専用のフレーム・グラバによって取り込まれる場合には、低コストの市販カメラを使用することができる。フレーム・グラバは、取り込まれた画像を受け取り、それを、ＰＣによるいかなるオーバヘッド処理も行わずにＰＣのメモリ中に置く。この実施形態では、より小型で、軽量で、低コストのＯＴＴデバイスが得られる。

この概略図は、主に特定のＯＴＴデバイスの、あるいはＯＴＴデバイスとＯＴＴＣＡＳコンピュータとの関係における、又は１つもしくは複数の中間デバイス・ドライバ・コンピュータを介した撮像、データ処理、及び一般的なコンピュータ処理の機能のタイプを示すために有用であるが、この図は、個々の構成要素間の実際の配向、間隔、及び／又は位置合わせを反映していないこともあることを理解されたい。電子通信機能（ＣＯＭ）は、本明細書に記載するＯＴＴＣＡＳ工程、アルゴリズム、及びモードとともに使用されるように適応及び構成されたコンピュータとの間で、有線接続又は任意の適当な無線データ転送モードを介して提供される。ＯＴＴデバイスとＯＴＴＣＡＳコンピュータ（使用する場合）の間の処理データ交換のタイプ、多様性、量、及び品質は、利用する個々のＯＴＴＣＡＳ処置、モード、又はシステムの固有のパラメータ及び考慮事項に応じて変化する。

図１５Ａは、ＯＴＴデバイスの一実施形態の概略を示す図である。この実施形態では、カメラから画像を取り込み、その画像をＵＳＢに適合するように調整する電子回路を内蔵した、市販のＵＳＢカメラを利用する。この出力を圧縮し、その後、有線又は無線で送信して、トラッキング関連処理を行う。

この例示的な実施形態では、以下が設けられる。
・カメラ：（例えば小型ウェブカム）。
・コンピュータ：（例えばＤｅｌｌ社製ＰｒｅｃｉｓｉｏｎＲ５５００ＲａｃｋＷｏｒｋｓｔａｔｉｏｎ）。
・ＣＯＭ：［例えばＣａｒａｍｂｏｌａ８ｄｅｖｉｃｅｓＣｏｒｅ、又はＤＴＷ−２００Ｄ（ＣＤＭＡ２０００１Ｘ）及びＤＴＷ−５００Ｄ（ＥＶＤＯＲｅｖＡ）］。
・小型プロジェクタ：（例えばＭｉｃｒｏｖｉｓｉｏｎ社製ＳＨＯＷＷＸレーザ・ピコ・プロジェクタ）。
これらは、この図に示すように配列される。この特定の実施形態の構成要素の構成を利用して、電子ＯＴＴ構成要素を提供するためのモジュール式の解決策を提供する。この実施形態では、市販の低コストのカメラを使用しており、ＯＴＴ又は設置型（ｇｒｏｕｎｄｂａｓｅｄ）システムを混乱させることなく技術の進歩を反映するようにこれらのカメラを変更又は更新することができる場合には、これらのカメラをモジュール形式で使用するができる。

ＯＴＴＣＡＳ又は中間ドライバ・コンピュータがＤＳＰ用に最適化されている場合には、オン・ツールＤＳＰを使用する必要はない。この実施形態は、市販の画像処理ライブラリのいずれでも使用することを可能にする。例えば、オープン・ソース又は市販のライブラリの現在の画像処理ソフトウェア・ルーチンは、ＢＬＯＢ（骨基準フレームＬＥＤ）を処理し、それらのセントロイドを計算するのに約１ミリ秒しかかからない。したがって、画像は、ＯＴＴツールからＯＴＴＣＡＳコンピュータに直接送って処理することができる。他の実施形態と比較して、より高い帯域幅を扱うようにＣＯＭを選択する必要があることは重要である。同様に、より負荷の大きい計算を扱うように中間ドライバ又はＯＴＴＣＡＳコンピュータを選択する必要がある。

この概略図は、主に特定のＯＴＴデバイスの、あるいはＯＴＴデバイスと中間ドライバ
又はＯＴＴＣＡＳコンピュータとの関係における撮像、データ処理、及び一般的なコンピュータ処理の機能のタイプを示すために有用であるが、この図は、個々の構成要素間の実際の配向、間隔、及び／又は位置合わせを反映していないこともあることを理解されたい。電子通信機能（ＣＯＭ）は、本明細書に記載するＯＴＴＣＡＳ工程、アルゴリズム、及びモードとともに使用されるように適応及び構成されたコンピュータとの間で、有線接続又は任意の適当な無線データ転送モードを介して提供される。ＯＴＴデバイスと中間ドライバ（使用する場合）又はＯＴＴＣＡＳコンピュータ（使用する場合）との間の処理データ交換のタイプ、多様性、量、及び品質は、利用する個々のＯＴＴＣＡＳ処置、モード、又はシステムの固有のパラメータ及び考慮事項に応じて変化する。

図１５Ｂは、ＯＴＴデバイスの一実施形態の概略を示す図である。この例示的な実施形態では、以下が設けられる。
・カメラ：図１５Ａに示すようなスマート・カメラ又は図１５Ｃに示すようなＵＳＢカメラ。
・慣性センサ：（例えばＢｏｓｃｈ社製ＳＭＢ３８０、Ｆｒｅｅｓｃａｌｅ社製ＰＭＭＡ７６６０、Ｋｉｏｎｉｘ社製ＫＸＳＤ９）
・搭載プロセッサ（例えばＡＲＭプロセッサ）
・コンピュータ：［例えばＰＣはＷｉｎｄｏｗｓ（登録商標）２０００／ＸＰ／Ｖｉｓｔａ／７、１．５ＧＨｚプロセッサ、ＲＡＭ２５６ＭＢ、空きハード・ディスク容量５ＭＢ、ＵＳＢ２．０又はＵＳＢ３．０のＨｉ−Ｓｐｅｅｄポート（これは最低限。高速であるほど好ましい）］。
・ＣＯＭ：（ＯＴＴ搭載プロセッサと地上局中間ドライバＰＣ又はＯＴＴＣＡＳＰＣとの間の通信のための標準ＩＥＥＥ８０２．１１通信プロトコル又は同様のプロトコル）。
・プロジェクタ：（例えばＭｉｃｒｏｖｉｓｉｏｎ社製ＳＨＯＷＷＸレーザ・ピコ・プロジェクタ）。
これらは、この図に示すように配列される。この特定の実施形態の構成要素の構成を利用して、ＯＴＴデバイス上で複雑な処理を実行してＯＴＴＣＡＳ処置のために必要な人体トラッキングの大部分を実施する実施形態を提供する。このデバイスは、完全に独立型のトラッキング・デバイスである。このＯＴＴデバイスは、１つ又は複数の慣性センサをさらに含む。ＤＳＰは、「次のフレーム」の基準マーカの場所を予測するために慣性センサを使用することを含む。その結果として、ＯＴＴデバイスのＤＳＰにかかる計算負荷は、最小限に抑えられる。

この概略図は、主に特定のＯＴＴデバイスの、あるいはＯＴＴデバイスと中間ドライバ又はＯＴＴＣＡＳコンピュータとの関係における撮像、データ処理、及び一般的なコンピュータ処理の機能のタイプを示すために有用であるが、この図は、個々の構成要素間の実際の配向、間隔、及び／又は位置合わせを反映していないこともあることを理解されたい。電子通信機能（ＣＯＭ）は、本明細書に記載するＯＴＴＣＡＳ工程、アルゴリズム、及びモードとともに使用されるように適応及び構成されたコンピュータとの間で、有線接続又は任意の適当な無線データ転送モードを介して提供される。ＯＴＴデバイスとＯＴＴＣＡＳコンピュータ（使用する場合）との間の、直接的な、又は中間ドライバ・コンピュータを介した処理データ交換のタイプ、多様性、量、及び品質は、利用する個々のＯＴＴＣＡＳ処置、モード、又はシステムの固有のパラメータ及び考慮事項に応じて変化する。

上述の詳細及び具体的な実施形態に加えて、ＯＴＴデバイスの代替実施形態は、本明細書に記載するＯＴＴＣＡＳ処理方法、モード、及びアルゴリズムに従って以下の例示的なＯＴＴＣＡＳデータのタイプうちの１つ又は複数を提供する処理機能、ソフトウェア及びファームウェア、ならびに電子命令を備えた構成要素を含む電子構成要素を有するこ
とができることを理解されたい。
・可視スペクトル及びＩＲスペクトルの画像データを受信及び処理する
・画像フレーム内の各マーカのセントロイドの座標を決定する
・画像フレーム内の全てのマーカのサイズを決定する
・１つ又は複数の基準マーカのサイズ及び座標を報告する
・画像フレーム内のセントロイドの場所、マーカの配置、又は選択された複数のマーカの配置を決定するためのサブピクセル解析
・中央コンピュータからの入力又は内部命令に基づく、あるいはＯＴＴＣＡＳ処理モードの適応に応答する毎秒１０から６０フレームの可変の制御可能なフレーム・レート。

図１〜図１５Ｂ及び図４７〜図５２Ｂに図示して説明する本発明のツール搭載追跡デバイス１００／２００は、例えば、１つ又は複数の追加のカメラと、様々なタイプのカメラ機能と、本明細書に記載し、図３１Ａ〜図３６、図６３、図６４、及び図６５に示すＯＴＴＣＡＳシステムが利用することができるセンサと含むこともできる。様々に異なるＯＴＴ構成について、図５３〜図６３Ａ及び図６３Ｂを参照して説明する。

図５３は、外科手術ツール５０に搭載されたツール搭載追跡デバイス１００を示す等角図である。図５３に示すツール搭載追跡デバイス１００の実施形態は、１対の近距離場立体カメラ２４５ａ、２４５ｂを含むように修正された筐体１０５及び搭載電子機器を有する。この実施形態では、カメラ２４５ａ、２４５ｂは、ＯＴＴ筐体１０５の最上部付近のプロジェクタ出力又は開口１１０に隣接して搭載される。本明細書で述べるように、カメラ１１５を使用して、広い視野を提供することができる。カメラ１１５は、筐体１０５の中央点に搭載される。広視野立体カメラ１１５は、ＯＴＴＣＡＳシステムによってトラッキングされている外科手術ツール５４を含む平面のすぐ上にある。１つの態様では、カメラ又は広視野カメラ１１５は、ＯＴＴＣＡＳで誘導されているツール５４の両側にある。ＯＴＴＣＡＳシステムの動作は、ＯＴＴＣＡＳ方法及び技術に利用可能な追加のカメラ入力及びデータを使用する図３１Ａから図３６ならびに図６３、図６５、及び図６５に示し以下で述べる動作と同様である。このＯＴＴＣＡＳシステム及びフリーハンドＯＴＴＣＡＳを実行するための方法は、１つ又は複数組のカメラ１１５、２４５ａ、２４５ｂ、あるいはカメラ１１５、２４５ａ、２４５ｂのうちの１つ又は複数の任意の組合せから入力を受信するように適応することができる。さらに、例示したカメラはいずれも、本明細書に記載するＯＴＴＣＡＳシステムの制御下で１つ又は複数の動作モードで、単独で、又はプロジェクタ２２５と組み合わせて、トラッキング、表示、測定、又は誘導のために使用することができる。

図５４は、外科手術ツール５０に搭載されたツール搭載追跡デバイス２００を示す等角図である。本明細書で述べるように、カメラ２１５は、広い視野を提供するために使用される筐体２０５の中央点に搭載される。図５４に示すこのツール搭載追跡デバイスの代替実施形態では、筐体２０５及び搭載電子機器は、図５３と同様の１対の近距離場立体カメラ２４５ａ、２４５ｂと追加のカメラ３１７ａ、３１７ｂ、３１９ａ、及び３１９ｂとを含むように改変されている。追加のカメラは、例えば、追加の広い視野（すなわちカメラ２１５によって提供されるより広い視野）を提供することができる、又はＩＲカメラとして構成することができる。図５３と同様に、カメラ２４５ａ、２４５ｂは、ＯＴＴ筐体２０５の最上部付近のプロジェクタ出力又は開口１１０に隣接して搭載される。カメラ３１９ａ、３１９ｂは、ＯＴＴ筐体２０５の最上部付近のプロジェクタ出力又は開口２１０に隣接して搭載されることが示される。広視野立体カメラ２１５は、ＯＴＴＣＡＳシステムによってトラッキングされている外科手術ツール５４を含む平面のすぐ上にある。追加のカメラ３１７ａ、３１７ｂは、カメラ２４５ａ、２４５ｂとカメラ２１５の間に提供される。１つの態様では、カメラ又は広視野カメラ２１５は、ＯＴＴＣＡＳで誘導されているツール５４の両側にある。ＯＴＴＣＡＳシステムの動作は、ＯＴＴＣＡＳ方法及
び技術に利用可能な追加のカメラ入力及びデータを使用する図３１Ａから図３６ならびに図６３、図６５、及び図６５に示し以下で述べる動作と同様である。このＯＴＴＣＡＳシステム及びフリーハンドＯＴＴＣＡＳを実行するための方法は、１つ又は複数組のカメラ２１５、２４５ａ、２４５ｂ、３１７ａ、３１７ｂ、３１９ａ、又は３１９ｂあるいはカメラ２１５、２４５ａ、２４５ｂ、３１７ａ、３１７ｂ、３１９ａ、又は３１９ｂのうちの１つ又は複数の任意の組合せから入力を受信するように適応することができる。さらに、例示したカメラはいずれも、本明細書に記載するＯＴＴＣＡＳシステムの直接的又は（中間ドライバ・コンピュータを介した）間接的な制御下で１つ又は複数の動作モードで、単独で、又はプロジェクタ２２５と組み合わせて、トラッキング、表示、測定、又は誘導のために使用することができる。

図５５は、外科手術ツール５０に搭載されたツール搭載追跡デバイス１００を示す等角図である。図５５に示すこのツール搭載追跡デバイス１００の実施形態は、プロジェクタ出力１１０の上に位置する単一の中央に位置づけられたカメラ３２１を含むように修正された筐体１０５及び搭載電子機器を有する。この実施形態では、カメラ３２１は、ＯＴＴ筐体１０５の最上部に組み込まれたプロジェクタ出力又は開口１１０に隣接して搭載される。本明細書で述べるように、カメラ３２１を使用して、機械的又は電子的レンズ制御のみによって、又は機械的又は電子的レンズ制御をソフトウェアに基づく撮像処理と組み合わせて、様々に異なる視野を提供することができる。図示のように、カメラ３２１は、ツール５０上のアクティブ要素５６又はその他のトラッキング点がはっきりと見えるツール５４の中心軸に、又はその付近に搭載される。立体カメラ１１５も、ＯＴＴＣＡＳシステムによってトラッキングされている外科手術ツール５４を含む平面のすぐ上に示されている。１つの態様では、カメラ１１５は、ＯＴＴＣＡＳで誘導されているツール５４の両側にある。ＯＴＴＣＡＳシステムの動作は、ＯＴＴＣＡＳ方法及び技術に利用可能な追加のカメラ入力及びデータを使用する図３１Ａから図３６ならびに図６３、図６５、及び図６５に示し以下で述べる動作と同様である。このＯＴＴＣＡＳシステム及びフリーハンドＯＴＴＣＡＳを実行するための方法は、１つ又は複数組のカメラ１１５又は３２１あるいはカメラ１１５又は３２１のうちの１つ又は複数の任意の組合せから入力を受信するように適応することができる。さらに、例示したカメラはいずれも、本明細書に記載するＯＴＴＣＡＳシステムの直接的又は間接的な制御下で１つ又は複数の動作モードで、単独で、又はプロジェクタ２２５と組み合わせて、トラッキング、表示、測定、又は誘導のために使用することができる。

図５６は、外科手術ツール５０に搭載されたツール搭載追跡デバイス２００を示す等角図である。このＯＴＴデバイスの実施形態は、図５５と同様に独立した追加のカメラが設けられた図５４の実施形態と同様である。図５５とは異なり、図５６の独立カメラ３２３は、ツール５３、及びＯＴＴＣＡＳシステムによってトラッキングされているアクティブ要素５６の下に設けられる。このカメラ３２３の場所の１つの利点は、図示ののこぎりなどのいくつかのツール５４が、他のカメラが利用できる視野の一部を遮断することがある点である。そのような場合には、カメラ３２３からの入力を使用して、ＯＴＴＣＡＳシステムに与えられる他の撮像入力を増補することができる。さらに、カメラ３２３は、取り付けられた外科手術ツール５０のＯＴＴＣＡＳ誘導の一部として使用される１つ又は複数の基準フレーム又はマーカをモニタリングする際に特に有用であることがある。本明細書で述べるように、カメラ２１５は、広い視野を提供するために使用される筐体２０５の中央点に搭載される。この実施形態では、カメラ３２３は、ツール５４の下の筐体２０５の前方突出部内に搭載される。本明細書で述べるように、カメラ３２３を使用して、機械的又は電子的レンズ制御のみによって、又は機械的又は電子的レンズ制御をソフトウェアに基づく撮像処理と組み合わせて、様々に異なる視野を提供することができる。図示のように、カメラ３２３は、ツール５０上のアクティブ要素５６又はその他のトラッキング点の下側がはっきりと見えるツール５４の中心軸に、又はその付近に搭載される。図５
４に示すツール搭載追跡デバイスのこの代替実施形態では、筐体２０５及び搭載電子機器は、図５４の様々なカメラ及び独立カメラ３２３を含むように改変されている。ＯＴＴＣＡＳシステムの動作は、図５４を参照して上述した、またＯＴＴＣＡＳ方法及び技術に利用可能な追加のカメラ入力及びデータを使用する図３１Ａから図３６ならびに図６３、図６５、及び図６５に示し以下で述べる動作と同様である。このＯＴＴＣＡＳシステム及びフリーハンドＯＴＴＣＡＳを実行するための方法は、１つ又は複数組のカメラ２１５、２４５ａ、２４５ｂ、３１７ａ、３１７ｂ、３１９ａ、３１９ｂ又は３２３あるいはカメラ２１５、２４５ａ、２４５ｂ、３１７ａ、３１７ｂ、３１９ａ、３１９ｂ、又は３２３のうちの１つ又は複数の任意の組合せから入力を受信するように適応することができる。さらに、例示したカメラはいずれも、本明細書に記載するＯＴＴＣＡＳシステムの制御下で１つ又は複数の動作モードで、単独で、又はプロジェクタ２２５と組み合わせて、トラッキング、表示、測定、又は誘導のために使用することができる。図５５及び図５６に示す独立カメラは、図５５に示すＯＴＴデバイスに組み込んでもよいし、他のＯＴＴデバイスの実施形態と組み合わせてもよい。

図５７Ａは、外科手術ツール５０に搭載されたツール搭載追跡デバイス１００を示す等角図である。図５７に示すツール搭載追跡デバイス１００の実施形態は、カメラ１１５とほぼ同じ向きで、プロジェクタ出力１１０の下に位置する、追加の１対のカメラ２４１ａ、２４１ｂを含むように修正された筐体１０５及び搭載電子機器を有する。この実施形態では、カメラ２４１ａ及び２４１ｂは、カメラ１１５と同様にＯＴＴ筐体１０５内に搭載される。本明細書で述べるように。カメラ１１５、２４１ａ、２４１ｂを使用して、機械的又は電子的レンズ制御のみによって、又は機械的又は電子的レンズ制御をソフトウェアに基づく撮像処理と組み合わせて、様々に異なる視野を提供することができる。図５７Ｂに示すように、これらのカメラを使用して、カメラを傾けることによって、又はカメラ１１５、２４１ａ、２４１ｂカメラの配向の向きを変更するための可動ステージに搭載することによって、様々な視野を提供することができる。図５７Ｂは、カメラ１１５がツールの中心軸に向かって内側に向けられ、カメラ２４１ａ、２４１ｂが中心軸の外側に向けられた実施形態を示している。これらのカメラは、固定ステージでも可動ステージでも、図５７Ｂの配向を得ることができる。図５７Ａ、図５７Ｂのカメラは、ＯＴＴＣＡＳシステムによってトラッキングされている外科手術ツール５４を含む平面のすぐ上に示されている。１つの態様では、各カメラ対の一方のカメラは、ＯＴＴＣＡＳ誘導されているツール５４の両側に設けられる。このＯＴＴＣＡＳシステムの動作は、ＯＴＴＣＡＳ方法及び技術に利用可能な追加のカメラ入力及びデータを使用する図３１Ａから図３６ならびに図６３、図６５、及び図６５に示し以下で述べる動作と同様である。このＯＴＴＣＡＳシステム及びフリーハンドＯＴＴＣＡＳを実行するための方法は、１つ又は複数組のカメラ１１５又は２４１ａ、２４１ｂあるいはカメラ１１５又は２４１ａ、２４１ｂのうちの１つ又は複数の任意の組合せから入力を受信するように適応することができる。さらに、例示したカメラはいずれも、本明細書に記載するＯＴＴＣＡＳシステムの制御下で１つ又は複数の動作モードで、単独で、又はプロジェクタ２２５と組み合わせて、トラッキング、表示、測定、又は誘導のために使用することができる。

図５８は、図５７Ａ及び図５７Ｂに示す構成のカメラ・バリエーションの別の代替実施形態を示す図である。１つの代替の態様では、図５７Ａのカメラは、ソフトウェア又はその他の適当な撮像工程を介して、図５８に示す視野を提供するように調整することができる。この実施形態では、図５７Ａの実施形態と同様に、２対のカメラが設けられる。ＯＴＴシステムのカメラのこの実施形態では、カメラ角度Ａは、図示のように重なり合わない。角度Ａは、ツール５４の側方を強化するために使用される。画像処理システムでは、ＣＡＳトラッキング及び誘導システムの画像処理システムによって様々なビューを合成して１つの統一ビューにする。図５８は、術野内で重なり合わない狭い視野を有する上側カメラ（２４１ａ、２４１ｂ又はＡカメラ）を示している。下側カメラ（１１５又はＢカメラ
）は、互いに重なり合う、より広い視野を有する。この実施形態では、画像トラッキング・システムは、重なり合う広い視野と収束した狭い視野とを使用して、提供される様々なカメラのビューを合成してその情報を取得することによって、様々に異なるトラッキング方式を実現することができる。ＯＴＴＣＡＳシステムの動作は、ＯＴＴＣＡＳ方法及び技術に利用可能な追加のカメラ入力及びデータを使用する図３１Ａから図３６ならびに図６３、図６５、及び図６５に示し以下で述べる動作と同様である。このＯＴＴＣＡＳシステム及びフリーハンドＯＴＴＣＡＳを実行するための方法は、１つ又は複数組のカメラ１１５又は２４１ａ、２４１ｂあるいはカメラ１１５又は２４１ａ、２４１ｂのうちの１つ又は複数の任意の組合せから入力を受信するように適応することができる。さらに、例示したカメラはいずれも、本明細書に記載するＯＴＴＣＡＳシステムの制御下で１つ又は複数の動作モードで、単独で、又はプロジェクタ２２５と組み合わせて、トラッキング、表示、測定、又は誘導のために使用することができる。

図５９Ａは、外科手術ツール５０に搭載されたツール搭載追跡デバイス２００を示す等角図である。このＯＴＴデバイスの実施形態は、カメラ対３１５ａ、３１５ｂの代わりに可動カメラ・ステージ２４４を備え、カメラ対３１９ａ、３１９ｂを備えない、図５４の実施形態と同様である。図５９Ａに示すツール搭載追跡デバイスの代替実施形態では、筐体２０５及び搭載電子機器は、可動カメラ・ステージ２４４と収容されるカメラ対２４７ａ、２４７ｂとを含むように改変されている。図５４と同様に、図５９Ａの実施形態も、カメラ２１５、３１７ａ、及び３１７ｂを含む。追加のカメラは、例えば、ＯＴＴＣＡＳシステムによってステージ２４４の動作が制御されることによって、追加の視野又は可変の視野を提供することができる。ステージ２４４は、ＯＴＴ筐体２０５の最上部付近のプロジェクタ出力又は開口２１０に隣接して搭載された状態で示してある。ステージ２４４は、モータを備え、ステージ又はその他の制御された可動デバイスによって、カメラ２４７ａと２４７ｂとの間の間隔、それらの角度、及び／又は焦点を変更することができる。図５９Ｂで最もよく分かるように、カメラ２４７ａ、２４７ｂは、広角位置（「ａ」位置）、中間位置（「ｂ」位置）、又は狭角位置（「ｃ」位置）から動くことができる。

これに加えて、又は別法として、カメラの動き及びビューの選択、ならびにカメラのモータ、ステージ、又はその他の可動デバイスの制御は、いくつかの実施形態では、スマート・ビュー・システムの予め設定されたカメラ・ビューなど、ユーザが選択した入力に基づいて制御される。さらに別の代替形態では、カメラ、カメラ・ステージ、又は可動デバイスの位置又は配向は、本明細書に記載するＣＡＳホバー制御システムの一実施形態の動作に基づいて自動的に変化することもある。この実施形態のカメラ移動機能を利用することにより、画像トラッキング・システムは、カメラ・モータ制御装置を使用して、他のＣＡＳホバー・システムのパラメータ及び命令に基づいて、望み通りに、広い視野の撮像、中間視野の撮像、又は狭い視野の撮像を得ることもできる。したがって、ＯＴＴシステムのこの実施形態のカメラ移動機能は、カメラの移動によって得られる様々なカメラ・ビューを合成してそれらから情報を取得することによって、様々に異なるトラッキング方式を実現する。このＯＴＴＣＡＳシステムの動作は、ＯＴＴＣＡＳ方法及び技術に利用可能な追加のカメラ入力及びデータと、ＯＴＴＣＡＳシステムが以下に述べるＯＴＴＣＡＳ技術及び方法に応じてカメラ２４７ａ、２４７ｂの動きを制御する能力とを使用する、図３１Ａから図３６ならびに図６３、図６５、及び図６５に示し以下で述べる動作と同様である。このＯＴＴＣＡＳシステム及びフリーハンドＯＴＴＣＡＳを実行するための方法は、１つ又は複数組のカメラ２１５、２４７ａ、２４７ｂ、３１７ａ、又は３１７ｂあるいはカメラ２１５又は２４７ａ、２４７ｂ、３１７ａ、又は３１７ｂのうちの１つ又は複数の任意の組合せから入力を受信するように適応することができる。さらに、例示したカメラはいずれも、本明細書に記載するＯＴＴＣＡＳシステムの制御下で１つ又は複数の動作モードで、単独で、又はプロジェクタ２２５と組み合わせて、トラッキング、表示、測定、又は誘導のために使用することができる。

さらに別の代替の態様では、本明細書に記載するＯＴＴデバイスの実施形態はいずれも、複数のカメラ又は複数組のカメラを有するだけでなく、各カメラにハードウェア及び／又はソフトウェアを介してフィルタを設けて、各カメラを可視スペクトル及び赤外スペクトルの一方又は両方で使用できるようにすることもできることを理解されたい。そのような場合には、２対のカメラは、可視場で動作した後で、その同じカメラがフィルタを介して赤外場で動作する点で、４組のカメラと見なすことができる。

さらに別の代替の態様では、本明細書に記載するＯＴＴデバイスの実施形態は、複数のカメラ又は複数組のカメラを有するだけでなく、搭載カメラのうちの任意の１つ又は複数を利用して、記録及びズームのために画像を取り込みながら、ドキュメンテーション、訓練、又は評価のために処置の特定の特徴を記録することができる。さらに別の態様では、ソフトウェア又はファームウェアの命令中のＯＴＴモジュールに、予め設定された持続時間のローリング記録ループ（ｒｏｌｌｉｎｇｒｅｃｏｒｄｉｎｇｌｏｏｐ）が設けられる。この持続時間は、ＯＴＴＣＡＳ処置全体、ステップ又はステップの一部分、あるいはＯＴＴＣＡＳ処置もしくはＯＴＴＣＡＳデバイスの使用に関連する計画又は見当合わせに関連する任意の長さの時間にすることができる。ＯＴＴＣＡＳ上に直接、又は関連するコンピュータシステム上に、記憶装置を設けることができる。１つの態様では、ＯＴＴＣＡＳモジュール又は電子デバイスは、カメラ及び／又はプロジェクタの出力を、ＯＴＴＣＡＳ外科手術計画の全体又は一部分、あるいはＯＴＴＣＡＳ計画で使用される画像とともに記録／記憶することを可能にするメモリ・カード・スロット又はアクセスを含む。さらに、ビデオ・データ及び画像記憶装置は、ＯＴＴにあっても、ＵＳＢ又はその他のポートにあってもよく、あるいは、手持ち型ビデオ・カメラの場合よく見られるようにメモリ・カードのみがある。（１つ又は複数の）ＯＴＴカメラからのフィードは、コマンドに応答して記録されるか、常に記録されるか、あるいはマウス・クリック、タッチ・スクリーン入力、音声コマンドなど、ユーザ又はシステムの入力に応答して記録される。撮像データは、ＯＴＴ自体に記憶してもよいし、デバイス又は別のコンピュータに記憶してもよい。１つの例では、ここで参照するＯＴＴＣＡＳ画像データは、例えば、中間ドライバ・コンピュータに記憶される。さらに別の態様では、本明細書で言及する記録は、マスタＣＡＳコンピュータからＯＴＴに遠隔送信されるコマンドから手作業で、又は任意選択でＯＴＴデバイスに搭載されたＬＣＤスクリーンのタッチ・スクリーン・コマンドから、開始される。これらのコマンドは、「ビデオ記録を開始する」、「ビデオ記録を停止する」、「１つの画像を取り込む」等とすることができる。記録されたデータ又は記憶された画像は、ＯＴＴにローカルに記憶し、かつ／あるいは中間ドライバ・コンピュータ又はマスタＣＡＳコンピュータに直ちに又は後に中継して、外科手術症例ファイルと関連付けることができる。

図６０、図６１、図６２Ａ、及び図６２Ｂは、図５、図６、及び図７を参照して例示及び説明したＯＴＴデバイスの電子機器パッケージの様々な代替の図である。図６０、図６１、図６２Ａ、及び図６２Ｂの様々な図は、任意選択でＯＴＴデバイスの様々な実施形態に組み込むことができ、またさらなる入力、処理データ、又は機能強化を様々な代替のＯＴＴＣＡＳシステムの実施形態及びこれを使用する代替の方法に提供することができるセンサの幅広い様々な場所及びタイプを示している。図６０〜図６２Ｂの例示的な表現では、いくつかの異なるセンサの場所が提供される。これより多い数、又はこれらとは異なる場所も可能であり、センサは、これらの例示的な場所のそれぞれにおいて様々な配向で配置することができ、あるいは、１つの場所にあるセンサは、複数のタイプのセンサであっても、同じタイプのセンサであってもよい。

さらに、センサ使用可能ＯＴＴデバイスの各実施形態では、利用される各センサの場所ごとに、その実施形態で利用されるセンサの数及びタイプ、又は複数の数及び複数のタイ
プに基づいて、筐体１１０／２１０、及び電子機器１３０、２３０、ならびに必要に応じて図５〜図１５Ｂの関連する仕様及び詳細に対する対応する改変が行われる。さらに、ＯＴＴデバイスも、必要に応じて適当な数及びタイプの電子マウント、機械的又は構造的支持、電気的絶縁又は防振、電気／データ接続、ハードウェア、ソフトウェア、ファームウェア、及び全ての関連する構成を提供して、各センサ・タイプの動作及び利用に備えるように改変され、構成される。ＯＴＴデバイス上のセンサのタイプ、数、及び場所を利用して、本明細書に記載するＯＴＴＣＡＳシステムで既に利用されている他のトラッキング及び動作パラメータと関連して、ＯＴＴデバイス及び／又はＣＡＳ動作環境についての高度な情報を提供する。

センサで機能強化されたＯＴＴデバイスを利用する様々な代替の動作方式では、ＯＴＴ
ＣＡＳシステムの動作、判断、モード選択、及び命令の実行は、１つ又は複数のＯＴＴデバイス・センサからのデータの追加に基づいて、位置、動き、振動、配向、加速度、ロール、ピッチ、及び／又はヨーのうちの１つ又は複数を、それぞれ単独で、あるいはＯＴＴデバイス自体又はＯＴＴでトラッキング及び誘導されている外科手術ツールと関連する任意の組合せで提供するように適応される。さらに、同じタイプの複数のセンサあるいは検出又は測定デバイスをＯＴＴデバイス上の異なる位置に配置することができ、その場合、それらの異なる場所のそれぞれからの同じタイプの入力を使用して、追加のＯＴＴＣＡＳ動作入力、決定、又は制御ファクタを提供することができる。別々のセンサ出力又は読みのそれぞれを個別に使用することができる、あるいは同じタイプのセンサからのデータを収集して、センサ及びデータ用途のタイプに応じて平均化することができる。さらに、センサ・データの収集及び使用（すなわち、サンプリング・レート、重み係数、又は停空モード状態及び／あるいは１つ又は複数のＣＡＳシステム・パラメータの調整に基づいて適用されるその他の変数）は、図３１Ａ〜図３６に示す様々な動作方式に応じて、また特に図６３に示すようなスルー・レート及びデータ収集レートなどの動作パラメータの調節に関して、調節することができる。

ここで、図６０を参照すると、筐体２０５の最上部が取り外された状態のＯＴＴデバイス２００の一実施形態の上面図が示してある。この図では、センサ場所１，２，３，４，５，６を視認することができる。センサ場所１，２は、ＯＴＴデバイスの中心線の両側にずれている。この実施形態では、センサ場所１，２は、カメラ２１５に隣接している。別のセンサ場所３は、ＯＴＴデバイスの中央部分に示してある。センサ場所３は、例えば、ＯＴＴデバイスの幾何学的中心、ＯＴＴデバイスの質量中心又は重心、あるいは結合されたＯＴＴデバイス／ツールの質量中心又は重心に位置決めすることができる。センサ位置３の場所は、したがって、ＯＴＴデバイスに取り付けられたツール５０のタイプに基づいて変更することができる。これに加えて、又は別法として、様々に異なるタイプのツールと動作するように構成されたＯＴＴデバイスの実施形態では、使用するツールの個々のタイプに応じて、対応する数の適当に位置決めされたセンサを配置することができる。これらの実施形態では、ＯＴＴＣＡＳシステムは、ＯＴＴデバイスに取り付けられたツールのタイプについての入力を認識又は受信し、次いでその特定のツール構成に関連するセンサ場所及びセンサ・タイプの１つ又は複数のセンサからの出力を選択又は利用するようにも構成される。

センサ場所４及び５は、ＯＴＴ筐体２０５の左右の外側縁部上の後ろの方に位置決めされる。センサ場所６は、筐体２０５の後部付近の中央部分にある。センサ場所１，２，４，５，６は、単独で、又は任意の組合せで、ロール、ピッチ、又はヨーの角度データのうちの１つ又は複数、ならびにそれらの場所のそれぞれにおける傾斜、及び／あるいは複数軸の移動速度又は振動の読みを取得する際に使用することができる。

図６１は、図６０のＯＴＴ筐体２０５の斜視図である。この図では、センサ場所３は、
システムの中央に近い点に見られる。筐体２０５の内部のセンサ場所７は、筐体の左側に沿ってファントムで示してある。センサ場所７は、ＯＴＴ筐体２０５の後ろの方の左壁面部分上、又はその内側にある。図６１は、センサ場所７の座標位置を示している。この例示的な例では、センサ場所７は、個々ではセンサ場所３であるＯＴＴの中央の場所に対して示してある。ＯＴＴＣＡＳシステムは、様々なセンサ入力の協調及び相互参照のために、直接的に、又はセンサ・ドライバ中間コンピュータを介して、任意の参照点を使用することができる。この例では、センサ場所７は、中央場所３に対して、距離ｄだけ後方に離間している。さらに、センサ場所７は、センサ場所３の高さから高さｈだけ離間している。これらのセンサのそれぞれの具体的な場所は、使用中のＯＴＴの様々なパラメータを決定するときに活用することができる。ＯＴＴＣＡＳシステムは、ＯＴＴデバイスの実施形態で利用されるセンサ場所について、ｘ、ｙ、ｚの絶対座標を使用してもよいし、相対座標を使用してもよいことを理解されたい。

図６２Ａは、ＯＴＴ筐体の下側部分が取り外された状態の図６１の等角図と同様の等角図である。図６２Ａは、いくつかの追加の任意選択のセンサ場所を示すために使用される。この実施形態では、センサ場所８、９、１０、１１、及び１２が示してある。センサ場所１２、９、及び８は、ＯＴＴデバイスの中心の長手方向軸に沿って、中央センサ場所３の前後に示してある。センサ場所１０、１１は、追加の外側寄りの場所で、場所４及び５と同様であるが、長手方向にはそれらから隔離している。これらの例示的な場所の多くは、ＯＴＴデバイスの長手方向中心線に沿って、又はその付近に示してあるが、その他のセンサ場所も可能である。例えば、センサは、基板２３５の下側に位置していてもよいし、あるいはＯＴＴデバイスの筐体の内部にあるその他の構造、ＯＴＴデバイスの筐体の一部であるその他の構造、又はＯＴＴデバイスの筐体に取り付けられたその他の構造に位置していてもよい。これらのセンサ場所は、その他の構成要素及びＯＴＴデバイスの電子機器パッケージの設計及び空間の要件に基づいて、基板２３５の中に、基板２３５に沿って、基板２３５の上に、又は基板２３５の下に、あるいはその他の場所に配置することができる。

図６０、図６１、及び図６２Ａに示すセンサ場所に加えて、センサ・プラットフォーム２０を、ＯＴＴ筐体２０５内に設けることもできる。例示的なセンサ・ベース２０の斜視図を、図６２Ｂに示す。センサ・ベース２０は、代表的なセンサ場所１、２、１３、１４、１５、１６、１７、１８、及び７とともに示してある。センサ・ベース２０は、図６１に示す壁面の内側又は壁面上ではなくベース２０上に配置されるセンサ７の代替配置を示している。同様に、センサ位置１及び２は、図６０に示す位置からベース２０側に移動している。さらに、センサ位置１５の場所は、上述のセンサ場所３の機能を提供するように選択される。様々な代替のセンサのタイプ、数、及び場所を、上述のように、適当に構成されたセンサ・ベース２０に組み込むことができる。様々な実施態様では、１つ又は複数のセンサ・ベースを、センサ・ベースがＯＴＴデバイスの筐体２０５のサイズ及び形状に似ている図６２Ｂに示すようにサイジングすることができる。センサ・ベースは、特定のＯＴＴデバイス構成に関連する特定のタイプ、特定の配向、あるいは特定の場所もしくは位置又は機能の全てのセンサを含むことができる。特に微小電気機械システム（ＭＥＭＳ）の分野では、電子機器及びセンサの小型化の率が与えられれば、ＯＴＴデバイス中で利用される全てのセンサ又は実質的に全てのセンサは、適当に小型化された市販の構成要素の形態であってよいことを理解されたい。

図６２Ｂは、センサ場所１及び２より前方の、カメラ場所に対応するセンサ場所１３及び１４を示している。センサ場所１３、１４、１、及び２は、カメラ場所の近傍に設けられる。センサボード２０が適所にあるとき、センサ場所１５、１６、及び１８は、ＯＴＴデバイス・モジュールの中心線の付近にある。センサ場所１５又は１６は、ツールの垂直方向中心軸、トリガ場所、又はその他の関心のある形状部分など、ＯＴＴで誘導されるツ
ールの中の特定の関心のある場所の上に位置決めして、そのツールのトラッキングを容易にすることができる。１つの態様では、センサ場所は、ＣＡＳシステムで使用されている外科手術ツールのトリガを示すように位置決めされる。一実施形態では、センサ場所１７及び７は、ツールの質量中心より後方の、左右の外側寄り位置に位置決めされる。センサ場所１８は、センサボード２０がＯＴＴ筐体２０５内に設置されたときに、ＯＴＴモジュールの最も後部寄りの後方センサ場所である。

図６０〜図６２Ｂ及び本明細書のその他の箇所を参照して例示及び説明したセンサ場所のそれぞれを使用して、本明細書に記載する位置決め及びトラッキング・システムが使用する様々に異なるセンサ及び器具のタイプを実現することができる。非限定的な例として、ＯＴＴデバイスと関連付けて使用される様々な器具又はセンサとしては、ＯＴＴデバイス、ＯＴＴデバイス／外科手術ツールの組合せの動作、あるいはＯＴＴデバイスに取り付けられ、本明細書で提供するように、又はツールもしくは人工器官の見当合わせ、適合評価、外科手術計画、もしくは外科手術計画の再検討などのためのＯＴＴシステムの動作環境で使用されるようにＯＴＴＣＡＳシステムの下で使用されているツールの動作、使用、又は状態に関連するロール、ピッチ、ヨー、配向、又は振動の情報のうちの１つ又は複数を提供するように構成された、傾斜計、ジャイロスコープ、２軸ジャイロスコープ、３軸ジャイロスコープ、その他の複数軸ジャイロスコープ、１軸加速度計、２軸加速度計、３軸加速度計、又は複数軸加速度計、電位差計、ＭＥＭＳセンサ、マイクロ・センサ又はＭＥＭＳ器具などが挙げられる。

図１６Ａ、図１６Ｂ、及び図１６Ｃは、コンピュータ支援外科手術で使用される基準フレーム３００の様々な外観を示す図である。外周部３１５によって画定された平面状又はほぼ３Ｄの表面３１０を有するフレーム３０５がある。１つ又は複数のアクティブ又はパッシブな基準マーカ７０が、表面３１０上にパターン７２で配列される、又は個別に何らかのフレーム構造を介して担持される。フレーム３０５から延びるステム３２０、及びステム上の結合部３２５がある。結合部３２５は、フレーム３０５をベース３３０に接合するために使用される。ベース３３０は、処置に関連する術野内の解剖学的構造の一部分と係合するように構成された第１の表面３３５を有する。ベース３３０は、結合部３２５と係合する第２の表面３４０を有する。結合部３２５と第２の表面３４０は、図１６Ａでは係合しているが、図１６Ｂ及び図１６Ｃでは分離している。図１６Ｃ及び図１６Ｃでは、少なくとも１つの見当合わせ要素が結合部上に見えており、少なくとも１つの見当合わせ要素が第２の表面上にも見えている。図示の実施形態では、見当合わせ要素３４２ｂは、結合部３２５上の雌型形状部分であり、第２の表面３４０上の結合要素３２５ａは、雄型形状部分である。これらの見当合わせ要素は、結合部３２５と第２の表面３４０とが係合したときに対合して協働するようにサイジングされ、位置決めされる。様々に異なる見当合わせ要素のタイプ及び位置を、結合部が第２の表面と係合しているときに対合して協働するように適応させ、構成することができる。

ベース３３０は、解剖学的構造と係合するために使用される第２の表面３３５を含む。この表面の全体又は一部分は、解剖学的構造、特に関節の周囲の骨性の解剖学的構造と係合するのを補助する鋸歯状縁部を含むことができる。ベースの第１の表面３３５は、外科手術中にベースの第１の表面が固定される解剖学的部位と相補的な湾曲部を有する。１つの態様では、骨が露出していない可能性があり、基準フレームが後述のネジ又はその他の固定デバイスを用いて皮膚を通して骨に取り付けられている場合には、この湾曲部は、その解剖学的構造の皮膚部分を含む解剖学的部位と相補的である。１つの追加の実施形態では、解剖学的構造の骨性部分は、外科手術を受ける関節に隣接している。関節は、膝、肩、手首、足首、腰、脊椎、又はその他の任意の骨切断が行われる外科手術部位から選択することができる。ベース３３０は、ベースを人体上の部位に固定するために使用される固定要素に合わせて適応及び構成された少なくとも１つの開口３３７を含む。固定要素は、
ピン、ネジ、釘、外科手術用ステープル、あるいはこの要素に塗布される、又は露出する（例えば両面テープの剥離）任意の形態の膠又はセメントのうちの１つ又は複数から選択することができる。

図１７は、基準フレーム・ガイド３５０を示す等角図である。基準フレーム・ガイド３５０は、フレーム３５５と、フレーム３５５から延びるステム３６０とを有する。ステム３６０は、解剖学的形状部分と係合して、フレーム・ガイドがフレーム３０５に取り付けられたときに、基準フレーム３００が術野内で所望の位置に所望の配向で配置されるのを補助するように構成された湾曲又は形状を有する。基準フレーム・ガイド３５０は、フレーム３５５に沿って、外周部３１５又は基準フレーム３０５の一部分と一時的に係合する１つ又は複数の係合要素３６５も含み、係合要素３６５を用いて取り付けられた基準フレーム３００と関連してベース３３０を適切に位置決め及び調節することができるようにしている。図１８は、基準フレーム３００のフレーム３０５に取り付けられた基準フレーム・ガイドを示す図である。使用時には、外科手術中に基準フレームをガイド・フレームから取り外すために、係合要素３６５を取り外すこともある。基準フレーム・ガイド３５０は、基準フレーム３００と対合して協働している状態で示してあるが、図２４の基準フレーム４００など、異なる形状及びサイズの基準フレームと対合係合するように適応及び構成することもできる。

１つの特定の実施形態では、ステム３６０の湾曲又は形状３６２は、術野内で大腿骨に沿って基準フレーム３００を位置合わせするためにステムを顆に関連して配置するように構成される。大腿骨１０に沿ったベース３３０の位置決めを、図１９及び図２０に示す。関節基準フレーム・ガイド及び基準フレーム構造（図１８参照）は、図２０に示すようにベース３３０を大腿骨上に適切な配向で配置するために大腿骨１０の顆１２の間にステム３６０の湾曲部３６２を位置合わせするように（図１９の矢印に従って）位置決めされる。その後、ネジ又は釘を開口３３７に利用する、あるいは生体適合性の骨セメントを使用するなど１つ又は複数の方法を用いてベースの第１の表面３３５を接合することによって、基準フレーム３００を大腿骨１０に取り付ける。基準フレーム３００が適切な位置に固定された後で、基準フレーム・ガイド３５０を取り外し（図２１）、基準フレームのみを、実施される外科手術計画に従って、大腿骨１０に沿った所望の場所に、顆１２との所望の関係で残す（図２２）。

図２３は、基準フレーム４００の一実施形態と、脛骨１５に沿った位置とを示す図である。この図示の実施形態では、基準フレーム４００は、脛骨粗面上、又はその周りに取り付けられ（図２５により明確に示す）、基準フレーム３００に関連して上述したいくつかの固定方法のうちの任意の１つを用いて、この骨に固定される。基準フレーム４００のさらなる細部は、図２４Ａ、図２４Ｂ、及び図２４Ｃを見ると分かる。これらの図面は、コンピュータ支援外科手術で使用される基準フレーム４００の様々な外観を示す図である。外周部４１５によって画定された表面４１０を有するフレーム４０５がある。１つ又は複数のアクティブ又はパッシブな基準マーカ７０が、表面４１０上にパターン７４で配列されている。フレーム４０５から延びるステム４２０、及びステム上の結合部４２５がある。結合部４２５は、フレーム４０５をベース４３０に接合するために使用される。ベース４３０は、処置に関連する術野内の解剖学的構造の一部分と係合するように構成された第１の表面４３５を有する。ベース４３０は、結合部４２５と係合する第２の表面４４０を有する。結合部４２５と第２の表面４４０は、図２４Ａでは係合しているが、図２４Ｂ及び図２４Ｃでは分離している。図２４Ｃ及び図２４Ｃでは、少なくとも１つの見当合わせ要素が結合部上に見えており、少なくとも１つの見当合わせ要素が第２の表面上にも見えている。図示の実施形態では、見当合わせ要素４４２ｂは、結合部４２５上の雌型形状部分であり、第２の表面４４０上の結合要素４２５ａは、雄型形状部分である。これらの見当合わせ要素は、結合部４２５と第２の表面４４０とが係合したときに対合して協働する
ようにサイジングされ、位置決めされる。様々に異なる見当合わせ要素のタイプ及び位置を、結合部が第２の表面と係合しているときに対合して協働するように適応させ、構成することができる。

ベース４３０は、解剖学的構造と係合するために使用される第２の表面４３５を含む。この表面の全体又は一部分は、解剖学的構造、特に関節の周囲の骨性の解剖学的構造と係合するのを補助する鋸歯状縁部を含むことができる。ベースの第１の表面４３５は、外科的処置中にベースの第１の表面が固定される解剖学的部位と相補的な湾曲部を有する。１つの実施形態では、解剖学的構造の骨性部分は、外科的処置を受ける関節に隣接している。関節は、膝、肩、手首、足首、腰、又は脊椎から選択することができる。ベース４３０は、ベースを人体上の部位に固定するために使用される固定要素に合わせて適応及び構成された少なくとも１つの開口４３７を含む。固定要素は、ピン、ネジ、釘、外科手術用ステープル、あるいは膠又は接着剤に基づく固定具のうちの１つ又は複数から選択することができる。

次に図２６Ａ、図２６Ｂ、及び図２６Ｃを参照して、設計された基準フレームの追加の特徴について説明する。図２６Ａを参照すると、フレーム３０５とベース３００の間の配向を、いくつかの予め設定された配向の間で調節することができる。これら２つの構成要素の間の関係の変更は、構成要素として接合に利用できる複数の見当合わせ要素のうちのどれを係合させるかを変えることによって行われる。１つの態様では、結合部に複数の見当合わせ要素があり、第２の表面に複数の見当合わせ要素がある。基準フレームの配向は、ベース３３０をフレーム３０５に接合するためにどの見当合わせ要素のグループを使用するかに基づいて、第１の配向３８２と第２の異なる配向３８４との間で調節することができる。結合部の見当合わせ要素の一部が第２の表面の見当合わせ要素の一部と係合する一実施形態では、その結果として、フレームは、術野内で第１の配向になる。別の態様では、結合部の異なる見当合わせ要素が第２の表面の異なる見当合わせ要素と対合し、その結果として、フレーム３０５は、術野内で第２の異なる配向になる。１つの態様では、第１の配向は、外科手術の事前計画で使用される既知の位置である。さらに別の態様では、第２の配向は、外科手術の事前計画で使用される別の既知の位置である。第１の配向及び第２の配向の一方又は両方を、本明細書に記載するＯＴＴＣＡＳ技術の促進に使用することができる。両者は、そのたびに新たにソフトウェア見当合わせを行うことなく、順番に使用することができる。それぞれの構成についての見当合わせ、又は一方の構成のみについての見当合わせを最初に一度行い、他方についてのソフトウェア見当合わせは、その幾何学的形状から計算されるか、又は別個に測定され、そのデータは、記憶され、必要なときにアクセスすることができる。

図２６Ａは、結合部と第２の表面の相対位置及び配向を維持するように適応及び構成されたマウント結合部の一実施形態も示している。この実施形態では、可撓性リンケージ３８０が、これら２つの構成要素の間に示されており、術野内でフレーム３０５の配向を維持するように基準フレーム内でサイジング、成形、及び配向されている。換言すれば、マウント結合部は、十分に剛性であり、処置中にフレーム３０５が衝突を受けた場合には、結合部内の弾性要素が変形することによって、その構成要素が一時的に互いに対して変位する可能性はあるが、元の位置合わせ状態に戻る、又はユーザによって戻すことができるので、その内部の見当合わせ要素によって位置合わせ状態を失うことはない。基準フレームの衝突が十分に強かった場合には、見当合わせ要素が離脱して自動的には戻らなくなるが、ユーザがそれらを元に戻すことができ、元のソフトウェア見当合わせによる位置合わせ状態は失われない。この例示的な実施形態では、可撓性リンケージ３８０は、使用中には、完全に構造内に、ここではベース３３０内に配置される。図２６Ａで最もよく分かるように、リンケージ３８０の一部分は、上側のベース３３０に取り付けられ、別の部分が、下側のベース３３０に取り付けられる。別の代替の態様では、マウント結合部は、マウ
ント結合部が基準フレームに取り付けられたときに、マウント結合部が実質的に、又は完全に、結合部と第２の表面の間の対合接触領域を取り囲むように、設けられる。図２６Ｂ１ａは、上側ベースと下側ベース３３０の間の境界面を完全に取り囲む可撓性マウント結合部３８３を示す斜視図である。図２６Ｂ１ｂは、可撓性マウント結合部３８３を示す斜視図である。図２６Ｂ２ａは、上側ベースと下側ベース３３０の間の境界面を実質的に取り囲む可撓性マウント結合部３８４を示す斜視図である。結合部３８４は、リンケージによって接続された４つのコーナ・マウントを含む。コーナ・マウント及びリンケージは、結合部３８３と同様に、上側マウントと下側マウントの間の境界面の周りに滑り嵌めされるように設計される。図２６Ｂ２ｂは、可撓性マウント結合部３８３を示す斜視図である。

図２７Ａ及び図２７Ｂは、マーカ・パターンを示す代替の基準フレームの表面形状と代替の高さとを与える図である。図２７Ａは、パターン７８に配列された複数の基準マーカ７０を有する基準フレームのほぼ長方形のフレーム３９０を示している。図２７Ｂは、フレーム３９５上のほぼ台形の表面形状３１０を示している。複数の基準マーカ７０が、表面３０５上にあるパターンで配列されている。

図２８は、人工膝関節全置換術に使用される代表的な人工器官２０を示す等角図である。人工器官２０に示してある数字は、膝手術中に行われる切開の種類を表す。図２９Ａ〜図２９Ｉ及び図３０は、本明細書に記載するＯＴＴＣＡＳシステムの特有の組合せのうちの１つを示している。上述の基準フレームのそれぞれは、独立して使用してもよいし、他の解剖学的部位又は外科手術機器と組み合わせて使用してもよいが、基準フレーム３００及び４００は、本明細書に記載するツール搭載追跡デバイス及びＯＴＴＣＡＳ処置で特に有用である。手持ち式型プレカット外科手術用のツール搭載追跡デバイスを使用する際の１つの問題は、処置中に、関連するトラッキング情報を取得し、トラッキング基準フレームを維持することである。この特有の設計及び配置により、基準フレーム３００及び４００を使用して、本明細書に記載するＯＴＴトラッキング技術を使用するこのタイプの動的な基準フレーム・トラッキングを実現することができる。後続の図面に示すように、人工器官２０を移植するために使用される代表的な切開のそれぞれでは、ＯＴＴ１００に搭載された視覚システムは、基準フレーム３００及び基準フレーム４００の全体又は位置部分を視覚的に識別して、見当合わせすることができる。これらの特定の構成は、膝手術用のＯＴＴＣＡＳシステム及びツールの機能を例示するものであるが、本明細書に記載する基準フレーム及び視覚誘導技術は、人体内のその他の関節及びその他の処置用に適応させることができることを理解されたい。

図２９Ａ〜図２９Ｉ及び図３０は、それぞれ、基準フレーム３００を大腿骨１０上に配置し、基準フレーム４００を脛骨１５に沿って、特に脛骨粗面１８上又はその周りに配置するための、代表的な外科手術セットアップを示している。以降の図示のＯＴＴＣＡＳ処置ではこれらの基準フレーム３００、４００を利用し、これらの基準フレームは、移動せず、以降のＯＴＴＣＡＳ工程の全てのステップで同じ位置に留まることを理解されたい。ツール搭載追跡デバイス１００は、アクティブ要素５６を有するツール５４を位置決めし、使用するために、外科手術ツール５０に結合される。

図２９Ａの例示的な実施形態では、ＯＴＴ１００は、遠位外側顆を切開するためにアクティブ要素５６を使用するための誘導を行っている。この切開の間、ＯＴＴ１００に搭載されたカメラは、画像を取り込み、図示の切開の全体又は大部分の間に基準フレーム３００及び４００の両方から受信した情報に基づいて、相対的なナビゲーション及び位置決めの情報を提供している。

図２９Ｂの例示的な実施形態では、ＯＴＴ１００は、遠位内側顆を切開するためにアク
ティブ要素５６を使用するための誘導を行っている。この切開の間、ＯＴＴ１００に搭載されたカメラは、画像を取り込み、図示の切開の全体又は大部分の間に基準フレーム３００及び４００の両方から受信した情報に基づいて、相対的なナビゲーション及び位置決めの情報を提供している。

図２９Ｃの例示的な実施形態では、ＯＴＴ１００は、前大腿部を切開するためにアクティブ要素５６を使用するための誘導を行っている。この切開の間、ＯＴＴ１００に搭載されたカメラは、画像を取り込み、図示の切開の全体又は大部分の間に基準フレーム３００及び４００の両方から受信した情報に基づいて、相対的なナビゲーション及び位置決めの情報を提供している。

図２９Ｄの例示的な実施形態では、ＯＴＴ１００は、外側後顆を切開するためにアクティブ要素５６を使用するための誘導を行っている。この切開の間、ＯＴＴ１００に搭載されたカメラは、画像を取り込み、図示の切開の全体又は大部分の間に基準フレーム３００及び４００の両方から受信した情報に基づいて、相対的なナビゲーション及び位置決めの情報を提供している。

図２９Ｅの例示的な実施形態では、ＯＴＴ１００は、内側後顆を切開するためにアクティブ要素５６を使用するための誘導を行っている。この切開の間、ＯＴＴ１００に搭載されたカメラは、画像を取り込み、図示の切開の全体又は大部分の間に基準フレーム３００及び４００の両方から受信した情報に基づいて、相対的なナビゲーション及び位置決めの情報を提供している。

図２９Ｆの例示的な実施形態では、ＯＴＴ１００は、前大腿部を面取り切開するためにアクティブ要素５６を使用するための誘導を行っている。この切開の間、ＯＴＴ１００に搭載されたカメラは、画像を取り込み、図示の切開の全体又は大部分の間に基準フレーム３００及び４００の両方から受信した情報に基づいて、相対的なナビゲーション及び位置決めの情報を提供している。

図２９Ｇの例示的な実施形態では、ＯＴＴ１００は、外側後顆を面取り切開するためにアクティブ要素５６を使用するための誘導を行っている。この切開の間、ＯＴＴ１００に搭載されたカメラは、画像を取り込み、図示の切開の全体又は大部分の間に基準フレーム３００及び４００の両方から受信した情報に基づいて、相対的なナビゲーション及び位置決めの情報を提供している。

図２９Ｈの例示的な実施形態では、ＯＴＴ１００は、内側後顆を面取り切開するためにアクティブ要素５６を使用するための誘導を行っている。この切開の間、ＯＴＴ１００に搭載されたカメラは、画像を取り込み、図示の切開の全体又は大部分の間に基準フレーム３００及び４００の両方から受信した情報に基づいて、相対的なナビゲーション及び位置決めの情報を提供している。

図２９Ｉの例示的な実施形態では、ＯＴＴ１００は、脛骨を切開するためにアクティブ要素５６を使用するための誘導を行っている。この切開の間、ＯＴＴ１００に搭載されたカメラは、画像を取り込み、図示の切開の全体又は大部分の間に基準フレーム３００及び４００の両方から受信した情報に基づいて、相対的なナビゲーション及び位置決めの情報を提供している。

図３０は、ツール５４及びアクティブ要素５６を有する外科手術器具５０に結合されたＯＴＴ１００を示している。基準フレーム３００、４００も、膝の周りのＯＴＴＣＡＳ外科手術部位と関連付けて示してある。ステム３９８及び先端３９９を有する追加の基準フ
レーム３９７が、術野のさらなる見当合わせ又はノーテーション（ｎｏｔａｔｉｏｎ）のために使用されている。基準フレーム３９７の見当合わせは、ツールを備えるＯＴＴ１００ｍの撮像システムによって行われる。見当合わせフレーム３９７は、見当合わせフレーム３００、４００の一方又は両方とともに見当合わせされる。本明細書に記載するＯＴＴ
ＣＡＳ方法の実施形態では、基準フレーム３００、４００を両方とも利用するが、ＯＴＴ及びＯＴＴＣＡＳ処理の画像に基づくトラッキング機能が改良されているので、このＯＴＴＣＡＳシステムでは、両方の基準フレームが利用可能であるが、処理中に一方の基準フレームからのトラッキング情報しか使用しないことを選ぶ。

本明細書に記載する特有の基準フレームの実施形態を使用することを考えるときには、ＯＴＴＣＡＳシステムのユーザにとって好ましい可能性があるビューがあるということを考慮されたい。ＯＴＴＣＡＳシステムは、特定の切開については特定のビューがデフォルトで示されるように事前にプログラムされる。例えば、ＴＫＲ処置の人工大腿骨を準備する際に大腿骨を切除するという例では、図２９及び図３０に示すように、いくつかの表面を切開することになる。それぞれの表面は、処置中に、異なる視点から見ると最もよく見える可能性がある。内側顆の前部表面を切開するときには、第１のビューが望ましい可能性があるが、外側顆の前部表面を切開するときには、第２のビューが望ましい可能性がある。したがって、システムは、内側顆の前部表面を切除するとき仮想モデルを見るために、予め定義された第１のビューを設定する。同様に、いくつかの一般的な切除処置について、いくつかのデフォルトの視覚ビューを定義することができる。ＯＴＴＣＡＳシステムは、実行する切開を決定したら、その切開に最もふさわしいものを決定し、外科医の介入なしで自動的にそのデフォルトを表示する。全く同じようにして、ＯＴＴＣＡＳコンピュータによって実行される視覚に基づく工程も、状況に応じて自動的に、一方又は両方の基準フレームからの利用可能なトラッキング情報の全体又は一部分を使用するように予め選択されていることがある。さらに、ＯＴＴＣＡＳは、術野内の基準フレームの配向を調節して、そのフレームからの誘導情報を改善する際に、ユーザを誘導することができる。ベースの見当合わせ位置を維持しながらフレームの配向を調節することができることは、本明細書に記載されている。

別の代替の態様では、図１６Ａ〜図３０を参照して説明した基準フレームの１つ又は複数に、ディボット（ｄｉｖｏｔ）又はその他の機構が存在する。１つの態様では、外科手術ツール、タッチ・スクリーン、又はナビゲートされるポインタを用いてディボットに接触し、この接触によって、システムが、ステップの開始又は完了を示す。一例では、基準フレームとの接触（例えばナビゲートされるポインタを用いて接触する）に応答して、ＯＴＴＣＡＳシステムは、動作の開始又は動作の完了を登録する。１つの具体的な実施形態では、基準フレームに接触するアクションが、その特定の基準フレームを伴う動作の開始を示す。基準フレームを用いて行われる１つの例示的な動作は、骨の見当合わせである。さらに別の態様では、この入力及び／又は特定の基準フレームとの相互作用は、ＣＡＳ停空モード、スマート・ビュー、表示、又はその他の機能のための選択基準に関する入力、又はその一部にもなる。

いくつかの様々な給電又は無給電ツールのうちのいずれでも、本明細書に記載するＯＴＴＣＡＳシステムとともに利用することができることを理解されたい。例えば、整形外科分野では、このシステムは、Ｓｔｒｙｋｅｒ社製Ｓｙｓｔｅｍ６Ｒｅｃｉｓｉｏｎ
Ｏｓｃｉｌｌａｔｉｎｇｓａｗなどの単一の整形外科用電動のこぎり上に構築することができる。同様に、このシステムは、バーやドリルなど、整形外科手術で一般に使用される他の電動ツールとともに使用することもできる。このような応用分野では、このシステムは、外科手術ツールの設計内に一体化してもよいし、レトロフィットとして追加してもよい。さらに、このシステムは、ポインタ、マーカ、又はメスなど、いかなる外部電源も必要としないツールを利用することもできる。このシステムは、外科的処置の異なる段
階で使用される複数のスマート・ツールを収容し、幅広い様々な外科的処置を実行できるだけのロバスト性を持たせることができると理想的である。ＯＴＴ１００は、上述の、また本明細書の他の箇所に記載されるような、幅広い様々な外科手術ツール、フリーハンド・ツールの筐体に適合するように適応させることができることを理解されたい。あるいは、ＯＴＴは、フリーハンド・ツール又は手持ち型電動器具、及びそれらのツールとともに製造されたそれらの筐体内に組み込む（完全に一体化する）こともできる。様々な２部式筐体など、追加のＯＴＴ筐体構成は、以下で、図６８ａ〜図７２を参照して例示し、説明する。

このシステムは、整形外科手術以外の応用分野でも使用することができる。例えば、このシステムは、整形外科手術の教育及び訓練を外科医に行うためのシミュレーション及びシミュレータで使用することもできる。あるいは、このシステムは、剛性組織の精密な配向及び操作を必要とするその他の医療処置にも使用することができる。このコンピュータ支援外科手術技術は、そのような歯科処置も、容易に、容易にすることができる。このシステムは、例えば大工仕事、板金作業、及び材料を特定のパターンで切断又は穿孔するためにユーザを誘導するその他の全ての工学的マーキング及び機械加工の工程など、非医療分野でも使用することができる。

本明細書に記載するＯＴＴＣＡＳシステムの実施形態は、ツールに搭載された１つ又は複数のトラッカを配置することによって、外部トラッキング・デバイスを必要としない。本発明は、外部トラッキング・システムの必要を完全に解消することもできるし、あるいはトラッキング・サブシステムを利用して新たなトラッキング・データを追加することもできる。いずれの構成でも、ツール自体が、患者の解剖学的構造をトラッキングするか、あるいはそのツール自体を患者の解剖学的構造に対してトラッキングするものであり、両方をトラッキングして他方に対する一方の相対位置を決定する外部トラッカとは対照的である。さらに、トラッキング・システムに入力を提供する構成要素がそのツール自体の上に位置づけられているので、このシステムの全てのトラッキングされる要素は、ツールを基準としてトラッキングされる。その結果として、オン・ツール・トラッカによって生成されるトラッキング・データは、非常に異なったものとなる。例えば、ツールの位置は、その他の全てのトラッキングされる物体がそのツールの視点からトラッキングされるので、独立してトラッキングする必要がない。搭載型トラッキング・システムは、外科手術器具を含むシステムの全ての構成要素が外部デバイスによってトラッキングされる外部トラッキング・システムが直面する懸念を緩和する。ロジスティックには、本発明では、トラッキング・システム又はトラッキング・システムの処理部分に入力を提供する構成部分をそのツール自体に配置することにより、手術室は、手術室内に別個の機器を置く必要性がなくなる、又は少なくとも最小限に抑えられる。トラッキングのためのセンサがツールに搭載されているので、これにより、トラッキングされるターゲットにより近くなるという別の利点が得られ、したがって、より高い解像度及び確度が得られ、またトラッカと他のシステムのトラッキングされる要素との間の「視線」アクセスの要件を緩和することができる。

このトラッカ・トラッキング・サブシステムは、外科手術器具に搭載されたトラッカが検出できる１つ又は複数のトラッキング要素をさらに含む。このシステムで使用することができるトラッキング要素は、幅広く様々である。例えば、１つ又は複数の反射表面を含む基準フレームは、赤外光又は可視光を外科手術ツールに向けて反射することができる。発光ダイオードも、同様に、トラッキングされる物体の位置を外科手術ツールに対して示すことができる。基準マーカの位置又は画像認識など、その他の手法も、外部基準フレームを、トラッキングする必要がある患者の組織などの物体上に配置する必要を解消することができる。さらに別の実施形態では、患者の解剖学的構造の特定の画像が、いかなる他の基準点も援用することなく、トラッキング要素として機能することもある。

外科手術器具は、１つ又は複数のトラッカによって、トラッキングされる要素の位置をトラッキングする。一実施形態では、このシステムは、２つのカメラの立体配置をトラッカとして利用する。これらのカメラは、のこぎりの刃／ドリル・ビット／バーなどのいずれかの側に、横に並べて配置され、立体視に適した範囲の角度で傾斜している。ドリルなど、他のツールでも、カメラは、同様に、ドリル・ビット又はその他の任意のツールのエンド・エフェクタのいずれかの側に並んで立体視的に配置される。

ツールのエンド・エフェクタに対するカメラの配置は、トラッカ・トラッキング要素サブシステムの動作に影響を及ぼす。例えば、この１つ又は複数のカメラをエンド・エフェクタから後方に離して配置すると、視野を拡大される。関節置換などの応用分野では、又はツールを患者の解剖学的構造に近接している場合には、広い視野は有用である。視野が拡大されると、ツールは、より容易にトラッキング要素を発見することができる。１つ又は複数のカメラをツールのエンド・エフェクタにより近づけて配置すると、視野は狭くなるが、歯科手術などの応用分野で有用な拡大及び解像度を追加される。さらに、カメラの配置は、サブシステムのその他の要素の相対位置を考慮していなければならない。カメラの軸がツールのエンド・エフェクタの平面内に載るようにカメラを配置すると、エンド・エフェクタがカメラの視野を遮断する程度が最小限に抑えられる。ただし、カメラは、外科的処置で１つ又は複数のトラッキング要素をトラッキングするのに適していると考えられる任意の構成で配置することができるように企図されている。技術の進歩とともに、特定のツール及び外科手術環境では、これらの現在記載される以外の構成が、より好ましくなる可能性もある。

このサブシステムは、幅広い様々なカメラ又はカメラ・システムを利用することができる。一般に、このシステムは、デジタル・カメラを利用する。さらに、このシステムは、少なくとも２つのカメラを利用して、立体視を提供する。「フレーム・グラバ」又は「キャプチャ・カード」と呼ばれることもある、画像フォーマット変換の確立した技術など、有効なデジタル変換手段があれば、アナログ・カメラを使用することも可能である。立体視と、２つのカメラからの画像の差に基づいてさらなる情報を得ることができることとは、このシステムが、位置及び配向又は姿勢に関して３次元でトラッキング要素をより良好に位置決定する助けとなる。システムは、「冗長性」と呼ばれるものを利用して２つを超えるカメラを利用して、トラッキングされる要素がカメラの１つ又は複数から見えず、したがって２つのカメラでは十分でない場合などに、ナビゲートする機能を改善することもできる。さらに、システムは、カメラを１つしか利用しないこともできるが、その場合には、立体視システムと同じ確度でナビゲートするために追加の画像処理が必要になる。

あるいは、このサブシステムは、トラッカ及びトラッキング要素の異なるシステムを利用することもできる。１つの代替形態では、トラッカは、標準的な手術室条件下で存在する可視光スペクトルでの画像認識用に最適化された高解像度カメラである。トラッキング要素は、外科手術計画に記憶された医療用画像に基づく、患者の解剖学的構造である。さらに、視野を狭くすると、患者の解剖学的構造を効率的に認識するのに有利であることもある。最後に、外科手術計画自体が、機能的なトラッキング要素を確立するために、患者の特定の解剖学的ランドマークを組み込む、又は識別する必要があることもある。

構成に関わらず、カメラは、トラッキング要素を特定の所定の確度レベルで正確にトラッキングするために、十分な解像度を有する必要がある。例えば、トラッキング要素が赤外線ＬＥＤを有する基準フレームであるシステムでは、６４０×４８０の解像度を有するカメラで、外科手術の確度でトラッキング要素をトラッキングするのに十分な解像度を有する。システムは、赤外線フィルタなどの追加の要素を利用し、カメラ用のトラッキング要素を分離することができる。このようなシステムでは、解像度の低いカメラでも、確度
の高いトラッキングを行うのに十分であることもある。

解像度だけが、システムの動作に影響を及ぼすカメラの特徴というわけではない。個々のシステム構成によっては、フレーム・レートも重要な考慮事項である。例えば、約１００Ｈｚ（毎秒のフレーム数）という非常に高いフレーム・レートは、待ち時間を最小限にするが、画像プロセッサへの負担が非常に大きくなる。システムは、これほど多くの取り込まれた画像から所与の単位時間でトラッキング要素を抽出するために、強力なプロセッサを必要とすることになる。あるいは、フレーム・レートが低過ぎる場合には、システムの待ち時間が非常に大きくなる。オペレータがツールをあまりに速く動かすと、システムは、ツールをトラッキングし続けることができなくなる。システムでは、許容できる最小限のフレーム・レートを利用すべきである。基準フレームにおいてＶＧＡカメラのアレイとともに赤外線ＬＥＤを利用するシステムでは、３０Ｈｚのフレーム・レートで、フリーハンド整形外科手術に適したシステムが得られる。

これらの例は、協働して、トラッカ・トラッキング要素サブシステムの例示的なカメラ・トラッキングの実施形態を含むトラッキング要素及びカメラの様々な構成を例示したものである。トラッキング要素の正確な配置だけでなく、トラッキング要素の場所も、カメラが取り込んだ画像から抽出しなければならない。カメラから受信した画像信号には、デジタル信号処理（ＤＳＰ）を施して、トラッキング要素の画像を、ツールを基準とした数学的座標に変換しなければならない。次いで、数学的座標をコンピュータシステムに送って、外科手術計画と比較して、コンピュータシステムが外科手術経路が意図した切開に従っているかどうかを判定できるようにする。

カメラからの生データを数学的座標に処理するためのいくつかのステップがあることを考慮されたい。最初に、システムは、画像を取得しなければならない。マーカ（例えば赤外線ＬＥＤ、反射体、基準マーカなど）を検出するカメラでは、システムは、トラッキング要素全体で使用される個々のマーカそれぞれのセントロイドの座標を決定し、各要素のサイズを決定し、このサイズ及び形状と、各ＬＥＤの座標とをコンピュータシステムに報告しなければならない。セントロイドの場所を決定するためのサブピクセル解析など、取り込まれた画像を処理する追加の動作によって、確度を向上させることができる。

３０Ｈｚで動作するシステムでは、約３３ミリ秒でステップを完了しなければならず、コンピュータは、個々のＬＥＤの間の関係を決定し、トラッキング要素の位置及び配向を計算する必要がある。そのデータから、コンピュータは、モデルの配向、及び骨と外科手術ツールとの間の相対位置を決定しなければならない。信号処理では、任意の必要な動作を実行するのに、２つの連続したフレームの間の時間しかない。（例えば、３０Ｈｚのフレーム・レートでは、処理システムは、これらの動作を実行するのに、上述の３３ミリ秒の期間しかない。）一実施形態では、前述のステップの大部分は、ツール自体において、しばしばカメラ（又はその他のトラッカ）自体に一体化されたＣＰＵによって実施することができる。

例えば、カメラによって取り込まれた画像の追加の処理は、カメラに一体化されたＣＰＵによって、又はコンピュータシステム上で、あるいはその２つの何らかの組み合わせで実施することができる。例えば、多くの小型カメラは、データ信号をエクスポートする前にデジタル信号処理アルゴリズムを実行することができる内蔵ＣＰＵを有する。ＤＳＰは、カラー画像をグレースケールに変換するような単純なステップを含んでいてもよいし、あるいはビデオ画像を識別されたＬＥＤを取り囲む小さなボックスにクロッピングするような複雑な動作を含んでいてもよい。初期処理によって、カメラに取り込まれた画像からのトラッキング要素の最終的な抽出が、より計算負荷の軽いものになり、トラッキング工程全体が、より効率的になる。

カメラ・トラッキング要素サブシステムは、デジタル画像送信機又は無線送信機を備えたデジタル・カメラを利用することができる。「ＩＰ」又は「ＷｉＦｉ」カメラと一般に呼ばれるデジタル画像送信機を備えたカメラは、幅広く様々なものがある。多くの小型の低コストの解決策を使用することができ、任意のフォーマット（例えばＭｐｅｇ）のストリーミング画像（２つのカメラの間で同期させることができる）を、多くの既知のデジタル・ストリーミング・プロトコルのうちの１つを介して処理電子機器に送ることができる。あるいは、一人称視点（ＦＰＶ）技術と呼ばれるものを用いた模型飛行機で使用されるように、アナログ画像送信を使用することもできる。これにより、最小限の重量及びサイズを有し、小型の無線送信機を有し、低コストの容易に入手できる市販のカメラを使用しやすくなる。画像処理を行い、トラッキングされた要素の座標を抽出した後で、コンピュータシステムに通知するのに十分なトラッキング・データを作成するために追加の処理が必要である。トラッキングされた要素の座標を、カメラに関する情報（仕様及び較正データなど）と組み合わせて、各トラッキングされる要素の場所空間をさらに洗練する。各トラッキングされる要素の洗練された場所に基づいて、サブシステムは、特定のトラッキング要素（基準フレームと呼ぶこともある）についてのユーザ定義のクラスタの定義を利用して、そのトラッキング要素の有効なクラスタと、それらの空間内での位置及び配向とを検出する。空間内での位置及び配向を決定するデータは、使用に備えてフォーマット化される。例えば、システムは、特定の座標を、外科手術計画で使用される空間の全体的な定義に適合するマトリクス内に配置することができる。

前述の処理は、ツール上で起こりうる処理とは異なり、画像の条件付け及び空間的抽出ではない。この処理は、外科手術計画及び計画された切除が計算されたのと同じコンピュータシステム内にあることもある専用のソフトウェアによって行うこともできるし、あるいは、この処理は、ツール上にあることも、ツール及びコンピュータシステムの両方から分離していることもある中間コンピュータで行われることもある。

追加のナビゲーション・データによって、カメラ・トラッキング要素システムを増補することができる。ツールは、外科手術経路に沿ったツールの配向及び動きを決定するために、１つ又は複数の加速度計又は慣性センサをさらに含むことができる。加速度計は、１つ又は複数のカメラからのトラッキング・データに加えて、追加のデータをコンピュータシステムに提供することができる。あるいは、外部トラッキング・システムによって、ツールの搭載型トラッキングを増補することもできる。このような応用は、必要というわけではないが、主にユーザの動きを「予測」することによって、システムのトラッキング機能を増補するのに役立つことがある。システムは、複数のトラッカ・トラッキング要素モダリティをさらに含むこともできる。例えば、システムは、光学解像のための可視光カメラだけでなく、赤外線カメラと赤外線ＬＥＤを備えたトラッキング要素とを含むこともできる。両者からのトラッキング情報を処理して、ツールの３次元の座標を確立することができる。

コンピュータ支援外科手術ではよくあることであるが、外科手術計画は、所望の外科的処置を開始する前、又は所望の外科的処置のステップを実行する前に決定される。外科手術計画は、患者の解剖学的構造のコンピュータ描出上で外科医が指定した所期の切除に基づいている。患者の解剖学的構造のコンピュータ描出は、ＣＴスキャン又はＭＲＩスキャンなど、様々な医療用撮像技術によって調達することができきる。さらに、のこぎり、ドリル、バー、インプラント、又は任意の外科手術器具、あるいはそれらの一部分のコンピュータ描出は、コンピュータシステムにプログラムされた設計仕様（又はモデル）によって得ることができる。患者の解剖学的構造のコンピュータ描出が、ディスプレイ、マウス、キーボード、タッチ・ディスプレイ、又はその他の任意のデバイスなど、コンピュータシステムとインタフェースをとるコンピュータ・インタフェースを介してアクセスできる
ようになったら、外科医は、実行する１つ又は複数の切開、穿孔する領域、除去する組織槐をコンピュータシステムに入力することによって、外科手術計画の切除を手作業で指定することができる。あるいは、コンピュータシステムは、外科医によって選択された１組の指定パラメータに基づいて外科手術計画を生成するように構成することもできる。指定パラメータは、例えば、外科医が患者の解剖学的構造に取り付けたいと思うインプラントの形状、サイズ、及び／又は場所に対応することもある。コンピュータは、これに従って、インプラントを患者の解剖学的構造に取り付けるのに必要な切除を含む外科手術計画を生成することができる。外科医によって外科手術が指定されたら、コンピュータシステムは、この外科手術計画を、外科手術を構成する所期の切除の境界を規定する１つ又は複数の数学的に定義された表面に変換する。次いで、前述のトラッカ・トラッキング要素サブシステムによって得られたデータを使用して、器具の外科手術経路を外科手術計画と比較して、外科手術経路の偏向を決定することができる。

次に、外科手術計画を、デカルト座標系、球座標系、又は円柱座標系、あるいはその他の解剖学に基づいた座標系など、許容できる３次元座標系で数学的に定義された１つ又は複数の表面として描画する。例えば、デカルト座標を使用する外科手術計画では、切開は、限定を定義するＸＹＺ座標からの、Ｘ軸、Ｙ軸、及びＺ軸に沿った指定距離として定義することができる。各軸に沿った指定距離は、直線である必要はない。例えば、患者の解剖学的構造の穿孔しようとする領域を表す円柱は、デカルト座標では、原点の周りの指定直径を有する円形表面であって、原点からこの円形表面に直交する方向に指定距離だけ延びる円形表面として定義することができる。任意の切開、一連の切開、又は除去する組織槐は、指定された切除を完了するために外科手術器具が従わなければならない外科手術計画の境界を描出する表面を定義する同様の手法によって、数学的に定義することができる。

前述のように、外科医は、患者の解剖学的構造のコンピュータ描出上で外科手術計画の切除を手作業で指定することができる。一実施形態では、外科医は、コンピュータ・インタフェースを使用して、患者の解剖学的構造の３次元描出を見て操作し、切開を表すマークをつけることができる。３次元描出上につけられたマークは、次いで、外科医が外科手術器具を用いて従わなければならない外科手術計画を描画する数学的表面に変換される。

人工膝関節全置換手術など、インプラントを利用する外科的処置では、インプラントが患者の解剖学的構造に正しく適合することをより良好に保証するために、外科手術計画を描画するときに、インプラントの物理的仕様を使用すると有利である。このような実施形態では、外科医は、コンピュータ・インタフェースを使用して、患者の解剖学的構造ならびに１つ又は複数の指定されたインプラントの三次元描出を見て操作することができる。例えば、外科医は、サイズや形状など様々な物理的特徴を有するインプラントのカタログから選ぶことができることもある。外科医は、適当なインプラントを選び、このインプラントの３次元描出を操作して、患者の解剖学的構造の３次元描出の上に所望の位置合わせ状態で重ねることができる。次いで、外科医は、そのインプラントを受けるように患者の解剖学的構造を準備するのに必要な計画した切除を含む外科手術計画をコンピュータシステムが生成するオプションを選択することができる。したがって、コンピュータシステムは、インプラントと患者の解剖学的構造が外科医によって位置合わせされるときに、インプラントのコンピュータ描出と患者の解剖学的構造のコンピュータ描出との間の各交差点で、外科手術計画を描画する適当な数学的表面を計算することによって、外科手術計画を描画する適当な数学的表面を生成するように構成することができる。

外科手術器具で外科手術計画に従うように外科医を誘導するためには、外科手術器具の経路を計画された切除と比較する手段がなければならない。トラッカ・トラッキング要素サブシステムは、これに従って、ツールに対する外科手術計画の数学的に定義された表面
の３次元場所及び配向をトラッキングすることができる。一実施形態では、これらの数学的表面は、患者の解剖学的構造上の固定位置に位置するトラッキング要素によって参照される。確度を高めるためには、トラッキング要素を、容易に識別可能な場所の剛性組織に固定してもよい。このようにすることにより、トラッキング・システムに対する患者の解剖学的構造の見当合わせが簡略になり、軟組織の予想不可能な動きによって生じ得る不要な誤差が回避される。患者の解剖学的構造がトラッキング・システムに対して見当合わせされたら、コンピュータシステムで定義された数学的表面を、トラッキング要素の固定位置の座標に対するそれらの座標に基づいてトラッキングすることができる。トラッキング・システムは、外科手術器具上に位置しているので、患者の解剖学的構造の場所及び配向ならびにそれらに対応する外科手術計画の数学的表面に関連するトラッキング・システムによって収集されるトラッキング・データは、外科手術器具上の定義された基準点を基準としている。したがって、外科手術中には、コンピュータシステムは、トラッキング・データを使用して、外科手術器具が辿る外科手術経路と外科手術計画の表面との間の偏倚を繰り返し計算することができる。外科手術経路と外科手術計画との間の位置合わせの誤差、ならびに補正アクションは、コンピュータ・スクリーン、ＬＣＤ又は投影ディスプレイ上のグラフィック通知、光の点滅、音声警告、知覚フィードバック機構、あるいはその他の任意の偏倚誤差を示す手段などの指示器によって外科医に伝えることができる。

１つの態様では、指示器は、外科手術計画の所期の切開を実現するためにはどのように外科手術経路を位置合わせすればよいかについて外科医を誘導するシステムである。一実施形態では、指示器は、手術室内で外科医に情報を提供するために使用されるコンピュータシステムの要素である。米国特許出願第１１／９２７４２９号の段落［０２１２］は、手術室のコンピュータを使用して外科医による外科手術ツールの操作を誘導することを教示している。この４２９号特許に教示されている１つの指示手段は、外科手術器具の作動である。外科医の外科手術経路が所期の切除から偏倚すると、搭載カメラ・トラッキング要素サブシステムによって検出され、コンピュータシステムは、外科手術ツールと通信して、ツールをスローダウンする、又はツールの動作を停止する。このようなシステムでは、４２９号出願の段落［０１２３］にさらに教示されるように、外科手術ツールを作動させることが、外科医がコンピュータ支援外科手術システムから指示を受け取る手段である。

別の実施形態では、コンピュータシステムは、外部ディスプレイを介して、外科手術経路がいつ所期の切除から偏倚したかを示すこともできる。コンピュータシステムは、外科手術ツール及び患者の解剖学的構造の３次元描出を表示することができる。この画像に重ねられるのは、外科手術計画の３次元描出である。コンピュータシステムは、カメラ・トラッキング要素サブシステムによって決定される外科手術ツールと患者の解剖学的構造の相対位置を更新し、所期の切開に重ねる。次いで、外科医は、この表示を利用して、外科手術経路を所期の切開と位置合わせすることができる。同様に、外科手術ツールと患者の解剖学的構造の相対位置は、個人用眼鏡型ディスプレイ、手術室内の大型投影ディスプレイ、スマートフォン、又はツールに取り付けられたスクリーンなど、他のスクリーン上に表示することができる。コンピュータシステム上のスクリーンなどの外部スクリーンと、ツール自体のスクリーンなどの他のスクリーンとを組み合わせることによって、外科医に、最適な量の情報を提供することができる。例えば、コンピュータシステムのスクリーンは、処置の大域的な概要を外科医に提供し、ツールのスクリーンは、処置中の特定の切開又はステップについての具体的な誘導を提供することができる。

外科手術ツールに搭載されたスクリーンは、４２９号出願の段落［０２１５］に教示されている。この搭載スクリーンは、上述した外部ディスプレイの画像と同じ種類の画像を表示することもできる。ＯＴＴデバイスの状況における例示的な実施態様を、図５２Ａ及び図５２Ｂに示し、説明する。搭載スクリーンは、外科手術経路及び所期の切除の位置合
わせの簡略化した描画を表示することができる。一実施形態では、この簡略化表示は、３本の線で構成される。外科手術経路は、１本が細く、１本が太い、２本の線で描画される。細い線は、外科手術経路の遠位端部を示し、太い線は、外科手術経路の近位端部を示す。第３の線は、所期の切除を示す。最初の２本の線は、外科手術ツールのナビゲートされた位置（場所及び配向）から計算される。コンピュータシステムは、３つ全てをコンパイルして、外科手術ツール上のスクリーンに表示する。この表示は、外科手術経路の近位部分及び遠位部分の両方を示し、外科医に対してその相対位置を３次元で示している。外科手術経路が所期の切除と位置合わせされると、３本の線が全て位置合わせされる。指示器は、ツールの位置を３次元で補正するための方法を、外科医に示す。

一実施形態では、この表示は、のこぎりをナビゲートするための誘導を提供するように最適化される。外科手術経路は、のこぎりが生じる切開の形状に大まかに対応している線によって描画される。別の実施形態では、この簡略な描画は、外科手術経路の遠位端部を描画する小さな円と、近位端部を描画する大きな円の、２つの円で描画することもできる。十字形や菱形など、サイズが概ね同じである第２の形状で、所期の切除を描画する。先述のように、外科医は、これらの形状を整列させることによって、外科手術経路を所期の切除と位置合わせすることができる。円は、ドリルなど、異なるツールの外科手術経路を描画する。この方法では、システムは、幅広い様々な外科手術ツールの誘導を提供することができる。一実施形態では、指示器に示される全ての要素の位置は、人間の反応時間より速い速度で、コンピュータ及びトラッキング・サブシステムによって更新しなければならない。

外科手術表示の１つの制限は、それらによって、外科医の注意が患者から逸れてしまうことである。１つの解決策は、指示情報を、処置が行われている患者の体の部分に直接投影することである。任意の様々なプロジェクタを、ツールに配置して、任意の指示方法を患者の上に表示することができる。一実施形態では、搭載型ピコ・プロジェクタで、上述の簡略化された３本線手法を表示することができる。第３の線は、所期の切除が患者の解剖学的構造の残りの部分を基準としてどこから始まるかを患者の上に正確に描画するので、多くの点で非常に役に立つ。さらに、指示器は、外科手術経路を所期の切除と位置合わせするためにどのように補正するかについて、より直接的な誘導を提供し、その誘導情報を患者の上に直接投影することができる。例えば、プロジェクタは、外科医が外科手術経路を補正するために移動しなければならない方向を指す矢印を描画することができる。

指示情報を患者の解剖学的構造の上に正確に投影するためには、いくつかの問題がある。第１に、搭載型のオン・ツール手法では、投影プラットフォームは、常に動いていることになる。さらに、プロジェクタが投影を行う表面が、平坦ではない。第２の問題を解決するために、このシステムでは、外科手術計画中に得られた情報を利用する。最初に、システムは、患者の解剖学的構造の表面の幾何学的構造を知っている。外科手術計画は、ＣＴスキャンなど患者の医療用画像を含み、その画像から、指示器が投影を行う表面の幾何学的形状を抽出することができる。システムは、これに応じて、患者の解剖学的構造の表面に投影された情報を見ている外科医から適切に見えるように、誘導情報を投影する。例えば、システムは、外科医がのこぎりで切開すべき場所を直線を利用して示す場合には、患者の解剖学的構造に投影されたときに真っ直ぐに見えるように、その線を曲げたり湾曲させたりすることができる。この手法を利用して、指示器は、上記で教示した位置合わせの３本線による簡略描画を投影することができる。

同様に、システムは、トラッキング・システムによって、ツールの相対位置も計算する。その情報を用いて、システムは、指示器が所期の切除の適切な位置を患者の解剖学的構造に投影することを保証するように、投影確度を継続的に修正することができる。指示器は、ミニ標準ＬＥＤプロジェクタ又はレーザ・スキャン型ピコ・プロジェクタ・システム
など、幅広い様々なプロジェクタを使用することができる。ただし、上記の内容は、ツールに搭載されていないプロジェクタ、又は任意の他の形態のコンピュータ支援外科手術で使用されるプロジェクタの利用を妨げるものではない。例えば、外部からトラッキングされるシステムは、同じように患者の解剖学的構造に指示情報を投影する別個の投影システムを含むこともできる。

のこぎりに搭載されたスクリーン又はプロジェクタだけでなく、システムは、Ａｐｐｌｅ社製ｉＰｈｏｎｅ（登録商標）４Ｇなどのスマートフォン又はタブレット・コンピュータを利用して、外科医に指示を提供することもできる。スマートフォン又はタブレット・コンピュータを使用する指示器には、スクリーンが取外し可能であるというさらなる利点がある。さらに、搭載型スクリーンと全く同様に、スマートフォンは、ツール及び患者の両方の描出、又は２本線の実施形態のような簡略化画像を表示することができる。異なる簡略化表示によって、外科手術経路と所期の切除が位置合わせされたときの指示、及びそれらがずれたときの方向を提供することもできる。例えば、外科医が切除に接近するのが低過ぎる場合には、スクリーンは、上向きの矢印を描画することができる。この矢印を３次元で描出して、さらなる指示を外科医に提供することもできる。

簡略な指示器では、表示は、スマートフォン又はその他の高解像度スクリーンほどロバストである必要はない。例えば、一列に並んだＬＥＤで、前述の３本の線又は矢印の指示を表示することもできる。指示方法は、視覚的でなくてもよい。このシステムは、第４２９号出願の段落［０１２２］にさらに記載されるように、外科手術経路が所期の切除から偏倚したときにユーザに対して聴覚的に指示することもできる。

上記で詳述したように、コンピュータ支援外科手術は、任意の既知の医療用撮像モダリティを用いて得られる画像及び再構築に基づくモデルなど、コンピュータに基づく解剖学的モデルから、あるいはコンピュータに基づく解剖学的モデルを援用してコンピュータ支援外科手術で使用される解剖学的モデル又は骨モデルを描画するモーフィング又はその他の既知の工程によって生成される解剖学的モデルから始まり、外科手術計画は、特定の患者及び処置について実施されるように作成される。外科手術の事前計画は、手術前画像データを取得するステップ、行う特定の処置の外科手術計画を立てるステップ、患者に固有の解剖学的構造又は条件、及び当てはまる場合には任意の特定の人工器官、デバイス、インプラント、あるいはＣＡＳ処置中に選択された３Ｄ位置合わせ状態で配置、接合、又は使用されるその他の構造に合わせて計画を適応させるステップなど、いくつかのステップを含む。この大まかな手術前計画情報をもとに、外科医は、外科手術部位に実施する患者に固有の術中計画に進む。患者に固有の術中外科手術計画は、コンピュータ支援外科手術を使用することによって強化されうる任意の整形外科処置又は低侵襲処置など、特定の部位又は特定の処置に対処するように適応される。例えば、特定の関節を、何らかの形態の修復、部分置換、又は完全置換のために位置合わせすることができる。本明細書に記載する技術は、足首、腰、肘、肩など他の関節、又は本明細書に記載するコンピュータ支援外科手術の改良の恩恵を受ける骨格解剖学的構造のその他の部分（例えば骨切除術又は脊椎手術）に適用することができることを理解されたい。これらの技術の恩恵を受ける可能性がある骨格解剖学的構造の例としては、脊椎の椎骨、肩甲骨、腕の骨、脚の骨、足又は手の骨などが挙げられるが、これらに限定されるわけではない。

非限定的な例として、全膝関節形成術を、具体例として使用する。説明のために、全膝関節形成術は、通常は、それぞれについて以下でさらに詳細に述べる、大腿骨についての５箇所の外科手術切開（ＣＲ又はＰＣＬ温存型の場合。ＰＳ又はＰＣＬ犠牲型の場合は８箇所の切開）と、脛骨について１箇所又は複数箇所の切開を含む。これらの切開は、外科的処置又はステップの一部分の１つ又は複数の特定の特徴を強調するように修正されることもあることを理解されたい。例えば、特定の処置の人工器官デバイスの特定の幾何学的
形状、配向、又は特徴が、外科手術計画の特定の特徴の修正につながることもある。別の例では、特定の処置又は人工器官が、特定のタイプの切開、ツール、又は外科手術手法の恩恵を受けることもある。これらの要因はいずれも、コンピュータ支援外科手術が本明細書に記載する実施形態にしたがって進行するための方法を調節するために使用することができる。非限定的な例として、コンピュータ支援外科手術システムは、切開の表面（例えば平面）を、コンピュータ支援外科手術ステップの直前又はコンピュータ支援外科手術ステップ中に外科医に提示する最も重要な情報として選択することがある。さらに別の態様では、ＯＴＴＣＡＳで、ユーザは、使用されている外科手術ツール又はそのツールが解剖学的構造にもたらす結果のいずれかの表現に関連する２Ｄ、３Ｄ又はその他の出力情報を使用して、外科手術ステップの判断を選択したり、又はそのような情報に基づいて外科手術ステップの判断を行ったりすることができる。例えば、外科手術ツールがのこぎりである場合には、ユーザは、のこぎりのプロフィル、又はそののこぎりによって解剖学的構造に形成される切開に対応する１つ又は複数の表面（この具体的な例では平面）に概ね対応するようなサイズの複数の長方形から選択することができる。さらに別の例では、外科手術ツールはドリルを含み、ユーザが、そのドリルのサイズに対応する対応する円、そのドリルを使用することの解剖学的影響に関連する円柱、ならびにドリルの切削チップの解剖学的構造との係合を表すことができるその他のファクタを与えられるか、あるいは、システムが、処理の判断をそれらのファクタに基づいて行う。さらに別の例では、外科手術ツールは、リーマ、又はその他の球形のツールを含む。この例では、システム又はユーザは、同様に表示及びユーザへのフィードバックに使用される、又はＯＴＴＣＡＳシステム内で使用される処理の判断の一部として使用される、円形、円柱形、半球形、又は球形の表現を与えられる。最後の例では、外科手術ツールは、平らなやすりの刃を含み、これにより、表現は、再び、解剖学的構造の表面に接触したときに生じる特定の厚さのやすりがけアクションを表す平坦な表面（又は薄い長方形ブロック）になる。

以降の実施形態では、オン・ツール・トラッキング・システム（ＯＴＴ）の実施形態を使用して、いくつかのデータ処理をオンボードで取得し、実行し、外科的処置に関するリアルタイムデータをコンピュータ支援外科手術のコンピュータに提供し、このコンピュータから、それ自体のモータ速度を設定する、速度を減衰させる、又は停止させて意図しない切開を回避するためのコマンドを受信する。オン・ツール・トラッキング・システムを使用して、コンピュータ支援外科手術システムで使用される様々なデータを提供する。１つの形態のデータは、オン・ツール・トラッカによって提供される撮像センサからの撮像データである。これらの撮像センサから提供されるデータとしては、例えば、処理した後でトラッキングに使用することができる立体画像、ならびに独立型又は一体型のプロジェクタあるいはオン・ツール・トラッキング・システムとともに使用されるようになされた任意のタイプのプロジェクタによって術野に投影される情報などが挙げられる。撮像センサによって提供されるその他のデータとしては、基準フレームの場所、配向又は位置合わせ、あるいは術野を画定するために使用される基準フレームのその他の物理的属性などが挙げられる。
術野の周り、関節の周り、膝の周りに位置決めすることができる１つ又は複数の基準フレームは、外科的処置の全て又は大部分のステップのうちの少なくとも一部の間はその基準フレームが見える術野に関連して、サイジング及び成形することができる。（例えば、図１６〜図３０に関連して述べた基準フレームの実施形態を参照されたい。）さらに、データは、ＣＡＳ処置又はＣＡＳステップの動的なリアルタイム評価に基づいて、関連する基準フレーム又はその一部分からのみ選択されることもある。

例えば、２つのフレームが存在するＣＡＳ処置では、切開の開始時には両方を使用し、その後、切開している間に、システムは、一方の基準フレームのみを使用するように移行していくこともできる。同様に、システムは、後述のモード調節の促進において、処置中に特定の基準フレーム上で利用できる全ての基準マーカを使用しないこともある。処理す
る基準マーカが少なくなることで、更新の高速化、又は画像を処理するコンピュータのサイクル時間の短縮が可能になることもある。本明細書に示して説明するように、これらの基準フレームは、同じ形状を有していてもよいし、異なる形状を有していてもよく、また、ＯＴＴの視覚的又は赤外線トラッキング・システムで検出される様々な基準マーカのうちの任意の基準マーカを様々な適当な配列のうちの任意の配列で含むことができる。撮像センサからのさらに別の利用可能なデータとしては、本物又は人工の解剖学的構造又は構造と、患者の体に位置決めされたマーカと、ポインタ、マーカ、又はのこぎり、ドリル、バー、やすりのような術野で使用されている器具など術野の周りに位置決めされた追加のターゲットとの解剖学的構成などのシーン情報が挙げられ、シーン情報は、画像の取込みや、画像処理や、フレームの一部分を選択して処理するようにするカメラの調節や、あるいはリアルタイムの動的ＣＡＳ処置及びＣＡＳ外科手術計画、リーマ、又はオン・ツール・トラッキング・システムが搭載されるその他の任意の外科手術ツールの考慮事項に基づいて術野内の関心のある部分に照準を合わせる、ピントを合わせる、又はズームするようにするカメラの調節などが当てはまる。

様々な部分を切除するときには、ＯＴＴモニタに表示される仮想モデルのビューを修正することが望ましいことがある。例えば、第１の平面に沿って切開しているときには、第１の視点から仮想モデルを見ることが望ましいが、第２の平面に沿って切開しているときには、第２の視点から仮想モデルを見ることが望ましいこともある。したがって、ＯＴＴ
ＣＡＳシステムは、切除する組織に対する外科手術ツールの位置、及び切除する組織に対する外科手術ツールの配向など（ただしこれらに限定されない）、処置の状況に関する様々なデータをトラッキングする。組織及び外科手術ツールの両方の位置及び配向に基づいて、システムは、処置中にどの表面画が切開されるかを計算し、それに従ってＯＴＴモニタを更新する。

さらに、ＯＴＴＣＡＳシステムは、各ユーザの優先順位、ならびにＯＴＴデバイスを使用している器具の特徴を考慮するように構成することができる。具体的には、外科医が、特定の切除ステップ又は切開平面について、デフォルトのビューとは異なるビューを望むことがある。システムは、外科医が、デフォルトの選択を無効にして、特定の切開用のビューを指定することができるようにする。システムは、この特定の外科医が特定の切開について望んでいるビューに関する情報を記憶し、将来、同様の切開が行われると判断したときには、そのビューをデフォルトのビューとして使用する。システムは、ＯＴＴＣＡＳシステムに記録されたユーザに基づいてユーザの優先順位をトラッキングする。

上述したタイプのデータだけでなく、オン・ツール・トラッキング・システムは、オン・ツール・トラッカ上の１つ又は複数のセンサからの出力など、など、他の種類のデータも提供することができる。例示的なセンサとしては、位置センサ、傾斜計、加速度計、振動センサ、及びオン・ツール・トラッキング・システムを担持しているツールの動きをモニタリングしたり、決定したり、又は補償したりするのに有用である可能性があるその他のセンサなどが挙げられる。例えば、ツールが生じる雑音又は振動を補償するためのセンサをオン・ツール・トラッキング・システム内に設けて、その雑音及び振動を補償する、すなわちコンピュータ支援外科手術システムのコンピュータに送信されている撮像データ又はその他のＯＴＴデータから打ち消すことができるようになっていることもある。さらに別の例では、加速度計又は動きセンサを設けて、次のフレームを予測する際に、又はツール及びトラッキング・システムの動きに基づいて撮像フレーム中の関連する情報をどこで見つけることができるかを推定する際に使用される出力を、コンピュータ支援外科手術システムに対して生成することもできる。さらに別の態様では、オン・ツール・トラッキング・システムに搭載されているセンサを使用して、ＣＡＳ又はＯＴＴの画像処理を妨害する、その品質を損なう、又は複雑にする可能性がある不要な動きを検出し、測定し、打ち消すのを助けるために使用することができる。このタイプのフィードバックの特定の例
は、ユーザによる手ぶれ又は動きを検出し、その打消しを助けるためのセンサを含む。さらに別の例では、センサは、アクティブ外科手術ステップ中に生じる不要な動き又はその他の干渉を検出し、その打消し又は補償を助けるために設けられることもある。

他の変形形態では、画像の取込み、処理、及びカメラの調節は、視野及び関心体積を動的に最適化するなどの補償技術の主題で用いられたり、あるいはその主題となったりすることもある。１つの例では、ＯＴＴ上に設けられたカメラは、ＣＡＳコンピュータからの命令及び本明細書に記載する様々なファクタの下で、フレーム、フレームの一部分、又は自然もしくは人工の形状部分にズーム、トラッキング、パン、又は合焦するようにカメラ及びビューを動的に調節するオートフォーカス機能を有する。別の態様では、ＯＴＴ上のカメラの撮像部分が、適当な搭載型可動システムを備えていて、ＣＡＳコンピュータの指示に従ってレンズを１つ又は複数の形状部分に向けるように傾斜する、又はレンズを調節する。この傾斜するレンズは、上記の動的レンズ、又は一定の（すなわち調節不可能な）特徴を有するレンズとともに使用することができる。１つの態様では、カメラ・レンズを支持するマイクロ機械ベースは、ＣＡＳコンピュータからの命令に従って調節される。レンズ／カメラの調節は、ＭＥＭＳ構造によって内部で行うことができるが、外部で行うこともできることを理解されたい。例えば、筐体内のカメラは、動的ステージ（例えばｘ−ｙ−ｚ又はｘ−ｙ運動）に載せることができ、このステージが、ＣＡＳコンピュータから、本明細書に記載するＯＴＴＣＡＳ工程に従ってカメラ位置を調節する命令を受信することができる。さらに別の形態の補償は、画像処理、あるいは上部に搭載されたＯＴＴ、左側に搭載されたＯＴＴ、又は右側に搭載されたＯＴＴなど、その他のＯＴＴツールの配向の調節に対応する。さらに、術野内の関心体積の調節とともに視野（水平視野及び垂直視野の一方又は両方を単独又は任意の組合せで含む）を制御するための上述の様々な態様は、ＯＴＴＣＡＳシステム内に含まれる命令、ＣＡＳモード選択処理シーケンス、及び／あるいは視覚に基づくアルゴリズム又は特定モード・アルゴリズムなど特定のＣＡＳモード・アルゴリズムのうちのいずれかを利用して、動的に実施し、リアルタイムで最適化することができる。

設定及び補償技術の別の例としては、カメラ・レンズの前に配置される赤外線フィルタを実装し、これをスイッチ・オン／オフして、撮像を基準フレームのマーカによって発出又は反射される赤外線のみにして、白色光ノイズを遮断し、画像処理及びマーカ検出を容易にすることが挙げられる。

これらの補償の態様は、機械的構成要素、電気的構成要素、又はソフトウェアを単独で、又は任意の組合せで用いて実施することができることを理解されたい。
説明のために、オン・ツール・トラッキング・システムからのデータを、撮像データとセンサ・データとに分類して、上述の広範なカテゴリを取り込むが、これに限定されるわけでない。オン・ツール・トラッキング・システム自体に設けられたシステム・リソース、又はコンピュータ支援外科手術コンピュータによって提供されるシステム・リソースを用いて、データを処理して、コンピュータ支援外科手術システムが使用する出力を提供する。データ処理の所望の出力は、以下でさらに詳細に述べるように、評価されている個々の工程に応じて、いくつかの異なる形態で得られる。この概要では、オン・ツール・トラッキング・システムから得られるデータ出力は、術野内のオン・ツール・トラッカの配向、術野に関連するツール又はオン・ツール・トラッカの位置、外科手術を受けている解剖学的構造の物理的変化など術野に関する情報、ＯＴＴでトラッキングされているツールの術野内での動き、術野内でのツールの変位、トラッキングされている外科手術ステップの見かけの進捗、ならびに外科手術ステップ又はコンピュータ支援外科的処置の開始、進行、又は完了に関連するその他の情報などを含み得ると考えられる。

次に、オン・ツール・トラッカの出力を、行われている特定のコンピュータ支援外科的
処置に適した形態であれば、外科手術計画に従って行われているステップ又は処置と比較する。この比較の結果が、計画、ステップ、又は外科手術計画のステップ内の進捗に関連する情報を与える、オン・ツール・トラッカに戻される出力となる。一般に、この出力は、ユーザに対しては、オン・ツール・トラッカに搭載されたプロジェクタからの投影画像の結果として示されるが、音声フィードバック、利用できる場合にはコンピュータ・スクリーン内の変更／メッセージ、切開ツールに対するアクション（例えば切開の速度、方向の変更、及び停止など）なども含み得る。このプロジェクタからの出力（例）は、画像を投影することができる利用可能な術野、オン・ツール・トラッカ及びそのツールが術野に対してとる可能性が高い位置及び配向、ならびに投影画像をユーザに見えるようにする際に生じうる問題など、いくつかの考慮事項に基づいて適応させることができることを理解されたい。その結果として、搭載プロジェクタは、外科的処置中に現れる動的なリアルタイムの状況に基づいて、様々な構成で画像を投影することができる。さらに、オン・ツール・トラッキング・システムは、システム又はユーザが、可視スペクトル、赤外スペクトル、又はオン・ツール・トラッキング・システムを用いた画像処理に適したその他の任意のスペクトルの画像データを取得することを可能にする追加の照明源を備えることもできる。さらに別の態様では、本明細書に記載するＣＡＳモード処理方法のうちの１つ又は複数は、基準フレームに基づくトラッキング情報を使用せずに、又は実質的に使用せずに、外科手術部位を基準とする、又は外科手術部位付近のその他の器具を基準とする空間内でＯＴＴ器具の場所及び配向と、ＯＴＴＣＡＳ外科手術ステップの進捗とをトラッキングするために、様々なパターン認識、コンピュータ・ビジョン、又はその他のコンピュータに基づくトラッキング・アルゴリズムのうちのいずれかの仕様を組み込むように修正することができる。換言すれば、ＯＴＴＣＡＳ方法の実施形態は、１つ又は複数のＣＡＳ処理ステップを完了するために適当なＣＡＳ出力をユーザに与えるために十分なＣＡＳデータを識別し、評価し、トラッキングし、かつその他の方法で提供するために、ＯＴＴに搭載されたトラッカ又はカメラから得られる視覚情報を使用することを含む。１つの態様では、術野内の解剖学的構造の一部分が、視覚に基づくトラッキング及び視覚に基づくアルゴリズム工程を強化するために、マーク又はペイントされる。搭載型トラッキング・システムのプロジェクタから情報が提供される結果として、ユーザは、自分のアクションを変更しないことによって、又はそのステップ又は処置の状況下で許される形で術野内のツールの操作、配置、配向、速度、又は位置のうちの１つ又は複数を調節することによって、この情報に応答することができる。プロジェクタからの情報は、単独で提供されることもあるし、他のＯＴＴ構成要素、あるいは触覚フィードバック又は知覚フィードバックなどのフィードバック又は指示と組み合わせて提供されることもある。

次に、ユーザがアクション又はアクションの変更を継続していることが、オン・ツール・トラッキング・システムによって検出され、データ処理データを提供し、それをコンピュータ支援外科手術システムによる比較及び評価に供する工程が続く。

このような大まかな概観の下で、本明細書に記載するオン・ツール・トラッキングが使用可能なコンピュータ支援外科手術システムが、使用時に、オン・ツール・トラッカを使用する器具の位置、動き、使用、動き予測のうちの１つ又は複数を、どのようにしてモニタリングし、コンピュータ支援外科的処置の計画と突き合わせて評価し、少なくとも部分的にはコンピュータ支援外科手術システムによるリアルタイムのコンピュータ支援外科手術評価に基づいて適当なコンピュータ支援外科手術出力をユーザに対して生成するかを理解されたい。

次に、大まかな概観から、本明細書に記載するオン・ツール・トラッキング・システムを使用することによってコンピュータ支援外科手術がどのように修正されるかをより詳細に述べる。図３１Ａは、コンピュータ支援外科手術の情報の大まかな工程フローを示す図である。図３１Ｂは、同様に、コンピュータ支援外科手術計画の実際の実施中に使用され
る一般的な段階的手法を表す図である。これら２つの流れ図を使用して、本明細書に記載する実施形態によるコンピュータ支援外科手術の改良の一般的な構想を提供する。

図３１Ａを参照すると、システムが取得する情報を、処理する。これは、術野内に位置する様々なソース、又は連続的に実行されるフィードバック・ループで外科的処置中に使用される器具からの情報を含むことができる。次に、取得して処理した情報を、適当なコンピュータ支援外科手術アルゴリズムを用いて評価する。最後に、この評価から出力を生成して、ユーザが外科的処置を実行するのを支援する。生成される出力は、表示、投影画像、又は指示のうちの１つ又は複数を含むことができる。指示は、例えば、例えば温度変化などの知覚フィードバック信号、力あるいは異なる振動数及び／又は振幅の振動を有する触覚フィードバック信号、器具のモータ又はアクチュエータの速度、方向、ブレーキ及び停止に関する遠隔又はオンボード制御、ならびにオン・ツール・トラッキング・システム及びそれに取り付けられる器具の状況及び使用に適した方法でユーザに提供される音声信号又は視覚信号を含むことができる。

いくつかの点では従来のコンピュータ支援外科手術と同様であるが、本明細書に記載するシステム及び技術は、従来のコンピュータ支援外科手術のシステム及び方法とは異なり、それらを超える特有の利点を有する。

オン・ツール画像及び投影モジュールは、行われているコンピュータ支援外科手術のタイプに基づいて、いくつかの異なる特徴を有するように適応及び構成される。予想されるＣＡＳ処置の使用中の術野に関するＯＴＴ位置、誘導されているツールに対するプロジェクタの配向、投影が行われている術野内の表面の形状及び表面状態（すなわち血液又は外科手術デブリの大まかな有無）、水平視野の調節、垂直視野の調節は、本明細書に記載する実施形態で利用される考慮事項のうちの一部である。

本明細書に記載するコンピュータ支援外科手術のさらに別の実施形態は、上述の特徴から生じる構成要素の選択及び構成の変更及び改変を補償する。１つの例示的な補償は、特定のコンピュータ支援外科手術技術に基づく外科手術ステップのためのカメラの調節又は画像の調節（上述）あるいは術野の調節に関する。別の例示的な補償は、特定の実施形態における実際のプロジェクタ位置に関する。特定の実施形態のプロジェクタ位置は、デバイスの中心線上又は水平もしくは垂直視野に基づく最適位置にないこともあり、あるいはデバイスを小さくする、又は他のデバイス構成要素を収容するなど、他の設計考慮事項に対処するために傾斜していることもある。この態様の１つの形態の補償は、プロジェクタ出力が、実際のプロジェクタの場所に基づいて調節されるものである。このタイプの補償は、プロジェクタ出力のキーストーン調節と同様である。オン・ツール・トラッキング・システムに搭載されたプロジェクタは、その出力が、プロジェクタ出力が表示する術野の予想される、又は実際の部分について補償されることがある。外科的処置中に、外科手術部位は、平坦ではない可能性が高く、したがって、プロジェクタからの所期の画像を忠実に反射しない。しかし、ターゲットの解剖学的構造（例えば骨の表面）の幾何学的形状は分かっているので、プロジェクタによって投影される画像を、その非平面の表面に投影されたときに、ユーザに対しては意図した通りに明確に見えるように、補償するソフトウェアによって変化させることができる。投影のためのターゲットの解剖学的構造の表面は、形状、配向、湾曲、あるいはデブリ及び血液の有無が変化する可能性があり、さらに、ＯＴＴプロジェクタの出力は、ＯＴＴ視覚システム及び物体検出技術によって検出されるものなどのリアルタイムファクタに基づいて調節することもできる。切開が開始されると、新たな「非平面」のソース、すなわち骨の元の表面と、切開によって生じた新たな表面との間の境界面が生じる。これは、切開が行われた場所を記録することによって切開中に計算する（そして補償する）、所望の理想的な／計画された表面になると仮定する、又は切開するたびに（例えばポインタを用いて）デジタル化することができる。

ＯＴＴ外科手術技術と従来のコンピュータ支援外科手術技術との間のさらなる違いとしては、出力を提供する、又はオン・ツール・トラッキング・システム又はユーザから入力を受け取るタイプ及び方法がある。知覚フィードバック、触覚フィードバック、又は動きフィードバックを提供するセンサ及びシステムも、警告、視覚指示器、又は特定のＯＴＴシステムの機能に特有のその他のユーザ入力など、様々な指示器と同様に使用することができる。

図３１Ｂは、ＯＴＴＣＡＳシステムのさらなる特徴の必要から追加された細部を有する一般的なＯＴＴ使用可能ＣＡＳ工程に関する。処置が開始されるとき、ユーザは、ユーザ及びＯＴＴＣＡＳ計画によって決定されたように上部、右側、左側、又は底部にオン・ツール・トラッキング・システムが搭載された選択された外科手術ツールを有している。ＯＴＴが取り付けられたツールは、ツールが識別信号を送信するなどツール見当合わせ処置、あるいは自動見当合わせ工程又はその他の適当な見当合わせ工程によって、システムに識別される。手術前計画ステップは、必要に応じて、行われている処置に従って完了する。コンピュータ支援外科手術計画から始めて、ユーザは、コンピュータ支援外科手術ステップを開始する。オン・ツール・トラッキング・システムを使用する結果として、オン・ツール・トラッキング・データが生成される。オン・ツール・トラッキング・データは、処理された後でコンピュータシステムに提供され、コンピュータシステムは、計画された外科手術ステップ情報を、オン・ツール・トラッキング・データから受け取った情報と付き合わせて比較して評価する。このオン・ツール・トラッキング・データの比較及び評価の結果として、適当な出力が、マニュアル・オンボード・ハンド・トリガを介して、器具をスローダウンする、停止する、又は逆転させる、あるいはユーザが望む速度で器具を動作させ続けるモータ又はアクチュエータの制御信号として、ユーザ又はＯＴＴの搭載モータ制御回路に提供される。この出力は、やはりトラッキング・コンピュータに提供される追加のデータを提供するオン・ツール・トラッキング・システムによって検出され、操作される。次に、ユーザは、提供される出力に応答して、現在のアクションを継続するか、あるいはオン・ツール・トラッキング・システムによってトラッキングされているツールの使用を変更する。ユーザの応答は、アクションを伴うか否かに関わらず、オン・ツール・トラッキングによって検出され、外科手術コンピュータに入力される追加データとなる。これらの工程は、コンピュータシステムが外科手術計画と突き合わせてステップの進捗を処理する間、継続する。ステップが完了したかという問いに対する答えが否定である場合には、データの比較及びユーザへの出力は継続する。ステップが完了したかという問いに対する答えが肯定である場合には、ユーザが次の外科手術ステップを開始する、又は外科手術計画コンピュータがユーザに出力を提供して、１つのステップが完了し、残りの他のステップのうちのいずれかを行うことができることをユーザに通知する。実行されるＣＡＳステップの順序は、設定された外科手術計画で識別される前提条件となる他の（１つ又は複数の）ステップがなければあるステップを実行することができないという状況を除けば、完全にユーザ次第である。制御は、完全にユーザの管理下にあり、コンピュータは、どのステップを行うことができると（必要に応じて）示す、又はどのステップを行うことができないと（必要に応じて）禁止するだけである。これらの工程は、計画が実施されるまで、コンピュータ支援外科的処置に従って継続する。計画が完了した場合には、ユーザは、外科手術領域の任意のリアルタイム修正が行われるかどうかを判定することができる。修正工程も、トラッキング及びモニタリングして、情報をユーザに提供することができる。改定が必要ない、又はＣＡＳ計画が完了した場合には、ＣＡＳ計画は完了する。

図３２は、本明細書に記載するオン・ツール・トラッキング・システムの実施形態によって提供されるコンピュータ支援外科手術のさらに別の改良を説明するために使用される流れ図である。上記と同様に、このシステムは、コンピュータ支援外科手術データを収集
して、処理する。次に、コンピュータ支援外科手術システムは、ＣＡＳ処置中に、ＣＡＳデータを評価する。この評価の結果として、ＣＡＳコンピュータは、ＣＡＳ処理モードを決定する。その後、モードに基づく処理適応を、ＣＡＳ工程で使用されるデータに適用する。最後に、ＯＴＴＣＡＳシステムは、ユーザ又は器具のモータ／アクチュエータに、処理モードに基づくＣＡＳ出力（又は速度及びモータ方向の設定値）を提供する。

モード選択は、ＯＴＴＣＡＳシステムの動的なリアルタイム評価を行う機能と、ユーザを更新する必要性、処理速度、切開器具のモータ制御／作動瞬間速度、期待される応答時間、改善されたデータ又は異なるデータを得るための要件、ＣＡＳステップの進捗又は患者との相互作用に基づくデータの複数の部分の相対的な重要度、あるいはＯＴＴＣＡＳシステムの全体的な応答性に関するその他のファクタなど、ＣＡＳ動作のいくつかの特徴の間のトレード・オフとに関係する。図３２を参照して上述したＣＡＳ処理モードを決定するステップのさらなる特徴は、図３３を参照すると理解することができる。図３３は、処理モードを決定するためにシステムが考慮する入力と、その決定の結果とに関する。処理モードを決定するためにＯＴＴＣＡＳシステムが使用する入力の例としては、例えば、ツールの速度又は動き、あるいはそのモータ／アクチュエータの速度、ツール・モニタリング・デバイスからの入力又は指示、ユーザからの音声入力又は指示、自然パラメータ又は人工パラメータなど術野内の物理的パラメータと、ＣＡＳステップの状況と、ユーザ入力（例えばＣＡＳスクリーン、ＯＴＴタッチ・スクリーン、タッチ・スクリーン、動きセンサ、ジェスチャ認識、ＧＵＩインタフェースなど）と、例えば完了のパーセンテージ、計画からの偏倚、リアルタイム調節などＣＡＳステップの進捗状況と、のうちの１つ又は複数があるが、これらに限定されるわけではない。ＯＴＴＣＡＳコンピュータによって実行される決定ステップの結果として、処理モードは、ＯＴＴコンピュータ用のＣＡＳのアルゴリズムによって行われる外科的処置のリアルタイム状況及び評価に基づいて選択される。モードを決定するためにＯＴＴＣＡＳコンピュータが使用する基準としては、外科手術ツールの患者の解剖学的構造に対する物理的近接度、ユーザによって行われているアクション、ツールの動きのセンサ入力、予想されるツールの動き、ツールの動きの速度、ツールのモータ又は切開アクチュエータの速度、及びＯＴＴ撮像場内の外科手術ツールの配置、配向、又は使用に関係するその他のファクタなどのファクタが挙げられる。非限定的な例として、ＣＡＳ処理モードは、停空モード、部位接近モード、及び能動工程モードを含むことができる。一般的な意味では、停空モードは、ＯＴＴＣＡＳ処置中の状況のうち、オン・ツール・トラッカ及びツールが、術野付近、又は術野内にあるが、ツールと患者が接触していない状態を指す。部位接近モードは、一般的な意味として、オン・ツール・トラッカ及びツールが術野内にあり、患者と接触しているが、ツールが患者の解剖学的構造とアクティブに係合して、のこびき、切開、孔ぐり、穿孔、バーリング、シェービング、やすりがけなどの外科手術ステップを実行してはいない、ＯＴＴＣＡＳ処置中の状況を指す。能動工程モードは一般的に、オン・ツール・トラッカ及びツールが患者の解剖学的構造と係合して、のこびき、切開、孔ぐり、穿孔、バーリング、シェービング、やすりがけなどの外科手術工程を実行している、ＯＴＴＣＡＳ処置中の状況を指す。ＣＡＳ処理モードが決定された結果として、ＯＴＴＣＡＳコンピュータは、ＣＡＳ処理モードを、その状況下で適当な、停空モード、部位接近モード、又は能動工程モードに、あるいはそれらの間に適応させる。

図３３に関連して上述したＣＡＳ工程を特定のモードに適応させるステップについて、図３４を参照してさらに説明する。一般的な意味では、ＯＴＴＣＡＳコンピュータは、調節ファクタに基づいて特定のモード処理アルゴリズムを生成するようにＣＡＳ工程モードを適応させるように適応及び構成される。例えば、様々なモード調節処理ファクタを、図３４に示す。上記の流れ図で詳述した処理入力に基づき、ＯＴＴＣＡＳコンピュータは、ＯＴＴＣＡＳで行われる処理ステップを、以下のＣＡＳモード処理調節ファクタのうちの１つ又は複数、それらの組合せ、あるいはそれらの変形ファクタに基づいて調節す
る。それらのファクタとは、すなわち、カメラのフレーム・サイズ及び／又はカメラの配向（カメラ・ソフトウェア又はファームウェアがこのような調節に対応している場合）と、カメラの水平視野、垂直視野、又は水平視野と垂直視野の両方の中の関心領域のサイズを修正するためのカメラの画像出力の調節と、調節可能なカメラ・レンズの調節及び位置決めのための駆動信号と、画像フレーム・レートと、画像出力品質と、リフレッシュ・レートと、フレーム・グラバ・レートと、基準フレーム２と、基準フレーム１と、基準フレーム上の基準マーカ（フィデュシャル）選択と、基準フレーム外の基準マーカ選択と、可視スペクトル処理と、ＩＲスペクトル処理と、反射スペクトル処理と、ＬＥＤ又は照明スペクトル処理と、外科手術ツール・モータ／アクチュエータの速度及び方向、ＣＡＳ処置の全体的な進捗と、特定のＣＡＳステップの進捗と、画像データ・アレイの修正と、ピコ・プロジェクタ・リフレッシュ・レートと、ピコ・プロジェクタの確度と、プロジェクタ又はその他のＯＴＴ電子機器の「オフ」、スリープ・モード、又は節電モードの設定と、画像セグメンテーション技術と、ＣＡＳの進捗に基づく画像部分の論理に基づく抽出と、信号対雑音比の調節と、画像の増幅及びフィルタリングと、イメージャ・レート、ピクセル・ビジョン処理又はサブピクセル・ビジョン処理を動的なリアルタイムで強化又は低減するための加重平均又はその他のファクタと、手ぶれ補正と、器具に基づく雑音補償（すなわちのこぎりの振動の補償）と、である。換言すれば、上記に挙げた様々なファクタは、一方では、カメラ内でカメラの電子機器自体によって提供されるソフトウェアもしくはファームウェア又はオペレーティング・モダリティなどについて行われる可能性がある調節に基づいて、カメラの調節を行う様々な方法にグループ化することができる。他方、より大きなスケールでは、筐体に収容されたカメラ全体の、ＯＴＴ筐体に対する調節もある。このように、カメラの動きは、カメラ画像情報の電子的処理に基づくカメラ出力の内部の電子的修正又は適応よりむしろ、カメラのボディ全体又はカメラ・レンズ自体のより大まかな移動を示すものである。カメラ内で変化するものとしては、これらは、焦点、ズーム、露光、絞り、及び撮像調節の一部としてカメラ出力を調節することになるその他のカメラに基づく修正などである。１つの具体例では、上記の特徴のうちの１つ又は複数を使用して、停空モード処理適応中に使用される停空モードＣＡＳアルゴリズムを生成する。１つの具体例では、上記の特徴のうちの１つ又は複数を使用して、接近モード処理適応中に使用される接近モードＣＡＳアルゴリズムを生成する。１つの具体例では、上記の特徴のうちの１つ又は複数を使用して、能動工程モード処理適応中に使用される能動工程モードＣＡＳアルゴリズムを生成する。

図３５は、上述のステップに基づく例示的なＯＴＴＣＡＳ工程を示す流れ図である。ＣＡＳデータを収集して処理する。ＣＡＳ処置中にＣＡＳデータを評価する。ＣＡＳ処理モードを決定する。モードに基づくＣＡＳ評価適応を行う。モードに基づく決定の結果に基づいて、停空モードである場合には、停空モードＣＡＳアルゴリズムを処理に適用する。ユーザに、停空モードＣＡＳ出力を提供する、又はＯＴＴモータ制御回路に、速度制御コマンド／信号を提供する。ユーザ出力の例としては、停空モード表示出力、停空モード投影画像出力、停空モードで使用される処理工程に適応された知覚指示、触覚指示、音声指示、及び視覚指示などの停空モード指示が挙げられる。モードに基づく決定の結果に基づいて、部位接近モードである場合には、部位接近モードＣＡＳアルゴリズムを処理に適用する。ユーザに、部位接近モードＣＡＳ出力を提供する。出力の例としては、接近モード表示出力、接近モード投影画像出力、部位接近モードで使用される処理ステップに適応された知覚指示、触覚指示、音声指示、及び視覚指示などの接近モード指示が挙げられる。

モードに基づく決定の結果に基づいて、能動工程モードにある場合には、能動工程モードＣＡＳアルゴリズムを処理に適用する。ユーザに、能動工程モードＣＡＳ出力を提供する。出力の例としては、能動工程モード表示出力、能動工程モード投影画像出力、能動工程モードで使用される処理工程に適応された知覚指示、触覚指示、音声指示、及び視覚指
示などの能動工程モード指示が挙げられる。

図３６は、上述の工程に基づくが、特有のトリガ・アクション指示ツール・モニタあるいは知覚又は触覚フィードバックを使用してＯＴＴＣＡＳシステムのユーザにさらに恩恵を与える、例示的なＯＴＴＣＡＳ工程を示す流れ図である。トリガ・アクション指示器の様々な代替の実施形態は、以下で図３７Ａ〜図５２Ｂに関連して与える。上記と同様に、ＯＴＴＣＡＳ工程は、ＣＡＳデータを収集して処理することから始まる。１つの代替の態様では、この収集及び処理は、トリガ・アクションからの指示を含むこともある。次に、上述の工程に続いて、ＯＴＴＣＡＳシステムは、ＣＡＳ処置中にＣＡＳデータを評価する。ここでも、トリガ・アクション指示が、この工程に適用され、他のＣＡＳデータとともに評価されることもある。その後、上述したように１つ又は複数のトリガ・アクション指示器を使用することに基づいて、適当なＣＡＳ出力がユーザに提供される。適当なＣＡＳ出力としては、上述のように、又はＣＡＳ処置ではよくあるように、表示、投影画像、あるいは知覚指示、触覚指示、音声指示、又は視覚指示などいくつかの指示のうちのいずれかが挙げられる。

こうしたＯＴＴＣＡＳ工程の様々な態様を背景として、以下の例を提供する。
ＯＴＴＣＡＳモードは、多くのファクタ（例えば（１つ又は複数の）基準フレーム、位置、相対運動など）によって検出及び決定することができることを理解されたい。さらに、外科的処置の状況では、ツール／ターゲットの近接度又は使用に基づいてＯＴＴＣＡＳモードの定義属性を関連付ける際にも利点がある。Ａ）ホバー：ツール及びターゲットが両方とも術野内にあるが、接触していない、Ｂ）接近：ツール及びターゲットが両方とも術野内にあり、かつ両者が接触している、ならびにＣ）能動工程モード：ツール及びターゲットが両方とも術野内にあり、かつ両者が接触しており、かつツールがアクティブに組織と係合しているという例を考慮されたい。１つの態様では、ＯＴＴデバイスの電子機器は、このモード選択機能を「スマート・ビュー」モジュールに組み込んでいる。このモジュールは、メインＣＡＳシステム・コンピュータ内、あるいはソフトウェア及びファームウェアを含む電子機器が、モード検出アルゴリズムの全て又は大部分を実施し、ＯＴＴＣＡＳモード選択機能の様々なイベントをトリガするＯＴＴデバイス内に設けられる。

ＯＴＴＣＡＳモード制御のいくつかの追加の態様では、以下の変形形態又は代替形態のうちの１つ又は複数を組み込むことができる。
１．ＯＴＴＣＡＳシステム及びＣＡＳシステムの時間的／空間的解像度により、一般に、ツール及びターゲットが所与のユーザが事前に選択した（設定可能な）距離エンベロープ内にあるときには、接近モードのいくつかの実施形態が適当と考えることができる。距離エンベロープは、測定範囲内で指定することができる。１つの例示的な範囲は、ＯＴＴＣＡＳシステムによって決定される１０ｍｍから０ｍｍの間とすることができる。他の態様では、外科手術ツールのアクティブ要素とＯＴＴＣＡＳ術野内の解剖学的構造との間に接触がある可能性が高いとＯＴＴＣＡＳシステムが決定することによって、接近モードを指定することができる。

２．いくつかの態様では、ＯＴＴＣＡＳモードは、「ヒステリシス」ファクタを備える。このＯＴＴＣＡＳヒステリシス・ファクタは、例えば所定の期間にわたって継続的に満足された場合に、そのＣＡＳモードが維持されることになるような状況又はＣＡＳ条件のタイプを含むために選択される。換言すれば、「そのモードにロックする」、又はそのＯＴＴＣＡＳモードを維持するためには、ＯＴＴＣＡＳモード・ヒステリシスのパラメータが、ある期間の間、継続的に満足されなければならない。本明細書で使用する「継続的に」という表現は、ＯＴＴ処理時間及びサンプル・レートの時間領域の文脈内でのものであり、モニタリングしている条件が絶対に中断されないということを指しているわ
けではない。同様の例として、ＯＴＴＣＡＳモードを「ロック解除する」、又はＯＴＴ
ＣＡＳモードの調節を許可するためには、ある期間の間、継続的に、ヒステリシス又はヒステリシス条件の一部が満足されない状態でなければならない。ＯＴＴＣＡＳモード・ヒステリシス・ファクタを使用することにより、過渡的事象に対するシステム応答が改善され、システムが１つのＯＴＴＣＡＳモードから別のＯＴＴＣＡＳモードに不適切にジャンプする可能性が回避又は低減され、また、システムが１つのＯＴＴＣＡＳモードから出力を提供しているときにユーザが目にするＯＴＴＣＡＳ出力がより安定する可能性が高いので、システムの可用性が向上する。

３．いくつかのＯＴＴＣＡＳ工程の間には、ユーザによって実行されるアクティビティは、プロジェクタを使用する必要がない可能性があり、様々な入出力（Ｉ／Ｏ）デバイスを必要とする可能性があり（例えばインプラント場所の評価中には、骨に情報を投影することができないこともある）、かつ／又は定義されたターゲット／ツールの関係を有していない可能性がある（例えば、膝の動作範囲の評価では、脛骨と大腿骨の基準フレームだけを見ればよい）。ＯＴＴＣＡＳシステムは、他のソースから入力を受信することもあり、プロジェクタ出力が提供されない、又は利用されないＯＴＴＣＡＳ出力があることを理解されたい。

４．一般に、処理アルゴリズム及びＯＴＴＣＡＳモード・ファクタは、骨、器具、インプラントなどの相対運動の場合のように、ＯＴＴＣＡＳモードがホバーからアクティブに進むにつれて低下していく確率又は可能性に基づいて、選択される。この一般的な工程仮定の１つの例外は、ＯＴＴＣＡＳデバイス又はシステムが、術野内の関連する関節、あるいはＯＴＴＣＡＳ処置又は工程の対象である関節の動作範囲を評価する工程に使用されるときである。

ＯＴＴＣＡＳモードの例
骨の見当合わせ
目的：基準フレームの原点と骨モデルの原点との間の幾何学的関係を発見する。

処置：ツール（例えばナビゲートされるポインタ）を有する骨の表面上の点のデジタル化、及び骨モデルの所定の幾何学的形状データと突き合わせたそれらの点の処理。
ＯＴＴＣＡＳシステムがこのタスクを識別する方法：
− ポインタ及び骨（脛骨又は大腿骨）の基準フレーム（ＲＦ）はＯＴＴに可視である。

タスクの開始：
− ＯＴＴＣＡＳシステムは、シーン内に共存する両方の基準フレームを（少なくともこの見当合わせに適した最短期間にわたって）認識する。
− 例えば、骨が見当合わせされるまで切開を行うことはできないので、追加の「推測」ファクタは、処置の段階である。この場合には、このイベントのトリガは、ＯＴＴデバイスが、骨の見当合わせ工程が完了するまで、２つの基準フレームを視野内に維持する位置に維持されることとすることができる。このトリガは、必要に応じて、システム・コンピュータがユーザに確認するように促し、それらが応答することによって確認することができる。
− ＯＴＴデバイスの骨の見当合わせ中に得られる情報は、必要なら、ユーザの入力（タッチ・スクリーン、音声コマンド、ポインタで骨の基準フレーム上の特定のディボットに触れるなど）によって注釈をつけたり、上書きしたりすることができる。
− 後者（ディボット）は、ナビゲートされるポインタが触れたときに、ユーザが基準フレーム自体を伴うタスク（又は専用タスクのうちの１つ）を実行しようとしていることをシステムに知らせる、基準フレーム上の指定された点（位置）である。例えば、これは、その基準フレームに取り付けられた骨の見当合わせとすることもでき、これは、例えばホ
バリング／スマート・ビューから見当合わせスクリーンなどへのモードの変更を引き起こすこともある。

ＯＴＴＣＡＳモード
ホバリング：
− 範囲条件：ＯＴＴデバイスは、ＲＦから離れ過ぎている、又は２つのＲＦが離間し過ぎている。この条件をトリガする範囲は、システムの較正／チューニング中に、又はユーザの優先順位によって設定可能であり、最適ＦＯＶ（発明者等の実施した場合では２００ｍｍ超）を超えるカメラからターゲットの解剖学的構造の基準フレームまでの距離しきい値として指定される。
− トラッカ：リフレッシュ・レートを低下させる。
− プロジェクタ：いかなる画像も骨に投影しないこともあるが（骨の場所がまだ定義されていないとき）、このモード／状況などの確認など有用な基本情報を、そのときに間にある任意の反射表面に投影することができる。トラッカによって制限される、低いリフレッシュ・レート。
− システム：ポインタの先端及び骨のＲＦの場所を「世界」座標でモニタリングする。トラッカ、プロジェクタ、及びその他のＩＯデバイスを駆動する。

接近：
− 範囲条件：ＯＴＴ／ＲＦ及びＲＦ／ＲＦは中間距離。この条件をトリガする範囲は、システムの較正／チューニング中に、又はユーザの優先順位によって設定可能であり、１００〜２００ｍｍなどのターゲットの解剖学的構造の基準フレームからの距離範囲として指定される。
− トラッカ：ポインタ及び骨のＲＦの読みを最適化する（例えば、他のＲＦの読みは無視する、又は考慮しない）、高いリフレッシュ・レート。
− プロジェクタ：上述のように、いかなる定義された画像も投影しないこともあるが（骨の場所がまだ定義されていないとき）、見当合わせ点の収集を開始する「容易さ」に基づいて色（例えば赤、黄、及び緑）が変化する固体スクリーンを投影することができる。− システム：ポインタの先端及び骨のＲＦの場所を「世界」座標でモニタリングする。トラッカ、プロジェクタ、及びその他のＩＯデバイスを駆動する。

アクティブ：
− 範囲条件：ＯＴＴ／ＲＦ及びＲＦ／ＲＦの距離は短い。例えば、ターゲットの基準フレームから７０〜１００ｍｍ未満の距離で、上記と同様にユーザの優先順位によって設定可能であり。
− トラッカ：ポインタ及び骨のＲＦの読みを最適化する、高いリフレッシュ・レート。− プロジェクタ：上記と同様。
− システム：ポインタの先端及び骨のＲＦの場所を「世界」座標でモニタリングする。デジタル化された骨のそれぞれについて、ポインタの先端の場所を記録する。トラッカ、プロジェクタ、及びその他のＩＯデバイスを駆動する。見当合わせ工程の進捗をモニタリングし、終了したときに、最終的な見当合わせ行列を計算する。
− 追加のＩ／Ｏデバイス（例えばタッチ・スクリーン）は、必要であることも、必要ないこともある。

モード間の移行についてのＯＴＴＣＡＳ考慮事項：
− モード・シフトは、距離しきい値に基づく。
− 骨の見当合わせ情報がない場合には、骨／ポインタの「接触」又は「接近度」を決定することはできない。システムは、あるいは、ポインタ（見当合わせされている）と骨の基準フレーム（骨自体の代わり）の間の公称距離を見る。次いで、その結果得られる公称距離を使用して、その（骨の）基準フレームが通常配置されるように推奨される公称位置
に基づいて、近似の見当合わせを推定又は仮定することができる（ピクチャ・シート１８〜２３参照）。別の代替方法は、システムが（必要に応じて）単に任意の古い見当合わせ情報（別のデフォルトの骨についての情報、あるいは以前の患者又は外科手術についての情報）を使用して、システムをどの「モード」にすべきかを決定するための近似の見当合わせを行うものである。このオプションの利用可能性も、ユーザによって設定可能／選択可能である。
− 又は、ユーザの入力による。

タスクの終了：
− 全ての見当合わせランドマークが訪問され、ポイントされる（見当合わせ工程が、完全に完了する）。
− 又は、システムがポインタのＲＦを見なくなる（少なくとも最短期間の間）。
− あるいは、この工程を、ユーザの入力（タッチ・スクリーン、音声コマンド、ポインタで骨の基準フレーム上の特定のディボットに触れるなど）によって補完又は上書きすることができる。

骨の切開／穿孔
目的：骨をツール（通常は、のこぎり、ドリル。バー、やすりなど、給電型のスマート器具）で再成形して、インプラントを配置する。

処置：システムの指示に従い、ユーザは、（通常は）一度に１つの表面を切開／穿孔する。この特定のアクティビティは、切開／穴ごとに１回行って、各骨の異なる個々の「ターゲット表面」に適用されるので、システムは、骨に対するツールの場所又は配向の誤差を使用又は処理するときに、この基準を維持することになる。異なるツールは異なるアクティブ要素（例えば切削チップ）を有するので、ツール又はツールのアクティブ要素が術野内の解剖学的構造と相互作用するときに、異なるツールの異なる形状の異なるアクティブ要素は、解剖学的構造に異なる２Ｄ及び３Ｄの修正をもたらす。したがって、各ツールの誘導は、ＯＴＴＣＡＳ工程ステップ中に使用されるツール及びアクティブ要素によって異なる。

ＯＴＴＣＡＳシステムがこのタスクを識別する方法：
− ＯＴＴは、少なくとも１つの骨の基準フレーム（ＲＦ）を検出する。
− 名前付きの骨が見当合わせされる。
− 切開されている骨の基準フレームが、ユーザ選択可能な最大距離内（例えば２００ｍｍ未満）にある。

タスクの開始：
− システムは、シーン内に共存する両方のＲＦを（少なくとも最短期間にわたって）認識する。
− これは、ユーザの入力（タッチ・スクリーン、音声コマンド、ポインタ又は切開器具で骨の基準フレーム又は骨自体の上の特定のディボット又はマークに触れるなど）によって補完又は上書きすることができる。

モード
ホバリング：
− ＯＴＴは、骨から離れ過ぎている。例えば、２００ｍｍ超である（ユーザによって設定可能な値）。
− トラッカ：リフレッシュ・レートを低下させる。
− プロジェクタ：いかなる画像も投影しないことも（骨はプロジェクタの視野の外にあることもある）、大まかな形状（例えば、のこぎりやドリルなどの器具を骨と位置合わせ
するためにはどの方向に移動させればよいかを示す矢印など）だけを表示することもある。必要に応じて、プロジェクタ出力は、前述の例と同様に単に異なる色を示すように修正される。トラッカのリフレッシュ設定によって制限される、低いリフレッシュ・レート。− システム：骨に対するツールの場所及び配向（すなわち骨の座標）をモニタリングする。トラッカ、プロジェクタ、及びその他のＩＯデバイスを駆動する。スマート器具と双方向で通信をし、これらを駆動する。

接近：
− ＯＴＴは、骨まで中間距離にある。例えば、１００ｍｍから２００ｍｍの間である。− トラッカ：ポインタ及び骨のＲＦの読みを最適化する、高いリフレッシュ・レート。− プロジェクタ：中程度のリフレッシュ・レートで骨の幾何学的形状に合わせて補正された位置合わせ補助（色付きのテキスト、線、円、矢印など）を示す。
− システム：骨（すなわち骨の座標）に対するツールの場所をモニタリングし、ロール、ピッチ、ヨー、及び距離偏倚を計算する。トラッカ、プロジェクタ、及びその他のＩＯデバイスを駆動する。スマート器具と双方向で通信し、これを駆動する。

アクティブ：
− ＯＴＴは、骨に近い。例えば、７０ｍｍから１００ｍｍの間である。
− トラッカ：ポインタ及び骨のＲＦの読みを最適化する、高いリフレッシュ・レート。− プロジェクタ：高いリフレッシュ・レートで骨の幾何学的形状に合わせて補正された位置合わせ補助（色付きのテキスト、線、円、矢印など）を示す。
− システム：骨（すなわち骨の座標）に対するツールの場所をモニタリングし、ロール、ピッチ、ヨー、及び距離偏倚を計算する。トラッカ、プロジェクタ、及びその他のＩＯデバイスを駆動する。スマート器具と双方向で通信し、より高い速度でこれを駆動する。

モード間の移行：
− 移行は、距離しきい値に基づくことができる。
− 移行は、ユーザ入力に基づく。

タスクの終了：
− ユーザが、別のタスクに移行する。
− 全ての切開及び洗練が完全に完了する。
− １つの代替形態では、ＯＴＴＣＡＳシステムが骨のＲＦを見なくなる（少なくとも最短期間の間）。
− この工程は、ユーザの入力（タッチ・スクリーン、音声コマンド、ポインタで骨の基準フレーム上の特定のディボットに触れるなど）によって補正、補完又は上書きすることができる。

骨の切開の評価
目的：新たな表面（例えば、平面、円筒形の穴など）の配向、表面粗さ、深さなどを評価する。

処置：表面の完全又は部分的なデジタル化し（例えばナビゲートされるポインタでその表面に触れる／その表面を横切る）、「表面モニタ」（平坦な切開に載る平坦な表面を備えたナビゲート・ツール）で切開の場所及び配向を評価し、ナビゲートされるポインタなどで穴の深さを測定する。

ＯＴＴＣＡＳシステムがこのタスクを識別する方法：
− ＯＴＴは、少なくとも１つの骨の基準フレーム（ＲＦ）、ならびに評価器具（表面モニタ又はポインタ）のＲＦを見る。
− 名前付きの骨及び器具は、見当合わせされている。
− 少なくとも１つの切開が実行されている。
− 切開されている骨が、最大距離「Ｄ」内にある。

タスクの開始：
− システムは、シーン内に共存する両方のＲＦ（骨及び器具）を（少なくとも最短期間にわたって）認識し、上記の条件は満足される。
− これは、ユーザの入力（タッチ・スクリーン、音声コマンド、ポインタ又は切開器具で骨の基準フレーム又は骨自体の上の特定のディボット又はマークに触れるなど）によって補完又は上書きすることができる。

モード
ホバリング：
− ＯＴＴがＲＦから離れ過ぎている、又は２つのＲＦが離間し過ぎている。
− トラッカ：リフレッシュ・レートを低下させる。
− プロジェクタ：いかなる定義された画像も投影しないこともあるし（骨がプロジェクタの視野の外にあることもあるため）、あるいは工程を開始する「容易さ」に基づいて色（例えば赤、黄、及び緑）が変化する固体スクリーンを投影することもできる。トラッカによって制限される、低いリフレッシュ・レート。
− システム：骨に対するツールの場所（すなわち骨の座標）をモニタリングする。トラッカ、プロジェクタ、及びその他のＩＯデバイスを駆動する。

接近：
− ＯＴＴは、両ＲＦまで中間距離にあり、かつ骨とツールの距離は中間距離である。
− トラッカ：器具及び骨のＲＦの読みに合わせて最適化された、高いリフレッシュ・レート。
− プロジェクタ：いかなる定義された画像も投影しないこともあるし（骨がプロジェクタの視野の外にあることもあるため）、あるいは工程を開始する「容易さ」に基づいて変化する固体スクリーンを投影することもできる。中程度のリフレッシュ・レート。
− システム：骨（すなわち骨の座標）に対するツールの場所をモニタリングする。トラッカ、プロジェクタ、及びその他のＩＯデバイスを駆動する。

アクティブ：
− ＯＴＴは、両ＲＦに中間／接近距離にあり、かつ骨とツールの距離は短い。
− トラッカ：器具及び骨のＲＦの読みに合わせて最適化された、高いリフレッシュ・レート。
− プロジェクタ：いかなる定義された画像も投影しないこともあるし（骨がプロジェクタの視野の外にあることもあるため）、あるいは工程の状態（データ収集の開始から終了まで）に基づいて変化する固体スクリーンを投影することもできる。高いリフレッシュ・レート。
− システム：骨（すなわち骨の座標）に対するツールの場所をモニタリングする。各デジタル化された点についてのポインタの先端の場所、又は表面モニタの場所及び配向を記録する。トラッカ、プロジェクタ、及びその他のＩＯデバイスを駆動する。評価工程の進捗をモニタリングし、終了したときに、パラメータを計算し、計算されたパラメータを記録し、表示する。
− 追加のＩＯデバイス（例えばタッチ・スクリーン）は、必要となることも、必要ないこともある。

モード間の移行：
− 単純に距離しきい値に基づく。
− 又はユーザ入力による。

タスクの終了：
− 評価プロセスが、完全に完了する。
− 必要に応じて、ＯＴＴＣＡＳシステムは、器具のＲＦを見なくなる（少なくとも最短期間の間）。
− これは、ユーザの入力（タッチ・スクリーン、音声コマンド、ポインタで骨の基準フレーム上の特定のディボットに触れるなど）によって補完又は上書きすることができる。

インプラントの適合及び位置合わせの評価
目的：骨の上のインプラント（又はトライアル）の実際の場所を、計画から予想される場所と比較する。これは、トライアル中、及びインプラントの接着又は固定の前／最中／後に行われる可能性がある。

処置：インプラント（例えば大腿骨構成要素、脛骨トレイなど）にＲＦを取り付け、「骨」座標系内でトラッキングする。任意の所与の時点で、システムが、その位置（骨を基準とする）と、本来あるべき位置と比較したときの瞬間誤差（存在する場合）とを表示／記録することができる。

システムがこのタスクを識別する方法：
− ＯＴＴは、少なくとも１つの骨の基準フレーム（ＲＦ）、ならびに対応するインプラントのＲＦを見る。
− 名前付きの骨及びインプラントが見当合わせされている。
− 全ての切開が実行されている。
− 切開されている骨及びインプラントが、最大距離「Ｄ」内にある。

タスクの開始：
− システムは、シーン内に共存する両方のＲＦ（骨及びインプラント）を（少なくとも最短期間にわたって）認識し、上記の条件は満足される。
− これは、ユーザの入力（タッチ・スクリーン、音声コマンド、ポインタ又は切開器具で骨の基準フレーム又は骨自体の上の特定のディボット又はマークに触れるなど）によって補完又は上書きすることができる。

モード
ホバリング：
− ＯＴＴは、ＲＦから離れ過ぎている、又は２つのＲＦが離間し過ぎている。
− トラッカ：リフレッシュ・レートを低下させる。
− プロジェクタ：いかなる定義された画像も投影しないこともあるし（骨はプロジェクタの視野の外にあることもある）、あるいは工程を開始する「容易さ」に基づいて色（例えば赤、黄、及び緑）が変化する固体スクリーンを投影することもできる。トラッカによって制限される、低いリフレッシュ・レート。
− システム：骨（すなわち骨の座標）に対するインプラント／トライアルの場所をモニタリングする。トラッカ、プロジェクタ、及びその他のＩＯデバイスを駆動する。

接近：
− ＯＴＴ／ＲＦは中間的な距離であり、かつインプラント／トライアルは比較的骨に近い。
− トラッカ：インプラント／トライアル及び骨のＲＦの読みに合わせて最適化された、高いリフレッシュ・レート。
− プロジェクタ：いかなる定義された画像も投影しないこともあるし（骨はプロジェク
タの視野の外にあることもある）、あるいは工程を開始する「容易さ」に基づいて変化する固体スクリーンを投影することもできる。中程度のリフレッシュ・レート。
− システム：骨（すなわち骨の座標）に対するインプラントの場所をモニタリングする。トラッカ、プロジェクタ、及びその他のＩＯデバイスを駆動する。

アクティブ：
− ＯＴＴ／ＲＦの距離は小さく、かつインプラント／トライアルは、骨に近い／接触している。
− トラッカ：インプラント及び骨のＲＦの読みに合わせて最適化された、高いリフレッシュ・レート。
− プロジェクタ：いかなる定義された画像も投影しないこともあるし（骨はプロジェクタの視野の外にあることもある）、あるいは工程の状態（データ収集の開始から終了まで）に基づいて変化する固体スクリーンを投影することもできる。高いリフレッシュ・レート。
− システム：骨（すなわち骨の座標）に対するインプラント／トライアルの場所をモニタリングする。ナビゲートされるインプラントの計画から想定される場所に対する実際の場所／配向によって定義される誤差を計算し、表示する（かつ必要なら記録する）。トラッカ、プロジェクタ、及びその他のＩＯデバイスを駆動する。評価工程の進捗をモニタリングし、終了したときに、パラメータを計算し、計算したパラメータを記録し、表示する。
− 追加のＩ／Ｏデバイス（例えばタッチ・スクリーン）は、必要となることも、必要ないこともある。

モード間の移行：
− 単純に、距離しきい値に基づく。
− 又は、ユーザ入力による。

タスクの終了：
− 評価プロセスが、完全に完了する。
− （又は）システムが、器具のＲＦを見なくなる（少なくとも最短期間の間）。
− これは、ユーザの入力（タッチ・スクリーン、音声コマンド、ポインタで骨の基準フレーム上の特定のディボットに触れるなど）によって補完又は上書きすることができる。

動きの範囲：
目的：移植後の関節の動きの範囲及びバイオメカニクスを評価する。これは、トライアル又は最終インプラントを用いて行うことができる。

処置：トライアル（又は実際のインプラント）を配置した後、骨のＲＦを取り外して傷口を閉じる前に、外科医が膝を屈曲させ、関節のハンドルを実行して、最大屈曲及び過伸展などの限界位置に到達する。この操作は、ＯＴＴを脛骨及び大腿骨のＲＦに向けながら行う。動的な測定（大腿骨に対する脛骨）は、解剖学的に表現される。

システムがこのタスクを識別する方法：
− ＯＴＴは、脛骨及び大腿骨の両方の基準フレーム（ＲＦ）を見る。
− 両方の骨が切開されている。（骨の切開及びインプラントの配置は、行われていてもよいし、行われていなくてもよい。）
タスクの開始：
− システムは、シーン内に共存する両方のＲＦを（少なくとも最短期間にわたって）認識し、上記の条件は満足される。
− これは、ユーザの入力（タッチ・スクリーン、音声コマンド、ポインタ又は切開器具
で骨の基準フレーム又は骨自体の上の特定のディボット又はマークに触れるなど）によって補完又は上書きすることができる。

モード
ホバリング：
− ＯＴＴは、ＲＦから離れ過ぎている。
− トラッカ：リフレッシュ・レートを低下させる。
− プロジェクタ：いかなる定義された画像も投影しないことも（骨はプロジェクタの視野の外にあることもある）、工程を開始する「容易さ」に基づいて色（例えば、赤、黄、及び緑）が変化する固体スクリーンを投影することもできる。トラッカによって制限される、低いリフレッシュ・レート。
− システム：大腿骨に対する脛骨の場所をモニタリングする。トラッカ、プロジェクタ、及びその他のＩＯデバイスを駆動する。

接近：
− ＯＴＴ／ＲＦは中程度の距離である。
− トラッカ：骨のＲＦの読みに合わせて最適化された、高いリフレッシュ・レート。
− プロジェクタ：いかなる定義された画像も投影しないことも（骨はプロジェクタの視野の外にあることもある）、工程を開始する「容易さ」に基づいて変化する固体スクリーンを投影することもできる。中程度のリフレッシュ・レート。
− システム：骨（すなわち骨の座標）に対するインプラントの場所をモニタリングする。トラッカ、プロジェクタ、及びその他のＩＯデバイスを駆動する。

アクティブ：
− ＯＴＴ／ＲＦの距離は小さく、かつインプラント／トライアルは、骨に近い／接触している。
− トラッカ：インプラント及び骨のＲＦの読みに合わせて最適化された、高いリフレッシュ・レート。
− プロジェクタ：いかなる定義された画像も投影しないことも（骨はプロジェクタの視野の外にあることもある）、工程の状態（データ収集の開始から終了まで）に基づいて変化する固体スクリーンを投影することもできる。高いリフレッシュ・レート。
− システム：大腿骨に対する脛骨の場所をモニタリングする。動的な動き（屈曲／伸展、内反／外反、内旋／外旋、ＡＰ運動など）を計算し、表示する（かつ必要なら記録する）。トラッカ、プロジェクタ、及びその他のＩＯデバイスを駆動する。評価工程の進捗をモニタリングし、終了したときに、記録された全てのパラメータを保存し、ユーザに通知する。
− 追加のＩＯデバイス（例えばタッチ・スクリーン）は、必要となることも、必要ないこともある。

モード間の移行：
− 単純に距離しきい値に基づく。
− 又は、ユーザ入力による。

タスクの終了：
− 評価プロセスが、完全に完了する。
− （又は）システムが、骨のＲＦを見なくなる（少なくとも最短期間の間）。
− これは、ユーザの入力（タッチ・スクリーン、音声コマンド、ポインタで骨の基準フレーム上の特定のディボットに触れるなど）によって補完又は上書きすることができる。

その他のアクティビティ（例えば見当合わせの検証、骨の切開の洗練など）は、上記の
もののサブケースと見なすことができる。
１つの態様では、上述の例のいずれにおいても、「リフレッシュ・レートを低下させる」とは、約３０〜１００Ｈｚから１〜１０Ｈｚの低さまでのリフレッシュ・レートの変化を指す。

骨の一部分を切除するときには、外科医は、切開器具が切除しようとする領域の境界から比較的遠くにあるときには、より素早く、積極的に切開する可能性がある。ＯＴＴＣＡＳが外科医が切除領域の境界に接近していることを検出すると、外科医は、切除が所望の境界内に収まることを保証するために切開のペースをスローダウンさせるのに適当なＯＴＴＣＡＳ出力を受け取ることができる。外科医が切除の境界への接近度を容易に評価できるようにするために、ＯＴＴＣＡＳシステムは、外科医が境界に接近するときに、いくつかの適当なＯＴＴＣＡＳ出力を外科医に提供することができる。さらに、ＯＴＴ
ＣＡＳシステムは、切除境界に対するツールの近接度、対応するＯＴＴＣＡＳデータ処理応答、及びその結果生じるＣＡＳ出力に応答してＯＴＴを備えた外科手術ツールの動作の制御に関連するフィードバックを提供するように構成することができる。

上述のように、ＯＴＴＣＡＳシステムは、患者モデルの手術前解析、及び切除対象の組織の識別に対応している。切除する組織の部分が決定された後で、ＯＴＴＣＡＳシステムは、そのモデルのデータを解析し、切除の境界を識別することができる。次いで、切除する組織を、切除境界との関係に基づく複数の色を用いて、ＯＴＴプロジェクタ出力中で識別することができる。

例えば、ＯＴＴプロジェクタ出力は、ＯＴＴＣＡＳ処理ファクタに基づいて、除去しない組織の部分には赤色で投影するように適応することもできる。必要に応じて、ＯＴＴプロジェクタ出力は、切除境界に比較的近い切除対象組織部分を、黄色で示すこともできる。さらに別の代替形態では、ＯＴＴＣＡＳ工程は、切除対象組織の残りの部分を緑色で除去することができるようなＯＴＴプロジェクタ出力を生成することもできる。このようにして、外科医は、処置中に術野を見ながら、ツールが緑色のゾーンの組織を処置していることをＯＴＴプロジェクタ出力が示しているときには、素早く積極的に切開を行うことができる。外科医が切除境界に接近すると、ＯＴＴプロジェクタ出力は、ツールが黄色のゾーンの組織を処置していることを示す。このようなＯＴＴＣＡＳによって決定されるプロジェクタ出力は、ツールが切除境界に接近するにつれて作業速度を遅くするように外科医に対して示す指示として働く。このようにして、ＯＴＴＣＡＳシステムは、現在の外科手術アクションが切除境界に接近していることを外科医に通知する識別しやすい視覚的なグラフィック表示を、術野に直接提供する。同様に、ＯＴＴＣＡＳシステムを使用して、ＯＴＴプロジェクタ出力を視覚的に認識し、これを、神経、血管、靱帯など、扱いに慎重を要する解剖学的構造に対する外科手術ツールの接近度を識別するために使用することができる。プロジェクタへのＯＴＴＣＡＳ出力は、術野内の構造を識別するための特徴色方式を、ユーザに対するＯＴＴＣＡＳ出力の一部として含む。

図３７Ａ〜図４４は、様々な代替の知覚フィードバック機構と、関連する運動力学的応答及び設計基準とに関する。
図３７Ａは、トリガ力に応答して偏位してアクチュエータを移動させる屈曲形態を示す。図３７Ｂは、トリガ力に応答して変形し、その形状を回復する、滑り台形形態を示す。図３７Ｃは、トリガ力に対して回転応答を提供するために試用される回転読取り機又はエンコーダを示す。図３７Ｄは、トリガ力に応答して移動して、シャフトをベースの中に押し込むフレームを示し、シャフトの動きを、トリガ力を示す指示として登録することができる。図３７Ｅは、偏位してトリガ力の大きさを示すことができるピン留め要素を示す。

図３８Ａ及び図３８Ｂは、トリガ力を登録し、シャフトを偏移させるために使用するこ
とができる単純な４棒機構を、それぞれ上昇した位置及び降下した位置で示す。
図３９Ａ、図３９Ｂ、及び図３９Ｃは、それぞれ、アクチュエータ８０を駆動する位置回復要素がないはさみ機構８０（３９Ａ）、位置回復要素８４として引張りバネを有するはさみ機構８０（３９Ｂ）、位置回復要素８４として圧縮バネを有するはさみ機構（３９Ｃ）を示す。図示のアクチュエータの動きが、はさみのアームの上端部の高さを決定し、したがってはさみ機構の上昇を決定する。この上昇が、指をツール・トリガに置いているユーザを押圧し、ユーザによって感じられることになる。

図４０Ａ及び図４０Ｂは、はさみ機構をそれぞれ上昇した構成及び降下した構成で示す側面図である。はさみ機構８０は、枢動点で結合された第１のリンク８６及び第２のリンク８８を含み、これにより、はさみが動くことによって、第１のプラットフォーム９０及び第２のプラットフォーム９２が上昇したり降下したりする。ここではバネとして示してある位置回復要素８４は、第２のリンクの一端及びアクチュエータ８２に結合される。プラットフォームは、長さが約２２ｍｍで、最大上昇は、図４０に示す上昇した状態の約２０ｍｍである。

図４０Ｃ及び図４０Ｄは、図４０Ａ及び図４０Ｂのはさみ機構８０の変位特性に関するチャートである。図４０Ｃは、プラットフォームの軌道を、デバイスの高さと関係付ける。図４０Ｄは、はさみの角度を、デバイスの変位の変化と関係付ける。

図４１は、外科医システム・オーバライド機能を有する別のはさみ機構８０を示す図である。オーバライド機能は、アクチュエータを介した力の印加と整列するようにバネを含めることによって実現される。アクチュエータは、コンピュータ支援外科的処置中にＯＴＴＣＡＳデータを提供又は受信するために使用される構成要素１４０とすることができる。この態様では、ツール搭載追跡デバイスは、シャフト８０の相対運動などのフィードバック機構から受けた動きをコンピュータ支援外科的処置で試用される信号に変換するように適応及び構成された構成要素１４０を含む。構成要素１４０は、エンコーダ、アクチュエータ、又は運動変換器など、いくつかの異なる構成で設けることができる。１つの態様では、この信号は、トリガによって作動される外科手術ツールの動作に関係する。さらに別の実施形態では、この構成要素は、第１のプラットフォームと第２のプラットフォームの間の相対運動に影響を及ぼすようにシャフトに動きを付与するアクチュエータである、又はそのようなアクチュエータを含むように適応される。さらに別の態様では、このアクチュエータは、コンピュータ支援外科的処置中に外科手術ツールの動作を制御することに関係する信号に応答してシャフトに動きを付与するように構成される。

図示のはさみ機構の実施形態は、はさみ機構８０のリンク８６、８８によって支承された第１のプラットフォーム９０と第２のプラットフォーム９２の間の関係を示している。さらに、この実施形態は、はさみ機構８０とともに使用される１対の位置回復要素を有するはさみ機構を示している。１つの位置回復要素は、はさみ機構８０内に位置決めされた戻しバネである。別の位置回復要素は、はさみ機構とアクチュエータ又は構成要素１４０との間に位置決めされたオーバライドバネである。

図４２は、図４１に示す概略的な機構と同様のはさみ機構を示す図である。このはさみ機構８０は、第１のプラットフォーム９０及び第２のプラットフォーム９２を含み、これらは、リンク８０、８６の一端では第１のプラットフォーム及び第２のプラットフォームに枢動可能に、リンク８８、８６の他端では滑動可能に接続されている。ここではバネである位置回復要素は、アクチュエータ又はケーブルと、はさみリンク８８の滑動端部との間に配置される。この実施形態は、第１及び第２のプラットフォームがその第１の端部においてリンクの第１の端部がプラットフォームに対して滑動することを可能にする細長いスロットの細部も含む。リンク８８、８６の第２の端部は、第１のプラットフォーム９０
及び第２のプラットフォーム９２に枢動可能に結合される。ここでは、第１及び第２のプラットフォームの動きは、バネの使用に合わせて、又はアクチュエータの影響下で調節される。図４２の機構の動作特徴は、上記のチャートならびに図４３及び図４４を参照するとよりよく理解される。

図４５は、知覚フィードバック機構を示す等角図である。図４５及び図４６Ａは、それぞれ知覚フィードバック機構１５０の等角図及び側面図である。図４５は、トリガ５２に隣接する外科手術ツール５０に取り付けられて使用されるベース・プレート１５２を示す。はさみ機構（図４６Ａで最もよく分かる）は、第１のプラットフォーム１８３に支承されたカバー１９１で覆われ、このプラットフォームに沿って動く。作動ケーブル８２は、はさみ機構に結合され、はさみ機構の動きに応答して動く。

図４６Ｂは、カバー１９１又はプラットフォーム１８３、１８４がない状態の、図４６Ａのはさみ機構１５５を示す等角図である。Ｙ字型リンケージ１６０と１６５がピン留めされて（１６３）、はさみ機構１５５を形成する。位置回復要素８４は、第１のリンクの第１の端部と第２のリンクの第１の端部との間に位置決めされる。また、この図では、プラットフォームのスロット１７８に沿って滑動するように使用されるシャフト１７３も見えている。

図４６Ａ〜図４６Ｆは、図４５の機構の構成要素及び動作を示す様々な図である。図４６Ｃ及び図４６Ｄは、図４５及び図４６ＡのＴＦＭ１５０を、上側プラットフォーム１８３を備えた場合（図４６Ｄ）と備えない場合（図４６Ｃ）で、拡張した状態で示している。ケーブル８２は、スロット１７８に沿ってリンクが移動した長さに関連して、下側プラットフォーム１８４から変位＋ｙだけ移動している。

図４６Ｅ及び図４６Ｆは、図４５及び図４６ＡのＴＦＭ１５０を、上側プラットフォーム１８３を備えた場合（図４６Ｆ）と備えない場合（図４６Ｅ）で、閉じた、又は格納された状態で示している。ケーブル８２は、スロット１７８に沿ってリンクが移動した長さに関連して、下側プラットフォーム１８４から変位＋ｘだけ移動している。

図４７及び図４８は、その外科手術ツールのトリガに隣接して位置決めされたＴＦＭ１５０を有する外科手術ツール５０上のＯＴＴ１００を示す側面図である。アクチュエータ８２は、ＴＦＭからＯＴＴ１００内に延びる。ＯＴＴ内の構成要素１４０は、ＴＦＭとの間で受信と出力の提供の両方を行うか、あるいはＴＦＭからの受信のみを行うように構成される。この実施形態では、カバー１９１は、ベース１５２から遠ざかるように延びて、ベース１８４の一部分が露出している。

ＴＦＭがカバー１９１を図示の位置まで移動させると、カバー１９１がトリガ１５２へのアクセスを妨害して、外科手術ツールのトリガ機能が損なわれる。図４８は、下げた構成のカバー１９１を示しており、この構成では、トリガ５２に手が届く。

図４７及び図４８は、外科手術器具のトリガと相互作用する位置に図４５の知覚フィードバック機構を備えたツール（ここではのこぎり）を有する外科手術器具に搭載されたツール搭載追跡デバイスを示す側面図である。図４７は、知覚フィードバック機構を、トリガを覆う拡張構成で示し、図４８は、折り畳まれてトリガを露出させている知覚フィードバック機構を示している。

図４９Ａ〜図４９Ｂは、知覚フィードバック機構の別の代替形態を、開いた、又は拡張した状態（図４９）及び閉じた状態（図４９Ｂ）で示す図である。図４９Ｃ〜図４９Ｅは、図４９Ａ及び図４９Ｂのデバイスの内部機構を示す様々な図である。

図４９Ａ及び図４９Ｂは、オーバ・トリガ知覚フィードバック機構６００を、それぞれ上昇した状態及び降下した状態で示す等角図である。オーバ・トリガ知覚フィードバック機構６００は、第１のプラットフォーム１８３に取り付けられたトリガ・アダプタ６０５を有する。修正型トリガ・シートは、トリガ５２と係合するように適応される。修正型トリガ・シートは、トリガ・アダプタ６０５内に嵌合し、トリガ・アダプタ６０５に対して可動である。はさみ機構１５５は、上記と同様に、第１のプラットフォーム及び第２のプラットフォームを移動させるために設けられる。

図示のプラットフォームの相対位置は、折り畳まれた状態で、修正型トリガ・シート６１０がどのようにしてトリガ・アダプタ６０５の上方に上昇するかを示している。対照的に、上昇した状態では、修正型トリガ・シート６１０は、トリガ・アダプタ６０５内に引き込まれ、その上側表面より低い位置にある。

図４９Ｃは、上側プラットフォーム及びトリガ・アダプタが取り外された状態で、上昇した状態にあるはさみ機構１５５を示す等角図である。図４９Ｄは、図４９Ｃと同様であるが、上側プラットフォーム１８３がはさみ機構１５５に取り付けられている。開口６２０が、上側プラットフォーム１８３に形成されている。開口６２０は、修正型トリガ・シート６１０とトリガ５２との間の結合をもたらすために使用される。

図４９Ｅは、他の実施形態と同様であるが、トリガ・アダプタ６０５が第１のプラットフォーム１８３の上部の適所に追加されている。図５０は、ツール５０のトリガ５２が知覚フィードバック機構６００によって覆われている、外科手術ツール５０に結合されたＯＴＴ１００の一実施形態を示す図である。

図５０の構成では、トリガ５２を操作するユーザの能力は、知覚フィードバック機構６００を操作することによってカバーされる。
図５０は、外科手術ツールのトリガと協働するように搭載され、ＯＴＴ内の構成要素に関連するトリガを送信及び受信するように構成された、図４９Ａ及び図４９Ｂの機構の一実施形態を有する外科手術ツールとともに使用されるように結合された、ＯＴＴの一実施形態を示す図である。

図５１は、２つの位置回復要素を利用するはさみ機構の代替の実施形態である。図５１は、図４２と同様のはさみ機構を示している。図４２のはさみ機構とは対照的に、この実施形態の図示のはさみ機構は、１対の位置回復要素を含む。１つの位置回復要素８４は、第１のプラットフォームと第２のプラットフォームの間に延び、リンク８６、８８の第１の端部に結合された戻しバネである。この戻しバネを使用して、プラットフォームの動きを修正し、それによりトリガ応答性を制御する。もう一方の位置回復要素は、第２のプラットフォームに沿って延びるオーバライドバネである。オーバライドバネは、リンク８８の滑動端部及びケーブル８２に結合される。戻しバネとオーバライドバネは協働して作用して、図５１に概略的に示すように様々に異なる応答特性を知覚フィードバック機構に与える。その結果として、複数の異なるタイプの位置回復要素を使用することにより、本明細書に記載する知覚フィードバック機構の幅広い様々な応答特性が得られる。

図５２Ａ及び図５２Ｂは、それぞれ、外科手術ツール５０に結合された別のＯＴＴの実施形態を示す前方等角図及び後方等角図である。ＯＴＴ７００は、カメラ・マウント７０５及びプロジェクタ７１０を有する筐体７１０を含む。この実施形態では、カメラ・マウント７０５は、筐体７１０の上側表面上にある。マウント７０５は、アクティブ要素５６を撮像するためにツール７４に向けられた１対のカメラ７０７を収容する。さらに、この実施形態は、ツール５０のトリガを覆うＴＦＭ６００を含む。ケーブル８０が、本明細書
に記載する様々な知覚フィードバックのためのＴＦＭ６００とＯＴＴ７００の間のインタフェースとなる。ＯＴＴ７００は、筐体７１０の上側表面上にディスプレイ７０２も含む。ディスプレイ７０２を使用して、ＯＴＴＣＡＳ出力情報をユーザに提供することができる。これに加えて、又は別法として、ディスプレイ７０２は、ユーザ入力用のユーザインタフェースとして使用される。ディスプレイ７０２は、グラフィカル・ユーザインタフェース（ＧＵＩ）又はその他のタイプのコンピュータ入力デバイスとして構成することができる。また、コンピュータ支援外科手術の完了を促進するためにＣＡＳ処置中にＯＴＴを使用することによって得られる情報を利用するためにＯＴＴ７００と通信するコンピュータも、示してある。このコンピュータは、処理ユニットからアクセス可能な電子メモリ内に、オン・ツール・トラッキング・コンピュータ支援外科手術のための命令を含む。一実施形態では、コンピュータは、ＯＴＴ７００内に、筐体内の電子機器パッケージの一部として含まれる。別の実施形態では、コンピュータは、ＯＴＴＣＡＳ工程に関連するデータを、無線で、又は有線接続を介してＯＴＴ７００から受信し、またＯＴＴ７００に送信するように構成された、外部構成要素である。

上記の例示的な実施形態の例が明らかにするように、本発明のＴＦＭ機構の実施形態は、トリガ運動又は位置に関連する出力、あるいはＯＴＴＣＡＳコンピュータによってさらに処理される出力を提供するように適応又は構成することができる。本明細書に与える様々なＴＦＭ機構を使用して、低侵襲的に、ツールの動作、あるいはＯＴＴＣＡＳシステムが使用する特徴又はパラメータ（速度、位置、回転、設定、電力レベルなど）を示す指示を提供することができる。知覚フィードバック機構からの出力は、エンコーダ／読取り機を介して機構内に設けてもよいし、ＯＴＴデバイス内に設けてもよいし、あるいは外科手術ツール自体に搭載してもよい。さらに、フィードバック機構の実施形態は、知覚フィードバック機構の情報又はトリガ情報をＯＴＴデバイス又はＯＴＴＣＡＳコンピュータでさらに処理するために送信するための無線通信を含むことができる。さらに別の態様では、知覚フィードバック機構の１つ又は複数の構成要素は、ＯＴＴＣＡＳ工程、モード、又はアルゴリズムに基づいて受信される命令の下で駆動することができる。いくつかの実施形態では、知覚フィードバック機構の指示及びデータを使用して、ＯＴＴＣＡＳシステムからの動的なリアルタイムのフィードバック・ループを提供する。知覚フィードバック機構からの指示を使用して、ツールのモータ、アクチュエータが、適当なＯＴＴＣＡＳ処理出力の一部として、そのモータ／切開／穿孔アクションの速度を減衰させる、又は停止させるなど、１つ又は複数の外科手術ツール制御特性の自動制御を実現することもできる。１つの態様では、フィードバック・ループ制御は、不適切に切開したり、又はＯＴＴＣＡＳ術野内の解剖学的構造を傷つけたりすることを防止するために外科手術ツール機能の自動介入が必要であるとＯＴＴＣＡＳシステムが決定したのに基づいて提供される。

さらに別の態様では、本明細書に記載するシステム及び方法からの出力を利用するように構成された知覚フィードバック機構又はその他のフィードバック機構の実施形態を使用して、自動的に、又は半自動的に、ツール搭載追跡デバイスを利用する外科手術ツールのアクティブ要素の１つ又は複数の動作特性を制御することができる。さらに、ＯＴＴＣＡＳシステムの一実施形態は、所望の境界に対する外科手術ツールの位置が決定されたのに応答して外科手術ツールの動作を制御するように構成することもできる。具体的には、システムは、ツールが境界の近傍でない切除対象の組織内に（すなわち緑のゾーンに）位置決めされていると決定した場合には、外科医が望むように外科手術ツールを制御することを許すことができる。また、システムは、ツールが境界の近傍の切除対称の組織内に（すなわち黄色のゾーンに）位置決めされていると決定した場合には、外科手術ツールの動作を低減又は減衰させることができる。例えば、ツールがのこぎりであり、黄色のゾーンに入った場合には、システムは、のこぎりが切除境界の近傍に移動するにつれて、のこぎりの往復運動又は回転をスローダウンすることができる。さらに、システムは、ツールが
境界の近傍、又は切除又は処置の対象ではない組織上に位置決めされていることを検出した場合には、外科手術ツールを制御してツールを完全に停止させることができる。システムは、外科手術ツールの動作を自動的に制御することができるが、外科医がツールの制御をオーバライドすることができるようにするオーバライド機能を含む。このように、外科医は、手術前解析中に切除するものとして識別されなかった組織の一部分を切除すべきであると判定した場合には、処置中にシステムをオーバライドし、その組織を切除することができる。

知覚フィードバック機構の実施形態は、幅広い様々な知覚刺激を含む。例えば、刺激は、所期の切除から外科手術経路が偏倚していることを示すための強震動のように単純なものであってもよい。知覚刺激は、本明細書に記載するＯＴＴＣＡＳ方法によって提供される様々な修正及び出力に応じて、さらに洗練された指示にする機会を提供する。

一般に、給電型外科手術ツールは、トリガによって起動され、本明細書に記載するフィードバック型機構の実施形態は、外科手術経路又は現在使用されているアクティブ要素がＯＴＴＣＡＳ外科手術計画による所期の切除又はその他のアクションから偏倚していることを外科医に対して示すように、検出可能かつ可変の（ＯＴＴＣＡＳコンピュータの制御下で増加及び減少する）抵抗をトリガに与える、又はツールを作動する外科医の指に圧力を与える。知覚フィードバックを提供するための様々に異なる構成は、ＯＴＴデバイスとともに使用される外科手術ツールを作動するためのトリガが修正されていなくても、修正されていても、又は置換されていても、使用することができることを理解されたい。いくつかの様々な代替の実施形態では、トリガ型のフィードバック・アセンブリは、静止ベース（通常は外科手術ツールのハンドルに搭載される）に結合されたはさみ機構に結合された動的部材を含む。このアセンブリの位置又は剛性は、通常は伝達シャフト又はケーブルとの相互作用の結果として、ＯＴＴ内の制御ユニットによって指定される。制御ユニットは、例えば、はさみ機構を閉じる力を変化させる伝達シャフトを動作させる、トリガ機構を完全に拡張した位置まで動かす、トリガ機構を完全に収縮した位置まで動かす、トリガの動作を損なう位置まで移動する、又は必要に応じてツールのアクティブ要素の動作を停止させるアクチュエータなど、幅広い様々なＯＴＴ関連フィードバック機構を提供するように構成することができる。１つの態様では、伝達シャフト、ケーブル又は要素は、ボーデン・ケーブルである。さらに別の実施形態では、はさみ機構をＯＴＴ内の関連する構成要素に結合する伝達シャフトは、ロッド、バネ、ソレノイド、鎖、歯車、あるいは小型の空気圧又は油圧作動式システムなど、任意の適当な要素とすることができる。さらに、上述の制御のために使用されるアクチュエータは、トリガの近傍のフィードバック機構内に含まれていてもよいことを理解されたい。この態様の１つの代替の形態では、アクチュエータを有線又は無線接続を介してＯＴＴデバイスに接続して、上述のＯＴＴＣＡＳ技術を促進する際に適当なＯＴＴＣＡＳ工程制御信号をアクチュエータに提供することもできる。

制御ユニットは、コンピュータシステムからデータを受信することもできる。システムが、ツールの位置を外科手術計画の所期の切除と比較することによって、外科手術経路と外科手術計画との間に指定しきい値レベルを超える偏倚があると決定すると、制御ユニットは、伝達シャフトを作動させて、トリガを引くために必要な抵抗を増大させる。指示は、外科医がツールを作動することができないようにトリガの押圧を防止するという形態で提供することができる。あるいは、指示は、外科医が加える力を強くすることによって克服することができる程度に抵抗を増大させるという形態をとることもある。

図３７Ａ〜図５１に関連して説明するトリガ及びその他のツール制御の実施形態は、それぞれその全体を本願明細書に援用する、同時係属の、同じ譲受人に譲渡される、２００７年６月１８日出願の出願第１１／７６４５０５号及び２００７年１０月２９日出願の出
願第１１／９２７４２９号に記載されるツールなど、外部からトラッキングされるツールとともに利用することもできる。

図５２Ａ及び図５２Ｂは、それぞれ、ＯＴＴに結合されたトリガ型フィードバック機構を有する外科手術ツールに結合されたＯＴＴ筐体を備えたディスプレイを含むオン・ツール・トラッキング及びナビゲーション・デバイス（ＯＴＴ）を示す前方等角図及び後方等角図である。これらの図は、ＯＴＴと通信する例示的なコンピュータシステムも示している。

図３６は、関連する外科手術ツールの動作特性、パラメータ、あるいは任意のＯＴＴＣＡＳ工程又は処置でアクティブ要素を使用することに関連するその他のデータを含むようにする上述のＯＴＴＣＡＳ工程のいずれかの修正を含む、例示的なＯＴＴＣＡＳ工程を示す流れ図である。ＯＴＴＣＡＳ工程３６００は、図３１ＡのＯＴＴＣＡＳ工程３１００に関連して上述したのと同じ処理工程の多くを含む。

図６３は、停空モードで動作しているときにＣＡＳ誘導システムによって実行される様々なステップを示す流れ図６３００である。これらの工程は、工程６３０２で、見当合わせされた骨及びツールの位置を取得することから開始する。次に、工程６３０４で、偏倚（すなわち計画に対する骨及びツールの誤差）を計算する。次に、工程６３０６で、計算した偏倚がＴＨ−１以下であるかどうかを判定する。ＴＨ−１は、外側しきい値間隔である。この文脈では、外側しきい値間隔は、ツールが外科手術点から十分に離間した距離にあり、システム・リソースを用いて特定の特徴又は２次的な動作を利用することができる、あるいは高い許容差のトラッキング又は制御が重要でないことを判定するために使用される。工程６３０６の答えが肯定である場合には、この工程は、工程６３０８に進む。工程６３０８で、計算した誤差を、より小さい偏倚、すなわちしきい値ＴＨ−２と比較する。しきい値ＴＨ−２は、システムが術野に接近したときにトリガされる内側しきい値として使用される。ステップ６３０８の答えが肯定である場合には、この方法は、ステップ６３１０に進み、しきい値ＴＨ−２がトリガされたのはこれが最初かどうかを判定する。ステップ６３１０の答えが肯定である場合には、この方法は、ステップ６３１２に進み、全ての２次的なタスクは実行を許可されなくなる。図６３では、これらの例が枠６３１２に示してある。ステップ６３１２で、システムは、全ての他の動作を基本的にオーバライドし、最大限のリソースがトラッキング・モードに利用できるようにする。これは、ステップ６３０６及びステップ６３０８の比較によって、システムが切開モードに近い、又は切開モード内にあると判定されているからである。このときに行われなくなる２次的なタスクの例としては、例えば、システムによって行われるＲＦの再較正、データ・バックアップ、見当合わせ状態との近接度及び様々なデータのテストなどが挙げられる。ステップ６３１２の後、次のステップ６３１４で、ユーザによってオーバライドされていないか、又はユーザがそれとは異なる優先順位を設定していない限りは、骨をＯＴＴで使用されるディスプレイのスクリーンの中心として設定する。次に、ステップ６３１６で、追加の制御信号がシステム内で送られる。例示的なステップ６３１６では、このＯＴＴの実施形態では、モータ制御がオンにされ、２Ｄ誘導がオンにされ、プロジェクタがオンにされる。ここでも、また以下の記述においても、説明は、ユーザが本明細書の記載とは逆のオプションを設定していないことを前提とする。ＥＴＴシステムが使用されている場合には、ｉＰｏｄ（登録商標）のスクリーンもオンにされ、適当なユーザ選択可能なデフォルト初期ビューが示される。さらに、ナビゲーション及び誤差計算機能は、動作し続ける。次に、ステップ６３１８で、様々なスルー・レートが、１００％に設定される。例示的なステップ６３１８では、ナビゲーション、誤差計算、モータ制御及び通信、２Ｄ誘導、プロジェクタ、ならびにｉＰｏｄ（登録商標）スクリーンは、全て１００％に設定される。次に、ステップ６３２０で、このモードの動作ループを繰り返し、システムは、ステップ６３０２で、骨及びツールの位置を取得する。

６３０２に引き続いて６３０４で骨及びツールの誤差を計算し、次にステップ６３０６で、ステップ６３０６の応答が「否」である場合には、システムはステップ６３２２に進み、システムが近しきい値ＴＨ−１を超える誤差を記録したのはこれが最初か否かを判定する。このステップ６３２２の答えが肯定である場合には、この方法は、ステップ６３２４に進み、このステップでは、システムのいくつかの特徴が異なる状態にすることが許可される。次に、ステップ６３２６で、ステップ６３１６に見られるスルー・レートの設定とは対照的に、スルー・レートが、様々に異なるレベルに設定される。次に、ステップ６３２８で、２次的なタスクをシステムによって実行することができる。ステップ６３２８では、システムが切開モードではない可能性が高いので、２次的なタスクが許可され、システム・リソースを他のアクティビティに向けることができる。その後、システムは、ベース・ステップ６３０２に戻り、骨及びツールの位置情報を取得する。この方法を、６３０２から、計算ステップ６３０４、及び近しきい値ＴＨ−１についてのより小さな偏倚の比較に進み、ステップ６３０６の答えが肯定であり、かつ近場偏倚ＴＨ−２（ステップ６３０８）の答えが否定である場合には、この方法は、判定ステップ６３３０に進む。６３３０の「最初か否か」の質問に対する答えが否であり、近しきい値誤差が誤差しきい値ＴＨ−２より大きくなるのはこれが最初ではないことを示している場合には、この方法は、ステップ６３０２に戻り、骨及びツールの情報を取得する。ステップ６３３０の「最初か否か」の問いに対する答えが肯定である場合には、システムは、ステップ６３３２に進む。ステップ６３３２で、コンピュータによるツール位置の決定に基づいて、様々な制御機能が様々な値に設定される。次に、ステップ６３３４で、様々なスルー・レートが、ナビゲーション、誤差計算、及び２Ｄ誘導用に設定される。その後、ステップ６３３６で、ステップ６３２８と同様に、２次的なタスクも実行を許可される。２次的なタスクが許可されるのは、モータ制御機能を用いる重要なナビゲーション以外の用途に同時にシステム・リソースを使用することができるとシステムが判定しているからである。「最初か否か」のブロック６３２２、６３３０及び６３１０のそれぞれでは、これは、不要なときに状態が繰り返し切り替わることを防止するための妥当性検査及びラッチング工程のため、またある程度のヒステリシスを追加して、ある条件が無作為に満たされることに基づいてある状態から別の状態に切り替わることを防止するための単純化である。しきい値ＴＨ−１及びＴＨ−２を適当なレベルに設定することにより、システムは、例えば、ＯＴＴのユーザの動きが意図的なもので、術野から遠ざかる方向に向けられているか否か、意図的なもので、術野に向かうものか否か、あるいはわずかな調節だけ行って切開するステップを継続するか否かを判定することができる。このような意図的なヒステリシスは、もちろん、特にシステムの様々な状態の境界付近において、デジタル・ノイズ及びランダム誤差の影響を低減する。

一般に、方法６３００では、左側のステップ（６３２８、６３２６、及び６３２６）は、時間に敏感なタスクが必要でないときにシステムが２次的なタスクのためにリソースを開放する、通常の停空モードを示す。方法６３００の右側（ステップ６３３２、６３３４、及び６３３６）は、システムがターゲットの骨に対する関心体積内にあるが、またターゲットの骨を切開する位置にはない（通知を受けたらすぐにモータ制御をオンに切り替えるためにセンサ及びリソースが利用可能である待機状態など）ことを示すときに使用される。２次的なタスクは、この状態では依然として許可されているが、時間に敏感な特徴は、上述した左側の場合より緊密にモニタリングされる。方法６３００の最下部分では、これらは、時間に敏感なタスクが、実際の切開中に実行されていることを示している。方法ステップ６３１２、６３１４、６３１６、及び６３１８は、全て、フル・スルー・レートが全ての切開に関連する工程に適用されることを保証するために使用される。この期間の間は、システム・リソースが２次的なリソースには向けられることはない、あるいは、２次的なアクティビティは全て無視される。

一般に、方法６３００では、左側のステップ（６３２８、６３２６、及び６３２６）は、時間に敏感なタスクが必要でないときに、システムが主に電池電力を節約し、熱の生成及び放散を低減し、リソースを２次的なタスクのために開放する、通常の停空モードを示す。方法６３００の右側（ステップ６３３２、６３３４、及び６３３６）は、システムがターゲットの骨に対する関心体積内にあるが、またターゲットの骨を切開する位置にはない（通知を受けたらすぐにモータ制御をオンに切り替えるためにセンサ及びリソースが利用可能である待機状態など）ことを示すときに使用される。さらに別の態様では、ステップ６３２６、６３２４、６３３２、又は６３３４における追加のファクタ又は考慮事項は、１つ又は複数の電子デバイスをシャットダウンする、待機モードにする、又はその他の方法で電力を節約するように調節することができるということである。ＯＴＴＣＡＳシステムがこのような決定をした結果として、ＯＴＴＣＡＳモードがそれを実際的なステップであると見なした場合には、例えばプロジェクタなどエネルギー消費の多いデバイスをエネルギー節約モードにすることができるので、ＯＴＴモジュールのバッテリ寿命を延ばすことができると考えられる。

図６４は、簡略化した停空モード状態図である。このモード状態図は、開始ステップ６４０５で開始される。次に、ステップ６４１０で、システムは停空モードに入ることができる。その後、システム・パラメータが、骨の見当合わせが行われていることを示す場合には、システムは、トラッキングを終了するか、又は開始ステップ６４０５に戻ることができる。あるいは、骨の見当合わせが完了したときに、システムは、停空モードを設定し、停空モード工程６４１０に戻ることもできる。さらに、停空モード工程６４１０から、システムは、骨切開ステップを検出することができる。この場合には、システムは、ステップ６４２０に示すように、骨切開モードに進むことになる。骨切開ステップが完了したときに、システムは、ステップ６４１０の停空モードに戻る、又はトラッキングを中止して初期モード６４０５に戻ることができる。停空モード６４１０からの別の選択子は、ステップ６４２５の骨インプラント適合評価に進むことである。任意のインプラント適合評価が完了したときに、システムは、６４１０の停空モードに戻る、又はトラッキングを中止して初期モード状態６４０５に戻ることができる。評価の一例（分かりにくくしないために図示はしない）は、切開された表面の場所及び配向を試験してその品質を評価し、必要に応じてさらなる切開の洗練を示唆する、ナビゲートされる表面テスタを用いて切開の質を評価することである。停空モード６４１０からのさらに別の代替経路は、６４３０の中間範囲トラッキングに進むことである。中間範囲トラッキング・ステップ６４３０から、システムは、トラッキングを中止して、初期状態６４０５に戻ることができる。あるいは、中間範囲トラッキング・ステップ６４３０が完了して、停空モードのトラッキング工程６４１０に戻ることもできる。

図６５は、停空モード動作を示す別の代替図である。図６５に示すシーケンスでは、システムは、停空モード６５０５、骨切開モード６５１０、又はインプラント又は切開適合評価モード６５１５の、３つのモードの間を移行するものとして示してある。停空モード６５０５にあるときに、のこぎりを使用し、骨が器具に近接すると、システムは、骨切開トラッキング・モード６５１０に進む。あるいは、骨が器具から遠ざかるように移動する、又は逆にのこぎりが骨から遠ざかるように移動するときに、システムは、この動きを検出し、骨切開モード６５１０から遠隔停空モード６５０５に戻る。あるいは、システムが、ナビゲートされたインプラント・トライアル又はナビゲートされた骨（切開）表面評価ツールが見えること、あるいはインプラント・トライアル又はそのツールが骨に近接していることを検出した場合には、システムは、停空モード６５０５からインプラント適合又は骨表面評価ステップ６５１５に進む。上記の評価が完了したとき、骨がトライアル・インプラント又は評価ツールから遠いときと同様に、システムは、停空モード６５０５に戻る。図６６Ａ、図６６Ｂ、及び図６７は、ＯＴＴの動作に応じた、様々な室内ディスプレイ及びオン・ツール・ディスプレイ又はプロジェクタのビューを示す図である。ここで、
図６６Ａを参照すると、室内シーン（Ａ）は、アクティブ切開ステップを示している。アクティブ切開ステップに関連するので、オン・ツール・ディスプレイ（図６６Ａの部分Ｂ）は、角度誤差（２本の軸の周りの配向偏倚）、あるいは本明細書に記載する外科手術計画に対する刃の誤差率又は場所（オフセット）に関するその他の切開情報を示している。図６６Ｂでは、室内ディスプレイは、外科手術計画に従って骨と接触しているツール及び刃の側面視を示している。

２Ｄ誘導ディスプレイ用の配向の決定
メインＣＡＳコンピュータの発明者等のグラフィカル・ユーザインタフェース（ＧＵＩ）の様々な場所で、発明者等は、発明者等のフライト・シミュレータのような（２Ｄ）グラフィカル誘導システム６６Ｂを使用することがある。このディスプレイは、のこぎりを下方に傾ける、又はのこぎりのピッチを下方に変化させ、ローリングさせて、２本の線を一致させ（したがってのこぎりのピッチが正しくなる）、かつ両方が水平線に沿わせる（したがってのこぎりのロールが正しくなる）ことによって、平面（ラベル付き）がターゲット表面の平面（ラベル付き）と重なるように器具を動かすように、ユーザを誘導する。誘導線を上に移動するか下に移動するかは、ナビゲートされるのこぎりが通常の状態で保持されていたか裏返しに保持されていたかによって決まり、後者の場合もあり得る。

のこぎりが裏返しであるか通常の状態であるかに応じて上向きに誘導するか下向きに誘導するかを判定することは、位置を記録するコンピュータが、最近（例えば数ミリ秒又は数秒）の履歴を記憶し、動きの平均を検査することである。最近の１００秒、１０秒、又は１秒のトラッキングを検証して、その結果がユーザに上への移動を示しているが、発明者等はまだ下に動いていることにコンピュータが気付いた場合には、発明者等がのこぎりを裏返しに保持しているはずだということになる。したがって、ユーザがターゲットに向かって移動しようとしているにもかかわらず遠ざかりつつあることが分かった場合には、コンピュータは、誘導を１８０度切り替えて、そのことを言葉で（音声で）ユーザに知らせる。ユーザは、その機能に反対し、これをオーバライドしたい場合には、任意選択でこれを停止することができる。

また、コンピュータは、ユーザが（ターゲットの付近に３Ｄで）ほぼ位置合わせされ、数度以内にあるかどうかを知らせることができる。この場合、コンピュータは、ユーザが正しい配向であることを知っている。しかし、ユーザがターゲットに対してほぼ１８０度裏返しになっている（すなわちターゲットと平行であるが、ほぼ１８０度以内である）場合には、これは、ユーザがのこぎりを裏返しに保持していることを意味するので、コンピュータは、自動的にその座標系を切り替えて調節する。コンピュータは、ユーザがのこぎりをターゲット平面に向けて１８０度の角度で保持し続けている（ユーザはターゲット平面に接近しているが、のこぎりを約１８０度の角度で保持している）ことに気付いた場合には、誘導を自動的に反対に切り替えて、誘導が実質的に正しい方向に進むようにする。

この概念は、知識ベース・システムと、ユーザは、自分が何をしているか、また自分が概ね正しいことを概ね知っているが、システムは、ユーザがデバイスを裏返しにひっくり返すことにより、座標系の符号を逆転しなければならないという条件とに依拠する。発明者等は、この検出及び補正を、数ミリ秒、又は１秒より大幅に短い時間内で自動的に行うことができる。

図６７は、接近又は評価ステップにおける骨に対するＯＴＴシステムの場所を示す図である。室内図である図６７Ａのビューでは、ツールは、術野に接近しているものとして示されている。室内ディスプレイＢも、ツールが術野内で骨に接近していることを示している。図６７Ｃのビューは、骨に対するツールの位置合わせを示すオン・ツール・システム上のディスプレイを示している。図６７Ｃに示すビューは、本明細書及び他の箇所に記載
されるように、スマート・ビュー・コマンドを用いて調節可能である。

これに加えて、又は別法として、本明細書に記載するＯＴＴモジュールはいずれも、追加の機能を有するように修正することができる。例えば、ＯＴＴは、ディスプレイを含むように修正することもできる。あるいは、ＯＴＴは、例えばｉＰｏｄ（登録商標）、ｉＰａｄ（登録商標）、又はＯＴＴに取外し可能に搭載することができるその他のｉＯＳもしくはＡｎｄｒｏｉｄ（登録商標）の（又はスマートフォンのような）デバイスを介して動作するなど、リモート・コントロールとともに動作してメイン・システムを駆動するように適応することもできる。他の態様では、このようなＯＴＴは、ＯＴＴタブレットとして説明することができる。一実施形態では、ＯＴＴモジュールは、ＯＴＴ筐体の表面に組み込まれたスクリーン（例えばカラーＬＣＤタイプ）又はその他のディスプレイを有することができる。代替の実施形態では、ディスプレイが、取外し可能なアイテムとして設けられる。一実施形態では、ディスプレイは、ｉＯＳの実装によって動作し、ｉＰｏｄ（登録商標）、ｉＰａｄ（登録商標）などで動作する。これに加えて、又は別法として、ｉＰｏｄ（登録商標）又はその他のデバイスを、メイン・システムを駆動するための「リモート・コントロール」として使用することもできる。すなわち、リモート・コントロール・デバイスは、ＯＴＴデバイスに搭載されていてもよいし、切り離されていてもよい。使用時には、この目的のためのｉＰｏｄ（登録商標）、ｉＰａｄ（登録商標）、又はスマートフォンのようなデバイスは、滅菌バッグの中に入れられた状態で外科手術シーンに持ち込まれ、外科医及び／又は看護師がそこからシステム機器を駆動することができる。

携帯可能なディスプレイ・スクリーン
取付け型のスクリーンは、ここではｉＰｈｏｎｅ（登録商標）として実施しているが、Ｄｒｏｉｄ又はＢｌａｋｂｅｒｒｙ（登録商標）など任意のその他の同様のサイズのスマートフォン、あるいはカスタム・ビルと・タッチ・ディスプレイとすることもできる。

のこぎりに取り付けられると、ディスプレイは、通常は、姿勢／オフセット距離ディスプレイとともに使用されるように意図される。ディスプレイは、３Ｄレンダリング・エンジン・ソフトウェアを利用して、３Ｄ表面又は体積モデルを示し、ビューの自動選択で指定されたのと同じビューイング・パラメータの誘導及び選択を提供することができる。

さらに、ユーザは、スクリーン上でモデルを動かすことができる。このような変更は、メインＯＴＴＣＡＳスクリーン上のビューと同様であり、これには、端末のスクリーンと比較して、取り付けられたスクリーンの方がより近くにあるという利点があり、また（必要に応じて）滅菌であることも滅菌でないこともあり、あるいは都合よく外科医又はアシスタントの近くにあることも近くにないこともあるメイン・コンピュータのスクリーンではなく、滅菌環境内でスクリーンに触れるということも意味している。

別の例では、ビュー、又は表示の任意のパラメータは、タッチ・スクリーン・インタフェースを用いて変更することができる。
取り付けられたスクリーンは、取り外して、分離したディスプレイとして、又はリモート・コントロール・デバイスとして使用することもできる。

さらに別の態様では、自動的又は半自動的骨見当合わせ技術で使用されるＯＴＴに搭載されたピコ・プロジェクタ又はその他のプロジェクタを使用する方法が提供される。１つの態様では、基準フレームを使用するＯＴＴの状況で、骨見当合わせ行列を計算又は決定する方法が提供される。これは、ＯＴＴについて記載した３Ｄトラッキングと、市販の画像処理及びトラッキング工程で使用されるような動的３Ｄ走査工程との組合せとして実施することができる。

１つの態様では、このようなＯＴＴに基づく見当合わせ工程又は技術は、以下のステップを含む。
ａ）通常は手術前計画中に解剖学的構造（例えば骨）の３Ｄモデルを取得する。例えば、画像に基づくセットアップでは、これは、患者のコンピュータ・トモグラフィ（ＣＴ）又は磁気共鳴撮像（ＭＲＩ）データによる、あるいはアトラスからの一般化された骨のモーフィング（スケーリング）による３Ｄ再構築として行うことができる。
ｂ）トラッキング基準フレームを骨に取り付ける。トラッキング基準フレームは、ＯＴＴカメラに可視である。
ｃ）ＯＴＴのプロジェクタを使用して解剖学的構造（例えば骨）の表面の３Ｄ走査を実行して、関心表面上にパターン（例えば（１つ又は複数の）点、（１つ又は複数の）線、（１つ又は複数の）グリッドなど）を投影し、ＯＴＴの（１つ又は複数の）カメラ・システムが関心表面からの光の反射を取り込んで処理する。
ｄ）ｃ）と同時に、本明細書に記載する技術のいずれかを用いて、関心物体（例えば骨）に取り付けられた基準フレームを３Ｄでトラッキングする。ＯＴＴカメラは３Ｄ走査及びトラッキングの両方の工程に使用されるが、これら２つの工程を強調させる方法の一例は、１つの機能から別の機能に高速で切り替えて、各３Ｄ走査データのサンプリングを３Ｄトラッキング位置／配向とペアリングすることである。
ｅ）ｃ）及びｄ）のデータに基づいて、関心物体（例えば骨）に取り付けられた基準フレームに対して位置決め及び配向された解剖学的構造（例えば骨）の表面の表面モデルを取得する。
ｆ）ａ）とｃ）の表面マッチング。この工程では、１つの表面をもう一方にマッチングする変換行列を計算する。この工程は、（ユーザ・グラフィカルな介在又は検証を用いて）手作業で行ってもよいし、様々なレベルの自動化で行ってもよい。後者では、相関又はその他の既知の技術を用いた画像処理ならびにパターン認識及びパターンマッチングのルーチンを利用する。
ｇ）ｅ）とｆ）を結合した最終的な解剖学的構造（例えば骨）の見当合わせ行列を計算する。

上述の工程は、いくつかの異なる変形形態を使用して、修正又は機能強化することができる。上記で概説したステップのいくつかの変形形態としては、例えば、（ａ）骨の見当合わせにピコ・プロジェクタを使用することは上記のステップと同様であるが、必要に応じて、ステップｄ）を最適化するために、異なる波長のフィルタを使用する、あるいは（ｂ）骨の見当合わせにピコ・プロジェクタを使用することは上記のステップと同様であるが、必要に応じて、ｃ）の３Ｄ走査工程を最適化するために、ａ）で得られた既知の解剖学的形状を使用することを含む、といったことが挙げられるが、これらに限定されるわけではない。

基準フレームを用いないＯＴＴトラッキング
この代替の実施形態では、ＯＴＴシステムは、ＯＴＴによる、基準フレームを用いない３Ｄトラッキングを実行するように適応及び構成される。１つの態様では、プロジェクタ（例えば、単色又は多色、赤外線など）を用いて、既知の幾何学的形状（例えば骨）の上に既知のパターン（例えば（１つ又は複数の）点、（１つ又は複数の）線、（１つ又は複数の）グリッドなど）を投影し、反射光に画像認識及びコンピュータ・ビジョン・アルゴリズムを適用して、３Ｄの（例えばＯＴＴの内部の原点及び座標系に対する）関心物体（例えば骨）の位置及び配向をトラッキングするステップがある。これは、ナビゲーションのために投影グリッドを使用する一形態と見なすことができる。このようなフリーハンド外科手術ナビゲーション技術を実施する１つの方方は、例えば、以下を含む（ただしこれらに限定されない）。
ａ）通常は手術前計画中に解剖学的構造（例えば骨）の３Ｄモデルを取得する。例えば、画像に基づくセットアップでは、これは、患者のコンピュータ・トモグラフィ（ＣＴ）デ
ータ又は上述のその他の方法による３Ｄ再構築として行うことができる。
ｂ）プロジェクタ（例えば、単色又は多色、赤外線など）を用いて、現実の患者の解剖学的構造（例えば骨）の上に既知のパターン（例えば（１つ又は複数の）点、（１つ又は複数の）線、（１つ又は複数の）グリッドなど）を動的に投影する。
ｃ）解剖学的構造（例えば骨）に投影された画像に画像認識及びコンピュータ・ビジョン・アルゴリズム（ならびに２に示す技術）を適用して、空間内のその位置及び配向を計算する。

上述の工程は、いくつかの異なる変形形態を使用して、修正又は機能強化することができる。上記で概説したステップのいくつかの変形形態としては、例えば、（ａ）３Ｄトラッキング、及び切開や穿孔などの間のユーザを誘導するための情報の表示の両方にＯＴＴのプロジェクタを使用し、システムは、２組の画像に異なる色方式を使用して、画像処理を妨害しないようにするとともに、投影された誘導をユーザが解釈することも妨害しないようにする、（ｂ）赤外光を発出してパターンのトラッキングに使用して、可視光で投影される誘導をユーザが解釈するのを妨害しないようにする、（ｃ）グリッドから誘導へのＯＴＴの切替えを高速にして立体視効果を生じるが、２つの工程（物体のトラッキング及びユーザの誘導）が互いに干渉し合うことは依然として防止する、などが挙げられるが、これらに限定されるわけではない。

複数の基準フレーム
特定の外科手術のケースでは、骨の基準フレームの場所が１箇所では、カメラを備えた器具が切開に必要なあらゆる場所から基準フレームを「見る」ことができないこともある。そのような場合には、「結合」基準フレーム（多面）を使用することができる。すなわち、１回の見当合わせ工程（それらの面のうちのいずれかを用いる）で、システムは、以降、そのときに見える面がどの面であるかに関わらず、物体をトラッキングすることができる。

しかしながら、指示器サブシステムの任意の要素は、コンピュータ支援外科手術の任意の手法に容易に使用することができ、コンピュータ支援外科手術システムは、ツールの場所を３次元で確立し、かつ外科手術計画に従って、外科医がどこで切除を行うつもりであるかを計算する。１つの代替の態様では、本明細書に記載する方法、システム、及び処置は、全ての目的のためにその全体を本願明細書に援用する、２００７年６月１８日に出願され、米国特許第２００８／０００９６９７号として広告された、「コンピュータ支援外科手術のための方法及び装置（ＭｅｔｈｏｄａｎｄＡｐｐａｒａｔｕｓｆｏｒＣｏｍｐｕｔｅｒＡｉｄｅｄＳｕｒｇｅｒｙ）」と題する米国非仮特許出願第１１／７６４５０５号に記載される技術、デバイス、又は方法のうちの１つ又は複数を組み込むように修正される。

当業者なら、本発明の広範な発明性を有する概念を逸脱することなく、上述の実施形態に様々な変更又は修正を加えることができることを認識するであろう。したがって、本発明は、本明細書に記載した具体的な実施形態に限定されるものではなく、特許請求の範囲に記載する本発明の範囲及び趣旨に含まれる全ての変更及び修正を含むように意図されていることを理解されたい。

Claims

コンピュータ支援外科的処置において外科手術ツールとともに使用される、ツール上に搭載した追跡及び誘導デバイスであって、
エンクロージャを規定し、前記外科手術ツールの一部分と解除可能に係合するための表面を有する筐体と、
前記エンクロージャ内にある第１のカメラ及び第２のカメラであって、前記外科手術ツールが前記筐体に係合されているとき、前記外科手術ツールを用いるコンピュータ支援外科的処置のために選択された術野の実質的に全てを見るために選択された画像出力を前記第１のカメラ及び前記第２のカメラのそれぞれが提供するような配列になっている第１のカメラ及び第２のカメラと、
前記エンクロージャ内にあり且つ離間した関係にある少なくとも２つのセンサであって、前記外科手術ツールが前記筐体に係合されているとき、前記外科手術ツールに関連するロール、ピッチ、ヨー、または配向のうちの１つ又は複数の情報についての指示を提供するように構成されている、少なくとも２つのセンサと、
前記エンクロージャ内にあるプロジェクタであって、少なくとも部分的には前記術野内で出力を提供するように構成されたプロジェクタと、
前記第１のカメラ及び前記第２のカメラのそれぞれから出力を受信し、前記コンピュータ支援外科的処置で使用するために前記第１のカメラ及び前記第２のカメラのそれぞれからの前記出力の少なくとも一部分を使用して画像処理動作を実行するように構成された、前記エンクロージャ内にある電子画像プロセッサと、からなる、ツール上に搭載した追跡及び誘導デバイス。
前記筐体内にある、又は前記筐体に結合された第３のカメラ及び第４のカメラをさらに備える、請求項１に記載のツール上に搭載した追跡及び誘導デバイス。
前記少なくとも２つのセンサが、傾斜計、ジャイロスコープ、２軸ジャイロスコープ、３軸ジャイロスコープ又はその他の多軸ジャイロスコープ、１軸、２軸、３軸、又は多軸の加速度計、電位差計、及びＭＥＭＳ計器からなる一群から選択される、請求項１又は２に記載のツール上に搭載した追跡及び誘導デバイス。
前記筐体内にある、又は前記筐体に結合された第５のカメラ及び第６のカメラをさらに備える、請求項２又は３に記載のツール上に搭載した追跡及び誘導デバイス。
前記術野は前記外科手術ツールのアクティブ要素をさらに備え、前記アクティブ要素は、のこぎりの刃、バー、又はドリルである、請求項１〜４のいずれか１項に記載のツール上に搭載した追跡及び誘導デバイス。
前記プロジェクタが、ピコ・プロジェクタである、請求項１〜５のいずれか１項に記載のツール上に搭載した追跡及び誘導デバイス。
前記プロジェクタからの前記出力が、患者の解剖学的構造の一部分の上、前記術野の表面の上、又は前記術野の表面内に投影されるように適応される、請求項１〜６のいずれか１項に記載のツール上に搭載した追跡及び誘導デバイス。
前記解剖学的構造の前記一部分が、骨である、請求項７に記載のツール上に搭載した追跡及び誘導デバイス。
前記適応された出力が、骨の湾曲、粗さ、又は状態に合わせて調節される、請求項７に記載のツール上に搭載した追跡及び誘導デバイス。
前記筐体と無線通信する、又は前記筐体の外側に位置する、別の電子画像プロセッサをさらに備える、請求項１〜９のいずれか１項に記載のツール上に搭載した追跡及び誘導デバイス。
前記コンピュータ支援外科的処置が、フリーハンド・ナビゲート・コンピュータ支援外科的処置である、請求項１〜１０のいずれか１項に記載のツール上に搭載した追跡及び誘導デバイス。
前記筐体上のディスプレイをさらに備える、請求項１〜１１のいずれか１項に記載のデバイス。
前記画像処理動作に関連する情報を前記筐体とは分離した構成要素に提供するように構成された、前記筐体内の通信要素をさらに備える、請求項１〜１２のいずれか１項に記載のデバイス。
前記通信要素が、前記筐体とは分離している前記構成要素に、また前記構成要素から、情報を無線で提供する、請求項１３に記載のデバイス。
前記通信要素が、有線接続を介して、前記筐体とは分離した前記構成要素に情報を提供する、請求項１３に記載のデバイス。
解除可能に係合するための前記表面は、ループであり、前記外科手術ツールの前記一部分は、前記外科手術ツールの外部筐体の後部である、請求項１〜１５のいずれか１項に記載のデバイス。
解除可能に係合するための前記表面は、前記筐体の底部に沿った長尺部材であり、前記外科手術ツールの前記一部分は、前記外科手術ツールの外部筐体の上部である、請求項１〜１５のいずれか１項に記載のデバイス。
解除可能に係合するための前記表面は、前記筐体の底部および側面に沿った長尺部材であり、前記外科手術ツールの前記一部分は、前記外科手術ツールの外部筐体の上部および側部である、請求項１〜１５のいずれか１項に記載のデバイス。