JP7134872B2 - ロボット外科処置中に物理的オブジェクトの識別と追跡を行うシステムおよび方法 - Google Patents

Description

関連出願
本出願は２０１６年５月２３日に出願した米国特許仮出願第６２／３４０１７６号の優先権の利益を主張するものであり、そのすべての開示内容は引用することによって本明細書の一部をなすものとする。

本発明は、一般に、ロボット外科処置中に物理的オブジェクトの識別と追跡を行うシステムおよび方法に関する。

ナビゲーションシステムは、ユーザがオブジェクト（対象物）の位置を正確に特定することを支援するものである。例えば、ナビゲーションシステムは、工業用途や、航空宇宙用途、医療用途で使用されている。医療分野においては、ナビゲーションシステムは、外科医が患者の標的部位に対して外科器具を正確に配置するのを支援する。通常、標的部位は、組織除去などの何らかの形の治療を必要としている部位である。従来のナビゲーションシステムでは、複数のトラッカと協働するローカライザを使用して、例えば除去すべき骨の体積などの、外科器具や標的部位に関連する位置データ、向きデータまたはその両方のデータが提供されている。通常、ローカライザは、トラッカを視野に収めるように配置される。各トラッカは、外科器具や患者と一緒に動くように外科器具や患者に対して固定される。患者に取り付けられるトラッカの多くは、治療中の骨に対して取り付けられるが、骨が硬質であるため、標的部位に対するトラッカの固定的な関係が維持される。そして、外科器具と患者に対してそれぞれ別個のトラッカを使用することによって、外科器具の治療端を標的部位に正確に配置することが可能となる。

標的部位の近くには、開創器などの、外科手術中に避けるべき物理的オブジェクト（physical object）が配置される場合が多い。こうした開創器などの物理的オブジェクトは、例えば、トラッカを別途用いることによって、外科器具と同じ方法で追跡することもできるが、開創器などの物理的オブジェクト用にトラッカを追加すれば、特に、ローカライザの追跡対象のオブジェクトの数が増えてしまうなどのため、ナビゲーションシステムのコストや複雑性の大幅な増大につながりかねない。さらに、こうした物理的オブジェクトは通常、器具や患者に関連付けられたトラッカに対して動くことができるため、上述のようなトラッカを基準に、これらの追加の物理的オブジェクトを追跡するのは容易ではない。この点に関してこれまで、ローカライザに取り付けるなどの方法でローカライザに対して固定されたビデオカメラで取り込んだ画像に対して、オブジェクト認識技術を適用することによって、これら追加の物理的オブジェクトを追跡することが提案されている。しかしながら、この手法は、計算量が多く、難しい可能性がある。

ロボット外科手術中、特にロボット装置の自律動作中においては、ナビゲーションシステムが標的部位の近くにあるすべての物理的オブジェクトの位置を識別できていなければ、これらの物理的オブジェクトを避けることは難しい。従って、現在、ロボット装置は、そのような物理的オブジェクトとの衝突がないかを監視し、衝突時には、例えば衝突を示すフォーストルクセンサからのフィードバックに依拠して停止するように制御されている。しかしながら、この場合、衝突が発生して初めてロボット装置が停止されるため望ましくない。衝突の結果、ツールが損傷してしまうか、あるいは例えば、回転バーまたは鋸が開創器に当たるなどの衝突によって、破片が生じて患者を危険にさらしてしまう可能性もある。また、物理的オブジェクトとの衝突によって、外科処置が長引く可能性もある。外科処置の長時間化は、患者の全身麻酔時間の延長につながる可能性があり、あるいは他の形で外科処置に伴うリスクを増大させる可能性もある。

従って、本技術分野においては、ロボット外科手術中の物理的オブジェクトの識別と追跡に対処するシステムおよび方法が必要とされている。

一実施形態では、外科処置中に、標的部位の近くにある物理的オブジェクトを追跡するためのナビゲーションシステムが提供される。ナビゲーションシステムは、ロボット装置と、ロボット装置に取り付け可能な器具とを備えている。ロボット装置または器具のうちいずれか一方には、ロボット装置と共に動かすことができるようにビジョン装置が取り付けられている。ビジョン装置は、複数のビジョンデータセットを生成するように構成されている。ビジョンデータセットは、ロボット装置を動かした場合にビジョン装置が複数の自由度で動かされることによって可能となる複数の視点から物理的オブジェクトを取り込んだものである。コンピュータシステムは、ビジョン装置と通信を行う。コンピュータシステムは、ビジョンデータセットにおいて識別可能な物理的オブジェクトの１つ以上の特徴に基づいて、物理的オブジェクトに、仮想オブジェクトを関連付けるように構成されている少なくとも１つのプロセッサを有している。仮想オブジェクトは、器具の仮想境界を少なくとも部分的に規定する。

他の実施形態では、物理的オブジェクトを追跡する方法が提供される。本方法は、ロボット装置の動きの結果得られるビジョン装置の動きに応じて、複数のビジョンデータセットを生成するステップを含む。ビジョン装置の動きの結果、複数の視点から物理的オブジェクトのビジョンデータセットが取り込まれる。また、本方法は、ビジョンデータセットにおいて識別可能な物理的オブジェクトの１つ以上の特徴に基づいて、物理的オブジェクトに仮想オブジェクトを関連付けるステップをさらに含む。仮想オブジェクトは、器具の仮想境界を規定する。

上述のシステムおよび方法によって、いくつかの利点が得られる。例えば、１つ以上の特徴を有する物理的オブジェクトに対してビジョン装置を動かすことにより、コンピュータシステムは、物理的オブジェクトの識別および位置特定を行うと共に、物理的オブジェクトに対する器具の相対的な動きを追跡することが可能となる。物理的オブジェクトの位置推定には、ビジョン装置によって取得する１つのビジョンデータセット（例えば、１つの画像）で十分である場合があるかもしれないが、その場合には、それ以降の複数のビジョンデータセットは追跡結果の向上に用いることができる。これは、外科処置時に器具を使って標的部位を治療している間、物理的オブジェクトを避けるのに役立つ場合がある。さらに、可動性のあるロボット装置または器具にビジョン装置を取り付けることによって、例えば、異なる複数の視点からの複数のビデオのコマのような、異なる複数の視点から物理的オブジェクトの複数のビジョンデータセットを取得する手法を活用した低コストのビジョン装置を利用することができる。そしてこれにより、高コストのトラッカを別途設ける必要なしに、これらの物理的オブジェクトの追跡が可能となる。

本発明の利点は、以下の詳細な説明を添付の図面と関連させて考察することにより、よりよく理解され、容易に理解されるであろう。

ロボット装置と、ローカライザと、ビジョン装置とを備えるロボット外科手術システムを示す斜視図である。 ロボット外科手術システムを制御するための制御システムを示す模式図である。 ロボット外科手術システムで使用される複数の座標系を示す斜視図である。 ビジョン装置によって視認される物理的オブジェクトと共に外科手術部位を示す説明図である。 物理的オブジェクト上の特徴の一例を示す図である。 物理的オブジェクト上の特徴の他の例を示す図である。 符号化された特徴を含む、特徴群の一例を示す図である。 符号化された特徴を含む、特徴セットの一例を示す図である。 物理的オブジェクトに関連付けられた仮想オブジェクトを示す説明図である。 本発明の方法によって実行されるステップのフローチャートである。

図１には、患者２２を治療するためのシステム２０が示されている。図１では、システム２０が、医療施設の手術室などの外科環境にある状態を示している。図示の実施形態において、システム２０は、機械加工ステーション２４と、案内ステーション２６とを備えている。案内ステーション２６は、手術室内の様々なオブジェクト（対象物）の動きを追跡するように設定されている。そのようなオブジェクトとしては、例えば、外科器具３０や、患者の大腿骨Ｆ、患者の脛骨Ｔなどが挙げられる。案内ステーション２６は、それらの相対的な位置および向きをユーザに表示する目的のため、そして場合によっては、大腿骨標的部位ＴＳなどの標的部位に対する外科器具３０の動きを制御または制限する目的のために、これらのオブジェクトを追跡する。図１では、外科器具３０を機械加工ステーション２４の一部として示している。

案内ステーション２６は、ナビゲーションコンピュータ３４を収容するナビゲーションカートアセンブリ３２を備えている。ナビゲーションインターフェースは、ナビゲーションコンピュータ３４と動作可能に通信を行う。ナビゲーションインターフェースは、滅菌環境の外に設置するように適合された第１のディスプレイ３６と、滅菌環境の中に設置するように適合された第２のディスプレイ３８とを備えている。ディスプレイ３６，３８は、ナビゲーションカートアセンブリ３２に調整可能に取り付けられている。キーボードやマウスなどの第１の入力装置４０や第２の入力装置４２を使用して、ナビゲーションコンピュータ３４に情報を入力するか、あるいは、ナビゲーションコンピュータ３４の何らかの特性に対して他の選択や制御を行うことができる。なお、入力装置としては、タッチスクリーン（図示せず）や音声駆動などの他の入力装置も考えられる。

ローカライザ４４は、ナビゲーションコンピュータ３４と通信を行う。図示の実施形態では、ローカライザ４４は光学ローカライザであり、ローカライザカメラユニット４６を備えている。ローカライザカメラユニット４６は、１つ以上の光学位置センサ５０を収容する外部ケーシング４８を有している。いくつかの実施形態では、少なくとも２つの光学センサ５０が使用され、好ましくは、３つまたはそれ以上の光学センサ５０が使用される。光学センサ５０は、３つの別体の電荷結合素子（ＣＣＤ）であってもよい。一実施形態では、３つの１次元ＣＣＤが使用される。なお、他の実施形態では、それぞれが１つまたは２つ以上の別体のＣＣＤを有する、複数の別体のローカライザカメラユニットを、手術室内の各所に配置することもできることを理解されたい。ＣＣＤによって赤外線信号が検出される。さらに、ローカライザ４４が異なるモダリティを採用していてもよく、電磁ローカライザや、ＲＦローカライザ、超音波ローカライザ、あるいはオブジェクトの追跡が可能な他の従来のローカライザであってもよい。

ローカライザカメラユニット４６は調整可能なアームに取り付けられ、後述するトラッカを光学センサ５０の（理想的には障害物がない）視野に収められるように光学センサ５０が位置決めされる。いくつかの実施形態では、ローカライザカメラユニット４６は、回転関節を中心に回転することによって、少なくとも１つの自由度で調整可能とされている。他の実施形態では、ローカライザカメラユニット４６は、約２つ以上の自由度で調整可能とされている。

ローカライザカメラユニット４６は、光学センサ５０と通信して光学センサ５０から信号を受信するローカライザカメラコントローラ５２を備えている。ローカライザカメラコントローラ５２は、有線接続または無線接続（図示せず）のいずれかを介してナビゲーションコンピュータ３４と通信を行う。そのような接続の１つとして、高速通信およびアイソクロナスリアルタイムデータ転送用のシリアルバスインターフェース規格であるＩＥＥＥ１３９４インターフェースを挙げることができる。接続には、企業独自のプロトコルを使用することもできる。他の実施形態では、光学センサ５０は、ナビゲーションコンピュータ３４と直接通信を行う。

オブジェクトを追跡する目的のため、位置や向きの信号、データ、あるいはその両方が、ナビゲーションコンピュータ３４に送信される。ナビゲーションカートアセンブリ３２、ディスプレイ３６，３８、およびローカライザカメラユニット４６は、２０１０年５月２５日に「Surgery System（外科手術システム）」の名称で発行されているMalackowski他による米国特許第７７２５１６２号明細書に記載されているものと同様のものであってもよい。なお、同文献は、引用することによって本明細書の一部をなすものとする。

ナビゲーションコンピュータ３４は、いずれも本明細書に記載の機能を実行するために必要な、ディスプレイ３６，３８と、中央処理装置（ＣＰＵ）などのプロセッサ６２と、メモリ（図示せず）と、（内部または外部の）記憶装置（図示せず）とを有している。ナビゲーションコンピュータ３４には、以下に説明するようなソフトウェアがロードされる。このソフトウェアは、ローカライザカメラユニット４６から受信した信号を、ローカライザが追跡中のオブジェクトの位置および向きを表すローカライザデータに変換するものである。ナビゲーションコンピュータ３４は、（ローカルエリアネットワーク（ＬＡＮ）、インターネットなどの）コンピュータネットワークとの間で、有線通信または無線通信を行うことができる。また、ナビゲーションコンピュータ３４には、ユニバーサルシリアルバス（ＵＳＢ）インターフェースや、ＣＤ?ＲＯＭまたはＳＤカードなどのデータ担持媒体の読取装置などの１つ以上のデータインターフェースを設けることができる。そして、内部記憶装置、外部記憶装置、またはその両方を、撮像装置で撮影した患者画像の画像データを格納するように構成することができる。あるいは、これに代えてまたは加えて、そのような画像データを、コンピュータネットワークを介して（例えばダウンロードなどによって）受信することもできる。さらに、内部記憶装置、外部記憶装置、またはその両方を、本明細書に記載の様々な項目の較正データや情報を格納するように構成することもできる。このような較正データや情報によって、システム２０の事前知識が構成されるが、以下では、この較正データの様々な例についてより詳細に説明する。当然ながら、システム２０の事前知識は、これに代えてまたは加えて、他の情報項目を含むこともできる。

案内ステーション２６は、複数の追跡装置（本明細書では「トラッカ」とも呼ぶ）５４，５６，５８と協働して動作することができる。図示の実施形態では、１つのトラッカ５４が患者の大腿骨Ｆにしっかりと貼り付けられ、別のトラッカ５６が患者の脛骨Ｔにしっかりと貼り付けられている。すなわち、トラッカ５４，５６は、それぞれ骨の各部にしっかりと貼り付けられている。トラッカ５４，５６は、米国特許第７７２５１６２号明細書に示される方法で、大腿骨Ｆおよび脛骨Ｔに取り付けることができる。なお、同文献は、引用することによって本明細書の一部をなすものとする。また、トラッカ５４，５６を、２０１４年１月１６日に「Navigation Systems and Methods for Indicating and Reducing Line-of-Sight Errors（視線誤差を表示・低減するためのナビゲーションシステムおよび方法）」の名称で出願されている米国特許出願公開第２０１４／０２００６２１号明細書に示されているトラッカと同様に取り付けることもできる。同文献も、引用することによって本明細書の一部をなすものとする。さらに別の実施形態では、トラッカ５４，５６を他の生体構造に取り付けることもできる。

器具トラッカ５８は、外科器具３０にしっかりと取り付けられる。器具トラッカ５８は、製造時に外科器具３０に内蔵してもよく、あるいは外科処置の準備中に外科器具３０に別途取り付けてもよい。器具トラッカ５８が追跡する外科器具３０の治療端としては、回転バー（回転切削器）や電気アブレーションチップ、超音波チップ、矢状鋸刃などの治療エレメントが含まれ得る。

トラッカ５４，５６，５８は、内蔵電池で駆動することができるほか、ナビゲーションコンピュータ３４を介して給電を受けるリードを有することもできる。なお、ナビゲーションコンピュータ３４は、ローカライザカメラユニット４６と同様に、外部電力で給電されるのが好ましい。

図示の実施形態では、外科器具３０は、機械加工ステーション２４のマニピュレータ６６に取り付けられている。マニピュレータ６６は、ロボット装置またはロボットアームとも呼ばれるものである。そのような装置は、「Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple Modes（複数のモードで外科器具を制御可能な外科マニピュレータ）」の名称で発行されている米国特許第９１１９６５５号明細書に示されている。同文献の開示内容は、引用することによって本明細書の一部をなすものとする。外科器具３０は、医療処置や外科処置を行うのに有用な任意の外科器具（ツールとも呼ぶ）であり得る。外科器具３０は、切削器具、電気外科器具、超音波器具、リーマ、インパクタ、矢状鋸などの器具であってもよい。いくつかの実施形態では、複数の外科器具を使用して患者の治療が行われ、それぞれがローカライザ４４によって個別に追跡される。

トラッカ５４，５６，５８からの光信号は、ローカライザ４４の光学センサ５０によって受信される。図示の実施形態では、トラッカ５４，５６，５８は能動トラッカである。この実施形態では、各トラッカ５４，５６，５８は、光学センサ５０に光信号を送信する少なくとも３つの能動追跡素子（能動追跡マーカ）を有している。例えば、能動マーカは、赤外線などの光を送信する発光ダイオード（ＬＥＤ）６０であってもよい。光学センサ５０は、好ましくは１００Ｈｚ以上、より好ましくは３００Ｈｚ以上、最も好ましくは５００Ｈｚ以上のサンプリングレートを有する。いくつかの実施形態では、光学センサ５０は、８０００Ｈｚのサンプリングレートを有する。サンプリングレートは、ＬＥＤ６０から順次発信される光信号を光学センサ５０が受信する速度である。いくつかの実施形態では、ＬＥＤ６０からの光信号は、各トラッカ５４，５６，５８に対して異なる速度で発信される。

ここで図２を参照して、各ＬＥＤ６０はトラッカコントローラ６１に接続されている。トラッカコントローラ６１は、対応するトラッカ５４，５６，５８のハウジングに配置されて、ナビゲーションコンピュータ３４との間でデータを送受信するものである。一実施形態では、トラッカコントローラ６１は、ナビゲーションコンピュータ３４との有線接続を介して数メガバイト／秒程度でデータを送信する。他の実施形態では、無線接続を用いることもできる。これらの実施形態では、ナビゲーションコンピュータ３４は、トラッカコントローラ６１からのデータを受信する送受信機（図示せず）を有している。

他の実施形態では、トラッカ５４，５６，５８は、ローカライザカメラユニット４６からの光を反射する反射器などの受動マーカ（図示せず）を有していてもよい。反射された光は、光学センサ５０によって受信される。なお、能動構成あるいは受動構成については、当該技術分野において公知である。

いくつかの実施形態では、２０１５年４月１４日に「Navigation System Including Optical and Non-Optical Sensors（光学センサと非光学センサとを備えるナビゲーションシステム）」の名称で発行されているWuによる米国特許第９００８７５７号明細書に示されているトラッカなどのように、トラッカ５４，５６，５８は、ジャイロセンサと加速度センサとをさらに備えている。なお、同文献は、引用することによって本明細書の一部をなすものとする。

ナビゲーションコンピュータ３４は、ナビゲーションプロセッサ６２を備えている。ナビゲーションプロセッサ６２は、ナビゲーションコンピュータ３４の動作を制御するための１つ以上のプロセッサを備え得ることを理解されたい。これらのプロセッサは、任意の種類のマイクロプロセッサまたはマルチプロセッサシステムであってもよい。いずれの実施形態においても、「プロセッサ」という用語によって、実施形態の範囲を１つのプロセッサに限定することは意図していない。

ローカライザカメラユニット４６は、トラッカ５４，５６，５８のＬＥＤ６０から光学信号を受信し、ローカライザ４４に対するトラッカ５４，５６，５８のＬＥＤ６０の位置に関する信号をナビゲーションプロセッサ６２に出力する。受信した光学信号（いくつかの実施形態では、これに加えて非光学信号）に基づいて、ナビゲーションプロセッサ６２は、三角測量法などの公知の手法によって、ローカライザ４４に対するトラッカ５４，５６，５８の相対的な位置および向きを示すデータを生成する。いくつかの実施形態では、このデータは、ローカライザカメラコントローラ５２によって生成され、ナビゲーションコンピュータ３４に送信される。

外科処置が開始される前に、ナビゲーションプロセッサ６２には、追加のデータがロードされる。ナビゲーションプロセッサ６２は、トラッカ５４，５６，５８の位置および向きと、事前にロードされたデータとに基づいて、大腿骨標的部位ＴＳなどの、外科器具３０の治療端を当てるべき標的部位に対する治療端の位置（例えば、外科バーの重心など）や、外科器具３０の向きを決定する。いくつかの実施形態では、ナビゲーションプロセッサ６２がこれらのデータをマニピュレータコントローラ６４に転送する。これに対し、マニピュレータコントローラ６４は、これらのデータを使用して、「Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple Modes（複数のモードで外科器具を制御可能な外科マニピュレータ）」の名称で発行されている米国特許第９１１９６５５号明細書に記載されているように、マニピュレータ６６を制御することができる。なお、同文献の開示内容は、引用することによって本明細書の一部をなすものとする。一実施形態では、マニピュレータ６６は、外科医が設定した仮想境界内に留まるように制御される。本明細書に記載の実施形態では、そのような仮想境界の１つによって、外科器具３０で除去すべき大腿骨Ｆの物質の体積が規定されている。つまり、仮想境界とは、外科器具３０の治療端がその内部に留まるべき境界のことである。マニピュレータ６６は、「Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple Modes（複数のモードで外科器具を制御可能な外科マニピュレータ）」の名称で発行されている米国特許第９１１９６５５号明細書に記載されているように、ユーザが器具３０を掴んで操作することによって器具３０を動かす手動操作モードで動作するように制御することも、あるいは自律的に動作するように制御することもできる。なお、同文献の開示内容は、引用することによって本明細書の一部をなすものとする。

ナビゲーションプロセッサ６２はまた、治療端の標的部位に対する相対位置を示す画像信号を生成する。これらの画像信号は、ディスプレイ３６，３８に印加される。これらの信号に基づいてディスプレイ３６，３８は、外科医やスタッフが、治療端の標的部位に対する相対位置を仮想的に見ることを可能にする複数の画像を生成する。多くの場合、ある時点における１つの標的部位に対する治療端の位置が、これら複数の画像で示される。例えば、大腿骨Ｆと脛骨Ｔの両方を治療する外科処置の場合、大腿骨Ｆからの物質除去を行っている間は、大腿骨標的部位ＴＳと、大腿骨標的部位ＴＳに対する外科器具３０の治療端の相対位置とを視覚的に示すことができる。同様に、ユーザが大腿骨Ｆからの物質の除去を終えて、脛骨Ｔからの物質除去ができる状態になると、ディスプレイ３６，３８は、外科器具３０の治療端の、脛骨Ｔに関連する標的部位に対する位置のみを示すことができる。

ここで図３を参照して、オブジェクトの追跡は、主に、ローカライザ座標系ＬＣＬＺを参照して行われる。ローカライザ座標系ＬＣＬＺは、原点と向き（ｘ軸、ｙ軸、ｚ軸の組）とを有している。処置中の目標の１つに、ローカライザ座標系ＬＣＬＺを既知の位置に保つことが挙げられる。ローカライザカメラユニット４６に取り付けた加速度センサ（図示せず）を使用して、外科手術の担当者が不注意でローカライザカメラユニット４６にぶつかってしまった場合に起こり得るような、ローカライザ座標系ＬＣＬＺの突発的な動きや予想外の動きを追跡することができる。

ローカライザ座標系ＬＣＬＺとは別に、トラッカ５４，５６，５８および追跡対象のオブジェクトもまた、それぞれ固有の座標系を有する。例えば、トラッカ５４，５６，５８は、それぞれ、骨トラッカ座標系ＢＴＲＫ１、骨トラッカ座標系ＢＴＲＫ２、および器具トラッカ座標系ＴＬＴＲを有している。

図示の実施形態では、案内ステーション２６は、骨にしっかりと取り付けられた骨トラッカ５４，５６の位置を監視することによって、患者の大腿骨Ｆと脛骨Ｔの位置を監視する。大腿骨の座標系はＦＢＯＮＥ、脛骨の座標系はＴＢＯＮＥであり、それぞれ、骨トラッカ５４，５６がしっかりと取り付けられている骨の座標系である。

外科器具３０による治療の対象である標的部位は、仮想オブジェクトによって定義される。図示の実施形態では、大腿骨標的部位ＴＳが大腿骨Ｆに関連付けられている。もちろん、脛骨Ｔの標的部位などの他のいくつかの標的部位も可能であり、それぞれの標的部位が、各標的部位に固有の別個の仮想オブジェクトによって定義される。標的部位を表す仮想オブジェクトは、治療対象の物質の体積や、外科器具３０の軌道、外科器具３０で切断する平面、穿孔する穴などを定義するように、ユーザが術前に設定することができる。図示の実施形態では、仮想オブジェクトＶＢ（図９参照）は、大腿骨Ｆから除去すべき物質の体積を定義する。場合によっては、仮想オブジェクトは、術中すなわち外科処置の最中に設定されたり、再設定されたりする。なお、以下では、整形外科処置に関連して説明を行っているが、本明細書に記載のシステムおよび方法は、任意の種類の外科処置にも同様に適していることを理解されたい。

処置が開始される前に、大腿骨Ｆと脛骨Ｔの（あるいは他の実施形態の場合、他の組織または構造の）術前画像などの、関心対象の生体構造の術前画像が生成される。これらの画像は、患者の生体構造のＭＲＩスキャン、放射線スキャン、またはコンピュータ断層撮影（ＣＴ）スキャンによるものであってもよい。これらの画像を使用して、大腿骨Ｆおよび脛骨Ｔの仮想モデル、外科器具３０による治療の対象となる他の生体構造の仮想モデル、あるいはそれらすべての仮想モデルなどの関心対象の生体構造の仮想モデルが構築される。また、ナビゲーションポインタなどの適切な装置を用いて、大腿骨Ｆや脛骨Ｔなどの治療対象の生体構造の表面上の点を取り込むなどの方法によって、このような仮想モデルを術中に生成することもできる。取り込んだ点をコンパイルし、点の間の隙間を埋めることによって、仮想モデルを生成する。また、このような点の集合体を標準骨モデルと複合することにより、標準骨モデルを関心対象の生体構造により適合するように変形することもできる。

多くの場合、仮想モデルは、治療中の生体構造の全体あるいは治療対象の生体構造の少なくとも一部を表すデータと、標的部位を定義する仮想オブジェクトを表すデータとを含む３Ｄモデルである。図示の実施形態では、大腿骨の仮想モデルＶＭは、大腿骨Ｆの一部と仮想オブジェクトＶＢとを表すモデルデータを含む３Ｄモデルである（図９参照）。仮想オブジェクトＶＢは、標的部位ＴＳと、外科処置中に大腿骨Ｆから除去すべき物質の体積とを定義している。仮想オブジェクトは、仮想モデル内で定義することができ、メッシュ面や、ＣＳＧ（constructive solid geometry）モデル、ボクセルで表現できるほか、他の仮想オブジェクト表現技術を用いて表現することもできる。

術前画像、仮想モデル、あるいはそのすべては、当技術分野において公知の方法を用いて、大腿骨座標系ＦＢＯＮＥと脛骨座標系ＴＢＯＮＥとにマッピングされる。これらの術前画像、仮想モデル、あるいはそのすべては、大腿骨座標系ＦＢＯＮＥと脛骨座標系ＴＢＯＮＥに対して固定される。術前画像を撮る代わりに、運動学的な検討や骨の追跡などの方法によって手術室で治療計画を立案することもできる。また、同様の方法を用いて上述の３Ｄ仮想モデルを生成することもできる。

本明細書に記載の処置においては、その初期段階において、骨トラッカ５４，５６が患者の骨にしっかりと貼り付けられる。座標系ＦＢＯＮＥと座標系ＴＢＯＮＥの姿勢（位置および向き）は、それぞれ座標系ＢＴＲＫ１と座標系ＢＴＲＫ２とにマッピングされる。一実施形態では、固有のトラッカＰＴ（図１参照）を有する、引用することによって本明細書の一部をなすMalackowski他による米国特許第７７２５１６２号明細書に開示されているようなポインタ器具Ｐ（図１参照）を使用して、大腿骨座標系ＦＢＯＮＥと脛骨座標系ＴＢＯＮＥとを、骨トラッカ座標系ＢＴＲＫ１，ＢＴＲＫ２にそれぞれ登録する。これらの骨とそのトラッカ５４，５６との間に固定的な関係を確立させると、大腿骨座標系ＦＢＯＮＥにおける大腿骨Ｆの位置および向きは骨トラッカ座標系ＢＴＲＫ１に、脛骨座標系ＴＢＯＮＥにおける脛骨Ｔの位置および向きは骨トラッカ座標系ＢＴＲＫ２にそれぞれ変換され、ローカライザカメラユニット４６は、トラッカ５４，５６を追跡することによって、大腿骨Ｆや脛骨Ｔを追跡することができる。姿勢を記述したこれらのデータは、マニピュレータコントローラ６４およびナビゲーションプロセッサ６２と一体のメモリに格納される。

外科器具３０の治療端（エネルギーアプリケータの遠位端とも呼ぶ）は、固有の座標系ＥＡＰＰを有している。例えば、座標系ＥＡＰＰの原点が、外科切削バーの重心を表していてもよい。処置が開始される前に、座標系ＥＡＰＰの姿勢は、器具トラッカ座標系ＴＬＴＲの姿勢に対して固定される。これにより、これらの座標系ＥＡＰＰ，ＴＬＴＲの互いに対して相対的な姿勢が特定される。これらの姿勢を記述したデータは、マニピュレータコントローラ６４およびナビゲーションプロセッサ６２と一体のメモリに格納される。

ここで図２を参照して、ローカライズエンジン１００は、ナビゲーションコンピュータ３４の一部とみなすことができるソフトウェアモジュールである。ローカライズエンジン１００のコンポーネントは、ナビゲーションプロセッサ６２上で実行される。ローカライズエンジン１００は、マニピュレータコントローラ６４、ナビゲーションプロセッサ６２、またはこれら両方の上で実行されてもよい。

ローカライズエンジン１００は、ローカライザカメラコントローラ５２からの光学ベースの信号と、いくつかの実施形態ではこれに加えて、トラッカコントローラ６１からの非光学ベースの信号とを入力として受信する。これらの信号に基づいて、ローカライズエンジン１００は、ローカライザ座標系ＬＣＬＺにおける骨トラッカ座標系ＢＴＲＫ１，ＢＴＲＫ２の姿勢を特定する。また、ローカライズエンジン１００は、器具トラッカ５８についても同様の信号を受信し、これらの信号に基づいて、ローカライザ座標系ＬＣＬＺにおける器具トラッカ座標系ＴＬＴＲの姿勢を特定する。

ローカライズエンジン１００は、トラッカ５４，５６，５８の姿勢を表す信号を座標変換器１０２に転送する。座標変換器１０２は、ナビゲーションプロセッサ６２上で動作するソフトウェアモジュールである。座標変換器１０２は、術前画像と骨トラッカ５４，５６の関係を定義したデータ、患者の各仮想モデルと骨トラッカ５４，５６の関係を定義したデータ、あるいはこれらの関係をすべて定義したデータを参照する。座標変換器１０２はまた、器具トラッカ５８に対する外科器具３０の治療端の姿勢を示すデータも格納する。仮想オブジェクトと各仮想モデルとが分かれている場合には、座標変換器１０２は仮想オブジェクトを定義するデータも参照する。

処置の最中、座標変換器１０２は、トラッカ５４，５６，５８のローカライザ４４に対する相対的な姿勢を示すデータを受信する。これらのデータと事前にロードされたデータとに基づいて、座標変換器１０２は、座標系ＥＡＰＰと骨座標系ＦＢＯＮＥ，ＴＢＯＮＥのローカライザ座標系ＬＣＬＺに対する相対的な位置および向きを示すデータを生成する。

その結果、座標変換器１０２は、外科器具３０の治療端を当てている標的部位に対する治療端の位置および向きを示すデータを生成する。これらのデータを表す画像信号は、ディスプレイ３６，３８に転送され、外科医およびスタッフがこの情報を見ることが可能となる。特定の実施形態では、これらのデータを表す他の信号をマニピュレータコントローラ６４に転送して、マニピュレータ６６を案内し、外科器具３０がそれに応じた動きをするようにすることができる。従って、このデータは、他の仮想オブジェクトに対する外科器具３０の治療端の相対的な仮想位置を示すものでもあり、例えば、仮想ツールオブジェクトＶＩなどの別個の仮想オブジェクトとしてモデリングすることもできる。

ここで図１を再び参照して、案内ステーション２６はビジョン装置７２をさらに備えている。図示の実施形態では、ビジョン装置は外科器具３０に取り付けられている。他の実施形態では、ビジョン装置７２をロボットアームに取り付けることができ、例えば、ロボットアームの遠位端に取り付けることもできる。ビジョン装置７２は、好ましくは、障害物がない視野に標的部位を収めるように配置される。ビジョン装置７２は、ナビゲーションコンピュータ３４と動作可能に通信を行うビジョンコントローラ７３（図２を参照）を有している。ビジョン装置７２は、撮像装置またはデジタル撮像装置とも呼ばれるものである。ビジョン装置７２は、外部ハウジング７６を有し、１つ以上の画像センサ７８（図２を参照）を支持するカメラ１６０を備えることができる。画像センサ７８は、ＣＭＯＳセンサなどの適切なセンサの形態をとることができる。

ナビゲーションコンピュータ３４は、ビジョンコントローラ７３と通信して、ビジョンコントローラ７３からカメラ１６０のビジョンデータセットを受信する。ビジョンデータセットは、ビジョン座標系ＶＩＳ（図３を参照）上に配置される。ビジョンデータセットは、カメラ１６０の患者に対する動きに合わせてカメラ１６０が取り込んだ、ビジョン座標系ＶＩＳ内のデータ点の集合である。これらのデータ点は、ｘｙｚ座標によって定義され、ビジョンデータファイルとして保存（または格納）することができる。

図４に示すように、標的部位の近くには、大腿骨Ｆ、脛骨Ｔ、および外科器具３０以外に、複数の物理的オブジェクトが存在する。このような物理的オブジェクトは、開創器、洗浄吸引器、手術ガイド、切開部周りの皮膚などの種類の物理的オブジェクトを含み得る。本明細書に記載の実施形態では、ナビゲーションコンピュータ３４とマニピュレータコントローラ６４の少なくとも一方がこれらの物理的オブジェクトを識別、追跡して、これにより、システム２０が、外科器具３０や、大腿骨Ｆ、脛骨Ｔ、標的部位の近くにあるすべての物理的オブジェクトの相対位置を特定して、例えば、外科処置の間に外科器具３０が物理的オブジェクトを避けられるようにしている。他の実施形態では、物理的オブジェクトがツールガイドである場合などの特定の状況においては、外科器具３０が１つ以上の物理的オブジェクトと係合することができるように、物理的オブジェクトを識別、追跡することが望ましい場合もある。説明の便宜上、図示では、物理的オブジェクトを開創器１６２として示している。

図４を参照すると、各物理的オブジェクトは、特徴セット１７０を規定する複数の特徴を備えており、これにより、外科処置の間に、ナビゲーションコンピュータ３４とマニピュレータコントローラ６４の少なくとも一方が、カメラ１６０によって物理的オブジェクトを識別、追跡することができる。特徴セット１７０は、カメラ１６０で撮影したビジョンデータセットにおいて識別可能な複数の特徴を含んでいる。また、識別のため、ナビゲーションコンピュータ３４とマニピュレータコントローラ６４の少なくとも一方が、パターン認識機能を有している。システム２０は、検出対象の特徴の配置や符号化方式などの特性についての事前知識を有している。

これらの特徴の１つ以上を、（例えば、カメラ１６０によって検出される放射線の放射などの）能動マーキングとしてもよい。これに加えてまたは代えて、これらの特徴の１つ以上を受動マーキングとすることもできる。受動マーキングは反射性であってもよく、あるいは非反射性であってもよい。受動マーキングは、印字やシールなどを、（例えば、切開部の周りのまたは隣接する患者の皮膚や他の場所などの）物理的オブジェクトの任意の硬い（例えば平面状の）基材や柔らかい基材上に施すことによって実現することができる。また、物理的オブジェクト表面のコーティングや、物理的オブジェクトに作られている表面粗さによって、特徴を定義することもできる。一方、システム２０は、（例えば、較正情報の形などで）特徴に関する事前知識を有している。事前知識は、いくつかの異なる種類の物理的オブジェクトについての、特徴符号化方式や特徴間の相対的な位置のうちの１つ以上に関するものであってよい。また、事前知識として得られる特徴は、例えば、物理的オブジェクトの基材上に刻印や印字によって施された受動マーキングであってもよく、あるいは能動マーキングであってもよい。事前知識として得られる特徴として、切開部周りに印字シールなどの受動マーキングを施す場合には、切開口周りの皮膚などの組織を避けて器具３０を制御することができるように、この受動マーキングは、リング状に配置されるなど、切開口に関連付けられていると理解される適切な場所に配置されると理解してよい。

カメラ１６０は、各ビジョンデータセットが特徴セット１７０を構成する特徴の少なくとも一部を含むように、２方向以上の異なる視点からビジョンデータセットを取得するように構成されている。ここで、カメラ１６０の動きは、ビジョンデータセットの収集時におけるロボット装置と器具３０の少なくとも一方の患者に対する動きの結果として得られるものである。このような動きは、ロボット装置と器具３０の少なくとも一方の手動操作による場合もあれば、ロボット装置と器具３０の少なくとも一方の自律的な動きによる場合もある。例えば、カメラ１６０は、（例えば、ビデオの各コマのような）連続ビデオデータストリームの形でビジョンデータセットを提供可能なビデオカメラとして実現することができる。一変形例では、ロボット装置が自律的な動きをする間、ロボット装置が器具３０と一緒にカメラ１６０を動かすことができるように、カメラ１６０は器具３０に固く取り付けられる。他の変形例では、カメラ１６０は、ロボット装置と器具３０の少なくとも一方の手動操作によって器具３０と一緒に動かされるように、器具３０に固く取り付けられる。カメラ１６０を外科器具３０に取り付ける場合、カメラ１６０は、物理的オブジェクトと、外科器具３０が狙う患者の表面とを包含する視野を有する。例えば、外科器具３０の長手方向軸が患者に向けられている場合、カメラ１６０の視野は外科器具３０の長手方向軸に沿って延在することができる。

カメラ１６０を外科器具３０に一体化することによって、カメラ１６０のビジョン座標系ＶＩＳの器具トラッカ座標系ＴＬＴＲへの較正が容易になることを理解されたい。この較正は、例えば製造時に較正データを定めるなどの方法によって、製造時に行うことができるほか、従来の較正方法を用いて処置の開始前に行うこともできる。従って、ローカライザ座標系ＬＣＬＺに対するビジョン座標系ＶＩＳの姿勢は、外科器具３０に関連付けられた器具トラッカ５８を使用して、上述の変換方法により特定することができる。そしてこれにより、ビジョン座標系ＶＩＳのローカライザ座標系ＬＣＬＺへの変換やその逆方向の変換も行うことができる。姿勢を記述したこれらのデータは、マニピュレータコントローラ６４およびナビゲーションプロセッサ６２と一体のメモリに格納される。

カメラ１６０が、外科器具３０ではなくロボット装置に取り付けられる実施形態などの他の実施形態においては、カメラ１６０が、ハウジング７６に固く取り付けられたビジョン装置トラッカ（図示せず）を有していてもよく、これによりビジョン座標系ＶＩＳとローカライザ座標系ＬＣＬＺとの間に確固たる関係を構築することができる。例えば、座標変換器１０２に、ビジョン装置トラッカの座標系とビジョン座標系ＶＩＳとの間の関係を定義するデータを予めロードしておき、座標変換器１０２は、このデータを使用し、ローカライザ座標系ＬＣＬＺ内のビジョン装置トラッカの位置および向きに基づいて、ビジョン座標系ＶＩＳをローカライザ座標系ＬＣＬＺに変換することができる。あるいは、ジョイントエンコーダや、ロボット装置の基部に取り付けたロボット基部トラッカ（図示せず）などによって、ロボット装置の追跡をローカライザ座標系ＬＣＬＺにおいて別途行っている場合、（例えば、較正工程によって）カメラ１６０をロボット基部トラッカと関連付けることができる。この場合、カメラ１６０に別途トラッカを設ける必要性はなくなる。そして、ロボット装置の基部が動かず、ロボット基部トラッカが見えている限り、ローカライザ４４はカメラ１６０の位置および向きを決定することができる。

ナビゲーションコンピュータ３４は、カメラ１６０から受信したビジョンデータセットを外部または内部の記憶装置に格納するように構成され得る。上述したように、これらのビジョンデータセットはビデオデータストリームの形で受信することができ、ナビゲーションプロセッサ６２による処理に備えて少なくとも一時的に格納される。そのような処理として、例えば、受信したビジョンデータセットに含まれる１つ以上の特徴を（例えば、位置特定や復号などによって）識別するためのパターン認識を挙げることができる。

一実施形態では、ナビゲーションプロセッサ６２は、パターン認識技術を使用して、まずビジョンデータセットに含まれる複数の特徴を識別し、そしてビジョン座標系ＶＩＳにおける各特徴の座標を（例えば、キーポイント座標などの形で）特定する。ここで、較正データとしてカメラ１６０の投影モデルを格納しておき、この投影モデルを利用して、カメラ１６０が提供するビジョンデータセットにおいて識別された１つ以上の特徴に対するカメラ１６０の位置を特定することができる（例えば、米国特許出願公開第２００８／０２０８０４１号明細書を参照のこと。なお、同文献は、引用することによって本明細書の一部をなすものとする。）特定の投影モデルの基礎となる変換パラメータは、各カメラの製造業者、またはシステム２０の販売業者から提供され得る。また、変換パラメータは、現場に設置された較正治具で推定することができるほか、特定のカメラ機種向けに標準化されていてもよい。いくつかの実施態様では、適切なインターフェースを介してカメラ１６０自体によって（例えば、現在選択中のズームレベルに応じてリアルタイムで）変換パラメータが提供される場合もある。

また較正データとして、特徴セット１７０に関する情報も、例えばナビゲーションコンピュータ３４の内部記憶装置などに提供される。このような情報は、各特徴の相対位置や各特徴に適用された符号化方式を含み得る。各特徴の既知の相対位置と、カメラ１６０で撮影した（例えば、画像などの）ビジョンデータセットにおける（すなわち、ビジョンデータセットが関連付けられたビジョン座標系ＶＩＳにおける）各特徴の（投影像の）相対位置とに基づいて、当該ビジョン座標系ＶＩＳを、関心対象の物理的オブジェクトの物理的オブジェクト座標系ＰＯＣＳ（図３参照）などの、各特徴の座標が与えられる任意の参照系に変換する逆透視投影を行うことにより、さらなる変換の変換パラメータを（例えば、リアルタイムで）特定することができる。このような変換を、カメラ１６０の変換Ｔ１で示す。カメラ１６０の変換Ｔ１の変換パラメータは、各特徴ｊについて、それぞれ以下の方程式系を解くことによって求められる。
Ｍ_{ｊ，１６０}＝Ｔ２・Ｔ１^－１・Ｍ_{ｊ，ｃａｌ}

式中、Ｍ_{ｊ，１６０}は、カメラ１６０のビジョンデータセット（例えば、ビデオの１コマ）において撮像された特徴ｊであり、ビジョン座標系ＶＩＳに関連した座標を有している。Ｍ_{ｊ，ｃａｌ}は、較正データとして提供される特徴ｊの指標（例えば、キーポイント）であり、物理的オブジェクト座標系ＰＯＣＳに関連した座標を有している。そして、第２の変換Ｔ２は、カメラ１６０とそれに関連付けられたビジョン座標系ＶＩＳとの間の変換パラメータを指定するものである。

なお、上述の逆透視投影は、カメラ姿勢推定と呼ばれる場合があるほか、あるいはカメラ姿勢推定との関連で行われるものである。図４に示す実施形態では、個々の特徴は黒い点で記号化されている。また、複数の符号化された特徴（coded feature）を利用することもできる。各特徴は、固有のＱＲ方式の拡張符号を含む２次元の拡張部（extension）を有することができる（ＱＲ方式の拡張符号の場合、各特徴が重なっていても問題ない）。図５では、ある１つの拡張特徴（extended feature）１７０Ａが白いリング内にある状態を図示しており、この場合、リングの中心が特徴のキーポイントとなる。一般に、各拡張特徴によって、その特徴の位置（座標）を示す特定のキーポイントまたは中心を規定することができる。コンピュータ画像認識（computer vision）の分野において、特徴（feature）という用語は、キーポイントの周辺（すなわちの特徴の拡張部）を記述するものともみなされる。図６は、例示的なリング形状の拡張特徴についてのキーポイントの概念を模式的に示す図である。このキーポイントの概念を、図５に示す種類の特徴に対して、容易に拡大適用できることが理解されるであろう。また、代替的な実施形態では、個々の特徴を他の方法で規定したり、符号化したりすることもできることが理解されるであろう。例えば、図７において複数の特徴１７０Ｂで示すように、異なる数のダッシュを使ったり、あるいはダッシュとドットの異なる組み合わせを使ったりして、各リングをダッシュ表示することもできる。別の例として、色分けによって符号化した円またはドットを使用してもよい。特定の実施態様では、物理的オブジェクト上で平坦な面（すなわち平面）を成す狭い領域内にある個々の特徴をグループ化することもできる。個々の特徴の間の相対位置、ならびに（個々の特徴間の区別を可能にする）各特徴の符号化方式は、較正データとして格納しておくことができる。

本実施形態では、図８に示すように、物理的オブジェクトの２次元表面上に（いくつかの黒エリアといくつかの白エリアとの組み合わせの形で）設けられた特徴１７０Ｃによって、物理的オブジェクト座標系ＰＯＣＳが定義される。すなわち、これらの特徴１７０Ｃが、物理的オブジェクト座標系ＰＯＣＳ全体に広がっている。これは、カメラ１６０から受信したビジョンデータセットにおいて、物理的オブジェクトの表面上に定められた特徴（トラッカ特徴とも呼ぶ）の識別、復号が行われれば、直ちに、物理的オブジェクト座標系ＰＯＣＳと、この物理的オブジェクト座標系ＰＯＣＳ内のこれら特徴の座標とを一緒に特定できることを意味する。また、通常、システム２０は、物理的オブジェクトの上に設けられる各特徴の相対位置と符号化方式に関する事前知識も（較正データの形で）有することになる。

トラッカ特徴は、ナビゲーションコンピュータ３４とマニピュレータコントローラ６４の少なくとも一方が、各トラッカ特徴のパターン認識や各特徴に埋め込まれた符号化された情報の利用などによって、各特徴に基づいて物理的オブジェクトの識別あるいは物理的オブジェクトに関する情報の識別ができるように、一意に設定されるか、これに加えてまたは代えて符号化されている。そのような情報には、物理的オブジェクト識別情報、物理的オブジェクトの種類、物理的オブジェクトの大きさ、物理的オブジェクトの寸法、物理的オブジェクトのシリアル番号、および物理的オブジェクトの製造業者のうちの１つ以上が含まれ得る。

図９を参照すると、ある物理的オブジェクトが識別されると、ナビゲーションコンピュータ３４とマニピュレータコントローラ６４の少なくとも一方が、メモリ内の、例えば物理的オブジェクトデータベースなどから、この識別された物理的オブジェクトに関連付けられた仮想オブジェクト１６４を物理的オブジェクト座標系ＰＯＣＳ内に読み出すことができる。あるいは、物理的オブジェクト上の各特徴を、仮想オブジェクト識別情報、仮想オブジェクトの種類、仮想オブジェクトの大きさ、または仮想オブジェクトの寸法などの仮想オブジェクトに関する情報で符号化してもよい。例えば、ナビゲーションコンピュータ３４に格納した物理的オブジェクトデータベースを、いくつかの異なる製造業者が製造した、いくつかの異なる種類の、そしていくつかの異なる大きさと構成の複数の物理的オブジェクトで構成することができる。そして、各特徴に埋め込まれた符号化された情報によって、ナビゲーションコンピュータ３４は、ビジョンデータセット内に視認される物理的オブジェクトの各特徴に基づいて、この特定の物理的オブジェクトに関する具体的な細部を識別し、この物理的オブジェクトに関連付けられた特定の仮想オブジェクトを読み出すことが可能となる。従って、例えば、物理的オブジェクトがある特定のサイズの開創器であると識別された場合、これに関連付けられた仮想オブジェクトはそれと同程度のサイズであり得る。

物理的オブジェクト座標系ＰＯＣＳ内の特徴座標をビジョン座標系ＶＩＳに変換することにより、仮想オブジェクト１６４をビジョン座標系ＶＩＳに変換することもできる。また（図９に示すように）、仮想オブジェクト１６４をローカライザ座標系ＬＣＬＺにさらに変換して、外科器具３０の動きを、仮想オブジェクト１６４に対して追跡することもできる。この点に関して、仮想オブジェクト１６４は、特徴座標に対して事前に定義されている。例えば、開創器の場合、各開創器の特徴に応じて定められた関連モデルデータを有する複数の開創器の仮想オブジェクトが、３次元モデルとして製造時に事前に定義されており、これにより、物理的オブジェクト座標系ＰＯＣＳにおいて、対象の仮想オブジェクトの位置および向きを知ることができる。

代替的な実施形態では、ユーザがナビゲーションポインタまたは外科器具３０を使用して仮想オブジェクト１６４を定義することができ、この場合、外科器具３０の座標が既知であることから、物理的オブジェクトに対する仮想オブジェクト１６４の事前知識は不要となる。よってこの場合、ユーザは、ナビゲーションポインタを用いて輪郭線を描画するだけで、「進入禁止（no-fly）」ゾーンの、例えば点、線、体積、面積などを定義することができる。そして、こうしてトレースした（輪郭線を描画した）ゾーンによって、仮想オブジェクト１６４の追跡のために使用されている１つ以上の特徴に関連して、仮想オブジェクト１６４が構築される。

仮想オブジェクト１６４は、開創器１６２が占める空間などの、外科手術中に避けるべき立体領域や平面領域を定義することができる。図９に示すように、仮想オブジェクト１６４は、ローカライザ座標系ＬＣＬＺにおいて標的部位ＴＳの外部に定義されてもよい。また他の実施形態では、仮想オブジェクトの一部が標的部位ＴＳの外部に存在してもよい。仮想オブジェクト１６４は、ナビゲーションプロセッサ６２によって処理されて、ディスプレイ３６，３８上に表示され、ユーザに示される。これによりユーザは、標的部位ＴＳや、例えば開創器１６２などの仮想オブジェクト１６４に対する外科器具３０の位置および向きを視覚的に捉えることができる。場合によっては、仮想オブジェクト１６４は、３次元モデル、２次元の面、点群、ボクセル立体、メッシュ面、平面、線、単点のうちの１つ以上を含む。

なお、標的部位ＴＳの近くにある組織の中には弾力性や柔軟性を有するものがあり、そのような弾力性や柔軟性のため、外科処置の間に、開創器１６２などの物理的オブジェクトが標的部位ＴＳに対して動く可能性がある。これを受けて、システム２０は、ローカライザ座標系ＬＣＬＺなどの関心対象の座標系において、例えば開創器１６２に関連付けられた仮想オブジェクト１６４などの仮想オブジェクトについて特定した姿勢を、定期的に最新のものに更新する。このような仮想オブジェクトの姿勢の更新は、ローカライザが行う、トラッカ５４，５６，５８の姿勢の更新と同じ頻度で行われてもよく、マニピュレータコントローラ６４が行う、ツール経路に沿った外科器具の新たな指令位置の計算と同じ頻度で行われてもよく、あるいは、任意の他の適切な頻度で行われてもよい。場合によっては、一部の物理的オブジェクトの姿勢の更新を、他の物理的オブジェクトよりも遅くすることもできる。例えば、外科器具３０の位置把握がより重要である場合があるため、開創器１６２の位置の更新頻度を、標的部位ＴＳに対する外科器具３０の位置の更新頻度よりも低くすることもできる。

いくつかの実施形態では、仮想オブジェクトを、複数の物理的オブジェクトの位置に基づいて作成することもできる。例えば、２つ以上の開創器１６２の位置によって、仮想切開部１６８（図９を参照）を図示のように定義することができる。この場合の仮想切開部１６８は、開創器１６２が描く輪郭を境界とする仮想開口部となり得る。従って、開創器１６２に調整が加えられる度に、仮想切開部１６８の構成は変化し得る。つまり、仮想切開部１６８は動的な性質を有しており、形状が変化する可能性があるが、本明細書に記載のナビゲーション技術を用いれば、仮想切開部１６８が、新たなビジョンデータセットで絶えず更新されるため、外科処置の間に標的部位ＴＳの近くで変化が生じたとしても、器具３０は、物理的オブジェクト（つまり、当該物理的オブジェクトに関連付けられた仮想オブジェクトが定義する境界）を避けることできる。

仮想オブジェクトは避けるべき立体領域または境界を定義することができることから、仮想オブジェクトによって、外科器具３０の治療端が進入できない「進入禁止」ゾーンを作成することもできる。「進入禁止」ゾーンは、標的部位の近くに位置する、繊細な生体的構造や、硬い構造、軟組織、骨のような温存すべき部位や、他のツールなどに関連付けることができる。マニピュレータ６６は、ローカライザ座標系ＬＣＬＺなどの共通座標系における仮想オブジェクトの位置を把握しているため、マニピュレータ６６が自律モードで動作している場合には、マニピュレータ６６が、仮想オブジェクトを避けるように外科器具３０の位置決めを制御して、標的部位の近くに位置する、繊細な生体的構造や、硬い構造、軟組織、骨のような温存すべき部位や、他のツールなどを避けることができる。一方、ロボット装置と器具３０の少なくとも一方を手動操作している場合には、「進入禁止」ゾーンは、触覚境界として機能し、ユーザが器具３０を「進入禁止」ゾーンに入れてしまうのを防ぐ触覚フィードバックをユーザに与える。例えば、各物理的オブジェクトが開創器である場合、開創器の仮想３次元モデルの形をとる仮想オブジェクトが、各物理的オブジェクトに関連付けられて設けられる。この物理的オブジェクトは、カメラ１６０によって追跡されているため、開創器に対する外科器具３０の治療端の相対的な動きを追跡することによって、この物理的オブジェクトを避けることが可能となる。そして、もし開創器の１つが外科器具３０のツール経路上に位置しているようなことがあれば、マニピュレータコントローラ６４が、当該ツール経路に調整を加えるか、あるいは外科器具３０の動きを停止させることができる。あるいは、手動操作モードの場合であれば、そのままではロボット装置と器具３０の少なくとも一方が開創器の１つと衝突してしまうような動きがあれば、マニピュレータコントローラ６４がその動きを制限または停止することができる。これは、手動操作中に器具３０が「進入禁止」ゾーンに差し掛かると、マニピュレータコントローラ６４が、関節モータ、ブレーキなどのうち１つ以上を能動的に作動させて、ユーザへの触覚フィードバックを生成するなどの方法で行われる。同様に、例えば開創器の１つなどの物理的オブジェクトが、計画されたツール経路の妨げとなっている場合には、ナビゲーションシステムが、それをユーザに警告して、当該物理的オブジェクトを移動するようにユーザに通知することもできる。

ここで図１０を参照すると、図１０は、標的部位を基準に物理的オブジェクトを追跡する方法の一実施形態を示している。この実施形態では、ロボット装置を自律モードで動作させている。第１のステップ３００では、標的部位を治療するために外科器具３０が標的部位に対して自律的に動かされることによって、カメラ１６０が標的部位の近くの物理的オブジェクトに対して相対的に動かされる。さらに、カメラ１６０自身も、物理的オブジェクトに対して自律的に動き、ステップ３０２で、複数の視点から取得した物理的オブジェクトのビジョンデータセットを生成する（ただし、１方向の視点のみで十分な場合もある）。そして、ビジョンデータセットは、ビジョン座標系ＶＩＳ上で定義される。

ステップ３０４では、１つ以上の特徴、好ましくは少なくとも３つまたは４つの特徴がビジョンデータセット内で識別される。そして、ステップ３０６で、カメラ１６０がビジョン座標系ＶＩＳにおける各特徴の特徴座標を特定することができるように、これらの特徴を特徴セット１７０にグループ化してしてもよい。そして、これらの特徴や他の視覚的識別子（一部の実施形態では、これらは符号化されている）が、パターン認識技術を使用して認識される。この認識に基づいて、ステップ３１０では、ナビゲーションコンピュータ３４とマニピュレータコントローラ６４の少なくとも一方によって、物理的オブジェクトに関する情報を取り込むことができる。この情報には、例えば、特徴座標に対する物理的オブジェクト座標系ＰＯＣＳの位置および向きが含まれ得る。

そして、ステップ３１２では、座標変換器１０２によって、物理的オブジェクト座標系ＰＯＣＳを、ビジョン座標系ＶＩＳに変換し、そしてさらにローカライザ座標系ＬＣＬＺに変換することができる。ステップ３１４では、仮想オブジェクトが物理的オブジェクトに関連付けられる。仮想オブジェクトは、メモリから読み出されて、物理的オブジェクト座標系ＰＯＣＳで定義され、さらに上述の座標変換によって、ビジョン座標系ＶＩＳに対して定義され、その後、ローカライザ座標系ＬＣＬＺに対して定義される。ステップ３１６では、マニピュレータコントローラ６４は、マニピュレータ６６やこれに取り付けられた外科器具３０の自律的な動きを制御することによって、外科器具３０が物理的オブジェクトを避けるか、または物理的オブジェクトが規定する他の制限事項を満たすことができるようにする。

なお、上記では、物理的オブジェクトに関連付けた仮想オブジェクトを、ローカライザ座標系ＬＣＬＺに変換して、外科器具３０の治療端および標的部位を基準に物理的オブジェクトを追跡しているが、マニピュレータ座標系ＭＮＰＬなどの任意の共通座標系を使用して、外科器具３０と、標的部位と、物理的オブジェクトとの間の相対的な動きや姿勢を追跡することができることも理解されたい。

当業者であれば理解するように、本実施形態の各態様は、コンピュータ可読プログラムコードが埋め込まれた１つ以上のコンピュータ可読媒体という形で実施されるコンピュータプログラム製品の形態をとることがある。本明細書に記載の方法を実行するための命令またはコードを含むコンピュータソフトウェアは、（例えば、ＲＯＭ、固定メモリ、着脱式メモリなどの）関連メモリデバイスの１つ以上に格納しておき、利用準備が整えば、（例えばＲＡＭに）一部または全体をロードして、ＣＰＵが実行してもよい。そのようなソフトウェアとしては、ファームウェア、常駐ソフトウェア、マイクロコードなどを挙げることができるが、これらに限定されない。

他の実施形態では、物理的オブジェクトの特徴座標やモデルの特定を、ＳｆＭ（Structure from Motion）技術やＳＬＡＭ（Simultaneous Localization and Mapping）技術、姿勢推定技術のうち１つ以上の技術を用いて行うことができる。例えば、ＳＬＡＭは、特徴群に対して適用することができる。また他の例として、ＳｆＭによって、異なる複数の視点から取得したビジョンデータセットにおいて識別可能な個々の特徴（必ずしも特徴群でなくてもよい）それぞれについて特徴の軌跡を構築することができる。そして、これら個々の特徴の軌跡に対して、（カメラの）異なる複数の視点に基づいた三角測量を適用することができる。三角測量を利用して、（例えば、物理的オブジェクト座標系上で）特徴座標を３次元に復元し、そして場合によっては最適化することもできる。

以上のように、いくつかの実施形態について説明してきたが、本明細書の実施形態は、本発明を包括的に説明することを意図したものではなく、また本発明を特定の形態に限定することを意図したものでもない。上述の記載において使用した用語は、限定的なものではなく記述的なものであることを意図している。また、上述の教示に基づいて多くの変更および変形が可能であり、上述において具体的に記載したものとは異なる方法によって本発明を実施することも可能である。
なお、本願の出願当初の開示事項を維持するために、本願の出願当初の請求項１～２８の記載内容を以下に追加する。
（請求項１）
物理的オブジェクトを追跡するためのナビゲーションシステムであって、
ロボット装置と、
前記ロボット装置に取り付け可能な器具と、
前記ロボット装置と共に動かすことができるように、前記ロボット装置と前記器具のうちいずれか一方に取り付けられるビジョン装置であって、前記ロボット装置を動かした場合に前記ビジョン装置が複数の自由度で動かされることによって可能となる複数の視点から取り込んだ前記物理的オブジェクトの複数のビジョンデータセットを生成するように構成されているビジョン装置と、
前記ビジョン装置と通信を行うコンピュータシステムであって、前記ビジョンデータセットにおいて識別可能な前記物理的オブジェクトの１つ以上の特徴に基づいて、前記物理的オブジェクトに、前記器具の仮想境界を少なくとも部分的に規定する仮想オブジェクトを関連付けるように構成されている少なくとも１つのプロセッサを有するコンピュータシステムと
を備えるナビゲーションシステム。
（請求項２）
前記ビジョン装置がカメラを備えている、請求項１に記載のナビゲーションシステム。
（請求項３）
前記コンピュータシステムが、前記ビジョンデータセットの生成時に前記ビジョン装置がとる各場所での前記ビジョン装置の位置および向きを追跡するように構成されている、請求項１または２に記載のナビゲーションシステム。
（請求項４）
前記コンピュータシステムが、前記物理的オブジェクトの前記１つ以上の特徴に基づいて、前記物理的オブジェクトの固有性を特定するように構成されている、請求項１～３のいずれか１項に記載のナビゲーションシステム。
（請求項５）
前記コンピュータシステムが、前記物理的オブジェクトの固有性に基づいて、前記物理的オブジェクトに前記仮想オブジェクトを関連付けるように構成されている、請求項４に記載のナビゲーションシステム。
（請求項６）
前記仮想オブジェクトが、３次元モデル、２次元の面、点群、ボクセル立体、メッシュ面、平面、線、単点のうちの１つ以上を含んでいる、請求項５に記載のナビゲーションシステム。
（請求項７）
前記１つ以上の特徴が、前記ビジョンデータセットにおいて識別可能な特徴セットを含み、
前記コンピュータシステムが前記特徴セットの位置および向きを特定して、前記物理的オブジェクトに関連付けられた第１の座標系の位置および向きを確立するように構成されている、請求項１～６のいずれか１項に記載のナビゲーションシステム。
（請求項８）
前記ビジョン装置が、前記ロボット装置と前記器具のうちいずれか一方に対して固定されて、前記ビジョンデータセットを前記ロボット装置と前記器具のうちの前記一方の第２の座標系に変換することができる、請求項７に記載のナビゲーションシステム。
（請求項９）
前記コンピュータシステムが座標変換器を備えており、
前記座標変換器は、前記第１の座標系と前記第２の座標系とのうちの１つを、前記コンピュータシステムが前記物理的オブジェクトに対する前記器具の相対的な動きを追跡することができるように変換するように構成されている、請求項８に記載のナビゲーションシステム。
（請求項１０）
前記コンピュータシステムが、前記物理的オブジェクトに対する前記器具の相対的な動きを追跡することによって、前記物理的オブジェクトを避けながら標的部位の組織を治療する前記器具の動きを可能とするように構成されている、請求項９に記載のナビゲーションシステム。
（請求項１１）
前記コンピュータシステムが、前記１つ以上の特徴に基づいて、前記物理的オブジェクトに関連する情報を特定するように構成されている、請求項１～１０のいずれか１項に記載のナビゲーションシステム。
（請求項１２）
前記情報が、物理的オブジェクト識別情報と、物理的オブジェクトの種類と、物理的オブジェクトの大きさと、物理的オブジェクトの寸法と、物理的オブジェクトのシリアル番号と、物理的オブジェクトの製造業者と、仮想オブジェクト識別情報と、仮想オブジェクトの種類と、仮想オブジェクトの大きさと、仮想オブジェクトの寸法とのうちの１つ以上を含んでいる、請求項１１に記載のナビゲーションシステム。
（請求項１３）
前記仮想オブジェクトが、ナビゲーションポインタと前記器具のうち少なくとも一方によって定義される、請求項１～１２のいずれか１項に記載のナビゲーションシステム。
（請求項１４）
前記ロボット装置は、自律モードで動作するように構成され、
前記ロボット装置が前記自律モードで動作している場合には、前記ビジョン装置が自律的に動く、請求項１～１３のいずれか１項に記載のナビゲーションシステム。
（請求項１５）
ロボット装置と、前記ロボット装置に取り付け可能な器具と、ビジョン装置と、少なくとも１つのプロセッサを有するコンピュータシステムを利用して、標的部位に対して物理的オブジェクトを追跡する方法であって、
前記ロボット装置の動きの結果得られる前記ビジョン装置の動きに応じて、複数の視点から取り込んだ前記物理的オブジェクトの複数のビジョンデータセットを生成するステップと、
前記ビジョンデータセットにおいて識別可能な前記物理的オブジェクトの１つ以上の特徴に基づいて、前記物理的オブジェクトに、前記器具の仮想境界を部分的に規定する仮想オブジェクトを関連付けるステップと
を含む方法。
（請求項１６）
前記ビジョン装置がカメラを備えている、請求項１５に記載の方法。
（請求項１７）
前記ビジョンデータセットの生成時に前記ビジョン装置がとる各場所での前記ビジョン装置の位置および向きを追跡することを含む、請求項１５または１６に記載の方法。
（請求項１８）
前記物理的オブジェクトの前記１つ以上の特徴に基づいて、前記物理的オブジェクトの固有性を特定することを含む、請求項１５～１７のいずれか１項に記載の方法。
（請求項１９）
前記物理的オブジェクトの固有性に基づいて、前記物理的オブジェクトに前記仮想オブジェクトを関連付けることを含む、請求項１８に記載の方法。
（請求項２０）
前記仮想オブジェクトが、３次元モデル、２次元の面、点群、ボクセル立体、メッシュ面、平面、線、単点のうちの１つ以上を含んでいる、請求項１９に記載の方法。
（請求項２１）
前記ビジョンデータセットにおいて識別可能な特徴セットの位置および向きを特定して、前記物理的オブジェクトに関連付けられた第１の座標系の位置および向きを確立することを含む、請求項１５～２０のいずれか１項に記載の方法。
（請求項２２）
前記ビジョンデータセットを前記ロボット装置と前記器具のうちの一方の第２の座標系に変換することを含む、請求項２１に記載の方法。
（請求項２３）
前記第１および第２の座標系のうち１つを、前記コンピュータシステムが前記物理的オブジェクトに対する前記器具の相対的な動きを追跡することができるように変換することを含む、請求項２２に記載の方法。
（請求項２４）
前記物理的オブジェクトに対する前記器具の相対的な動きを追跡することによって、前記物理的オブジェクトを避けながら標的部位の組織を治療する前記器具の動きを可能とすることを含む、請求項２３に記載の方法。
（請求項２５）
前記１つ以上の特徴に基づいて、前記物理的オブジェクトに関連する情報を特定することを含む、請求項１５～２４のいずれか１項に記載の方法。
（請求項２６）
前記情報が、物理的オブジェクト識別情報、物理的オブジェクトの種類、物理的オブジェクトの大きさ、物理的オブジェクトの寸法、物理的オブジェクトのシリアル番号、物理的オブジェクトの製造業者、仮想オブジェクト識別情報、仮想オブジェクトの種類、仮想オブジェクトの大きさ、および仮想オブジェクトの寸法のうちの１つ以上を含んでいる、請求項２５に記載の方法。
（請求項２７）
ナビゲーションポインタと前記器具のうち少なくとも一方によって前記仮想オブジェクトを定義することを含む、請求項１５～２６のいずれか１項に記載の方法。
（請求項２８）
前記ロボット装置を自律的に動かすことによって、前記ビジョン装置が自律的に動いて前記ビジョンデータセットを取り込むようにすることを含む、請求項１５～２７のいずれか１項に記載の方法。

Claims (17)

1. 標的部位の治療中に避けるべきオブジェクトを追跡するナビゲーションシステムであって、
   ロボット装置と、
   前記標的部位を治療するための器具であって、前記ロボット装置に取り付け可能な器具と、
   前記避けるべきオブジェクトに関連して前記ロボット装置と共に動かすことができるように、前記ロボット装置と前記器具のうちいずれか一方に取り付けられたビジョン装置であって、前記ロボット装置を動かした場合に前記ビジョン装置が複数の自由度で動かされることによって可能となる複数の視点から取り込んだ前記避けるべきオブジェクトの複数のビジョンデータセットを生成するように構成されているビジョン装置と、
   前記ビジョン装置と通信を行うコンピュータシステムであって、前記ビジョンデータセットにおいて識別可能な前記避けるべきオブジェクトの１つ以上の特徴に基づいて、前記避けるべきオブジェクトに、前記器具の動作を制限するために利用される仮想境界を少なくとも部分的に規定する仮想オブジェクトを仮想的に関連付けるように構成されている少なくとも１つのプロセッサを有するコンピュータシステムと
   を備えるナビゲーションシステム。
2. 前記ビジョン装置がカメラを備えている、請求項１に記載のナビゲーションシステム。
3. 前記コンピュータシステムが、前記ビジョンデータセットの生成時に前記ビジョン装置がとる各場所での前記ビジョン装置の位置および向きを追跡するように構成されている、請求項１または２に記載のナビゲーションシステム。
4. 前記コンピュータシステムが、前記避けるべきオブジェクトの前記１つ以上の特徴に基づいて、前記避けるべきオブジェクトの固有性を特定するように構成されている、請求項１～３のいずれか１項に記載のナビゲーションシステム。
5. 前記コンピュータシステムが、前記避けるべきオブジェクトの固有性に基づいて、前記避けるべきオブジェクトに前記仮想オブジェクトを関連付けるように構成されている、請求項４に記載のナビゲーションシステム。
6. 前記仮想オブジェクトが、３次元モデル、２次元の面、点群、ボクセル立体、メッシュ面、平面、線、単点のうちの１つ以上を含んでいる、請求項５に記載のナビゲーションシステム。
7. 前記１つ以上の特徴が、前記ビジョンデータセットにおいて識別可能な特徴セットを含み、
   前記コンピュータシステムが前記特徴セットの位置および向きを特定して、前記避けるべきオブジェクトに関連付けられた第１の座標系の位置および向きを確立するように構成されている、請求項１～６のいずれか１項に記載のナビゲーションシステム。
8. 前記ビジョン装置が、前記ロボット装置と前記器具のうちいずれか一方に対して固定されて、前記第１の座標系を前記ロボット装置と前記器具のうちの前記一方の第２の座標系に変換することができる、請求項７に記載のナビゲーションシステム。
9. 前記コンピュータシステムが座標変換器を備えており、
   前記座標変換器は、前記第１の座標系と前記第２の座標系とのうちの１つを、前記コンピュータシステムが前記避けるべきオブジェクトに対する前記器具の相対的な動きを追跡することができるように、前記第１の座標系または前記第２の座標系のうちの別の座標系に変換するように構成されている、請求項８に記載のナビゲーションシステム。
10. 前記コンピュータシステムが、前記避けるべきオブジェクトに対する前記器具の相対的な動きを追跡することによって、前記避けるべきオブジェクトを避けながら前記標的部位の組織を治療する前記器具の動きを可能とするように構成されている、請求項９に記載のナビゲーションシステム。
11. 前記コンピュータシステムが、前記１つ以上の特徴に基づいて、前記避けるべきオブジェクトに関連する情報を特定するように構成されている、請求項１～１０のいずれか１項に記載のナビゲーションシステム。
12. 前記情報が、物理的オブジェクト識別情報と、物理的オブジェクトの種類と、物理的オブジェクトの大きさと、物理的オブジェクトの寸法と、物理的オブジェクトのシリアル番号と、物理的オブジェクトの製造業者と、仮想オブジェクト識別情報と、仮想オブジェクトの種類と、仮想オブジェクトの大きさと、仮想オブジェクトの寸法とのうちの１つ以上を含んでいる、請求項１１に記載のナビゲーションシステム。
13. 前記コンピュータシステムは、ナビゲーションポインタまたは前記器具の少なくとも１つが前記避けるべきオブジェクトに沿って移動するときに、前記ナビゲーションポインタと前記器具のうち少なくとも一方を使用して前記仮想オブジェクトを定義する、請求項１～１２のいずれか１項に記載のナビゲーションシステム。
14. 前記ロボット装置は、自律モードで動作するように構成され、
    前記ロボット装置が前記自律モードで動作している場合には、前記ビジョン装置が自律的に動く、請求項１～１３のいずれか１項に記載のナビゲーションシステム。
15. 標的部位の治療中に避けるべきオブジェクトを追跡するナビゲーションシステムによって実行される方法であって、該ナビゲーションシステムは、ビジョン装置と、前記標的部位を治療するためにロボット装置に取り付け可能な器具と、前記ビジョン装置と通信するコンピュータシステムとを含み、前記ビジョン装置は、前記ロボット装置または前記器具に取り付けられており、
    前記ビジョン装置が、前記ロボット装置の動きの結果得られる前記ビジョン装置の動きに応じて、複数の視点から取り込んだ前記避けるべきオブジェクトの複数のビジョンデータセットを生成するステップと、
    前記コンピュータシステムが、前記ビジョンデータセットにおいて識別可能な前記避けるべきオブジェクトの１つ以上の特徴に基づいて、前記避けるべきオブジェクトに、前記器具の動作を制限するために利用される仮想境界を部分的に規定する仮想オブジェクトを仮想的に関連付けるステップと
    を含む方法。
16. 前記ロボット装置のコントローラは、前記避けるべきオブジェクトがツール経路内に配置された場合に、該ツール経路を調整するか、または前記器具の移動を停止するものである、請求項１～１４のいずれか一項に記載のナビゲーションシステム。
17. 前記ナビゲーションシステムは、前記避けるべきオブジェクトが計画されたツール経路に干渉することをユーザに警告し、前記避けるべきオブジェクトを移動するようにユーザに通知するものである、請求項１～１４のいずれか一項に記載のナビゲーションシステム。

Images