JP7351915B2 - ロボット装置のモーションプログラミング - Google Patents

Description

（関連出願の相互参照）
本出願は、２０１９年１月１８日に出願された米国仮出願第62/794,545号の利益及び優先権を主張し、その全開示は、参照により本明細書に明示的に組み込まれる。

本開示は、追跡される（tracked）手術器具に基づくロボット装置のモーションプログラミング（motion programming）を記載する。

低侵襲手術は、典型的には、人体への切開部のサイズを制限し、その結果、手術処置からの回復が迅速であり、感染の確率が低下する。しかしながら、低侵襲手術中に同じ外科医が同時に使用できるツールはわずかである。時には、手術スイートで適切なツールを配置するために、ツール交換が発生することがある。ツール交換は、低侵襲手術処置の時間を延長することがある。さらに、低侵襲手術は、特に長時間手術制御部を手動で操作する場合、外科医に負担をかける可能性がある。

一実施態様では、方法は、患者の手術部位の画像を取得することを含む。本方法はまた、手術部位へのユーザ定義パスに基づいて、器具のモーションデータ（motion data）を取り込むこと（capturing）を含む。また、この方法は、取り込まれたモーションデータに基づいてモーションパス（motion path）を決定することを含む。モーションパスは、ロボット装置の１つ又は複数のコンポーネントの作動に対応する。また、この方法は、モーションパスの一部を画像上に表示することを含む。また、本方法は、決定されたモーションパスに沿って１つ又は複数のコンポーネントを作動させるための１つ又は複数の命令を決定することを含む。本方法はまた、１つ又は複数の命令をロボット装置に提供することを含む。

他の実施態様に於いて、方法は、患者の手術部位の画像を取得することを含む。本方法はまた、患者の手術部位における器具のユーザ定義配置に基づいて器具の姿勢を取り込むことを含む。また、本方法は、器具の取り込まれた姿勢に対応するモーションパスを決定することを含む。モーションパスは、ロボット装置の１つ又は複数のコンポーネントの作動に関連付けられる。また、この方法は、マージされた画像上にモーションパスの一部を表示することを含む。また、本方法は、決定されたモーションパスに沿って１つ又は複数のコンポーネントを作動させるための１つ又は複数の命令を決定することを含む。本方法はまた、１つ又は複数の命令をロボット装置に提供することを含む。

別の実施形態では、システムは、追跡装置、ロボット装置、及び処理装置を含む。処理装置は、プロセッサと、非一時的コンピュータ可読媒体とを含む。非一時的コンピュータ可読媒体は、プロセッサによって実行されると、システムに患者の手術部位の画像を取得させる記憶された命令を含む。また、記憶された命令は、システムに、追跡装置を介して、患者の手術部位における器具のユーザ定義配置に基づいて器具の姿勢を取り込ませる。また、記憶された命令は、システムに、プロセッサによって、器具の取り込まれた姿勢に対応するモーションパスを決定させる。モーションパスは、ロボット装置の１つ又は複数のコンポーネントの作動に関連付けられる。また、記憶された命令は、システムに、モーションパスの一部を画像上に表示する命令を提供させる。また、記憶された命令は、システムに、プロセッサによって、決定されたモーションパスに沿って１つ又は複数のコンポーネントを作動させるための１つ又は複数の命令を決定させる。また、記憶された命令は、システムに、１つ又は複数の命令をロボット装置に提供させる。

本発明の多くの利点は、添付の図面と共に本明細書を読むことにより、当業者には明らかであり、ここで、同様の参照番号は、同様の要素に適用される:

本開示の一実施形態による、手術処置を実行するための例示的システムを示す。

本開示の一実施形態による、手術処置中に使用され得る例示的なロボット装置を示す。

本開示の一実施形態による、コンピューティングデバイスの例示的なブロック図を示す。

本開示の一実施形態による、例示的なコンピュータ媒体を示す。

本開示の一実施形態による、手術処置中の例示的方法のフロー図を示す。

本開示の一実施形態による、手術処置中の例示的方法の別のフロー図を示す。

本開示の一実施形態による、手術処置中に表示され得る例示的画像を示す。

本開示の一実施形態による、手術処置中に表示され得る別の例示的画像を示す。

本開示の一実施形態による、手術処置中の例示的方法の別のフロー図を示す。

本開示の一実施形態による、手術処置中の例示的方法の別のフロー図を示す。

本発明の例示的な実施形態を以下に記載する。明確にするために、実際の実装のすべての特徴がこの明細書に記述されているわけではない。当然のことながら、このような実際の実施形態の開発においては、システム関連及びビジネス関連の制約へのコンプライアンスのような、実装ごとに異なる開発者の特定の目標を有効にするために、実装特有の多数の決定が行われなければならない。さらに、そのような開発努力は、複雑かつ時間がかかるが、それにもかかわらず、本開示の利益を有する当業者のための日常的な取り組みであることが認められる。さらに、主として脊椎手術の文脈の中で以下に議論されているが、本発明のシステム及び方法は、全身にわたる任意の数の異なる手術標的部位へのアクセスを提供するために、任意の数の解剖学的設定において使用され得ることは、容易に理解されるべきである。

本明細書に記載される例は、手術処置を実行するためのシステム及び方法を含む。一例では、方法は、患者の手術部位の画像を取得することを含む。別の例では、方法は、患者の手術部位の高解像度ベースライン画像を取得することを含む。一例では、高解像度ベースライン画像は、モバイル蛍光透視装置によって取り込まれるＸ線画像である。この例を続けると、処理装置は、高解像度ベースライン画像の１つ又は複数のアスペクト（aspects）を調整することに基づいてベースライン画像セットを生成するために高解像度ベースライン画像をデジタル的に操作するように構成される。本方法はまた、高解像度ベースライン画像よりも低い解像度で手術部位の新しい画像を取得することを含む。

一例では、低解像度画像は、高解像度ベースライン画像に関連する放射線レベルよりも低い放射線レベルで取り込まれるＸ線画像である。低解像度画像の画質のために、処理装置は、低解像度画像をベースライン画像セットの１つ又は複数の画像と比較することによって、低解像度画像と高解像度ベースライン画像セットからの画像との間の一致を見つけるように構成される。処理装置は、低解像度画像との許容可能な相関度（acceptable degree of correlation）を有するベースライン画像セットの代表画像を選択するように構成される。また、処理装置は、選択された代表画像を低解像度画像とマージして（merge）、マージされた画像を生成するように構成される。一実施形態では、マージされた画像は、手術処置の１つ又は複数の側面（aspects）を評価するために、ユーザ（例えば、外科医）のためのディスプレイ上に表示される。

本方法はまた、外科医によって使用される器具のモーションデータを、手術部位へのユーザ定義パスに基づいて取り込むステップを含む。処理装置は、取り込まれたモーションデータに基づいてモーションパスを決定するように構成される。モーションパスは、外科医が手術処置を完了するのを補助するロボット装置の１つ又は複数のコンポーネントの作動に対応する。また、この方法は、外科医がレビューするために、マージされた画像上にモーションパスの一部を表示することを含む。

例えば、１つ又は複数の椎弓根スクリューの使用を含む手術処置において、外科医は、椎弓根標的部位に器具を位置決めし、器具の取り込まれたモーションデータに基づいて椎弓根スクリューの挿入に対応するモーションパスを見得る。この例では、外科医は、椎弓根標的部位上の点を選択し、マージされた画像上に重ねられた１つ又は複数の異なる軌道を見るために器具を旋回させ（pivot）得る。器具が点の周りに旋回されることに基づいて、１つ又は複数の追跡装置が、器具の動きに関連付けられるモーションデータを取り込むように構成される。次いで、このモーションデータは、本明細書に記載されるように、それに応じて処理され、モーションパスの少なくとも一部が、マージされた画像上に重ねられる。外科医は、モーションパスが術前計画と整合している（in alignment with）かどうかについての入力（例えば、音声コマンド、インタフェースへのアクセスなど）を処理装置に提供し得る。モーションパスの承認に基づいて、本方法は、決定されたモーションパスに沿ってロボット装置の１つ又は複数のコンポーネントを作動させるための１つ又は複数の命令を決定することを含む。本方法はまた、１つ又は複数の命令をロボット装置に提供することを含む。

図面を参照すると、図１は、手術処置を実行するための例示的なシステム１００の図である。例示的なシステム１００は、Ｃアームイメージング装置１０３を支持するベースユニット１０２を含む。Ｃアーム１０３は、患者Ｐの下に配置され、放射線ビームを上方に受信機１０５に向ける放射線源１０４を含む。Ｃアーム１０３の受信機１０５は、画像データを処理装置１２２に送信する。処理装置１２２は、手術処置の間に使用される様々な器具Ｔ及びＨの位置及び向き情報を得るために追跡装置１３０と通信し得る。追跡装置１３０は、マーカ１５０のような種々の追跡要素の位置情報を提供するためにロボット装置１４０と通信し得る。ロボット装置１４０及び処理装置１２２は、１つ又は複数の通信チャネルを介して通信し得る。

ベースユニット１０２は、制御パネル１１０を含み、これを通して、ユーザは、Ｃアーム１０３の位置及び放射線曝露を制御することができる。従って、制御パネル１１０は、放射線技師が、外科医の指示で手術部位の画像を取得し、放射線線量を制御し、放射線パルス画像を開始することを可能にする。

Ｃアーム１０３は、手術部位の異なる観察角度（viewing angles）のために矢印１０８の方向に患者Ｐの周りを回転され得る。場合によっては、インプラント又は器具Ｔ及びＨが手術部位に位置することがあり、そのため、その部位の妨げられない眺めのために観察角度を変化させる必要がある。従って、患者Ｐに対する、より具体的には、関心のある手術部位に対する受信機の位置は、外科医又は放射線科医によって必要とされるとき処置の間に変化し得る。従って、受信機１０５は、追跡装置１３０を用いてＣアーム１０３の位置の追跡を可能にする、そこに取り付けられたトラッキングターゲット１０６を含み得る。単なる例として、トラッキングターゲット１０６は、ターゲットの周囲に間隔を置かれた複数の赤外線（ＩＲ）反射器又はエミッタを含み得、一方、追跡装置１３０は、トラッキングターゲット１０６によって反射又は放射されたＩＲ信号から受信機１０５の位置を三角測量するように構成される。

処理装置１２２は、それに関連付けられたデジタルメモリと、デジタル及びソフトウェア命令を実行するためのプロセッサとを含むことができる。処理装置１２２はまた、表示装置１２６上のディスプレイ１２３及び１２４としての投影のためのデジタル画像を生成するために、フレームグラバ（frame grabber）技術を使用するフレームグラバを組み込み得る。ディスプレイ１２３及び１２４は、処置中に外科医がインタラクティブに見るために配置される。２つのディスプレイ１２３及び１２４は、横方向及びＡ／Ｐなどの２つのビューからの画像を示すために使用され得る、又は、手術部位のベースラインスキャン及び現在のスキャン、若しくは、本明細書に記載されているように、現在のスキャン及び以前のベースラインスキャンと低放射線の現在のスキャンとに基づく「マージされた」スキャンを示し得る。キーボード又はタッチスクリーンのような入力装置１２５が、外科医が画面上の画像を選択及び操作することを可能にする。入力装置は、処理装置１２２によって実装される種々のタスク及び機能に対応するキー又はタッチスクリーンアイコンのアレイを組み込み得ることが理解される。処理装置１２２は、受信機１０５から得られた画像データをデジタルフォーマットに変換するプロセッサを含む。場合によっては、Ｃアーム１０３は、映像露光モードで動作し、毎秒多数の画像を生成し得る。これらの場合には、複数の画像を短時間にわたって１つの画像に平均化して、動きのアーチファクト及びノイズを低減することができる。

追跡装置１３０は、手術処置において使用される種々の要素（例えば、赤外線反射器又はエミッタ）に関連付けられる位置データを決定するためのセンサ１３１及び１３２を含む。一例において、センサ１３１及び１３２は、電荷結合素子（ＣＣＤ）イメージセンサであり得る。別の例では、センサ１３１及び１３２は、相補型金属酸化物半導体（ＣＯＭＳ）イメージセンサであり得る。また、記載される機能を達成するために、異なる数の他のイメージセンサを使用してもよいことも想定される。

本発明の一態様では、ロボット装置１４０は、手術処置中に、患者Ｐに対して器具Ｔを保持することを支援し得る。１つのシナリオでは、ロボット装置１４０は、患者Ｐが手術処置中に（例えば、呼吸のために）動く又は（例えば、患者の身体の操作のために）動かされる際に、器具Ｔを患者Ｐに対してある相対的な位置に維持するように構成され得る。

ロボット装置１４０は、ロボットアーム１４１、ペダル１４２、及びモバイルハウジング１４３を含み得る。ロボット装置１４０はまた、ディスプレイ１２６のようなディスプレイと通信し得る。ロボット装置１４０はまた、手術台にロボット装置１４０を固定する固定装置を含み得る。

一例では、第１のトラッキングモードでは、追跡装置１３０は、患者の手術ターゲット部位におけるユーザ定義パスに基づいて、ハンドヘルド器具のモーションデータを取り込むように構成される。この例では、処理装置１２２は、取り込まれたモーションデータに対応するモーションパスを決定する。さらに、処理装置１２２は、決定されたモーションパスに沿ってロボット装置１４０の１つ又は複数のコンポーネントを作動させるための１つ又は複数の命令を決定し、１つ又は複数の命令をロボット装置１４０に提供する。第２のトラッキングモードでは、追跡装置１３０は、患者の手術部位における器具のユーザ定義配置に基づいて、ハンドヘルド器具の姿勢（すなわち、向き及び位置）を取り込むように構成される。この例では、処理装置１２２は、器具の取り込まれた姿勢に対応するモーションパスを決定する。第１のトラッキングモードで説明したように、処理装置１２２は、決定された動き（motion）に沿ってロボット装置１４０の１つ又は複数のコンポーネントを作動させるための１つ又は複数の命令を決定し、１つ又は複数の命令をロボット装置１４０に提供する。

一例では、ユーザは、ロボットペダル１４２を使用によって、ロボットアーム１４１の作動を制御し得る。一実施形態では、ユーザは、ロボット装置１４０の１つ又は複数のモードを作動させるために、ロボットペダル１４２を押し得る。一つのシナリオでは、ユーザは、ユーザが所望の位置に従ってロボットアーム１４１を手動で位置決めすることを可能にするために、ロボットペダル１４２を押し得る。別のシナリオでは、ユーザは、ロボットアーム１４１が、上述したように、決定されたモーションパスに従って、器具Ｔをある位置に配置することを可能にするモードを作動させるために、ロボットペダル１４２を押し得る。別のシナリオでは、ユーザは、ロボットアーム１４１がそれ以上の動きを進めるのを止めるために、ロボットペダル１４２を押し得る。

ロボットアーム１４１は、手術処置及び関連するジョイントの数に応じて、１つ又は複数のエンドエフェクタを受け入れるように構成され得る。一例では、ロボットアーム１４１は６つのジョイントアームであり得る。この例では、各ジョイントは、その角度値を測定するエンコーダを含む。１つ又は複数のエンコーダによって提供されるモーションデータは、６つのジョイントの既知の幾何学的形状と組み合わされて、ロボットアーム１４１の位置及びロボットアーム１４１に結合された器具Ｔの位置の決定を可能にし得る。また、本明細書に記載の機能性を達成するために、異なる数のジョイントが使用され得ることが考えられる。

モバイルハウジング１４３は、ホイール又はハンドル又はその両方を使用することによって、ロボット装置１４０の容易な取扱いを確実にする。一実施形態では、モバイルハウジング１４３は、固定パッド又は同等の装置を含み得る。モバイルハウジング１４３はまた、ロボットアーム１４１に１つ又は複数のコマンドを提供し、外科医が、タッチスクリーン、マウス、ジョイスティック、キーボード、又は同様の装置のようなインタフェースの使用を通じて手動でデータを入力することを可能にする制御ユニットを含み得る。

一例では、処理装置１２２は、追跡装置１３０を介して器具Ｈ（例えば、ポータブル器具）の姿勢を取り込むように構成される。器具の取り込まれた姿勢は、位置及び向き情報の組み合わせを含む。この例では、器具Ｈの姿勢は、患者Ｐの手術部位におけるユーザ定義配置に基づいている。ユーザ定義配置は、外科医による器具Ｈの動きに基づく。１つのシナリオでは、ポータブル器具は、１つ又は複数の赤外線反射器又はエミッタを有する。この例を続けると、処理装置１２２は、器具Ｈの取り込まれた姿勢に対応するモーションパスを決定するように構成される。このモーションパスは、ロボット装置１４０の１つ又は複数のコンポーネント（例えば、１つ又は複数のリンク及びジョイント）の作動に関連付けられる。処理装置１２２は、決定されたモーションパスに沿ってロボット装置１４０の１つ又は複数のコンポーネントを作動させるための１つ又は複数の命令を決定するように構成される。さらに、処理装置１２２は、１つ又は複数の命令をロボット装置１４０に提供するように構成される。

別の例では、処理装置１２２は、ポータブル器具の１つ又は複数の赤外線反射器の位置を、患者に結合された１つ又は複数の赤外線反射器の位置と比較するように構成される。比較に基づいて、処理装置１２２は、ポータブル器具の１つ又は複数の赤外線反射器と患者に結合された１つ又は複数の赤外線反射器との間の距離が安全閾値内にあるかどうかを決定するように構成される。ポータブル器具と患者との間の距離の決定に基づいて、処理装置１２２は、ロボット装置の１つ又は複数のコンポーネントの作動に対する１つ又は複数の調整を決定するように構成される。

別の例では、処理装置１２２は、表示装置１２６上に表示するための手術部位の画像を提供するように構成される。この例では、処理装置１２２は、決定されたモーションパスの少なくとも一部を手術部位の画像上に重ねるように構成される。決定されたパスの少なくとも一部を重ねることは、外科医がパスをレビューし、それが手術計画と整合することを確実にすることを可能にする。一例では、処理装置１２２は、決定されたモーションパスの重ね合わされた一部が手術計画と整合することを確認する外科医からの入力を受信するようにさらに構成され得る。一例では、入力は、入力装置１２５を介して受信される。

別の例では、処理装置１２２は、術前軌道と、モーションパスの一部に対応する軌道との間の角度を決定するように構成される。決定された角度に基づいて、処理装置１２２は、モーションパスの一部に対応する軌道と術前軌道とを位置合わせ（整合）するために、器具Ｈの取り込まれた位置に基づいて器具を旋回させるための１つ又は複数の動きを決定するように構成される。この例では、処理装置１２２は、ロボット装置１４０に器具を旋回させるための１つ又は複数の動きを提供するように構成される。ロボット装置１４０は、本明細書に記載されているように、決定された軌道に沿ったロボット装置１４０の動きを可能にするために、旋回させるための１つ又は複数の動きを命令に変換するように構成される。

別の例では、術前軌道とモーションパスの一部に対応する軌道との間の決定された角度は、１つ又は複数のスコアに関連付けられる１つ又は複数の範囲と比較され得る。スコアに基づいて、変化する視覚効果（例えば、点滅する色）が、モーションパスの一部に対応する軌道とともに表示され得る。例えば、角度が椎弓根の周囲を破る可能性の高い範囲内にある場合、モーションパスの一部に対応する軌道は、点滅する赤色で表示される。別の例では、角度が術前軌道に対する高い相関度に対応する範囲内にある場合、モーションパスの一部に対応する軌道が緑色で表示される。

別の例では、処理装置１２２は、決定されたモーションパスの重ね合わされた一部が、手術部位内の１つ又は複数の所定の境界と交差することを決定するように構成される。この例では、処理装置１２２は、表示装置１２６を介して、決定されたモーションパスの重ね合わされた少なくとも一部の変化する視覚効果を表示することを提供するように構成される。

図２は、手術処置中に使用され得る例示的なロボット装置２００を示す。ロボット装置２００は、プロセッサ、メモリ又は記憶装置のようなハードウェア、及びロボット装置２００が手術処置において使用することを可能にするセンサを含み得る。ロボット装置２００は、電気モータ、空気圧モータ、油圧モータなどの種々の手段によって動力を供給され得る。ロボット装置２００は、ベース２０２、リンク２０６、２１０、２１４、２１８、２２２、及び２２６、ジョイント２０４、２０８、２１２、２１６、２２０、２２４、及び２３０、並びにマニピュレータ２２８を含む。

ベース２０２は、ロボット装置２００のための支持を提供するためのプラットフォームを提供し得る。ベース２０２は、静止し得る、又は、ロボット装置２００の動きを提供するために、ホイールに結合され得る。ベース２０２は、アルミニウム、鋼、ステンレス鋼など、ロボット装置２００に関連する所与の環境に適した任意の数の材料を含み得る。

リンク２０６、２１０、２１４、２１８、２２２、２２６は、プログラム可能な命令セットに従って動かされるように構成され得る。例えば、リンクは、ユーザの監視下でタスクを達成するために、所定の動きのセット（例えば、取り込まれた器具の姿勢に対応するモーションパス）に従うように構成され得る。例として、リンク２０６、２１０、２１４、２１８、２２２、及び２２６は、ジョイント２０４、２０８、２１２、２１６、２２０、２２４、及び２３０の所与のジョイントにおける所与のリンク２０６、２１０、２１４、２１８、２２２、及び２２６の所与のリンクの相対運動を定める運動学的チェーン（kinematic chain）を形成し得る。

ジョイント２０４、２０８、２１２、２１６、２２０、２２４、及び２３０は、機械的歯車システムの使用を介して回転するように構成され得る。一例では、機械歯車システムは、波動歯車装置、サイクロイド駆動装置等によって駆動される。選択される機械歯車システムは、リンク２０６、２１０、２１４、２１８、２２２、２２６の所与のリンクの長さ、回転速度、所望の歯車減速等のような、ロボット装置２００の動作に関連するいくつかのファクタに依存し得る。ジョイント２０４、２０８、２１２、２１６、２２０、２２４、及び２３０に動力を供給することは、マニピュレータ２２８が環境と相互作用する（interact with）ことを可能にする方法でリンク２０６、２１０、２１４、２１８、２２２、及び２２６が動かされることを可能にする。

一例では、マニピュレータ２２８は、ロボット装置２００が１つ又は複数の制約に従って環境と相互作用することを可能にするように構成される。一例では、マニピュレータ２２８は、手術器具を把持することなどの様々な操作を通じて、要素の適切な配置を実行する。例として、マニピュレータ２２８は、ロボット装置２００に異なる機能を提供する別のエンドエフェクタと交換され得る。

一例では、ロボット装置２００は、ロボットオペレーティングシステム（例えば、ロボットの特定の機能のために設計されたオペレーティングシステム）に従って動作するように構成される。ロボットオペレーティングシステムは、ロボットアプリケーションを可能にするために、ライブラリ及びツール（例えば、ハードウェア抽象化、デバイスドライバ、ビジュアライザ、メッセージパッシング、パッケージ管理など）を提供し得る。

図３は、例示的実施形態による、コンピューティングデバイス３００のブロック図である。いくつかの例では、図３に示されるいくつかのコンポーネントは、複数のコンピューティングデバイス（例えば、デスクトップコンピュータ、サーバ、ハンドヘルドデバイスなど）にわたって分散され得る。しかしながら、例のために、コンポーネントは、１つの例示のデバイスの一部として示され、説明される。コンピューティングデバイス３００は、インタフェース３０２、動作ユニット（movement unit）３０４、制御ユニット３０６、通信システム３０８、データ記憶装置３１０、及びプロセッサ３１４を含み得る。図３に示されるコンポーネントは、通信リンク３１６によって互いにリンクされ得る。いくつかの例では、コンピューティングデバイス３００は、コンピューティングデバイス３００及び別のコンピューティングデバイス（図示せず）内の通信を可能にするためのハードウェアを含み得る。一実施形態では、ロボット装置１４０又はロボット装置２００は、コンピューティングデバイス３００を含み得る。

インタフェース３０２は、コンピューティングデバイス３００が別のコンピューティングデバイス（図示せず）と通信することを可能にするように構成され得る。したがって、インタフェース３０２は、１つ又は複数のデバイスから入力データを受信するように構成され得る。いくつかの例では、インタフェース３０２はまた、コンピューティングデバイス３００によって受信及び送信されたデータの記録を維持及び管理し得る。他の例では、データの記録は、コンピューティングデバイス３００の他のコンポーネントによって維持及び管理され得る。インタフェース３０２はまた、データを受信及び送信するための受信機及び送信機を含み得る。いくつかの例では、インタフェース３０２は、同様に入力を受信するために、キーボード、マイクロホン、タッチスクリーン等のようなユーザインタフェースを含み得る。さらに、いくつかの例では、インタフェース３０２はまた、ディスプレイ、スピーカなどの出力装置とインタフェースし得る。

一例では、インタフェース３０２は、ロボット装置（例えば、ロボット装置１４０、ロボット装置２００）が存在する環境の１つ又は複数の要素に対応する位置情報を示す入力を受信し得る。この例では、環境は、手術処置中に機能するように構成されたロボット装置を備える病院の手術室であり得る。また、インタフェース３０２はまた、ロボット装置に関連付けられた情報を受信するように構成され得る。例えば、ロボット装置に関連付けられる情報は、ロボット装置の動作特性と、ロボット装置（例えば、ロボット装置１４０、ロボット装置２００）の１つ又は複数のコンポーネント（例えば、ジョイント２０４、２０８、２１２、２１６、２２０、２２４、及び２３０）による可動範囲とを含み得る。

コンピューティングデバイス３００の制御ユニット３０６は、ロボット装置（例えば、ロボット装置１４０、ロボット装置２００）のコンポーネント（例えば、ロボットアーム１４１、ロボットペダル１４２、ジョイント２０４、２０８、２１２、２１６、２２０、２２４、及び２３０、マニピュレータ２２８など）及び１つ又は複数の他の装置（例えば、処理装置１２２、追跡装置１３０など）とデータを交換する制御ソフトウェアを実行するように構成され得る。制御ソフトウェアは、ロボット装置と通信するユーザインタフェース及びディスプレイモニタ（例えば、ディスプレイ１２６）を介してユーザと通信し得る。制御ソフトウェアはまた、有線通信インタフェース（例えば、パラレルポート、ＵＳＢなど）及び／又は無線通信インタフェース（例えば、アンテナ、トランシーバなど）を介して、追跡装置１３０及び処理装置１２２と通信し得る。制御ソフトウェアは、１つ又は複数のセンサと通信して、ロボットアーム（例えば、ロボットアーム１４１、リンク２２６）に取り付けられた器具Ｔにおいてユーザによって与えられた力（efforts）を測定し得る。制御ソフトウェアは、ロボットアームと通信して、マーカ１５０に対するロボットアームの位置を制御し得る。

上述のように、制御ソフトウェアは、追跡装置１３０と通信し得る。１つのシナリオでは、追跡装置１３０は、患者Ｐに取り付けられたマーカ１５０を追跡するように構成され得る。例えば、マーカ１５０は、患者Ｐの椎骨の棘突起に取り付けられ得る。この例では、マーカ１５０は、マーカ１５０の位置を決定するために、追跡装置１３０に可視である１つ又は複数の赤外線反射器を含み得る。別の例では、複数のマーカが１つ又は複数の椎骨に付けられ得、器具Ｔの位置を決定するために使用され得る。

一例では、追跡装置１３０は、マーカ１５０の位置情報のほぼリアルタイムの更新をロボット装置１４０の制御ソフトウェアに提供し得る。ロボット装置１４０は、有線及び／又は無線インタフェースを介して追跡装置１３０からのマーカ１５０の位置情報に対する更新を受信するように構成され得る。マーカ１５０の位置情報に対する受信された更新に基づいて、ロボット装置１４０は、患者Ｐに対する器具Ｔの所望の位置を維持するために器具Ｔの第１の位置に対する１つ又は複数の調整を決定するように構成され得る。

一実施形態では、制御ソフトウェアは、独立したモジュールを含み得る。例示的な実施形態では、これらの独立したモジュールは、リアルタイム環境下で同時に動作し、共用メモリを使用して、制御ソフトウェアの種々のタスクの管理を確実にする。モジュールは、例えば、最も高い優先度を有する安全モジュールのように、異なる優先度を有し得る。安全モジュールは、ロボット装置１４０の状態を監視し得る。１つのシナリオでは、安全モジュールは、例えば、非常停止、ソフトウェア故障、又は障害物との衝突のような危機的状況が検出されたときに、ロボットアーム１４１を停止するように制御ユニット３０６に命令を送り得る。

一実施形態では、インタフェース３０２は、ロボット装置１４０が他の装置（例えば、処理装置１２２、追跡装置１３０）と通信することを可能にするように構成される。したがって、インタフェース３０２は、１つ又は複数のデバイスから入力データを受信するように構成される。いくつかの例では、インタフェース３０２は、他の装置によって受信又は送信されるデータの記録を維持及び管理し得る。他の例では、インタフェース３０２は、データを受信又は送信するために受信機及び送信機を使用し得る。

インタフェース３０２は、ユーザインタフェース及び表示画面を介して（例えば、ディスプレイ１２３及び１２４を介して）、ユーザと制御ソフトウェアとの間の通信を管理するように構成され得る。表示スクリーンは、ロボット装置１４０に関連付けられる異なるモードを通してユーザをガイドするグラフィカルインタフェースを表示し得る。ユーザインタフェースは、ユーザが、例えば、手術処置の開始に関連付けられるロボットアーム１４１の動きを制御し、手術処置中に使用されるトラッキングモードを起動し、必要に応じてロボットアーム１４１を停止させることを可能にし得る。

動作ユニット３０４は、所与の処置を実行するためにロボットアーム１４１の１つ又は複数のコンポーネントに関連付けられる動きを決定するように構成され得る。一実施形態では、動作ユニット３０４は、順運動学及び逆運動学を用いてロボットアーム１４１の軌道を決定するように構成され得る。１つのシナリオでは、動作ユニット３０４は、ロボットアーム１４１の軌道を決定するために、１つ又は複数のソフトウェアライブラリにアクセスし得る。別の例では、動作ユニット３０４は、ユーザ定義パスに基づく器具の取り込まれたモーションデータに従って、処理装置１２２からロボット装置１４０の１つ又は複数のコンポーネントを作動させるための１つ又は複数の命令を受信するように構成される。

動作ユニット３０４は、所与のパスに沿って器具Ｔを動かすロボット装置１４０の動作をシミュレートするように構成され得る。一例では、シミュレートされた動作に基づいて、動作ユニット３０４は、器具Ｔに関連付けられたメトリック（metric）を決定し得る。さらに、動作ユニット３０４は、シミュレートされた操作に基づいてメトリックに関連付けられた力を決定するように構成され得る。一例では、動作ユニット３０４は、オープンな運動学的チェーン（open kinematic chain）に基づいて力を決定する命令を含み得る。

動作ユニット３０４は、ロボットアーム１４１に結合された１つ又は複数のセンサによって測定された力及びトルクを監視するための力モジュールを含み得る。１つのシナリオでは、力モジュールは、障害物との衝突を検出し、安全モジュールに警告し得る。

制御ユニット３０６は、ロボット装置１４０の様々なコンポーネント（例えば、ロボットアーム１４１、ペダル１４２など）に関連付けられる機能を管理するように構成され得る。例えば、制御ユニット３０６は、マーカ１５０に対するロボットアーム１４１の所望の位置を維持するために、１つ又は複数のコマンドを送信し得る。制御ユニット３０６は、動作ユニット３０４から動作データを受信するように構成され得る。

１つのシナリオでは、制御ユニット３０６は、ロボットアーム１４１に協調モードに従って機能するように指示することができる。協調モードでは、ユーザは、ロボットアーム１４１に結合されたツールＴを保持し、器具Ｔを所望の位置に移動させることによって、ロボットアーム１４１を手動で動かすことができる。一例では、ロボット装置１４０は、ロボットアーム１４１のエンドエフェクタに結合された１つ又は複数の力センサを含み得る。例として、ユーザが器具Ｔをつかみ、それをある方向に動かし始めると、制御ユニット３０６は、力センサによって測定された力を受信し、ユーザが望む動きを生成するためにそれらをロボットアーム１４１の位置と組み合わせる。

１つのシナリオでは、制御ユニット３０６は、ロボット装置１４０に所与のＩＲ反射器又はエミッタ（例えば、マーカ１５０）に対する器具Ｔの相対位置を維持させる所与のモードに従って機能するようロボットアーム１４１に指示することができる。一例では、ロボット装置１４０は、追跡装置１３０からマーカ１５０の更新された位置情報を受信し、必要に応じて調整し得る。この例では、動作ユニット３０４は、マーカ１５０の受信された更新された位置情報に基づいて、マーカ１５０と器具Ｔの相対位置を維持するために、ロボットアーム１４１のどのジョイント（複数可）が動く必要があるかを決定し得る。

別のシナリオでは、ロボット装置１４０の動作を制限するために、ユーザによって制限協調モードが定義され得る。例えば、制御ユニット３０６は、ユーザの好みに応じて、ロボットアーム１４１の動きを平面又は軸に制限し得る。別の例では、ロボット装置１４０は、決定されたモーションパスの一部と交差すべきではない、手術部位内の１つ又は複数の所定の境界に関する情報を受信し得る。

一実施形態では、ロボット装置１４０は、処理装置１２２と通信し得る。一例では、ロボット装置１４０は、器具Ｔの位置及び向きデータを処理装置１２２に提供し得る。この例では、処理装置１２２は、さらなる処理のために、器具Ｔの位置及び向きデータを格納するように構成され得る。１つのシナリオでは、画像処理装置１２２は、器具Ｔの受信された位置及び向きデータを使用して、器具Ｔの仮想表現をディスプレイ１２６上に重ね得る。

一実施形態では、圧力又は力を検出するように構成されたセンサが、ロボットアームの最後のジョイント（例えば、リンク２２６）に結合され得る。ロボットアームの所与の動きに基づいて、センサは、ロボットアームの最後の関節に加えられた圧力の読み値をコンピューティングデバイス（例えば、ロボット装置の制御ユニット）に提供し得る。１つの例では、ロボット装置は、力又は圧力データをコンピューティングデバイス（例えば、処理装置１２２）に通信するように構成され得る。他の実施形態では、センサは、開創器（retractor）のような器具に結合され得る。この実施形態では、開創器に加えられ、センサによって検出される力又は圧力は、さらなる分析のために、ロボット装置（例えば、ロボット装置１４０、ロボット装置２００）又はコンピューティングデバイス（例えば、処理装置１２２）又はその両方に提供され得る。

１つのシナリオでは、ロボット装置は、決定されたモーションパスに沿った動きをたどる（retrace）ために、ロボット装置のメモリに記憶された移動データにアクセスし得る。一例では、ロボット装置は、手術部位に到達するために、又は手術部位から離れるために、決定されたモーションパスに沿って手術ツールを動かすように構成され得る。

別の態様では、ロボット装置（例えば、ロボット装置１４０、ロボット装置２００）は、決定されたモーションパスに沿った器具の動きを支援し得る。１つのシナリオでは、外科医は、皮膚の外側の位置にポータブル器具（例えば、器具Ｈ）を保持し、決定されたモーションパスの少なくとも一部を手術部位の画像上に重ねることによって、どのようにして軌道が関心のある解剖学的構造と交差するかを見ることによって、手術中に椎弓根スクリューの軌道を計画し得る。一例では、ロボット装置は、ツールがポータブル器具によって取り込まれた椎弓根スクリュー軌道と交差するまで、異なる軌道に沿って動くように構成され得る。この例では、ロボット装置は、理想的な椎弓根スクリューの軌道に到達したことを外科医に可聴又は視覚的な警告を介して知らせることができるコンピューティングデバイス（例えば、処理装置１２２、コンピューティングデバイス３００）への信号を提供し得る。

別のシナリオでは、ロボット装置のロボットアーム（例えば、ロボットアーム１４１、リンク２０６、２１０、２１４、２１８、２２２、２２６）に結合された器具が所望の椎弓根スクリュー軌道に到達すると、ロボット装置は、外科医からの入力を受けて所望の椎弓根スクリュー軌道に沿って移動するように構成され得る。一例では、外科医は、ロボット装置が所望の椎弓根スクリュー軌道に沿って移動することを可能にするという外科医の決定を確認するために、ロボット装置に入力を提供し得る（例えば、ペダル１４２を押す）。別の例では、ユーザは、決定されたモーションパスに沿った器具の動きを支援するために、ロボット装置又はコンピューティングデバイスのいずれかに別の形式の入力を提供し得る。

一つのシナリオでは、ロボット装置が所望の椎弓根スクリュー軌道に沿って移動することの確認を受信すると、ロボット装置は、現在の軌道から所望の椎弓根スクリュー軌道に旋回するように動作ユニット３０４から指示を受信し得る。動作ユニット３０４は、ロボット装置が所望の椎弓根スクリュー軌道に沿って移動することを可能にするために必要な動作データを制御ユニット３０６に提供し得る。

本発明の別の態様では、ロボット装置（例えば、ロボット装置１４０、ロボット装置２００）は、ポータブル器具（例えば、器具Ｈ）の取り込まれた姿勢に基づいて、重要領域のまわりを旋回するように構成され得る。例えば、ロボット装置は、軟組織のレトラクション（retraction）に関連する全てのステップを反復する必要がないように、開創器の先端周りに開創器を旋回させるように構成され得る。一例では、動作ユニット３０４は、開創器を旋回させるのに必要な軌道を決定し得る。

一例では、ロボット装置は、軟組織を手術部位から離して保持している開創器に結合され得る。この例では、外科医は、患者の動きのために、開創器をわずかに再配置する必要があることがある。そうするために、外科医は、ロボットアーム（例えば、ロボットアーム１４１、リンク２０６、２１０、２１４、２１８、２２２、及び２２６）を動作ユニット３０４によって決定される軌道に従って動かすことによって、開創器を旋回させるロボット装置のモードを作動させ得る。一例では、ユーザは、コンピューティングデバイス（例えば、処理装置１２２、コンピューティングデバイス３００）を介して所望の移動の方向及び量を入力し得る。移動の方向及び量が入力された後、ユーザ（例えば、外科医）は、ロボットアームに結合された器具の移動を開始するために、ロボット装置とインタフェースし得る（例えば、ペダル１４２を押す）。一例では、ロボット装置は、ドッキングポイントから係合解除することなく、ユーザが解剖学的構造の異なる側面を見ることを可能にする。

別の例では、動作ユニット３０４は、ポータブル器具（例えば、機器Ｈ）の取り込まれた姿勢に基づく１つ又は複数の軌道を、ディスプレイ１２６上に表示するためにコンピューティングデバイス（例えば、処理装置１２２）に提供し得る。この例では、ユーザは、所与の処置に関連付けられる１つ又は複数の所定の動きから選択され得る。例えば、所与の所定の動きは、ロボット装置１４０のペダル１４２を押すことの使用を通して実行される特定の動きの方向及び量に関連付けられ得る。

本発明の別の態様では、１つ又は複数の赤外線（ＩＲ）反射器又はエミッタが、ロボット装置（例えば、ロボット装置１４０、ロボット装置２００）のロボットアーム（例えば、ロボットアーム１４１、ロボットアーム２０６、２１０、２１４、２１８、２２２、及び２２６）に結合され得る。１つのシナリオでは、追跡装置１３０は、ロボット装置の動作を開始する前に、１つ又は複数のＩＲ反射器又はエミッタの位置を決定するように構成され得る。このシナリオでは、追跡装置１３０は、さらなる処理のために、１つ又は複数のＩＲ反射器又はエミッタの位置情報をコンピューティングデバイス（例えば、処理装置１２２、コンピューティングデバイス３００）に提供し得る。

一例では、処理装置１２２又はコンピューティングデバイス３００は、ロボットアームに結合された１つ又は複数のＩＲ反射器又はエミッタの位置情報を、ロボットアームの場所又は位置の決定を支援するために、ロボット装置に関する情報（例えば、ロボット装置の幾何学モデル）を含むローカル又はリモートデータベースに記憶されたデータと比較するように構成され得る。一例では、処理装置１２２は、追跡装置１３０によって提供される情報からロボットアームの第１の位置を決定し得る。この例では、処理装置１２２は、ロボットアームの決定された第１の位置をロボット装置又はコンピューティングデバイス（例えば、コンピューティングデバイス３００）に提供し得る。一例では、ロボット装置は、受信された第１の位置データを使用して、ロボットアームの１つ又は複数のジョイントに関連する１つ又は複数の要素（例えば、エンコーダ、アクチュエータ）の較正を実行し得る。

１つのシナリオでは、ロボット装置のロボットアームに結合された器具を使用して、器具の予想される先端位置と器具の実際の先端位置との間の差を決定し得る。このシナリオでは、ロボット装置は、ツールの先端が既知の位置と接触するように、追跡装置１３０によって器具を既知の位置に移動させるように進行し得る。追跡装置１３０は、ロボットアームに結合された１つ又は複数のＩＲ反射器又はエミッタに対応する位置情報を取り込み、その情報をロボット装置又はコンピューティングデバイス（例えば、処理装置１２２、コンピューティングデバイス３００）に提供し得る。さらに、ロボット装置又はコンピューティングデバイスのいずれかは、ツールの予想される先端位置及びツールの実際の先端位置に基づいて、ロボット装置と追跡装置１３０との間の座標系オフセットを調整するように構成され得る。

別の態様では、力又は圧力センサが、ロボットアーム（例えば、ロボットアーム１４１、リンク２０６、２１０、２１４、２１８、２２２、及び２２６）のロボット装置（例えば、ロボット装置１４０、ロボット装置２００）に結合され得る。一例では、力センサ又は圧力センサは、ロボットアームのエンドエフェクタ上に配置され得る。別の例では、力センサ又は圧力センサは、ロボットアームの所与のジョイントに結合され得る。力又は圧力センサは、いつ力又は圧力の読み値が静止しきい値を上回るかを決定するように構成され得る。静止しきい値は、エンドエフェクタが、（例えば、ユーザが器具を移動しようと試みる）器具に追加の力又は圧力を加えることなく、器具を保持しているときにセンサで受ける力又は圧力に基づき得る。一例では、力又は圧力の読み値が静止閾値以下である場合、ロボットアームは動きを停止し得る。

一例では、ロボットアーム１４１の動きは、ペダル１４２の押し下げによって制御され得る。例えば、ペダル１４２が押し下げられている間、制御ユニット３０６及び動作ユニット３０４は、１つ又は複数の力センサからの力又は圧力の任意の測定値を受信するように構成され、受信された情報を使用してロボットアーム１４１の軌跡を決定し得る。

別の例では、ロボットアーム１４１の動きは、ペダル１４２がどれだけ押し下げられているかによって調節され得る。例えば、ユーザがペダル１４２を全量に押し下げる場合、ロボットアーム１４１は、ペダル１４２が半分の量で押し下げられるときよりも速い速度で動き得る。別の例では、ロボットアーム１４１の動きは、ロボット装置上に配置されたユーザインタフェースによって制御され得る。

一例では、ロボット装置（例えば、ロボット装置１４０、ロボット装置２００）は、ローカル又はリモートメモリに、ポータブル器具の移動に基づくユーザ定義モーションパスに対応する移動データを記憶するように構成され得る。この例では、ロボット装置は、記憶された移動データに対応する軌道に沿って１つ又は複数の方向に移動するように構成され得る。例えば、外科医は、ロボット装置に、記憶された移動データに対応する軌道に沿って逆戻りする（reverse）ように指示し得る。

本発明の別の態様では、ロボット装置（例えば、ロボット装置１４０、ロボット装置２００）を使用して、１つ又は複数の手術器具をナビゲートし、ナビゲーション情報をさらなる処理のためのコンピューティングデバイス（例えば、処理装置１２２、コンピューティングデバイス３００）に提供し得る。一例では、コンピューティングデバイスは、外科器具の仮想表現を決定するように構成され得る。さらに、コンピューティングデバイスは、手術部位の二次元又は三次元画像上に手術器具の仮想表現を重ね合わせるように構成され得る。

一例では、ロボット装置は、ロボット装置と追跡装置１３０との間の視線が遮断された場合に位置情報に対する追跡装置１３０への依存性を除去するために、追跡装置１３０間で較正手順を実行し得る。一例では、本明細書に記載されるように、ナビゲーションシステムに登録されたロボット装置、及び手術部位に対応する患者の三次元画像を使用することは、ロボット装置が、追跡装置１３０に関連する距離による精度の低下とは無関係になることを可能にし得る。

通信システム３０８は、有線通信インタフェース（例えば、パラレルポート、USBなど）及び／又は無線通信インタフェース（例えば、アンテナ、トランシーバなど）を含み、外部装置から/又は外部装置に信号を受信及び／又は提供し得る。いくつかの例では、通信システム３０８は、処理装置１２２の動作のための命令を受信し得る。追加的又は代替的に、いくつかの例では、通信システム３０８は出力データを提供し得る。

データ記憶装置３１０は、プロセッサ（複数可）３１４によってアクセスされ実行されることができるプログラムロジック３１２を記憶し得る。プログラムロジック３１２は、処理装置１２２、ロボット装置１４０、ロボット装置２００等の１つ又は複数のコンポーネントに制御を提供する命令を含み得る。例えば、プログラムロジック３１２は、ポータブル器具に関連付けられる１つ又は複数のユーザ定義軌道に基づいてロボット装置２００の動作を調整する命令を提供し得る。データ記憶装置３１０は、光学、磁気、及び／又は有機記憶装置（organic storage）のような、１つ又は複数の揮発性及び／又は１つ又は複数の不揮発性記憶コンポーネントを含み得、データ記憶装置は、全体的に又は部分的にプロセッサ（複数可）３１４と一体化され得る。

プロセッサ（複数可）３１４は、１つ又は複数の汎用プロセッサ及び／又は１つ又は複数の特殊目的プロセッサを含み得る。プロセッサ３１４が１より多いプロセッサを含む範囲において、このようなプロセッサは、別々に、又は組み合わせて動作し得る。例えば、第１プロセッサは、動作ユニット３０４を動作させるように構成され得、プロセッサ３１４の第２プロセッサは、制御ユニット３０６を動作させ得る。

さらに、コンポーネントの各々は、処理装置１２２、ロボット装置１４０、又はロボット装置２００に統合されるように示されているが、いくつかの実施形態では、１つ又は複数のコンポーネントが、有線又は無線接続を使用して、別の方法で処理装置１２２、ロボット装置１４０、又はロボット装置２００に（例えば、機械的又は電気的に）接続されるように取り外し可能に取り付けられ得る。

図４は、例示的な実施形態に従って構成された例示的なコンピュータ可読媒体を示す。例示的な実施形態では、例示的なシステムは、１つ又は複数のプロセッサ、１つ又は複数の形式のメモリ、１つ又は複数の入力デバイス/インタフェース、１つ又は複数の出力デバイス/インタフェース、及び１つ又は複数のプロセッサによって実行されるときにシステムに上述の様々な機能タスク、機能などを実行させる機械可読命令を含み得る。

上述のように、いくつかの実施形態では、開示された技術（例えば、ロボット装置１４０、ロボット装置２００、処理装置１２２、コンピューティングデバイス３００などの機能）は、コンピュータ可読記憶媒体上に機械可読フォーマットで符号化されたコンピュータプログラム命令によって、又は他の媒体又は製品上に実装され得る。図４は、本明細書に開示される少なくともいくつかの実施形態に従って構成される、コンピュータプロセスをコンピューティングデバイス上で実行するためのコンピュータプログラムを含む、例示的なコンピュータプログラム製品の概念的部分図を示す概念図である。

一実施形態では、例示的なコンピュータプログラム製品４００は、信号伝送媒体（signal bearing medium）４０２を用いて提供される。信号伝送媒体４０２は、１つ又は複数のプロセッサによって実行される場合、図１～３に関して上述した機能又は機能の一部を提供し得る１つ又は複数のプログラミング命令４０４を含み得る。いくつかの例では、信号伝送媒体４０２は、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、デジタルテープ、メモリ等のようなコンピュータ可読媒体４０６であり得るが、これらに限定されない。いくつかの実装では、信号伝送媒体４０２は、メモリ、読取り/書込み（R/W）CD、R/W DVD等のようなコンピュータ記録可能媒体４０８であり得るが、これらに限定されない。いくつかの実装では、信号伝送媒体４０２は、通信媒体４１０（例えば、光ファイバケーブル、導波路、有線通信リンク等）であり得る。したがって、例えば、信号伝送媒体４０２は、無線形態の通信媒体４１０によって伝達されてもよい。

１つ又は複数のプログラミング命令４０４は、例えば、コンピュータ実行可能命令及び／又は論理実装命令であり得る。いくつかの例では、コンピューティングデバイスは、コンピュータ可読媒体４０６、コンピュータ記録可能媒体４０８、及び／又は通信媒体４１０のうちの１つ又は複数によってコンピューティングデバイスに伝達されるプログラミング命令４０４に応答して、種々の操作、機能、又は動作を提供するように構成され得る。

コンピュータ可読媒体４０６はまた、互いに離れて配置され得る複数のデータ記憶素子の間に分散され得る。記憶された命令の一部又は全部を実行するコンピューティングデバイスは、外部コンピュータ、又はスマートフォン、タブレットデバイス、パーソナルコンピュータ、ウェアラブルデバイスなどのようなモバイルコンピューティングプラットフォームであり得る。代替的には、記憶された命令の一部又は全部を実行するコンピューティングデバイスは、サーバのようなリモートに配置されたコンピュータシステムであってもよい。

図５、６、９、及び１０は、本明細書に記載される少なくとも１つ又は複数の実施形態による、手術処置中の例示的方法のフロー図である。各図のブロックは、順番に示されているが、ブロックは、いくつかの例では、並列に、及び／又はそこに記載されているものとは異なる順序で実行されてもよい。また、種々のブロックは、所望の実装に基づいて、より少ないブロックに結合され、追加のブロックに分割され、及び／又は除去されてもよい。

加えて、図５、６、９、１０のフロー図は、本実施形態の可能な実装の機能及び動作を示す。この点に関し、各ブロックは、特定の論理機能又はプロセス内のステップを実装するためにプロセッサによって実行可能な１つ又は複数の命令を含む、モジュール、セグメント、又はプログラムコードの一部を表し得る。プログラムコードは、例えばディスク又はハードドライブを含む記憶装置のような任意のタイプのコンピュータ可読媒体に記憶され得る。コンピュータ可読媒体は、レジスタメモリ、プロセッサキャッシュ、又はランダムアクセスメモリ（ＲＡＭ）のような短時間データを記憶する非一時的コンピュータ読取可能媒体、及び／又は、例えば、読み出し専用メモリ（ＲＯＭ）、光学又は磁気ディスク、又はコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）のような永続的長期記憶装置を含み得る。コンピュータ可読媒体は、任意の他の揮発性又は不揮発性記憶システムを含み得る。コンピュータ可読媒体は、例えば、コンピュータ可読記憶媒体、有形記憶装置、又は他の製品と考えられ得る。

代替的には、図５、６、９、及び１０の各ブロックは、プロセス内の特定の論理機能を実行するように配線された回路を表し得る。図５、６、９、及び１０に示されるような例示的な方法は、全体として、又は部分的に、図１のクラウド及び／又はシステム１００内の１つ又は複数のコンポーネントによって実行され得る。しかし、例示的な方法は、本発明の範囲から逸脱することなく、他のエンティティ又はエンティティの組み合わせ（すなわち、他のコンピューティングデバイス及び／又はコンピュータ装置の組み合わせ）によって代わりに実行され得ることを理解されたい。例えば、図５、６、９、及び１０の方法の機能は、コンピューティングデバイス（又は１つ又は複数のプロセッサのようなコンピューティングデバイスのコンポーネント）によって完全に実行されてもよく、又は、コンピューティングデバイスの複数のコンポーネントにわたって、複数のコンピューティングデバイス（例えば、図１の制御ユニット１１８及び画像処理装置１２２）にわたって、及び／又はサーバを通じて、分散されてもよい。

図５を参照すると、手術処置中の例示的方法５００は、ブロック５０２～５１６によって示されるように、１つ又は複数の操作、機能、又は動作を含み得る。一実施形態では、方法５００は、全体的に又は部分的に、図１のシステム１００によって実装される。

ブロック５０２によって示されるように、方法５００は、患者の手術部位の高解像度ベースライン画像を取得し、ベースライン画像セットを生成するために高解像度ベースライン画像をデジタル的に操作することを含む。

一例では、画像処理装置１２２は、低線量の放射線を用いて得られた低詳細画像から導出される高品質のリアルタイム画像をディスプレイ１２３、１２４に提供するように構成される。低線量画像はあまりにも「ノイズ」が多く、正確な画像ガイド下手術を行うには局所解剖学的構造に関する十分な情報を提供しない。全線量（full dose）画像は、手術部位の鮮明な画像を提供するが、高線量の放射線は、手術中に複数の全線量画像を撮影することを非常に問題にする。

一例では、ベースラインの高解像度全線量画像が手術部位から取得され、画像処理装置１２２に関連付けられたメモリに記憶される。処置中にＣアームを移動させる場合には、手術部位の異なる位置で複数の高解像度画像を得ることができ、次いで、これらの複数の画像は合成ベース画像を形成するように「縫合」されることがある。Ｃアームの動き、より具体的には、これらの動きの間に取得された画像を「追跡」することは、本明細書でより詳細に説明される他のステップで説明される。本議論では、イメージングシステムは相対的に固定されていると仮定され、これは、硬膜外疼痛処置、脊髄Ｋワイヤー留置又は結石摘出において生じる可能性があるような、Ｃアーム及び／又は患者の非常に限定された動きのみが考慮されることを意味する。一つのシナリオでは、ベースライン画像は、手術部位が画像内で適切に中心に置かれている（centered）ことの確認のためにディスプレイ１２３に投影される。

場合によっては、適切なベースライン画像が得られるまで、新しい全線量画像が得られ得る。Ｃアームが移動される手順では、後述するように、新しいベースライン画像がイメージング装置の新しい位置で得られる。表示された画像がベースライン画像として許容される場合、ボタンは、ディスプレイ装置１２６又はインタフェース１２５のようなユーザインタフェース上で押され得る。生理的プロセス（呼吸など）によるかなりの量の動きが予想される解剖学的領域で実施される手順では、サイクルの複数の位相にわたって同一領域について複数のベースライン画像が取得され得る。これらの画像は、ＥＣＧ又はパルスオキシメータのような他の医療器具からの時間的データにタグ付けされ得る。

ベースライン画像が取得されると、ベースライン画像セットが生成され、その中で、オリジナルのベースライン画像がデジタル的に回転され、並進され、サイズ変更されて、オリジナルのベースライン画像の何千もの順列を生成する。例えば、128×128ピクセルの典型的な二次元（２Ｄ）画像は、１ピクセル間隔でｘ及びｙ方向に±１５ピクセルを並進させ、３度間隔で±９度回転させ、２．５％間隔で９２．５％から１０７．５％に拡大することができ（４自由度、４Ｄ）、ベースライン画像セットにおいて４７，０８９画像を得ることができる。三次元（３Ｄ）画像は、ｘ軸とｙ軸に直交する２つの追加回転の追加による６Ｄ解空間（6D solution space）を意味する。オリジナルのコンピュータ断層撮影（ＣＴ）画像データセットを用いて、同様の方法で数千のデジタル再構成Ｘ線写真（ＤＲＲ）を形成することができる。従って、このステップでは、オリジナルのベースライン画像は、あたかもオリジナルのベースライン画像が異なる移動順列の各々において取得されたかのように、何千もの新しい画像表現を発生する。この「解空間」は、解空間内の画像の数及びグラフィックス処理ユニット（ＧＰＵ）がそれらの画像を生成することができる速度に依存して、画像処理装置１２２のＧＰＵのようなグラフィックスカードメモリに記憶され得る、又は、その後ＧＰＵに送られる新しい画像として形成され得る。現在の計算能力では、独立した医療グレードのコンピュータでは、ＧＰＵの複数のプロセッサが画像を各々同時に処理できるので、ほぼ８５万枚の画像を含むベースライン画像セットの生成は、ＧＰＵにおいて1秒未満で発生することができる。

ブロック５０４に示されるように、方法５００は、より低い解像度で手術部位の新しい画像を取得し、新しい画像をベースライン画像セットの１つ又は複数の画像と比較することを含む。一例では、低線量画像がＣアーム１０３を介して取得され、画像処理装置１２２に関連付けられたメモリに記憶され、ディスプレイ１２３に投影される。新しい画像は、より低い線量の放射線で得られるので、非常にノイズが多い。従って、新しい画像は、ベースライン画像セットからの画像とマージされて、より有用な情報を外科医に伝えるより明確な画像を第２のディスプレイ１２４に生成し得る。一例では、画像をマージすることは、新しい画像が、統計的に意味のある一致を見つけるためにベースライン画像セット内の画像と比較される画像認識又はレジストレーション（registration）ステップを介して達成され得る。この例を続けると、新しい「マージされた」画像が生成され、オリジナルの新しい画像のビューに隣接するディスプレイ１２４に表示され得る。手術処置を通して様々な時間で、新しいベースライン画像セットを生成するために使用される新しいベースライン画像が得られ得る。

ブロック５０６に示されるように、方法５００は、新しい画像との許容可能な相関度を有するベースライン画像セットの代表画像を選択し、選択された代表画像を新しい画像とマージして、マージされた画像を生成することを含む。一例では、ベースライン画像セットの代表画像を選択することは、現在の新しい画像をベースライン画像セット内の画像と比較することを含む。このステップは手術処置の間に起こるので、時間と正確さが重要である。好ましくは、ステップは、画像がＣアームによって撮影されるときと、マージされた画像が装置１２６に表示されるときとの間に意味のある遅延がないように、１秒未満で画像レジストレーションを得ることができる。ベースライン画像セット内の画像の数、アルゴリズム計算を実行するコンピュータプロセッサ又はグラフィックスプロセッサのサイズ及び速度、計算を実行するために割り当てられた時間、及び比較される画像のサイズ（例えば、128×128ピクセル、1024×1024ピクセルなど）などの種々の要因に依存し得る種々のアルゴリズムが使用され得る。１つのアプローチでは、４Ｄ空間全体にわたってグリッドパターンで上述の所定の位置におけるピクセル間の比較が行われる。別のヒューリスティックアプローチでは、ピクセル比較は、関連する一致のより大きい可能性を提供すると考えられる画像の領域に集中させることができる。これらの領域は、グリッド又はＰＣＡサーチ（以下に定義される）からの知識、トラッキングシステム（光学手術ナビゲーション装置など）からのデータ、又はＤＩＣＯＭファイル又は均等物からの位置データに基づいて「事前にシード」され得る。代替的には、ユーザは、ベースライン画像上に、処置に関連すると考えられる解剖学的特徴をマーキングすることによって、比較のために画像の１つ又は複数の領域を指定することができる。この入力を用いて、領域内の各ピクセルに、新しい画像がベースライン画像と比較されるときに、画像類似度関数（image similarity function）に対するピクセルの寄与をスケーリングする０と１の間の関連性スコアを割り当てることができる。関連性スコアは、集中すべき領域（複数可）又は無視すべき領域（複数可）を特定するために較正され得る。

別のアプローチでは、主成分分析（ＰＣＡ）が実行され、これは、完全解像度グリッドアプローチで許容されるよりも、割り当てられた時間内のより多くの数のより大きな画像との比較を可能にする。ＰＣＡアプローチでは、画像セットの各ピクセルがどのように相互に変化するかを決定する。共分散行列が、全解集合のごく一部（例えば、ベースライン画像セットのランダムに選択された１０％）を用いて生成され得る。ベースライン画像セットからの各画像は列ベクトルに変換される。

一例では、70×40ピクセル画像は2800×1ベクトルになる。これらの列ベクトルは平均０と分散１に正規化され、より大きい行列に結合される。共分散行列は、この大きい行列から決定され、最大の固有ベクトルが選択される。この特定の例に関して、３０のＰＣＡベクトルが、それぞれの画像の分散の約８０％を説明できることが分かった。従って、各2800×1画像ベクトルに2800×30ＰＣＡベクトルを乗算して1×30ベクトルを得ることができる。同じステップが新しい画像にも適用される－－新しい画像は2800×1画像ベクトルに変換され、2800×30ＰＣＡベクトルでの乗算は、新しい画像に対応する1×30ベクトルを生成する。解集合（solution set）（ベースライン画像）ベクトルと新しい画像ベクトルを正規化し、解空間内の各ベクトルに対する新しい画像ベクトルの内積を計算する。最大の内積（すなわち、１に最も近い）を生じる解空間ベースライン画像ベクトルは、新しい画像に最も近い画像であると決定される。本例は、分析に使用される異なる画像サイズ及び／又は異なる主成分によって変更され得ることが理解される。さらに、例えば、固有ベクトル、特異値決定、平均二乗誤差、平均絶対誤差、及びエッジ検出を利用し得る他の既知の技術が実装され得ることが理解される。さらに、種々の画像認識アプローチを画像の選択された領域に適用することができる、又は種々の統計的測度を適用して、適切な信頼閾値内に入る一致を見つけ得ることが考えられる。新しい画像と選択されたベースライン画像、又はベースライン画像セットの選択されたものとの間の相関の程度を定量化する信頼値又は相関値が割り当てられ得、この信頼値が外科医のレビューのために表示され得る。外科医は、信頼値が特定のディスプレイに対して許容可能かどうか、及び別の画像を取得すべきかどうかを決定することができる。

画像ガイド手術処置では、ツール、インプラント及び器具が必然的に画像フィールドに現れる。これらの物体は、典型的には、放射線不透過性であり、従って、視野から関連する患者の解剖学的構造をブロックする。従って、得られた新しい低線量画像は、ベースライン画像セットのいずれとも相関しないツールＴのアーチファクトを含む。従って、画像中のツールの存在は、上述の比較技術が、新しい画像とベースライン画像セットのいずれかとの間に高度のレジストレーションを生じないことを確実にする。それにもかかわらず、上記の各手順の最終結果が、統計的に関連する又はある閾値を超える、最も高い相関度を探索することである場合、画像レジストレーションは、新しい低線量画像全体、ツールアーチファクト、及びすべてを伴って実行され得る。

代替的には、画像レジストレーションステップは、新しい画像上のツールアーチファクトを考慮するように修正され得る。一つのアプローチでは、新しい低線量画像が、ツールによって「ブロックされる」画像ピクセルの数を決定するために評価され得る。この評価は、各ピクセルのグレースケール値をしきい値と比較し、そのしきい値を外れたピクセルを除外することを含むことができる。例えば、ピクセルのグレースケール値が０（完全にブロックされた）から１０（完全に透明）まで変化する場合、特定のピクセルを評価から除外するために閾値３が適用され得る。さらに、種々の追跡されるツールに対して位置データが利用可能である場合、アルゴリズム的にブロックされる領域を数学的に回避することができる。

別のアプローチでは、画像認識又はレジストレーションステップは、ベースライン画像（すなわち、Ｃアームの動きを考慮して変換されたベースライン画像）又は患者の変換されたバージョンに対する低線量画像の類似性を測定するステップを含み得る。画像ガイド手術処置では、Ｃアームシステムは同じ解剖学的構造の複数のＸ線画像を取得する。この一連の画像の過程において、たとえ解剖学的特徴が比較的安定したままであっても、システムは少しずつ移動し得、手術ツールは視野から追加又は除去され得る。以下に説明するアプローチは、ある画像に存在する解剖学的特徴を用いて、別の後の画像の欠落した詳細を埋めることによって、解剖学的特徴のこの一貫性を利用する。このアプローチは、さらに、後続の低線量画像への全線量画像の高品質の転送を可能にする。

一実施形態では、画像のスカラー関数の形態の類似度関数が、現在の低線量画像とベースライン画像との間のレジストレーションを決定するために使用される。このレジストレーションを決定するために、まず画像間で発生した増分動作を決定する必要がある。この動作は４自由度－スケール、回転、並びに垂直及び水平並進に対応する４つの数字で表すことができる。比較されることになる所与の画像のペアに対して、これらの４つの数字の知識は、同じ解剖学的特徴が両方の画像の間で同じ位置に現れるように１つの画像が操作されることを可能にする。スカラー関数は、このレジストレーションの尺度であり、相関係数、内積又は平均二乗誤差を使用して得られ得る。例として、内積スカラー関数は、２つの画像の各ピクセル対における強度値の積の和に対応する。例えば、低線量及びベースライン画像の各々において、1234、1234に位置するピクセルの強度値が乗算される。他のすべてのピクセル位置に対して同様の計算を行い、それらの乗算値のすべてをスカラー関数のために加算する。２つの画像が正確にレジストレーションされている場合、この内積は、可能な最大の大きさを有することが理解され得る。言い換えれば、最良の組み合わせが見つかった場合、対応する内積は、典型的には、Ｚスコア（すなわち、平均を上回る標準偏差の数）として報告され得る、他のものよりも高い。７．５より大きいＺスコアは、レジストレーションが偶然発見されなかったことの99.9999999%の確実性を表す。この内積を用いて求められているレジストレーションは、患者の解剖学的構造のベースライン画像と、視野及びイメージング装置が移動した又は非解剖学的物体が視野に導入された後、後で撮影された同じ解剖学的構造のリアルタイム低線量画像との間にあることに留意されたい。

このアプローチは、同じ計算を並列に実行することができる複数のプロセッサからなるＧＰＵのような並列コンピューティングアーキテクチャを使用する実行に特に適している。従って、ＧＰＵの各プロセッサは、低線量画像及びベースライン画像の１つの変換されたバージョンの類似度関数を計算するために使用され得る。このようにして、ベースライン画像の複数の変換されたバージョンは低線量画像と同時に比較されることができる。変換されたベースライン画像は、ベースラインが取得され、次いでＧＰＵメモリに格納されるときに、予め生成することができる。代替的には、テクスチャ取得（texture fetching）を用いて変換された座標から読み取ることによって、比較の間に、単一のベースライン画像をその場で記憶し変換することができる。ＧＰＵのプロセッサの数が考慮すべき変換の数を大きく超える状況では、ベースライン画像と低線量画像を異なるセクションに分割し、各セクションの類似度関数を異なるプロセッサ上で計算し、次いでマージすることができる。

２つの画像を位置合わせするための最良の変換の決定をさらに加速するために、類似度関数は、より少ないピクセルを含むダウンサンプリング画像を用いて、最初に計算することができる。このダウンサンプリングは、隣接するピクセルのグループを一緒に平均化することによって、予め実行することができる。広範囲の起こり得る動きにわたる多くの変換に対する類似度関数は、最初にダウンサンプリング画像に対して計算することができる。いったん、このセットからの最良の変換が決定されると、この変換は、より多くのピクセルを有する画像に適用される可能性のある変換のより細かいグリッドのための中心として使用することができる。このように、短時間で可能な広範囲の変換を考慮しながら、高精度で最良の変換を決定するために、複数のステップが使用される。

異なる画像における全体的な強度レベルの差によって生じる類似度関数へのバイアスを低減し、ユーザが関心のある画像における解剖学的特徴を優先的に位置合わせするために、類似度関数が計算される前に画像をフィルタリングすることができる。このようなフィルタは、理想的には、低線量画像に関連する非常に高い空間周波数ノイズを抑制し、また、重要な解剖学的詳細を欠く大きい平坦領域に関連する低空間周波数情報を抑制する。この画像フィルタリングは、例えば、畳み込み、フーリエドメインでの乗算、又はバターワースフィルタを用いて達成することができる。従って、低線量画像及びベースライン画像（複数可）の両方が、相応に、類似度関数を生成する前にフィルタリングされることが企図される。

先に説明したように、手術ツールのような非解剖学的特徴は、画像中に存在してもよく、その場合、類似度関数計算プロセスの修正は、低線量画像とベースライン画像との間のアライメント（位置合わせ）（alignment）を決定するために解剖学的特徴のみが使用されることを確実にするために必要である。ピクセルが解剖学的特徴の一部であるかどうかを識別するマスク画像を生成することができる。一態様では、解剖学的ピクセルは１の値を割り当てられ得、一方、非解剖学的ピクセルは０の値を割り当てられる。この値の割り当ては、ベースライン画像と低線量画像の両方が、類似度関数が上述のように計算される前に対応するマスク画像によって乗算されることを可能にする。言い換えると、マスク画像は、非解剖学的ピクセルを除去して、類似度関数計算への影響を回避することができる。

ピクセルが解剖学的であるか否かを決定するために、各ピクセルの周囲の近傍で様々な関数を計算することができる。近傍のこれらの関数は、標準偏差、勾配の大きさ、及び／又は元のグレースケール画像及びフィルタリングされた画像の中のピクセルの対応する値を含み得る。ピクセルの周囲の「近傍」には、5×5や3×3グリッドのような所定の数の隣接するピクセルが含まれる。さらに、これらの関数は、例えば、標準偏差の近傍の標準偏差を求めることによって、又は標準偏差と勾配の大きさの二次関数を計算することによって、合成することができる。近傍の適切な関数の一例は、骨と金属器具を区別するためのエッジ検出技術の使用である。金属は、骨よりも「シャープな」エッジを提示し、この差は、「エッジ」ピクセルの近傍の標準偏差又は勾配計算を用いて決定することができる。従って、近傍関数は、このエッジ検出アプローチに基づいてピクセルが解剖学的であるか非解剖学的であるかを決定し得、ピクセルに適切な値として１又は０を割り当て得る。

特定のピクセルに対して値のセットが計算されると、値は、以前に取得された画像の測定から決定された閾値と比較されることができ、バイナリ値が、超過された閾値の数に基づいてピクセルに割り当てられることができる。代替的には、解剖学的又は非解剖学的特徴の一部としてのピクセルの同一性についての確実性の程度を反映して、０と１との間の小数値がピクセルに割り当てられ得る。これらのステップは、画像内の１つのピクセルにおける計算をＧＰＵ上の１つのプロセッサに割り当てることによってＧＰＵで加速することができ、それによって複数のピクセルに対する値を同時に計算することができる。マスクは、侵食及び拡張のような形態学的画像操作の組み合わせを使用して、非解剖学的特徴に対応する領域を充填及び拡張するように操作することができる。

画像のレジストレーションが完了すると、新しい画像が、ベースライン画像セットからの選択された画像を用いて異なる方法で表示され得る。１つのアプローチでは、２つの画像がマージされる。２つの画像は、２つの画像のピクセルデータを加算又は平均化することによってなど、従来の方法で画像のデジタル表現を組み合わせることによってマージされ得る。一実施形態では、外科医は、ユーザインタフェース１２５を介してなど、表示された画像内の１つ又は複数の特定の関心領域を識別し得、マージ操作は、関心領域外の表示に対してベースライン画像データを利用し、関心領域内の表示に対してマージ操作を行うように構成することができる。ユーザインタフェース１２５は、ベースライン画像対マージされた画像内に表示される新しい画像の量を制御する「スライダ」を備え得る。別のアプローチでは、外科医は、相関ベースライン画像と、新しい画像又はマージされた画像との間を交互に入れ替え得る。外科医は、下にある解剖学的構造のより明確なビュー及び器具Ｔを伴う現在の視野のビューを得るためにこれらのビューを交互に入れ替え得、これは、実際には、画像を交互にすることによって、視野から器具をデジタル的に除去し、器具によってブロックされた解剖学的構造に対する器具の位置を明確にする。

ブロック５０８によって示されるように、方法５００は、手術部位へのユーザ定義パスに基づいて器具のモーションデータを取り込むことを含む。一例では、追跡装置１３０は、器具Ｈが手術処置において使用されるときに器具Ｈの１つ又は複数の画像を取り込むように構成され得る。取り込まれた１つ又は複数の画像は、器具Ｈに結合された１つ又は複数のＩＲマーカに関連付けられる向き及び位置データを決定するように処理される。次いで、１つ又は複数のＩＲマーカに関連付けられる決定された向き及び位置データは、所与の期間にわたる器具Ｈの三次元姿勢データを決定するために使用される。一例では、器具Ｈは、手術室内の既知の位置に配置されて、モーションデータを取り込むトリガを示し得る。この例を続けると、処理装置１２２は、器具Ｈが所定の時間内に移動しなかった場合に、モーションデータの取り込み終了するためのインジケータとして決定するように構成され得る。別の例では、表示装置１２６又はインタフェース１２５のようなユーザインタフェース上でボタンを押して、器具Ｈに関連付けられるモーションデータの取り込み開始と停止との間を切り替え得る。

ブロック５１０によって示されるように、方法５００はまた、取り込まれたモーションデータに対応するモーションパスを決定するステップを含み、モーションパスは、ロボット装置の１つ又は複数のコンポーネントの作動に関連付けられる。一例では、モーションパスは、ロボット装置のエンドエフェクタを取り込まれたモーションデータに従って器具Ｈの位置に対応する特定の時点の空間内の特定の位置に配置するロボット運動を含み得る。一例では、モーションパスは、時間の経過に伴う器具Ｈの位置を示す一連の（a sequence of）デカルト座標及び回転角を含み得る。

ブロック５１０は、また、或いは代わりに、ポータブル器具の１つ又は複数の赤外線反射器の位置を、患者に結合された１つ又は複数の赤外線反射器の位置と比較することを含み得る。ブロック５１０は、比較に基づいて、ポータブル器具の１つ又は複数の赤外線反射器と、患者に結合された１つ又は複数の赤外線反射器との間の距離が安全閾値内にあることを決定することをさらに含み得る。この決定に基づいて、ブロック５１０は、ロボット装置の１つ又は複数のコンポーネントの作動に対する１つ又は複数の調整を決定することをさらに含み得る。

ブロック５１２に示すように、方法５００はまた、マージされた画像上にモーションパスの一部を表示することを含む。一例では、ロボット装置１４０の助けを借りて椎弓根に椎弓根スクリューを配置するためのパイロットホール（pilot hole）を形成するために、器具Ｈは、パイロットホールが形成されることになるところの椎弓根標的部位に外科医によって前進される。この例では、追跡装置１３０は、器具Ｈの位置及び向きを取り込み、位置及び向き情報を処理装置１２２に提供するように構成される。この例を続けると、処理装置１２２は、表示のために手術部位の画像を提供し、手術部位の画像上にモーションパスの少なくとも一部を重ね合わせるように構成される。

図７を参照すると、図７は、椎体７０２及びモーションパス７０４の一部を含む手術部位の例示的な二次元のマージされた画像７００を示す。一例では、外科医は、器具Ｈを上述のように椎弓根標的部位に位置決めし、マージされた画像７００を見て、モーションパス７０４の一部の軌道が手術計画と整合しているかどうかを決定し得る。この例では、外科医が、図示されているようにモーションパス７０４の一部を観察し、パイロットホールを形成するための対応する軌道を受け入れることに基づいて、外科医は、処理装置１２２を介して入力を提供し、決定されたモーションパスに沿ってロボット装置の１つ又は複数のコンポーネントを作動させる１つ又は複数の命令を決定するために画像７００に関連するモーションパスを使用し得る。次いで、処理装置１２２は、ロボット装置１４０がモーションパス７０４の決定された一部に沿って必要な動作を実行できるようにするために、ロボット装置１４０に器具Ｈの向き及び位置情報を処理又は提供し得る。

代替的には、方法５００は、モーションパスの一部を三次元画像上に表示することを含み得る。一例では、処理装置１２２は、セグメンテーションステップを実行するように構成されるコンピュータ実行可能命令を含み得る。本明細書で使用するとき、「セグメンテーション」は、椎骨を互いに区別して分離され、治療され、操作され、表示されることができるように三次元画像データ内で個々の椎骨を識別するプロセスを記載する。セグメンテーションステップは、イメージング処理及び画像認識ソフトウェアを使用して、脊椎レベルのセグメンテーション処理を自動化するセグメンテーションアルゴリズムを用い得る。一実施形態では、コンピュータ実行可能命令は、それらが互いにセグメント化されるまで、脊柱曲線を自動的に識別し、抽出し、各個々の椎骨を検出し、識別する。１つ又は複数の適応メッシュを適用して、脊椎のセグメント化三次元モデルを生成してもよい。各椎骨又は他の解剖学的特徴は、骨－軟組織境界面を視覚的に強める（enhance）ために別々に着色されることができる、又は縁（margin）だけが着色されることができる。

図８を参照すると、図８は、他の椎骨からセグメント化された椎体８０２と、モーションパス８０４の一部とを含む、例示的な三次元画像８００を示す。一例では、外科医は、本明細書に記載されるように、器具Ｈを椎弓根標的部位に位置決めし、三次元画像８００を観察して、モーションパス８０４の一部の起動が手術計画と整合しているかどうかを判断し得る。この例では、外科医が、図示されているようにモーションパス８０４の一部を観察し、パイロットホールを形成するための対応する軌道を受け入れることに基づいて、外科医は、処理装置１２２を介して入力を提供し、決定されたモーションパスに沿ってロボット装置の１つ又は複数のコンポーネントを作動させる１つ又は複数の命令を決定するために、画像８００に関連するモーションパスを使用し得る。次いで、処理装置１２２は、ロボット装置１４０がモーションパス８０４の決定された一部に沿って必要な動作を実行できるようにするために、ロボット装置１４０に器具Ｈの向き及び位置情報を処理又は提供し得る。

再び図５を参照すると、ブロック５１４によって示されるように、方法５００はまた、決定されたモーションパスに沿って１つ又は複数のコンポーネントを作動させるための１つ又は複数の命令を決定することを含む。一例では、ロボットツールを空間内に位置決めするために、ロボットのエンドエフェクタの位置及び向きを経時的に特定するロボットについて、ジョイント角度、速度、及び／又は加速度を含む一連のロボットジョイントパラメータが決定され得る。一例では、ロボットのジョイントパラメータと特定のタイムスタンプにおけるロボットツールの位置との間の直接的なマッピングが決定され得る。一例では、直接マッピングではなく、ロボットツールの位置を近似するためにロボットジョイントパラメータが決定され得る。一実施形態では、ロボットがロボットツールを動かしている間に、けいれん的（jerking）又は切れ切れの（disconnected）動きを回避するために、ロボット及び／又はロボットツールの動き曲線を滑らかにするためにロボットの動きは修正され得る。一例では、ロボットエンドエフェクタのモーションパス内の位置は、器具Ｈとロボットエンドエフェクタとの間のサイズの差を考慮するためにスケーリングされ（scaled）得る。

一例では、決定されたモーションパスに沿って１つ又は複数のコンポーネントを作動させるための１つ又は複数の命令は、ロボットに１つ又は複数の命令が提供される前に精緻化され（refined）得る。例えば、ロボットのモーションパスは、器具Ｈの決定されたモーションパスに対して、サイズを拡大又は縮小され得る。

ブロック５１６によって示されるように、方法５００はまた、１つ又は複数の命令をロボット装置に提供することを含む。一例では、１つ又は複数の命令は、処理装置１２２とロボット装置１４０との間の無線又は有線通信インタフェースを介して提供され得る。

図６を参照すると、手術処置中の例示的方法６００は、ブロック６０２～６１６によって示されるように、１つ又は複数の操作、機能、又は動作を含み得る。一実施形態では、方法６００は、全体的に又は部分的に、図１のシステム１００によって実装される。

ブロック６０２によって示されるように、方法６００は、患者の手術部位の高解像度ベースライン画像を取得し、ベースライン画像セットを生成するために高解像度ベースライン画像をデジタル的に操作することを含む。ブロック６０２は、方法５００のブロック５０２と機能的に類似し得る。

ブロック６０４によって示されるように、方法６００はまた、より低い解像度で手術部位の新しい画像を取得し、新しい画像をベースライン画像セットの１つ又は複数の画像と比較することを含む。ブロック６０４は、方法５００のブロック５０４と機能的に類似し得る。

ブロック６０６に示されるように、方法６００はまた、新しい画像との許容可能な相関度を有するベースライン画像セットの代表画像を選択し、選択された代表画像を新しい画像とマージして、マージされた画像を生成することを含む。ブロック６０６は、方法５００のブロック５０６と機能的に類似し得る。

ブロック６０８によって示されるように、方法６００はまた、患者の手術部位における器具のユーザ定義配置に基づいて器具の姿勢を取り込むことを含む。ブロック６０８は、方法５００のブロック５０８と機能的に類似し得る。

ブロック６１０によって示されるように、方法６００はまた、器具の取り込まれた姿勢に対応するモーションパスを決定することを含み、モーションパスは、ロボット装置の１つ又は複数のコンポーネントの作動に関連付けられる。ブロック６１０は、方法５００のブロック５１０と機能的に類似し得る。

ブロック６１０はまた、或いは代わりに、ポータブル器具の１つ又は複数の赤外線反射器の位置を、患者に結合された１つ又は複数の赤外線反射器の位置と比較することを含み得る。ブロック６１０は、比較に基づいて、ポータブル器具の１つ又は複数の赤外線反射器と、患者に結合された１つ又は複数の赤外線反射器との間の距離が安全閾値内であることを決定することをさらに含み得る。この決定に基づいて、ブロック６１０は、ロボット装置の１つ又は複数のコンポーネントの作動に対する１つ又は複数の調整を決定することをさらに含み得る。

ブロック６１２によって示されるように、方法６００はまた、マージされた画像上にモーションパスの一部を表示することを含む。ブロック６１２は、方法５００のブロック５１２と機能的に類似し得る。代替的には、モーションパスの一部を椎骨の三次元画像上に表示することができる。

ブロック６１４によって示されるように、方法６００はまた、決定されたモーションパスに沿って１つ又は複数のコンポーネントを作動させるための１つ又は複数の命令を決定することを含む。ブロック６１４は、方法５００のブロック５１４と機能的に類似し得る。

ブロック６１６によって示されるように、方法６００はまた、１つ又は複数の命令をロボット装置に提供することを含む。ブロック６１６は、方法５００のブロック５１６と機能的に類似し得る。

図９を参照すると、手術処置中の例示的方法９００は、ブロック９０２～９１２によって示されるように、１つ又は複数の操作、機能、又は動作を含み得る。一実施形態では、方法９００は、全体的に又は部分的に、図１のシステム１００によって実装される。

ブロック９０２によって示されるように、方法９００は、患者の手術部位の画像を取得することを含む。一例では、手術部位の画像は二次元画像であり得る。別の例では、患者の解剖学的構造の三次元画像データセットが、手術処置の前にシステムにロードされる。この画像データセットは、術前ＣＴスキャン、術前ＭＲＩ、又は術中イメージャーから取得された術中三次元画像データセットであり得る。１つのシナリオでは、三次元画像データセットは、画像処理装置１２２にアップロードされ、一連のＤＲＲに変換されて、取得可能なすべての可能な二次元Ｃアーム画像を近似し、したがって、術中二次元画像を比較しマッチングするためのベースラインとして機能する。

ブロック９０４によって示されるように、方法９００はまた、手術部位へのユーザ定義パスに基づいて器具のモーションデータを取り込むことを含む。ブロック９０４は、方法５００のブロック５０８と機能的に類似し得る。

ブロック９０６によって示されるように、方法９００はまた、取り込まれたモーションデータに対応するモーションパスを決定することを含み、モーションパスは、ロボット装置の１つ又は複数のコンポーネントの作動に関連付けられる。ブロック９０６は、方法５００のブロック５１０と機能的に類似し得る。

ブロック９０８によって示されるように、方法９００はまた、マージされた画像上にモーションパスの一部を表示することを含む。ブロック９０８は、方法５００のブロック５１２と機能的に類似し得る。

ブロック９１０によって示されるように、方法９００はまた、決定されたモーションパスに沿って１つ又は複数のコンポーネントを作動させるための１つ又は複数の命令を決定することを含む。ブロック９１０は、方法５００のブロック５１４と機能的に類似し得る。

ブロック９１２によって示されるように、方法９００はまた、１つ又は複数の命令をロボット装置に提供することを含む。ブロック９１２は、方法５００のブロック５１６と機能的に類似し得る。

図１０を参照すると、手術処置中の例示的方法１０００は、ブロック１００２～１０１２によって示されるように、１つ又は複数の操作、機能、又は動作を含み得る。一実施形態では、方法９００は、全体的に又は部分的に、図１のシステム１００によって実装される。

ブロック１００２によって示されるように、方法１０００は、患者の手術部位の画像を取得することを含む。ブロック１００２は、方法９００のブロック９０２と機能的に類似し得る。

ブロック１００４によって示されるように、方法１０００はまた、患者の手術部位における器具のユーザ定義配置に基づいて器具の姿勢を取り込むことを含む。ブロック１００４は、方法５００のブロック５０８と的に類似し得る。

ブロック１００６によって示されるように、方法１０００はまた、器具の取り込まれた姿勢に対応するモーションパスを決定することを含み、モーションパスは、ロボット装置の１つ又は複数のコンポーネントの作動に関連付けられる。ブロック１００６は、方法５００のブロック５１０と機能的に類似し得る。

ブロック１００８によって示されるように、方法１０００はまた、マージされた画像上にモーションパスの一部を表示することを含む。ブロック１００８は、方法５００のブロック５１２と機能的に類似し得る。

ブロック１０１０によって示されるように、方法１０００はまた、決定されたモーションパスに沿って１つ又は複数のコンポーネントを作動させるための１つ又は複数の命令を決定することを含む。ブロック１０１０は、方法５００のブロック５１４と機能的に類似し得る。

ブロック１０１２によって示されるように、方法１０００はまた、１つ又は複数の命令をロボット装置に提供することを含む。ブロック１０１２は、方法５００のブロック５１６と機能的に類似し得る。

本明細書に記載される構成は、単に例示の目的のためのものであることが理解されるべきである。したがって、当業者であれば、他の構成及び他の要素（例えば、マシン、インタフェース、機能、命令、及び機能のグループ化など）を代わりに使用することができ、所望の結果に従って一部の要素が完全に省略され得ることを理解するであろう。さらに、記載される要素の多くは、任意の適切な組み合わせ及び位置において、別個の若しくは分散コンポーネントとして、又は他のコンポーネントと共に実装され得る機能的エンティティであり、又は独立した構造として記載される他の構造要素が組み合わされ得る。

Claims (9)

1. 追跡装置、ロボット装置、及び処理装置を有するシステムの作動方法であって、前記作動方法は：
   前記システムが、患者の手術部位の画像を取得することと；
   前記追跡装置が、前記手術部位へのユーザ定義パスに基づいて、器具のモーションデータを取り込むことと；
   前記処理装置が、取り込まれた前記モーションデータに基づいてモーションパスを決定することであって、前記モーションパスは、前記ロボット装置の１つ又は複数のコンポーネントの作動に対応する、決定することと；
   前記システムが、前記モーションパスの一部を前記画像上に表示することと；
   前記処理装置が、決定された前記モーションパスに沿って前記１つ又は複数のコンポーネントを作動させるための１つ又は複数の命令を決定することと；
   前記処理装置が、前記モーションパスと交差すべきではない前記手術部位内の１つ又は複数の所定の境界と前記モーションパスが交差することを決定することと；
   前記処理装置が、前記決定されたモーションパスの変化する視覚効果の表示を提供することと；
   前記処理装置が、前記１つ又は複数の命令を前記ロボット装置に提供することと；を含み、
   前記ユーザ定義パスは、外科医によって保持されるポータブル器具の動きに基づき、
   前記ポータブル器具は、１つ又は複数の赤外線反射器を有し、
   前記取り込まれたモーションデータに対応するモーションパスを決定することは：
   前記処理装置が、前記ポータブル器具の前記１つ又は複数の赤外線反射器の位置を、前記患者に結合された１つ又は複数の赤外線反射器の位置と比較することと；
   前記処理装置が、前記比較に基づいて、前記ポータブル器具の前記１つ又は複数の赤外線反射器と前記患者に結合された前記１つ又は複数の赤外線反射器との間の距離が安全閾値内にあることを決定することと；
   前記処理装置が、前記決定に基づいて、前記ロボット装置の前記１つ又は複数のコンポーネントの作動に対する１つ又は複数の調整を決定することと；をさらに含む、
   作動方法。
2. 前記手術部位の画像は、三次元画像である、
   請求項１に記載の作動方法。
3. 前記１つ又は複数の命令を前記ロボット装置に提供することは：
   前記処理装置が、前記決定されたモーションパスの前記一部が手術計画と整合することを確認する入力を受信することをさらに含む、
   請求項２に記載の作動方法。
4. 追跡装置、ロボット装置、及び処理装置を有するシステムの作動方法であって、前記作動方法は：
   前記システムが、患者の手術部位の三次元画像を取得することと；
   前記追跡装置が、患者の手術部位における器具のユーザ定義配置に基づいて前記器具の姿勢を取り込むことと；
   前記処理装置が、前記器具の取り込まれた前記姿勢に対応するモーションパスを決定することであって、前記モーションパスは、前記ロボット装置の１つ又は複数のコンポーネントの作動に関連付けられる、決定することと；
   前記処理装置が、前記三次元画像上に前記モーションパスの一部を表示することと；
   前記処理装置が、前記決定されたモーションパスに沿って前記１つ又は複数のコンポーネントを作動させるための１つ又は複数の命令を決定することと；
   前記処理装置が、前記モーションパスと交差すべきではない前記手術部位内の１つ又は複数の所定の境界と前記モーションパスが交差することを決定することと；
   前記処理装置が、前記決定されたモーションパスの変化する視覚効果の表示を提供することと；
   前記処理装置が、前記１つ又は複数の命令を前記ロボット装置に提供することと；を含み、
   前記ユーザ定義配置は、外科医によって保持されるポータブル器具の動きに基づき、
   前記ポータブル器具は、１つ又は複数の赤外線反射器を有し、
   前記取り込まれたモーションデータに対応するモーションパスを決定することは：
   前記処理装置が、前記ポータブル器具の前記１つ又は複数の赤外線反射器の位置を、前記患者に結合された１つ又は複数の赤外線反射器の位置と比較することと；
   前記処理装置が、前記比較に基づいて、前記ポータブル器具の前記１つ又は複数の赤外線反射器と前記患者に結合された前記１つ又は複数の赤外線反射器との間の距離が安全閾値内にあることを決定することと；
   前記処理装置が、前記決定に基づいて、前記ロボット装置の前記１つ又は複数のコンポーネントの作動に対する１つ又は複数の調整を決定することと；をさらに含む、
   作動方法。
5. 前記手術部位の画像は、三次元画像である、
   請求項４に記載の作動方法。
6. 前記１つ又は複数の命令を前記ロボット装置に提供することは：
   前記処理装置が、前記決定されたモーションパスの前記一部が手術計画と整合することを確認する入力を受信することをさらに含む、
   請求項５に記載の作動方法。
7. システムであって：
   追跡装置と；
   ロボット装置と；
   処理装置であって：
   プロセッサ、及び
   命令を記憶した非一時的コンピュータ可読媒体であって、前記命令は、前記プロセッサによって実行されるとき、前記システムに：
   患者の手術部位の画像を受信させ；
   患者の手術部位における器具のユーザ定義配置に基づいて前記追跡装置により前記器具の姿勢を取り込ませ；
   前記プロセッサによって、前記器具の取り込まれた前記姿勢に対応するモーションパスを決定させ、前記モーションパスは、前記ロボット装置の１つ又は複数のコンポーネントの作動に関連付けられ；
   前記モーションパスの一部を前記画像上に表示する命令を提供させ；
   前記プロセッサによって、決定された前記モーションパスに沿って前記１つ又は複数のコンポーネントを作動させるための１つ又は複数の命令を決定させ；
   前記モーションパスと交差すべきではない前記手術部位内の１つ又は複数の所定の境界と前記モーションパスが交差することを決定させ；
   ディスプレイにより前記決定されたモーションパスの変化する視覚効果の表示を提供させ；
   前記１つ又は複数の命令を前記ロボット装置に提供させる；
   非一時的コンピュータ可読媒体を有する、
   処理装置と；を有し、
   前記ユーザ定義配置は、外科医によって保持されるポータブル器具の動きに基づき、
   前記ポータブル器具は、１つ又は複数の赤外線反射器を有し、
   前記プロセッサによって実行されるとき、前記システムに、前記取り込まれたモーションデータに対応するモーションパスを決定させる命令を記憶した前記非一時的コンピュータ可読媒体は：
   前記ポータブル器具の前記１つ又は複数の赤外線反射器の位置を、前記患者に結合された１つ又は複数の赤外線反射器の位置と比較し；
   前記比較に基づいて、前記ポータブル器具の前記１つ又は複数の赤外線反射器と前記患者に結合された前記１つ又は複数の赤外線反射器との間の距離が安全閾値内にあることを決定し；
   前記決定に基づいて、前記ロボット装置の前記１つ又は複数のコンポーネントの作動に対する１つ又は複数の調整を決定する；
   命令をさらに含む、
   システム。
8. 前記手術部位の画像は、三次元画像である、
   請求項７に記載のシステム。
9. 前記プロセッサによって実行されるとき、前記システムに、前記１つ又は複数の命令を前記ロボット装置に提供させる命令を記憶した前記非一時的コンピュータ可読媒体は：
   前記決定されたモーションパスの前記一部が手術計画と整合することを確認する入力を受信する命令をさらに含む、
   請求項８に記載のシステム。

Images