JP7399982B2 - 手術中の３次元可視化 - Google Patents

Description

（関連出願の相互参照）
本出願は、2019年5月10日に出願された米国仮出願第62/846,319号に対する優先権を主張するものであり、その全開示は参照により本明細書に組み込まれる。

多くの手術処置は、臓器及び骨などの患者の体内構造の画像を取得する必要がある。いくつかの処置では、手術部位の周期的画像の助けを借りて手術を達成する。手術とは、外科医、インターベンション放射線科医、心臓専門医、疼痛管理医などのような医療従事者によって実行される侵襲的なあらゆる検査又は介入を広く意味することができる。本明細書で画像ガイド下と称する連続画像により実質的にガイドされる手術、処置、及び介入において、頻繁な患者画像は、カテーテル、針、器具又はインプラント、又は特定の医学的処置の実施を問わず、医師が外科用器具を適切に配置するために必要である。Ｘ線透視（fluoroscopy）は、術中Ｘ線撮影の一形態であり、Ｃアームとしても知られる透視ユニットによって撮影される。Ｃアームは患者を通過してＸ線を送り、骨格や血管の構造などのその部位の解剖学的構造（anatomy in）の写真を撮影する。これは、他の画像と同様、３次元（３Ｄ）空間の２次元（２Ｄ）画像である。しかし、カメラで撮影した画像と同様に、重要な３Ｄ情報は、何の前にあるか、また、あるものが他のものと比較してどれだけ大きいかに基づいて、２Ｄ画像に存在することがある。

デジタル再構成Ｘ線写真（ＤＲＲ）は、患者のＣＴスキャンを撮影し、異なる角度及び距離からＸ線を撮影することをシミュレートすることによって作成されたＸ線のデジタル表示である。その結果、例えば、Ｃアーム透視によって、その患者のために撮ることができる任意の可能なＸ線をシミュレートすることができ、これは、患者の解剖学的構造の特徴が互いにどのように見えるかということに固有かつ特異的である。「シーン（scene）」は、患者に対するＣアームの仮想位置と互いに対する角度を制御することによって制御されるので、手術室（ＯＲ）でＣアームが撮影したＸ線のように見える画像を生成することができる。

透視画像の撮影など、多くのイメージングアプローチでは、少量ではあるが、患者を放射線に曝すことを伴う。しかし、これらの画像ガイド下処置では、少量の線量が加算されるので、総放射線被曝量が患者だけでなく、外科医や放射線科医や外科処置に参加する他の者にとっても不利になる可能性がある。画像が撮影されるときの患者／外科医に対する放射線被曝量を減少させるための様々な方法が知られているが、これらのアプローチは、得られる画像の解像度を低下させる代償を伴う。例えば、あるアプローチは、標準的なイメージングとは対照的にパルスイメージングを使用するが、他のアプローチは、曝露時間又は強度を手動で変更することを含む。視野を狭くすることは、潜在的に放射線被曝の面積と量を減らすことができる（並びに放射線「散乱」の量を変えることができる）が、やはり、外科医が医学的決定を下す際に利用できる情報を減らすという代償を伴う。コリメータが利用可能であり、これは、選択可能な領域への曝露領域を特に減少させることができる。しかし、コリメータは、患者の特定の領域をＸ線曝露から明確に除外するため、これらの領域では画像が利用できない。従って、医療従事者は、特に選択された領域に限定された、患者の不完全なビューを有する。さらに、外科的介入中に撮影された画像は、しばしば、外部からのＯＲ装置又は介入を実行するために使用された実際の器具／インプラントによってブロックされる。

一実施態様では、方法は、第１の３次元画像データセットの少なくとも１つの画像から少なくとも１つの椎体をセグメント化する（segmenting）ことを含む。第１の３次元画像データセットは、脊椎の解剖学的構造（spinal anatomy）を含む手術部位の初期スキャン（initial scan）に基づく。本方法はまた、第２の３次元画像データセットの少なくとも１つの画像を受信することを含む。第２の３次元画像データセットは、手術部位の初期スキャンの後の手術部位の第２（２回目）のスキャン（second scan）に基づく。手術部位の第２のスキャンは、脊椎の解剖学的構造及び少なくとも１つの手術用インプラント（surgical implant）を含む。本方法はまた、第１の３次元画像データセットの少なくとも１つの画像からのセグメント化された少なくとも１つの椎体を、第２の３次元画像データセットの少なくとも１つの画像とレジストレーションする（registering）こと含む。本方法はまた、第２の３次元画像データセットの少なくとも１つの画像と、少なくとも１つの手術用インプラントの３次元幾何学的モデル（three-dimensional geometric model）とに基づいて、少なくとも１つの手術用インプラントの位置を決定することを含む。本方法はまた、少なくとも１つの手術用インプラントの決定された位置に基づいて、第１の３次元画像データセットの少なくとも１つの画像からのレジストレーションされ且つセグメント化された少なくとも１つの椎体上に、少なくとも１つの手術用インプラントの仮想表示（virtual representation）を重ね合わせる（overlaying）ことを含む。

別の実施形態では、方法は、第１の３次元画像データセットの画像をセグメント化することを含み、第１の３次元画像データセットは、脊椎の解剖学的構造を含む手術部位の初期スキャンに基づく。本方法はまた、第２の３次元画像データセットの画像を受信することを含む。第２の３次元画像データセットは、手術部位の初期スキャンの後の手術部位の第２のスキャンに基づく。手術部位の第２のスキャンは、脊椎の解剖学的構造及び少なくとも１つの手術用インプラントを含む。本方法はまた、第１の３次元画像データセットのセグメント化された画像を、第２の３次元画像データセットのセグメント化された画像とレジストレーションすることを含む。本方法はまた、第２の３次元画像データセットの少なくとも１つの画像と、少なくとも１つの手術用インプラントの３次元幾何学的モデルとに基づいて、少なくとも１つの手術用インプラントの位置を決定することを含む。本方法はまた、少なくとも１つの手術用インプラントの決定された位置に基づいて、第１の３次元画像データセットのレジストレーションされ且つセグメント化された画像上に、少なくとも１つの手術用インプラントの仮想表示を重ね合わせることを含む。

別の実施形態では、手術処置中に患者の内部の解剖学的構造の画像の表示を生成するためのシステムが、ディスプレイと、ディスプレイと通信するプロセッサとを有する。プロセッサは、第１の３次元画像データセットの画像をセグメント化するように構成される。第１の３次元画像データセットは、脊椎の解剖学的構造を含む手術部位の初期スキャンに基づく。プロセッサはまた、第２の３次元画像データセットの画像を受信するように構成される。第２の３次元画像データセットは、手術部位の初期スキャンの後の手術部位の第２のスキャンに基づく。手術部位の第２のスキャンは、脊椎の解剖学的構造及び少なくとも１つの手術用インプラントを含む。また、プロセッサは、第１の３次元画像データセットのセグメント化された画像を、第２の３次元画像データセットの画像とレジストレーションするように構成される。プロセッサはまた、第２の３次元画像データセットの画像と、少なくとも１つの手術用インプラントの３次元幾何学的モデルとに基づいて、少なくとも１つの手術用インプラントの位置を決定するように構成される。プロセッサはまた、少なくとも１つの手術用インプラントの決定された位置に基づいて、第１の３次元画像データセットのレジストレーションされ且つセグメント化された画像上に少なくとも１つの手術用インプラントの仮想表示を重ね合わせるように構成される。プロセッサはまた、ディスプレイを介して、少なくとも１つの手術用インプラントの仮想表示をオーバレイとして、第１の３次元画像データセットのレジストレーションされ且つセグメント化された画像上に表示するための命令を提供するように構成される。

例示的実施形態による、手術処置を実行するための例示的システムの図を示す。

例示的な実施形態による、手術処置の間に使用され得る例示的なロボット装置を示す。

例示的実施形態による、コンピューティングデバイスのブロック図を示す。

例示的実施形態による、３次元画像データセットからの画像の例示的な図を示す。

例示的な実施形態による、別の画像の例示的な図を示す。

例示的な実施形態による、第２の３次元画像データセットからの別の画像の例示的な図を示す。

例示的な実施形態による、別の画像の例示的な図を示す。

例示的実施形態による、別の画像の例示的な図を示す。

例示的実施形態による、手術中の３次元可視化のための例示的な方法のフロー図を示す。

例示的実施形態による、手術中の３次元可視化のための別の例示的な方法のフロー図を示す。

例示的な実施形態による、例示的なコンピュータ可読媒体を示す。

本発明の原理の理解を促進する目的で、以下、図面に例示され、以下の明細書に記載されている実施形態を参照する。したがって、本発明の範囲に対する限定は意図されないことが理解される。さらに、本発明は、例示された実施形態に対する任意の変更及び修正を含み、本発明が属する技術分野の当業者に通常生じる本発明の原理のさらなる適用を含むことが理解される。

一例では、手術処置中に患者の内部の解剖学的構造の画像の表示を生成するためのシステムは、ディスプレイと、ディスプレイと通信するプロセッサとを含む。一実施形態では、プロセッサは、手術処置の開始前に、イメージング装置を介してキャプチャされた患者の手術部位の３次元画像データセットを受信するように構成される。手術部位は、手術処置に関連する患者の脊椎の解剖学的構造を含む。１つのシナリオでは、患者の初期３次元スキャンは、手術処置の進行を確認するために術中に実行される患者の後のスキャンよりも高い放射線レベルで実行される。一例では、３次元スキャンは、Ｃアームイメージング装置のようなイメージング装置を介してキャプチャされる。

また、プロセッサは、脊椎の解剖学を含む手術部位の初期スキャンに基づいて、第１の３次元画像データセットの画像をセグメント化するように構成される。一例では、プロセッサは、ディープニューラルネットワークにしたがって１つ又は複数の椎体をセグメント化するための１つ又は複数の命令を実行するように構成され得る。一例では、プロセッサは、ディスプレイを介したユーザ入力に基づいて、第１の３次元画像データセットの画像をセグメント化するように構成される。一例では、ユーザ入力は、タッチスクリーンディスプレイを介して受信される。

１つのシナリオでは、手術処置の進行に応じて、手術用インプラントが手術計画に従って挿入されたかどうかを決定するために、手術部位の第２のスキャンが実行され得る。このシナリオでは、プロセッサは、第２の３次元画像データセットの画像を受信するように構成される。第２の３次元画像データセットは、手術部位の初期スキャンの後の手術部位の第２のスキャンに基づく。第２のスキャンの時点で、手術部位は、脊椎の解剖学的構造と少なくとも１つの手術用インプラントを含む。一例では、第２のスキャンに対応する放射線レベルは、初期スキャンに対応する放射線レベルよりも低いレベルである。より低い放射線レベルは、手術用インプラントの配置を決定するのに十分である。しかしながら、より低い放射線レベルのため、第２の３次元画像データセットの解像度は、手術用インプラントが手術計画に従って挿入されたかどうかを決定するために、ユーザ（例えば、外科医）にとって十分ではない場合がある。第２の３次元画像データセットの解像度を克服するために、プロセッサは、第１の３次元画像データセットのセグメント化された画像を第２の３次元画像データセットの画像にレジストレーションするように構成される。プロセッサはまた、第２の３次元画像データセットの画像及び少なくとも１つの手術用インプラントの３次元幾何学的モデルと共に使用される１つ又は複数のイメージングアルゴリズムに基づいて、手術用インプラントの位置を決定するように構成される。プロセッサはまた、少なくとも１つの手術用インプラントの決定された位置に基づいて、第１の３次元画像データセットのレジストレーションされ且つセグメント化された画像上に、少なくとも１つの手術用インプラントの仮想表示を重ね合わせるように構成される。プロセッサはまた、ディスプレイを介して、少なくとも１つの手術用インプラントの仮想表示をオーバレイとして、第１の３次元画像データセットのレジストレーションされ且つセグメント化された画像上に表示するための命令を提供するように構成される。

図面を参照すると、図１は、手術処置を実施し、手術処置中の患者の内部の解剖学的構造の画像の表示を生成するための例示的なシステム１００の図である。例示的なシステム１００は、Ｃアームイメージング装置１０３を支持するベースユニット１０２を含む。Ｃアームは、患者Ｐの下に位置し、放射線ビームを受信機１０５に上方に向ける放射線源１０４を含む。Ｃアーム１０３の受信機１０５は、画像データを処理装置１２２に送信する。処理装置１２２は、手術処置の間に使用される様々な器具Ｔの位置情報を取得するために、トラッキング装置１３０と通信し得る。トラッキング装置１３０は、マーカ１５０などの種々の追跡要素の位置情報を提供するために、ロボット装置１４０と通信し得る。ロボット装置１４０及び処理装置１２２は、１つ又は複数の通信チャネルを介して通信し得る。

ベースユニット１０２は、制御パネル１１０を含み、これを通して、ユーザは、Ｃアーム１０３の位置及び放射線曝露を制御することができる。従って、制御パネル１１０は、放射線技師が、外科医の指示で手術部位の「画像を撮影」し、放射線線量を制御し、放射線パルス画像（radiation pulse image）を開始することを可能にする。

Ｃアーム１０３は、手術部位の異なるビューイング角度（viewing angles）のために矢印１０８の方向に患者Ｐの周りを回転し得る。一例では、Ｃアーム１０３は、患者の３次元スキャンをキャプチャするために使用される。一例では、初期３次元スキャンが、第１の３次元画像データセットを提供するために使用され、第２の３次元スキャンが、第２の３次元画像データセットを提供するために使用される。一例では、第１の３次元画像データセット及び第２の３次元画像データセットは、蛍光透視画像又はコンピュータ断層撮影スキャン画像のうちの１つ又は複数を含む。別の例では、第１の３次元画像データセット及び第２の３次元画像データセットは、蛍光透視画像を含み、手術部位の初期スキャンは、手術部位の第２のスキャンよりも高い放射線レベルに関連付けられる。別の例では、第２のスキャンは、第１の３次元画像データセットの少なくとも１つの画像からの、１つの椎体に関連付けられる複数の手術用インプラントを含む。

場合によっては、インプラント又は器具Ｔが手術部位に位置することがあり、その部位を妨げずに見るためにビューイング角度を変化させる必要がある。従って、患者に対する、より具体的には、関心のある手術部位に対する受信機の位置は、外科医又は放射線科医が必要に応じて処置の間に変化し得る。従って、受信機１０５は、トラッキング装置１３０を用いてＣアーム１０３の位置のトラッキングを可能にする、そこに取り付けられたトラッキングターゲット１０６を含み得る。単なる例として、トラッキングターゲット１０６は、ターゲットの周囲に間隔を置いて配置された複数の赤外線反射器又はエミッタを含み得、一方、トラッキング装置１３０は、トラッキングターゲット１０６によって反射又は放射された赤外線信号から受信機１０５の位置を三角測量するように構成される。

処理装置１２２は、それに関連付けられたデジタルメモリと、デジタル及びソフトウェア命令を実行するためのプロセッサとを含むことができる。処理装置１２２はまた、表示装置１２６のディスプレイ１２３及び１２４としての投影のためのデジタル画像を生成するためにフレームグラバ技術を使用するフレームグラバを組み込み得る。ディスプレイ１２３及び１２４は、処置中に外科医がインタラクティブに見るために配置される。２つのディスプレイ１２３及び１２４は、側面及び前後（Ａ／Ｐ）のような２つのビューからの画像を示すために使用され得る、又はベースラインスキャン及び手術部位の現在のスキャンを示し得る。キーボード又はタッチスクリーンのような入力装置１２５が、外科医が画面上の画像を選択及び操作することを可能にする。入力装置は、処理装置１２２によって実行される種々のタスク及び機能（features）に対応するキー又はタッチスクリーンアイコンのアレイを組み込み得ることが理解される。処理装置１２２は、受信機１０５から得られた画像データをデジタルフォーマットに変換するプロセッサを含む。場合によっては、Ｃアーム１０３は、シネマティック露出モード（cinematic exposure mode）で動作し、毎秒多数の画像を生成し得る。これらの場合では、複数の画像が短時間にわたって単一の画像に平均化して、動きのアーチファクト及びノイズを低減することができる。

一例では、初期３次元スキャンが取得されると、３次元画像が、デジタル的に回転され、平行移動され（translated）、サイズ変更されて、３次元画像の数千の並べ替え（permutations）を生成する３次元画像データセットが生成される。例えば、１２８×１２８ピクセルの典型的な２次元（２Ｄ）画像が、１ピクセル間隔でｘ及びｙ方向に±１５ピクセル平行移動され得、３°間隔で±９°回転され得、２．５％間隔で９２．５％から１０７．５％にスケーリングされ（scaled）得（４自由度、４Ｄ）、画像データセット内に４７，０８９個の画像を生成し得る。３次元（３Ｄ）画像は、ｘ軸及びｙ軸に直交する２つの追加回転の追加による６Ｄ解空間を意味する。オリジナルのコンピュータ断層撮影画像データセットは、同様のやり方で何千ものデジタル的に再構成されたＸ線写真を形成するために使用することができる。従って、元の（original）３次元画像は、あたかも初期３次元画像が異なる動きの配列（movement permutations）のそれぞれで取得されたかのように、何千もの新しい画像表現を生み出す。この「解空間（solution space）」は、解空間内の画像の数及びグラフィックス処理ユニット（ＧＰＵ）がこれらの画像を生成することができる速度に依存して、処理装置１２２のＧＰＵのようなグラフィックスカードメモリに記憶されるか、又は、その後、ＧＰＵに送られる新しい画像として形成される。

手術処置の間、新しい３次元画像は、より低い放射線量で取得され、処理装置１２２に関連付けられたメモリに記憶される。新しい画像は、より低い放射線量で得られるので、非常にノイズが多いことがある。一例では、処理装置１２２は、ユーザ（例えば、外科医）により有用な情報を伝達する表示のために、より鮮明な画像を生成するために、初期３次元画像データセットからのセグメント化された画像と新しい画像を「マージする（merge）」ように構成される。新しい画像は、統計的に意味のある一致を見つけるために、初期３次元画像データセットの画像と比較される。

一例では、画像レジストレーションは１秒未満で行われるので、画像がＣアーム１０３によって撮影されるときと、マージされた画像が表示装置１２６に示されるときとの間に意味のある遅延が生じない。初期３次元画像データセット内の画像の数、アルゴリズム計算を実行するコンピュータプロセッサ又はグラフィックスプロセッサのサイズ及び速度、計算を実行するために割り当てられた時間、及び比較される画像のサイズ（例えば、１２８×１２８ピクセル、１０２４×１０２４ピクセルなど）などの種々の要因に依存し得る種々のアルゴリズムが用いられ得る。１つのアプローチでは、４Ｄ又は６Ｄ空間全体にわたるグリッドパターン内で上述の所定の位置におけるピクセル間の比較が行われる。別のヒューリスティックア（heuristic）プローチでは、ピクセル比較は、関連する一致のより大きな可能性を提供すると考えられる画像の領域に集中させることができる。これらの領域は、グリッド又はＰＣＡサーチ（以下に定義される）からの知識、トラッキングシステム（光学式外科手術用ナビゲーション装置など）からのデータ、又はＤＩＣＯＭファイル若しくは同等物からの位置データに基づいて「プレシードされ（pre-seeded）」得る。代替的には、ユーザは、初期３次元画像上に、処置に関連すると考えられる解剖学的構造の特徴をマーキングすることによって、比較のために画像の１つ又は複数の領域を指定することができる。この入力を用いて、領域内の各ピクセルに、新しい画像が初期３次元画像と比較されるときに、画像類似度関数（image similarity function）に対する画素の寄与をスケーリングする（scales）０と１の間の関連性スコア（relevance score）を割り当てることができる。関連性スコアは、集中すべき領域（複数可）又は無視すべき領域（複数可）を識別するために較正され得る。一例では、第１の３次元画像データセットのセグメント化された画像を第２の３次元画像データセットの画像とレジストレーションすることは、第１の３次元画像データセットの少なくとも１つの画像からの、１つの椎体内に含まれる画像情報の水平平行移動（horizontal translation）、垂直平行移動（vertical translation）、回転、及びスケーリングのうちの１つ又は複数を含む。

トラッキング装置１３０は、手術処置において使用される種々の要素（例えば、赤外線反射器又はエミッタ）に関連付けられる位置データを決定するためのセンサ１３１及び１３２を含む。一例では、センサ１３１及び１３２は、電荷結合素子（ＣＣＤ）イメージセンサであり得る。別の例では、センサ１３１及び１３２は、相補型金属酸化物半導体（ＣＭＯＳ）イメージセンサであり得る。また、記載される機能を達成するために、他のイメージセンサを使用してもよいことも想定される。

本発明の一態様では、ロボット装置１４０は、手術処置の間、患者Ｐに対して器具Ｔを保持することを支援し得る。１つのシナリオでは、ロボット装置１４０は、患者Ｐが手術処置の間に、（例えば、呼吸のために）動く、又は（例えば、患者の体の操作のために）動かされる際に、患者Ｐに対して器具Ｔをある位置に維持するように構成され得る。

ロボット装置１４０は、ロボットアーム１４１、ペダル１４２、及び移動ハウジング１４３を含み得る。ロボット装置１４０はまた、ディスプレイ１２６と通信し得る。ロボット装置１４０はまた、固定装置によって手術台に結合されるように構成され得る。

ロボットアーム１４１は、手術処置に応じて、１つ又は複数のエンドエフェクタを受け入れるように構成され得る。一例では、ロボットアーム１４１は６つのジョイントアームであり得る。この例では、各ジョイントは、その角度値を測定するエンコーダを含む。１つ又は複数のエンコーダによって提供される運動データは、６つのジョイントの既知の幾何学的形状と組み合わされて、ロボットアーム１４１の位置及びロボットアーム１４１に結合された器具Ｔの位置の決定を可能にし得る。また、本明細書に記載の機能性を達成するために、異なる数のジョイントを使用してもよいと考えられている。

移動ハウジング１４３は、ホイール又はハンドル又はその両方の使用を通じてロボット装置１４０の取り扱いを容易にする。一実施形態では、移動性ベースは、固定パッド又は均等な装置を含み得る。移動ハウジング１４３はまた、ロボットアーム１４１に１つ又は複数のコマンドを提供し、外科医がタッチスクリーン、マウス、ジョイスティック、キーボード又は同様のデバイスなどのインタフェースの使用を通じて手動でデータを入力することを可能にする制御ユニットを含み得る。

図２は、手術処置中に使用され得る例示的なロボット装置２００を示す。ロボット装置２００は、プロセッサ、メモリ又はストレージなどのハードウェア、及びロボット装置２００が手術処置で使用するためにロボット装置を動作させることを可能にするセンサを含み得る。ロボット装置２００は、電気モータ、空気圧モータ、油圧モータなどの種々の手段によって動力を供給され得る。ロボット装置２００は、ベース２０２、リンク２０６、２１０、２１４、２１８、２２２、及び２２６、ジョイント２０４、２０８、２１２、２１６、２２０、２２４及び２３０、ならびにマニピュレータ２２８を含む。

ベース２０２は、ロボット装置２００を支持するためのプラットフォームを提供することができる。ベース２０２は、静止し得る、又は、ロボット装置２００の動きを提供するためにホイールに結合され得る。ベースは、ロボット装置２００に関連する所定の環境に適し得る、アルミニウム、スチール、ステンレススチールなどの任意の数の材料を含み得る。

リンク２０６、２１０、２１４、２１８、２２２、及び２２６は、プログラム可能な命令セットに従って動かされるように構成され得る。例えば、リンクは、ユーザの監督の下でタスクを達成するために、所定のセットの動きに従うように構成され得る。例として、リンク２０６、２１０、２１４、２１８、２２２、及び２２６は、ジョイント２０４、２０８、２１２、２１６、２２０、２２４、及び２３０の所与のジョイントにおけるリンク２０６、２１０、２１４、２１８、２２２、及び２２６の所与のリンクの相対運動を定める運動学的チェーン（kinematic chain）を形成し得る。

ジョイント２０４、２０８、２１２、２１６、２２０、２２４、及び２３０は、機械的歯車システムの使用を介して回転するように構成され得る。一例では、機械的歯車システムは、波動歯車装置、サイクロイドドライブ等によって駆動され得る。選択される機械的歯車システムは、リンク２０６、２１０、２１４、２１８、２２２、及び２２６の所与のリンクの長さ、回転速度、所望の歯車減速等のような、ロボット装置２００の動作に関連するいくつかの要因に依存し得る。ジョイント２０４、２０８、２１２、２１６、２２０、２２４、及び２３０に動力を供給することにより、マニピュレータ２２８が環境と相互作用することを可能にするようにリンク２０６、２１０、２１４、２１８、２２２、及び２２６が動かされることを可能にする。

マニピュレータ２２８は、ロボット装置２００が環境と相互作用することを可能にするように構成され得る。一例では、マニピュレータ２２８は、手術器具を把持するなどの様々な動作を通じて要素の適切な配置を実行し得る。例として、マニピュレータは、ロボット装置２００に異なる機能を提供する別のエンドエフェクタと交換され得る。

ロボット装置２００は、ロボットオペレーティングシステム（例えば、ロボットの特定の機能のために設計されたオペレーティングシステム）に従って動作するように構成され得る。ロボットオペレーティングシステムは、ロボットアプリケーションを可能にするために、ライブラリ及びツール（例えば、ハードウェア抽象化、デバイスドライバ、ビジュアライザ、メッセージパッシング、パッケージ管理など）を提供し得る。

図３は、例示的な実施形態によるコンピューティングデバイス３００のブロック図である。いくつかの例では、図３に示されるいくつかのコンポーネントは、複数のコンピューティングデバイス（例えば、デスクトップコンピュータ、サーバ、ハンドヘルドデバイスなど）にわたって分散され得る。しかしながら、例のために、コンポーネントは、一例のデバイスの一部として図示され、説明される。コンピューティングデバイス３００は、インタフェース３０２、移動ユニット３０４、制御ユニット３０６、通信システム３０８、データストレージ３１０、及びプロセッサ３１４を含み得る。図３に示されるコンポーネントは、通信リンク３１６によって互いにリンクされ得る。いくつかの例では、コンピューティングデバイス３００は、コンピューティングデバイス３００及び別のコンピューティングデバイス（図示せず）内の通信を可能にするためのハードウェアを含み得る。一実施形態では、ロボット装置１４０又はロボット装置２００は、コンピューティングデバイス３００を含み得る。

インタフェース３０２は、コンピューティングデバイス３００が別のコンピューティングデバイス（図示せず）と通信することを可能にするように構成され得る。したがって、インタフェース３０２は、１つ又は複数のデバイスから入力データを受信するように構成され得る。いくつかの例では、インタフェース３０２は、また、コンピューティングデバイス３００によって受信及び送信されるデータを維持及び管理し得る。他の例では、データは、コンピューティングデバイス３００の他のコンポーネントによって維持及び管理され得る。インタフェース３０２はまた、データを送受信するための受信機及び送信機を含み得る。いくつかの例では、インタフェース３０２はまた、同様に入力を受け取るために、キーボード、マイクロホン、タッチスクリーン等のようなユーザインタフェースを含み得る。さらに、いくつかの例では、インタフェース３０２は、ディスプレイ、スピーカなどの出力装置とインタフェースし得る、

例として、インタフェース３０２は、ロボット装置（例えば、ロボット装置１４０、ロボット装置２００）が存在する環境の１つ又は複数の要素に対応する位置情報を示す入力を受信し得る。この例では、環境は、手術処置中に機能するように構成されるロボット装置を含む病院の手術室であり得る。また、インタフェース３０２は、ロボット装置に関連付けられた情報を受信するように構成され得る。例えば、ロボット装置に関連する情報は、ロボット装置の動作特性と、ロボット装置のコンポーネントとの可動範囲とを含み得る。

コンピューティングデバイス３００の制御ユニット３０６は、ロボット装置（例えば、ロボット装置１４０、ロボット装置２００）の要素（例えば、ロボットアーム１４１、ロボットペダル１４２、ジョイント２０４、２０８、２１２、２１６、２２０、２２４、及び２３０、マニピュレータ２２８など）及び１つ又は複数の他の装置（例えば、処理装置１２２、トラッキング装置１３０など）とデータを交換する制御ソフトウェアを実行するように構成され得る。制御ソフトウェアは、ロボット装置と通信するユーザインタフェース及びディスプレイモニタ（例えば、ディスプレイ１２６）を介してユーザと通信し得る。制御ソフトウェアはまた、有線通信インタフェース（例えば、パラレルポート、ＵＳＢなど）及び／又は無線通信インタフェース（例えば、アンテナ、トランシーバなど）を介して、トラッキング装置１３０及び処理装置１２２と通信し得る。制御ソフトウェアは、ロボットアーム（例えば、ロボットアーム１４１、リンク２２６）に取り付けられた器具Ｔにおいてユーザによって加えられた力（efforts）を測定するために１つ又は複数のセンサと通信し得る。制御ソフトウェアは、マーカ（例えば、マーカ１５０）に対するロボットアームの位置を制御するために、ロボットアームと通信し得る。

上述のように、制御ソフトウェアは、トラッキング装置１３０と通信し得る。１つのシナリオでは、トラッキング装置１３０は、患者Ｐに取り付けられたマーカ１５０を追跡するように構成され得る。例として、マーカ１５０は、患者Ｐの椎骨の棘突起に取り付けられ得る。この例では、マーカ１５０は、マーカ１５０の位置を決定するためにトラッキング装置１３０に可視である１つ又は複数の赤外線反射器を含み得る。別の例では、複数のマーカが１つ又は複数の椎骨に取り付けられ、器具Ｔの位置を決定するために使用され得る。

一例では、トラッキング装置１３０は、マーカ１５０の位置情報のほぼリアルタイムの更新をロボット装置１４０の制御ソフトウェアに提供し得る。ロボット装置１４０は、有線及び／又は無線インタフェースを介してトラッキング装置１３０からマーカ１５０の位置情報の更新を受信するように構成され得る。マーカ１５０の位置情報の受信された更新に基づいて、ロボット装置１４０は、患者Ｐに対する器具Ｔの所望の位置を維持するために器具Ｔの第１の位置に対する１つ又は複数の調整を決定するように構成され得る。

制御ソフトウェアは、独立したモジュールを含み得る。例示的な実施形態では、これらの独立したモジュールは、リアルタイム環境下で同時に動作し、共用メモリを使用して、制御ソフトウェアの種々のタスクの管理を確実にする。モジュールは、例えば、最も高い優先度を有する安全モジュールのように、異なる優先度を有し得る。安全モジュールは、ロボット装置１４０の状態を監視し得る。１つのシナリオでは、安全モジュールは、例えば、非常停止、ソフトウェア故障、又は障害物との衝突のような危機的状況が検出されるときに、ロボットアーム１４１を停止するように制御ユニット３０６に命令を送信し得る。

制御ユニット３０６は、ロボット装置１４０の様々なコンポーネント（例えば、ロボットアーム１４１、ペダル１４２など）に関連する機能を管理するように構成され得る。例えば、制御ユニット３０６は、マーカ１５０に対するロボットアーム１４１の所望の位置を維持するために、１つ又は複数のコマンドを送信し得る。制御ユニット３０６は、移動ユニット３０４から移動データを受信するように構成され得る。

移動ユニット３０４は、所与の処置を実行するためにロボットアーム１４１の１つ又は複数のコンポーネントに関連付けられる移動を決定するように構成され得る。一実施形態では、移動ユニット３０４は、順運動学及び逆運動学を用いてロボットアーム１４１の軌跡（trajectory）を決定するように構成され得る。１つのシナリオでは、移動ユニット３０４は、ロボットアーム１４１の軌跡を決定するために、１つ又は複数のソフトウェアライブラリにアクセスし得る。

移動ユニット３０４は、所与の経路に沿って器具Ｔを動かすロボット装置１４０の動作をシミュレートするように構成され得る。一例では、シミュレートされた動作に基づいて、移動ユニット３０４は、器具Ｔに関連付けられるメトリック（metric）を決定し得る。さらに、移動ユニット３０４は、シミュレートされた動作に基づいてメトリックに関連付けられた力を決定するように構成され得る。一例では、移動ユニット３０４は、開運動学的チェーン（open kinematic chain）に基づいて力を決定する命令を含み得る。

移動ユニット３０４は、ロボットアーム１４１に結合された１つ又は複数のセンサによって測定される力及びトルクを監視するための力モジュールを含み得る。１つのシナリオでは、力モジュールは、障害物との衝突を検出し、安全モジュールに警告することができる。

インタフェース３０２は、ロボット装置１４０が他の装置（例えば、処理装置１２２、トラッキング装置１３０）と通信することを可能にするように構成され得る。したがって、インタフェース３０２は、１つ又は複数のデバイスから入力データを受信するように構成され得る。いくつかの例では、インタフェース３０２はまた、他の装置によって受信され送信されたデータの記録を維持及び管理し得る。他の例では、インタフェース３０２は、データを送受信するために受信機及び送信機を使用し得る。

インタフェース３０２は、ユーザインタフェース及び表示スクリーン（例えば、ディスプレイ１２３及び１２４を介して）を介して、ユーザと制御ソフトウェアとの間の通信を管理するように構成され得る。表示スクリーンは、ロボット装置１４０に関連する異なるモードを通してユーザをガイドするグラフィカルインタフェースを表示し得る。ユーザインタフェースは、ユーザが、例えば、手術処置の開始に関連するロボットアーム１４１の動きを制御し、手術処置中に使用されることになるトラッキングモードを起動し、必要に応じてロボットアーム１４１を停止させることを可能にし得る。

一例では、ユーザは、ロボットペダル１４２の使用を通じてロボットアーム１４１の作動を制御し得る。一実施形態では、ユーザは、ロボット装置１４０の１つ又は複数のモードを作動させるためにロボットペダル１４２を押し得る。一つのシナリオでは、ユーザは、所望の位置に従ってロボットアーム１４１をユーザが手動で位置決めすることを可能にするように、ロボットペダル１４２を押し得る。別のシナリオでは、ユーザは、ロボットアーム１４１が器具Ｔを患者Ｐに対して相対的な位置に維持することを可能にするトラッキングモードを作動させるために、ロボットペダル１４２を押し得る。別のシナリオでは、ユーザは、ロボットアーム１４１がさらなる動きを進めるのを停止するために、ロボットペダル１４２を押し得る。

１つのシナリオでは、制御ユニット３０６は、ロボットアーム１４１に協調モードに従って機能するように指示することができる。協調モードでは、ユーザは、ロボットアーム１４１に結合されたツールＴを保持し、器具Ｔを所望の位置に移動させることによって、ロボットアーム１４１を手動で動かすことができる。一例では、ロボット装置１４０は、ロボットアーム１４１のエンドエフェクタに結合された１つ又は複数の力センサを含み得る。例として、ユーザが器具Ｔをつかみ、それをある方向に動かし始めると、制御ユニット３０６は、力センサによって測定された力を受信し、ユーザが望む動きを生成するようにそれらをロボットアーム１４１の位置と組み合わせる。

１つのシナリオでは、制御ユニット３０６は、ロボットアーム１４１にトラッキングモードに従って機能するように指示することができる。トラッキングモードでは、ロボット装置１４０は、所与のＩＲ反射器又はエミッタ（例えば、マーカ１５０）に対する器具Ｔの相対位置を維持する。一例では、ロボット装置１４０は、トラッキング装置１３０からマーカ１５０の更新された位置情報を受信し得る。この例では、移動ユニット３０４は、マーカ１５０の受信された更新された位置情報に基づいて、マーカ１５０と器具Ｔの相対位置を維持するために、ロボットアーム１４１のどのジョイント（複数可）が動く必要があるかを決定し得る。

一実施形態では、ロボット装置１４０は、処理装置１２２と通信し得る。一例では、ロボット装置１４０は、器具Ｔの位置情報を処理装置１２２に提供し得る。この例では、処理装置１２２は、更なる処理のために、器具Ｔの位置情報を記憶するように構成され得る。１つのシナリオでは、処理装置１２２は、ディスプレイ１２６上に器具Ｔの仮想表示を重ねるために器具Ｔの受信された位置を使用し得る。

本発明の別の態様では、ロボット装置（例えば、ロボット装置１４０、ロボット装置２００）は、計画された又は学習された経路に沿った器具の移動を支援し得る。１つのシナリオでは、外科医は、椎弓根スクリューの軌道又は開創器の配置を、術前に３次元（３Ｄ）画像に基づいて、又は術中に、皮膚の外側に位置を保持し、器具の先端を患者に投射することによって、軌道がどのように関心のある解剖学的構造と交差するかを見ることによって、計画し得る。

１つのシナリオでは、外科医は、術前に脊椎の特定のレベルに対して理想的な椎弓根スクリューの軌跡を選択し、その後、術中に皮膚及び筋肉を貫通するために異なる軌跡を選択することがある。一例では、外科医は、ツールが理想的な椎弓根スクリュー軌跡と交差するまで、異なる軌跡に沿ってロボット装置に結合されたツールを案内し得る。この例では、ロボット装置は、理想的な椎弓根スクリューの軌跡に到達したことを外科医に可聴又は視覚的な警告を介して知らせることができるコンピューティングデバイス（例えば、処理装置１２２、コンピューティングデバイス３００）への信号を提供し得る。

別のシナリオでは、ロボット装置のロボットアーム（例えば、ロボットアーム１４１、リンク２０６、２１０、２１４、２１８、２２２、及び２２６）に結合された器具が理想的な椎弓根スクリュー軌跡に到達すると、ロボット装置は、理想的な椎弓根スクリューに沿って移動するように外科医からの入力を受信するように構成され得る。一例では、外科医は、ロボット装置が理想的な椎弓根スクリューに沿って移動することを可能にしたいという外科医の要望を確認するために、ロボット装置に入力を提供し得る（例えば、ペダル１４２を押す）。別の例では、ユーザは、所定の経路に沿った器具の移動を支援するために、ロボット装置又はコンピューティングデバイスのいずれかに別の形式の入力を提供し得る。

１つのシナリオでは、ロボット装置が理想的な椎弓根スクリュー軌跡に沿って移動することの確認を受信すると、ロボット装置は、移動ユニット３０４から、現在の軌跡から理想的な椎弓根スクリュー軌跡に旋回する（pivot）ように指示を受信し得る。移動ユニット３０４は、ロボット装置が理想的な椎弓根スクリュー軌跡に沿って移動できるようにするために必要な移動データを制御ユニット３０６に提供し得る。

別の例では、移動ユニット３０４は、ディスプレイ１２６上に表示するために、１つ又は複数の軌跡をコンピューティングデバイス（例えば、処理装置１２２）に提供し得る。この例では、ユーザは、所与の処置に関連する１つ又は複数の所定の移動から選択し得る。例えば、所与の所定の移動は、ロボット装置１４０のペダル１４２を押すことを使用して実行されることになる特定の方向及び移動の量に関連付けられ得る。

本発明の別の態様では、１つ又は複数の赤外線（ＩＲ）反射器又はエミッタが、ロボット装置（例えば、ロボット装置１４０、ロボット装置２００）のロボットアーム（例えば、ロボットアーム１４１、リンク２０６、２１０、２１４、２１８、２２２、及び２２６）に結合され得る。１つのシナリオでは、トラッキング装置１３０は、ロボット装置の動作を開始する前に、１つ又は複数のＩＲ反射器又はエミッタの位置を決定するように構成され得る。このシナリオでは、トラッキング装置１３０は、１つ又は複数のＩＲ反射器又はエミッタの位置情報をコンピューティングデバイス（例えば、処理装置１２２、コンピューティングデバイス３００）に提供し得る。

一例では、処理装置１２２又はコンピューティングデバイス３００は、ロボットアームの場所又は位置を決定するのを支援するために、ロボット装置に関する情報（例えば、ロボット装置の幾何学的モデル）を含むローカル又はリモートデータベースに記憶されたデータと位置情報を比較するように構成され得る。一例では、処理装置１２２は、トラッキング装置１３０によって提供される情報からロボットアームの第１の位置を決定し得る。この例では、処理装置１２２は、ロボットアームの決定された第１の位置をロボット装置又はコンピューティングデバイス（例えば、コンピューティングデバイス３００）に提供し得る。一例では、ロボット装置は、ロボットアームの１つ又は複数のジョイントに関連付けられる１つ又は複数の要素（例えば、エンコーダ、アクチュエータ）の較正を実行するために受信された第１の位置データを使用し得る。

１つのシナリオでは、ロボット装置のロボットアームに連結された器具は、器具の予想される先端（tip）位置と器具の実際の先端位置との間の差を決定するために使用され得る。このシナリオでは、ロボット装置は、ツールの先端が既知の位置と接触するように、トラッキング装置１３０によって器具を既知の位置に移動させるように進行し得る。トラッキング装置１３０は、ロボットアームに結合された１つ又は複数のＩＲ反射器又はエミッタに対応する位置情報をキャプチャし、その情報をロボット装置又はコンピューティングデバイス（例えば、処理装置１２２、コンピューティングデバイス３００）に提供し得る。さらに、ロボット装置又はコンピューティングデバイスのいずれかは、ツールの予想される先端位置及びツールの実際の先端位置に基づいて、ロボット装置とトラッキング装置１３０との間の座標系オフセット（coordinate system offset）を調整するように構成され得る。

一例では、外科医は、脊椎の３次元画像の使用を組み込み、器具が横断すべきでない１つ又は複数の平面を画定し得る。この例では、力又は圧力センサが器具を動かす力を検出するにもかかわらず、ロボットアームは、外科医が、所定の計画に関連する制約に従って、規定された１つ又は複数の平面を越えて器具を動かすことを許容しない。例として、ロボット装置は、器具が１つ又は複数の制限された平面に近づくときに、外科医に警告を与えるように構成され得る。

本発明の別の態様では、ロボット装置（例えば、ロボット装置１４０、ロボット装置２００）は、１つ又は複数の手術器具及びインプラントをナビゲートするために使用され得る。ロボット装置は、さらなる処理のために、ナビゲーション情報をコンピューティングデバイス（例えば、処理装置１２２、コンピューティングデバイス３００）に提供するように構成され得る。一例では、コンピューティングデバイスは、手術器具又はインプラントの仮想表示を決定するように構成され得る。さらに、コンピューティングデバイスは、手術器具又はインプラントの仮想表示を手術部位の２次元又は３次元画像上に重ね合わせるように構成され得る。

一例では、ロボット装置は、ロボット装置とトラッキング装置１３０との間の視線（line of sight）がブロックされた場合に位置情報に対するトラッキング装置１３０への依存性を除去するために、トラッキング装置１３０間で較正手順を実行し得る。一例では、上述のように、ナビゲーションシステムにレジストレーションされたロボット装置と手術部位に対応する患者の３次元画像とを使用することは、ロボット装置が、トラッキング装置１３０に関連する距離による精度の低下とは無関係になることを可能にする。

別の例では、ロボット装置は、患者の解剖学的構造が、トラッキング装置１３０が解剖学的構造との視線を維持する能力を制限するように向けられている１つ又は複数の手術処置に使用され得る。例として、トラッキング装置１３０は、単一位置の手術中に視線を維持することが困難である場合がある。

一例では、ロボット装置のロボットアームは、患者の椎骨の棘突起に取り付けるように構成されたエンドエフェクタに結合され得る。エンドエフェクタは、手術処置の間に棘突起によって加えられる力又は圧力の量を検出するために、１つ又は複数の力又は圧力センサを含み得る。これは、ロボット装置が、患者の動きに関連する場所又は位置情報をコンピューティングデバイス（例えば、処理装置１２２、コンピューティングデバイス３００）に送信することを可能にする。１つのシナリオでは、コンピューティングデバイスは、患者の動きに関連する場所又は位置情報を受信し、動き情報に基づいて手術部位の１つ又は複数の画像を更新するように構成され得る。例えば、コンピューティングデバイスは、手術部位のベースライン画像セットを含むデータベースにアクセスし、エンドエフェクタが棘突起に取り付けられている間に、ロボット装置からの受信した位置情報に基づいて患者の更新された位置に対応するディスプレイ１２６上の表示のための画像を提供し得る。患者の動きを追跡するためにロボット装置を使用することの１つの利点は、トラッキング装置１３０を介して患者の動きを追跡するために棘突起に１つ又は複数のＩＲ反射マーカを取り付ける必要性を省くことである。

別の例では、ロボット装置は、手術処置中に１つ又は複数の位置でロボットアームに結合されたトラッキング器具を支援し得る。ロボット装置の動きを介して器具を追跡することは、器具が、外科医が見ることが困難な位置に配置することを可能にし得る。例えば、器具は、ドレープの後ろに配置され得るが、ロボット装置及びコンピューティングデバイス（例えば、処理装置１２２、コンピューティングデバイス３００）を介して追跡され得る。別の例では、ロボット装置は、滅菌バリアの下の患者の動きを追跡するのを支援し得る。この例では、ロボット装置は、手術処置の間、患者を既知の向きに維持するために、ベッドを再配置するために使用され得る。

一例では、外科医は、手術処置を開始する前に、手術処置の経路を入力し得る。例えば、外科医は、患者の解剖学的構造の２次元又は３次元画像を使用し、手術部位に到達するための経路を決定し得る。一例では、コンピューティングデバイス（例えば、処理装置１２２、コンピューティングデバイス３００）は、所定の経路に対応する情報を記憶し、手術処置の開始前にロボット装置に情報を提供し得る。ロボット装置が患者に対するロボット装置の位置を知ると、移動ユニット３０４は、許容される１つ又は複数の軌跡を決定するために、所定の経路に対応する情報を使用し得る。

別の例では、ロボットアームの動きを制限する経路は、解剖学的構造のセグメンテーション（anatomical segmentation.）に対応する１つ又は複数の入力に対応し得る。例えば、外科医は、ロボットアームの動きを特定の椎骨に限定するために特定の椎骨を選択し得る。例として、ロボット装置は、さらに、ロボットアームの動きを椎骨の特定の部分（例えば、棘突起など）に制限するように指示され得る。

一実施形態では、エンドエフェクタは、ロボットアーム（例えば、ロボットアーム１４１、リンク２０６、２１０、２１４、２１８、２２２、及び２２６）に結合され、ファスナ（fastener）の配置を支援し得る。一つのシナリオでは、ロボット装置は、手術処置において使用されているプレート及びファスナ（複数可）に関する３次元幾何学的情報を、コンピューティングデバイス（例えば、処理装置１２２、コンピューティングデバイス３００）から受信し得る。

一例では、所与のプレートは、手術処置中に４つのファスナを取り付ける必要があり得る。この例では、ロボット装置は、移動ユニット３０４によって決定された軌跡に基づいて、所与のプレートの第１のファスナ位置に対応する軟組織を後退させる（retract）ためにエンドエフェクタを使用し得る。さらに、移動ユニット３０４は、所与のプレートを通るファスナの配置のための最適な軌跡を決定するように構成され得る。第１のファスナの配置に続いて、ロボット装置は、軟組織が元の位置に戻り、所与のプレートの第２のファスナ位置に対応する軟組織を後退させるように動くことを可能にするようにエンドエフェクタを移動させるように構成され得る。この例では、ロボット装置は、軟組織が後退される時間を最小限にし、それによって、各ファスナを所与のプレートに取り付ける間に軟組織を損傷するリスクを低減し得る。

本発明の別の態様では、ロボット装置（例えば、ロボット装置１４０、ロボット装置２００）は、患者に対するロボットアーム（例えば、ロボットアーム１４１、リンク２０６、２１０、２１４、２１８、２２２、及び２２６）に結合された器具及びインプラントの位置を決定するために、トラッキング装置１３０によってキャプチャされた位置情報を使用し得る。一実施形態では、ロボット装置は、ロボット装置とトラッキング装置１３０との間の較正手順の後の手術ツールの位置を決定するために、ロボット装置の１つ又は複数のジョイント（例えば、ジョイント２０４、２０８、２１２、２１６、２２０、２２４、及び２３０）に関連するエンコーダによって決定される動作情報を使用し得る。別の実施形態では、トラッキング装置１３０は、手術処置中にロボット装置を追跡するのを支援するために、位置情報をコンピューティングデバイス（例えば、処理装置１２２、コンピューティングデバイス３００）に提供し得る。

一例では、トラッキング装置１３０は、１つ又は複数のＩＲ反射器又はエミッタに基づいてロボットアームに結合された器具の位置を追跡し得る。例えば、トラッキング装置１３０は、ツールに結合されたＩＲ反射体又はエミッタを検出し、位置情報を処理装置１２２に提供し得る。処理装置１２２は、器具に結合されたＩＲ反射器又はエミッタの最後の既知の位置情報を、最新の位置情報と比較し、器具に関連する位置の変化を決定するように構成され得る。

別の例では、ロボットアームに結合された器具に関連する経路の仮想表示が、患者の解剖学的構造の対応する位置に重ね合わせられ得る。経路の仮想表示は、脊椎の特定領域にわたる器具による複数の経路を示すために、様々な視覚効果を伴って表示され得る。

本発明の別の態様では、ロボット装置（例えば、ロボット装置１４０、ロボット装置２００）は、複数のロボットアーム（例えば、ロボットアーム１４１、リンク２０６、２１０、２１４、２１８、２２２、及び２２６）を含み得る。１つのシナリオでは、上述のように、ロボット装置及びトラッキング装置１３０は、それぞれの座標系間のオフセットを補正するためのレジストレーションプロセスを完了していてもよい。このシナリオでは、レジストレーションプロセスの完了に加えて、処理装置１２２は、患者の脊椎の３次元スキャンを受信するように構成され得る。一実施形態では、ロボット装置は、脊柱アライメント（spinal alignment）のための術前計画に従って患者の脊柱アライメントを維持するように構成され得る。

一例では、ロボット装置は、手術処置の重要な要素を把持するように構成されるエンドエフェクタを使用し得る。例えば、ロボット装置は、第１の椎弓根スクリューを把持するためのロボットアームに結合された第１のグリッパ、及び第２の椎弓根スクリューを把持するための第２のロボットアームに結合された第２のグリッパを使用し得る。ロボット装置は、第１及び第２のロボットアームの各々に関連付けられた位置情報をコンピューティングデバイス（例えば、処理装置１２２、コンピューティングデバイス３００）に提供するように構成され得る。受信された位置情報に基づいて、コンピューティングデバイスは、現在の脊柱アライメントを決定し得る。さらに、コンピューティングデバイスは、手術処置中に必要とされる脊柱の矯正を決定するために現在の脊柱アライメントを分析し得る。

本発明の別の態様では、ロボット装置（例えば、ロボット装置１４０、ロボット装置２００）のロボットアーム（例えば、ロボットアーム１４１、リンク２０６、２１０、２１４、２１８、２２２、及び２２６）は、超音波プローブを受け入れるように構成され得る。１つのシナリオでは、超音波プローブは、ロボットアーム又は共にレジストレーションされた（co-registered）ナビゲーションシステム（例えば、ロボット装置１４０又はロボット装置２００とトラッキング装置１３０との間のレジストレーション）のいずれかを持つ画像に対する後続の器具使用（instrumentation）のために画像内の解剖学的構造の位置をレジストレーションするように、ロボットアームによって既知の向きに保持される。

図４は、脊椎の解剖学的構造を含む手術部位４０２の初期スキャンに基づく３次元画像データセットからの画像４００の例示的図である。一例では、手術部位４０２の初期スキャンは、手術処置の開始前に図１のＣアームイメージング装置１０３によって実行され得る。画像４００は、第１の椎体４０４及び第２の椎体４０６を含む。一例では、図１の処理装置１２２は、画像４００から第１の椎体４０４をセグメント化するように構成される。例えば、図５は、第２の椎体４０６からセグメント化された第１の椎体４０４を含む画像５００の例示的な図である。

所与の手術処置の間の一例では、所与の手術結果を達成するために、１つ又は複数の手術用インプラント（例えば、椎弓根スクリュー）が、第１の椎体４０４内に挿入され得る。この例では、１つ又は複数の手術用インプラントが第１の椎体４０４に挿入された後、ユーザ（例えば、外科医）は、インプラントの位置決めをレビューすることを望むことがある。一例では、手術部位４０２の第２のスキャンが、初期スキャンよりも低い放射線レベルで実行され得る。例として、図６は、第２の３次元画像データセットの画像６００の例示的な図である。第２の３次元画像データセットは、手術部位４０２の初期スキャンの後の手術部位４０２の第２のスキャンに基づく。手術部位４０２の第２のスキャンは、脊椎の解剖学的構造及び手術用インプラント６０４を含む。

一例では、処理装置１２２は、画像６００を受信し、画像５００からセグメント化された椎体４０４を画像６００とレジストレーションするように構成される。例として、図７は、画像５００から画像６００にセグメント化された椎体４０４の例示的な図である。

一例では、処理装置１２２は、画像６００及び手術用インプラント６０４の３次元幾何学的モデルに基づいて手術用インプラント６０４の位置を決定するように構成される。一例では、処理装置１２２は、レジストレーションされ且つセグメント化された椎体４０４上の手術用インプラント６０４の仮想表示を重ね合わせるように構成される。例えば、図８は、手術用インプラント６０４の仮想表示８０４に加えて、レジストレーションされ且つセグメント化された椎体４０４を画像６００とともに含む画像８００の例示的な図である。この例では、ユーザは、手術処置の間により少ない放射線を利用しながら手術部位のより良い表示を得るために、手術部位の第２のスキャンよりも高い放射線レベルでの手術部位４０２の初期スキャンに基づく画像４００の利点を用いて、手術用インプラント６０４の位置決めをレビューし得る。

図９は、本明細書に記載される少なくとも１つの実施形態による、手術中の３次元可視化のための例示的な方法のフロー図である。各図のブロックは、連続した順序で示されているが、ブロックは、いくつかの例では、並列に、及び／又はそこに記載されているものとは異なる順序で実行されてもよい。また、様々なブロックが、所望の実装に基づいて、より少ないブロックに結合され、追加のブロックに分割され、及び／又は除去されてもよい。

ブロック９０２によって示されるように、方法９００は、第１の３次元画像データセットの少なくとも１つの画像から少なくとも１つの椎体をセグメント化することを含み、第１の３次元画像データセットは、脊椎の解剖学的構造を含む手術部位の初期スキャンに基づく。一例では、初期３次元画像データセットは、蛍光透視画像又はコンピュータ断層撮影スキャン画像の１つ又は複数を含む。一例では、Ｃアーム１０３は、上述のように、手術部位の初期３次元スキャンをキャプチャするために使用される。例として、手術部位は、患者の脊椎の解剖学的構造を含む。この例では、処理装置１２２は、キャプチャされた初期３次元スキャンに基づいて、手術部位に対応する３次元画像データセットを受信するように構成される。この例に続いて、処理装置１２２は、受信した３次元画像データセットから少なくとも１つの椎体をセグメント化するように構成される。

１つのシナリオでは、処理装置１２２は、残余ニューラルネットワークを用いる完全畳み込みネットワークを受信した１つ又は複数の画像に適用し、脊椎の解剖学的構造の１つ又は複数の画像から１つ又は複数の椎体をセグメント化するように構成される。一例では、セグメント化された椎体が与えられた場合、椎骨レベルは半自動的にラベル付けされる。例えば、ユーザは、セグメント化された画像上でＬ５椎骨のレベルを示す。この例では、３次元連結成分抽出（three-dimensional connected component extraction）アルゴリズムを適用して、異なる椎骨領域を標識する。一例では、所定の閾値よりも小さい隔離された成分（components）が除去される。この例では、離散マーチングキューブアルゴリズムを各成分に適用し、次に周波数領域に適用されるウィンドウサンプリング関数（windowed sampling function）を使用するメッシュ平滑化プロセスを適用する。これは各ボクセルで実行される補間カーネルとして実装される。さらに、どのレベルがユーザによって最も下位の椎骨として定義されたかに応じて、残りの椎骨は順番にラベル付けされる。一例では、処理装置１２２は、ディープニューラルネットワークに従って、第１の３次元画像データセットの少なくとも１つの画像から少なくとも１つの椎体をセグメント化するように構成される。

また、３次元画像データセットは、手動又は自動化された計画作成ソフトウェアを使用して手術を計画するための基礎としても役立ち得る。例えば、椎弓根スクリューの配置のための計画は、計画ソフトウェアに含まれる計画ツールの使用から導き出され得る。このような計画ソフトウェアは、患者の解剖学的構造の向き、手術器具及びインプラントの適切なサイズ、及びインプラントの適切な軌跡の理解を外科医に提供する。いくつかの実装によれば、システムは、椎弓根スクリューの計画を提供し、それによって、システムは、患者の解剖学的構造及び測定値を考慮して、手術計画における各椎弓根スクリューの直径及び長さに加えて、所望の軌跡を識別する。一例では、３次元画像データセットの１つ又は複数の画像が、ディスプレイ（例えば、表示装置１２６）上に表示され得、椎弓根スクリューの配置のための計画の表現が１つ又は複数の表示画像上に重ね合わされ得る。

１つのシナリオでは、外科医は、手術計画に基づいて１つ又は複数のインプラントを挿入に進み得る。外科医は、１つ又は複数のインプラントを挿入するために、ハンドヘルドツールを使用し得る又はロボット装置（例えば、ロボット装置１４０、ロボット装置２００）をガイドし得る。このシナリオでは、トラッキング装置１３０は、１つ又は複数のインプラントが挿入されるときに、ハンドヘルドツール又はロボット装置の位置データを決定するように構成される。トラッキング装置１３０は、さらなる処理のために、ハンドヘルドツール又はロボット装置の位置データを処理装置１２２に提供するように構成される。

ブロック９０４によって示されるように、方法９００はまた、第２の３次元画像データセットの少なくとも１つの画像を受信することを含み、第２の３次元画像データセットは、手術部位の初期スキャンの後の手術部位の第２のスキャンに基づき、手術部位の第２のスキャンは、脊椎の解剖学的構造及び少なくとも１つの手術用インプラントを含む。一例では、第２の３次元画像データセットは、蛍光透視画像又はコンピュータ断層撮影スキャン画像の１つ又は複数を含む。一例では、第２のスキャンは、第２の３次元画像データセットの少なくとも１つの画像からの１つの椎体に関連する複数の手術用インプラントを含む。一例では、インプラントの１つ又は複数が挿入されると、Ｃアーム１０３は、手術部位の後の３次元スキャンをキャプチャするように構成される。一例では、処理装置１２２は、手術部位の後の３次元スキャンに対応する３次元画像データセットを受信するように構成される。一例では、処理装置１２２は、上述のように、手術部位の後の３次元スキャンに対応する３次元画像データセットから少なくとも１つの椎体をセグメント化するように構成される。

ブロック９０６によって示されるように、方法９００はまた、第１の３次元画像データセットの少なくとも１つの画像からのセグメント化された少なくとも１つの椎体を、第２の３次元画像データセットの少なくとも１つの画像とレジストレーションすることを含む。一つのシナリオでは、処理装置１２２は、画像レジストレーションを得るために、後の３次元スキャンに対応する一つ又は複数の画像を、初期３次元スキャンからのセグメント化された椎体に対応する一つ又は複数の画像と比較するように構成される。一例では、処理装置１２２は、第１の３次元画像データセットの少なくとも１つの画像からのセグメント化された少なくとも１つの椎体を、第２の３次元画像データセットの少なくとも１つの画像にレジストレーションするように構成され、これは、第１の３次元画像データセットの少なくとも１つの画像からの少なくとも１つの椎体内に含まれる画像情報の水平平行移動、垂直平行移動、回転、及びスケーリングのうちの１つ又は複数を含む。別の例では、後の３次元スキャンと、トラッキング装置１３０からの決定された位置とが比較される。例えば、器具／インプラント及びＣアームの両方が追跡される場合、イメージング源（imaging source）に対する解剖学的構造の位置及びイメージング源に対する装置の位置は既知である。従って、この情報は、迅速且つインタラクティブに、器具又はハードウェアの解剖学的構造に対する位置を確認するために使用されることができる。一例では、手術処置の間に椎体の１つ又は複数の位置が調節されている場合、処理装置１２２は、１つ又は複数の椎体の少なくとも現在の位置に基づいて、セグメント化された椎体の新しい仮想スキャンを生成するように構成される。

一例では、処理装置１２２は、所定の相関スコアに従って、後のスキャンからの１つ又は複数の画像を用いて、初期スキャンからセグメント化された椎体の最良適合（best fit）を見つけるように構成される。画像データセットの各々における画像の数、アルゴリズム計算を実行するコンピュータプロセッサ又はグラフィックスプロセッサのサイズ及び速度、計算を実行するために割り当てられた時間、及び比較される画像のサイズのような種々の要因に依存し得る種々のアルゴリズムが使用され得る。１つのアプローチでは、４Ｄ空間全体にわたるグリッドパターンで上述の所定の位置におけるピクセル間の比較が行われる。１つのアプローチでは、６Ｄ空間全体にわたるグリッドパターンで上述の所定の位置におけるピクセル間の比較が行われる。別のヒューリスティックアプローチでは、ピクセル比較は、関連する一致のより大きな可能性を提供すると考えられる画像の領域に集中させることができる。これらの領域は、グリッド又はＰＣＡサーチからの知識、トラッキングシステム（例えば、トラッキング装置１３０）からのデータ、又はＤＩＣＯＭファイル若しくは均等物からの位置データに基づいて「プレシードされ」得る。一例では、処理装置１２２は、アルゴリズムの探索基準を単純化するために、最終的なスクリューが置かれた位置からキャプチャされたナビゲーション位置及び金属アーチファクトスキャンにおける粗い位置を使用するように構成され得る。

ブロック９０８によって示されるように、方法９００はまた、第２の３次元画像データセットの少なくとも１つの画像及び少なくとも１つの手術用インプラントの３次元幾何学的モデルに基づいて、少なくとも１つの手術用インプラントの位置を決定することを含む。一例では、処理装置１２２は、後のスキャンに対応する１つ又は複数の画像における各インプラントの最良の相関最終位置を識別するために、インプラントの３次元幾何学的モデルを使用するように構成される。３次元幾何学的モデルは、処理装置１２２による識別のために使用されることができるインプラントの複数の測定値を含み得る。例えば、処理装置１２２は、後のスキャンに対応する１つ又は複数の画像における各椎弓根スクリューの最良の相関最終位置を識別するために、椎弓根スクリューの長さ及び直径を使用し得る。

ブロック９１０によって示されるように、方法９００はまた、少なくとも１つの手術用インプラントの決定された位置に基づいて、第１の３次元画像データセットの少なくとも１つの画像からのレジストレーションされ且つセグメント化された少なくとも１つの椎体に少なくとも１つの手術用インプラントの仮想表示を重ね合わせることを含む。一例では、処理装置１２２は、初期３次元スキャンからのセグメント化された椎体に対応する１つ又は複数の画像に１つ又は複数の３次元幾何学的モデルを重ね合わせるように構成される。この例では、処理装置１２２は、インプラントの重ね合わされた仮想表示を伴う所与のセグメント化された椎体の画像を表示するために、ｉ）所定の相関スコアに従った後のスキャンからの１つ又は複数の画像との初期スキャンからのセグメント化された椎体の最良適合、及びｉｉ）上述のように、後続のスキャンに対応する１つ又は複数の画像における各インプラントの最良の相関最終位置を使用するように構成される。この例を続けると、表示された画像は、Ｃアーム１０３を介してキャプチャされた後の３次元スキャンによる挿入されたインプラントの画像に対応する。一例では、処理装置１２２は、外科医が、最終インプラント配置が手術処置の残りのステップのいずれかに進むのに満足のいくものであるかどうかを決定することができるように、後の３次元スキャンからの挿入インプラントを含む３次元画像と、インプラントの仮想表示の重ね合わせを含む初期３次元スキャンからの３次元画像とを表示するように構成される。

図１０は、本明細書に記載される少なくとも１つの実施形態による、手術中の３次元可視化のための例示的な方法のフロー図である。各図のブロックは、順番に示されているが、ブロックは、いくつかの例では、並列に、及び／又はそこに記載されているものとは異なる順序で実行されてもよい。また、種々のブロックは、所望の実装に基づいて、より少ないブロックに結合され、追加のブロックに分割され、及び／又は除去されてもよい。

ブロック１００２によって示されるように、方法１０００は、第１の３次元画像データセットの画像をセグメント化することを含み、第１の３次元画像データセットは、脊椎の解剖学的構造を含む手術部位の初期スキャンに基づく。一例では、第１の３次元画像データセットの画像をセグメント化することは、ユーザ入力に基づく。別の例では、ユーザ入力は、タッチスクリーンディスプレイを介して受信される入力を含む。例えば、表示装置１２６は、ディスプレイ１２３及び１２４としてのタッチスクリーンディスプレイを含み得る。

ブロック１００４によって示されるように、方法１０００はまた、第２の３次元画像データセットの画像を受信することを含み、第２の３次元画像データセットは、手術部位の初期スキャンの後の手術部位の第２のスキャンに基づき、手術部位の第２のスキャンは、脊椎の解剖学的構造及び少なくとも１つの手術用インプラントを含む。一例では、第１の３次元画像データセット及び第２の３次元画像データセットは、蛍光透視画像又はコンピュータ断層撮影スキャン画像の１つ又は複数を含む。別の例では、第１の３次元画像データセット及び第２の３次元画像データセットは、蛍光透視画像を含み、手術部位の初期スキャンは、手術部位の第２のスキャンよりも高い放射線レベルと関連付けられる。一例では、第２のスキャンは、第２の３次元画像データセットの少なくとも１つの画像からの１つの椎体に関連付けられる複数の手術用インプラントを含む。

ブロック１００６によって示されるように、方法１０００はまた、第１の３次元画像データセットのセグメント化された画像を、第２の３次元画像データセットのセグメント化された画像にレジストレーションすることを含む。一例では、第１の３次元画像データセットのセグメント化された画像を第２の３次元画像データセットの画像にレジストレーションすることは、第１の３次元画像データセットの少なくとも１つの画像からの１つの椎体内に含まれる画像情報の水平平行移動、垂直平行移動、回転、及びスケーリングのうちの１つ又は複数を含む。

ブロック１００８によって示されるように、方法１０００はまた、第２の３次元画像データセットの少なくとも１つの画像及び少なくとも１つの手術用インプラントの３次元幾何学的モデルに基づいて、少なくとも１つの手術用インプラントの位置を決定することを含む。

ブロック１０１０によって示されるように、方法１０００はまた、少なくとも１つの手術用インプラントの決定された位置に基づいて、第１の３次元画像データセットのレジストレーションされ且つセグメント化された画像上に少なくとも１つの手術用インプラントの仮想表示を重ね合わせることを含む。

図９及び図１０のフロー図は、本実施形態の２つの可能な実施形態の機能及び動作を示す。この点に関し、各ブロックは、特定の論理機能又はプロセス内のステップを実装するためにプロセッサによって実行可能な１つ又は複数の命令を含む、モジュール、セグメント、又はプログラムコードの一部を表し得る。プログラムコードは、例えばディスク又はハードドライブを含むストレージデバイスのような任意のタイプのコンピュータ可読媒体に記憶され得る。コンピュータ可読媒体は、レジスタメモリ、プロセッサキャッシュ、又はランダムアクセスメモリ（ＲＡＭ）のような短期間データを記憶する非一時的コンピュータ可読媒体、及び／又は、例えば、読み出し専用メモリ（ＲＯＭ）、光学若しくは磁気ディスク、又はコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）のような永続的長期ストレージをみ得る。コンピュータ可読媒体は、任意の他の揮発性又は不揮発性ストレージシステムであり得る又はそれらを含み得る。コンピュータ可読媒体は、例えば、コンピュータ可読記憶媒体、有形ストレージデバイス、又は他の製造品と考えられ得る。

代替的には、図９及び１０の各ブロックは、プロセス内の特定の論理機能を実行するように配線された回路を表し得る。図９及び図１０に示されているような例示的な方法は、全体として、又は部分的に、クラウド内の１つ又は複数のコンポーネントによって実行され得る。しかしながら、例示的な方法は、本発明の範囲から逸脱することなく、他のエンティティ又はエンティティの組み合わせ（すなわち、他のコンピューティングデバイス及び／又はコンピュータデバイスの組み合わせ）によって実行され得ることを理解されたい。例えば、図９及び図１０の方法の機能は、コンピューティングデバイス（又は１つ又は複数のプロセッサなどのコンピューティングデバイスのコンポーネント）によって完全に実行されてもよく、又は、コンピューティングデバイスの複数のコンポーネントにわたって、複数のコンピューティングデバイスにわたって、及び／又はサーバを通じて、分散され得る。

図１１は、例示的な実施形態に従って構成された例示的なコンピュータ可読媒体を示す。例示的な実施形態では、例示的なシステムは、１つ又は複数のプロセッサ、１つ又は複数の形式のメモリ、１つ又は複数の入力デバイス／インタフェース、１つ又は複数の出力デバイス／インタフェース、及び１つ又は複数のプロセッサによって実行されるときにシステムに上述の様々な機能タスク、能力などを実行させる機械可読命令を含み得る。

上述のように、いくつかの実施形態では、開示された技術（例えば、ロボット装置１４０、ロボット装置２００、処理装置１２２、コンピューティングデバイス３００などの機能）は、コンピュータ可読記憶媒体上に機械可読フォーマットでエンコードされたコンピュータプログラム命令によって、又は他の媒体又は製品上に実装され得る。図１１は、本明細書に開示された少なくともいくつかの実施形態に従って配置された、コンピュータプロセスをコンピューティングデバイス上で実行するためのコンピュータプログラムを含む、例示的コンピュータプログラム製品の概念的部分図を示す概略図である。

一実施形態では、例示的なコンピュータプログラム製品１１００は、信号伝達媒体（signal bearing medium）１１０２を使用して提供される。信号伝達媒体１１０２は、１つ又は複数のプロセッサによって実行されるとき、図１～１０に関して上述した機能又は機能の一部を提供し得る１つ又は複数のプログラミング命令１１０４を含み得る。いくつかの例では、信号伝達媒体１１０２は、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、デジタルテープ、メモリ等のようなコンピュータ可読媒体１１０６であり得るが、これらに限定されない。幾つかの実装では、信号伝達媒体１１０２は、メモリ、読み出し／書き込み（Ｒ／Ｗ）ＣＤ、Ｒ／Ｗ ＤＶＤ等のようなコンピュータ記録可能媒体１１０８であり得るが、これらに限定されない。幾つかの実装では、信号伝達媒体１１０２は、通信媒体１１１０（例えば、光ファイバケーブル、導波路、有線通信リンクなど）であり得る。したがって、例えば、信号伝達媒体１１０２は、無線形態の通信媒体１１１０によって伝達され得る。

１つ又は複数のプログラミング命令１１０４は、例えば、コンピュータ実行可能命令及び／又は論理実装命令であり得る。いくつかの例では、コンピューティングデバイスは、コンピュータ可読媒体１１０６、コンピュータ記録可能媒体１１０８、及び／又は通信媒体１１１０のうちの１つ又は複数によってコンピューティングデバイスに伝達されるプログラミング命令１１０４に応答して、種々の演算、機能、又は動作を提供するように構成され得る。

コンピュータ可読媒体１１０６はまた、互いにリモートに配置され得る複数のデータ記憶要素間に分散されてもよい。記憶された命令の一部又は全部を実行するコンピューティングデバイスは、外部コンピュータ、又は、スマートフォン、タブレットデバイス、パーソナルコンピュータ、ウェアラブルデバイスなどのようなモバイルコンピューティングプラットフォームであり得る。代替的には、記憶された命令の一部又は全部を実行するコンピューティングデバイスは、サーバのようなリモートに配置されたコンピュータシステムであってもよい。

本明細書に記載される構成は、単に例示の目的のためのものであることが理解されるべきである。このように、当業者であれば、他の構成及び他の要素（例えば、マシン、インタフェース、機能、順序、及び機能のグループ化など）を代わりに使用することができ、所望の結果に従って一部の要素を完全に省略することができることを理解するであろう。さらに、記載される要素の多くは、任意の適切な組み合わせ及び位置において、別個のコンポーネント若しくは分散コンポーネントとして、又は他のコンポーネントと共に実装され得る機能エンティティであり、又は独立した構造として記載される他の構造要素が組み合わされ得る。

Claims (17)

1. 手術処置中に患者の内部の解剖学的構造の画像の表示を生成するためのシステムの作動方法であって、前記システムは、プロセッサを有し、前記作動方法は：
   前記プロセッサが、第１の３次元画像データセットの少なくとも１つの画像から少なくとも１つの椎体をセグメント化することであって、前記第１の３次元画像データセットは、脊椎の解剖学的構造を含む手術部位の初期スキャンに基づく、セグメント化することと；
   前記プロセッサが、第２の３次元画像データセットの少なくとも１つの画像を受信することであって、前記第２の３次元画像データセットは、前記手術部位の前記初期スキャンの後の前記手術部位の第２のスキャンに基づき、前記手術部位の前記第２のスキャンは、前記脊椎の解剖学的構造及び少なくとも１つの手術用インプラントを含む、受信することと；
   前記プロセッサが、前記第１の３次元画像データセットの前記少なくとも１つの画像からのセグメント化された前記少なくとも１つの椎体を、前記第２の３次元画像データセットの前記少なくとも１つの画像とレジストレーションすることと；
   前記プロセッサが、前記第２の３次元画像データセットの前記少なくとも１つの画像及び前記少なくとも１つの手術用インプラントの３次元幾何学的モデルに基づいて、前記少なくとも１つの手術用インプラントの位置を決定することと；
   前記プロセッサが、前記少なくとも１つの手術用インプラントの決定された前記位置に基づいて、前記第１の３次元画像データセットの前記少なくとも１つの画像からのレジストレーションされ且つセグメント化された前記少なくとも１つの椎体に、前記少なくとも１つの手術用インプラントの仮想表示を重ね合わせることと；を含み、
   前記第１の３次元画像データセット及び前記第２の３次元画像データセットは、蛍光透視画像を含み、
   前記手術部位の前記初期スキャンは、前記手術部位の前記第２のスキャンよりも高い放射線レベルに関連付けられる、
   作動方法。
2. 前記第１の３次元画像データセット及び前記第１の３次元画像データセットは、コンピュータ断層撮影スキャン画像を含む、
   請求項１に記載の作動方法。
3. 前記第２のスキャンは、前記第１の３次元画像データセットの前記少なくとも１つの画像からの前記１つの椎体に関連付けられる複数の手術用インプラントを含む、
   請求項１に記載の作動方法。
4. 前記第１の３次元画像データセットの前記少なくとも１つの画像から前記少なくとも１つの椎体をセグメント化することは、ディープニューラルネットワークに従って決定される、
   請求項１に記載の作動方法。
5. 前記第１の３次元画像データセットの前記少なくとも１つの画像からの前記セグメント化された少なくとも１つの椎体を、前記第２の３次元画像データセットの前記少なくとも１つの画像とレジストレーションすることは、前記第１の３次元画像データセットの前記少なくとも１つの画像からの前記１つの椎体内に含まれる画像情報の水平平行移動、垂直平行移動、回転、及びスケーリングのうちの１つ又は複数を含む、
   請求項１に記載の作動方法。
6. 手術処置中に患者の内部の解剖学的構造の画像の表示を生成するためのシステムの作動方法であって、前記システムは、プロセッサを有し、前記作動方法は：
   前記プロセッサが、第１の３次元画像データセットの画像をセグメント化することであって、前記第１の３次元画像データセットは、脊椎の解剖学的構造を含む手術部位の初期スキャンに基づく、セグメント化することと；
   前記プロセッサが、第２の３次元画像データセットの画像を受信することであって、前記第２の３次元画像データセットは、前記手術部位の前記初期スキャンの後の前記手術部位の第２のスキャンに基づき、前記手術部位の前記第２のスキャンは、前記脊椎の解剖学的構造と少なくとも１つの手術用インプラントとを含む、受信することと；
   前記プロセッサが、前記第１の３次元画像データセットのセグメント化された前記画像を前記第２の３次元画像データセットの前記セグメント化された画像とレジストレーションすること；
   前記プロセッサが、前記第２の３次元画像データセットの前記少なくとも１つの画像及び前記少なくとも１つの手術用インプラントの３次元幾何学的モデルに基づいて、前記少なくとも１つの手術用インプラントの位置を決定することと；
   前記プロセッサが、前記少なくとも１つの手術用インプラントの決定された前記位置に基づいて、前記第１の３次元画像データセットのレジストレーションされ且つセグメント化された前記画像に、前記少なくとも１つの手術用インプラントの仮想表示を重ね合わせることと；を含み、
   前記第１の３次元画像データセット及び前記第２の３次元画像データセットは、蛍光透視画像を含み、
   前記手術部位の前記初期スキャンは、前記手術部位の前記第２のスキャンよりも高い放射線レベルに関連付けられる、
   作動方法。
7. 前記第１の３次元画像データセット及び前記第１の３次元画像データセットは、コンピュータ断層撮影スキャン画像を含む、
   請求項６に記載の作動方法。
8. 前記第２のスキャンは、前記第１の３次元画像データセットの少なくとも１つの前記画像からの１つの椎体に関連付けられる複数の手術用インプラントを含む、
   請求項６に記載の作動方法。
9. 前記第１の３次元画像データセットの前記画像をセグメント化することは、ユーザ入力に基づく、
   請求項６に記載の作動方法。
10. 前記ユーザ入力は、タッチスクリーンディスプレイを介して受信される入力を含む、
    請求項９に記載の作動方法。
11. 前記第１の３次元画像データセットの前記セグメント化された画像を前記第２の３次元画像データセットの前記画像とレジストレーションすることは、前記第１の３次元画像データセットの前記少なくとも１つの画像からの１つの椎体内に含まれる画像情報の水平平行移動、垂直平行移動、回転、及びスケーリングのうちの１つ又は複数を含む、
    請求項６に記載の作動方法。
12. 手術処置中に患者の内部の解剖学的構造の画像の表示を生成するためのシステムであって：
    ディスプレイと；
    前記ディスプレイと通信するプロセッサであって：
    第１の３次元画像データセットの画像をセグメント化し、前記第１の３次元画像データセットは、脊椎の解剖学的構造を含む手術部位の初期スキャンに基づき；
    第２の３次元画像データセットの画像を受信し、前記第２の３次元画像データセットは、前記手術部位の前記初期スキャンの後の前記手術部位の第２のスキャンに基づき、前記手術部位の前記第２のスキャンは、前記脊椎の解剖学的構造及び少なくとも１つの手術用インプラントを含み；
    前記第１の３次元画像データセットのセグメント化された前記画像を前記第２の３次元画像データセットの前記画像とレジストレーションし；
    前記第２の３次元画像データセットの前記画像及び前記少なくとも１つの手術用インプラントの３次元幾何学的モデルに基づいて、前記少なくとも１つの手術用インプラントの位置を決定し；
    前記少なくとも１つの手術用インプラントの決定された前記位置に基づいて、前記第１の３次元画像データセットのレジストレーションされ且つセグメント化された前記画像上に、前記少なくとも１つの手術用インプラントの仮想表示を重ね合わせ；
    前記ディスプレイを介して、前記少なくとも１つの手術用インプラントの前記仮想表示をオーバレイとして、前記第１の３次元画像データセットの前記レジストレーションされ且つセグメント化された画像上に表示するための命令を提供する；
    ように構成される、プロセッサと；を有し、
    前記第１の３次元画像データセット及び前記第２の３次元画像データセットは、蛍光透視画像を含み、
    前記手術部位の前記初期スキャンは、前記手術部位の前記第２のスキャンよりも高い放射線レベルに関連付けられる、
    システム。
13. 前記第１の３次元画像データセット及び前記第１の３次元画像データセットは、コンピュータ断層撮影スキャン画像を含む、
    請求項１２に記載のシステム。
14. 前記第２のスキャンは、前記第１の３次元画像データセットの少なくとも１つの前記画像からの１つの椎体に関連付けられる複数の手術用インプラントを含む、
    請求項１２に記載のシステム。
15. 前記第１の３次元画像データセットの前記画像をセグメント化することは、前記ディスプレイを介したユーザ入力に基づく、
    請求項１２に記載のシステム。
16. 前記第１の３次元画像データセットの前記画像をセグメント化することは、タッチスクリーンディスプレイを介して受信される入力に基づく、
    請求項１２に記載のシステム。
17. 前記第１の３次元画像データセットのセグメント化された前記画像を前記第２の３次元画像データセットの前記画像とレジストレーションすることは、前記第１の３次元画像データセットの前記少なくとも１つの画像からの１つの椎体内に含まれる画像情報の水平平行移動、垂直平行移動、回転、及びスケーリングのうちの１つ又は複数を含む、
    請求項１２に記載のシステム。

Images