ここで、本発明の概念の例示的な実施形態が示されている添付の図面を参照して、本発明の概念を以下でより完全に説明する。しかしながら、本発明の概念は、多くの異なる形態で具体化されてもよく、本明細書に記載される実施形態に限定されると解釈されるべきではない。むしろ、これらの実施形態は、本開示が徹底的且つ完全であり、様々な本発明の概念の範囲を当業者に完全に伝えるように提供される。これらの実施形態が相互に排他的ではないことにも留意されたい。1つの実施形態からのコンポーネントが、別の実施形態に存在するか、または別の実施形態で使用されると暗に想定され得る。
本明細書に開示される様々な実施形態は、外科手術中のコンピュータ支援ナビゲーションの改善を対象とする。エクステンデットリアリティ(XR)ヘッドセットは、外科手術システムに動作可能に接続され、外科医、助手、および/または他の従事者が患者の画像を視認し、および患者の画像内から選択し、コンピュータで生成された外科手術ナビゲーション情報を視認し、および外科手術ナビゲーション情報内から選択し、および/または手術室内の外科器具を制御することができるインタラクティブな環境を提供するように構成されている。以下に説明するように、XRヘッドセットは、コンピュータで生成されたXR画像によって実世界シーンを増強するように構成されることができる。XRヘッドセットは、コンピュータで生成されたXR画像を、実世界シーンからの光が通過してユーザによって組み合わせて視認することができるシースルー表示画面に表示することにより、拡張現実(AR)表示環境を提供するように構成されることができる。あるいは、XRヘッドセットは、ユーザがコンピュータで生成されたAR画像を表示画面上で視認している間、実世界シーンからの光がユーザによって直接視認されるのを防止または実質的に防止することによって、仮想現実(VR)表示環境を提供するように構成されることができる。XRヘッドセットは、ARおよびVR表示環境の双方を提供するように構成されることができる。一実施形態では、ARおよびVR表示環境の双方は、VR表示環境が不透明度の高いバンドに位置合わせされたXR画像に提供され、AR表示環境が不透明度の低いバンドに位置合わせされたXR画像に提供されるように、シースルー表示画面と実世界シーンとの間に配置された実質的に異なる不透明度の横方向バンドによって提供される。別の実施形態では、ARおよびVR表示環境の双方は、ユーザによって視認されるXR画像と組み合わせるために、実世界シーンからの光がシースルー表示画面を通過する量を可変的に制限する不透明度フィルタのコンピュータ調整可能な制御によって提供される。したがって、XRヘッドセットはまた、ARヘッドセットまたはVRヘッドセットと呼ばれることもできる。
図1は、本開示のいくつかの実施形態にかかる外科手術システム2の実施形態を示している。整形外科手術または他の外科的処置の実施前に、例えば、図10のCアーム撮像デバイス104または図11のOアーム撮像デバイス106を使用して、またはコンピュータ断層撮影(CT)画像もしくはMRIなどの別の医療撮像デバイスから、患者の計画された外科手術エリアの三次元(「3D」)画像スキャンを行うことができる。このスキャンは、術前(例えば、最も一般的には処置の数週間前)または術中に行うことができる。しかしながら、外科手術システム2の様々な実施形態にしたがって、任意の既知の3Dまたは2D画像スキャンを使用することができる。画像スキャンは、カメラ追跡システムコンポーネント6、外科手術ロボット4(例えば、図1のロボット2)、撮像デバイス(例えば、Cアーム104、Oアーム106など)、および患者の画像スキャンを保存するための画像データベース950を含むことができる外科手術システム900(図9)のコンピュータプラットフォーム910などの、外科手術システム2と通信するコンピュータプラットフォームに送信される。コンピュータプラットフォーム910(図9)のディスプレイデバイス上で画像スキャン(単数または複数)をレビューする外科医は、患者の解剖学的構造に対する外科的処置中に使用される手術道具の目標姿勢を定義する外科手術計画を生成する。器具とも呼ばれる例示的な外科手術器具として、ドリル、スクリュードライバ、開創器、および、スクリュー、スペーサ、椎体間固定デバイス、プレート、ロッドなどのインプラントを挙げることができるが、これらに限定されるものではない。いくつかの実施形態では、ターゲット平面を画定する外科手術平面は、ディスプレイデバイスに表示される3D画像スキャンで計画される。
本明細書で使用される場合、「姿勢」という用語は、別のオブジェクトおよび/または定義された座標系に対する、あるオブジェクト(例えば、動的参照アレイ、エンドエフェクタ、手術道具、解剖学的構造など)の位置および/または回転角度を指す。したがって、姿勢は、別のオブジェクトおよび/または定義された座標系に対するあるオブジェクトの多次元位置のみに基づいて、別のオブジェクトおよび/または定義された座標系に対するオブジェクトの多次元回転角度のみに基づいて、または多次元位置と多次元回転角度との組み合わせに基づいて定義されることができる。したがって、「姿勢」という用語は、位置、回転角度、またはそれらの組み合わせを指すために使用される。
図1の外科手術システム2は、例えば、器具を保持すること、使用するために器具を位置合わせすること、器具を使用すること、器具を誘導すること、および/または器具を位置決めすることによって、医療処置中に外科医を支援することができる。いくつかの実施形態では、外科手術システム2は、外科手術ロボット4と、カメラ追跡システムコンポーネント6と、を含む。外科手術ロボット4とカメラ追跡システムコンポーネント6とを機械的に結合する機能により、外科手術システム2を単一のユニットとして操作し、移動することが可能になり、外科手術システム2は、面積の小さいフットプリントを有することが可能になり、狭い通路および曲がり角を通る動きをより容易にすることが可能になり、ならびにより狭い面積内のストレージを可能にすることができる。
外科的処置は、外科手術システム2を医療ストレージから医療処置室まで移動させることで開始することができる。外科手術システム2は、出入口、ホール、およびエレベータから医療処置室に到達するまでずっと操作されることができる。部屋の中で、外科手術システム2は、2つの分離した別個のシステム、外科手術ロボット4およびカメラ追跡システムコンポーネント6に、物理的に分離されることができる。外科手術ロボット4は、医療従事者を適切に支援するために、任意の好適な場所で患者に隣接して位置決めされることができる。カメラ追跡システムコンポーネント6は、患者の基部、患者の肩、または、外科手術ロボット4および患者の部分の現在の姿勢と追跡位置の姿勢の移動とを追跡するのに好適な任意の他の場所に位置決めされることができる。外科手術ロボット4およびカメラ追跡システムコンポーネント6は、オンボード電源によって電力供給され、および/または外部壁コンセントに差し込まれることができる。
外科手術ロボット4を使用して、医療処置中に用具を保持および/または使用することによって外科医を支援することができる。器具を適切に利用および保持するために、外科手術ロボット4は、適切に機能する複数のモータ、コンピュータ、および/またはアクチュエータに依存することができる。図1に示されるように、ロボット本体8は、複数のモータ、コンピュータ、および/またはアクチュエータが外科手術ロボット4内に固設されることができる構造として作用することができる。ロボット本体8はまた、ロボット伸縮式支持アーム16のための支持を提供することができる。ロボット本体8のサイズは、取り付けられたコンポーネントを支持する強固なプラットフォームを提供することができ、且つ取り付けられたコンポーネントを動作させることができる複数のモータ、コンピュータ、および/またはアクチュエータを収容し、隠し、且つ保護することができる。
ロボット基部10は、外科手術ロボット4の下部支持として作用することができる。いくつかの実施形態では、ロボット基部10は、ロボット本体8を支持することができ、且つロボット本体8を複数の動力付きホイール12に取り付けることができる。ホイールへのこの取り付けにより、ロボット本体8は空間内を効率的に移動することができる。ロボット基部10は、ロボット本体8の長さおよび幅方向に延びていてもよい。ロボット基部10は、約2インチ~約10インチの高さとすることができる。ロボット基部10は、動力付きホイール12を被覆、保護、および支持することができる。
いくつかの実施形態では、図1に示されるように、少なくとも1つの動力付きホイール12をロボット基部10に取り付けることができる。動力付きホイール12は、任意の場所でロボット基部10に取り付けられることができる。各個々の動力付きホイール12は、任意の方向に垂直軸を中心として回転することができる。モータは、動力付きホイール12の上、その中、またはそれに隣接して配設されることができる。このモータにより、外科手術システム2を任意の場所へと操作し、外科手術システム2を安定化し、および/または水平にすることができる。動力付きホイール12内またはそれに隣接して位置するロッドは、モータによって表面に押し込まれることができる。図示されていないロッドは、外科手術システム2を持ち上げるのに好適な任意の金属で作製されることができる。ロッドは、外科手術システム2を持ち上げることができる動力付きホイール12を、患者に対して外科手術システム2の向きを水平にするか、または別様に固定するのに必要な任意の高さまで持ち上げることができる。外科手術システム2の重量は、各ホイール上のロッドによって小さい接触面積で支持され、医療処置中に外科手術システム2が移動することを阻止する。この堅固な位置決めは、オブジェクトおよび/または人々が偶発的に外科手術システム2を移動させることを阻止することができる。
外科手術システム2の移動を、ロボットレール材14を使用して容易にすることができる。ロボットレール材14は、ロボット本体8を把持することなく、外科手術システム2を移動させる能力を人に提供する。図1に示されるように、ロボットレール材14は、ロボット本体8の長さ方向にロボット本体8よりも短く延びていてもよく、および/またはロボット本体8の長さよりも長く延びていてもよい。ロボットレール材14は、ロボット本体8に対する保護をさらに備え、オブジェクトおよび/または従事者がロボット本体8に接触すること、ぶつかること、または衝突することを阻止することができる。
ロボット本体8は、以後「スカラ」と称する水平多関節ロボットのための支持を提供することができる。スカラ24は、ロボットアームの同時再現性およびコンパクトさゆえに、外科手術システム2内で使用するのに有益であり得る。スカラのコンパクトさは、医療処置内に追加の空間を提供することができ、それにより、医療専門家は、過度な乱雑さと制限されたエリアなしに、医療処置を実施することが可能になる。スカラ24は、ロボット伸縮式支持16、ロボット支持アーム18、および/またはロボットアーム20を含むことができる。ロボット伸縮式支持16は、ロボット本体8に沿って配設されることができる。図1に示されるように、ロボット伸縮式支持16は、スカラ24およびディスプレイ34のための支持を提供することができる。いくつかの実施形態では、ロボット伸縮式支持16は、垂直方向に延在および収縮することができる。ロボット伸縮式支持16の本体は、本体に加えられる応力および重量を支持するように構成された任意の幅および/または高さとすることができる。
いくつかの実施形態では、医療従事者は、医療従事者によって提出されたコマンドを介してスカラ24を移動させることができる。コマンドは、以下にさらに詳細に説明するように、ディスプレイ34、タブレット、および/またはXRヘッドセット(例えば、図9のヘッドセット920)で受信された入力から発信されることができる。XRヘッドセットは、医療従事者がディスプレイ34またはタブレットなどの任意の他のディスプレイを参照する必要性を排除することができ、これにより、ディスプレイ34および/またはタブレットなしでスカラ24を構成することが可能になる。コマンドは、スイッチの押し下げおよび/または複数のスイッチの押し下げによって生成されることができ、および/または以下にさらに詳細に説明するように、XRヘッドセットによって感知されるハンドジェスチャコマンドおよび/またはボイスコマンドに基づいて生成されることができる。
図5に示されるように、起動アセンブリ60は、スイッチおよび/または複数のスイッチを含むことができる。起動アセンブリ60は、移動コマンドをスカラ24に送信して、オペレータがスカラ24を手動で操作することを可能にするように動作可能であり得る。スイッチまたは複数のスイッチが押し下げられると、医療従事者は、加えられた手の移動を介してスカラ24を移動させる能力を有することができる。これに代えて、またはこれに加えて、オペレータは、以下にさらに詳細に説明するように、XRヘッドセットによって感知されるハンドジェスチャコマンドおよび/またはボイスコマンドを介してスカラ24の移動を制御することができる。さらに、スカラ24が移動させるためのコマンドを受信していないとき、スカラ24は、従事者および/または他のオブジェクトによる偶発的な移動を阻止するように所定の位置にロックすることができる。所定の位置にロックすることにより、スカラ24は、エンドエフェクタ26が医療処置中に外科手術器具を誘導することができる堅固なプラットフォームを提供する。
ロボット支持アーム18は、様々な機構によってロボット伸縮式支持16に接続されることができる。いくつかの実施形態では、図1および図2に最もよく見られるように、ロボット支持アーム18は、ロボット伸縮式支持16に対して任意の方向に回転する。ロボット支持アーム18は、ロボット伸縮式支持16の周りで360度回転することができる。ロボットアーム20は、任意の好適な位置で、ロボット支持アーム18に対して任意の方向への回転を可能にする様々な機構によって、ロボット支持アーム18に接続することができる。一実施形態では、ロボットアーム20は、ロボット支持アーム18に対して360度回転することができる。この自由回転により、オペレータは、外科手術計画にしたがってロボットアーム20を位置決めすることができる。
図4および図5に示されるエンドエフェクタ26は、任意の好適な場所でロボットアーム20に取り付けられることができる。エンドエフェクタ26は、外科手術ロボット4によって位置決めされたロボットアーム20のエンドエフェクタカプラ22に取り付けられるように構成されることができる。例示的なエンドエフェクタ26は、外科的処置が実施される解剖学的構造に対して挿入された外科手術器具の移動を誘導する管状ガイドを含む。
いくつかの実施形態では、動的参照アレイ52は、エンドエフェクタ26に取り付けられている。本明細書で「DRA」とも呼ばれる動的参照アレイは、患者の解剖学的構造(例えば、骨)、手術室内の従事者によって着用されている1つ以上のXRヘッドセット、エンドエフェクタ、外科手術ロボット、ナビゲートされる外科的処置における外科手術器具上に配設されることができる剛性体である。カメラ追跡システムコンポーネント6または他の3D位置特定システムと組み合わされるコンピュータプラットフォーム910は、DRAの姿勢(例えば、位置および回転の向き)をリアルタイムで追跡するように構成されている。DRAは、例示されるボールの配列などの基準を含む。DRAの3D座標のこの追跡により、外科手術システム2は、図5の患者50の目標の解剖学的構造に関連する任意の多次元空間におけるDRAの姿勢を判定することができる。
図1に示されるように、光インジケータ28は、スカラ24の頂部上に位置決めされることができる。光インジケータ28は、外科手術システム2が現在動作している「状況」を示すために、任意のタイプの光として照明することができる。いくつかの実施形態では、光は、光インジケータ28の周りにリングを形成することができるLED電球によって生成されることができる。光インジケータ28は、光インジケータ28の全体にわたって光を輝かせることができる完全に透過性の材料を含むことができる。光インジケータ28は、下部ディスプレイ支持30に取り付けられることができる。図2に示されるように、下部ディスプレイ支持30により、オペレータは、ディスプレイ34を任意の好適な場所まで操作することが可能になる。下部ディスプレイ支持30は、任意の好適な機構によって光インジケータ28に取り付けられることができる。いくつかの実施形態では、下部ディスプレイ支持30は、光インジケータ28を中心として回転することができるか、または光インジケータ28に堅固に取り付けられることができる。上部ディスプレイ支持32は、任意の好適な機構によって下部ディスプレイ支持30に取り付けられることができる。
いくつかの実施形態では、タブレットをディスプレイ34と併せて、および/またはディスプレイ34なしで使用することができる。タブレットは、ディスプレイ34の代わりに上部ディスプレイ支持32上に配設されてもよく、医療手術中に上部ディスプレイ支持32から取り外し可能であってもよい。さらに、タブレットは、ディスプレイ34と通信することができる。タブレットは、任意の好適な無線および/または有線接続によって外科手術ロボット4に接続することができ得る。いくつかの実施形態では、タブレットは、医療手術中に外科手術システム2をプログラムおよび/または制御することができ得る。タブレットを用いて外科手術システム2を制御しているとき、全ての入力および出力コマンドをディスプレイ34上で複製することができる。タブレットの使用により、オペレータは、患者50の周りを移動し、および/または外科手術ロボット4まで移動する必要なしに、外科手術ロボット4を操作することができる。
以下に説明するように、いくつかの実施形態では、外科医および/または他の従事者は、ディスプレイ34および/またはタブレットと組み合わせて使用されることができるXRヘッドセットを着用することができるか、またはXRヘッド(単数または複数)は、ディスプレイ34および/またはタブレットの使用の必要性を排除することができる。
図3Aおよび図5に示されるように、カメラ追跡システムコンポーネント6は、有線または無線の通信ネットワークを介して外科手術ロボット4と協働する。図1、図3、および図5を参照すると、カメラ追跡システムコンポーネント6は、外科手術ロボット4と同様のいくつかのコンポーネントを含むことができる。例えば、カメラ本体36は、ロボット本体8に見られる機能を提供することができる。ロボット本体8は、カメラ46が取り付けられる補助追跡バーを提供することができる。ロボット本体8内の構造も、カメラ追跡システムコンポーネント6を動作させるために使用される電子機器、通信デバイス、および電源のための支持を提供することができる。カメラ本体36は、ロボット本体8と同じ材料で作製されることができる。カメラ追跡システムコンポーネント6は、無線および/または有線のネットワークによってXRヘッドセット、タブレット、および/またはディスプレイ34と直接通信して、XRヘッドセット、タブレット、および/またはディスプレイ34がカメラ追跡システムコンポーネント6の機能を制御することを可能にすることができる。
カメラ本体36は、カメラ基部38によって支持される。カメラ基部38は、ロボット基部10として機能することができる。図1の実施形態では、カメラ基部38は、ロボット基部10よりも広くてもよい。カメラ基部38の幅は、カメラ追跡システムコンポーネント6が外科手術ロボット4と接続することを可能にすることができる。図1に示されるように、カメラ基部38の幅は、ロボット基部10の外側に嵌合するのに十分な大きさとすることができる。カメラ追跡システムコンポーネント6と外科手術ロボット4とが接続されているとき、カメラ基部38の追加の幅は、外科手術システム2の追加の操作性と外科手術システム2の支持を可能にすることができる。
ロボット基部10と同様に、複数の動力付きホイール12がカメラ基部38に取り付けられることができる。動力付きホイール12により、カメラ追跡システムコンポーネント6は、ロボット基部10および動力付きホイール12の動作と同様に、患者50に対して固定された向きを安定化して水平にするか、またはそれを設定することができる。この安定化により、カメラ追跡システムコンポーネント6が医療処置中に移動することを防止することができ、図3Aおよび図5に示されるように、補助追跡バー上のカメラ46が、XRヘッドセットおよび/または外科手術ロボット4に接続されたDRAの軌跡を見失うこと、および/または指定されたエリア56内の解剖学的構造54および/または器具58に接続された1つ以上のDRA52の軌跡を見失うことを阻止することができる。追跡のこの安定性と維持は、カメラ追跡システムコンポーネント6で効果的に動作する外科手術ロボット4の能力を強化する。さらに、広いカメラ基部38は、カメラ追跡システムコンポーネント6に追加の支持を提供することができる。具体的には、図3Aおよび図5に示されるように、幅広のカメラ基部38により、カメラ46が患者の上に配設されたときに、カメラ追跡システムコンポーネント6が転倒するのを防止することができる。
カメラ伸縮式支持40は、補助追跡バー上のカメラ46を支持することができる。実施形態では、伸縮式支持40は、カメラ46を垂直方向に上下に移動させる。カメラハンドル48は、任意の好適な位置でカメラ伸縮式支持40に取り付けられることができ、オペレータが医療手術の前にカメラ追跡システムコンポーネント6を計画された位置に移動させることを可能にするように構成されることができる。実施形態では、カメラハンドル48を使用して、カメラ伸縮式支持40を下降および上昇させる。カメラハンドル48は、ボタン、スイッチ、レバー、および/またはそれらの任意の組み合わせの押し下げによって、カメラ伸縮式支持40の上昇および下降を実施することができる。
下部カメラ支持アーム42は、任意の好適な場所でカメラ伸縮式支持40に取り付けることができ、実施形態では、図1に示されるように、下部カメラ支持アーム42は、伸縮式支持40の周りで360度回転することができる。この自由な回転により、オペレータはカメラ46を任意の好適な場所に位置決めすることができる。下部カメラ支持アーム42は、任意の好適な機構によって伸縮式支持40に接続することができる。下部カメラ支持アーム42を使用して、カメラ46のための支持を提供することができる。カメラ46は、任意の好適な機構によって下部カメラ支持アーム42に取り付けられることができる。カメラ46は、カメラ46と下部カメラ支持アーム42との間の取り付け面積で任意の方向に旋回することができる。実施形態では、湾曲レール44は、下部カメラ支持アーム42上に配設されることができる。
湾曲レール44は、下部カメラ支持アーム42上の任意の好適な場所に配設されることができる。図3Aに示されるように、湾曲レール44は、任意の好適な機構によって下部カメラ支持アーム42に取り付けられることができる。湾曲レール44は、任意の好適な形状とすることができ、好適な形状は、三日月形、円形、卵形、楕円形、および/またはそれらの任意の組み合わせとすることができる。カメラ46は、湾曲レール44に沿って移動可能に配設されることができる。カメラ46は、例えば、ローラ、ブラケット、ブレース、モータ、および/またはそれらの任意の組み合わせによって、湾曲レール44に取り付けられることができる。例示されていないモータおよびローラを使用して、湾曲レール44に沿ってカメラ46を移動させることができる。図3Aに示されるように、医療処置中に、カメラ46が1つ以上のDRAを視認することをオブジェクトが阻止している場合、モータは、それに応答して湾曲レール44に沿ってカメラ46を移動させることができる。この電動化された動きにより、カメラ46は、カメラ追跡システムコンポーネント6を移動させることなく、オブジェクトによってもはや妨げられない新たな位置に移動することができる。カメラ46が1つ以上の追跡されるDRAを視認することが妨げられている間、カメラ追跡システムコンポーネント6は、停止信号を外科手術ロボット4、XRヘッドセット、ディスプレイ34、および/またはタブレットに送信することができる。停止信号は、カメラ46が追跡されるDRA52を再取得するまで、および/またはXRヘッドセットを着用しているおよび/またはディスプレイ34および/またはタブレットを視認しているオペレータに警告することができるまで、スカラ24が移動することを防止することができる。このスカラ24は、カメラ追跡システムがDRAの追跡を再開することができるまで、ベースおよび/またはエンドエフェクタカプラ22のさらなる移動を停止することによって、停止信号の受信に応答するように構成されることができる。
図3Bおよび図3Cは、図1の外科手術システムとともに使用されることができるか、または外科手術ロボットとは独立して使用されることができる別のカメラ追跡システムコンポーネント6’の正面図および等角図を示している。例えば、カメラ追跡システムコンポーネント6’は、ロボットガイダンスの使用を伴わないナビゲートされる外科手術を提供するために使用されることができる。図3Bおよび図3Cのカメラ追跡システムコンポーネント6’と図3Aのカメラ追跡システムコンポーネント6との違いの1つは、図3Bおよび図3Cのカメラ追跡システムコンポーネント6’が、コンピュータプラットフォーム910を運搬するハウジングを含むことである。コンピュータプラットフォーム910は、カメラ追跡動作を実行してDRAを追跡し、外科手術ナビゲーション情報をディスプレイデバイス、例えば、XRヘッドセットおよび/または他のディスプレイデバイスに提供するナビゲートされる外科手術動作を実行し、本明細書に開示される他の計算動作を実行するように構成されることができる。したがって、コンピュータプラットフォーム910は、図14の1つ以上のナビゲーションコンピュータなどのナビゲーションコンピュータを含むことができる。
図6は、医療手術に使用される図5の外科手術システムのコンポーネントのブロック図を示している。図6を参照すると、補助追跡バー上のナビゲーションカメラ46は、ナビゲーション視野600を有し、ここで、患者に取り付けられた参照アレイ602の姿勢(例えば、位置および向き)、外科手術器具に取り付けられた参照アレイ604、およびロボットアーム20が、追跡される。ナビゲーションカメラ46は、以下に記載される動作を実行するように構成されたコンピュータプラットフォーム910を含む、図3Bおよび図3Cのカメラ追跡システムコンポーネント6’の一部とすることができる。参照アレイは、既知のパターンで光を反射することによって追跡を可能にし、既知のパターンがデコードされて、外科手術ロボット4の追跡サブシステムによってそれぞれの姿勢を判定する。患者の参照アレイ602と補助追跡バー上のナビゲーションカメラ46との間の視線が(例えば、医療従事者、器具などによって)遮断された場合、外科手術器具のさらなるナビゲーションを実行することができない可能性があり、応答通知は、ロボットアーム20および外科手術ロボット4のさらなる移動を一時的に停止し、ディスプレイ34に警告を表示し、および/または医療従事者に可聴警告を提供することができる。ディスプレイ34は、外科医610および助手612がアクセス可能であるが、視認するには、患者から顔をそらし、眼の焦点を異なる距離および場所に変化させる必要がある。ナビゲーションソフトウェアは、外科医からの音声指示に基づいて、技術従事者614によって制御されることができる。
図7は、外科手術システム2のナビゲーション機能を使用するときに、外科手術ロボット4によって図5および図6のディスプレイ34に表示されることができる様々な表示画面を示している。表示画面は、開発された外科手術計画に基づいて、および/または追跡される参照アレイの姿勢に基づいて、解剖学的構造に対して表示画面に位置決めされた器具のモデルのグラフィック表現がオーバーレイされた患者の放射線写真、外科的処置の異なる段階および仮想的に投影されたインプラントの寸法パラメータ(例えば、長さ、幅、および/または直径)を制御するための様々なユーザ選択可能なメニューを含むことができるが、これに限定されるものではない。
ナビゲートされる外科手術のために、外科手術の術前計画、例えば、インプラント配置、および計画された外科的処置中の1人または複数のユーザにナビゲーション情報を提供するためのコンピュータプラットフォーム910への計画の電子転送を可能にする、以下に記載される様々な処理コンポーネント(例えば、コンピュータプラットフォーム910)および関連付けられたソフトウェアが提供される。
ロボットナビゲーションのために、外科手術の術前計画、例えば、インプラント配置、および外科手術ロボット4への計画の電子転送を可能にする、以下に記載される様々な処理コンポーネント(例えば、コンピュータプラットフォーム910)および関連付けられたソフトウェアが提供される。外科手術ロボット4は、計画を使用して、ロボットアーム20および接続されたエンドエフェクタ26を誘導して、計画された外科的処置のステップのための患者の解剖学的構造に対する外科手術器具の目標姿勢を提供する。
以下の様々な実施形態は、外科医610、助手612、および/または他の医療従事者が着用できる1つ以上のXRヘッドセットを使用して、外科手術ロボット、カメラ追跡システム6/6’、および/または手術室の他の医療機器から情報を受信し、および/またはこれらに制御コマンドを提供するための改善されたユーザインターフェースを提供することを対象とする。
図8は、本開示のいくつかの実施形態にかかる、外科手術ロボット4のいくつかの電気的コンポーネントのブロック図を示している。図8を参照すると、ロードセル(図示せず)は、エンドエフェクタカプラ22に加えられた力を追跡するように構成されることができる。いくつかの実施形態では、ロードセルは、複数のモータ850、851、852、853、および/または854と通信することができる。ロードセルが力を感知する際、加えられた力の量に関する情報が、スイッチアレイおよび/または複数のスイッチアレイからコントローラ846に配信されることができる。コントローラ846は、ロードセルから力情報を取得し、力情報をスイッチアルゴリズムで処理することができる。スイッチアルゴリズムは、コントローラ846によって使用されて、モータドライバ842を制御する。モータドライバ842は、モータ850、851、852、853、および854のうちの1つ以上の動作を制御する。モータドライバ842は、特定のモータに、例えば、モータを介してロードセルによって測定された等しい量の力を生成するように指示することができる。いくつかの実施形態では、生成される力は、コントローラ846の指示どおりに、複数のモータ、例えば、850~854から生じることができる。さらに、モータドライバ842は、コントローラ846から入力を受信することができる。コントローラ846は、ロードセルによって感知された力の方向に関してロードセルから情報を受信することができる。コントローラ846は、運動コントローラアルゴリズムを使用して、この情報を処理することができる。このアルゴリズムを使用して、特定のモータドライバ842に情報を提供することができる。力の方向を複製するために、コントローラ846は、特定のモータドライバ842を起動および/または起動解除することができる。コントローラ846は、1つ以上のモータ、例えば850~854のうちの1つ以上を制御して、ロードセルによって感知された力の方向にエンドエフェクタ26の運動を誘起することができる。この力によって制御される運動により、オペレータは、スカラ24および受動的なエンドエフェクタ26を楽に、および/またはほとんど抵抗なく移動させることができる。エンドエフェクタ26の移動は、医療従事者が使用するために、エンドエフェクタ26を任意の好適な姿勢(すなわち、規定された三次元(3D)直交基準軸に対する場所および角度の向き)に位置決めするように実行されることができる。
図5に最もよく例示されている起動アセンブリ60は、エンドエフェクタカプラ22を包むブレスレットの形態をなすことができる。起動アセンブリ60は、スカラ24の任意の部分、エンドエフェクタカプラ22の任意の部分に位置することができ、医療従事者および/またはそれらの任意の組み合わせによって着用される(および無線で通信する)ことができる。起動アセンブリ60は、一次ボタンおよび二次ボタンを備えることができる。
一次ボタンを押し下げることにより、オペレータは、スカラ24およびエンドエフェクタカプラ22を移動させることができ得る。一実施形態によれば、一旦設置されると、スカラ24およびエンドエフェクタカプラ22は、オペレータがスカラ24およびエンドエフェクタカプラ22を移動させるように外科手術ロボット4をプログラムするまで移動しないことが可能であるか、または一次ボタンを使用して移動される。いくつかの例では、スカラ24およびエンドエフェクタカプラ22がオペレータコマンドに応答する前に、少なくとも2つの隣接しない一次起動スイッチを押し下げることを必要とすることができる。少なくとも2つの一次起動スイッチを押し下げることにより、医療処置中のスカラ24およびエンドエフェクタカプラ22の偶発的な移動を防止することができる。
一次ボタンによって起動されると、ロードセルは、オペレータ、すなわち、医療従事者によってエンドエフェクタカプラ22に及ぼされる力の大きさおよび/または方向を測定することができる。この情報は、スカラ24およびエンドエフェクタカプラ22を移動させるために使用されることができる、スカラ24内の1つ以上のモータ、例えば850~854のうちの1つ以上に転送されることができる。ロードセルによって測定された力の大きさおよび方向に関する情報は、1つ以上のモータ、例えば850~854のうちの1つ以上に、ロードセルによって感知されるのと同じ方向にスカラ24およびエンドエフェクタカプラ22を移動させることができる。この力制御型の動きにより、モータがスカラ24およびエンドエフェクタカプラ22を移動させるのと同時に、オペレータがスカラ24およびエンドエフェクタカプラ22を移動させるため、オペレータは、楽に、且つ大きな労力なしに、スカラ24およびエンドエフェクタカプラ22を移動することが可能になり得る。
いくつかの例では、二次ボタンは、「選択」デバイスとしてオペレータによって使用されることができる。医療手術中、外科手術ロボット4は、XRヘッドセット(単数または複数)920、ディスプレイ34および/または光インジケータ28によって特定の状況を医療従事者に通知することができる。XRヘッドセット(単数または複数)920は各々、シースルー表示画面上に画像を表示して、シースルー表示画面を通して視認可能な実世界のオブジェクト上にオーバーレイされるエクステンデットリアリティ画像を形成するように構成されている。医療従事者は、外科手術ロボット4によって、機能、モードを選択し、および/または外科手術システム2の状況を評価するように促されることがある。二次ボタンを1回押し下げることにより、特定の機能、モードが起動され、および/またはXRヘッドセット(単数または複数)920、ディスプレイ34、および/もしくは光インジケータ28を介して医療従事者に伝達される情報が確認されることができる。これに加えて、二次ボタンを素早く連続して複数回押し下げると、追加の機能、モードを起動し、および/またはXRヘッドセット(単数または複数)920、ディスプレイ34、および/もしくは光インジケータ28を介して医療従事者に伝達される情報を選択することができる。
図8をさらに参照すると、外科手術ロボット4の電気的コンポーネントは、プラットフォームサブシステム802、コンピュータサブシステム820、運動制御サブシステム840、および追跡サブシステム830を含む。プラットフォームサブシステム802は、バッテリ806、配電モジュール804、コネクタパネル808、および充電ステーション810を含む。コンピュータサブシステム820は、コンピュータ822、ディスプレイ824、およびスピーカ826を含む。運動制御サブシステム840は、ドライバ回路842、モータ850、851、852、853、854、スタビライザ855、856、857、858、エンドエフェクタコネクタ844、およびコントローラ846を含む。追跡サブシステム830は、位置センサ832、およびカメラコンバータ834を含む。外科手術ロボット4はまた、取り外し可能なフットペダル880、および取り外し可能なタブレットコンピュータ890を含むことができる。
入力電力は、配電モジュール804に提供されることができる電源を介して外科手術ロボット4に供給される。配電モジュール804は、入力電力を受け取り、且つ外科手術ロボット4の他のモジュール、コンポーネント、およびサブシステムに提供される異なる電源電圧を生成するように構成されている。配電モジュール804は、コンピュータ822、ディスプレイ824、スピーカ826、ドライバ842などの他のコンポーネントに、例えば、動力モータ850~854およびエンドエフェクタカプラ844に提供され、且つカメラコンバータ834および外科手術ロボット4の他のコンポーネントに提供されることができる、異なる電圧供給をコネクタパネル808に提供するように構成されることができる。配電モジュール804はまた、バッテリ806に接続されてもよく、バッテリは、配電モジュール804が入力電力から電力を受信しない場合の一時的な電源として役立つ。他の場合には、配電モジュール804は、バッテリ806を充電するのに役立つ場合がある。
コネクタパネル808は、異なるデバイスおよびコンポーネントを外科手術ロボット4ならびに/または関連付けられたコンポーネントおよびモジュールに接続するのに役立つことができる。コネクタパネル808は、異なるコンポーネントからの配線または接続部を受容する1つ以上のポートを含むことができる。例えば、コネクタパネル808は、外科手術ロボット4を他の機器に接地することができる接地端子ポートと、フットペダル880を接続するポートと、位置センサ832、カメラコンバータ834、およびDRA追跡カメラ870を含むことができる追跡サブシステム830に接続するポートと、を有することができる。コネクタパネル808はまた、コンピュータ822などの他のコンポーネントへのUSB、Ethernet、HDMI通信を可能にする他のポートを含むことができる。いくつかの実施形態に従えば、コネクタパネル808は、1つ以上のXRヘッドセット920を追跡サブシステム830および/またはコンピュータサブシステム820に動作可能に接続するための有線および/または無線インターフェースを含むことができる。
制御パネル816は、外科手術ロボット4の動作を制御し、および/またはオペレータが観察するための外科手術ロボット4からの情報を提供する、様々なボタンまたはインジケータを提供することができる。例えば、制御パネル816は、外科手術ロボット4の電源を入れたり切ったりするため、垂直支柱16を持ち上げたり下降させたりするため、ならびにキャスタ12と係合して外科手術ロボット4を物理的に移動しないようにロックするように設計されることができるスタビライザ855~858を持ち上げたり下降させたりするための、ボタンを含むことができる。他のボタンは、緊急事態の際に外科手術ロボット4を停止することができ、これにより、全てのモータ電力を取り除いて、機械的ブレーキを適用して、全ての運動の発生を停止することができる。制御パネル816はまた、配線電力インジケータまたはバッテリ806の充電状態などの特定のシステムの状況をオペレータに通知するインジケータを有することができる。いくつかの実施形態によれば、1つ以上のXRヘッドセット920は、例えばコネクタパネル808を介して通信して、外科手術ロボット4の動作を制御し、および/またはXRヘッドセット920を着用している人による観察のために外科手術ロボット4によって生成された情報を受信および表示することができる。
コンピュータサブシステム820のコンピュータ822は、外科手術ロボット4の割り当てられた機能を動作させるためのオペレーティングシステムおよびソフトウェアを含む。コンピュータ822は、情報をオペレータに表示するために、他のコンポーネント(例えば、追跡サブシステム830、プラットフォームサブシステム802、および/または運動制御サブシステム840)から情報を受信して処理することができる。さらに、コンピュータサブシステム820は、スピーカ826を介してオペレータに出力を提供することができる。スピーカは、外科手術ロボットの一部とすることができるか、XRヘッドセット920の一部とすることができるか、または外科手術システム2の別のコンポーネント内にあることができる。ディスプレイ824は、図1および図2に示されるディスプレイ34に対応することができる。
追跡サブシステム830は、位置センサ832、およびカメラコンバータ834を含むことができる。追跡サブシステム830は、図3のカメラ追跡システムコンポーネント6に対応することができる。DRA追跡カメラ870は、位置センサ832とともに動作して、DRA52の姿勢を判定する。この追跡は、LEDまたは反射マーカなどのDRA52の能動的または受動的な要素の場所をそれぞれ追跡する赤外線または可視光技術の使用を含む、本開示に矛盾しない様式で行うことができる。
追跡サブシステム830およびコンピュータサブシステム820の機能的動作は、図3Aおよび図3Bのカメラ追跡システムコンポーネント6’によって運搬できるコンピュータプラットフォーム910に含めることができる。追跡サブシステム830は、姿勢、例えば、追跡されるDRAの位置および角度の向きを判定するように構成されることができる。コンピュータプラットフォーム910はまた、判定された姿勢を使用して、計画された外科的処置中に、位置登録された患者画像および/または追跡される解剖学的構造に対する追跡される器具の動きを誘導するナビゲーション情報をユーザに提供するように構成されたナビゲーションコントローラを含むことができる。コンピュータプラットフォーム910は、図3Bおよび図3Cのディスプレイ、および/または1つ以上のXRヘッドセット920に情報を表示することができる。コンピュータプラットフォーム910は、外科手術ロボットとともに使用される場合、コンピュータサブシステム820および図8の他のサブシステムと通信して、エンドエフェクタ26の移動を制御するように構成されることができる。例えば、以下に説明するように、コンピュータプラットフォーム910は、表示されるサイズ、形状、色、および/または姿勢を有する、患者の解剖学的構造、外科手術器具、ユーザの手などの、1つ以上の追跡されるDRAの判定された姿勢(単数または複数)に基づいて制御されるグラフィック表現を生成することができ、および表示されるそのグラフィック表現を動的に修正して、判定された姿勢の経時的な変化を追跡することができる。
運動制御サブシステム840は、垂直支柱16、上部アーム18、下部アーム20を物理的に移動させるか、またはエンドエフェクタカプラ22を回転させるように構成されることができる。物理的な動きは、1つ以上のモータ850~854を使用することによって行うことができる。例えば、モータ850は、垂直支柱16を垂直に持ち上げるまたは下降させるように構成されることができる。モータ851は、図2に示されるように、垂直支柱16との係合点の周りで上部アーム18を横方向に移動させるように構成されることができる。モータ852は、図2に示されるように、上部アーム18との係合点の周りで下部アーム20を横方向に移動させるように構成されることができる。モータ853および854は、エンドエフェクタカプラ22を移動させて、三次元軸の周りに沿って並進の動きおよび回転を提供するように構成されることができる。図9に示されるコンピュータプラットフォーム910は、エンドエフェクタカプラ22の移動を誘導するコントローラ846に制御入力を提供して、エンドエフェクタカプラに接続された受動的なエンドエフェクタを、計画された外科的処置中に手術される解剖学的構造に対して、計画された姿勢(すなわち、定義された3D直交基準軸に対する場所および角度の向き)で位置決めすることができる。運動制御サブシステム840は、統合された位置センサ(例えば、エンコーダ)を使用して、エンドエフェクタカプラ22および/またはエンドエフェクタ26の位置を測定するように構成されることができる。
図9は、カメラ追跡システムコンポーネント6(図3A)または6’(図3B、図3C)、および/または本開示のいくつかの実施形態にかかる外科手術ロボット4に動作可能に接続されることができるコンピュータプラットフォーム910に接続された撮像デバイス(例えば、Cアーム104、Oアーム106など)を含む外科手術システムのコンポーネントのブロック図を示している。これに代えて、コンピュータプラットフォーム910によって実行されるものとして本明細書に開示される少なくともいくつかの動作は、追加的または代替的に、外科手術システムのコンポーネントによって実行されることができる。
図9を参照すると、コンピュータプラットフォーム910は、ディスプレイ912、少なくとも1つのプロセッサ回路914(簡潔にするためにプロセッサとも呼ばれる)、コンピュータ可読プログラムコード918を内包する少なくとも1つのメモリ回路916(簡潔にするためにメモリとも呼ばれる)、および少なくとも1つのネットワークインターフェース902(簡潔にするためにネットワークインターフェースとも呼ばれる)を含む。ディスプレイ912は、本開示のいくつかの実施形態にかかるXRヘッドセット920の一部とすることができる。ネットワークインターフェース902は、図10のCアーム撮像デバイス104、図11のOアーム撮像デバイス106、別の医療撮像デバイス、患者の医療画像を内包する画像データベース950、外科手術ロボット4のコンポーネント、および/または他の電子機器に接続するように構成されることができる。
外科手術ロボット4とともに使用される場合、ディスプレイ912は、図2のディスプレイ34、および/または図8のタブレット890、および/または外科手術ロボット4に動作可能に接続されたXRヘッドセット920に対応することができ、ネットワークインターフェース902は、図8のプラットフォームネットワークインターフェース812に対応することができ、プロセッサ914は、図8のコンピュータ822に対応することができる。XRヘッドセット920のネットワークインターフェース902は、有線ネットワーク、例えば、シンワイヤEthernetを介して、および/または1つ以上の無線通信プロトコル、例えば、WLAN、3GPP 4Gおよび/または5G(新無線)セルラー通信規格などにしたがって無線RF送受信リンクを介して通信するように構成されることができる。
プロセッサ914は、汎用および/または専用プロセッサ、例えば、マイクロプロセッサおよび/またはデジタル信号プロセッサなどの1つ以上のデータ処理回路を含むことができる。プロセッサ914は、メモリ916内のコンピュータ可読プログラムコード918を実行して、外科手術計画、ナビゲートされる外科手術、および/またはロボット外科手術のために実行されるものとして本明細書に記載される動作の一部または全てを含むことができる動作を実行するように構成されている。
コンピュータプラットフォーム910は、外科手術計画機能性を提供するように構成されることができる。プロセッサ914は、撮像デバイス104および106のうちの一方から、および/またはネットワークインターフェース902を介して画像データベース950から受信された解剖学的構造、例えば椎骨の画像をディスプレイ912および/またはXRヘッドセット920に表示するように動作することができる。プロセッサ914は、計画された外科的処置のためにオペレータタッチがディスプレイ912上の場所を選択することによって、または計画された外科的処置のための場所を定義するためにマウスベースのカーソルを使用することなどによって、1つ以上の画像で示される解剖学的構造が、外科的処置、例えばスクリュー配置を受ける場所のオペレータの定義を受信する。画像がXRヘッドセット920に表示される場合、XRヘッドセットは、着用者によって形成されたジェスチャベースのコマンドで感知するように、および/または着用者によって話されたボイスベースのコマンドを感知するように構成されることができ、これを使用してメニュー項目間の選択を制御し、および/または以下にさらに詳述するように、XRヘッドセット920にオブジェクトがどのように表示されるかを制御することができる。
コンピュータプラットフォーム910は、股関節の中心、角度の中心、天然の目印(例えば、トランス上顆線、ホワイトサイド線、後顆線など)などを決定する様々な角度の測定のような、膝の外科手術に特に有用であり得る生体構造の測定を可能にするように構成されることができる。いくつかの測定は、自動とすることができる一方で、いくつかの他の測定は、人間の入力または支援を伴うことができる。コンピュータプラットフォーム910は、オペレータが、サイズおよび整列の選択を含む、患者のための正しいインプラントの選択を入力することを可能にするように構成されることができる。コンピュータプラットフォーム910は、CT画像または他の医療画像に対して自動または半自動(人間の入力を伴う)のセグメンテーション(画像処理)を実行するように構成されることができる。患者の外科手術計画は、外科手術ロボット4による検索のために、データベース950に対応することができるクラウドベースのサーバに記憶されることができる。
例えば、整形外科手術中に、外科医は、コンピュータ画面(例えば、タッチ画面)または例えばXRヘッドセット920を介したエクステンデットリアリティ(XR)インタラクション(例えば、ハンドジェスチャベースのコマンドおよび/またはボイスベースのコマンド)を使用して、どのカットを作成するか(例えば、後部大腿骨、近位脛骨など)を選択することができる。コンピュータプラットフォーム910は、外科的処置を実行するために外科医に視覚的ガイダンスを提供するナビゲーション情報を生成することができる。外科手術ロボット4とともに使用される場合、コンピュータプラットフォーム910は、外科手術ロボット4がエンドエフェクタ26を目標姿勢に自動的に移動させて、外科手術器具が目標場所に整列されて解剖学的構造に対する外科的処置を実行するようにすることを可能にするガイダンスを提供することができる。
いくつかの実施形態では、外科手術システム900は、2つのDRAを使用して、患者の脛骨に接続されたもの、および患者の大腿骨に接続されたものなど、患者の生体構造の位置を追跡することができる。システム900は、位置合わせおよび確認のための標準のナビゲート器具(例えば、脊椎外科手術のためにGlobus ExcelsiusGPSシステムで使用されるものと同様のポインタ)を使用することができる。
ナビゲートされる外科手術で特に難しい作業は、3D解剖学的構造の2D表現であるコンピュータ画面上で外科医が作業を実行するのに苦労する脊椎、膝、および他の解剖学的構造におけるインプラントの位置を計画する方法である。システム900は、XRヘッドセット920を使用して、解剖学的構造および候補インプラントデバイスのコンピュータで生成された三次元(3D)表現を表示することによって、この問題に対処することが可能である。コンピュータで生成された表現は、コンピュータプラットフォーム910のガイダンスの下で、表示画面上で互いに対してスケーリングおよび姿勢決めされ、XRヘッドセット920を介して視認される間、外科医によって操作されることができる。外科医は、例えば、XRヘッドセット920によって感知されるハンドジェスチャベースのコマンドおよび/またはボイスベースのコマンドを使用して、解剖学的構造、インプラント、外科手術器具などの、表示された、コンピュータで生成された表現を操作することができる。
例えば、外科医は、仮想インプラント上の表示された仮想ハンドルを視認することができ、仮想ハンドルを操作し(例えば、つかんで移動させ)て、仮想インプラントを所望の姿勢に移動させ、解剖学的構造のグラフィック表現に対する計画されたインプラントの配置を調整することができる。その後、外科手術中に、コンピュータプラットフォーム910は、XRヘッドセット920を介してナビゲーション情報を表示することが可能であり、これにより、インプラントを挿入するための外科的計画により正確に追従し、および/または解剖学的構造に対する別の外科的処置を実行する外科医の能力が増進される。外科的処置が骨除去を伴う場合、骨除去の進行、例えば切込みの深さを、XRヘッドセット920を介してリアルタイムで表示することができる。XRヘッドセット920を介して表示されることができる他の特徴として、関節運動の範囲に沿った間隙または靭帯のバランス、関節運動の範囲に沿ったインプラントの接触線、色または他のグラフィックレンダリングによる靭帯の緊張および/または弛緩などを挙げることができるが、これらに限定されるものではない。
いくつかの実施形態では、コンピュータプラットフォーム910は、標準の外科手術器具および/またはインプラント、例えば、後方安定化インプラントおよび十字型保持インプラント、セメント固定およびセメントレスインプラント、例えば、膝関節全置換もしくは部分置換術、および/または股関節置換術、および/または外傷に関連した外科手術のための是正システムの使用を計画することを可能にすることができる。
自動撮像システムをコンピュータプラットフォーム910と連携して使用して、解剖学的構造の術前、術中、術後、および/またはリアルタイムの画像データを取得することができる。例示的な自動撮像システムが、図10および図11に例示されている。いくつかの実施形態では、自動撮像システムは、Cアーム104(図10)撮像デバイスまたはOアーム(登録商標)106(図11)である。(Oアーム(登録商標)は、米国コロラド州ルイスビルに事業所を置くMedtronic Navigation,Inc.が著作権を所有している)。X線システムで必要とされることができる、患者の頻繁な手動による再位置決めを必要とすることなく、いくつかの異なる位置から患者のX線を撮像することが望ましい場合がある。Cアーム104のX線診断機器は、頻繁な手動による再位置決めの問題を解決することができ、外科手術および他の介在する処置の医療分野でよく知られている場合がある。図10に示されるように、Cアームは、「C」形状の対向する遠位端112で終端する細長いC形状の部材を含む。C形状の部材は、X線源114および画像受信器116に取り付けられている。アームのCアーム104内の空間は、X線支持構造からの干渉が実質的にない状態で医師が患者に付き添う余地を提供する。
Cアームは、2つの自由度における(すなわち、球面運動における2つの直交軸を中心とする)アームの回転の動きを可能にするように装着されている。Cアームは、X線支持構造に摺動可能に装着され、これにより、Cアームの曲率中心を中心とした周回回転方向の動きが可能になり、X線源114および画像受信器116を垂直および/または水平方向に選択的に向けることを可能にすることができる。Cアームはまた、横方向(すなわち、患者の幅および長さの双方に対するX線源114および画像受信器116の選択的に調節可能な位置決めを可能にする周回方向に対して直交方向)に回転可能であってもよい。Cアーム装置の球面回転の態様により、医師は、撮像されている特定の解剖学的状況に関して決定された最適な角度で患者のX線を撮像することができる。
図11に示されているOアーム(登録商標)106は、例示されていない画像キャプチャ部分を取り囲むことができるガントリハウジング124を含む。画像キャプチャ部分は、X線源および/または放射部分と、X線受信および/または画像受信部分と、を含み、これらを互いに約180度に配設し、画像キャプチャ部分の追跡に対してロータ(例示せず)上に装着することができる。画像キャプチャ部分は、画像取得中に360度回転するように動作可能であってもよい。画像キャプチャ部分は、中心点および/または軸を中心として回転することができ、患者の画像データが複数の方向から、または複数の平面で取得されることを可能にする。
ガントリハウジング124を備えたOアーム(登録商標)106は、撮像される物体の周りに位置決めするための中央開口部と、ガントリハウジング124の内部の周りで回転可能な放射線源と、を有し、放射線源は、複数の異なる投影角度から放射線を投影するように適合されることができる。検出器システムは、各投影角度で放射線を検出して、物体画像を複数の投影面から擬似的に同時に取得するように適合されている。ガントリは、カンチレバー様式で、ホイールを有するホイール付き移動式カートなどの支持構造Oアーム(登録商標)支持構造に取り付けることができる。位置決めユニットは、好ましくはコンピュータ化された運動制御システムの制御下で、ガントリを計画された位置および向きに並進および/または傾斜させる。ガントリは、ガントリ上で互いに対向して配設された供給源および検出器を含むことができる。供給源および検出器は、供給源および検出器を互いに協調させてガントリの内部の周りで回転させることができる電動ロータに固設されることができる。供給源は、ガントリの内側に位置する目標オブジェクトの多平面撮像のために、部分的および/または完全に360度の回転にわたって複数の位置および向きでパルス化されることができる。ガントリは、ロータが回転するときにロータを誘導するためのレールおよび支承システムをさらに備えることができ、これは、供給源および検出器を搬送することができる。Oアーム(登録商標)106およびCアーム104の双方および/またはいずれかを自動撮像システムとして使用して、患者をスキャンし、情報を外科手術システム2に送ることができる。
撮像システムによってキャプチャされた画像は、XRヘッドセット920および/またはコンピュータプラットフォーム910の別のディスプレイデバイス、外科手術ロボット4、および/または外科手術システム900の別のコンポーネントに表示されることができる。XRヘッドセット920は、例えば、コンピュータプラットフォーム910を介して、撮像デバイス104および/または106のうちの1つ以上、および/または画像データベース950に接続されて、画像データベース950からの画像を表示することができる。ユーザは、XRヘッドセット920を介して制御入力、例えば、ジェスチャおよび/またはボイスベースのコマンドを提供して、撮像デバイス104および/または106および/または画像データベース950のうちの1つ以上の動作を制御することができる。
図12は、図13に示されるXRヘッドセット920に対応し、且つ本開示のいくつかの実施形態にしたがって動作することができるXRヘッドセット1200および1210(ヘッドマウントディスプレイHMD1およびHMD2)の対を含む外科手術システムの構成要素のブロック図を示している。
図12の例示的なシナリオを参照すると、助手612および外科医610は、双方とも、それぞれXRヘッドセット1200および1210を着用している。助手612がXRヘッドセット1210を着用することは任意である。XRヘッドセット1200および1210は、着用者が、以下にさらに記載するように、外科的処置に関連した情報を視認し、および情報とインタラクトすることができるインタラクティブな環境を提供するように構成されている。このインタラクティブなXRベースの環境は、技術従事者614が手術室に存在する必要性を排除することができ、図6に示されるディスプレイ34の使用の必要性を排除することができる。各XRヘッドセット1200および1210は、器具、解剖学的構造、エンドエフェクタ26、および/または他の機器に取り付けられたDRAまたは他の参照アレイの追加の追跡ソースを提供するように構成された1つ以上のカメラを含むことができる。図12の例では、XRヘッドセット1200は、DRAおよび他のオブジェクトを追跡するための視野(FOV)1202を有し、XRヘッドセット1210は、DRAおよび他のオブジェクトを追跡するためのFOV1202と部分的に重なるFOV1212を有し、ナビゲーションカメラ46は、DRAおよび他のオブジェクトを追跡するために、FOV1202および1212と部分的に重複する別のFOV600を有する。
1つ以上のカメラが、追跡されるオブジェクト、例えば外科手術器具に取り付けられたDRAを視認するのを妨げられているが、DRAが1つ以上の他のカメラを視野に入れている場合、追跡サブシステム830および/またはナビゲーションコントローラ828は、ナビゲーションを喪失せずにシームレスにオブジェクトを追跡し続けることができる。これに加えて、1つのカメラの観点からDRAが部分的に隠れているが、DRA全体が複数のカメラソースを介して視認可能である場合、カメラの追跡入力を統合して、DRAのナビゲーションを続けることができる。XRヘッドセットおよび/またはナビゲーションカメラ46のうちの1つは、XRヘッドセットの別の1つでDRAを表示および追跡して、コンピュータプラットフォーム910(図9および図14)、追跡サブシステム830、および/または別のコンピューティングコンポーネントを有効にし、1つ以上の定義された座標系、例えば、XRヘッドセット1200/1210、ナビゲーションカメラ46、および/または患者、テーブル、および/または部屋に対して定義された別の座標系に対するDRAの姿勢を判定することができる。
XRヘッドセット1200および1210は、神経モニタリング、顕微鏡、ビデオカメラ、および麻酔システムを含むがこれらに限定されない手術室内の様々な機器から受信されたビデオ、写真、および/または他の情報を表示するように、および/またはこれらの機器を制御するコマンドを提供するように動作可能に接続されることができる。様々な機器からのデータは、例えば、患者のバイタルサインまたは顕微鏡フィードの表示など、ヘッドセット内で処理および表示されることができる。
例示的なXRヘッドセットコンポーネントと、ナビゲートされた外科手術、外科手術ロボット、およびその他の機器への統合
図13は、本開示のいくつかの実施形態にしたがって構成されたXRヘッドセット920を示している。XRヘッドセットは、XRヘッドセットを着用者の頭に固定するように構成されたヘッドバンド1306、ヘッドバンド1306によって支持される電子的コンポーネントエンクロージャ1304、および電子的コンポーネントエンクロージャ1304を横切って下向きに延びる表示画面1302を含む。表示画面1302は、シースルーLCDディスプレイデバイス、またはディスプレイデバイスによって着用者の目に向けて投影された画像を反射する半反射レンズとすることができる。ヘッドセットの片側または両側に配置された既知の間隔を空けて、例えばドットなどのDRA基準のセットがペイントされるかまたは取り付けられる。ヘッドセットのDRAは、補助追跡バー上のナビゲーションカメラがヘッドセット920の姿勢を追跡することを可能にし、および/または別のXRヘッドセットがヘッドセット920の姿勢を追跡することを可能にする。
表示画面1302は、ディスプレイデバイスのディスプレイパネルからユーザの眼に向けて光を反射する、コンバイナとも呼ばれるシースルー表示画面として動作する。ディスプレイパネルを、電子的コンポーネントエンクロージャとユーザの頭との間に位置させることができ、ユーザの眼に向けた反射のために、表示画面1302に向けて仮想コンテンツを投影するように角度付けすることができる。表示画面1302が半透明および半反射であることにより、ユーザに、実世界シーンのユーザのビューに重畳された反射された仮想コンテンツが見えるようになる。表示画面1302は、下側横方向バンドよりも高い不透明度を有する図示の上側横方向バンドなど、異なる不透明度領域を有することができる。表示画面1302の不透明度は、実世界シーンからユーザの眼に通過する光の量を調整するために電子的に制御されることができる。表示画面1302の高不透明性構成は、実世界シーンの薄暗いビュー上にオーバーレイされた高コントラストの仮想画像をもたらす。表示画面1302の低不透明性構成は、実世界シーンのよりクリアなビュー上にオーバーレイされた、よりかすかな仮想画像をもたらすことができる。不透明度は、表示画面1302の表面に不透明な材料を適用することによって制御されることができる。
いくつかの実施形態によれば、外科手術システムは、XRヘッドセット920およびXRヘッドセットコントローラ、例えば、図14のコントローラ1430または図34のコントローラ3410を含む。XRヘッドセット920は、外科手術中にユーザが着用するように構成されており、XR画像を表示するように、且つ実世界シーンの少なくとも一部分がユーザによる視認のために通過できるように構成されたシースルー表示画面1302を有する。XRヘッドセット920はまた、ユーザがシースルー表示画面1302を視認するときに、ユーザの眼のうちの少なくとも1つと実世界シーンとの間に配置される不透明フィルタを含む。不透明フィルタは、実世界シーンからの光に対する不透明性を提供するように構成されている。XRヘッドセットコントローラは、ナビゲーションコントローラ、例えば、図14のコントローラ(単数または複数)828A、828B、および/または828Cと通信して、解剖学的構造に対する外科的処置中にユーザにガイダンスを提供するナビゲーションコントローラからナビゲーション情報を受信するように構成されており、シースルー表示画面1302に表示するためのナビゲーション情報に基づいてXR画像を生成するようにさらに構成されている。
表示画面1302の不透明度は、表示画面1302の上部から下向きの距離でより連続的に変化する不透明性を有する勾配として構成されることができる。勾配の最も暗い点は、表示画面1302の上部に位置することができ、不透明度が透明になるか、または存在しなくなるまで、表示画面1302上でさらに下方へと徐々に不透明度が低くなる。例示的なさらなる実施形態では、勾配は、表示画面1302のほぼ眼の中央のレベルで、約90%の不透明度から完全に透明に変化することができる。ヘッドセットが適切に調整および配置されている場合、眼の中央のレベルは、ユーザが真っ直ぐに見るポイントに対応し、勾配の端部は、眼の「水平」線に位置する。勾配の暗い部分は、仮想コンテンツの鮮明でクリアなビジュアルを可能にし、頭上の手術室ライトの邪魔な輝度を遮断するのに役立つ。
このように不透明フィルタを使用することにより、XRヘッドセット920は、表示画面1302の上部に沿って実世界シーンからの光を実質的または完全に遮断することによって仮想現実(VR)能力を提供し、且つ表示画面1302の中央または下部に沿ってAR能力を提供することが可能になる。これにより、ユーザは、必要に応じてARを半透明にできるようになり、処置中における患者の生体構造のクリアな光学系が可能になる。表示画面1302を、より一定の不透明性バンドに代えて勾配として構成することにより、着用者は、実世界シーンの輝度と、上向きのビューと下向きのビューとの間のより急速なシフト中などに、なければ眼を緊張させ得る被写界深度と、の急峻な変化を経験することなく、よりVRタイプのビューからよりARタイプのビューへのより自然な遷移を体験できるようになる。
ディスプレイパネルおよび表示画面1302は、広視野のシースルーXRディスプレイシステムを提供するように構成されることができる。例示的な一構成では、それらは、ユーザが仮想コンテンツを視認するための55°の垂直範囲を備えた80°の対角視野(FOV)を提供する。他の対角FOV角度および垂直カバレッジ角度は、異なるサイズのディスプレイパネル、異なる曲率レンズ、および/またはディスプレイパネルと湾曲表示画面1302との間の異なる距離および角度の向きを介して提供されることができる。いくつかの実施形態では、広い視野を有するXRヘッドセットを有することにより、XRヘッドセットは、ユーザの視野が実世界位置合わせXR画像に関連する実世界座標を中心としていないときに、実世界位置合わせXR画像をユーザに表示することができる。
図14は、コンピュータプラットフォーム910に、Cアーム撮像デバイス104、Oアーム撮像デバイス106などの撮像デバイスのうちの1つ以上および/または画像データベース950に、および/または本開示の様々な実施形態にかかる外科手術ロボット800に動作可能に接続されることができるXRヘッドセット920の電気的コンポーネントを例示している。
XRヘッドセット920は、ナビゲートされる外科的処置を実行するための改善されたヒューマンインターフェースを提供する。XRヘッドセット920は、例えば、コンピュータプラットフォーム910を介して、以下のうちの1つ以上を含むがこれらに限定されない機能を提供するように構成されることができる:ハンドジェスチャベースのコマンドおよび/または音声ベースのコマンドの識別、ディスプレイデバイス1450上のXRグラフィカルオブジェクトの表示。ディスプレイデバイス1450は、表示されたXRグラフィックオブジェクトを表示画面1302に投影するビデオプロジェクタ、フラットパネルディスプレイなどとすることができる。ユーザは、XRグラフィカルオブジェクトを、表示画面1302(図13)を介して見られる特定の実世界のオブジェクトに固定されたオーバーレイとして見ることができる。XRヘッドセット920は、追加的または代替的に、1つ以上のXRヘッドセット920に取り付けられたカメラおよび他のカメラからのビデオフィードを表示画面1302に表示するように構成されることができる。
XRヘッドセット920の電気的コンポーネントは、複数のカメラ1440、マイクロフォン1442、ジェスチャセンサ1444、姿勢センサ(例えば、慣性測定ユニット(IMU))1446、ディスプレイデバイス1450を含むディスプレイモジュール1448、および無線/有線通信インターフェース1452を含むことができる。以下に説明するように、XRヘッドセットのカメラ1440は、可視光キャプチャカメラ、近赤外線キャプチャカメラ、または双方の組み合わせとすることができる。
カメラ1440は、カメラ(単数または複数)1440の視野内で実行されるユーザのハンドジェスチャの識別のためにキャプチャすることによって、ジェスチャセンサ1444として動作するように構成されることができる。これに代えて、ジェスチャセンサ1444は、近接センサ、および/またはジェスチャセンサ1444に近接して実行されるハンドジェスチャを感知し、および/または物理的接触、例えばセンサまたはエンクロージャ1304をタッピングすることを感知するタッチセンサとすることができる。姿勢センサ1446、例えばIMUは、1つ以上の定義された座標軸に沿ったXRヘッドセット920の回転および/または加速度を感知することができる多軸加速度計、傾斜センサ、および/または別のセンサを含むことができる。これらの電気的コンポーネントのいくつかまたは全ては、コンポーネントエンクロージャ1304に内包されることができるか、または腰もしくは肩などの他の箇所で着用されるように構成された別のエンクロージャに内包されることができる。
上で説明したように、外科手術システム2は、カメラ追跡システムコンポーネント6/6’と、コンピュータプラットフォーム910の一部とすることができる追跡サブシステム830とを含む。外科手術システムは、撮像デバイス(例えば、Cアーム104、Oアーム106、および/または画像データベース950)および/または外科手術ロボット4を含むことができる。追跡サブシステム830は、解剖学的構造、エンドエフェクタ、外科手術器具などに取り付けられたDRAの姿勢を判定するように構成される。ナビゲーションコントローラ828は、例えば、解剖学的構造上で外科手術器具を使用して且つ追跡サブシステム830によって判定された解剖学的構造の姿勢に基づいて外科的処置がどこで実行されるかを定義する、図9のコンピュータプラットフォーム910によって実行される外科的計画機能からの外科的計画に基づいて、解剖学的構造に対する外科手術器具の目標姿勢を判定するように構成される。ナビゲーションコントローラ828は、さらに、外科手術器具の目標姿勢、解剖学的構造の姿勢、および外科手術器具および/またはエンドエフェクタの姿勢に基づいて操舵情報を生成するように構成されることができ、ここで、操舵情報は、外科手術計画を実行するために外科手術器具および/または外科手術ロボットのエンドエフェクタが移動される必要がある場合を示す。
XRヘッドセット920の電気的コンポーネントは、有線/無線インターフェース1452を介してコンピュータプラットフォーム910の電気的コンポーネントに動作可能に接続されることができる。XRヘッドセット920の電気的コンポーネントは、例えば、様々な撮像デバイス、例えば、Cアーム撮像デバイス104、I/Oアーム撮像デバイス106、画像データベース950に、および/または有線/無線インターフェース1452を介して他の医療機器に対して、コンピュータプラットフォーム910を介して動作可能に接続されることができるかまたは直接接続されることができる。
外科手術システム2は、さらに、XRヘッドセット920、コンピュータプラットフォーム910、および/または有線ケーブルおよび/または無線通信リンクで接続された別のシステムコンポーネントに常駐することができる少なくとも1つのXRヘッドセットコントローラ1430(簡潔にするために「XRヘッドセットコントローラ」とも呼ばれる)を含む。様々な機能は、XRヘッドセットコントローラ1430によって実行されるソフトウェアによって提供される。XRヘッドセットコントローラ1430は、解剖学的構造に対する外科的処置中にユーザにガイダンスを提供するナビゲーションコントローラ828からナビゲーション情報を受信するように構成されており、シースルー表示画面1302での投影のためのディスプレイデバイス1450での表示のためにナビゲーション情報に基づいてXR画像を生成するように構成されている。
表示画面(「シースルー表示画面」とも呼ばれる)1302に対するディスプレイデバイス1450の構成は、XRヘッドセット920を着用しているユーザが、実世界にあるように見えるXR画像を、表示画面1302を介して見るようにXR画像を表示するように構成されている。表示画面1302は、ユーザの眼の前のヘッドバンド1306によって位置決めされることができる。
XRヘッドセットコントローラ1430は、表示画面1302を視認する間、ユーザの頭またはユーザの身体の他の箇所に着用されるように構成されたハウジング内にあることができるか、または表示画面1302に通信可能に接続されている間に表示画面1302を視認しているユーザから遠隔に位置することができる。XRヘッドセットコントローラ1430は、カメラ1440、マイクロフォン142、および/または姿勢センサ1446からの信号伝達を動作可能に処理するように構成されることができ、表示画面1302上で視認するユーザのためにディスプレイデバイス1450にXR画像を表示するように接続されている。したがって、XRヘッドセット920内の回路ブロックとして例示されるXRヘッドセットコントローラ1430は、XRヘッドセット920の他の例示されるコンポーネントに動作可能に接続されているが、必ずしも共通のハウジング(例えば、図13の電子的コンポーネントエンクロージャ1304)内に存在しないか、またはユーザによって運搬可能ではないことを理解されたい。例えば、XRヘッドセットコントローラ1430は、ひいては図3Bおよび図3Cに示されるカメラ追跡システムコンポーネント6’のハウジング内に存在することができるコンピュータプラットフォーム910内に存在することができる。
XRヘッドセットを介したユーザビューの例
XRヘッドセットの動作は、2D画像および3Dモデルの双方を表示画面1302に表示することができる。2D画像は、好ましくは、表示画面1302のより不透明なバンド(上側バンド)に表示されることができ、3Dモデルは、より好ましくは、環境領域として別途知られる、表示画面1302のより透明なバンド(下側バンド)に表示されることができる。表示画面1302が終了する下側バンドの下方において、着用者は、手術室の遮るもののないビューを有する。XRコンテンツが表示画面1302に表示されている場合、流動的であり得ることに留意されたい。3Dコンテンツが表示されている場合、コンテンツに対するヘッドセットの位置に応じて、不透明なバンドに移動することができ、2Dコンテンツが表示されている場合、透明なバンドに配置されて実世界に安定することができる。これに加えて、表示画面1302の全体は、ヘッドセットを外科手術計画のための仮想現実に変換するために電子制御下で暗くされることができるか、または医療処置中に完全に透明にされることができる。上記で説明したように、XRヘッドセット920および関連付けられた動作は、ナビゲートされる処置をサポートするだけでなく、ロボットにより支援される処置と組み合わせて実行されることができる。
図16は、本開示のいくつかの実施形態にかかる、医療処置中に外科手術器具1602を操作しているユーザにナビゲーション支援を提供するためのXRヘッドセット920の表示画面1302を介した例示的なビューを示している。図16を参照すると、外科手術器具1602に接続された動的参照アレイ1630および1632がカメラ1440(図15)および/または46(図6)の視野内になるように、外科手術器具1602が追跡される解剖学的構造の近傍にもたらされると、器具のグラフィック表現1600は、解剖学的構造のグラフィック表現1610に関連して2Dおよび/または3D画像で表示されることができる。ユーザは、視認されたグラフィック表現を使用して、器具のグラフィック表現2000から解剖学的構造のグラフィック表現1610を通って延在するものとして例示されることができる外科手術器具1602の軌跡1620を調整することができる。XRヘッドセット920はまた、テキスト情報および他のオブジェクト1640を表示することができる。表示された表示画面を横切って延びる破線1650は、異なる不透明度レベルの上側バンドと下側バンドとの間の分割例を表す。
表示画面1302に表示されることができる他のタイプのXR画像(仮想コンテンツ)は、これらに限定されるものではないが、以下のいずれか1つ以上を含むことができる:
1)患者の生体構造の2Dの身体軸ビュー、矢状ビュー、および/または冠状ビュー、
2)計画された器具と現在追跡されている器具との対比と、外科手術インプラント場所と、のオーバーレイ、
3)術前画像のギャラリー、
4)顕微鏡および他の同様のシステム、またはリモートビデオ会議からのビデオフィード、
5)オプションならびに構成の設定およびボタン、
6)外科手術計画情報を有する患者の生体構造の浮遊3Dモデル、
7)浮遊する患者の生体構造に関連する外科手術器具のリアルタイム追跡、
8)指示およびガイダンスを有する患者の生体構造の拡張オーバーレイ、および
9)外科手術機器の拡張オーバーレイ。
追跡システムコンポーネントのためのカメラの構成例
図17は、本開示のいくつかの実施形態にしたがって構成された2対のステレオナビゲーションカメラを有する補助追跡バー46の例示的な構成を示している。補助追跡バー46は、図3A、図3B、および図3Cのカメラ追跡システムコンポーネントの一部である。一実施形態にかかる、ステレオナビゲーションカメラは、間隔を置いて配置された可視光キャプチャカメラのステレオ対と、間隔を空けて配置された近赤外線キャプチャカメラの別のステレオ対とを含む。あるいは、可視光キャプチャカメラの1つのステレオ対のみ、または近赤外線キャプチャカメラの1つのステレオ対のみが補助追跡バー46において使用されることができる。任意の複数の近赤外線および/または可視光カメラを使用することができる。
姿勢測定連鎖
上で説明したように、ナビゲートされた外科手術は、例えば、既知の方法で配置されたディスクまたは球などの間隔を空けた基準を含む取り付けられたDRAの姿勢を判定することなどによる、外科手術器具のコンピュータビジョン追跡および姿勢(例えば、6自由度座標系における位置および向き)の判定を含むことができる。コンピュータビジョンは、近赤外線および/または可視光をキャプチャするように構成された、間隔を空けて配置されたナビゲーションカメラ、例えばステレオカメラを使用する。このシナリオでは、(1)精度、(2)堅牢性、および(3)外科手術中のユーザの人間工学という最適化をめぐって共同で競合する3つのパラメータがある。
本開示のいくつかのさらなる態様は、1つ以上のXRヘッドセットに取り付けられた追加のナビゲーションカメラを組み込むことによって、上記の3つのパラメータの1つ以上の最適化を改善することができる方法で測定された姿勢を組み合わせる(連鎖する)コンピュータ動作に関する。図17に示されるように、本開示のいくつかの実施形態にしたがって、可視光追跡カメラのステレオ対および近赤外線追跡ナビゲーションカメラの別のステレオ対を、カメラ追跡システムコンポーネントの補助追跡バーに取り付けることができる。完全に観察された、または部分的に観察された(例えば、DRAの全ての基準未満が1対のステレオカメラによって見られる場合)DRAの姿勢を分析し、観察された姿勢または部分的な姿勢を、ナビゲートされた外科手術中の精度、堅牢性、および/または人間工学を向上させることができる方法で組み合わせる動作アルゴリズムが開示される。
上で説明したように、XRヘッドセットは、コンピュータで生成されたXR画像によって実世界シーンを補強するように構成されることができる。XRヘッドセットは、コンピュータで生成されたXR画像をシースルー表示画面に表示することによってXR表示環境を提供するように構成されることができ、これにより、実世界シーンからの光がそこを通過してユーザによる複合表示を可能にする。あるいは、XRヘッドセットは、実世界シーンからの光が、表示されたXR画像の表示経路に沿ってユーザによって直接見られるのを防止または実質的に防止することによって、VR表示環境を提供するように構成されることができる。XRヘッドセットは、ARおよびVR表示環境の双方を提供するように構成されることができる。一実施形態では、ARおよびVR表示環境の双方は、不透明度の高いバンドに位置合わせされたXR画像のためにVR表示環境が提供され、不透明度の低いバンドに位置合わせされたXR画像のためにAR表示環境が提供されるように、シースルー表示画面と実世界シーンとの間に配置された実質的に異なる不透明度の横方向バンドによって提供される。別の実施形態では、ARおよびVR表示環境の双方は、ユーザによって見られるXR画像と組み合わせるために実世界シーンからの光がシースルー表示画面を通過する量を可変的に制限する不透明度フィルタのコンピュータ調整可能な制御によって提供される。したがって、XRヘッドセットはまた、ARヘッドセットまたはVRヘッドセットと呼ばれることもできる。
上でも説明したように、XRヘッドセットは、外科手術器具、患者の解剖学的構造、他のXRヘッドセット、および/またはロボットエンドエフェクタに接続されたDRAの基準を追跡するように構成された近赤外線追跡カメラおよび/または可視光追跡カメラを含むことができる。XRヘッドセットで近赤外線追跡および/または可視光追跡を使用すると、単一の補助追跡バー上のカメラが提供することができる範囲を超える追加の追跡ボリュームカバレッジを提供する。既存の補助追跡バーに近赤外線追跡カメラを追加すると、ヘッドセットの位置を可視光よりも確実に追跡することができるが、精度は低くなる。可視および近赤外線追跡座標系を機械的に較正することにより、座標系を十分に位置合わせして、ステレオマッチングを使用して3D DRA基準三角測量動作を実行し、可視および近赤外線追跡座標系間のDRA基準の姿勢を共同で識別することができる。可視および近赤外線追跡座標系の双方を使用すると、以下のいずれか1つ以上を有効にすることができる:(a)単一の座標系を使用して識別されない器具の識別、(b)姿勢追跡精度の向上、(c)外科手術器具、患者の解剖学的構造、および/またはロボットエンドエフェクタの追跡を失うことなく、より広い範囲の動きを可能にすること、および(d)ナビゲートされた外科手術器具と同じ座標系でXRヘッドセットを自然に追跡すること。
実世界座標系におけるXRヘッドセットの姿勢に基づくXR画像の生成
次に、図18~図26の例示的な実施形態を参照して、医療処置中に外科手術器具のためにXRヘッドセットを介してナビゲーション支援を提供するための外科手術システム2によって実行されることができる様々な動作が記載される。
ナビゲートされた外科医の場合、一部の外科医は、患者の解剖学的構造を複数回スキャンし、2D画面に表示された画像を使用して器具を正しい位置および向きにナビゲートするなどの技術を採用している。外科手術器具は、スキャンした画像にオーバーレイとして追跡および表示されることができるため、外科医は、患者の解剖学的構造を物理的に露出する必要なしに(すなわち、低侵襲手術(「MIS」)を介して)、器具追跡システムが許容する限りの精度で、解剖学的構造に対する器具の位置および向き(姿勢とも呼ばれる)を確認することができる。このプロセスは、低侵襲手術を可能にするが、これらの技術は、さらなる困難を提示する可能性がある。
いくつかの例では、フリーハンドおよびロボットでナビゲートされる外科手術は、2Dディスプレイ(コンピュータモニタなど)との相互作用を必要とする可能性がある。ディスプレイを使用して、スキャンした患者の画像を表示したり、インプラントの配置を計画したり、ロボットによってナビゲートされる外科手術の場合にはロボットを制御したりすることができる。滅菌ドレープをタッチスクリーンモニタまたはコンピュータのマウスインターフェースの上に配置すると、正確でスムーズな物理的制御を妨げることがある。さらにまた、患者を見ているときにモニタが外科医の視野外にある場合、外科医は、画像を見るために手術部位から繰り返し目をそらすことを余儀なくされる可能性がある。
追加のまたは代替の例では、ナビゲートされた器具は、軸方向および矢状方向ビューなど、スキャンからの2Dスプライス画像を使用して表示されることができる。しかしながら、複数の2D画像を同時にナビゲートすることは、直感的でなく、新たな外科医が学ぶのが難しい可能性がある。プロセスは、CTおよびX線スキャンを使用してスキャンされた解剖学的構造の再構成を作成し、コンピュータ化された3Dモデルを生成することができるが、3Dモデルのナビゲート、表示、および操作は、2Dディスプレイによっては実施することができない。
外科手術環境においてXRディスプレイを使用すると、実世界の患者情報を3Dで表示することができる。しかしながら、外科手術ナビゲーションのコンテキストにおいてXRコンテンツを表示することは、さらなる課題を提示する。例えば、乗り物酔いは、広い視野のXRディスプレイを使用する場合の一般的な問題であるが、ユーザインターフェースの慎重な計画によって最小限に抑えることができる。頭に位置合わせされたコンテンツの大きな視野は、乗り物酔いの一般的な原因であることが知られており、本明細書の様々な実施形態に記載されるように、世界位置合わせまたはオブジェクト位置合わせコンテンツを使用することによって回避されることができる。
さらにまた、図18~図22に示すように、XRヘッドセットを介して患者位置合わせ代替現実(AR)コンテンツを使用すると、その性質上、エラーが発生しやすくなる可能性がある。器具の追跡(現在の外科用ディスプレイにおいて最も重大なエラーの原因の1つ)から発生するエラーに加えて、XRヘッドセットの追跡、ヘッドセットの光学系の較正、および外科医の視線に対するヘッドセットの姿勢からエラーが導入される可能性がある。視覚的な閉塞を追跡しないと、画像がディスプレイの背後にあるオブジェクトを適切に閉塞せず、外科医の手術部位の視界を妨げる可能性がある。さらに、患者の解剖学的構造が露出されていないかまたはXRコンテンツによって閉塞されている場合、画像のエラーがすぐに明らかにならない可能性があり、これにより、外科医を誤った情報に過度に依存させることがある。
図18は、外科手術中に器具および/またはインプラントの位置決めを支援するために外科医によって参照されることができる2D画面の例を示している。図19は、図18に関連する実際の外科的処置の例を示している。外科医の器具の位置は、患者に対する物理的な器具の位置を追跡することにより、スキャンされた画像に対して表示されることができる。ディスプレイは、器具1810の表示された位置および位置1820におけるインプラントの理想的な位置を示すことができる。しかしながら、追跡が完全ではないことがあり、この不完全性によって生じるエラーにより、器具の表示位置がずれてしまう可能性がある。図18~図19の例では、器具は、実際には、解剖学的構造に対して位置1850にあることができ、結果として生じるインプラントは、解剖学的構造に対して位置1860にあることができる。器具追跡によって与えられた姿勢がエラーオフセット1890によって不正確である場合、ディスプレイ内の器具1810は、実際の器具位置1850に対してエラーオフセット1890によってオフセットされる。外科医は、オフセットディスプレイを使用してそれらの器具をインプラントの位置に誘導することから、インプラントは、外科医の計画において理想的に移動するはずの場所からのエラーオフセット1890によって僅かにずれる。
図20~図22は、図18~図19と同じ外科的処置中に使用されることができるXR画像の例と、対応する外科的処置の別の図を示している。XRディスプレイを使用して外科手術をナビゲートすることは、器具の追跡をさらに必要とし、これは、エラーオフセット1890を形成する。しかしながら、XRヘッドセットの追跡やXRディスプレイの較正のエラーなど、他のエラーの原因は、XRディスプレイオフセットエラー2092によって表される別のかなりのオフセットを累積的に生成する。患者位置合わせまたは解剖学的位置合わせされたXRコンテンツを表示するとき、XRディスプレイオフセットエラー2092は、XRコンテンツ2070を解剖学的構造の実際の位置2030から視覚的に変位させる。XRコンテンツは、患者の外科医の視界を妨げるので、彼らは、XRコンテンツに対して実際の位置2110に器具を配置する。さらに、追跡された器具位置に基づいてガイダンスが提供されるため、理想的なインプラント位置と実際の結果のインプラント位置との合計差は、エラーオフセット1890およびXRディスプレイオフセットエラー2092の合計と同じになることができる。
ここに開示されているように、世界位置合わせされたXRコンテンツが使用される場合、XRディスプレイオフセットエラー2092は、依然として存在する。しかしながら、XRコンテンツは、患者から切り離されており、外科医の視界を妨げないため、XRディスプレイオフセットエラー2092は、外科医の器具の配置やスキャンされた解剖学的構造に対するガイダンスの表示に影響を与えない。代わりに、理想的なインプラント位置1820と結果として生じるインプラント位置1860との間の差は、現在の外科手術ナビゲーション表示方法と同じように、エラーオフセット1890に制限される。
本明細書で説明される様々な実施形態は、図23に示されるように、XRディスプレイのための3D再構成された解剖学的モデルビューを使用する。情報は、頭部位置合わせまたは患者位置合わせの方法からナビゲーションおよび相互作用を提供するのではなく、患者の上に「浮いている」患者の解剖学的構造2320の世界位置合わせ3Dモデルに対して示される。XRディスプレイ2310を手の動きを追跡する機能と組み合わせることは、別のレベルの双方向性を追加する。仮想患者の解剖学的構造2320に対する仮想器具2333および仮想インプラントの位置を表示することに加えて、XR 3D解剖学的ビューは、インタラクティブとすることができ、外科手術ロボットを制御するために使用されることができる。
図23では、外科医2390は、脊椎手術中のナビゲーションに3D解剖学的ビューを使用しており、これは、手術台全体でXRヘッドセットを使用している別の人の視点から示されている。患者2380がスキャンされ、画像は、XR領域2310に示される脊椎2320の3Dモデルを構築するために使用された。外科手術計画は、フローティングモデルに表示される理想的な器具の位置を決定する。外科医の器具2335の3Dモデル表現はまた、実世界のインプラント位置2322における実世界器具2335の追跡された物理的位置に基づいて、脊椎モデル2320に対する仮想器具2333として示されている。実世界XR画像は、仮想解剖学的構造2320に対する仮想器具2333の所望の位置を示す仮想ガイダンス2330を含むことができる。
患者から医用画像を取得した後、3Dモデルの再構成が作成されることができる。このモデルは、XRディスプレイのユーザインターフェースに提示される。XRに示されているように、モデルは、世界位置合わせされており(ディスプレイの着用者が頭を動かしても、モデルは所定の位置に留まることを意味する)、デフォルトでは、患者の約0.5メートル上方に配置される。手の追跡をXRシステムと融合することで、ユーザは、手を使用してジェスチャを実行する3Dモデルと相互作用することができる。このレベルの相互作用により、モデルを計画、ナビゲーション、およびクロスプラットフォームハードウェア制御の制御インターフェースとして使用することができる。以下は、解剖学的ビューと相互作用するための可能な用途のいくつかの例である。
いくつかの実施形態では、外科医は、解剖学的ビューと相互作用して、安定化オプションを判定することができる。安定化オプションは、ビューが患者安定化(患者が移動するとコンテンツが移動する)か、世界安定化(患者が移動してもコンテンツが静止したまま)かを含むことができる。
追加のまたは代替の実施形態では、外科医は、解剖学的ビューと相互作用して、ビューの調整を決定することができる。例えば、図24~図25は、外科医が手を使用してモデルを回転させて他の角度から見やすくしたり、傾けることなくモデルを拡大して詳細を確認したりすることができることを示している。
追加のまたは代替の実施形態では、外科医は、解剖学的ビューと相互作用して、インプラントの配置を判定することができる。GPSおよび同様のソフトウェアによって提供される既存の2Dスライスビューおよび操作に加えて、外科用インプラントを3Dで計画または調整することができる。
追加のまたは代替の実施形態では、外科医は、解剖学的ビューと相互作用して、器具のナビゲーションを制御することができる。追跡された外科手術器具の3D表現は、患者の解剖学的構造に対して相対的なスケールおよび姿勢でディスプレイに示され、インジケータは、計画で指示された正しい位置に外科医を導くことができる。
追加のまたは代替の実施形態では、外科医は、解剖学的ビューと相互作用して、外科手術ロボットを制御することができる。例えば、図26は、ロボットによってナビゲートされる外科手術において、外科医2390が、手のジェスチャを使用して、XR 3D解剖学的ビュー2310上の個々のインプラント2610、2620、2626、2630を選択して、ロボット2690にそのインプラント2612、2622、2632の正しい配置のための位置に移動するように指示できることを示している。この例では、仮想インプラント2610は、完成した実世界のインプラント2612に対応する。仮想インプラント2620は、現在配置されている実世界のインプラント2622に対応し、仮想インプラント2630は、次の実世界のインプラント2632に対応し、外科的処置の一部として計画された仮想インプラント2626に対応する。
追加のまたは代替の実施形態では、外科医は、解剖学的ビューと相互作用して、外科的プロセスの概要を記録または表示することができる。いくつかの例では、図26に示すように、外科医は、手のジェスチャを使用して解剖学的ビューでインプラントを選択し、それを完了としてマークして、外科医に全体的な進行状況の視覚的な表現を与えることができる。
追加のまたは代替の実施形態では、外科医は、解剖学的ビューと相互作用して、2Dスキャンを選択することができる。例えば、外科医は、3Dモデルに沿ったスキャンの場所ごとに整理された2D画像のギャラリーを表示し、手のジェスチャを使用してそれらを選択することができる。
図24~図25は、手の追跡を使用すると、3D解剖学的ビューがインタラクティブになることができることを示している。外科医は、手を使用して患者の解剖学的構造のビューを制御および操作し、モデルをより詳細に表示することができる。図24では、ビューのセクションを選択することにより、外科医は、その領域を拡大することができる。状況に応じて、この拡大図を使用して、インプラントの配置を計画したり、手術をより詳細にナビゲートしたりすることができる。図25では、外科医は、直感的なジェスチャによって拡大ビューを回転させることができる。
図26は、外科医が手を使用してXR 3D解剖学的ビューにおいて次に計画されているインプラント位置を選択する様子を示しており、これは、外科手術ロボットに次の位置に移動するように信号を送る。実世界XR画像はまた、どのインプラントが完了したか、どのインプラント部位が現在手術されているか、およびどれがまだ開始されていないかを示す進行状況オーバーレイも含む。例えば、完了した仮想インプラントは、黒として表示されることができ、現在手術中の仮想インプラントは、濃い灰色で表示されることができ、開始されていない仮想インプラントは、白で表示されることができる。
XR 3D解剖学的ビューをナビゲーション、計画、およびインタラクティブメニューとして使用することは、いくつかの利点を提供する。いくつかの例では、一般的なモデルではなく、患者のスキャンから派生した3Dモデルを使用することは、外科手術の計画およびナビゲーションに使用されることができる患者の正確なビューを提供する。これはまた、あらゆる種類の医用画像から派生したあらゆる3Dモデルを使用することができることも意味し、そのため、ビューは、最終的にあらゆる種類の外科手術に使用されることができる。ビューは、事前にまたは手術中に生成されることができる。
追加のまたは代替の実施形態では、コンテンツを世界位置合わせされた状態に保つことは、世界位置合わせまたはオブジェクト位置合わせされた代替現実コンテンツのエラーの不一致が、XRナビゲート外科手術の精度に影響を与えるのを防ぐ。これにより、システムは、2Dモニタディスプレイの場合と同様に、器具追跡の精度に効果的に依存することができる。
追加のまたは代替の実施形態では、XRによって提供される浸漬、および複数の2Dビューを使用する現在の方法と比較して3Dビューを有する能力により、外科医は、より直感的な方法でナビゲートすることができ、これは、ナビゲートされた外科手術を実行するために新たな外科医を訓練するために特に重要である。
追加のまたは代替の実施形態では、頭部位置合わせ安定化を使用する代わりに、世界安定化または患者安定化追跡を伴う世界位置合わせコンテンツを使用することにより、外科医は、手動で操作する必要なしに、モデルのより良いビューを得るために頭を使用して傾けることができる。これはまた、自身のXRディスプレイによって外科手術を見ている他の人が、外科医との相互作用を確認することを可能にし、大きな頭部安定化/位置合わせディスプレイに関連する乗り物酔いをユーザが経験する機会を低減する。
追加のまたは代替の実施形態では、コンテンツは、患者位置合わせではなく世界位置合わせされていることから、外科医は、自身にとって快適な個人化された位置にモデルを操作および移動して、所望の安定化オプションを選択することができる。外科医はまた、直感的な手のジェスチャを使用して、必要に応じてビュー自体を回転または拡大し、デフォルトまたは個人化された位置に容易に戻すこともできる。
追加のまたは代替の実施形態では、手術部位の視野内で患者の上に3Dビューを提供することにより、外科医は、より快適な方法で画像およびナビゲーションを見ることができ、患者から目をそらす必要がないようにする。いくつかの実施形態では、広い視野を有するXRヘッドセット(例えば、図13の湾曲表示画面1302)は、外科医が周辺視野において3Dビューを維持することを可能にする。
追加のまたは代替の実施形態では、画像は、「マルチプレーヤー」の観点から手術部位の上に位置するため、外科医は、XRディスプレイを着用している観察者に患者の解剖学的構造を自由に指差して説明することができ、滅菌されていない表面や患者に誤って当たったり触れたりする機会が低くなる。
追加のまたは代替の実施形態では、外科医は、単一の直感的なディスプレイを介して外科手術ロボットを計画、ナビゲート、および制御することができ、ワークフローを劇的に改善する。
追加のまたは代替の実施形態では、XRにおけるXR 3D解剖学的ビューとの相互作用は、ディスプレイに物理的に触れることを必要とせず、滅菌の懸念を低減し、それらの上のドレープによってタッチディスプレイまたはマウス/キーボードと相互作用することによってもたらされる困難を排除する。
エクステンデットリアリティ器具相互作用ゾーン
次に、図27~図32の例示的な実施形態を参照して、医療処置中に外科手術器具のためにXRヘッドセットを介してナビゲーション支援を提供するための外科手術システム2によって実行されることができる様々な動作が記載される。
いくつかの実施形態では、外科手術器具の動き追跡をエクステンデットリアリティにおける頭および手の追跡と組み合わせることにより、「相互作用ゾーン」を使用して、拡張現実UIの要素を非表示、表示、無効化、および相互作用させることができる。これらの相互作用ゾーンは、追跡された器具および手の追跡制御を使用して、外科手術中に事前に決定または定義されることができる3D追跡ボリュームのセクションとすることができる。これらの相互作用ゾーンを使用して、外科医は、例えば、外科手術中に指定された器具を許可してはならない領域を定義し、意図しない動作を防ぐためにUIを無効化または非表示にし、手術器具を使用してUI要素と相互作用し、ORの他の場所からの器具および手からの追跡データを無視することができる。
いくつかの実施形態では、相互作用ゾーンは、リアルタイムで定義されることができる。外科医または医療専門家は、患者に対して監視マーカを移動し、XRヘッドセットにおいてその位置を確認することができる。この監視マーカの位置は、追跡および更新されることができる。デフォルトのボックスが定義されることができる。手の追跡コントロールを使用して、位置を変更することができる。ロック位置を調整するために、微調整コントロールダイヤルを使用することができる場合もある。ヘッドセットの着用者は、ヘッドセットの着用者が満足するまでこの手順を繰り返し、後で再度編集することができる。ヘッドセットの着用者はまた、ロック位置を異なるボックスに並べ替えるための代替の手のコントロールも有する。1つのロックされたポイントは、結合された相互作用領域を定義するための複数の境界ボックスの一部とすることができる。ロックされたポイントは、複数の相互作用ゾーンを定義するために複数のボックスに並べられることができる。領域をクリアするためのコントロールを利用することができる。どの器具が相互作用ゾーンと相互作用すべきかを定義するためのコントロールを利用することができる。
追加のまたは代替の実施形態では、相互作用ゾーンは、相対的な測定値を使用してソフトウェアによって事前に構成されることができる。例えば、ユーザインターフェース(「UI」)は、手または器具が頭に対して特定の高さを超えている場合にのみ表示されたり、相互作用を許可したりすることができる。デフォルトの相互作用ゾーンは、UI設定において調整されることができる。定義すると、種類およびユーザ設定に応じて、ゾーンを非表示にしたり、かすかに表示したり、状況に応じて表示したりすることができる。
本明細書の様々な実施形態は、外科的処置中に相互作用ゾーンを使用することを説明している。相互作用ゾーンは、一般に、個別に説明されるが、XRヘッドセットは、独立した、および/またはオーバーラップする複数の相互作用ゾーンを表示することができる。以下は、外科医によって使用されることができるほんの数例である。
いくつかの実施形態では、相互作用ゾーンは、ナビゲーションゾーンを含むことができる。エクステンデットリアリティディスプレイは、低侵襲で、フリーハンドで、およびロボットによってナビゲートされる外科手術を可能にする。患者の近くにナビゲーションゾーンを形成することにより、外科医は、エクステンデットリアリティのモデルを使用して、外科手術計画にしたがって適切な位置および向きに誘導されたり、または現在の器具の軌跡および位置に基づいて新たな計画を作成したりすることができる。ナビゲーションゾーンは、ゾーン内の器具のみがナビゲートされ、トリガーとして使用されて、エクステンデットリアリティにおいてナビゲーション表示をもたらすことを可能にすることができる。これはまた、ナビゲーションゾーンの外側で検出された器具が正確にまたは全く追跡される必要がないことを意味し、これにより、コンピュータビジョンベースの外科手術器具追跡の性能を向上させることができる。
図27A~Bは、実世界の外科的処置2752に関連する3D XR解剖学2750によって使用されるナビゲーションゾーンの例を示している。実世界器具2754は、図27Bの実世界のナビゲーションゾーン2790内に存在し、実世界のナビゲーションゾーン2790内には存在しない。したがって、図27AのXRディスプレイは、計画モードXR画像2710であり、計画された場所にある仮想計画器具2712を示している。図27Bに示されるように、ナビゲーションゾーン2790内に配置されている実世界器具2754を検出する追跡システムに応答して、計画モードXR画像2710は、ナビゲーションモードXR画像2730によって置き換えられる。ナビゲーションモードXR画像2730では、仮想器具2760は、定義されたナビゲーションゾーン2710によって実世界器具2754を移動するのを助けるために、仮想計画器具2712とともに実世界器具2754に対応して表示される。
いくつかの実施形態では、相互作用ゾーンは、遷移ゾーンを含むことができる。エクステンデットリアリティディスプレイは、情報が多すぎるという問題を引き起こす可能性があり、これは、広い視野のディスプレイや、手術台などの敏感な作業領域においてすぐに動作を起こす必要がある設定において特に問題になる可能性がある。外科医がUI要素によって視力が妨げられることなく作業することができることが重要である。フェイルセーフのように、特定の領域を使用して、器具または手がその領域に持ち込まれたときに、全てのUI要素を自動的に折り畳むことができる。追跡対象のアイテムをそのエリアから削除するか、別のゾーンを使用することで、UIを元に戻すことができる。同様に、遷移ゾーンを使用して、前述のナビゲーションビューの呼び出しや、器具が手術領域に持ち込まれたときに計画ビューを非表示にするなど、状況に応じてデータを表示または非表示にすることができる。(ナビゲーションゾーンは、特殊な遷移ゾーンと考えることができる)。
いくつかの実施形態では、相互作用ゾーンは除外ゾーンを含む。動作環境の一部の領域が常に明確に表示され、XRオーバーレイがないことが重要な場合がある。除外ゾーンは、UI要素がどの角度から見てもゾーンの表示を妨げるのを防ぐ。
いくつかの実施形態では、相互作用ゾーンは警告ゾーンを含む。外科手術スペースの特定の領域が追跡された外科手術ロボットまたは外科手術器具の立ち入りが禁止されている場合は、警告ゾーンを定義することができる。これらの器具の1つが、相互作用ゾーンを含む境界ボックスの1つと交差すると、1つ以上の構成可能な警告イベントが発生する。外科手術ロボットと併用すると、投影された動き経路によって形成された警告ゾーンを3D空間にエクステンデットリアリティで表示することができる。ロボットは、器具、手、または追跡されたヘッドセットがその投影された経路を遮ったときに、その動きを強制的に停止することもでき、安全性をさらに高める。相互作用ゾーンを超えた場合に発行されるアラートまたは警告の種類も構成可能である。ヘッドセットおよびモニタにビープ音、XR閉塞、またはテキストによる警告を含めることができる。
図28A~Bは、外科医によって定義された警告ゾーン2880を示している。器具が図28Bの警告ゾーン2880に入ると、外科医が却下することができる警告2892がXR UI2890に表示される。
図29A~Bは、実世界のロボットアーム2930および該ロボットアーム2930の将来の位置2940、ならびに提案された経路2932を伝達し、実世界のロボットアーム2930は、将来の位置に到達するために移動することができる。図29Bでは、器具2920は、提案された経路2932に移動したときに検出され、警告メッセージ2992がXR UI2990に追加される。さらに、ロボットがその移動途中に器具が警告ゾーンに入ると、ロボットは、停止するかまたは将来の場所への新たな経路を判定する。
いくつかの実施形態では、相互作用ゾーンは、器具選択ゾーンを含むことができる。外科手術追跡ボリュームの指定された領域を使用して、UIによってフォーカスを与えるべき器具を選択することができる。ゾーンに器具を配置し、外科医に確認してもらうことで(UIを介して、さらには単に頭を少しの間その方向に向けることによって)、外科医は、現在使用している器具を選択することができる。そして、エクステンデットリアリティディスプレイは、現在選択されているものとは関係のない器具情報を除外し、選択された器具のジオメトリに基づいてロボット計算を行うことができる。このシンプルな器具選択ゾーンにより、外科医は、関連データのみを受信し、エクステンデットリアリティ領域をクリーンに保つことを確実にする。
器具選択プロセスの例が図30A~Cに示されている。図30Aでは、外科医は、彼らの器具3024を彼らの助手に渡した。しかしながら、UI 3090は、その器具3024のデータを引き続き表示し、外科医の新たな器具3022は表示しない。図30Bでは、外科医は、新たな器具3022を選択ゾーン3020に持ち込み、チェックマークの周りの円が完了するのを待つか、または手のジェスチャを使用して選択を確認する。図30Cでは、新たな器具3022が位置合わせされた。ここで、UIデータ3090は、外科医の器具3022を示し、他の器具3024からデータを除外する。
いくつかの実施形態では、相互作用ゾーンは、UIゾーンを含む。エクステンデットリアリティディスプレイによって器具追跡が使用される場合、器具を使用することによってUI自体を変更することができる。外科手術器具は、他の使用のうち、ペンとして使用されて、3D空間にメモを書き込んだり、UI要素をアクティブにしたり、ネジやその他の外科手術用インプラントの3Dモデルを配置したり、既存の3Dモデルを回転または移動したり、シェーダーを変更したりすることができる。
図31A~Bでは、患者のスキャンを使用して生成された3Dモデル3110が、それ自体のUIゾーン3190とともに示されている。外科医がゾーンを介して器具3120を持ってくるとき、彼らは、外部シェーダーを「はがし」、代わりに2Dスキャンを断面3150として見ることができる。彼らは、解剖学的構造の異なる断面を素早く分類する方法として、これを任意の角度から行うことができる。
図32に示されるUIゾーンの別の例では、外科医は、外科手術中の滅菌メモ記録に使用されるUIゾーン3290を形成する。外科手術器具3210は、定義されたUIゾーン3290に持ち込まれたときに仮想ペンとして使用されることができる。器具の追跡されたトリガーポイントは、単語間に「インク」または「リフトオフ」をいつ適用するかを示すために使用される。さらに、器具を使用して画像アイコン3250を選択し、XRヘッドセットのカメラをトリガーして、メモに関連付けることができる画像を記録することができる。これらの支援は、外科医が術後メモを作成するのに役立つことができる。
相互作用ゾーンは、エクステンデットリアリティUIの変更をトリガーしたり、ロボットコマンドを発行したりするために使用されることができる追跡ボリュームのセクションである。いくつかの実施形態は、3D相互作用ゾーンを定義するためのアプローチを説明し、それらの使用に帰する。
いくつかの実施形態では、追跡ボリュームから相互作用ゾーンを形成することにより、XRインターフェースまたはロボット制御スキームにおける文脈上の相互作用/変更を可能にする。手と器具の追跡を使用することは、滅菌環境において相互作用ゾーンを簡単な方法で定義および変更することを可能にする。相互作用ゾーンは、追跡された外科手術器具または手を使用してユーザ定義されることができるため、手術室に追加の器具は必要としない。
追加のまたは代替の実施形態では、相互作用ゾーンは、追跡されたオブジェクトに関連してXRソフトウェアによって文脈的に定義されることができる(例えば、追跡された患者基準点の近くにナビゲーションゾーンを配置するか、ロボットエンドエフェクタの近くに警告ゾーンを配置する)。相互作用ゾーンは、例えばXRでゾーンを表示したり、エッジにピッチポイントを使用したりすることにより、いつでも変更されることができる。
追加のまたは代替の実施形態では、相互作用ゾーンは、安全予防策として外科環境において実用的であり、直感的なUIの使用を可能にし、UI領域を清潔に保ち、外科医の患者の視界を明確に保つことができる。
いくつかの実施形態では、相互作用ゾーンは、様々な用途を有することができ、相互作用ゾーンの種類は、その挙動を決定する。例えば、ナビゲーションゾーンは、UIが状況に応じてユーザにナビゲーションガイダンスを提供することを可能にする。また、ナビゲーションゾーンの器具に対してのみ精度を最適化することにより、オブジェクト追跡アルゴリズムを支援する。遷移ゾーンは、追跡対象のオブジェクトがUI内にある場合に、UIを表示、非表示、または変更することにより、豊富な器具および機能を提供しながら、患者の明確なビューを有する能力をユーザに与える。それらはまた、外科医が作業中に意図せずにUIをアクティブにする可能性を制限する。除外ゾーンは、XRユーザインターフェースが外科医の重要な領域のビューを妨げるのを防ぐ。警告ゾーンは、外科医に特別なレベルの認識を提供し、患者の身体との意図しない接触を回避し、外科手術ロボットの動きに対して経路が明確であることを保証する。例えば、フリーハンド手術では、器具が危険な位置に配置された場合、外科医は、フィードバックの邪魔にならない。警告ゾーンは、即座に読みやすいフィードバックを可能にする。器具選択ゾーンは、複数の器具が追跡されているときにUIがクリーンに保たれるのを確実にする。UIゾーンは、UIを簡単で直感的な使用を可能にするため、エクステンデットリアリティにより、その外科的ガイダンスの可能性を完全に実現することを可能にする。
図33は、外科手術システム3300の例のブロック図である。図示のように、外科手術システム3300は、XRヘッドセット3320、コンピュータプラットフォーム910、カメラ追跡システム6、6’、撮像デバイス、および外科手術ロボット800を含む。コンピュータプラットフォーム910は、追跡サブシステム830、ナビゲーションコントローラ828、XRヘッドセットコントローラ3330、および相互作用ゾーンコントローラ3390を含む。追跡サブシステム830は、カメラ追跡システム6、6’からのデータに基づいて、実世界座標系に対するXRヘッドセット3320、外科手術ロボット800、および他の実世界要素の実世界姿勢を追跡することができる。ナビゲーションコントローラ828は、外科手術器具のような実世界要素の実世界姿勢と実世界要素の計画された位置との間の差を判定することができる。XRヘッドセットコントローラ3330は、実世界XR画像が実世界座標系に結び付けられるように、XRヘッドセットの実世界姿勢に基づいて、XRヘッドセットによって表示するための実世界XR画像を生成することができる。相互作用ゾーンコントローラ3390は、実世界座標系に対する相互作用ゾーンの姿勢および種類を判定し、外科医が相互作用ゾーンと相互作用しているときを判定するために、相互作用ゾーンに関する情報をXRヘッドセットコントローラ3330に提供することができる。いくつかの実施形態では、外科手術システムは、これらの特徴の一部のみを含むことができる。例えば、外科手術システムは、XRヘッドセット3320、追跡サブシステム830、およびXRヘッドセットコントローラ3330を含むことができる。
図34は、外科手術システム(例えば、外科手術システム3300)によって実行されるプロセスのフローチャートである。ブロック3410において、追跡サブシステム830は、実世界座標系に対する実世界要素の実世界姿勢を判定する。いくつかの実施形態では、追跡サブシステムは、XRヘッドセットの実世界姿勢と実世界要素の実世界姿勢とを判定する。
ブロック3420で、XRヘッドセットコントローラ3330は、実世界の座標系の一部を相互作用ゾーンとして定義する。いくつかの実施形態では、ヘッドセットコントローラは、相互作用ゾーンを、ナビゲーションゾーン、遷移ゾーン、警告ゾーン、除外ゾーン、器具選択ゾーン、およびユーザインターフェース(「UI」)ゾーンのうちの1つであると定義する。
いくつかの実施形態では、外科手術システムは、実世界要素の種類および/または実世界姿勢に基づいて、相互作用ゾーンの寸法、姿勢、および/または種類を定義するように構成された相互作用ゾーンコントローラをさらに含む。
ブロック3430において、XRヘッドセットコントローラは、実世界要素が相互作用ゾーン内にあるかどうかを判定する。
ブロック3440において、XRヘッドセットコントローラ3330は、実世界要素の実世界姿勢の追跡データに基づいてユーザ入力を判定する。
ブロック3450において、XRヘッドセットコントローラ3330は、XRヘッドセットの実世界姿勢に基づいて、世界位置合わせXR画像を生成する。いくつかの実施形態では、XRヘッドセットコントローラは、XRヘッドセットの実世界姿勢と実世界要素の実世界姿勢とに基づいて、世界位置合わせXR画像を生成する。世界位置合わせXR画像は、実世界要素の特性に基づいて生成された仮想要素を含む。仮想要素は、XRヘッドセットの実世界姿勢に基づいて提示され、ユーザの視野内のシースルー表示画面に表示される。いくつかの実施形態では、XRヘッドセットは、広い視野を有するディスプレイ(例えば、図13の湾曲表示画面1302)を含み、これにより、外科医が僅かに異なる方向を見ている間、世界位置合わせXR画像が表示され続けることを可能にする。
追加のまたは代替の実施形態では、XRヘッドセットコントローラは、シースルー表示画面に表示される世界位置合わせXR画像の仮想要素と、XRヘッドセットの実世界姿勢に関係なく、実世界座標系に対して一定の姿勢で維持される仮想要素とを備えたXRヘッドセットの実世界姿勢に基づいて世界位置合わせXR画像を生成するように構成される。
追加のまたは代替の実施形態では、XRヘッドセットコントローラは、シースルー表示画面に表示される世界位置合わせXR画像の仮想要素と、XRヘッドセットの実世界姿勢に関係なく、実世界要素の実世界姿勢から一定のオフセットになるように維持される姿勢を有する仮想要素とを備えたXRヘッドセットの実世界姿勢に基づいて世界位置合わせXR画像を生成するように構成される。
追加のまたは代替の実施形態では、XRヘッドセットコントローラは、実世界要素の実世界姿勢の追跡データに基づいてユーザ入力を判定するようにさらに構成される。XRヘッドセットコントローラは、ユーザ入力に基づいて、世界位置合わせXR画像をさらに生成するようにさらに構成される。
追加のまたは代替の実施形態では、XRヘッドセットコントローラは、世界位置合わせXR画像内に仮想要素を生成することにより、実世界要素の実世界姿勢が相互作用ゾーン内にあるという判定に応答するように構成される。
ブロック3460において、XRヘッドセットコントローラ3330は、世界位置合わせXR画像を表示する。いくつかの実施形態では、世界位置合わせXR画像は、外科的処置中にユーザによって着用されるように構成されたXRヘッドセットのシースルー表示画面に表示される。シースルー表示画面は、XR画像を表示し、実世界シーンの少なくとも一部がユーザによる視認のためにシースルーを通過することを可能にするように構成される。
いくつかの実施形態では、XRヘッドセットコントローラ3330は、さらに、ナビゲーションコントローラと通信して、解剖学的構造の外科的処置中にユーザにガイダンスを提供するナビゲーションコントローラからナビゲーション情報を受信するように構成される。XRヘッドセットコントローラは、シースルー表示画面に表示するためのナビゲーション情報に基づいてユーザインターフェース(「UI」)データをさらに含むように、世界位置合わせXR画像を生成するように構成される。
追加のまたは代替の実施形態では、相互作用ゾーンは、ナビゲーションゾーンである。追跡システムは、さらに、ナビゲーションゾーン内にある間、実世界要素の実世界姿勢のみを判定するように構成される。XRヘッドセットコントローラは、ナビゲーションゾーン内にあると判定された実世界要素に応答して、実世界要素に対応する仮想要素に関連付けられたUIデータを含むように、世界位置合わせXR画像を生成するように構成される。
追加のまたは代替の実施形態では、相互作用ゾーンは遷移ゾーンである。XRヘッドセットコントローラは、遷移ゾーン内にあると判定された実世界要素に応答して、UIデータの一部をさらに除外するように、世界位置合わせXR画像を生成するように構成される。XRヘッドセットコントローラは、遷移ゾーンの外側にあると判定された実世界要素に応答して、UIデータの一部をさらに含むように、世界位置合わせXR画像を生成するように構成される。
追加のまたは代替の実施形態では、相互作用ゾーンは警告ゾーンである。ナビゲーションコントローラは、さらに、警告ゾーンが実世界座標系でのロボットアームの投影された動き経路を含むことを判定するように構成される。ナビゲーションコントローラは、さらに、実世界要素が警告ゾーン内にあるかどうかを判定するように構成される。実世界要素が警告ゾーン内にあると判定したことに応じて、投影された経路に沿ったロボットアームの動きが防止される。XRヘッドセットコントローラは、ロボットアームの投影された動き経路に関連する仮想経路が表示されるように、世界位置合わせXR画像を生成するように構成される。XRヘッドセットは、実世界要素が警告ゾーン内にあることに応答して、ユーザに警告を出力するようにさらに構成される。
追加のまたは代替の実施形態では、相互作用ゾーンは、除外ゾーンであり、XRヘッドセットコントローラは、ユーザによる除外ゾーンのビューがXR画像によって遮られないように、世界位置合わせXR画像を生成するように構成される。
追加のまたは代替の実施形態では、相互作用ゾーンは器具選択ゾーンである。追跡システムは、さらに、器具選択ゾーン内にあると判定される第1の実世界要素に基づいて、第1の実世界要素が選択および/または選択解除されるかどうかを判定するように構成される。追跡システムは、選択された実世界要素のみの器具選択ゾーンの外側の実世界姿勢を判定するように構成される。
追加のまたは代替の実施形態では、相互作用ゾーンは、ユーザインターフェース(「UI」)ゾーンである。XRヘッドセットコントローラは、さらに、実世界要素の実世界姿勢がUIゾーン内内にあると判定されることに応答して、実世界要素の実世界姿勢の操作に基づいて世界位置合わせXR画像を変更するように構成される。
追加のまたは代替の実施形態では、XRヘッドセットは、さらに、ユーザによって形成された手のジェスチャの表示をXRヘッドセットコントローラに出力するように構成されたジェスチャセンサを含む。XRヘッドセットコントローラは、ユーザによって形成された手のジェスチャの表示に基づいて、相互作用ゾーンの寸法、姿勢、および/または種類を定義および/または変更するようにさらに構成される。
追加のまたは代替の実施形態では、外科手術システムは、外科手術ロボットおよびナビゲーションコントローラをさらに含む。外科手術ロボットは、ロボット基部と、ロボット基部に接続されたロボットアームと、少なくとも1つのモータと、を含む。ロボットアームは、外科手術器具の動きを案内するように構成されたエンドエフェクタを配置するように構成される。少なくとも1つのモータは、ロボット基部に対してロボットアームを移動させるように動作可能に接続する。ナビゲーションコントローラは、解剖学的構造上で外科手術器具を使用して外科的処置が実行される場所を定義する外科手術計画に基づいて、および解剖学的構造の姿勢に基づいて、外科手術器具の目標姿勢を判定するように構成される。ナビゲーションコントローラは、さらに、外科手術器具の目標姿勢、解剖学的構造の姿勢、および外科手術器具の姿勢に基づいて、操舵情報を生成するように構成される。操舵情報は、少なくとも1つのモータの制御下で外科手術器具が移動される必要がある場所を示す。
追加のまたは代替の実施形態では、XRヘッドセットは、外科的処置中に第1のユーザによって着用されるように構成された第1のXRヘッドセットであり、第1の世界位置合わせXR画像を表示し、少なくとも実世界シーンの第1の部分が第1のユーザによって視認するためにシースルーを通過することを可能にするように構成されたシースルー表示画面を含む。第1の世界位置合わせXR画像は、実世界要素に対応する第1の仮想要素を含む。外科手術システムは、外科的処置中に第2のユーザによって着用するように構成され、第2の世界位置合わせXR画像を表示し、少なくとも実世界シーンの第2の部分が第2のユーザによって視認するためにシースルーを通過するように構成されたシースルー表示画面を含む第2のXRヘッドセットをさらに含むことができる。第2の世界位置合わせXR画像は、実世界要素に対応する第2の仮想要素を含む。追跡システムは、さらに、第1のXRヘッドセットの実世界姿勢および第2のXRヘッドセットの実世界姿勢を判定するように構成される。XRヘッドセットコントローラは、少なくとも1つのXRヘッドセットコントローラを含み、さらに、第2のXRヘッドセットの実世界姿勢に基づいて、第2の世界位置合わせXR画像を生成するように構成される。第1の世界位置合わせXR画像と第2の世界位置合わせXR画像は異なる。
図34のフローチャートからの様々な動作は、外科手術システムおよび関連する方法のいくつかの実施形態に関して任意とすることができる。
さらなる規定および実施形態:
本発明の概念の様々な実施形態の上記の説明において、本明細書において使用される用語は、特定の実施形態を説明することのみを目的とし、本発明の概念を限定することを意図しないことを理解されたい。別様に定義されない限り、本明細書において使用される全ての用語(技術用語および科学用語を含む)は、本発明の概念が属する技術の当業者によって一般に理解されるのと同じ意味を有する。一般的に使用される辞書に定義されるような用語は、本明細書および関連する技術分野の文脈におけるそれらの意味に矛盾しない意味を有するものとして解釈されるべきであり、本明細書で明確にそのように定義された理想化された、または過度に形式的な意味では解釈されないことがさらに理解されよう。
ある要素が別の要素に対して「接続された(connected)」、「結合された(coupled)」、「応答する(responsive)」、またはそれらの変異型であるように参照される場合、その要素は、他の要素に直接接続、結合、もしくは応答することができるか、または介在する要素が存在してもよい。対照的に、ある要素が別の要素に対して「直接接続された(directly connected)」、「直接結合された(directly coupled)」、「直接応答する(directly responsive)」、またはそれらの変異型であるように参照される場合、介在する要素は存在しない。同様の符号は、全体を通して同様の要素を指す。さらにまた、本明細書において使用される場合、「結合された(coupled)」、「接続された(connected)」、「応答する(responsive)」、またはそれらの変異型は、無線で結合、接続、または応答することを含むことができる。本明細書において使用される場合、単数形「a」、「an」、および「the」は、文脈がそうでないことを明確に示さない限り、複数形も含むことを意図している。周知の機能または構造は、簡潔さおよび/または明確さのために詳細に説明されない場合がある。「および/または」という用語は、関連する列挙された項目のうちの1つ以上のいずれかおよび全ての組み合わせを含む。
本明細書では、第1、第2、第3などの用語を使用して様々な要素/動作を説明することがあるが、これらの要素/動作は、これらの用語によって限定されるべきではないことが理解される。これらの用語は、ある要素/動作を他の要素/動作から区別するためにのみ使用される。したがって、いくつかの実施形態における第1の要素/動作は、本発明の概念の教示から逸脱することなく、他の実施形態における第2の要素/動作と呼ぶことができる。同じ参照番号または同じ参照符号は、明細書全体を通して同じまたは類似の要素を示す。
本明細書において使用される場合、「備える(comprise)」、「備える(comprising)」、「備える(comprises)」、「含む(include)」、「含む(including)」、「含む(includes)」、「有する(have)」、「有する(has)」、「有する(having)」という用語、またはそれらの変異型は、限定がなく、1つ以上の記された特徴、整数、要素、ステップ、コンポーネント、または機能を含むが、1つ以上の他の特徴、整数、要素、ステップ、コンポーネント、機能、またはそれらのグループの存在もしくは追加を排除するものではない。さらにまた、本明細書において使用される場合、ラテン語の「例えば(exempli gratia)」から派生した一般的な略語「例えば(e.g.)」は、前述の項目の全般的な例(複数可)を紹介または指定するために使用されてもよく、かかる項目を限定することを意図するものではない。ラテン語の「すなわち(id est)」から派生した一般的な略語「すなわち(i.e.)」は、より全般的な列挙から特定の項目を指定するために使用されてもよい。
例示的な実施形態は、コンピュータ実装方法、装置(システムおよび/もしくはデバイス)、ならびに/またはコンピュータプログラム製品を示すブロック図および/またはフローチャート図を参照して本明細書において説明される。ブロック図および/またはフローチャート図のブロック、ならびにブロック図および/またはフローチャート図におけるブロックの組み合わせは、1つ以上のコンピュータ回路によって実行されるコンピュータプログラム命令によって実装されることができることが理解される。これらのコンピュータプログラム命令を汎用コンピュータ回路、専用コンピュータ回路、および/または他のプログラム可能なデータ処理回路のプロセッサ回路に提供して機械を生成することができ、それにより、コンピュータのプロセッサおよび/または他のプログラム可能なデータ処理装置を介して実行される命令は、トランジスタ、メモリの場所に記憶された値、およびかかる回路網内の他のハードウェアコンポーネントを変換および制御して、ブロック図および/またはフローチャートブロック(複数可)において指定された機能/作用を実装し、且つそれによって、ブロック図および/またはフローチャートブロック(複数可)において指定された機能/作用を実装するための手段(機能)および/または構造を作り出す。
これらのコンピュータプログラム命令はまた、コンピュータ可読媒体に記憶された命令がブロック図および/またはフローチャートブロックまたは複数のブロックにおいて指定された機能/作用を実装する命令を含む製造物品を製造するように、コンピュータまたは他のプログラム可能なデータ処理装置が特定の方法で機能するように指示することができる有形のコンピュータ可読媒体に記憶されてもよい。したがって、本発明の概念の実施形態は、集合的に「回路網」、「モジュール」、またはそれらの変異型と称されることができる、デジタル信号プロセッサなどのプロセッサで動作するハードウェアおよび/またはソフトウェア(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)で具体化されることができる。
また、いくつかの代替実装形態では、ブロックに記載されている機能/作用が、フローチャートに記載されている順序とは異なる順序で発生する場合があることにも留意されたい。例えば、連続して示されている2つのブロックは、関与する機能/作用に応じて、実際には実質的に同時に実行されてもよいかまたはブロックが逆の順序で実行されてもよい。さらに、フローチャートおよび/またはブロック図の所与のブロックの機能は、複数のブロックに分離されてもよく、および/またはフローチャートおよび/またはブロック図の2つ以上のブロックの機能は、少なくとも部分的に統合されてもよい。最後に、本発明の概念の範囲から逸脱することなく、図示されているブロックの間に他のブロックが追加/挿入されてもよく、および/またはブロックまたは動作が省略されてもよい。さらに、いくつかの図は、通信の主要な方向を示すために通信経路上に矢印を含んでいるが、通信は、描かれた矢印と反対の方向で発生する場合があることを理解されたい。
本発明の概念の原理から実質的に逸脱することなく、実施形態に対して多くの変更および修正を行うことができる。全てのかかる変更および修正は、本発明の概念の範囲内で本明細書に含まれることが意図されている。したがって、上記で開示された主題は、限定的ではなく例示的であると見なされるべきであり、添付の実施形態の例は、本発明の概念の趣旨および範囲内にある全てのかかる修正例、強化例、および他の実施形態を網羅することを意図するものである。したがって、法律で許容される最大限の範囲で、本発明の概念の範囲は、以下の実施形態の例およびそれらの均等物を含む本開示の最も広い許容可能な解釈によって決定されるべきであり、前述の詳細な説明によって制限または限定されるべきではない。