JP6709796B2 - 手術室及び手術部位認識 - Google Patents

Description

関連出願の相互参照
本出願は、参照によってその全体の内容が本明細書に組み込まれる、２０１５年２月２０日に出願された米国仮特許出願第６２／１１８，８４１号の優先権の利益を主張する。

低侵襲手術（ＭＩＳ）は、１つのより大きな開口部に代わって外科的処置を行うために複数の小さな切開部の使用を伴っている。小さな切開部は、患者の不快感を低減し、回復時間を改善してきた。小さな切開部はまた、内臓、組織、及び他の対象物の視認性を制限している。

一般的な手術室における外科医及び関連スタッフは、非最適手段を通してＭＩＳまたはロボット手術中に伝達を行う。外科医の手は、しばしば、彼／彼女が、観察及び／または介在／補助する手術室（ＯＲ）スタッフを必要とする、または要求する何かを指示するために容易に手離すことができない手術器具またはコンソール制御手段で占有される。言葉による伝達が、可能な場合に使用されるが（これは、現在のロボット手術システムの場合において困難であり得る）、これは、患者、内視鏡ディスプレイ、ＯＲ等の特定の位置を示す情報豊富な手段ではない。さらに、術野が、一般的に内視鏡によってのみ観察されるＭＩＳ及びロボット手術中に、その視野の外側で起こることは、未知であり、これは、人体、他の器具等との観察されない器具の干渉を引き起こし得る。

患者の転帰を改善し、外科的処置の効率及び安全を向上するために、手術に関わる全ての人員間の伝達を改善するニーズがある。

本開示の態様において、利用者によって装着される拡張現実頭部取り付け機器が、手術環境の画像を取得するように構成された画像取得機器と、手術環境の画像に基づいて拡張された画像を表示するように構成されたレンズと、を含む。眼追跡モジュールが、レンズに結合され、利用者の眼の凝視の方向を判定するように構成され、眼追跡モジュールによって判定された眼の凝視の方向は、拡張された画像を操作するために使用される。

拡張現実頭部取り付け機器はまた、臨床医に音声コマンドを使用することを可能とするマイクロフォンを含む。

画像取得機器は、標準解像度、高解像度、または超高解像度形式において３次元画像を取得し得る。

拡張された画像は、患者の生体データを含み得る。拡張された画像はまた、利用者の眼の凝視の方向によって決定される強調された部分を含み得る。

レンズは、いくつかの実施形態において透明であり得る。他の実施形態において、画像取得機器は、レンズの第１の側部に取り付けられ、モニターが、第１の側部の反対のレンズの第２の側部に取り付けられ得る。

本開示の別の態様において、手術システムが、手術器具と、第１の利用者によって装着されるように構成された第１の拡張現実頭部取り付けディスプレイと、第２の利用者によって装着されるように構成された第２の拡張現実頭部取り付けディスプレイと、を含む。システムはまた、第１の拡張された画像を第１の拡張現実頭部取り付けディスプレイに提供し、第２の拡張された画像を第２の拡張された頭部取り付けディスプレイに提供するように構成されたコントローラを含む。

手術システムにおいて、手術器具は、ロボット手術器具であり得る。

手術システムはまた、ロボットコントローラ及びジェスチャー検出器を含む手術コンソールを含み得る。ジェスチャー検出器は、第１の利用者の手の動きを検出し、手の動きを示す信号をコントローラに提供する。第１の拡張された画像は、コントローラによって提供される仮想表現を含み、コントローラは、信号に基づいて仮想表現を操作する。拡張された画像は、患者の画像または仮想制御パネルである。

第１の拡張現実頭部取り付け機器は、手術環境の画像を取得し、第１の画像を、第１の拡張された画像を生成するために第１の画像を使用するコントローラに提供するように構成された第１の画像取得機器を含む。第１の拡張現実頭部取り付け機器はまた、第１の拡張された画像を受信し表示するように構成された第１のレンズと、第１のレンズに結合され、第１の利用者の眼の凝視の方向を判定するように構成された第１の眼追跡モジュールと、を含む。第１の眼追跡モジュールによって判定された第１の利用者の眼の凝視の方向は、第１の拡張された画像を操作するために使用される。

第２の拡張現実頭部取り付け機器は、手術環境の画像を取得し、第２の画像を、第２の拡張された画像を生成するために第２の画像を使用するコントローラに提供するように構成された第２の画像取得機器を含む。第２の拡張現実頭部取り付け機器はまた、第２の拡張された画像を受信し表示するように構成された第２のレンズと、第２のレンズに結合され、第２の利用者の眼の凝視の方向を判定するように構成された第２の眼追跡モジュールと、を含む。第２の眼追跡モジュールによって判定された第２の利用者の眼の凝視の方向は、第２の拡張された画像を操作するために使用される。

手術システムにおいて、コントローラは、第１の利用者の眼の凝視の方向を第１の追跡モジュールから受信し、第１の利用者の眼の凝視の方向に基づいて第１の拡張された画像の第１の部分を強調し、第２の拡張された画像の第２の部分を強調し、第２の部分は、第１の部分に対応する。
例えば、本願は以下の項目を提供する。
（項目１）
利用者によって装着される拡張現実頭部取り付け機器であって、
手術環境の画像を取得するように構成された画像取得機器と、
前記手術環境の前記画像に基づいて、拡張された画像を表示するように構成されたレンズと、
レンズディスプレイに結合され、前記利用者の眼の凝視の方向を判定するように構成された眼追跡モジュールと、を備え、
前記眼追跡モジュールによって判定された前記眼の前記凝視の前記方向は、前記拡張された画像を操作するために使用される、拡張現実頭部取り付け機器。
（項目２）
マイクロフォンをさらに備える、項目１に記載の拡張現実頭部取り付け機器。
（項目３）
前記画像取得機器は、３次元画像を取得する、項目１に記載の拡張現実頭部取り付け機器。
（項目４）
前記拡張された画像は、患者の生体データを含む、項目１に記載の拡張現実頭部取り付け機器。
（項目５）
前記拡張された画像は、前記利用者の前記眼の前記凝視によって決定される強調された部分を含む、項目１に記載の拡張現実頭部取り付け機器。
（項目６）
前記レンズは、透明である、項目１に記載の拡張現実頭部取り付け機器。
（項目７）
前記画像取得機器は、前記レンズの第１の側部に取り付けられ、モニターは、前記第１の側部の反対側の前記レンズの第２の側部に取り付けられる、項目１に記載の拡張現実頭部取り付け機器。
（項目８）
手術器具と、
第１の利用者によって装着されるように構成された第１の拡張現実頭部取り付けディスプレイと、
第２の利用者によって装着されるように構成された第２の拡張現実頭部取り付けディスプレイと、
第１の拡張された画像を前記第１の拡張現実頭部取り付けディスプレイに提供し、第２の拡張された画像を前記第２の拡張現実頭部取り付けディスプレイに提供するように構成されたコントローラと、を備える手術システム。
（項目９）
前記手術器具は、ロボット手術器具である、項目８に記載の手術システム。
（項目１０）
ロボットコントローラ及びジェスチャー検出器を含む手術コンソールをさらに備える、項目９に記載の手術システム。
（項目１１）
前記ジェスチャー検出器は、前記第１の利用者の手の動きを検出し、前記手の動きを示す信号を前記コントローラに提供するように構成される、項目１０に記載の手術システム。
（項目１２）
前記第１の拡張された画像は、前記コントローラによって提供される仮想表現を含み、前記コントローラは、前記信号に基づいて前記仮想表現を操作する、項目１１に記載の手術システム。
（項目１３）
前記仮想表現は、患者の画像である、項目１２に記載の手術システム。
（項目１４）
前記仮想表現は、仮想制御パネルである、項目１２に記載の手術システム。
（項目１５）
前記第１の拡張現実頭部取り付け機器は、
手術環境の画像を取得し、前記第１の画像を前記コントローラに提供するように構成された第１の画像取得機器であって、前記コントローラは、前記第１の画像を使用して、前記第１の拡張された画像を生成する、第１の画像取得機器と、
前記第１の拡張された画像を受信し表示するように構成された第１のレンズと、
前記第１のレンズに結合され、前記第１の利用者の眼の凝視の方向を判定するように構成された第１の眼追跡モジュールと、を含み、
前記第１の眼追跡モジュールによって判定された前記第１の利用者の前記眼の前記凝視の前記方向を使用して、前記第１の拡張された画像を操作する、項目８に記載の手術システム。
（項目１６）
前記第２の拡張現実頭部取り付け機器は、
手術環境の画像を取得し、前記第２の画像を前記コントローラに提供するように構成された第２の画像取得機器であって、前記コントローラは、前記第２の画像を使用して、前記第２の拡張された画像を生成する、第２の画像取得機器と、
前記第２の拡張された画像を受信し表示するように構成された第２のレンズと、
前記第２のレンズに結合され、前記第２の利用者の眼の凝視の方向を判定するように構成された第２の眼追跡モジュールと、を含み、
前記第２の眼追跡モジュールによって判定された前記第２の利用者の前記眼の前記凝視の前記方向を使用して、前記第２の拡張された画像を操作する、項目１５に記載の手術システム。
（項目１７）
前記コントローラは、前記第１の利用者の前記眼の前記凝視の前記方向を前記第１の追跡モジュールから受信し、前記第１の利用者の前記眼の前記凝視の前記方向に基づいて前記第１の拡張された画像の第１の部分を強調し、前記第２の拡張された画像の第２の部分を強調し、前記第２の部分は、前記第１の部分に対応する、項目１６に記載の手術システム。

本開示の上記及び他の態様、特徴、ならびに利点は、添付図面と共に以下の詳細な説明に照らしてより明らかになるであろう。

本開示の一実施形態による、手術環境を拡張するシステムのブロック図である。 図１のコントローラのシステムブロック図である。 本開示の複数の実施形態による、拡張現実頭部取り付けディスプレイの斜視図である。 手術環境の代表図である。 図３の拡張現実頭部取り付けディスプレイに示される画像を含む、手術環境の代表図である。 拡張現実頭部取り付けディスプレイ上に示される画像のジェスチャー制御を図示する代表図である。 本開示の一実施形態による、ロボット手術システムのシステムブロック図である。

外科的処置中に１つ以上の手術カメラから取得される画像データは、拡張現実頭部取り付けディスプレイ（ＡＲＨＭＤ）を介して臨床医（例えば、外科医及び／または手術室スタッフ）に提示され得る。ＡＲＨＭＤは、透明表面を臨床医の眼とその周囲との間に配置する。小型ディスプレイが、臨床医が周りを見ると同時に臨床医によって視認される透明表面から反射する。取得された画像データは、臨床医が通常観察するものを拡張すべく、臨床医が見るものと適切に統合する拡張された画像を生成するために、コンピュータによって解釈される。

外科的処置をさらに改善するために、ＡＲＨＭＤは、臨床医の凝視を監視する眼追跡器を含んでもよい。臨床医の凝視を監視することによって、臨床医が探しているアイテムの位置が、判定され、同じ位置を異なる視点から見ている別の人のディスプレイにおいて適切に印付けされ得る。眼追跡はまた、音声認識または他の形式の手を使わない中枢的意思表示（例えば、特定のまばたきパターン）との組み合わせであってもよく、このため臨床医は、アイテムを見て、同じアイテムが示されている誰かに彼／彼女が要求することを示すことができ、他の人は、その視点からアイテムを見ることになる。

ＡＲＨＭＤ及びコンピュータ監視システムを使用することで、臨床医は、その手及び指の動きを監視され、臨床医は、仮想空中制御手段（例えば、スイッチ、ダイヤル、キーボード等）と相互作用し得る。このようにして、滅菌設備を必要とすることなく、コンピュータ監視システムに複雑なコマンドを送信することができる。

臨床医が、ＡＲＨＭＤをまた装着している他の利用者に空間的確定情報を伝達可能であることに加えて、コンピュータ監視システムは、ＯＲ内の臨床医及び／またはスタッフによって視認されるものと同様に、外科医及び／またはスタッフの行動を観察可能であり、その視野に文脈的な適切な情報を差し込み可能である。例えば、外科医が、ロボット上で器具の交換が必要であることを示したとする。ＯＲスタッフは、器具交換に対してそれを配置する必要のある場所の指示に続いて、新しい器具をどこに位置付けるかを示す、そのそれぞれのＡＲＨＭＤのディスプレイ上に自動的に配置される指示手段を有し得る。この形式の行動順補助ディスプレイは、外科医及びＯＲスタッフの能力／経験の状況に適合させることが可能なので、その手術室に適した補助／ガイダンスのレベルのみが提供される。

器具ポートがまた、ロボットまたは従来からのＭＩＳ処置のいずれかにおいて、ＡＲＨＭＤと使用され得る。ポートは、コンピュータ視覚ソフトウェアと組み合わされたカメラであって、カメラによって視認される手術部位の空間的情報を把握可能なカメラを含有することになる。区分化され解釈されたシーン情報は、手術部位の包括的及び定量理解を提供するために全てのポートからのカメラデータを組み合わせることから得られることになる。組み合わされたカメラデータに基づいて監視コンピュータは、外科医及び／またはＯＲスタッフが内視鏡視野を通して見るもの越しに手術部位の包括的理解を有することになる。この情報は、外科医及び／またはＯＲスタッフが、有用性を潜在的に発見し（例えば、器具が内視鏡視野の外側で人体と干渉すること）、手術に関わる各人のＡＲＨＭＤ上に提供される拡張された画像に適切に画像を差し込むことにより、この識見を空間的に正確な方法によって伝達し得るものを決定するために、監視システムによって使用されることになる。

ＡＲＨＭＤ及び器具ポート上のカメラから来るデータに加え、追加の空間認識カメラが、ＯＲ（ロボットアーム上、若しくはブーム上に位置付けられ、またはＯＲテーブルの上の天井等）に提供されてもよく、これはまた、データを提供するコンピュータ視覚ソフトウェアにＯＲテーブル近傍及び患者内の手術部位の包括的全体像を送り込むことが可能である。この方法において、有効な、時間及び安全性に効果的な処置を実施する外科医及びＯＲスタッフにとって役に立つ幅広い範囲の識見が、ＡＲＨＭＤを通して適切に利用可能となり得る。

ＡＲＨＭＤに加え、ＯＲテーブルの周囲に取り付けられたプロジェクタが、ＡＲＨＭＤを装着していない個人にＡＲＨＭＤＳの内容を表示するために使用され得る。これらのプロジェクタは、必要に応じて、ＯＲテーブル領域内の物理的実体の頂部に重ねられる適切な視覚的指示を可能とすることになる。３次元深さ認識カメラを含むことによって、投影される画像は、画像が曲面上に示される場合でさえ、観察者に正確に表されるように調節され得る。

これらの技術の１つ以上は、臨床医に内視鏡の視野の中及び／または外側の不明確な座標及び対象物に関する追加の情報をリアルタイムで提供するために、手術ロボットシステムにおける画像システムの一部として含まれてもよい。

本開示は、外科処置中に拡張された画像をリアルタイムで臨床医に提供するシステム及び方法に関する。本明細書に記載されるシステム及び方法は、手術室スタッフに他の手術室スタッフとの効果的な伝達の機会を与えるために、眼追跡、音声認識、及び／またはハンドジェスチャーの組み合わせを使用し得る。

本明細書に記載される進行中の外科的処置に関するディスプレイ、相互作用型監視、及び自動高機能抽出のシステムは、現状にわたり、ＭＩＳ及びロボット外科的処置に従事する外科医及びＯＲスタッフに対し複数の利益を提供する。眼凝視追跡性を備えたＡＲＨＭＤの装着者は、ＡＲＨＭＤを装着する別の人に、ＯＲまたは手術部位において対象とするものを正確に示すことができる。これは、外科医とＯＲスタッフとの間で信頼性を有して転送される位置中心的情報の詳細な伝達を可能とし、これは、効率及び安全性を向上する。

この通信手法はまた、参加者にその手を滅菌機器から離すことを要求することなく位置中心的通信を可能とし、さらに手術効率を改善する。手／ジェスチャーの追跡／解釈の使用はまた、追加の滅菌適応を必要とすることなく、手術システムに与えられるコマンドを可能とし、さらに処置の効率を改善する。これらのコマンドは、結果として、器具を手術ロボット上で交換するような動作を調整する特定のＡＲＨＭＤの例示的注釈の自動化された開始を可能とする。ガイダンスのレベルが、特定のチーム人員の能力／経験のレベルに調節可能であることは、処置の効率及び安全性を向上する。

手術部位における器具動作の自動的な理解、及び注意を是認する結果の外科医及び／またはＯＲスタッフの後続する通知は、手術の効率及び安全性を改善することになる。例えば、器具と組織との不注意な接触を回避可能である。手術部位の自動的な評価の別の利益は、スポンジ等の配置済み対象物が、注意され、処置の最後にそれらの除去が確認され得ることであり、これによって処置の安全性が向上する。

図１に戻ると、本開示の複数の実施形態による、手術環境を拡張するシステムが、大略的に１００として示される。システム１００は、プロセッサ１０４及びメモリ１０６を有するコントローラ１０２を含む。メモリ１０６は、プロセッサ１０４によって実行される監視ソフトウェアを格納する。システム１００はまた、静止画または動画を記録する画像取得機器１０８、例えば、カメラを含む。１つ以上の画像取得機器１０８は、限定されるものではないが、手術テーブルの上、手術器具上、ロボット手術システムの種々の部分等を含む手術環境における１つ以上の位置に配置され得る。センサ配列１１０が、手術環境に関する情報をコントローラ１０２に提供する。例えば、センサ配列１１０は、脈拍、体温、血圧、血中酸素レベル、心拍等のような患者の生体データを取得可能な生体センサを含む。ディスプレイ１１２が、外科処置中に拡張された画像を臨床医に表示する。いくつかの実施形態において、コントローラ１０２は、無線または有線接続を介して中央サーバ（図示しない）と通信してもよい。中央サーバは、Ｘ線、コンピュータ断層撮影、または核磁気共鳴画像法を使用して取得され得る１人の患者または複数の患者の画像を格納し得る。

１つ以上の画像取得機器１０８によって取得された画像は、ディスプレイ１１２に提供される手術環境の包括的な全体像を提供するために、コントローラ１０２に提供される。包括的な全体像は、１人以上の臨床医を効率的で安全な外科的処置の実施において補助するために、幅広い範囲の識見を提供し得る。

図２は、コントローラ１０２のシステムブロック図を図示する。図２に示されるように、コントローラ１０２は、静止画、動画、またはデータを受信するように構成された送受信器１１４を含む。いくつかの実施形態において、送受信器１１４は、無線通信プロトコルを介して静止画、動画、またはデータを受信するためにアンテナを含んでもよい。静止画、動画、またはデータは、プロセッサ１０４に提供される。プロセッサ１０４は、拡張された画像または動画を生成するために、受信した静止画、動画、またはデータを処理する画像処理フィルタ１１６を含む。画像処理フィルタ１１６は、個別部品、ソフトウェア、またはその組み合わせを使用して実装され得る。拡張された画像または動画は、ディスプレイ１１２に提供される。

図３は、ＡＲＨＭＤ１１８の形式におけるディスプレイ１１２の例を図示する。図３に示されるように、ＡＲＨＭＤ１１８は、装着時に臨床医の眼と手術環境との間に位置する透明レンズディスプレイ１２０を含む。ＡＲＨＭＤ１１８はまた、手術環境の静止画または動画を取得可能な画像取得機器１２２を含む。画像取得機器１２２によって取得された画像は、コントローラ１０２によって解釈され、透明レンズディスプレイ１２０上に表示される前に拡張される。画像取得機器１２２は、標準解像度、高解像度、及び／または超高解像度において３次元画像を取得し得る。３次元画像は、拡張された画像の深さが臨床医にわかるように拡張された画像を形成するために処理される。

ＡＲＨＭＤ１１８はまた、ＡＲＨＭＤ１１８を装着している臨床医の眼の動きを追跡するように構成された眼追跡モジュール１２４を含む。眼追跡モジュール１２４は、眼から反射しカメラまたは任意の他の光学センサによって検出される光を放出する。検出された反射光は、反射の変化から眼の回転を抽出するためにコントローラ１０２によって分析される。いくつかの実施形態において、コントローラ１０２は、経時的に追跡するための特徴として角膜反射及び瞳孔中心を使用してもよい。他の実施形態において、角膜の正面及びレンズの背面からの反射が眼の動きを追跡するために使用される。さらに他の実施形態において、眼の内側からの特徴、例えば、網膜血管が眼の回転として追従される。これらの眼追跡の方法は、臨床医の凝視を追跡することができるため、コントローラ１０２は、臨床医が対象としている位置を判定し得る。眼追跡モジュール１２４はまた、まばたきパターン等の手を使わない中枢的意思表示を解釈可能である。

ＡＲＨＭＤ１１８はまた、以下により詳細に記載されることになる臨床医からの音声コマンドを受信するマイクロフォン１２６を含んでもよい。

図４は、本明細書に記載される複数の実施形態を利用する手術環境を図示する。図４に見られるように、手術環境は、ＡＲＨＭＤ１１８ａを装着している外科医及び別のＡＲＨＭＤ１１８ｂを装着している手術室（ＯＲ）スタッフ人員を含む。外科医は、手術コンソール１２８を使用してロボット手術器具１２６を操作する。ロボット手術器具１２６は、任意の公知のロボット手術器具であってもよい。手術コンソール１２８は、ロボット手術器具１２６にコマンドを送るように構成されたロボットコントローラ１３０を含む。ロボットコントローラ１３０は、任意の従来の方法を介してロボット手術器具１２６にコマンドを送信し得る。

手術コンソールはまた、臨床医のハンドジェスチャーを検出するように構成されたジェスチャー検出器１３２を含む。

図５は、ＡＲＨＭＤ１１８ａ及び１１８ｂに示される画像を含む手術環境を図示する。図５に示されるように、ＡＲＨＭＤ１１８ａは、手術器具１３６上に配置された画像取得機器（例えば、画像取得機器１０８）によって取得された患者の拡張された画像１３４を描画する。この例において、画像１３４は、低侵襲外科的処置中の患者の腹腔鏡視野である。処置中、外科医は、手術器具１３６が交換される必要があり、または針若しくはクリップカートリッジをもうすぐ使い切るであろうことに気付き得る。例えば、眼追跡モジュール１２４は、画面１３８への外科医の凝視を追跡し、特に、眼追跡モジュール１２４は、器具状態を示す画面１３８の部分１４０への外科医の凝視を追跡することになる。眼追跡モジュール１２４は、それから、拡張された画像において部分１４０を強調することになる信号をコントローラ１０２に送信し、強調部分１４０を含む拡張された画像を両ＡＲＨＭＤ１１８ａ及び１１８ｂに提供する。ＡＲＨＭＤ１１８ｂを装着している人の視点からの拡張された画像を表示するＡＲＨＭＤ１１８ｂ上に示される拡張された画像１４２において、画面１３８は、手術器具１３６が交換される必要があり、または針若しくはクリップカートリッジをもうすぐ使い切るであろうことを示す強調部分１４０を有することになる。いくつかの実施形態において、画像１４２は、ＯＲスタッフ人員の見え方から手術器具１３６の画像１４４を強調することになるので、ＯＲスタッフ人員は、手術器具１３６の全てまたは一部を交換する必要性を知らされることになる。ロボット手術器具１２６を操作する外科医が、しばしば、非滅菌環境にいるので、ＡＲＨＭＤ１１８ａを使用することは、ＯＲスタッフ人員との容易に伝達を行うことを可能とし、ＯＲスタッフ人員に新しい針若しくはクリップカートリッジまたは手術器具が必要とされ得ることを気付かせる機会を与える。

いくつかの実施形態において、外科医はまた、特定のアイテムを見つけるためにＯＲを見渡す。一旦、外科医の凝視がＡＲＨＭＤ１１８ａに示される拡張された画像内のアイテムに落ち着くと、音声コマンド、まばたきパターン、または任意の他の形式のコマンドを使用して、ＯＲスタッフ人員のＡＲＭＨＤ１１８ｂが、その個々の見え方からＡＲＭＨＤ１１８ｂ上に示される拡張された画像内のアイテムを強調することになる。

他の実施形態において、ＡＲＨＭＤ１１８ａ及び１１８ｂは、手術部位の包括的及び定量理解を提供するために、画像取得機器１０８の全てからの画像データを組み合わせることから得られた拡張された画像をコントローラ１０２から受信する。組み合わされた画像データに基づいて、コントローラ１０２は、外科医及び／またはＯＲスタッフが内視鏡視野を通して見るもの越しに手術部位の包括的理解を有することになる。この情報は、外科医及び／またはＯＲスタッフが、有用性を潜在的に発見し（例えば、器具が内視鏡視野の外側で人体と干渉すること）、ＡＲＨＭＤ１１８ａまたは１１８ｂ上に提供される拡張された画像において、この識見を空間的に正確な方法によって伝達し得るものを決定するために、コントローラ１０２によって使用されることになる。

図６は、ＡＲＨＭＤ１１８ａを装着している臨床医とコントローラ１０２との間のより詳細な相互作用を提供するために手及び指のジェスチャーが監視される手術環境を図示する。コントローラ１０２は、事前に取得された画像１４６を取得し、拡張された画像１４８において画像１４６の仮想表現１５０を表示する。臨床医は、ＡＲＨＭＤ１１８ａ上で仮想表現１５０を視認し、その手及び／または指を使用し、臨床医は、仮想表現１５０を操作することができる。特に、ジェスチャー検出器１３２は、外科医の手及び／または指の動きを検出し、この動きを示す信号をコントローラ１０２に送信する。コントローラ１０２は、仮想表現１５０を操作するために、仮想表現１５０と共に検出された手及び／または指の動きを空間的に分析する。例えば、臨床医は、画像を拡大するために指をつまむ、または画像を縮小するために指を離すことができる。臨床医は、画像を強調するために仮想表現１５０内の特定の画像を指定することができる。

いくつかの実施形態において、仮想制御パネルが、ＡＲＨＭＤ１１８ａ上に示されてもよく、このため臨床医は、仮想／空中制御手段、例えば、限定されるものではないが、電気手術器具若しくは電気機械器具用のスイッチまたはダイヤル、あるいは仮想キーボードと相互作用を行うことができる。仮想／空中制御手段を使用することは、ＯＲにおいて必要とされる滅菌設備の数を低減する。上記のように、ジェスチャー検出器１３２は、外科医の手及び／または指の動きを検出し、この動きを示す信号をコントローラ１０２に送信することになる。コントローラ１０２は、臨床医の手及び／または指の動きに基づいてコマンドを実施するために、仮想／空中制御手段と共に検出された手及び／または指の動きを空間的に分析することになる。

図７に示されるように、ロボット手術システム２００は、手術室の隣にある、または遠隔場所に位置する１つ以上のコンソール２０２と用いられ得る。この実例において、臨床医または看護師の１つのチームが、患者に手術の用意をさせ、１つ以上の器具２０４を有するロボット手術システム２００を設定し、一方で別の臨床医（または臨床医のグループ）が、ロボット手術システムを介して器具を遠隔制御する。認められ得るように、高い技術を有する臨床医が、彼／彼女の遠隔コンソールから離れることなく複数の場所において複数の手術を実施可能であり、これは、経済的利点及び患者または一連の患者に対する利益の両方を可能とする。

手術システム２００のロボットアーム２０６は、一般的にコントローラ２１０によって一対のマスターハンドル２０８に結合される。コントローラ２１０は、コンソール２０２と一体化されてもよく、または手術室内に独立型機器として提供されてもよい。ハンドル２０６は、ロボットアーム２０６に取設された任意の形式の手術器具２０４（例えば、プローブ、エンドエフェクタ、把持器、ナイフ、ハサミ等）の作用端の対応する動きを生み出すために、臨床医によって動かされ得る。例えば、手術器具２０４は、画像取得機器を含むプローブであってもよい。プローブは、外科処置中に患者の内側の対象領域の画像を取得するために患者の体内に挿入される。画像処理フィルタ１１６の１つ以上が、画像がディスプレイ２１２上で臨床医に表示される前にコントローラ２１０によって、取得された画像に適用される。

マスターハンドル２０８の動きは、作用端が、臨床医の手の操作によって実施される動きとは異なる、つまり小さいまたは大きい、対応する動きを有するように拡縮され得る。倍率またはギヤ比は、オペレータが手術器具２０４の作用端の分解能を制御可能なように調節可能であり得る。

手術システム２００の操作中、マスターハンドル２０８は、ロボットアーム２０６及び／または手術器具２０４の対応する動きを生み出すために臨床医によって操作される。マスターハンドル２０８は、信号をコントローラ２０８に提供し、コントローラ２０８が、その後、対応する信号を１つ以上の駆動モータ２１４に提供する。１つ以上の駆動モータ２１４は、ロボットアーム２０６及び／または手術器具２０４を動かすために、ロボットアーム２０６に結合される。

マスターハンドル２０８は、種々の組織パラメータまたは状態、例えば、手術による組織抵抗、切断またはさもなければ処置、組織上への器具による圧力、組織温度、組織インピーダンス等に関するフィードバックを臨床医に提供するために種々の触覚２１６を含んでもよい。認められ得るように、この触覚２１６は、臨床医に実際の手術状態を模擬する増強された触覚のフィードバックを提供する。触覚２１６は、振動モータ、電気活性ポリマー、圧電素子、静電素子、亜音速音響波表面作動素子、リバース電子振動または利用者に触覚のフィードバックを提供可能な任意の他の素子を含み得る。マスターハンドル２０８はまた、繊細な組織操作または処置に対する臨床医の能力をさらに向上すべく、実際の手術状態を擬態するために、種々の異なるアクチュエータ２１８を含み得る。

本明細書に記載される複数の実施形態において、ＡＲＨＭＤ１１８は、透明レンズディスプレイ１２０を含む。ただし、透明ディスプレイを有しないＡＲＨＭＤもまた、本明細書に記載される実施形態で使用され得る。例えば、ＡＲＨＭＤは、１つ以上のレンズを有し、各レンズが、手術環境の画像を取得するためにレンズの正面に取設されたカメラを含んでいる。一旦、画像が、本明細書に記載された画像処理技術の１つ以上を受けると、処理された、つまり拡張された画像が、利用者の視野を妨げるレンズの背面に取設されたモニター上に表示される。したがって、取得された画像は、利用者に表示される前に操作され得る。

本明細書に記載された複数の実施形態は、開示の例であり、種々の形式において具体化され得る。本明細書に記載された特定の構造的詳細及び機能的詳細は、限定的に解釈されるべきではなく、請求項の基礎として、また実質的に任意の適切な詳細構造において本開示を多様に用いるために当業者に説明するための代表的な基礎として解釈されるべきである。同様の参照符号は、図の説明を通して類似または同一の要素を意味する。

「一実施形態において」、「複数の実施形態において」、「いくつかの実施形態において」、または「他の実施形態において」の語句は、本開示による同一または異なる実施形態の１つ以上を各々意味し得る。「ＡまたはＢ」の形式の語句は、「（Ａ）、（Ｂ）、または（Ａ及びＢ）」を意味する。「Ａ、Ｂ、またはＣの少なくとも１つ」の形式の語句は、「（Ａ）、（Ｂ）、（Ｃ）、（Ａ及びＢ）、（Ａ及びＣ）、（Ｂ及びＣ）、または（Ａ、Ｂ、及びＣ）」を意味する。臨床医は、臨床医または医療処置を実施する任意の医療従事者、例えば、医師、看護師、技師、医療助手等）を意味し得る。

本明細書に記載されたシステムはまた、種々の情報を受信し、出力を生成すべく受信した情報を変換するために、１つ以上のコントローラを利用してもよい。コントローラは、任意の形式のコンピュータ機器、計算回路、またはメモリ内に格納される一連の命令を実行可能な任意の形式のプロセッサ若しくは処理回路を含み得る。コントローラは、マルチプロセッサ及び／またはマルチコア中央処理装置（ＣＰＵ）を含んでもよく、任意の形式のプロセッサ、例えば、マイクロプロセッサ、デジタルシグナルプロセッサ、マイクロコントローラ等を含んでもよい。コントローラはまた、データ及び／または一連の命令を実施するアルゴリズムを格納するメモリを含み得る。

任意の本明細書に記載された方法、プログラム、アルゴリズム、またはコードは、プログラム言語またはコンピュータプログラムに変換、または表現され得る。「プログラム言語」及び「コンピュータプログラム」は、コンピュータに対する特定の命令に使用される任意の言語を含み、（限定されるものではないが）アセンブラ、Ｂａｓｉｃ、バッチファイル、ＢＣＰＬ、Ｃ、Ｃ＋＋、Ｄｅｌｐｈｉ、Ｆｏｒｔｒａｎ、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、機械語、オペレーティングシステムコマンド言語、Ｐａｓｃａｌ、Ｐｅｒｌ、ＰＬ１、スクリプト言語、ＶｉｓｕａｌＢａｓｉｃ、自身がプログラムを明示するメタ言語、ならびに全ての第１世代、第２世代、第３世代、第４世代、及び第５世代コンピュータ言語である、これらの言語及びその派生言語を含む。またデータベース及び他のデータスキーマ、ならびに任意の他のメタ言語が含まれる。逐次解釈、コンパイルされたか、またはコンパイル及び逐次解釈手法の両方を使用する言語間は区別されない。同様に、コンパイルされたものと、プログラムのソースバージョンとの間は区別されない。したがって、プログラム言語が１つ以上の状態（ソース、コンパイル済み、オブジェクト、またはリンク）において存在可能なプログラムに対する参照は、任意の及び全てのそのような状態に対する参照である。プログラムに対する参照は、実際の命令及び／またはそれらの命令の目的を包含し得る。

任意の本明細書に記載された方法、プログラム、アルゴリズム、またはコードは、１つ以上の機械可読媒体またはメモリ上に含有され得る。「メモリ」の語は、プロセッサ、またはデジタル処理装置のような機械によって可読な形式の情報を提供（例えば、格納及び／または送信）する機構を含み得る。例えば、メモリは、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリ機器、または任意の他の揮発性若しくは不揮発性メモリ記憶機器を含み得る。そこに含有されるコードまたは命令は、搬送波信号、赤外線信号、デジタル信号、及び他の同様の信号によって表現され得る。

前述の説明が、本開示の例示のみであることが理解されるべきである。種々の代替及び変形が、本開示から逸脱することなく当業者によって想到され得る。例えば、本明細書に記載された任意の拡張された画像は、臨床医に表示されるように、単一の拡張された画像に組み合わされ得る。したがって、本開示は、全てのこのような代替、変形及び変化を包含するであろう。添付図面を参照して説明された実施形態は、本開示の一例を実証するためだけに提示される。上記のもの及び／または添付の請求項から実質的に異なるものではない他の要素、ステップ、方法及び技術はまた、本開示の範囲内であろう。

Claims (18)

1. 第１の利用者によって装着される拡張現実頭部取り付け機器であって、
   前記第１の利用者の視点からの手術環境の画像を取得するように構成された画像取得機器と、
   前記手術環境の前記画像に基づいて、拡張された画像を表示するように構成されたレンズと、
   前記レンズに結合された眼追跡モジュールであって、前記第１の利用者の眼の凝視の方向を判定するように構成された眼追跡モジュールと
   を備え、
   コントローラは、前記拡張現実頭部取り付け機器の外部に設けられ、前記コントローラは、前記第１の利用者の視点からの前記手術環境の前記画像の画像データと、第２の利用者の視点からの前記手術環境の画像の画像データとを分析することにより、前記手術環境の空間的情報を取得し、前記第１の利用者の視点からの前記手術環境の前記画像の前記画像データと、前記第２の利用者の視点からの前記手術環境の前記画像の前記画像データと、前記空間的情報とに基づいて、前記拡張された画像を生成し、
   前記眼追跡モジュールによって判定された前記眼の前記凝視の前記方向は、前記第１の利用者が対象とする前記生成された拡張された画像の部分を強調するために前記コントローラによって使用され、
   前記第２の利用者は、前記第１の利用者によって装着される前記拡張現実頭部取り付け機器と同一の構成を有する別の拡張現実頭部取り付け機器を装着する、拡張現実頭部取り付け機器。
2. マイクロフォンをさらに備える、請求項１に記載の拡張現実頭部取り付け機器。
3. 前記画像取得機器は、３次元画像を取得する、請求項１に記載の拡張現実頭部取り付け機器。
4. 前記拡張された画像は、患者の生体データを含む、請求項１に記載の拡張現実頭部取り付け機器。
5. 前記強調された部分は、前記第１の利用者の前記眼の前記凝視によって決定される、請求項１に記載の拡張現実頭部取り付け機器。
6. 前記レンズは、透明である、請求項１に記載の拡張現実頭部取り付け機器。
7. 前記画像取得機器は、前記レンズの第１の側部に取り付けられ、モニターは、前記第１の側部の反対側の前記レンズの第２の側部に取り付けられ、前記モニターは、前記第１の利用者の視点を妨げ、かつ、操作された拡張された画像を前記第１の利用者に表示するように構成されている、請求項１に記載の拡張現実頭部取り付け機器。
8. 手術器具と、
   第１の利用者によって装着されるように構成された第１の拡張現実頭部取り付けディスプレイであって、前記第１の拡張現実頭部取り付けディスプレイは、前記第１の利用者の視点からの手術環境の画像を取得するように構成された画像取得機器を含む、第１の拡張現実頭部取り付けディスプレイと、
   第２の利用者によって装着されるように構成された第２の拡張現実頭部取り付けディスプレイであって、前記第２の拡張現実頭部取り付けディスプレイは、前記第２の利用者の視点からの前記手術環境の画像を取得するように構成された画像取得機器を含む、第２の拡張現実頭部取り付けディスプレイと、
   コントローラであって、
   前記第１の利用者の視点からの前記手術環境の前記画像の画像データと、前記第２の利用者の視点からの前記手術環境の前記画像の画像データとを分析することにより、前記手術環境の空間的情報を取得することと、
   前記第１の利用者の視点からの前記手術環境の前記画像の前記画像データと、前記第２の利用者の視点からの前記手術環境の前記画像の前記画像データと、前記空間的情報とに基づいて、拡張された画像を生成することであって、前記拡張された画像を生成することは、前記第１の利用者の視点に対応する第１の拡張された画像を生成することと、前記第２の利用者の視点に対応する第２の拡張された画像を生成することとを含む、ことと、
   前記手術環境の前記第１の拡張された画像を前記第１の拡張現実頭部取り付けディスプレイに提供することと、
   前記手術環境の前記第２の拡張された画像を前記第２の拡張現実頭部取り付けディスプレイに提供することと
   を行うように構成されたコントローラと
   を備える、手術システム。
9. 前記手術器具は、ロボット手術器具である、請求項８に記載の手術システム。
10. ロボットコントローラとジェスチャー検出器とを含む手術コンソールをさらに備える、請求項９に記載の手術システム。
11. 前記ジェスチャー検出器は、前記第１の利用者の手の動きを検出し、前記手の動きを示す信号を前記コントローラに提供するように構成されている、請求項１０に記載の手術システム。
12. 前記第１の拡張された画像は、前記コントローラによって提供される仮想表現を含み、前記コントローラは、前記信号に基づいて前記仮想表現を操作する、請求項１１に記載の手術システム。
13. 前記仮想表現は、患者の画像である、請求項１２に記載の手術システム。
14. 前記仮想表現は、仮想制御パネルである、請求項１２に記載の手術システム。
15. 前記第１の拡張現実頭部取り付けディスプレイは、
    前記第１の拡張された画像を受信し表示するように構成された第１のレンズと、
    前記第１の利用者の眼の凝視の方向を判定するように構成された前記第１の拡張現実頭部取り付けディスプレイの眼追跡モジュールと
    をさらに含み、
    前記第１の拡張現実頭部取り付けディスプレイの前記眼追跡モジュールによって判定された前記第１の利用者の前記眼の前記凝視の前記方向は、前記第１の拡張された画像を操作するために使用される、請求項８に記載の手術システム。
16. 前記第２の拡張現実頭部取り付けディスプレイは、
    前記第２の拡張された画像を受信し表示するように構成された第２のレンズと、
    前記第２の利用者の眼の凝視の方向を判定するように構成された前記第２の拡張現実頭部取り付けディスプレイの眼追跡モジュールと
    をさらに含み、
    前記第２の拡張現実頭部取り付けディスプレイの前記眼追跡モジュールによって判定された前記第２の利用者の前記眼の前記凝視の前記方向は、前記第２の拡張された画像を操作するために使用される、請求項１５に記載の手術システム。
17. 前記コントローラは、前記第１の利用者の前記眼の前記凝視の前記方向を前記第１の拡張現実頭部取り付けディスプレイの前記眼追跡モジュールから受信し、前記第１の利用者の前記眼の前記凝視の前記方向に基づいて前記第１の拡張された画像の第１の部分を強調し、前記第２の拡張された画像の第２の部分を強調し、前記第２の部分は、前記第１の部分に対応する、請求項１６に記載の手術システム。
18. 手術器具と、
    第１の利用者によって装着されるように構成された第１の拡張現実頭部取り付けディスプレイであって、前記第１の拡張現実頭部取り付けディスプレイは、
    前記第１の利用者の視点からの手術環境の画像を取得するように構成された画像取得機器と、
    前記手術環境の前記画像に基づいて、拡張された画像を表示するように構成されたレンズと、
    前記レンズに結合された眼追跡モジュールであって、前記第１の利用者の眼の凝視の方向を判定するように構成された眼追跡モジュールと
    を含む、第１の拡張現実頭部取り付けディスプレイと、
    第２の利用者によって装着されるように構成された第２の拡張現実頭部取り付けディスプレイであって、前記第２の拡張現実頭部取り付けディスプレイは、
    前記第２の利用者の視点からの前記手術環境の画像を取得するように構成された画像取得機器と、
    前記手術環境の前記画像に基づいて、拡張された画像を表示するように構成されたレンズと、
    前記レンズに結合された眼追跡モジュールであって、前記第２の利用者の眼の凝視の方向を判定するように構成された眼追跡モジュールと
    を含む、第２の拡張現実頭部取り付けディスプレイと、
    コントローラであって、
    前記第１の利用者の視点からの前記手術環境の前記画像の画像データと、前記第２の利用者の視点からの前記手術環境の前記画像の画像データとを分析することにより、前記手術環境の空間的情報を取得することと、
    前記第１の利用者の視点からの前記手術環境の前記画像の前記画像データと、前記第２の利用者の視点からの前記手術環境の前記画像の前記画像データと、前記空間的情報とに基づいて、拡張された画像を生成することであって、前記拡張された画像を生成することは、前記第１の利用者の視点に対応する第１の拡張された画像を生成することと、前記第２の利用者の視点に対応する第２の拡張された画像を生成することとを含む、ことと、
    前記手術環境の前記第１の拡張された画像を前記第１の拡張現実頭部取り付けディスプレイに提供することと、
    前記手術環境の前記第２の拡張された画像を前記第２の拡張現実頭部取り付けディスプレイに提供することと
    を行うように構成されたコントローラと
    を備える、手術システム。