JP6714085B2 - ロボット手術のために仮想現実デバイスを使用するシステム、コントローラ、及び方法 - Google Patents

Description

[0001] 本手法は、手術の分野に関し、特に、硬い近位部分と柔軟な遠位部分とを有するロボットを、仮想現実デバイスから得る医療画像及び追跡データを使用して制御するためのシステム、コントローラ、及び方法に関する。

[0002] 手術は一般に、外科医個々の技量に依拠する。器用さは、通例、外科医の手及び硬い器具に制限される。これらの制限は、操作を行うための空間が入口点及び解剖学的構造によって制約される低侵襲手術や自然開口部手術で特に顕著である。低侵襲手術では、通常、内視鏡によって視覚的フィードバックが提供される。

[0003] 患者体内の手術部位における外科医の器用さを向上させるために、低侵襲手術で手術用ロボット及び／又は操縦可能デバイスを使用することがある。手術用ロボットの例としては、Ｖｉｎｃｉ（登録商標）ロボットなどのマルチアームシステム、又はＭｅｄｒｏｂｏｔｉｃｓ Ｆｌｅｘ（登録商標）ロボットシステムなどの柔軟ロボットがある。これらのロボットシステムは、種々のインターフェース機構を使用して外科医（又はユーザ）によって制御されるが、そのような機構には、ロボットシステムを操作するためのハンドコントローラ又は入力ハンドル、及び内視鏡ビデオを取り込み、ロボットシステムの様々な制御モードを表示するための画像ディスプレイが含まれる。

[0004] 手持ち型の器用なデバイスの制御は難しい。ユーザは、通常は支点（身体内への入口点）を中心とする、器用でない近位端の運動と、身体内での複雑で器用な運動とを組み合わせなければならない。この問題に対応する手法の一つは、ロボットによる器用なデバイスの位置決めであるが、これは手術室内の占有面積を増大させ、手術の費用及び所用時間を増大させる。この問題は、近位端が撮像デバイスの視野内にない場合に増大する（例えば、内視鏡が患者の内部のみの画像を撮影し、Ｃアームなどの携帯型撮像システムの視野が小さ過ぎてデバイス全体の画像を捉えることができず、操作者に放射線曝露を生じさせる可能性がある）。また、器用なデバイスを用いて位置が実現された後、手の震えや不随意の手の運動によって位置ずれが発生することもある。外科医の器用さを向上させるために、手術用ロボットは６度を超える自由度を持つことがあり、その結果ロボットが非直感的なものになるか、その他の理由で制御が困難になる。

[0005] この問題は、低侵襲手術や自然開口部手術の際に遭遇されるような制約のある空間内での操作と、ヘビ型ロボットなどの超冗長ロボットの使用とによって増大する。これらのロボットの制御は通常はハンドルを使用して行われるが、ハンドルは操作が複雑であり、通常は急な学習曲線を伴う。ユーザは内視鏡画像を使用して手術野の中を移動しており、ハンドルの運動を画像とマッピングすることは困難である。

[0006] したがって、仮想現実デバイスから提供されるライブ画像と追跡情報との組み合わせを使用して手術用ロボットを制御するための装置、システム、方法、及びコンピュータ可読記憶媒体を提供し、それにより、一般にはユーザの手又は器用さの使用に依存せずに、運動の検出を使用したターゲットの選択を可能にすることが望ましい。

[0007] 例示的な一実施形態によると、患者の手術部位で少なくとも１つのエンドエフェクタを操作するように構成されたロボットを含む手術用ロボットシステムのための制御ユニットは、プロセッサを備える。プロセッサは、少なくとも１つの画像獲得デバイスから受け取られる、獲得された患者のライブ画像を、表示ユニットに表示するために仮想現実（ＶＲ）デバイスに送信することと、ＶＲデバイスから入力データを受け取ることであって、入力データは、ＶＲデバイスの表示ユニットに表示された獲得された患者のライブ画像に対するユーザの反応に基づく、ＶＲデバイスのＶＲ追跡システムからの追跡データを含む、ことと、ＶＲデバイスから受け取った入力データを処理して、患者内のターゲットを決定することと、ロボットにより操作可能な少なくとも１つのエンドエフェクタがターゲットに到達するための経路を、獲得されたライブ画像と処理された入力データとに基づいて決定することと、ロボット制御信号を送信して、ロボットに、少なくとも１つのエンドエフェクタを、決定された経路を通してターゲットまで誘導させることと、を行うように構成される。

[0008] 別の例示的実施形態によると、手術用ロボットシステムは、患者内の手術部位に位置決めされた少なくとも１つのエンドエフェクタを操作するように構成されたロボットと、手術部位でライブ画像を獲得するように構成された少なくとも１つの画像獲得デバイスと、獲得されたライブ画像を表示し、仮想現実（ＶＲ）デバイスを介してユーザの行為によって提供される追跡データを判定するように構成されたＶＲデバイスと、入力／出力（Ｉ／Ｏ）回路及びプロセッサを備える制御ユニットと、を含む。Ｉ／Ｏ回路は、少なくとも１つの画像獲得デバイスから獲得されたライブ画像を受け取り、獲得されたライブ画像を表示のためにＶＲデバイスに提供し、ＶＲデバイスから判定された追跡データを受け取り、ロボットにロボット制御信号を提供するように構成される。プロセッサは、少なくとも１つの画像獲得デバイスからＩ／Ｏ回路を介して受け取られる獲得されたライブ画像を、ＶＲデバイスに送信し、ＶＲデバイスからの判定された追跡データを処理して、患者内の手術部位でターゲットを選択し、少なくとも１つのエンドエフェクタが選択されたターゲットに到達するための経路を、獲得されたライブ画像と、処理され判定された追跡データとに基づいて決定し、ロボットにロボット制御信号を送信して、少なくとも１つの器具を決定された経路を通して選択されたターゲットまで移動させるように構成される。

[0009] 別の例示的実施形態によると、手術用ロボットシステムを操作するためにプロセッサにより実行可能な機械可読命令を記憶した非一時的なコンピュータ可読記憶媒体が提供される。手術用ロボットシステムは、患者内の手術部位に位置決めされる少なくとも１つのエンドエフェクタを操作するように構成された少なくとも１つのロボットと、手術部位でライブ画像を獲得するように構成された少なくとも１つの画像獲得デバイスと、ユーザにより装着され、獲得されたライブ画像を表示すると共に、ユーザの頭部の運動又はユーザの目の動きのうち少なくとも一方を判定するように構成された頭部装着型ディスプレイ（ＨＭＤ）デバイスと、を含む。非一時的なコンピュータ可読媒体は、少なくとも１つの画像獲得デバイスから受け取られた、獲得されたライブ画像をＨＭＤデバイスへ送信させるための送信コードと、ＨＭＤデバイスからの頭部追跡データ及び目追跡データのうち判定された少なくとも一方を処理して、患者内の手術部位でターゲットを選択するための処理コードと、少なくとも１つのエンドエフェクタを含むロボットの遠位部分が患者内の手術部位の選択されたターゲットに到達するための経路を、獲得されたライブ画像と、処理され判定された頭部追跡データ及び／又は目追跡データとに基づいて決定するための決定コードと、ロボットにロボット制御信号を送信して、少なくとも１つのエンドエフェクタを決定された経路を通して患者内の手術部位の選択されたターゲットまで移動させるためのロボット制御コードと、を含む。

[0010] 本発明は、以下に提示される例示的実施形態の詳細な説明を添付図面と併せて考察することから容易に理解されよう。

[0011] 本発明の例示的実施形態による手術用ロボットシステムを示す概略ブロック図である。 [0012] 本発明の例示的実施形態による手術用ロボットシステムを示す概略ブロック図である。 [0013] 本発明の例示的実施形態による、手術用ロボットシステムの一部として頭部追跡機能を備えた頭部装着型ディスプレイ（ＨＭＤ）デバイスを示す概略図である。 [0014] 本発明の例示的実施形態による、手術用ロボットシステムの一部としてのＨＭＤデバイスを示す概略図である。 [0015] 本発明の例示的実施形態による、ＨＭＤデバイスを使用して自然開口部を通過するためのヘビ状又はカテーテル状ロボットの一部分を示す概略図である。 [0016] 本発明の例示的実施形態による、手術用ロボットシステムを制御する方法を示すフローチャートである。 [0017] 本発明の例示的実施形態による、手術用ロボットシステムの一部として目追跡機能を備えたＨＭＤデバイスを示す概略図である。

[0018] 以下、本発明について、本発明の実施形態が示された添付図面を参照して、より完全に説明する。ただし、本発明は異なる形態で具現化されてよく、本明細書に述べられる実施形態に制限されるものとは解釈されるべきではない。むしろ、それらの実施形態は、本発明の教示のための例として提供される。

[0019] 概して、様々な実施形態によれば、仮想現実（ＶＲ）デバイスが提供され、これをユーザ（例えば外科医）が使用して、外科医による身体的な動き（例えば、従来の手動コントロールを操作するためにユーザの手を使用すること以外の）を通じてロボットを制御することにより、ＶＲデバイスによって受け取られたライブ画像に基づいてロボットのターゲットを特定し、選択する。ライブ画像は、例えば、例えば専用の内視鏡コントローラにより操作可能な、内視鏡の遠位端に装着されたカメラによる、又は例えばロボットにより操作可能な前方視カメラによる内視鏡画像である。例えば、ＶＲデバイスは、頭部装着型ディスプレイ（ＨＭＤ）デバイスであり、これは、ユーザが装着したヘッドピース内のディスプレイに内視鏡画像を表示して、例えば患者内部の手術部位を示す。ＨＭＤデバイスはさらに、頭部の運動や目の運動など、ユーザの運動を検出するように構成された１つ又は複数のセンサを含み、検出された運動が処理されて、ディスプレイ上の画像に示された手術部位内でロボットのためのターゲットを選択する。ライブ画像並びに頭部の運動及び／又は目の動きの検出を使用して、外科医が着目している領域（ターゲット）の方へ自分の頭部を動かす、及び／又は目の動きを向けるという従来の手術時の体験を模擬することによってロボットの使用性が向上し、同時に、手術用ロボットの向上した器用さが維持される。

[0020] 本明細書で使用される用語は特定の実施形態を説明することのみを目的とし、制限する意図はないことを理解されたい。定義される用語は、本教示の技術分野で一般に理解され、受け入れられている、当該定義される用語の技術的及び科学的意味に追加されるものである。

[0021] 本明細書及び添付の特許請求の範囲で使用される場合、用語「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈が明らかに別の意味を指示しない限り、単数及び複数両方の指示物を含む。したがって、例えば、「デバイス（ａ ｄｅｖｉｃｅ）」は、１つのデバイス及び複数のデバイスを含む。

[0022] 本明細書で使用される場合、２つ以上の部分又は構成要素が「結合されて」いるという記述は、それらの部分が直接、又は間接的に、すなわち、連結が発生する限り１つ若しくは複数の中間部分若しくは構成要素を介して一緒につながれているか、一緒に動作することを意味するものとする。

[0023] 方向を表す用語／句及び相対的な用語／句は、添付図面に図示されるように、様々な要素の互いとの関係を記述するために使用される。これらの用語／句は、図面に描かれる向きに加えて、デバイス及び／又は要素の異なる向きを包含することが意図される。

[0024] 本明細書で使用される「コンピュータ可読記憶媒体」は、コンピューティングデバイスのプロセッサにより実行可能な命令を記憶する任意の有形の記憶媒体を包含する。コンピュータ可読記憶媒体は、一時的な伝搬信号などの一時的媒体と区別するために、非一時的なコンピュータ可読記憶媒体と称することがある。コンピュータ可読記憶媒体は、有形のコンピュータ可読媒体と称する場合もある。

[0025] いくつかの実施形態において、コンピュータ可読記憶媒体は、コンピューティングデバイスのプロセッサによりアクセス可能なデータを記憶することもできる。コンピュータ可読記憶媒体の例には、これらに限定されないが、フロッピーディスク、磁気ハードディスクドライブ、固体状態ハードディスク、フラッシュメモリ、ＵＳＢサムドライブ、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、光ディスク、光磁気ディスク、及びプロセッサのレジスタファイルが含まれる。光ディスクの例には、コンパクトディスク（ＣＤ）及びデジタル多用途ディスク（ＤＶＤ）、例えば、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＷ、又はＤＶＤ−Ｒディスクが含まれる。コンピュータ可読記憶媒体という用語は、ネットワーク又は通信リンクを解してコンピュータデバイスによってアクセスされることが可能な様々な種類の記録媒体も指す。例えば、データは、モデム、インターネット、又はローカルエリアネットワークを通じて取得される。コンピュータ可読記憶媒体の言及は、場合によっては複数のコンピュータ可読記憶媒体であると解釈すべきである。プログラムの様々な実行可能コンポーネントは、異なる場所に記憶することができる。コンピュータ可読記憶媒体は、例えば、同じコンピュータシステム内にある複数のコンピュータ可読記憶媒体である。コンピュータ可読記憶媒体は、複数のコンピュータシステム又はコンピューティングデバイスに分散されたコンピュータ可読記憶媒体であってもよい。

[0026] 「メモリ」は、コンピュータ可読記憶媒体の一例である。コンピュータメモリは、プロセッサが直接アクセスできるメモリである。コンピュータメモリの例には、これらに限定されないが、ＲＡＭメモリ、レジスタ、及びレジスタファイルが含まれる。「コンピュータメモリ」又は「メモリ」の言及は、場合によっては複数のメモリであると解釈されるべきである。メモリは、例えば、同じコンピュータシステム内にある複数のメモリである。メモリは、複数のコンピュータシステム又はコンピューティングデバイスに分散された複数のメモリであってもよい。

[0027] コンピュータストレージは、任意の不揮発性のコンピュータ可読記憶媒体である。コンピュータストレージの例には、これらに限定されないが、ハードディスクドライブ、ＵＳＢサムドライブ、フロッピードライブ、スマートカード、ＤＶＤ、ＣＤ−ＲＯＭ、及び固体状態ハードドライブが含まれる。いくつかの実施形態では、コンピュータストレージはコンピュータメモリでもあり、その逆も同様である。「コンピュータストレージ」又は「ストレージ」の言及は、場合によっては複数の記憶装置又はコンポーネントを含むものと解釈すべきである。例えば、ストレージは、同じコンピュータシステム又はコンピューティングデバイス内にある複数の記憶装置を含む。ストレージは、複数のコンピュータシステム又はコンピューティングデバイスに分散された複数のストレージも含む。

[0028] 本明細書で使用される「プロセッサ」は、プログラム又は機械実行可能命令を実行することが可能な電子コンポーネントを包含する。「プロセッサ」を備えるコンピューティングデバイスの言及は、場合によっては２つ以上のプロセッサ又は処理コアを含んでいるものと解釈すべきである。プロセッサは、例えばマルチコアプロセッサである。プロセッサは、単一のコンピュータシステム内にあるか又は複数のコンピュータシステムに分散された、プロセッサの集まりを指す場合もある。コンピューティングデバイスという用語は、場合によっては、各々が１つ又は複数のプロセッサを備えたコンピューティングデバイスの集まり又はネットワークを指すものとも解釈すべきである。多くのプログラムは、同じコンピューティングデバイス内にあるか、さらには複数のコンピューティングデバイスに分散されている場合もある複数のプロセッサによって実行される命令を有する。

[0029] 本明細書で使用される「ユーザインターフェース」又は「ユーザ入力装置」は、ユーザ又は操作者がコンピュータ又はコンピュータシステムと対話することを可能にするインターフェースである。ユーザインターフェースは、操作者に情報若しくはデータを提供する、及び／又は操作者から情報若しくはデータを受け取る。ユーザインターフェースは、操作者からの入力がコンピュータによって受け取られることを可能にし、コンピュータからユーザに出力を提供する。換言すると、ユーザインターフェースは、操作者がコンピュータを制御又は操作することを可能にし、またインターフェースは、コンピュータがユーザの制御又は操作の結果を示すことを可能にする。ディスプレイ又はグラフィックユーザインターフェースへのデータ又は情報の表示は、操作者に情報を提供することの一例である。タッチ画面、キーボード、マウス、トラックボール、タッチパッド、ポインティングスティック、グラフィクスタブレット、ジョイスティック、ゲームパッド、ウェブカメラ、ヘッドセット、ギアスティック、操縦ハンドル、有線グローブ、ワイヤレスリモコン、及び加速度計を通じてデータを受け取ることはすべて、ユーザから情報又はデータを受け取ることを可能にするユーザインターフェースコンポーネントの例である。

[0030] 本明細書で使用される「ハードウェアインターフェース」は、コンピュータシステムのプロセッサが外部のコンピューティングデバイス及び／若しくは装置と対話する、並びに／又はそれらを制御することを可能にするインターフェースを包含する。ハードウェアインターフェースは、プロセッサが外部のコンピューティングデバイス及び／又は装置に制御信号又は命令を送ることを可能にする。ハードウェアインターフェースはまた、プロセッサが外部のコンピューティングデバイス及び／又は装置とデータを交換することも可能にする。ハードウェアインターフェースの例には、これらに限定されないが、ユニバーサルシリアルバス、ＩＥＥＥ１３９４ポート、パラレルポート、ＩＥＥＥ１２８４ポート、シリアルポート、ＲＳ−２３２ポート、ＩＥＥＥ−４８８ポート、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続、ワイヤレスローカルエリアネットワーク接続、ＴＣＰ／ＩＰ接続、Ｅｔｈｅｒｎｅｔ（登録商標）接続、制御電圧インターフェース、ＭＩＤＩインターフェース、アナログ入力インターフェース、及びデジタル入力インターフェースが含まれる。

[0031] 本明細書で使用される「ディスプレイ」又は「表示装置」又は「表示ユニット」は、画像又はデータを表示するために適合された出力装置又はユーザインターフェースを包含する。ディスプレイは、視覚データ、音声データ、及び／又は触覚データを出力する。ディスプレイの例には、これらに限定されないが、コンピュータモニタ、テレビ画面、タッチ画面、触覚電子ディスプレイ、点字画面、陰極線管（ＣＲＴ）、蓄積管、双安定ディスプレイ、電子ペーパー、ベクトルディスプレイ、フラットパネルディスプレイ、真空蛍光ディスプレイ（ＶＦ）、発光ダイオード（ＬＥＤ）ディスプレイ、エレクトロルミネセントディスプレイ（ＥＬＤ）、プラズマディスプレイパネル（ＰＤＰ）、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオードディスプレイ（ＯＬＥＤ）、プロジェクタ、及び頭部装着型ディスプレイが含まれる。

[0032] これらの図中で同様の番号が付された要素は、等価な要素であるか、又は同じ機能を行うかのいずれかである。前に説明された要素は、機能が等価であれば、後の図では必ずしも説明されない。

[0033] はじめに、医療画像には、内視鏡の遠位端に設けられた内視鏡カメラを介して取得される画像や、ロボットの遠位端に（例えばエンドエフェクタとして）設けられた前方視カメラを介して取得される画像などの、２Ｄ又は３Ｄ画像が含まれることに留意されたい。また、ライブ画像には、低侵襲処置中に医療撮像により撮影される静止画像又はビデオ画像が含まれる。例えば、手術部位及びその周辺領域をより広く見るために、Ｘ線、超音波、及び／又は磁気共鳴によって取得される画像など、他の医療撮像が手術過程時に組み込まれてもよい。

[0034] 図１は、本発明の代表的実施形態による手術用ロボットシステムを示す概略ブロック図である。図１は手術用ロボットシステム１００を描いており、これは、通例は、患者の身体内で特定された手術部位で、ロボットにより操作可能な手術用器具及び他の道具を操作することを伴う医療処置に利用される。そのような医療処置には、これらに限定されないが、例えば、低侵襲心臓手術（例えば冠動脈バイパスグラフトや僧帽弁置換）、低侵襲腹部手術（腹腔鏡）（例えば前立腺切除や胆嚢切除）、及び自然開口部越経管腔内視鏡手術が含まれる。

[0035] 図１を参照すると、描かれる実施形態では、手術用ロボットシステム１００は、少なくとも１つのロボット１０１、制御ユニット１０６、及び仮想現実（ＶＲ）デバイス１２０を含む。ロボット１０１は、手術部位Ｓでライブ画像を獲得するように構成された少なくとも１つの画像獲得デバイス１１２と、内部の手術処置を行うための手術道具などの少なくとも１つの器具１１３と、を含む１つ又は複数のエンドエフェクタを、患者Ｐ内の手術部位Ｓに位置決めすべく操作するように構成される。内部の手術処置には、例えば、手術部位Ｓ内の解剖学的ターゲットＴに関連する低侵襲手術や自然開口部手術が含まれ、その例は上記で挙げた。

[0036] ＶＲデバイス１２０は、獲得されたライブ画像をユーザによって見られるＶＲ表示ユニット１２１に表示するように構成されると共に、代表的な運動センサ１２４によって示される１つ又は複数の運動感知回路を介してユーザの（表示された画像に応答した）動きを捕捉するＶＲ追跡システム１２２を使用して追跡データを検出するように構成される。例えば、下記でさらに述べるように、ＶＲデバイス１２０は、表示ユニット１２１と運動センサ１２４とを含む、ユーザに装着されるヘッドピースを含む頭部装着型ディスプレイ（ＨＭＤ）デバイスである。表示ユニット１２１は、単一のディスプレイであっても、又はユーザの両目に対応する２つの眼用ディスプレイ（図示せず）に分割されてもよい。２つの眼用ディスプレイは、画像獲得デバイス１１２が立体視である場合には３次元表示を可能にし、又は画像獲得デバイス１１２が単眼である場合には擬似的な３次元表示を可能にするが、２つの眼用ディスプレイは部分的に重なり合うように構成される。運動センサ１２４は、例えば、３軸周りのユーザの頭部の運動を検出する複数の加速度計であり、追跡データは、ユーザの頭部の動きに対応する頭部追跡データを含む。それに代えて、運動センサ１２４は、ユーザの目の動きを検出する後ろ向きのカメラを含んでもよく、その場合、追跡データは、ユーザの目の動きに対応する目追跡データを含む。

[0037] ＶＲデバイス１２０は、ユーザから命令を受け取るための、入力装置１２６によって示される１つ又は複数の入力装置（例えばユーザインターフェース）も含む。ここで使用される入力装置１２６は、ユーザがＶＲデバイス１２０と手術用ロボットシステム１００の両方と対話することを可能にするインターフェースである。入力装置１２６は、例えば、タッチ画面、キーボード、マウス、トラックボール、タッチパッド、又は音声コマンドインターフェースの１つ又は複数を含む。本実施形態では、ユーザは、入力装置１２６を使用して具体的なコマンドを入力し、例えば、プロセッサ１３０に確認信号を送って、プロセッサ１３０によって決定された選択されたターゲットＴを確定する、又は、ＶＲ追跡システム１２２及び／若しくはプロセッサ１３０に起動信号を送って、ＨＭＤデバイスによる頭部の運動の検出を含む頭部追跡モード、若しくはＨＭＤデバイスによる目の動きの検出を含む目追跡モードの一方を起動する。代替の実施形態では、入力装置１２６はＶＲデバイス１２０の外部にある。例えば、入力装置１２６は、制御ユニット１０６に組み込まれるか、又はＩ／Ｏ回路１０８を介してＶＲデバイス１２０及びプロセッサ１３０の両方と通信するように構成された別個のユニットとされる。

[0038] 制御ユニット１０６は、手術用ロボットシステム１００の全体的な動作を制御し、その他の形で連携させるように構成される。制御ユニット１０６は、入力／出力（Ｉ／Ｏ）回路１０６及びプロセッサ１３０を含む。プロセッサ１３０は、処理を可能にするための関連付けられたメモリ１３４と、コンピュータ可読媒体（ＣＲＭ）１３６とを含む。プロセッサ１３０は一般に、獲得されたライブ画像を画像獲得デバイス１１２からＩ／Ｏ回路１０８を介して受け取り、獲得されたライブ画像を処理して、例えばメモリ１３４及び／又はＣＲＭ１３６に記憶するように構成され、それにより、プロセッサ１３０は、画像獲得デバイス１１２によって通過された患者Ｐの内部部分同士を基本的に視覚的にマッピングするデータベースを構築することができる。このデータベースはその後、下記で述べるように、ターゲットＴが選択されると、ターゲットＴまでの経路を決定するために使用することができる。プロセッサ１３０は、獲得されたライブ像を、表示ユニット１２１に表示するためにＩ／Ｏ回路１０８を介してＶＲデバイス１２０に送信する。代替の構成では、獲得されたライブ画像は、獲得されたライブ画像がＩ／Ｏ回路１０８によって受け取られると、プロセッサ１３０による撮像処理は行われずに、Ｉ／Ｏ回路１０８からＶＲデバイス１２０に送信される。

[0039] プロセッサ１３０はさらに、ＶＲ追跡システム１２２によって判定される追跡データを、Ｉ／Ｏ回路１０８を介してＶＲデバイス１２０から受け取り、判定された追跡データを処理して、患者Ｐ内の手術部位Ｓでターゲット（例えばターゲットＴ）を選択するように構成される。プロセッサ１３０はさらに、例えば例示的な画像獲得デバイス１１２及び器具１１３を含むロボット１０１の１つ又は複数のエンドエフェクタが選択されたターゲットＴに到達するための経路を、獲得されたライブ画像と、処理され判定された追跡データとに基づいて決定するように構成される。プロセッサ１３０は、Ｉ／Ｏ回路１０８を介してロボット１０１にロボット制御信号を送信して、１つ又は複数のエンドエフェクタを、決定された経路に沿って選択されたターゲットＴまで移動させる。

[0040] そのために、Ｉ／Ｏ回路１０８は、獲得されたライブ画像を画像獲得デバイス１１２から受け取り、獲得されたライブ画像を、表示ユニット１２１に表示するためにプロセッサ１３０及び／又はＶＲデバイス１２０に提供する（直接、又は画像処理後にプロセッサ１３０から転送されるかのいずれか）。Ｉ／Ｏ回路１０８は、ＶＲデバイス１２０から入力データ（追跡データを含む）も受け取り、それをプロセッサ１３０に提供し、追跡データに応じてプロセッサ１３０が決定したロボット制御信号をロボット１０１に送る。

[0041] 描かれる実施形態では、ロボット１０１は、患者Ｐの身体内の入口点Ｅに位置決めされる硬い近位部分１０２（例えばロボットアーム又はロボットアームの一部分）と、患者Ｐ内の手術部位Ｓに位置決めされる柔軟な遠位部分１０３とを有する。ロボット１０１は、本明細書では、特定のロボット処置に対して要求されるように柔軟な遠位部分１０３を操縦するための１つ又は複数の関節とそれに対応する２つ以上のリンクとが動力制御されるように構造的に構成された、任意のロボットデバイスと広く定義される。柔軟な遠位部分１０３は、画像獲得デバイス１１２と器具１１３とを含む１つ又は複数のエンドエフェクタを含む。器具１１３は、例えば、グリッパー若しくは道具ホルダー、腹腔鏡器具、腹腔鏡、例えば脊椎固定手術でネジを配置するための道具、生検若しくは治療用の針、組織若しくは腫瘍の撮像及びアブレーション用の超音波トランスデューサ、又は他の手術用若しくは介入用道具である。

[0042] 実際には、当業者には認識されるように、ロボット１０１は最低でも３自由度を有し、有益には６自由度以上を有する。ロボット１０１は、２つの交差するモータ軸を備えた遠隔運動中心（ｒｅｍｏｔｅ ｃｅｎｔｅｒ ｏｆ ｍｏｔｉｏｎ）（ＲＣＭ）機構を有してよい。また、ロボット１０１には投光装置（図示せず）が関連付けられていてもよい。組み込むことが可能な操縦可能又は器用な手術用ロボットデバイスの一例は、参照により本明細書に組み込まれる、Ｓａｎｃｈｅｚによる米国特許第７，１２１，７８１号（２００６年１０月１７日）に記載されるものなどの、７自由度の汎用手関節である。この汎用手関節は、遠位部分に複数の関節とジョーとを含み、近位部分に駆動システムを含む。このデバイスはさらに、ロボット位置決め機構とコンピュータコントローラとを使用して位置決めすることができる。ロボット位置決めにより、解剖学的構造に対するデバイスの運動を追跡することが可能になる。エンドエフェクタを上記手関節に結合することができ、それにより、同じ枢動点を中心とした２つの別々の自由度が得られる。エンドエフェクタは、ピンによって移動させ、作動させることができ、小型の低侵襲医療器具が可能となる。

[0043] 図１には、単一の硬い近位部分１０２とそれに対応する単一の遠位部分１０３とを操作するための単一のロボット１０１が描かれているが、本教示の範囲から逸脱することなく、対応する複数の硬い近位部分及び／又は複数の硬い遠位部分を備えた複数のロボットが組み込まれてもよいことが理解される。すなわち、ロボット１０１は、手術部位Ｓ内で異なるエンドエフェクタを制御する複数のロボットアーム（図示せず）を含んでもよい。例えば、１つのロボットアームが、手術部位Ｓのライブ画像を提供するための画像獲得デバイス１１２などの前方視カメラを含み、別のロボットアームが器具１１３並びにその他の器具を含んでもよい。

[0044] 画像獲得デバイス１１２は、手術用ロボットシステム１００の制御ユニット１０６と共に撮像システムの一部をなし、前方光学視野又は傾斜光学視野を有する任意種類のカメラを１つ又は複数個含み、事前に定められたフレームレート（例えば毎秒３０フレーム）で一連の２次元デジタルビデオフレームを獲得することが可能であり、また、それぞれのデジタルビデオフレームを、入力／出力回路１０８を介して制御ユニット１０６に提供することが可能であってよい。詳細には、画像獲得デバイス１１２は、その視野の中で、ロボット１０１の柔軟な遠位部分１０３から手術部位Ｓ及び解剖学的ターゲットＴ（例えば臓器）のライブ画像を獲得できるように位置及び向きが設定された前方視カメラであってよい。一実施形態では、硬い近位部分１０２は、ロボット１０１によって制御される内視鏡のようなデバイスであり、単一の近位部分１０２が複数のチャネルを含み、それらの１つは、画像獲得デバイス１１２の制御及び／又はそれとの通信を可能にし、チャネルのうち少なくとも１つの他のチャネルは、器具１１３又は他のエンドエフェクタの進入及び制御を可能にする。代替の実施形態では、画像獲得デバイス１１２は、硬い近位部分１０２に対応する柔軟な遠位部分１０３にあり、一方、他のエンドエフェクタは、他の硬い近位部分（図示せず）に対応する柔軟な遠位部分にあり、それらはすべてロボット１０１を介して制御される。さらに別の実施形態では、画像獲得デバイス１１２は、別個の内視鏡の柔軟な遠位部分にあり、ロボット１０１の一部ではなく、図２を参照して下記で述べるように、別個の内視鏡コントローラ（ロボット１０１と連携して動作する）の制御下にある。また、画像獲得デバイス１１２は、３次元で知覚できる画像を提供する立体視カメラ又は立体視内視鏡であってもよい。立体視内視鏡の一例が、参照により本明細書に組み込まれる、Ｂｒｅｉｄｅｎｔｈａｌらの米国特許第６，１３９，４９０号（２０００年１０月３１日）に記載されている。それに代えて、画像獲得デバイス１１２は単眼であってもよく、表示ユニット１２１はユーザの両目に対応する２つの眼用ディスプレイに分割され、その場合、単眼画像は、２つの重なり合う半画像に分割され、２つの眼用ディスプレイの各々に別々に呈示されて、擬似的な立体視を作り出す。

[0045] 外部の医療画像デバイスが含まれてもよい。医療画像デバイスは、手術用ロボット１０１の柔軟な遠位部分１０３及び手術部位ＳにあるターゲットＴのライブ画像を１つ又は複数獲得するように構成され、より包括的な概観を提供する。そのような医療画像デバイスは、患者Ｐの一部分を少なくとも部分的に包囲するＣアーム（図示せず）を含み得る。Ｃアームは撮像スキャナの増強器であり、Ｃ字型に構成されていることからその名がある。Ｃアームは、放射線撮影機能を持ち、当業者に知られるように、手術処置中の蛍光透視撮像に使用される。Ｘ線システムを実施するＣアームの一例が、参照により本明細書に組み込まれる、Ｐｏｐｏｖｉｃの米国特許第９，０９５，２５２号（２０１５年８月４日）に記載されている。

[0046] 図２は、別個の撮像内視鏡とそれに対応する内視鏡コントローラとを含む、本発明の代表的実施形態による手術用ロボットシステムを示す概略ブロック図である。図２は、手術用ロボットシステム２００を描いており、これは、通例は、患者の身体内で特定された手術部位で、ロボットにより操作可能な手術用器具及び他の道具を操作することを伴う医療処置に利用される。そのような医療処置には、これらに限定されないが、例えば、低侵襲心臓手術（例えば冠動脈バイパスグラフトや僧帽弁置換）、低侵襲腹部手術（腹腔鏡）（例えば前立腺切除や胆嚢切除）、及び自然開口部越経管腔内視鏡手術が含まれる。

[0047] 図２を参照すると、描かれる実施形態では、手術用ロボットシステム２００は、少なくとも１つのロボット１０１、制御ユニット１０６、及びＶＲデバイス１２０を含む点で手術用ロボットシステム１００と同様である。ロボット１０１は、内部の手術処置を行うための手術道具などの少なくとも１つの器具１１３を含む１つ又は複数のエンドエフェクタを、患者Ｐ内の手術部位Ｓに位置決めすべく操作するように構成される。内部の手術処置には、例えば、手術部位Ｓ内の解剖学的ターゲットＴに関連する低侵襲手術や自然開口部手術が含まれ、その例は上記で挙げた。

[0048] 加えて、手術用ロボットシステム２００は、ロボット１０１とは別個の内視鏡１４２を制御するように構成された内視鏡コントローラ１４０を含む。内視鏡１４２は、画像獲得デバイスであり、上記で図１を参照して論じた少なくとも１つの画像獲得デバイス１１２と機能が似ている。内視鏡１４２は、手術部位Ｓでライブ画像を獲得するように構成される。「内視鏡検査法」は内部を見ることを意味し、通例は医療上の理由から、身体及び／又は臓器に直接挿入される内視鏡１４２などの内視鏡を使用して身体の内部を見ることを言う。ＶＲデバイス１２０は、内視鏡１４２により獲得されたライブ画像をユーザによって見られるＶＲ表示ユニット１２１に表示するように構成されると共に、上述のように代表的な運動センサ１２４によって示される１つ又は複数の運動感知回路を介してユーザの（表示された画像に応答した）動きを捕捉するＶＲ追跡システム１２２を使用して追跡データを検出するように構成される。

[0049] 様々な実施形態において、内視鏡１４２は、硬い管又は柔軟な管、検査対象の臓器又は物体を照明する光送達システム（例えば、光源は通常は身体の外部にあり、光は通例光ファイバシステムを介して誘導される）、対物レンズからビューワに画像を伝送するレンズ系、通例は、硬い内視鏡の場合にはリレーレンズ系、又はファイバスコープの場合は光ファイバの束、を含む。また、アイピースを持たないビデオスコープも企図され、その場合は、画像捕捉のためにカメラが画面に画像を送信する。また、様々な実施形態において、内視鏡１４２は、例えば立体視内視鏡であり、その画像データは、見かけ上３次元の画像を、例えばＶＲ表示ユニット１２１に表示することを可能にする。

[0050] 描かれる実施形態では、ロボット１０１は、患者Ｐの身体内で第１の入口点Ｅ１に位置決めされる硬い近位部分１０２と、患者Ｐ内の手術部位Ｓに位置決めされる柔軟な遠位部分１０３とを有する。内視鏡１４２は、患者Ｐの身体内で第２の入口点Ｅ２に位置決めされるシースを含む。様々な実施形態において、内視鏡１４２は複数のチャネルを含み、そのうちの１つは画像の獲得を提供し、チャネルのうち少なくとも１つの他のチャネルは、内視鏡コントローラ１４０によって制御される、医療器具若しくは操縦器、及び／又は手術部位Ｓを照明するための光源などの別の器具の進入及び制御を可能にする。

[0051] 制御ユニット１０６は、ロボット１０１と内視鏡１４２の制御及び連携を含む、手術用ロボットシステム２００の全体的な動作を制御し、その他の形で連携させるように構成される。制御ユニット１０６はＩ／Ｏ回路２０８を含み、これは、内視鏡コントローラ１４０と通信するための追加的なインターフェースを有する点でＩ／Ｏ回路１０８と異なる。したがって、プロセッサ１３０は一般に、獲得されたライブ画像を内視鏡１４２から内視鏡コントローラ１４０及びＩ／Ｏ回路２０８を介して受け取り、獲得されたライブ画像を処理して、例えばメモリ１３４及び／又はＣＲＭ１３６に記憶するように構成され、それにより、プロセッサ１３０は、内視鏡１４２が通過した患者Ｐの内部部分同士を基本的に視覚的にマッピングするデータベースを構築することができる。このデータベースはその後、下記で述べるように、ターゲットＴが選択されると、ターゲットＴまでの経路を決定するために使用することができる。プロセッサ１３０は、獲得されたライブ画像を、表示ユニット１２１に表示するためにＩ／Ｏ回路２０８を介してＶＲデバイス１２０に送信する。代替の構成では、獲得されたライブ画像は、獲得されたライブ画像が内視鏡コントローラ１４０からＩ／Ｏ回路２０８によって受け取られると、プロセッサ１３０による撮像処理は行われずに、Ｉ／Ｏ回路２０８からＶＲデバイス１２０に送信される。

[0052] プロセッサ１３０はさらに、ＶＲ追跡システム１２２によって判定される追跡データを、Ｉ／Ｏ回路２０８を介してＶＲデバイス１２０から受け取り、判定された追跡データを処理して、患者Ｐ内の手術部位Ｓでターゲット（例えばターゲットＴ）を選択するように構成される。プロセッサ１３０はさらに、例えば例示的な器具１１３を含むロボット１０１の１つ又は複数のエンドエフェクタが選択されたターゲットＴに到達するための経路を、獲得されたライブ画像と、処理され判定された追跡データとに基づいて決定するように構成される。プロセッサ１３０は、Ｉ／Ｏ回路２０８を介してロボット１０１にロボット制御信号を送信して、１つ又は複数のエンドエフェクタを、決定された経路に沿って選択されたターゲットＴまで移動させる。

[0053] そのために、Ｉ／Ｏ回路２０８は、獲得されたライブ画像を画像獲得デバイス１１２から内視鏡１４２及び内視鏡コントローラ１４０を介して受け取り、獲得されたライブ画像を、表示ユニット１２１に表示するためにプロセッサ１３０及び／又はＶＲデバイス１２０に提供する（直接、又は画像処理後にプロセッサ１３０から転送されるかのいずれか）。Ｉ／Ｏ回路２０８は、ＶＲデバイス１２０から入力データ（追跡データを含む）も受け取り、それをプロセッサ１３０に提供し、追跡データに応じてプロセッサ１３０が決定したロボット制御信号をロボット１０１に送る。

[0054] ＶＲデバイス１２０（図１及び図２に示される）を参照すると、表示ユニット１２１は、ユーザの近くに併置される場合もある１つ又は複数のディスプレイを含む。例えば、図３及び図４Ａを参照すると、ＶＲデバイス１２０がＨＭＤデバイスとして実施される場合、表示ユニット１２１は、ゴーグルのように、ヘッドピース２２０の前部のユーザ３３３の目のすぐ前に取り付けられる。表示ユニット１２１は、上述のように手術部位Ｓのライブ画像を表示するように構成され、ユーザは自身の頭部及び／又は目を動かして表示ユニット１２１に表示されたライブ画像を観察し、選択のためにターゲットを追跡し、それにより、手術部位を観察して処置を行うために外科医が自身の頭部及び／又は目を動かす実際の手術処置を模擬する。画像獲得デバイス１１２が立体視画像を提供する場合、表示ユニット１２１に表示されるライブ画像は３次元に見える。一実施形態では、表示ユニット１２１は、術前画像も表示する。したがって、少なくとも１つの画像獲得デバイス１１２からの画像は、捕捉されてＨＭＤデバイスに表示される。

[0055] 本発明の例示的実施形態による手術用ロボットシステム１００又は２００の一部として頭部追跡機能を備えたＨＭＤデバイスを示す概略図である図３を特に参照すると、ＨＭＤデバイスのＶＲ追跡システム１２２は、ユーザの頭部の運動に基づく追跡データを生成するように構成される。例えば、立体視内視鏡が手術部位Ｓのライブ画像を獲得し、そのライブ画像がＨＭＤデバイスに表示される。立体視内視鏡は、ロボット１０１及び制御ユニット１０６又は内視鏡１４２によって制御される画像獲得デバイス１１２であってよく、図２を参照して述べたようにロボット１０１に取り付けられて別個の内視鏡コントローラ１４０によって制御されるのではない。

[0056] ユーザ３３３は、入力装置１２６（例えば、足ペダル、押しボタン、又は音声コマンド）を使用して頭部追跡モードを起動する。ＶＲ追跡システム１２２は、ユーザの頭部の運動を追跡し、プロセッサ１３０に追跡データを送って、ＨＭＤデバイス内の表示ユニット１２１の裏面の画面又はビューワ（図示せず）においてターゲットＴを選択するための運動を計算させる。例えば、運動の計算は、画像面内の平面状の頭部の運動を使用して行われる。この場合、少なくとも１つの運動センサ１２４は、ユーザ３３３の頭部の運動を測定する１つ又は複数の加速度計を備える。より詳細には、描かれる実施形態では、ＶＲ追跡システム１２２は、ｙ軸を中心とした頭部の運動（ヨーを示す）を測定するための第１の加速度計２２１、ｚ軸を中心とした頭部の運動（ロールを示す）を測定するための第２の加速度計２２２、及びｘ軸を中心とした頭部の運動（ピッチを示す）を測定するための第３の加速度計２２３の３つの加速度計を含んでいる。ＶＲ追跡システム１２２は、第１〜第３の加速度計２２１〜２２３によってそれぞれ検出された軸周りの運動を追跡データに変換し、それが、Ｉ／Ｏ回路１０８を介して入力データとしてプロセッサ１３０に提供される。

[0057] そして、プロセッサ１３０は、追跡データを処理して、表示ユニット１２１（及びそこに表示されたライブ画像）との関係でユーザの頭部の角度を判定することによってターゲットＴを特定又は選択することができ、ここで、頭部の角度は、ユーザ３３３が見ている、手術部位Ｓ内のターゲットＴを構成するライブ画像の領域又は点を示す。ユーザ３３３が表示ユニット１２１の手術野Ｓ内でのターゲットＴの位置に満足すると、制御システム１０６内のプロセッサ１３０に確認信号が送られる（例えば、足ペダル、押しボタン、又は音声コマンドを介して）。プロセッサ１３０は、選択されたターゲットＴに対応する２次元又は３次元の座標を割り当てる（又はアドレス指定する）ことができる。患者Ｐの身体内の入口点Ｅの場所と、選択されたターゲットＴの座標とを把握し、それに画像獲得デバイス１１２（又は内視鏡１４２）から獲得されたライブ画像のデータベースを併用して、プロセッサ１３０は、ロボット１０１により操作可能な少なくとも１つの器具１１３が選択されたターゲットＴに到達するための経路（又はベクトル）を決定することができる。ロボットにより制御される器具が患者の手術部位内のターゲットに到達するためのそのような経路を決定する一例が、参照により本明細書に組み込まれる、Ｐｏｐｏｖｉｃらの米国特許第８，９３４，００３号（２０１５年１月１３日）により提供される。プロセッサ１３０はそして、ロボット１０１にロボット制御信号を送信して、ロボット１０１に、少なくとも１つの器具１１３の遠位端を、決定された経路を通してターゲットＴまで誘導させる。すなわち、制御システム１０６は、ロボット１０１にコマンドを発して、選択されたターゲットＴの位置まで移動させる。ロボット１０１の各関節の必要とされる運動は、当技術分野で知られる方法を使用してプロセッサ１３０によって実施される。例えば、ロボット１０１は、当技術分野で知られる視覚的サーボ制御方法を利用する。

[0058] 図４Ａを参照すると、ＨＭＤデバイスのＶＲ追跡システム１２２は、上記で図３を参照して述べたように、ユーザの頭部の運動に基づいて追跡データを生成するように構成される。ここでも、ユーザ３３３は、入力装置１２６（例えば、足ペダル、押しボタン、又は音声コマンド）を使用して頭部追跡モードを起動する。少なくとも１つの運動センサ１２４は、各軸を中心としたユーザ３３３の頭部運動を測定する１つ又は複数の加速度計（第１〜第３の加速度計２２１〜２２３）を備える。ＶＲ追跡システム１２２は、軸周りの運動を追跡データに変換し、それが、Ｉ／Ｏ回路１０８を介して入力データとしてプロセッサ１３０に提供される。そして、プロセッサ１３０は、上述のように、追跡データを処理して、表示ユニット１２１（及びそこに表示されたライブ画像）との関係でユーザの頭部の角度を判定することによってターゲットＴを特定又は選択することができる。

[0059] ただし、図４Ａは、画像獲得デバイス１１２が前方視カメラをロボットの一部として含む場合の動作を特に描いており、ロボットは、低侵襲手術のために硬い内視鏡を保持するマルチリンク若しくは同心弧ロボット、又は自然開口部１５０を通過するため（例えば気管支鏡検査）の図４Ｂに示すようなヘビ状若しくはカテーテル状ロボット１０００である。描かれる実施形態では、ユーザ３３３は、解剖学的構造の仮想的なウォークスルーを行うことができ、ロボット１０００はこの経路に沿って追従する。ターゲットの選択及び運動は連続的である。換言すると、プロセッサ１３０は、前方視カメラからの前方視画像を処理し、ＨＭＤからの判定された頭部追跡及び／又は目追跡データを継続進行モードで処理し、ロボット制御信号を送信して、ロボットに、前方視画像と判定された頭部追跡又は目追跡データとに基づいて、前方視カメラを継続進行モードで患者の内部を移動させるように構成される。

[0060] 上述のように、ＶＲデバイス１２０の運動センサ１２４は、ユーザの目の動きを検出する２つの後ろ向きのカメラを含む目追跡システムであってよい。これは、例えば、ＶＲデバイス１２０が、上述のように、表示ユニット１２１と、ヘッドピース２２０の表示ユニット１２１の近傍又は表示ユニット１２１自体の裏面のどちらかに装着された２つの後ろ向きのカメラとを含む、ユーザ３３３に装着されるヘッドピース２２０を含むＨＭＤデバイスである場合に実施される。

[0061] 図６は、本発明の例示的実施形態による、手術用ロボットシステム１００又は２００の一部として目追跡能力を備えたＨＭＤデバイスを示す概略図である。図６を参照すると、ユーザ３３３に装着されたヘッドピース２２０の表示ユニット１２１の裏面には、左アイピース３３１及び右アイピース３３２を備える両眼画面又はビューワがあり、各アイピースは、それぞれユーザ３３３の左目及び右目と概ね位置が合わせられる。表示ユニット１２１の裏面は、左目トラッカー３３５及び右目トラッカー３３６として示される２つの後ろ向きのカメラをさらに含み、これらは、特にユーザの目の虹彩を追従するように構成される。そして、ターゲットの選択は、ＨＭＤデバイス及び／又はプロセッサ１３０に組み込まれた目追跡システムを使用して行う。目の動きは、プロセッサ１３０により、それぞれ左アイピース３３１及び右アイピース３３２、並びに／又は手術部位Ｓにマッピングされ、それに応じてターゲットＴが移動される。したがって、ＶＲ追跡システム１２２の追跡信号は目追跡信号と称される。代替の構成では、表示ユニット１２１の裏面は、ライブ画像を表示するための単一の（単眼）画面又はビューワを含む。ただし、目追跡能力を可能にするために、２つの後ろ向きのカメラ、左目トラッカー３３５、及び右目トラッカー３３６がやはりあってもよい。

[0062] 再度図１を参照すると、制御ユニット１０６は、本明細書では、手術部位Ｓにあるロボット１０１の柔軟な遠位部分１０３及び解剖学的物体又はターゲットＴに関係するライブ画像及び術前画像の獲得及び処理を制御する１つ又は複数の制御コマンドを提供し、ＶＲデバイス１３０からのターゲットＴの選択に関係する追跡情報を利用してターゲットＴまでの経路を決定し、さらに、柔軟な遠位部分１０３を制御するように構造的に構成された、任意のコントローラとして広く定義される。一般に、Ｉ／Ｏ回路１０８は、制御ユニット１０６の外部にあるデバイスと要素との間の通信を制御する。Ｉ／Ｏ回路１０８は、プロセッサ１３０、ＶＲデバイス１２０、及びロボット１０１との間の入力信号及び出力信号又はデータを解釈するための必要な論理を含んだインターフェースの役割を果たす。Ｉ／Ｏ回路１０８は、画像獲得デバイス１１２から獲得されたライブ画像を受け取るように構成された第１の入力と、獲得されたライブ画像を、最終的には表示のためにプロセッサ１３０及びＶＲデバイス１２０のうち少なくとも一方に提供するように構成された第１の出力とを含む。Ｉ／Ｏ回路１０８はさらに、追跡データを含む判定された入力データをＶＲデバイス１２０から受け取るように構成された第２の入力と、判定された入力データをプロセッサ１３０に提供する（プロセッサ１３０はその入力データを処理して、それに応じてターゲットＴを特定し、選択する）ように構成された第２の出力と、ロボット制御信号をロボット１０１に提供するように構成された第３の出力とを含んでよい。

[0063] プロセッサ１３０は、記載される機能及び動作を、ハードウェア、ソフトウェア、及びファームウェアの組み合わせを使用して行う。プロセッサ１３０は、手術部位Ｓにある手術用ロボット１０１の柔軟な遠位部分１０３に関係する医療画像（例えば、画像獲得デバイス１１２又は外部の医療画像デバイスからの）を処理して、柔軟な遠位部分１０３を、手術部位Ｓにある対応する解剖学的構造と位置合わせするように構成される。プロセッサ１３０は、位置追跡システム（図示せず）から得る手術用ロボット１０１の硬い近位部分１０２の追加的な位置追跡情報を処理して、硬い近位部分１０２の運動を決定するように構成される。位置追跡システムは、追跡システム１２０とは別個であり、当業者に理解されるように、光学追跡システム、機械的追跡システム、電磁追跡システムの１つ又は複数であってよい。センサ又はタグ（例えば発光ダイオード（ＬＥＤ）、受動マーカ、反射マーカ等）を手術用ロボット１０１の硬い近位部分１０２に含めて、位置追跡システムと協働するようにしてもよい。一実施形態では、位置補償モードが設けられ、そのモードに従って、プロセッサ１３０は、硬い近位部分１０２の判定された位置及び運動に基づいて、手術用ロボット１０１の柔軟な遠位部分１０３の運動補償信号を生成するように構成される。

[0064] 図２〜図４を追加的に参照すると、ロボット１０１は器用であり、入口点Ｅを通して患者に挿入される。硬い近位部分１０２は手持ち型であってよい。この硬い近位部分１０２は、入口点Ｅ（「枢動点」）を中心として枢動する。柔軟な遠位部分１０３は、入口点Ｅを傷つけることなく患者Ｐの内部を移動する。

[0065] 位置補償モードでは、上述のように、画像獲得デバイス１１２、又はＸ線（若しくは円錐ビームＣＴ、ＵＳ、内視鏡等）などの外部の医療画像デバイスを使用して、柔軟な遠位部分１０３に関係する画像が撮影される。手術部位Ｓ内での柔軟な遠位部分１０３の形状及び姿勢並びに／又は位置合わせは、画像に基づく位置合わせ及び道具追跡位置合わせを伴う、術前手術計画及び術中画像に対する手術道具のリアルタイム追跡など、当技術分野で知られる様々な手法を使用して決定される。

[0066] すなわち、内視鏡１４２を備えた又は備えていないロボット１０１は、追加的な座標系を生じさせるため、何らかの要求される基準枠に対するロボット１０１の位置整合（位置及び向き）は、保証し維持することが難しい。その理由は、ロボット１０１の位置決めには作業空間及び運動の制約が伴うからである。位置合わせにより異種の座標系間の位置ずれの問題に対処し、よって、同じ位置整合を臨床医が頭の中で行う必要がない。ロボット１０１の位置合わせにより、術前画像をライブ内視鏡フィードに位置合わせするなどの能力が可能になり、それにより、解剖学的ターゲットの位置特定を助けることができる。術前画像は、コンピュータ断層撮影（ＣＴ）、超音波、磁気共鳴撮像（ＭＲＩ）、陽電子放射断層撮影（ＰＥＴ）、単一光子放射コンピュータ断層撮影（ＳＰＥＣＴ）等により得られるような３Ｄ画像を含む。

[0067] 手術用ロボット１０１をそれがいる作業空間に位置合わせするには各種の方法が存在する。位置合わせは、画像獲得デバイス１１２のライブビュー内で見えている特徴を、術前ＣＴなどの他の方式で知られる対応する特徴と一致させることにより行うことができる。内視鏡手術における画像に基づく位置合わせ及び道具追跡位置合わせの一例が、参照により本明細書に組み込まれる、Ｐｏｐｏｖｉｃの米国特許第９，０９５，２５２号（２０１５年８月４日）に記載されている。柔軟な遠位部分１０３の位置合わせは、１）ロボット１０１の柔軟な遠位部分１０３及びその周囲にある解剖学的構造の術中画像を（例えば、上述の外部の医療画像デバイスから）獲得し、位置合わせを行うこと、又は２）ロボット１０１の柔軟な遠位部分１０３から、周囲にある解剖学的構造の画像を獲得すること（例えば、カメラや超音波トランスデューサなどの画像獲得デバイス１１２から）、を含む。

[0068] 実際には、上述の制御プロセスは、ハードウェア、ソフトウェア、及び／又は任意のプラットフォーム（例えば汎用コンピュータ、特定用途集積回路（ＡＳＩＣ）等）にインストールされたファームウェアの任意の組み合わせによって具現化されるモジュールによって実施される。さらに、処理は、制御ユニット１０６のプロセッサ１３０によって行うことができる。

[0069] 本発明の実施形態は、患者Ｐの身体への入口に位置決めされる硬い近位部分１０２と、患者Ｐ内の手術部位Ｓに位置決めされる柔軟な遠位部分１０３とを有する手術用ロボット１０１を含む手術用ロボットシステム１００を制御するためにプロセッサ１３０により実行されるように構成された機械可読命令が記憶された非一時的なコンピュータ可読記憶媒体１３６も対象とする。それに対応する機械可読命令が、方法５００を行うように構成される。

[0070] 図５は、手術用ロボットシステムを制御し誘導するための方法５００の代表的実施形態の動作を示すフローチャートであり、例えばプロセッサ１３０によって実施される。説明のために、方法５００は、図１に描かれるバージョンの手術用ロボットシステム１００によって行われるものとするが、この方法は、本発明の教示の範囲から逸脱することなく、手術用ロボットシステム２００を含む代替の構成にも実質的に適用することができる。

[0071] 図５を参照すると、Ｓ５１１で、獲得されたライブ画像が動作画像獲得デバイスから受け取られる。ライブ画像は、例えば、ロボットの遠位部分に付いている１つ又は複数のカメラによって獲得される。ライブ画像は、静止画像又はビデオであり、手術部位を示す。代替の実施形態では、画像は、ロボットコントローラ又は別個の内視鏡コントローラの制御下にある内視鏡によって獲得される。動作Ｓ５１２で、ライブ画像（又はライブ画像データ）がＨＭＤデバイスなどのＶＲデバイスに送信され、そこでライブ画像がユーザに表示される。ライブ画像をＶＲデバイスに送信する前に、ライブ画像に画像処理を行ってもよい。例えばＶＲデバイスがＨＭＤデバイスである場合、ライブ画像は、ＨＭＤヘッドピース内の表示画面又はビューワに表示される。それに代えて、ライブ画像は、ユーザの視野内の固定された位置に位置する、コンピュータモニタなどの別個の表示ユニットに表示されてもよい。プロセッサは、運動の方向、ターゲットの場所、ロボットの位置などの視覚的標識と共にＶＲデバイスに送信するために、獲得されたライブ画像を増強してもよい。

[0072] 動作５１３で入力データがＶＲデバイスから受け取られ、入力データは、検出されたユーザの運動を示す追跡データを含んでいる。例えば、ＶＲデバイスがＨＭＤデバイスである場合、検出された運動は、ＨＭＤヘッドピースを装着しているユーザの頭部の運動又は目の動きである。ＨＭＤヘッドピースは、上述のように、そのような運動を検出するためのセンサを含むことができる。運動は、ＶＲデバイス内のＶＲ追跡システムによって追跡データに変換され、例えばプロセッサに送信される。それに代えて、生の運動データをプロセッサに送信し、プロセッサがその生の運動データを追跡データに変換してもよい。他の入力データには、ユーザによって入力されるコマンドが含まれ、そのようなコマンドには、ディスプレイ上の表示されたライブ画像の特徴を強調表示するためのカーソルの移動（例えば、選択されたターゲットを特定する）、選択されたターゲットを確定する確認信号、及び頭部追跡モード又は目追跡モードなどの追跡モードの種類を起動する起動信号などがある。

[0073] 動作５１４で、ＶＲデバイスから受け取られた入力データを処理して、患者内の手術部位でターゲットを選択する。ターゲットが選択されると、動作５１５で、手術用ロボットによって操作可能な一つのエンドエフェクタ（又は複数のエンドエフェクタ）が選択されたターゲットに到達するための経路が、ライブ画像と、処理され判定された入力データとに基づいて決定される。次いで、動作５１６でロボット制御信号を送信して、ロボットにエンドエフェクタを誘導させて、決定された経路を通して手術部位の選択されたターゲットに到達する。図５の説明を通じて、「送信される」という用語は、ケーブル若しくは導体及び／又はワイヤレス通信を含む、任意モードの信号通信によって送ることを言う。

[0074] 様々な実施形態について図面及び前述の説明に詳細に図示し、説明してきたが、そのような図示及び説明は、説明又は例示のためであり、制限的なものとはみなすべきでない。本発明は、開示された実施形態に制限されない。

[0075] 開示された実施形態の他の変形例を、図面、本開示、及び添付の特許請求の範囲の考察から、特許権が請求される本発明を実施する際に当業者によって理解し、実施することができる。特許請求の範囲では、「〜を含む」という単語は、他の要素又はステップを排除せず、不定冠詞の「ａ」又は「ａｎ」は複数を排除しない。単一のプロセッサ又は他のユニットが、特許請求の範囲に記載される数個の項目の機能を実現することができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、それらの手段の組み合わせを有利に使用できないことを意味するものではない。コンピュータプログラムは、他のハードウェアと共に又はその一部として供給される光学記憶媒体又は固体状態媒体などの適切な媒体で記憶／配布することができるが、インターネット又は他の有線若しくは無線の遠隔通信システムを介するなど、他の形態で配布されてもよい。特許請求の範囲内に参照符号がある場合、範囲を制限するものとは解釈すべきでない。

Claims (22)

1. 患者の手術部位で少なくとも１つのエンドエフェクタを操作するロボットを含む手術用ロボットシステムのための制御ユニットであって、前記制御ユニットは、
   プロセッサであって、
   少なくとも１つの画像獲得デバイスから受け取られる、獲得された患者のライブ画像を、表示ユニットのビューワに表示するために仮想現実（ＶＲ）デバイスに送信することと、
   前記ＶＲデバイスから入力データを受け取ることであって、前記入力データは、前記ＶＲデバイスの前記表示ユニットの前記ビューワに表示された獲得された前記患者の前記ライブ画像に対するユーザの反応に基づく、前記ＶＲデバイスのＶＲ追跡システムからの追跡データを含む、ことと、
   前記ＶＲデバイスから受け取った前記入力データを処理して、前記患者内のターゲットを決定することと、
   前記ロボットにより操作可能な前記少なくとも１つのエンドエフェクタが前記ターゲットに到達するための経路を、獲得された前記ライブ画像と処理された前記入力データとに基づいて決定することと、
   ロボット制御信号を送信して、前記ロボットに、前記少なくとも１つのエンドエフェクタを、決定された前記経路を通して前記ターゲットまで誘導させることと、
   を行うプロセッサを備える、制御ユニット。
2. 前記ＶＲデバイスは、前記ユーザによって装着されるヘッドピースを備えた頭部装着型ディスプレイ（ＨＭＤ）デバイスである、請求項１に記載の制御ユニット。
3. 前記ＶＲ追跡システムは頭部追跡システムを備え、
   前記プロセッサはさらに、前記頭部追跡システムからの頭部追跡データを処理して前記ターゲットを選択し、前記頭部追跡データは前記ユーザの頭部の動きに対応している、請求項２に記載の制御ユニット。
4. 前記ＶＲ追跡システムは目追跡システムを備え、
   前記プロセッサはさらに、前記目追跡システムからの目追跡データを処理して前記ターゲットを選択し、前記目追跡データは前記ユーザの目の動きに対応している、請求項２に記載の制御ユニット。
5. 前記ロボットにより操作可能な前記少なくとも１つのエンドエフェクタは、手術道具及び内視鏡カメラのうち少なくとも一方を備える、請求項１に記載の制御ユニット。
6. 前記画像獲得デバイスから獲得された前記ライブ画像を受け取る第１の入力と、
   獲得された前記ライブ画像を、前記プロセッサ及び前記ＶＲデバイスのうち少なくとも一方に提供する第１の出力と、
   前記ＶＲデバイスから前記入力データを受け取る第２の入力と、
   前記ロボットに前記ロボット制御信号を提供する第２の出力と、
   を含む入力／出力（Ｉ／Ｏ）回路をさらに備える、請求項１に記載の制御ユニット。
7. 前記ＶＲデバイスの前記表示ユニットは、前記ビューワに表示された獲得された前記ライブ画像の特徴を強調表示するための移動可能なカーソルを提供する、請求項１に記載の制御ユニット。
8. 前記プロセッサはさらに、入力装置からの確認信号を処理して、選択された前記ターゲットを確定する、請求項１に記載の制御ユニット。
9. 前記プロセッサはさらに、前記ＨＭＤデバイスの入力からの起動信号を処理して、目の動き及びそれに対応する目追跡データの判定又は頭部の運動及びそれに対応する頭部追跡データの判定をそれぞれ含む、目追跡モード及び頭部追跡モードのうち一方を起動する、請求項２に記載の制御ユニット。
10. 前記プロセッサはさらに、視覚的標識と共に前記ＶＲデバイスに送信するために、獲得された前記ライブ画像を増強する、請求項１に記載の制御ユニット。
11. 前記少なくとも１つの画像獲得デバイスは、前記少なくとも１つのロボットにより操作可能な前方視カメラを含み、
    前記プロセッサはさらに、前記前方視カメラからの前方視画像を処理し、前記ＨＭＤデバイスからの判定された前記目追跡データ又は頭部追跡データを継続進行モードで処理し、前記ロボット制御信号を送信して、前記ロボットに、前記前方視画像と、判定された前記頭部追跡データ又は目追跡データとに基づいて、前記前方視カメラを前記継続進行モードで前記患者内を移動させる、請求項９に記載の制御ユニット。
12. 患者内の手術部位に位置決めされた少なくとも１つのエンドエフェクタを操作するロボットと、
    前記手術部位でライブ画像を獲得する少なくとも１つの画像獲得デバイスと、
    獲得された前記ライブ画像を表示し、仮想現実（ＶＲ）デバイスを介してユーザの行為によって提供される追跡データを判定するＶＲデバイスと、
    制御ユニットと、
    を備える手術用ロボットシステムであって、前記制御ユニットは、
    前記少なくとも１つの画像獲得デバイスから獲得された前記ライブ画像を受け取り、獲得された前記ライブ画像を表示のために前記ＶＲデバイスに提供し、前記ＶＲデバイスから判定された前記追跡データを受け取り、前記ロボットにロボット制御信号を提供する入力／出力（Ｉ／Ｏ）回路と、
    プロセッサであって、
    前記少なくとも１つの画像獲得デバイスから前記Ｉ／Ｏ回路を介して受け取られる獲得された前記ライブ画像を、前記ＶＲデバイスに送信し、
    前記ＶＲデバイスからの判定された前記追跡データを処理して、前記患者内の前記手術部位でターゲットを選択し、
    前記少なくとも１つのエンドエフェクタが選択された前記ターゲットに到達するための経路を、獲得された前記ライブ画像と、処理され判定された前記追跡データとに基づいて決定し、
    前記ロボットに前記ロボット制御信号を送信して、少なくとも１つの器具を決定された前記経路を通して選択された前記ターゲットまで移動させる、プロセッサと、
    を備える、手術用ロボットシステム。
13. 前記ＶＲデバイスは、前記ユーザによって装着される頭部装着型ディスプレイ（ＨＭＤ）であり、
    前記追跡データは、前記ＨＭＤによって検出された前記ユーザの頭部の運動に対応する頭部追跡データ、及び前記ＨＭＤによって検出された前記ユーザの目の動きに対応する目追跡データ、のうち少なくとも一方を含む、請求項１２に記載の手術用ロボットシステム。
14. 前記制御ユニットに結合された入力装置をさらに備え、前記プロセッサはさらに、前記入力装置からの確認信号を処理して、選択された前記ターゲットを確定する、請求項１２に記載の手術用ロボットシステム。
15. 前記プロセッサはさらに、前記入力装置からの起動信号を処理して、前記ＨＭＤによる前記ユーザの頭部の運動の検出を含む頭部追跡モード、又は前記ＨＭＤによる前記ユーザの目の動きの検出を含む目追跡モードのうち一方を起動する、請求項１４に記載の手術用ロボットシステム。
16. 前記少なくとも１つの画像獲得デバイスは立体視内視鏡を備える、請求項１２に記載の手術用ロボットシステム。
17. 前記ロボットは、前記少なくとも１つのエンドエフェクタを含む柔軟な遠位部分に結合された、硬い近位部分を備える、請求項１２に記載の手術用ロボットシステム。
18. 手術用ロボットシステムを操作するためにプロセッサにより実行可能な機械可読命令を記憶した非一時的なコンピュータ可読記憶媒体であって、前記手術用ロボットシステムは、患者内の手術部位に位置決めされる少なくとも１つのエンドエフェクタを操作する少なくとも１つのロボットと、前記手術部位でライブ画像を獲得する少なくとも１つの画像獲得デバイスと、ユーザにより装着され、獲得された前記ライブ画像を表示すると共に、前記ユーザの頭部の運動又は前記ユーザの目の動きのうち少なくとも一方を判定する頭部装着型ディスプレイ（ＨＭＤ）デバイスと、を含み、前記非一時的なコンピュータ可読媒体は、
    前記少なくとも１つの画像獲得デバイスから受け取られた、獲得された前記ライブ画像を前記ＨＭＤデバイスへ送信させるための送信コードと、
    前記ＨＭＤデバイスからの頭部追跡データ及び目追跡データのうち判定された少なくとも一方を処理して、前記患者内の前記手術部位でターゲットを選択するための処理コードと、
    前記少なくとも１つのエンドエフェクタを含む前記ロボットの遠位部分が前記患者内の前記手術部位の選択された前記ターゲットに到達するための経路を、獲得された前記ライブ画像と、処理され判定された前記頭部追跡データ及び／又は目追跡データとに基づいて決定するための決定コードと、
    前記ロボットにロボット制御信号を送信して、前記少なくとも１つのエンドエフェクタを、決定された前記経路を通して前記患者内の前記手術部位の選択された前記ターゲットまで移動させるためのロボット制御コードと、
    を含む、非一時的なコンピュータ可読記憶媒体。
19. 入力装置からの確認信号を処理して、選択された前記ターゲットをユーザが確定するための確認コードをさらに含む、請求項１８に記載の非一時的なコンピュータ可読記憶媒体。
20. 入力装置からの起動信号を処理して、前記ＨＭＤデバイスによる頭部の運動の感知を含む頭部追跡モード又は前記ＨＭＤデバイスによる目の動きの感知を含む目追跡モードを起動するための起動コードをさらに含む、請求項１８に記載の非一時的なコンピュータ可読記憶媒体。
21. 視覚的標識と共に前記ＨＭＤデバイスに送信するために、獲得された前記ライブ画像を増強するための増強コードをさらに含む、請求項１８に記載の非一時的なコンピュータ可読記憶媒体。
22. 前記ロボットにより制御可能な前記エンドエフェクタのうち１つに関連付けられた前方視カメラからの前方視画像を処理し、
    前記ＨＭＤデバイスからの判定された前記頭部追跡データを継続進行モードで処理し、
    前記ロボット制御信号を送信して、前記前方視画像と、判定された前記頭部追跡データとに基づいて、前記少なくとも１つのロボットを前記患者内の前記手術部位において前記継続進行モードで移動させるための前方視画像コードをさらに含む、請求項１８に記載の非一時的なコンピュータ可読記憶媒体。

Images