JP6785656B2

JP6785656B2 - カテーテルの位置付け及び挿入のためのグラフィカル・ユーザインターフェイス

Info

Publication number: JP6785656B2
Application number: JP2016534794A
Authority: JP
Inventors: デュインダム，ヴィンセント; レイリー，キャロル
Original assignee: インテュイティブサージカルオペレーションズ，インコーポレイテッド
Priority date: 2013-08-15
Filing date: 2014-08-12
Publication date: 2020-11-18
Anticipated expiration: 2034-08-12
Also published as: JP2019162512A; KR20160051738A; EP3033132A1; US11800991B2; CN105451802B; JP2016529999A; EP3033132A4; CN105451802A; WO2015023665A1; CN109954196B; JP6793780B2; US20160183841A1; US20240008762A1; KR102356881B1; CN109954196A; EP3033132B1

Description

本開示は、低侵襲性手術を行うために患者の解剖学的構造をナビゲートするためのシステム及び方法を対象としており、具体的には、介入器具の案内を支援するためにグラフィカル・ユーザインターフェイスを使用する装置及び方法を対象としている。

低侵襲性医療技術は、介入手術中に損傷を受ける組織量を低減することを目的としており、それによって患者の回復時間、不快感及び有害な副作用が低減される。このような低侵襲性技術は、患者の解剖学的構造の自然(natural)オリフィスを通じて、又は１つ又は複数の外科的切開部を通じて行ってもよい。これらの自然オリフィス又は切開部を通じて、臨床医は、（外科用、診断用、治療用、又は生検用器具を含む）介入器具を挿入して、標的組織の位置に到達させることができる。標的組織の位置に到達させるために、低侵襲性介入器具が、肺、結腸、腸、腎臓、心臓、循環器系等の解剖学系における自然の又は外科的に形成された経路にナビゲートされる。遠隔操作介入システムを使用して、患者の解剖学的構造内に介入器具を挿入し且つ位置付けしてもよい。位置案内システムは、介入手術が行われる患者の解剖学的構造内の位置に介入器具を案内する際に臨床医を支援するために必要とされている。

本発明の実施形態は、詳細な説明に続く特許請求の範囲によって要約される。
一実施形態では、患者の解剖学的構造内に介入器具を案内する方法は、患者の解剖学的構造内の標的位置を処理するステップと、患者の解剖学的構造内の第１の位置における介入器具のチップ部分の位置を受信するステップとを含む。この方法はまた、第１の位置と標的位置との間の３次元距離を測定するステップと、標的位置を表すシンボル及び介入器具のチップ部分を表すシンボルを表示するステップとを含む。

別の実施形態では、システムは、患者の解剖学的構造内に介入器具を案内するためのコンピュータ実行可能命令を含む非一時的なコンピュータ可読媒体を有しており、コンピュータ実行可能命令は、患者の解剖学的構造内の標的位置を処理するための命令を含む。非一時的なコンピュータ可読媒体は、患者の解剖学的構造内の第１の位置における介入器具のチップ部分の位置を受信し、第１の位置と標的位置との間の３次元距離を測定し、標的位置を表すシンボル及び介入器具のチップ部分を表すシンボルを表示するためのコンピュータ実行可能命令をさらに含む。

別の実施形態では、患者の解剖学的構造内に介入器具を案内する方法は、患者の解剖学的構造内の標的位置を処理するステップと、患者の解剖学的構造内の第１の位置における介入器具のチップ部分の第１の位置指示を受信するステップとを含む。この方法はナビゲーション支援画像を同時に表示するステップを含み、同時に表示するステップは、標的位置を表すシンボル、介入器具のチップ部分を表すシンボル、第１の位置と標的位置との間の方向を示すシンボル、及び第１の位置と標的位置との間の挿入距離の成分を表すシンボルを第１のウィンドウに；内視鏡カメラ画像を第２のウィンドウに；モデル化した仮想内視鏡画像を第３のウィンドウに；モデル化した仮想経路画像を第４のウィンドウに；標的位置にマークを含む患者の解剖学的構造の手術前画像を内の第５のウィンドウに；同時に表示するステップをさらに含む。
本発明の追加の態様、特徴、及び利点は、以下の詳細な説明から明らかになるであろう。

本開示の実施形態に係るロボット介入システムを示す図である。本開示の態様を利用する介入器具システムを示す図である。介入器具システムの位置付けガイダンスに関する情報を表示するためのグラフィカル・ユーザインターフェイスを示す図である。本開示の一実施形態に係るグラフィカル・ユーザインターフェイスのナビゲーション支援を示す図である。図４のナビゲーション支援の図を異なる状態の情報表示で示す図である。図４のナビゲーション支援の図をさらに別の状態の情報表示で示す図である。本開示の別の実施形態に係るグラフィカル・ユーザインターフェイスのナビゲーション支援を示す図である。図７のナビゲーション支援の図を異なる状態の情報表示で示す図である。図７のナビゲーション支援の図をさらに別の状態の情報表示で示す図である。本開示の実施形態に係るグラフィカル・ユーザインターフェイスを使用して、介入器具システムの位置付けガイダンスに関する情報を表示する方法を説明するフローチャートである。

本開示の態様は、添付の図面と併せて確認すると、以下の詳細な説明から最も良く理解される。この業界の一般的な慣例に従って、様々な特徴について一定の縮尺で描いていないことを強調しておく。実際には、様々な特徴の寸法は、議論を明確にするために適宜拡大又は縮小することがある。また、本開示は、様々な実施例において参照数字及び／又は記号を繰り返して使用し得る。この繰返しは、簡略化及び明確化を目的として行われており、議論される様々な実施形態及び／又は構成の間の関係をそれ自体で規定するものではない。

本発明の態様の以下の詳細な説明において、開示された実施形態の完全な理解を提供するために、多数の特定の詳細について説明する。しかしながら、本開示の実施形態がこれら特定の詳細がなくても実施できることは当業者には明らかであろう。他の例では、周知の方法、手順、構成要素、及び回路は、本発明の実施形態の態様を不必要に曖昧にしないように詳細に説明していない。また、説明の不要な重複を避けるために、例示的な一実施形態について説明した１つ又は複数の構成要素又は動作は、他の例示的な実施形態について適宜使用又は省略され得る。

以下の実施形態は、３次元空間内の状態の観点から、様々な器具及び器具の部分について説明する。本明細書で使用される場合に、用語「位置」は、３次元空間（例えば、デカルト座標Ｘ，Ｙ，Ｚに沿った並進３自由度）における対象物又は対象物の一部の位置を指す。本明細書で使用される場合に、用語「向き」は、対象物又は対象物の一部の回転配置（例えば、ロール、ピッチ、及びヨーの回転３自由度）を指す。本明細書で使用される場合に、用語「姿勢」は、少なくとも１つの並進自由度における対象物又は対象物の一部の位置、及び少なくとも１つの回転自由度における対象物又は対象物の一部の向き（合計６つの自由度まで）を指す。本明細書で使用される場合に、用語「形状」は、細長い対象物に沿って測定された姿勢、位置、又は向きのセットを指す。

図１を参照すると、例えば、外科用、診断用、治療用、又は生検用処置において使用されるロボット介入システムが、参照符号１００によって概して示されている。説明するように、本開示のロボット介入システムは、一般的に外科医の遠隔操作制御下にある。しかしながら、いくつかの手術又はサブ手術について、ロボット介入システムは、手術又はサブ手術を実施するようにプログラムされたコンピュータの部分的又は完全な制御下にあってもよい。図１に示されるように、ロボット介入システム１００は、一般的に、患者Ｐが配置される手術台Ｏに又はこの近くに取り付けられたロボットアセンブリ１０２を含む。介入器具システム１０４が、ロボットアセンブリ１０２に作動可能に結合される。オペレータ入力装置１０６によって、外科医又は他の分野の臨床医Ｓが手術部位を確認して、介入器具システム１０４の動作を制御することが可能になる。

オペレータ入力装置１０６は、通常、手術台Ｏと同じ部屋に位置するような外科医コンソールに配置することができる。もっとも、外科医Ｓは、患者Ｐとは異なる部屋に又は完全に異なる建物に位置し得ることを理解すべきである。オペレータ入力装置１０６は、一般的に、介入器具システム１０４を制御するための１つ又は複数の制御装置（複数可）を含む。制御装置（複数可）は、ハンドグリップ、ジョイスティック、トラックボール、データグローブ、トリガガン、手動操作制御装置、音声認識装置、タッチスクリーン、身体動き又は存在センサー等の多数の様々な入力装置を含んでもよい。いくつかの実施形態では、制御装置（複数可）は、ロボットアセンブリの介入器具と同じ自由度で提供され、テレプレゼンス、外科医が器具を直接的に制御する強い感覚を有するよう制御装置（複数可）が器具と一体化されるような知覚、を外科医に提供する。他の実施形態では、制御装置（複数可）は、関連する介入器具より多い又は少ない自由度を有しており、依然としてテレプレゼンスを外科医に提供することができる。いくつかの実施形態では、制御装置（複数可）は、６つの自由度で動く手動入力装置であり、（例えば、顎部を把持して閉じる、電位を電極に印加する、薬物療法を送達する等をするための）器具を作動するための作動ハンドルも含み得る。

ロボットアセンブリ１０２は、介入器具システム１０４をサポートしており、且つ１つ又は複数の非サーボ制御リンク（例えば、所定の位置に手動で位置付けされ且つロックされる１つ又は複数のリンク、一般的にセットアップ構造と呼ばれる）及びロボットマニピュレータの運動学的構造を含むことができる。ロボットアセンブリ１０２は、介入器具１０４の入力装置を駆動させる複数のアクチュエータ（例えば、モータ）を含む。これらのモータは、制御システム（例えば、制御システム１１２）からのコマンドに応答して、能動的に動く。モータは、介入器具１０４に結合された場合に、自然に又は外科的に形成された解剖学的オリフィス内に介入器具を前進させる及び／又は介入器具の先端を複数の自由度で動かすことができる駆動システムを含むことができ、その複数の自由度は、３つの自由度の直線運動（例えば、Ｘ，Ｙ，Ｚデカルト軸に沿った直線運動）及び３つの自由度の回転運動（例えば、Ｘ，Ｙ，Ｚデカルト軸回りの回転）を含むことができる。また、モータを使用して、生検装置等の顎部で組織を把持するための、器具の関節接合可能なエンドエフェクタを作動させることができる。

ロボット介入システム１００は、ロボットアセンブリの器具に関する情報を受信するための１つ又は複数のサブシステムを含むセンサーシステム１０８も有する。このようなサブシステムは、位置センサーシステム（例えば、電磁（EM）センサーシステム）；カテーテルチップの及び／又は器具１０４の可撓性本体に沿った１つ又は複数のセグメントの、位置、向き、速度、姿勢、及び／又は形状を判定するための形状センサーシステム；及び／又はカテーテルシステムの先端から画像を取り込むための可視化システムを含んでもよい。

ロボット介入システム１００は、センサーシステム１０８のサブシステムによって生成された手術部位及び介入器具１０４の画像を表示するための表示システム１１０も含む。ディスプレイ１１０及びオペレータ入力装置１０６は、オペレータが、実質的に真のものが作業空間に存在しているかのように視認して、介入器具システム１０４及びオペレータ入力装置１０６を制御できるように向き合わせされる。真のものの存在は、表示される組織画像が、オペレータに、このオペレータが画像位置に物理的に存在しており且つ画像の視点から組織を直接的に視認しているかのように表示されることを意味する。

代替的に又は追加的に、表示システム１１０は、コンピュータ断層撮影（CT）、磁気共鳴画像診断（MRI）、Ｘ線透視法、サーモグラフィ、超音波、光コヒーレンストモグラフィー（OCT）、赤外線画像、インピーダンスイメージング、レーザーイメージング、ナノチューブＸ線イメージング等の撮像技術を使用して手術前に又は手術中に記録され及び／又はモデル化された手術部位の画像を提示することができる。提示された手術前又は手術中画像は、２次元、３次元、又は４次元（例えば、時間ベース又は速度ベースの情報を含む）画像及びモデルを含むことができる。

いくつかの実施形態では、表示システム１１０は、介入器具の実際の位置が手術前の又は同時の画像と共に記録され（例えば、動的に参照され）、外科用器具のチップの位置における内部手術部位のバーチャル画像を外科医に提示するような仮想の可視化画像を表示することができる。

他の実施形態では、表示システム１１０は、介入器具の実際の位置が、（手術前に記録された画像を含む）以前の画像又は同時画像と共に記録され、手術部位における介入器具のバーチャル画像を外科医に提示するような仮想の可視化画像を表示することができる。介入器具を制御する外科医を支援するために、介入器具１０４の一部の画像をバーチャル画像に重畳してもよい。

ロボット介入システム１００は、制御システム１１２も含む。制御システム１１２は、介入器具システム１０４、オペレータ入力装置１０６、センサーシステム１０８、及び表示システム１１０の間で制御を行うための少なくとも１つのプロセッサ（図示せず）、典型的には複数のプロセッサと、少なくとも１つのメモリとを含む。制御システム１１２は、プログラムされた命令（例えば、命令を格納するコンピュータ可読媒体）も含み、本明細書で説明される方法の一部又は全てを実行する。制御システム１１２が、図１の簡略化した概略図に単一のブロックとして示されているが、このシステムは、多数のデータ処理回路を含んでもよく、その処理の一部は、必要に応じて、ロボットアセンブリ１０２で又はこれに隣接して実行され、一部は、オペレータ入力装置１０６等で実行される。多種多様の集中型又は分散型データ処理アーキテクチャのいずれかを用いてもよい。同様に、プログラムされた命令は、多数の別々のプログラム又はサブルーチンとして実装してもよく、又はそれら命令は、本明細書で説明するロボットシステムの多数の他の態様に組み込んでもよい。一実施形態では、制御システム１１２は、ブルートゥース（登録商標）、ＩｒＤＡ、ホームＲＦ、ＩＥＥＥ８０２．１１、ＤＥＣＴ及び無線テレメトリ等の無線通信プロトコルをサポートする。

いくつかの実施形態では、制御システム１１２は、１つ又は複数のサーボ制御装置を含んでおり、介入器具システム１０４からオペレータ入力装置１０６の対応する１つ又は複数のサーボモータに力及びトルクフィードバックを提供することができる。サーボ制御装置（複数可）は、ロボットアセンブリ１０２に命令する信号を送信して、患者の身体の開口部を介してこの身体内の内部手術部位内に延びる介入器具１０４を移動させることもできる。任意の適切な従来の又は専用のサーボ制御装置を使用してもよい。サーボ制御装置は、ロボットアセンブリ１０２から分離される、又はロボットアセンブリ１０２と一体化することができる。いくつかの実施形態では、サーボ制御装置及びロボットアセンブリは、患者の身体に隣接して位置付けされたロボットアームカートの一部として設けられる。

制御システム１１２は、仮想可視化システムをさらに含み、介入器具１０４にナビゲーション支援を提供することができる。仮想可視化システムを使用する仮想ナビゲーションは、解剖学的経路の３次元構造に関連した取得されたデータセットに対する参照に基づくものである。具体的には、仮想可視化システムは、コンピュータ断層撮影（CT）、磁気共鳴画像診断（MRI）、Ｘ線透視法、サーモグラフィ、超音波、光コヒーレンストモグラフィー（OCT）、赤外線画像、インピーダンスイメージング、レーザーイメージング、ナノチューブＸ線イメージング等の撮像技術を使用して記録され及び／又はモデル化された手術部位の画像を処理する。ソフトウェアを使用して、記録した画像を、部分的な又は全体的な解剖学的臓器又は解剖学的領域の２次元又は３次元モデルに変換する。このモデルは、経路及びそれら接続部の様々な位置や形状を示す。モデルを生成するために使用した画像を、臨床診断中に手術前又は手術中に記録してもよい。代替実施形態では、仮想可視化システムは、標準的なモデル（すなわち、特定の患者ではない）、又は標準モデル及び患者固有のデータのハイブリッドを使用してもよい。モデル及びこのモデルによって生成されたバーチャル画像は、運動の１つ又は複数の段階の間に（例えば、肺の吸気／呼気サイクルの間に）、変形し易い解剖学的領域の静的な姿勢を表すことができる。

仮想ナビゲーション手順の間に、センサーシステム１０８を使用して、患者の解剖学的構造に対する器具のおおよその位置を計算することができる。この位置を使用して、患者の解剖学的構造のマクロレベル追跡画像と患者の解剖学的構造の内部バーチャル画像との両方を生成することができる。仮想可視化システム等からの手術前に記録された手術画像と一緒に介入実装形態を記録し且つ表示するために光ファイバセンサーを使用する様々なシステムが、知られている。このようなシステムは、例えば、２０１１年５月１３日に出願された、”Medical System Providing Dynamic Registration of a Model of an Anatomical Structure for Image-Guided Surgery”を開示する米国特許出願第１３／１０７，５６２号に記載されており、この文献は、その全体を参照することにより本明細書に組み込まれる。

ロボット介入システム１００は、照明システム、操縦制御システム、洗浄システム、及び／又は吸引システム等のオプションのオペレーション及びサポートシステム（図示せず）をさらに含んでもよい。代替実施形態では、ロボットシステムは、複数のロボットアセンブリ及び／又は複数のオペレータ入力システムを含んでもよい。マニピュレータアセンブリの正確な数は、他の要因の中でもとりわけ、外科手術及び手術室内の空間的制約に依存する。オペレータ入力システムを併置してもよく、又はそれらを別々の位置に配置してもよい。複数のオペレータ入力システムによって、複数のオペレータが１つ又は複数のマニピュレータアセンブリを種々の組合せで制御することを可能にする。

図２には、ロボット介入システム１００の介入器具システム１０４として使用される介入器具システム２００が示されている。あるいはまた、介入器具システム２００は、非ロボット診査処置、又は内視鏡検査等の従来の手動操作の介入器具を伴う処置で使用することができる。

器具システム２００は、器具本体２０４に結合されたカテーテルシステム２０２を含む。カテーテルシステム２０２は、基端部２１７及び先端部又はチップ部分２１８を含む細長い可撓性カテーテル本体２１６を有する。一実施形態では、可撓性本体２１６は、約３ｍｍの外径を有する。他の可撓性本体の外径は、これよりも大きくても小さくてもよい。カテーテルシステム２０２は、必要に応じて、先端部２１８におけるカテーテルチップの及び／又は本体２１６に沿った１つ又は複数のセグメント２２４の、位置、向き、速度、姿勢、及び／又は形状を判定するための形状センサー２２２を含んでもよい。先端部２１８と基端部２１７との間の本体２１６の全長を、複数のセグメント２２４に効果的に分割することができる。器具システム２００がロボット介入システム１００の介入器具システム１０４である場合に、形状センサー２２２は、センサーシステム１０８の構成要素であってもよい。器具システム２００が手動操作される又は他に非ロボット処置で使用される場合に、形状センサー２２２を、形状センサーに問い合わせして受信した形状データを処理するような追跡システムに結合することができる。

形状センサーシステム２２２は、可撓性カテーテル本体２１６と整列した（例えば、内部チャネル（図示せず）内に設けられ又は外付けされた）光ファイバを含んでもよい。一実施形態では、光ファイバは、約２００μｍの直径を有する。他の実施形態では、この寸法は、これよりも大きくても小さくてもよい。

形状センサーシステム２２２の光ファイバは、カテーテルシステム２０２の形状を判定するための光ファイバの曲げセンサーを形成する。１つの代替形態では、ファイバブラッグ回折格子（FBGs）を含む光ファイバが、１つ又は複数の次元における構造のひずみ測定を提供するために使用される。光ファイバの形状及び相対位置を３次元で監視するための様々なシステム及び方法が、２００５年７月１３日に出願された、”Fiber optic position and shape sensing device and method relating thereto”を開示する米国特許出願第１１／１８０，３８９号、２００４年７月１６日に出願された、”Fiber-optic shape and relative position sensing”を開示する米国仮特許出願第６０／５８８，３３６号、１９９８年６月１７日に出願された、”Optical Fibre Bend Sensor”を開示する米国特許第６，３８９，１８７号に記載されており、これらの文献は、それら全体を参照することにより本明細書に組み込まれる。他の代替形態では、レイリー散乱、ラマン散乱、ブリルアン散乱、及び蛍光散乱等の他のひずみ感知技術を用いるセンサーが適している。他の代替形態では、カテーテルの形状は、他の技術を用いて判定してもよい。
例えば、カテーテルの先端チップ姿勢の履歴が、時間間隔に亘って保存される場合に、姿勢履歴を使用して、その時間間隔に亘ってこのデバイスの形状を再構築することができる。別の例として、過去の姿勢、位置、又は向きデータは、呼吸等の交互に行われる動作サイクルに従った器具の既知の点として保存することができる。この保存データを使用して、カテーテルに関する形状情報を開発することができる。あるいはまた、カテーテルに沿って配置されたＥＭセンサー等の一連の位置センサーを、形状検知のために使用することができる。あるいはまた、手術中に器具上のＥＭセンサー等の位置センサーからの履歴データを使用して、特に解剖学的経路が略静止している場合には、器具の形状を表すことができる。あるいはまた、外部磁場により制御される位置又は向きを有する無線装置を、形状検出のために使用することができる。その位置の履歴を使用して、ナビゲートする経路の形状を判定することができる。

この実施形態では、光ファイバは、単一クラッド(cladding)内に複数のコアを含んでもよい。各コアは、十分な距離を有しており且つクラッドによってコアを分離するシングルモードであってもよく、それによって各コアの光は、他のコアで搬送される光と殆ど相互作用しない。他の実施形態では、コアの数は変化してもよく、又は各コアを別個の光ファイバに含めてもよい。

いくつかの実施形態では、ＦＧＢのアレイが各コア内に設けられる。各ＦＧＢは、屈折率の空間周期性を生成するように、コアの屈折率の一連の変調を含む。各屈折率変化による部分的な反射が狭帯域の波長についてコヒーレントとなるように追加されるように、間隔が選択され、こうしてより広帯域を通過させながら、この狭帯域の波長のみを反射することができる。ＦＧＢの製造中に、変調によって、既知の距離だけ間隔が置かれ、こうして既知の帯域幅の波長の反射を引き起こす。しかしながら、ひずみがファイバコアに誘起された場合に、変調の間隔は、コア内のひずみ量に応じて変化する。あるいはまた、光ファイバの屈曲に伴って変化する後方散乱又は他の光学的現象を使用して、各コア内のひずみを決定することができる。

こうして、ひずみを測定するために、光をファイバに送り、戻ってくる光の特性を測定する。例えば、ＦＧＢは、ファイバのひずみとその温度との関数である反射波長を生成する。このＦＧＢ技術は、英国のブラックネルにあるSmart Fibres Ltd.等の様々な供給先から市販されている。ロボット手術についてＦＧＢ技術の位置センサーでの使用は、２００６年７月２０日に出願された、”Robotic Surgery System Including Position Sensors Using Fiber Bragg Gratings”を開示する米国特許第７，９３０，０６５号に記載されており、この文献は、その全体を参照することにより本明細書に組み込まれる。

マルチコア光ファイバに力を加えた場合に、光ファイバの曲げによって、コアにひずみが誘起され、このひずみは、各コアにおける波長シフトを監視することによって測定される。ファイバの軸線から外れて配置された２つ以上のコアを有することにより、光ファイバの曲げによって、各コアに異なるひずみが誘起される。これらのひずみは、ファイバの局所的な曲げの程度の関数である。そのため、例えばＦＧＢを含むコアの領域が、ファイバが曲げられる点に位置する場合に、このコアの領域を、これらの点での曲げ量を決定するために使用することができる。ＦＧＢ領域の既知の間隔と組み合わされるこれらのデータを使用して、ファイバの形状を再構築することができる。このようなシステムは、バージニア州のブラックスバーグのLuna Innovation. Inc.によって説明されている。

説明したように、光ファイバを使用して、カテーテルシステム２０２の少なくとも一部の形状を監視することができる。具体的には、光ファイバを通過する光は、カテーテルシステム２０２の形状を検出するために処理され、その情報を利用して外科手術を支援する。センサーシステム（例えば、センサーシステム１０８）は、カテーテルシステム２０２の形状を判定するために使用される光を生成し且つ検出するためのデータ取得(interrogation)システムを含むことができる。次に、この情報を使用して、介入器具の部品の速度及び加速度等の関連する他の変数を決定することができる。センシング（感知）は、ロボットシステムによって作動される自由度にだけ限定することができる、又は受動（例えば、関節同士間の剛性部材の非作動状態の曲げ）及び能動（例えば、器具の作動状態の運動）の両方の自由度に適用することができる。

介入器具システムは、必要に応じて、位置センサーシステム２２０を含んでもよい。位置センサーシステム２２０は、１つ又は複数の導電性コイルを含み、外部で発生した電磁場を受ける電磁（EM）センサーシステムであってもよい。次に、ＥＭセンサーシステム２２０の各コイルは、外部で発生した電磁場に対してコイルの位置及び向きが依存するような特性を有する誘導電気信号を生成する。一実施形態では、ＥＭセンサーシステムは、６つの自由度、例えば３つの位置座標Ｘ，Ｙ，Ｚ及び基点のピッチ、ヨー、及びロールを示す３つの方位角、又は５つの自由度、例えば３つの位置座標Ｘ，Ｙ，Ｚ及び基点のピッチ及びヨーを示す２つの方位角を測定するように構成され且つ位置付けすることができる。ＥＭセンサーシステムについての更なる説明は、１９９９年８月１１日に出願された、”Six-Degree of Freedom Tracking System Having a Passive Transponder on the Object Being Tracked”を開示する米国特許第６，３８０，７３２号に提供されており、この文献は、その全体を参照することにより本明細書に組み込まれる。

可撓性カテーテル本体２１６は、補助ツール２２６を受容するようにサイズ決めされ且つ形状が形成されたチャネルを含む。補助ツールは、例えば画像捕捉プローブ、生検装置、レーザーアブレーションファイバ、又は他の外科用、診断用、又は治療用ツールを含んでもよい。補助ツールは、メス、ブレード、光ファイバ、又は電極等の単一の作業部材を有するエンドエフェクタを含んでもよい。他のエンドエフェクタは、例えば鉗子、把持器、はさみ、又はクリップアプライヤ等のペアの又は複数の作業部材を含んでもよい。電気的に作動されるエンドエフェクタの例として、電気外科電極、トランスデューサ、センサー等が挙げられる。様々な実施形態では、補助ツール２２６は、表示するために処理される画像（映像を含む）を取り込むために、可撓性カテーテル本体２１６の先端部２１８近傍に配置された立体又は単眼カメラを先端部分に含むような画像捕捉プローブであってもよい。画像捕捉プローブは、取り込まれた画像データを送信するための、カメラに結合されたケーブルを含んでもよい。あるいはまた、画像捕捉装置は、撮像システムに結合するファイバースコープ等の光ファイバ束であってもよい。画像取込装置は、例えば、画像データを可視スペクトルで取り込む又は画像データを可視及び赤外又は紫外スペクトルで取り込むような単一又はマルチスペクトルとすることができる。

可撓性カテーテル本体２１６は、器具本体２０４と先端部２１８との間に延びるケーブル、リンク機構、又は他の操縦制御装置（図示せず）を収容してもよく、例えば先端部の点線の回転(versions)により示されるように、先端部２１８を制御可能に曲げる又は回動させることができる。器具システム２００がロボットアセンブリによって作動される実施形態では、器具本体２０４は、ロボットアセンブリの電動駆動要素に結合する駆動入力部を含んでもよい。器具システム２００が手動で操作される実施形態では、器具本体２０４は、器具システムの動作を手動で制御するための、把持機構、手動アクチュエータ、及び他の構成要素を含んでもよい。カテーテルシステムは、操縦可能であってもよく、又は代替的に、オペレータ制御によって器具を曲げるための組込メカニズムを有していないような操縦不能であってもよい。更に又は代替的に、可撓性本体２１６は、介入器具が標的の手術部位で展開され且つ使用されるような１つ又は複数の管腔を規定することができる。

様々な実施形態では、介入器具システム２００は、肺の検査、診断、生検、又は治療に使用される気管支鏡又は気管支カテーテル等の可撓性気管支用器具であってもよい。このシステムは、結腸、腸、腎臓、脳、心臓、循環器系等含む様々な解剖学系において、自然に又は外科的に形成された接続経路を介した、他の組織のナビゲーションや処置にも適している。

介入器具システム２００を患者内で操作する際に、本明細書に記載されるように、外科医が、操作に関連した様々な形式のデータに同時アクセスすることが望ましいことがある。例えば、介入器具を呼吸器系等の解剖学的構造の特定の部分を通して案内する際に、内視鏡は、介入器具システム２００と一緒に解剖学的構造を通して安全にフィットさせるには大き過ぎる可能性がある。このような操作では、外科医は、内視鏡用カメラの表示を上述したタイプの手術前画像の表示で補完することもできる。さらに、外科医は、内視鏡カメラの表示を、解剖学的構造内の手術部位や特定の標的位置に対する介入器具の位置の定型化表現の表示で補完することを望んでもよい。

図３には、表示システム１１０上に表示可能な２次元グラフィカル・ユーザインターフェイス（GUI）３００が示されている。ＧＵＩ３００は、表示システム１１０を介して外科医が同時に視認することができる複数のウィンドウを含む。これらのウィンドウは、患者の解剖学的構造を示す画像、介入器具の位置を示す画像、外科医への案内情報、及び操作に関連する他の情報を表示することができる。図３の実施形態では、ＧＵＩは、患者の解剖学的構造内の内視鏡カメラによって生成された内視鏡カメラ画像３０２、仮想可視化システムによって処理された手術前又は手術中イメージングから生成された仮想内視鏡画像３０４、解剖学的経路システムの概観を提供し且つ仮想可視化システムによって処理された手術前又は手術中イメージングから生成された仮想概観経路画像３０６、記録された姿勢の位置において手術前又は手術中の画像セットの断面を示す多平面再構成画像３０８、及びナビゲーション支援用画像３１４を含む。

この実施形態では、ＧＵＩ３００は、画像３０４及び３０６に示されるようなＧＵＩの画像上に重ね合わされた仮想ロードマップ３１０の形式の案内情報をさらに含む。仮想ロードマップ３１０は外科医によって使用され、手術前又は手術中に特定される標的位置３１２に到達させるために、介入器具２００の挿入を案内する。このような標的位置３１２は、また、画像３０６及び３０８に示されるようなＧＵＩの任意の画像内に組み込む（例えば、重ね合わせ、重畳、他の方法での組み合わせる）こともできる。標的位置は、例えば、外科医が除去又は生検しようとする腫瘍、外科医が介入器具システム２００の装置を用いて撮像又は分析しようとする解剖学的構造の一部、解剖学的経路内の分岐、解剖学的経路の管腔、又は外科医が介入器具を患者の解剖学的構造を通して間接的な経路を経て最終的な標的位置に向けてナビゲートするのを可能する仮想ロードマップ上の中間点の位置を含むことができる。ＧＵＩ３００の１つ又は複数の構成画像は、仮想内視鏡画像又は内視鏡画像に重畳された又は他の方法で組み込まれた介入器具３１３のバーチャル画像を含んでもよい。ＧＵＩは、介入器具２００の先端部２１８（チップ部分とも呼ばれる）から標的位置３１２までの残りの距離を示す距離表示３１６等の手術に関連する他の情報も含んでもよい。この実施形態では、表示された距離３１６は、チップ部分と標的位置との間のユークリッド距離として計算することができる。

ＧＵＩ３００は、介入器具のチップ部分の位置に基づいて、トリガされた案内情報を外科医に提供することもできる。例えば、チップ部分が解剖学的な標的を通過した場合に、設けられたアラートによって、カテーテルを後退させるように外科医に指示し、こうして、外科医が介入器具をさらに間違った経路に送ること又は介入器具を健全な組織に導くことによって患者が負傷することを防止する。いくつかの実施形態では、このトリガされた案内情報は、ＧＵＩ３００の複数のウィンドウのうちのいずれかに表示してもよい。例えば、解剖学的な標的や岐路が迂回されたことを外科医に警告する視覚的な合図（例えば、点滅アイコン、色の変化、又は英数字メッセージ）を、仮想概観経路画像３０６上に表示してもよい。あるいはまた、例えば、ディスプレイ上の点滅アイコンやディスプレイの背景を覆う点滅色ブロックを含むトリガされた案内情報を、ＧＵＩ３００上の他の位置に視覚的に提供してもよい。さらに他の実施形態では、トリガされたフィードバックは、例えば、警告又はボーカル記録の再生を含む可聴警報の形態を取ってもよい。さらに他の実施形態では、トリガされたフィードバックは、例えば、入力システム１０６の制御装置における振動部を含む触覚フィードバックの形態を取ってもよい。いくつかの実施形態では、チップ部分が標的位置に近づいているとき、チップ部分が標的位置を通過したとき、チップ部分が標的位置に直接向かって移動しているとき、又はチップ部分が標的位置から離れる方向に移動しているとき、フィードバックをトリガしてもよい。単一の実施形態は、様々な条件に基づいてトリガされた複数の異なるタイプのフィードバックを含んでもよい。

ここで図４を参照すると、ナビゲーション支援画像３１４の実施形態の詳細図が示されている。ナビゲーション支援画像３１４は、介入器具のチップ部分２１８を標的位置に案内する際に、外科医が使用するための距離及び方向に関する情報を提供するような適合標的システムを提供する。チップ部分２１８が患者の解剖学的構造内で移動され、標的位置に対するチップ部分の位置及び向きに関する現行情報を外科医に提供する際に、画像３１４が更新される。この画像は、介入器具のチップ部分２１８を標的位置３１２に案内するための方向及び位置情報を外科医に提供する。介入器具のチップ部分２１８の位置を表すシンボル４００が、画像３１４の中心部に位置している。この実施形態では、シンボル４００は、十字線のセットの中心にあるが、代替実施形態では、介入器具のチップ部分２１８の位置を表すために他のアイコン又は形状を使用してもよい。十字線のライン４０６は、上／下方向、すなわちＹ軸方向の並進自由度と整列する一方、十字線のライン４０８は、右／左方法、すなわちＸ軸方向の、介入器具のチップ部分２１８の並進自由度と整列する。シンボル４０２は、標的位置３１２を示す。この実施形態では、シンボル４０２は、円形をしているが、他の形状又はアイコンを代替的に使用してもよい。シンボル４０４によって、チップ部分のシンボル４００と標的位置のシンボル４０２とが接続され、このシンボル４０４は、標的位置３１２に向けて移動させるために、チップ部分を案内する必要がある方向指示を提供する。この実施形態では、シンボル４０４はラインであるが、代替形態では、方向指示シンボルは、矢印や別のタイプのアイコンであってもよい。介入器具のチップ部分２１８のＺ軸（２次元画像３１４の面内の又は面外の）に沿った第３の並進自由度、挿入／摘出、又は距離は、シンボル４１０で示される。この実施形態では、シンボル４１０は、標的位置のシンボル４０２と同心の円形であるが、代替実施形態では、介入器具のチップ部分２１８と標的位置との間の挿入距離を示すために他のアイコン又は形状を使用してもよい。

必要に応じて、ナビゲーション支援画像３１４は、チップ部分２１８と標的位置３１２との間の距離を数値で、つまりＸ次元距離成分、Ｙ次元距離成分、及び／又はＺ次元距離成分で表示することができる。使用する距離計算式は、

であり、ここで、（ｘ２，ｙ２，ｚ２）は標的の位置であり、（ｘ１，ｙ１，ｚ１）はチップ部分の位置である。

外科医が介入器具のチップ部分２１８をＸ及びＹ次元に作動させる際に、チップ部分のシンボル４００に対する標的位置のシンボル４０２の位置は、ナビゲーション支援画像３１４内で適宜変化する。この実施形態では、チップ部分のシンボル４００は、画像３１４の基準フレームであるので、標的位置のシンボル４０２は、実際の標的位置３１２に対するチップ部分の新しい位置を表すために移動する。方向指示のシンボル４０４は、チップ部分のシンボル４００を中心に旋回して外科医にＸ−Ｙ方向を示すことができ、カテーテルのチップ部分２１８を標的位置３１２に直接向けて操縦させることができる。いくつかの実施形態では、方向指示のシンボル４０４は、標的位置３１２に直接向けてポインティングするためにチップ部分を移動しなければならないＸ及びＹ次元における残りの距離を表すために、チップ部分が移動する際に長さを計測することができる。

外科医が介入器具のチップ部分２１８をＺ次元に作動させる際に、距離表示３１６は、チップ部分と標的位置３１２との間の変化する距離を表示する。さらに、挿入寸法のシンボル４１０は、例えば、チップ部分２１８と標的位置３１２と間の距離が減少するほど小さくなり、この距離が増大するほど長くなるようにサイズを拡大縮小することができる。様々な実施形態では、距離指標３１６，４１０の一方又は両方は、オプションであってもよい。様々な他の実施形態では、３次元ディスプレイを設けてもよく、これによって外科医が、チップ部分と３次元ディスプレイのＺ次元における標的位置との間の計測された距離を確認することが可能になる。

図５には、図４と比較した際の、標的位置３１２に対するチップ部分２１８の位置変化が示されている。ナビゲーション支援用画像３１４のこのビューでは、チップ部分２１８と標的位置３１２との間のＺ距離が減少している。Ｚ次元のシンボル４１０は、チップ部分２１８がＺ次元に沿って標的位置３１２に近いことを示すために、標的位置のシンボル４０２と略同じサイズに縮小される。しかしながら、標的位置３１２に到達するために、方向指示のシンボル４０４によって示されるようにＸ及びＹ次元に依然としてチップ部分を案内しなければならない。

外科医が介入器具のチップ部分２１８を患者の解剖学的構造を通して案内する際に、外科医は、チップ部分を回転自由度で、すなわちＺ軸回りの回転により作動させることもできる。器具の先端チップ部分２１８が、円形でない、すなわち展開について好ましい回転角を有する場合に、先端チップ部分２１８の機構の回転方向は、ナビゲーション支援用画像によって、回転補助のシンボル４１８と一緒に表示してもよい。例えば、生検器具が側面開口部を有する場合に、開口部を有する側面は、ナビゲーション支援画像上に回転補助のシンボル４１８と一緒に示すことができる。

図６には、図４及び図５と比較した際の、標的位置３１２に対するチップ部分２１８の位置変化が示されている。ナビゲーション支援画像３１４のこのビューでは、介入器具のチップ部分２１８は、標的位置３１２に到達している。チップ部分は、図５に示されるように最小化されたＺ次元のシンボル４１０に加えて、標的位置のシンボル４０２がチップ部分のシンボル４００上に中心決めされたように示されるように、Ｘ及びＹ次元において標的位置３１２と一緒に直接的に整列される。標的位置３１２が腫瘍又は他の手術部位等の（中間点又は他の中間点以外の）最終標的であった場合に、次に、システムは、その旨の表示を（例えば、色の変化やシンボルで）表示することができ、外科医は、手術を実施することができる。標的位置３１２が仮想ロードマップ３１０に沿った中間点にいた場合に、システムは、標的位置３１２を次の中間点に更新することができ、ナビゲーション支援用画像３１４及び距離表示３１６を同様に更新して、外科医が介入器具のチップ部分２１８を次の標的位置に案内するのを補助する。

図７には、ナビゲーション支援画像３１４の代替実施形態が示されている。この実施形態では、標的位置のシンボル５０２は、基準フレームであり、こうして、画像３１４の中心にロックされる。この実施形態では、標的位置のシンボル５０２は、円形であるが、代替実施形態では、異なるタイプの形状やシンボルであってもよい。Ｚ次元のシンボル５１０は、標的位置のシンボル５０２と同心である。Ｚ次元のシンボルは、図４のＺ次元シンボル４１０と同様に機能し、器具のチップ部分２１８と標的位置３１２との間のＺ次元距離を示す。チップ部分のシンボル５００は、ライン５０６及び５０８がチップ部分のＹ及びＸの並進自由度とそれぞれ整列した状態の十字線の中心として表される。外科医が介入器具のチップ部分２１８を作動するときに、チップ部分のシンボル５００は、標的位置のシンボル５０２に対して移動して、標的位置３１２に対するチップ部分のＸ及びＹ次元の変化を示す。さらに、Ｘ及びＹの自由度のシンボル５０６，５０８は、これらの自由度のシンボルがチップ部分のシンボル５００において中心決めされたままの状態となるように移動する。これによって、外科医が、標的位置３１２の近くに移動させるのにチップ部分をどの次元で作動しなければならないかの経過を追うことを可能にする。

図８には、図７と比較した際の、標的位置３１２に対するチップ部分２１８の位置変化が示されている。ナビゲーション支援画像３１４のこのビューでは、Ｚ距離は、挿入寸法のシンボル５１０のより小さいサイズによって表されるように、最小化される。しかしながら、チップ部分は、Ｘ及びＹ次元において標的位置３１２と依然として整列していない。方向指示のシンボル５０４は、標的位置３１２に到達させるために、外科医がチップ部分をどこに案内する必要があるかを示す。

図９には、図７及び図８と比較した際の、標的位置３１２に対するチップ部分２１８の位置変化が示されている。ナビゲーション支援画像３１４のこのビューでは、チップ部分のシンボル５０６が標的位置のシンボル５０２上に中心決めされ且つ図５に示されるように挿入次元のシンボル５１０の小さなサイズで示される場合に、介入器具のチップ部分２１８は、標的位置３１２に到達している。このシステムによって、外科医が、外科医の好みに合うようにナビゲーション支援画像３１４の実施形態を動的に選択するのを可能にする。

外科医が介入器具のチップ部分を患者の解剖学的構造を通して案内する際に、この外科医は、チップ部分を回転自由度で、すなわちＺ軸回りの回転によって作動させることができる。器具の先端チップ部分２１８が、円形でない、すなわち展開について好ましい回転角を有する場合に、先端チップ部分２１８の機構の回転方向は、ナビゲーション支援用画像によって回転補助のシンボル５１８と一緒に表示される。例えば、生検器具が側面開口部を有する場合に、この開口部を含む側面は、ナビゲーション支援画像上に回転補助のシンボル５１８と一緒に示すことができる。

様々な実施形態では、ＧＵＩ３００の複合ウィンドウに表示される画像が回転によって位置合わせされる。例えば図４において、標的位置シンボル４０２がチップ部分のシンボル４００に対して＋Ｘ，−Ｙ象限にあるときに、内視鏡画像３０２及び／又は仮想可視化画像３０４内の標的に関連した画像やアイコンは、画像の右下部分に配置されることになる。さらに、仮想概観経路画像３０６や手術前画像３１２等のＧＵＩ３００内の他の画像は、チップ部分の向きを反映するように適宜回転される。これによって、外科医が、複数のナビゲーション支援画像から患者の解剖学的構造内の介入器具の向きや位置合わせを一貫して知覚することができる。

図１０には、介入器具のチップ部分を患者の解剖学的構造内の標的位置に案内するのを支援するためにＧＵＩ３００を使用する方法６００を説明するフローチャートが示されている。６０２において、方法６００は、患者の解剖学的構造内の標的位置を処理するステップを含む。これは、例えば、標的位置を選択又は特定するステップ、又は別のプロセスによって予め決定された標的位置を受信するステップを含んでもよい。上述したように、標的位置は、生検部位、手術部位、仮想ロードマップに沿って手術部位で終了する中間点等であってもよい。６０４において、方法６００は、患者の解剖学的構造内での介入器具のチップ部分の位置指示を受信するステップを含む。６０６において、方法６００は、チップ部分の位置と標的位置との間の３次元距離を測定するステップを含む。６０８において、方法６００は、標的位置を表すシンボル（例えば、標的位置のシンボル４０２又は５０２）をナビゲーション支援画像３１４上にグラフィカルに表示するステップを含む。６１０において、方法６００は、介入器具のチップ部分を示すシンボル（例えば、チップ部分のシンボル４００又は５００）をグラフィカルに表示するステップを含む。６１２において、方法６００は、挿入寸法を表すシンボル（例えば、Ｚ次元シンボル４１０又は５１０）をナビゲーション支援用画像３１４上にグラフィカルに表示するステップを含む。外科医がナビゲーション支援画像３１４を確認しながら介入器具のチップ部分を標的位置に向けて案内する際に、画像３１４は、現在のナビゲーション支援を提供するように更新される。チップ部分が標的に到達すると、視覚的な合図（例えば、ナビゲーション支援画面上での色の変化、ナビゲーション支援画面上でのアイコンの変化）によって、標的に到達したことを外科医に警告する。器具のチップ部分に対する標的位置は、いくつかの処置において、アクセスされる組織から離れていてもよい。例えば、生検処置において、チップ部分に対する標的位置は、ニードルがこのニードルを覆うカテーテルから伸長するのを可能にするために、生検組織から十分な間隔を有してもよい。

本発明の実施形態における１つ又は複数の要素は、制御システム１１２等のコンピュータシステムのプロセッサで実行されるようなソフトウェアで実現してもよい。ソフトウェアで実現した場合に、本発明の実施形態の要素は、本質的に、必要なタスクを実行するためのコードセグメントである。伝送媒体又は通信リンクを介して搬送波で具現化されるコンピュータデータ信号によってダウンロードされたプログラム又はコードセグメントは、プロセッサ可読記憶媒体又は装置に記憶することができる。プロセッサ可読記憶装置は、光媒体、半導体媒体、及び磁気媒体を含む情報を格納できる任意の媒体であってもよい。プロセッサ可読記憶装置の例としては、電子回路；半導体装置、半導体メモリ装置、読み出し専用メモリ（ROM）、フラッシュメモリ、消去可能プログラマブル読み出し専用メモリ（EPROM）；フロッピーディスク、ＣＤ−ＲＯＭ、光ディスク、ハードディスク、又は他の記憶装置；を含む。コードセグメントは、インターネット、イントラネット等のコンピュータネットワークを介してダウンロードしてもよい。

提示されるプロセス及び表示は、本質的に、特定のコンピュータ又は他の装置に関連しなくてもよいことに留意されたい。これらの様々なシステムに必要な構造は、請求項における要素として表される。また、本発明の実施形態は、特定のプログラミング言語を参照して記述されていない。様々なプログラミング言語が、本明細書に説明される本発明の教示を実現するために使用され得ることが理解されるであろう。

本発明の特定の例示的な実施形態について説明し、且つ添付の図面に示したが、このような実施形態は、広範な本発明の単なる例示であり、広範な本発明に対する限定ではないこと、及び様々な他の修正が当業者によって想起されるので、本発明の実施形態は、図示及び説明された特定の構成及び配置に限定されないことを理解すべきである。

Claims

システムであって、当該システムは：
患者の解剖学的構造内に介入器具を案内するためのコンピュータ実行可能命令を含む非一時的なコンピュータ可読媒体を有しており、前記コンピュータ実行可能命令は：
前記患者の解剖学的構造内の標的位置を処理するための命令と；
前記患者の解剖学的構造内の位置における介入器具のチップ部分の位置を受信するための命令と；
前記チップ部分の位置と前記標的位置との間の３次元距離を測定するための命令と；
前記標的位置を表すシンボル、前記介入器具の前記チップ部分を表すシンボル、及び前記介入器具のチップ部分を表すシンボルと前記標的位置を表すシンボルとの間に延び、前記介入器具の前記チップ部分と前記標的位置との間の方向を表すシンボルを表示するための命令と；
前記チップ部分の機構の展開に関して、前記介入器具の長手方向軸線回りの回転配置を示す回転補助シンボルを表示するための命令と；を含む、
システム。
前記チップ部分の位置と前記標的位置との間の方向を示すシンボルは、直線状のシンボルである、
請求項１に記載のシステム。
前記３次元距離の挿入距離の成分を表すシンボルを表示するための命令をさらに含む、
請求項１に記載のシステム。
前記挿入距離の成分を表すシンボルは、前記標的位置を表すシンボルと同心である、
請求項３に記載のシステム。
前記挿入距離の成分を表すシンボルは、前記チップ部分を表すシンボルと同心である、
請求項３に記載のシステム。
前記挿入距離の成分を表すシンボルのサイズが、拡大縮小可能である、
請求項３に記載のシステム。
前記チップ部分の位置と前記標的位置との間の前記３次元距離を変化させる際に、前記挿入距離の成分を表すシンボルのサイズを変更するための命令をさらに含む、
請求項３に記載のシステム。
前記表示するための命令は、前記標的位置及び前記チップ部分を表すシンボルを２次元座標系に表示することを含む、
請求項１に記載のシステム。
前記標的位置及び前記チップ部分を表すシンボルをディスプレイの第１のウィンドウに表示するための命令と、２次的な案内画像を前記ディスプレイの第２のウィンドウに表示するための命令とをさらに含む、
請求項１に記載のシステム。
第１のウィンドウ内の前記シンボルは、第２のウィンドウ内の前記２次的な案内画像と回転によって位置合わせされる、
請求項９に記載のシステム。
前記チップ部分を前記標的位置に向けて導くための方向案内情報を第２のウィンドウに表示するための命令をさらに含む、
請求項９に記載のシステム。
前記２次的な案内画像は、内視鏡カメラ画像又は仮想内視鏡画像である、
請求項９に記載のシステム。
前記２次的な案内画像は、前記標的位置にマークを含む前記患者の解剖学的構造の手術前画像又は仮想経路画像である、
請求項９に記載のシステム。
前記チップ部分を前記標的位置に向けて導くための方向案内情報を提供するための命令をさらに含み、前記方向案内情報は、触覚フィードバックを含む、
請求項１に記載のシステム。
前記チップ部分を前記標的位置に向けて導くための方向案内情報を提供するための命令をさらに含み、前記方向案内情報は、音声フィードバックを含む、
請求項１に記載のシステム。