JP6938369B2 - 定量的な３次元イメージングに基づく触覚フィードバックを用いる手術システム - Google Patents

Description

関連出願
本願は、２０１４年３月２８日に出願された、“QUANTITATIVE THREE-DIMENSIONAL IMAGING OF SURGICAL SCENES”という標題の米国仮特許出願６１／９７１，７４９号、及び２０１４年１２月２３日に出願された、“SURGICAL SYSTEM WITH HAPTIC FEEDBACK BASED UPON QUANTITATIVE THREE-DIMENSIONAL IMAGING”という標題の米国仮特許出願６２／０９６，５２２号について優先権の利益を主張するものであり、これら文献は、その全体が参照により本明細書に組み込まれる。

本発明は、概して、関連する画像センサを有する手術用内視鏡システムに関し、より具体的には、手術画像に表示される物理的構造の３次元座標を決定することに関する。

定量的な３次元（Q3D; Quantitative three-dimensional）ビジョンは、標的点の実際の物理的な３Ｄ座標（ｘ，ｙ，ｚ）に関する数値情報を実世界のシーンに提供する。定量的な３Ｄビジョンを用いると、使用者は、実世界シーンの３次元知覚を得ることができるだけでなく、そのシーン内の対象物の物理的な寸法及びそのシーン内の対象物同士の間の物理的距離に関する数値情報も取得することができる。過去には、シーンに関する３Ｄ情報を決定するために飛行時間(time-of-flight)に関する情報又は位相情報を使用するいくつかのＱ３Ｄシステムが提案されてきた。他Ｑ３Ｄシステムは、構造化光(structured light)を使用して、シーンに関する３次元情報を決定している。

飛行時間情報の使用は、“CMOS-compatible three-dimensional image sensor IC”という標題の特許文献１に開示されており、この文献は、ＣＭＯＳ製造技術を用いて共通のＩＣ上に製作された２次元アレイの画素光感知検出器を含む３次元撮像システムを開示する。各検出器は、システムが放射したパルスが、対象点から反射し、その対象点に焦点が合わされた画素検出器によって検出される、時間飛行（TOF; time-of flight）に直接的に比例する数のクロックパルスを累積する関連する高速カウンタを有する。ＴＯＦデータは、特定の画素から、放射された光パルスを反射する対象物上の点までの距離の直接的なデジタル測定値を提供する。第２の実施形態では、カウンタ及び高速クロック回路が除去され、代わりに、各画素検出器には、電荷蓄積器及び電子シャッタが設けられる。シャッタは、光パルスが放射されたときに開かれ、各画素検出器が、関連する画素検出器に当たる戻り光子エネルギーの関数として電荷を蓄積するよう、然る後に閉じられる。蓄積された電荷量は、往復ＴＯＦの直接的な測定値を与える。

時間遅延情報の使用は、“Apparatus and method for endoscopic 3D data collection”という標題の特許文献２に開示されており、この文献は、変調測定ビーム、及びこの測定ビームを観察される領域に導くための光伝達機構を開示し、ここで、光伝達機構は、少なくとも位相感知画像センサ上で観察される領域からの信号ビームを画像化する光画像化機構に加えて、照明レンズも含む。ミリメートル（ｍｍ）の範囲の深さの差に相当し得る時間遅延は、画像の生成を可能にする位相情報をもたらし、その位相情報は、深さ及び距離情報を示す。

視覚画像内の対象物の物理的な座標を決定するための構造化光の使用は、“Endoscope”という標題の特許文献３、及び非特許文献１に開示されている。三角測量法が、表面のトポグラフィーを測定するために使用される。異なる範囲の色スペクトルを有し得る投影光線の形態の構造化光が、表面に入射され、その表面から反射される。反射された光線は、カメラによって観察され、このカメラは、反射された色スペクトル情報を使用して、その表面の３Ｄ座標を決定するように較正される。より具体的には、構造化光の使用は、典型的には、光パターンを３Ｄ表面に照射し、物理的な対象物の輪郭による光の変形パターンに基づいて、物理的な距離を決定することを含む。

複数の画素アレイを含み、この画素アレイを使用してアレイ内の画素についてシーンの深さ情報を計算することができるイメージャ(imager)アレイカメラが構築される。高解像度（HR）画像が、複数の低解像度（LR）の画像から生成される。基準視点が選択され、その基準視点から見たＨＲ画像が生成される。視差処理技術は、基準画像の画素に対して非基準画像の画素の対応関係を決定するために、エイリアシング(aliasing)の効果を利用する。統合及び超解像が、複数の左右(LR)画像からＨＲ画像を生成するために利用される。例えば、“Capturing and Processing Images using Monolithic Camera Array with Heterogeneous Imager”という標題の特許文献４、“Systems and Methods for Determining Depth from multiple Views of a Scene that Include Aliasing using Hypothesized Fusion”という標題の特許文献５、及び非特許文献２を参照されたい。

図１は、いくつかの実施形態による既知のイメージャ・センサ１８０の詳細を示す説明図である。イメージャ・センサ１８０は、センサ１８４の配列を含む。この配列の各センサは、各次元に少なくとも２つの画素を有する２次元配列の画素を含む。各センサは、レンズスタック１８６を含む。各レンズスタック１８６は、対応する焦点面１８８を有する。各レンズスタック１８６は、その対応する焦点面１８８に配置された画素の対応する配列上の画像を解像する個別の光チャネルを形成する。画素は、光センサとして機能し、及びその複数の画素を含む各焦点面１８８は、画像センサとして機能する。その焦点面１８８を含む各センサは、他のセンサ及び焦点面によって占有されるセンサ配列の領域とは異なるセンサ配列の領域を占める。

図２は、センサＳ_１１〜Ｓ_３３としてラベル付けされたセンサを含む、図１のセンサ１８４の既知の配列の簡略化された平面図を示す説明図である。イメージャ・センサ配列１８４は、複数のセンサＳ_１１〜Ｓ_３３を含むように半導体チップ上に製作される。センサＳ_１１〜Ｓ_３３のそれぞれは、複数の画素（例えば、０．３２Ｍピクセル）を含み、独立した読出し制御及び画素デジタル化を含む周辺回路（図示せず）に結合される。いくつかの実施形態では、センサＳ_１１〜Ｓ_３３は、図２に示されるように、グリッド形式で配列される。他の実施形態では、センサは、非グリッド形式で配列される。例えば、センサは、円形パターン、ジグザグパターン、散乱パターン、又はサブ画素オフセットを含む不規則パターンで配列してもよい。

図１，図２のセンサ１８４の個々の画素は、マイクロレンズ画素スタックを含む。図３は、図１，図２のセンサの既知のマイクロレンズ画素スタックの説明図である。画素スタック８００は、酸化物層８０４上に位置付けされるマイクロレンズ８０２を含む。典型的には、酸化物層８０４の下に、カラーフィルタ８０６が存在し、カラーフィルタ８０６は窒化物層８０８の上方に配置され、窒化物層８０８は第２の酸化物層８１０の上に配置され、第２の酸化物層８１０は、個々の画素の活性領域８１４（典型的にはフォトダイオード）を含むシリコン層８１２の上に着座する。マイクロレンズ８０２の主な役割は、その表面に入射する光を集め、その光を小さな活性領域８１４上に集束させることである。画素開孔８１６は、マイクロレンズの広がりによって決定される。

上述した既知のイメージャ・センサ配列アーキテクチャに関する追加情報は、（２０１０年１１月２２日に出願された）特許文献４、及び（２０１２年９月１９日に出願された）特許文献５に提供される。

米国特許第６，３２３，９４２号 米国特許第８，２６２，５５９号 米国特許出願公開第２０１２／０１９０９２３号明細書 米国特許第８，５１４，４９１号 米国特許出願公開第２０１３／００７００６０号明細書

C. Schmalzらの"An endoscopic 3D scanner based on structured light"、Medical Image Analysis, 16 (2012) 1063-1072 K. Venkataramanらの"PiCam: An ultra-Thin high Performance Monolithic Camera Array"

一態様では、医療処置中に触覚フィードバックを与えるシステムが提供される。定量的な３次元（Ｑ３Ｄ）内視鏡が、その視野内のシーンを撮像するために配置される。視野内に配置された手術用器具は、その視野内の組織構造を変形させるように動作可能である。触覚ユーザインターフェイス装置が、組織構造の変形の測定値を示す情報に応答して、組織構造の変形の指標を提供するように構成される。１つ又は複数のプロセッサが、組織構造変形の測定値を示す情報を含むＱ３Ｄモデルを生成するとともに、組織構造の変形の測定値を示す情報を触覚ユーザインターフェイス装置に提供するように構成される。

別の態様では、医療処置中に触覚フィードバックを与えるシステムが提供される。定量的な３次元（Ｑ３Ｄ）内視鏡が、その視野内のシーンを撮像するために配置される。視野内に配置された手術用器具は、その視野内の組織構造を変形させるように動作可能である。１つ又は複数のプロセッサが、組織構造の変形の測定値を示す情報を含むＱ３Ｄモデルを生成するように構成される。測定された組織の変形及び組織剛性の知見に基づいて、１つ又は複数のプロセッサは、器具によって組織に及ぼされる力を計算又は推定する。１つ又は複数のプロセッサは、及ぼされた力を示す情報を触覚ユーザインターフェイス装置に提供する。

別の態様では、医療処置中に触覚フィードバックを与えるシステムが提供される。定量的な３次元（Ｑ３Ｄ）内視鏡が、その視野内のシーンを撮像するために配置される。視野内に配置された器具は、その視野内の組織構造を触診するように動作可能である。１つ又は複数のプロセッサが、触診中の組織構造の変形の測定値を示す情報を含むＱ３Ｄモデルを生成するように構成される。測定された組織変形に及び加えられた力の知見に基づいて、１つ又は複数のプロセッサは、組織剛性の測定値を計算又は推定する。１つ又は複数のプロセッサは、触診された組織剛性を示す情報を触診ユーザインターフェイス装置に提供する。

既知のイメージャ・センサの詳細を示す説明図である。 複数のセンサを含む既知のイメージャ・センサアレイの簡略化された平面図を示す説明図である。 既知のマイクロレンズ画素スタックの説明図である。 いくつかの実施形態によるビューアを介した手術シーンの視野ビューを示す説明図である。 いくつかの実施形態による１つ又は複数の機械式アームを使用して最小侵襲性外科的処置を行う遠隔操作手術システムの例示的なブロック図である。 いくつかの実施形態による図５のシステムの患者側システムの例示的な斜視図である。 いくつかの実施形態による第１の画像取込みシステムの説明図である。 いくつかの実施形態による第２の画像取込みシステムの説明図である。 いくつかの実施形態による図７Ａの第１の画像取込みシステムに関連する制御ブロックを示すとともに、動作中のシステムを示す例示的なブロック図である。 いくつかの実施形態による物理的な標的の定量的な３次元位置を決定するためのプロセスを表す例示的なフロー図である。 いくつかの実施形態による標的を体系的に選択するために、図９のモジュールに略対応するプロセスの特定の詳細を示す例示的なフロー図である。 いくつかの実施形態による、複数のセンサを含み、及び例示的な３つの対象物を含む例示的な３次元の物理的世界のシーンを含む視野を有するように配置された例示的なセンサ・イメージャアレイの説明図である。 いくつかの実施形態による図１１の複数の物理的な対象物を複数のセンサ上に投影することを表す説明図である。 いくつかの実施形態による実世界のシーン内からの関心領域の選択を示す説明図である。 いくつかの実施形態による複数のセンサにおける投影画像の相対的な幾何学的オフセットに関する詳細を示す説明図である。 いくつかの実施形態による関心領域（ROI）内の指定された基準センサの投影画像と整列させるために、右にシフトされた関心領域（ROI）内のいくつかの例示的なセンサの投影画像を示す説明図である。 いくつかの実施形態による選択された標的点の複数のセンサ上への投影を示す説明図である。 いくつかの実施形態による物理的空間内の位置に配置された図１６の複数のセンサ及び選択された標的点Ｔを含むイメージャアレイの一部を示す説明図である。 いくつかの実施形態による現在選択された標的点Ｔの図１６の複数の画像センサ上への投影を示す例示的な正面図である。 いくつかの実施形態による、図１７を参照して上述したように複数のセンサに対する現在選択された標的の配置を示すとともに、各センサ内の候補画素のｙ方向画素オフセットを示す説明図である。 いくつかの実施形態による外科的処置中にＱ３Ｄ情報を使用する第１のプロセスを表す例示的なフロー図である。 いくつかの実施形態による図２０のプロセスに従って表示画面上に表示されたメニュー選択を示す説明図である。 いくつかの実施形態による図２０のプロセスに従ってユーザ入力を受信する特定の詳細を表す説明図である。 いくつかの実施形態による図２０のプロセスに従ってユーザ入力を受信する特定の詳細を表す説明図である。 いくつかの実施形態による外科的処置中にＱ３Ｄ情報を使用する第２のプロセスを表す例示的なフロー図である。 いくつかの実施形態による図２３のプロセスに従って表示画面上に表示されたメニュー選択を示す説明図である。 いくつかの実施形態によるＱ３Ｄ情報を使用して触覚フィードバックを決定するプロセスを表す例示的なフロー図である。 いくつかの実施形態による手術用器具及びＱ３Ｄ内視鏡の端部が接触する組織構造を示す説明図である。 いくつかの実施形態による触覚フィードバックを与えるのに適した形状ディスプレイとして機能する有形のユーザインターフェイス（TUI）の第１の実施形態を表す説明図である。 いくつかの実施形態による触覚フィードバックを与えるのに適した形状ディスプレイとして機能する有形のユーザインターフェイス（TUI）の第１の実施形態を表す説明図である。 いくつかの実施形態による触覚フィードバックを与えるのに適した形状ディスプレイとして機能する有形のユーザインターフェイス（TUI）の第１の実施形態を表す説明図である。 手術用器具によって加えられた力によってその形状が変形した組織構造を表す説明図である。 手術用器具によって加えられた力によってその形状が変形した組織構造を表す説明図である。 手術用器具によって加えられた力によってその形状が変形した組織構造を表す説明図である。 いくつかの実施形態による触覚フィードバックを与えるのに適した形状ディスプレイとして機能する代替実施形態の有形ユーザインターフェイス（TUI）を表す説明図である。 いくつかの実施形態による触覚フィードバックを与えるのに適した形状ディスプレイとして機能する代替実施形態の有形ユーザインターフェイス（TUI）を表す説明図である。 いくつかの実施形態による触覚フィードバックを与えるのに適した形状ディスプレイとして機能する代替実施形態の有形ユーザインターフェイス（TUI）を表す説明図である。 いくつかの実施形態による外科医の指に取り付けられた代替実施形態のＴＵＩを示す説明図である。 いくつかの実施形態による組織表面の変形の関数として触覚フィードバックを決定するように構成された例示的な計算ブロック図である。 いくつかの実施形態による図３１の計算ブロックを用いて実行されるプロセスを表す例示的なフロー図である。 いくつかの実施形態による図２７Ａ〜図２７ＣのＴＵＩと共に使用するための第１の触覚フィードバックプロセスの例示的なフロー図である。 いくつかの実施形態による図２９Ａ〜図２９Ｃの代替実施形態のＴＵＩと共に使用するための第２の触覚フィードバックプロセスの例示的なフロー図である。 いくつかの実施形態による選択された組織表面の位置に与えられた力を制御する第３のプロセスの例示的なフロー図である。 いくつかの実施形態による、器具によって加えられた力に応答して生成される組織表面の変形を示す、組織構造の表面の一連の断面図を示す説明図である。 いくつかの実施形態による、器具によって加えられた力に応答して生成される組織表面の変形を示す、組織構造の表面の一連の断面図を示す説明図である。 いくつかの実施形態による、器具によって加えられた力に応答して生成される組織表面の変形を示す、組織構造の表面の一連の断面図を示す説明図である。 いくつかの実施形態による、器具によって加えられた力に応答して生成される組織表面の変形を示す、組織構造の表面の一連の断面図を示す説明図である。 いくつかの実施形態による、器具によって加えられた力に応答して生成される組織表面の変形を示す、組織構造の表面の一連の断面図を示す説明図である。 いくつかの実施形態による、図３６Ａ〜図３６Ｅの一連の断面図に示される例示的な組織構造の変形に対応する、ＴＵＩピンの上面インターフェイスの例示的な「瞬間的な」変形を示すように構成された図２７Ａ〜図２７ＣのＴＵＩの一連の断面図を示す説明図である。 いくつかの実施形態による、図３６Ａ〜図３６Ｅの一連の断面図に示される例示的な組織構造の変形に対応する、ＴＵＩピンの上面インターフェイスの例示的な「瞬間的な」変形を示すように構成された図２７Ａ〜図２７ＣのＴＵＩの一連の断面図を示す説明図である。 いくつかの実施形態による、図３６Ａ〜図３６Ｅの一連の断面図に示される例示的な組織構造の変形に対応する、ＴＵＩピンの上面インターフェイスの例示的な「瞬間的な」変形を示すように構成された図２７Ａ〜図２７ＣのＴＵＩの一連の断面図を示す説明図である。 いくつかの実施形態による、図３６Ａ〜図３６Ｅの一連の断面図に示される例示的な組織構造の変形に対応する、ＴＵＩピンの上面インターフェイスの例示的な「瞬間的な」変形を示すように構成された図２７Ａ〜図２７ＣのＴＵＩの一連の断面図を示す説明図である。 いくつかの実施形態による、図３６Ａ〜図３６Ｅの一連の断面図に示される例示的な組織構造の変形に対応する、ＴＵＩピンの上面インターフェイスの例示的な「瞬間的な」変形を示すように構成された図２７Ａ〜図２７ＣのＴＵＩの一連の断面図を示す説明図である。 いくつかの実施形態による、図３６Ａ〜図３６Ｅの一連の断面図に示される例示的な標的の組織変形に対応する、ＴＵＩフィードバック面の例示的な「複合」変形を示す図２７Ａ〜図２７ＣのＴＵＩの一連の断面図を示す説明図である。 いくつかの実施形態による、図３６Ａ〜図３６Ｅの一連の断面図に示される例示的な標的の組織変形に対応する、ＴＵＩフィードバック面の例示的な「複合」変形を示す図２７Ａ〜図２７ＣのＴＵＩの一連の断面図を示す説明図である。 いくつかの実施形態による、図３６Ａ〜図３６Ｅの一連の断面図に示される例示的な標的の組織変形に対応する、ＴＵＩフィードバック面の例示的な「複合」変形を示す図２７Ａ〜図２７ＣのＴＵＩの一連の断面図を示す説明図である。 いくつかの実施形態による、図３６Ａ〜図３６Ｅの一連の断面図に示される例示的な標的の組織変形に対応する、ＴＵＩフィードバック面の例示的な「複合」変形を示す図２７Ａ〜図２７ＣのＴＵＩの一連の断面図を示す説明図である。 いくつかの実施形態による、図３６Ａ〜図３６Ｅの一連の断面図に示される例示的な標的の組織変形に対応する、ＴＵＩフィードバック面の例示的な「複合」変形を示す図２７Ａ〜図２７ＣのＴＵＩの一連の断面図を示す説明図である。 いくつかの実施形態による、図３６Ａ〜図３６Ｅに示される標的の組織表面の例示的な変形に応答した、図２９Ａ〜図２９Ｃの代替実施形態のＴＵＩ内の１つ又は複数のピンの一連の変位を示す説明図である。 いくつかの実施形態による、図３６Ａ〜図３６Ｅに示される標的の組織表面の例示的な変形に応答した、図２９Ａ〜図２９Ｃの代替実施形態のＴＵＩ内の１つ又は複数のピンの一連の変位を示す説明図である。 いくつかの実施形態による、図３６Ａ〜図３６Ｅに示される標的の組織表面の例示的な変形に応答した、図２９Ａ〜図２９Ｃの代替実施形態のＴＵＩ内の１つ又は複数のピンの一連の変位を示す説明図である。 いくつかの実施形態による、図３６Ａ〜図３６Ｅに示される標的の組織表面の例示的な変形に応答した、図２９Ａ〜図２９Ｃの代替実施形態のＴＵＩ内の１つ又は複数のピンの一連の変位を示す説明図である。 いくつかの実施形態による、図３６Ａ〜図３６Ｅに示される標的の組織表面の例示的な変形に応答した、図２９Ａ〜図２９Ｃの代替実施形態のＴＵＩ内の１つ又は複数のピンの一連の変位を示す説明図である。

本開示の態様は、添付図面と併せて確認するとき、以下の詳細な説明から最も良く理解される。この業界の一般的な慣例に従って、様々な特徴について一定の縮尺で描いていないことを強調しておく。実際には、様々な特徴の寸法は、議論を明確にするために適宜拡大又は縮小することがある。また、本開示は、様々な実施例において参照符号及び／又は記号を繰り返して使用し得る。この繰返しは、簡略化及び明確化を目的として行われており、議論される様々な実施形態及び／又は構成の間の関係をそれ自体で規定するものではない。

当業者が、定量的な３次元（Ｑ３Ｄ）情報を取り込むとともに、このＱ３Ｄ情報に基づいて触覚フィードバックを生成する手術用内視鏡検査システムを形成し使用するのを可能にするために、以下の詳細な説明が提示される。実施形態に対する様々な修正は、当業者に容易に明らかとなり、及び本明細書に規定された一般的な原理は、本発明の主題の精神及び範囲から逸脱することなく、他の実施形態及び用途に適用することができる。また、以下の詳細な説明では、多くの詳細が、説明目的のために記載されている。しかしながら、当業者は、本発明の主題が、これらの特定の詳細を用いることなく実施し得ることを理解するだろう。他の例では、周知の機械部品、プロセス、及びデータ構造は、不必要な詳細によって本開示を不明瞭にしないためにブロック図の形式で示される。同一の参照符号は、異なる図面における同じアイテムの異なるビューを表すために使用され得る。以下で参照される図面のフロー図は、プロセスを表すために使用される。コンピュータシステムは、これらのプロセスの一部を実行するように設定することができる。コンピュータによって実施されるプロセスを表すフロー図内のモジュールは、これらのモジュールを参照して説明した動作を実行するための、コンピュータ・プログラムコードに従ったコンピュータシステムの構成を表す。こうして、本発明の主題は、示される実施形態に限定されるものではなく、本明細書に開示された原理及び特徴と一致する最も広い範囲が与えられるべきである。

概要
いくつかの実施形態によれば、センサアレイを含むイメージャ(imager)は、内視鏡に関連付けられる。画像センサアレイは、複数のセンサを含み、各センサは、画素のアレイを含む。内視鏡の一部は、ヒトの体腔内に挿入され、画像センサアレイの視野内の標的対象物は、光源を用いて照明される。標的対象物の物理的な位置及び／又は寸法は、アレイの個々のセンサ上に投影された標的対象物の画像に基づいて決定される。

図４は、いくつかの実施形態によるビューア３１２を介した手術シーンの視点ビューを示す説明図である。２つの表示要素４０１Ｒ，４０１Ｌを有するビューシステムは、良好な３Ｄビュー視点を提供することができる。手術シーン内の物理的構造の物理的寸法及び／又は位置情報を表す数値が、手術シーン画像上にオーバーレイ表示される。例えば、数値距離の値(d_Instr_Trgt)が、器具４００と標的４１０との間のシーン内に表示される。

遠隔操作医療システム
遠隔操作は、所定の距離で機械を操作することを指す。最小侵襲性遠隔操作医療システムでは、外科医は、患者の体内の手術部位を見るためのカメラを含む内視鏡を使用することができる。外科的処置中に深さの知覚を可能にする立体視画像が、取り込まれる。いくつかの実施形態によれば、内視鏡に取り付けられ且つイメージャ・センサアレイを含むカメラシステムは、定量的な３次元情報に加えて、３次元画像を生成するために使用される色及び照明データを提供する。

図５は、いくつかの実施形態による１つ又は複数の機械式アーム１５８を用いて最小侵襲性外科的処置を行うための遠隔操作手術システム１００の例示的なブロック図である。システム１００の態様は、遠隔操作式ロボット及び自律的に動作する機構を含む。これらの機械式アームは、大抵の場合、器具を支持する。例えば、機械式手術用アーム（例えば、中央の機械式手術用アーム１５８Ｃ）を使用して、Ｑ３Ｄ画像センサアレイに関連する内視鏡等の、立体視又は３次元手術画像取込みシステム１０１Ｃを含む内視鏡を支持することができる。機械式手術用アーム１５８Ｃは、滅菌アダプタ、クランプ、クリップ、ネジ、スロット／溝、又は他の締結機構を含み、画像取込みシステム１０１Ｃを含む内視鏡を機械式アームに機械的に固定することができる。逆に、画像取込み装置を含む内視鏡１０１Ｃは、確実に相互嵌合するように、機械式手術用アーム１５８Ｃの輪郭及び／又は構造に相補的な物理的な輪郭及び／又は構造を含むことができる。

ユーザ又はオペレータＯ（一般的に外科医）は、マスター制御コンソール１５０において制御入力装置１６０を操作することによって、最小侵襲性外科的処置を患者Ｐに行う。オペレータは、図４を参照して上述したビューア３１２を含む立体視表示装置１６４を介して患者の体内の手術部位の画像のビデオフレームを視認することができる。コンソール１５０のコンピュータ１５１は、制御線１５９を介して遠隔操作によって制御される内視鏡手術用器具１０１Ａ〜１０１Ｃの動作を指示し、患者側システム１５２（患者側カートとも呼ばれる）を用いて器具の移動を生じさせる。

患者側システム１５２は、１つ又は複数の機械式アーム１５８を含む。典型的には、患者側システム１５２は、対応する位置付けセットアップアーム１５６で支持される少なくとも３つの機械式手術用アーム１５８Ａ〜１５８Ｃ（一般に、機械式手術用アーム１５８と呼ばれる）を含む。中央の機械式手術用アーム１５８Ｃは、カメラの視野内の画像のＱ３Ｄ情報の取込みに適した内視鏡カメラ１０１Ｃを支持することができる。中央部の左右側の機械式手術用アーム１５８Ａ及び１５８Ｂは、それぞれ、器具１０１Ａ及び１０１Ｂを支持することができ、これら器具は、組織を操作することができる。

図６は、いくつかの実施形態による患者側システム１５２の例示的な斜視図である。患者側システム１５２は、ベース１７２により支持されるカートカラム１７０を有する。１つ又は複数の機械的な挿入手術用アーム／リンク１５８は、それぞれ、患者側システム１５２の位置付け部分の一部である１つ又は複数のセットアップアーム１５６に取り付けられる。ベース１７２の上の略中央位置に位置されると、カートカラム１７０は、釣合いサブシステム及び制動サブシステムの構成要素を汚染物質から保護する保護カバー１８０を含む。

モニタ用アーム１５４を除くと、各機械式手術用アーム１５８は、器具１０１Ａ〜１０１Ｃを制御するために使用される。また、本発明の一実施形態では、各機械式手術用アーム１５８は、セットアップアーム１５６に結合され、次に、キャリッジ・ハウジング１９０に結合される。図６に示されるように、１つ又は複数の機械式手術用アーム１５８は、それぞれのセットアップアーム１５６によって支持される。

機械式手術用アーム１５８Ａ〜１５８Ｄは、それぞれ、追跡システム及び器具の追跡により初期取得を支援するために生の未補正の運動情報を生成する１つ又は複数の変位トランスデューサ、向きセンサ、及び／又は位置センサ１８５を含むことができる。本発明のいくつかの実施形態では、器具は、変位トランスデューサ、位置センサ、及び／又は向きセンサ１８６も含むことができる。また、１つ又は複数の器具は、器具の取得及び追跡を支援するためのマーカー１８９を含むことができる。

遠隔操作医療システムに関する更なる情報が、（２０１１年９月３０日に出願された）米国特許出願公開第２０１２／００２０５４７号明細書に提供される。

内視鏡イメージャ・システム
図７Ａは、いくつかの実施形態による第１の画像取込みシステム１０１Ｃを含む第１の内視鏡の説明図である。画像取込みシステム１０１Ｃは、細長い部分２０２を含む内視鏡を含み、この細長い部分２０２は、第１の端部分２０４、第２の端部分２０６、及び第１の端部分２０４のチップ部分２０８を含む。第１の端部分２０４は、ヒトの体腔内に挿入されるようにサイズ決めされる。複数の画像センサ（図示せず）を含むセンサアレイ２１０が、第１の端部分２０４のチップ部分２０８に結合される。いくつかの実施形態によれば、センサアレイ２１０の各センサは、画素のアレイを含む。細長い部分２０２は、イメージャ・センサアレイ２１０によって対象物を撮像できるように、体腔内の標的対象物の十分近くにチップ部分２０８を位置付けするのに十分な長さを有する。いくつかの実施形態によれば、第２の端部分２０６は、機械式アーム（図示せず）と確実に相互嵌合するように、概ね上述したような物理的な輪郭及び／又は構造（図示せず）を含む。細長い部分２０２は、イメージャ・センサアレイ２１０と情報を電子的に通信するための１つ又は複数の電子信号経路２１２も含む。光源２１４は、撮像される対象物を照明するように配置される。いくつかの実施形態によれば、光源２１４は、非構造化光(unstructured light)、例えば、白色光、色フィルタ処理された光、又はいくつかの選択された波長の光とすることができる。いくつかの実施形態によれば、光源２１４は、チップ２０８に位置され、他の実施形態では、必要に応じて、内視鏡１０１Ｃとは別に位置される。

図７Ｂは、いくつかの実施形態による第２の画像取込みシステムの１０１Ｃ２を含む第２の内視鏡の説明図である。第１の画像取込みシステム１０１Ｃを含む第１の内視鏡と本質的に同じである第２の画像取込みシステム１０１Ｃ２の態様は、同一の参照符号により示され、同じ説明をしない。ロッド状レンズ等の光パイプ入力への入力部が、第１の端部分２０４のチップ部分２０８に配置される。光パイプ本体は、光パイプ入力として受け取った画像を、チップ部分２０８から物理的に変位しているイメージャ・センサアレイ２１０に送信するように、その細長い部分２０２内に延びる。いくつかの実施形態では、イメージャ・センサアレイ２１０は、このイメージャ・センサアレイ２１０が、体腔内の対象物の観察中に体腔の外側に位置するように、チップ部分２０８から十分遠くで変位する。

図８は、いくつかの実施形態による、図７Ａの第１の画像取込みシステム１０１Ｃを含む第１の内視鏡１０１Ｃに関連する制御ブロックを示すととともに、動作中のシステムを示す例示的なブロック図である。イメージャ・センサアレイ２１０によって取り込まれた画像は、データバス２１２を介してビデオプロセッサ１０４に送られ、このプロセッサ１０４は、バス１０５を介して制御装置１０６と通信する。ビデオプロセッサ１０４は、カメラ制御ユニット（CCU）及びビデオ信号検出器（VSD）基板を含むことができる。ＣＣＵは、撮像センサ２１０の明度、色調、ホワイトバランス等の各種設定をプログラム又は制御する。ＶＳＤは、撮像センサから受信したビデオ信号を処理する。あるいはまた、ＣＣＵ及びＶＳＤは、１つの機能ブロックに統合される。

いくつかの実施形態によれば、１つ又は複数のプロセッサを含むプロセッサシステムは、プロセッサの機能を実行するように構成される。いくつかの実施形態では、プロセッサシステムは、本明細書に記載のプロセッサ機能を実行するために一緒に動作するように構成された複数のプロセッサを含む。こうして、１つ又は複数の機能を実行するように構成された少なくとも１つのプロセッサへの本明細書中での参照は、単独のプロセッサによって又は一緒に動作する複数のプロセッサによって機能を実行できるプロセッサシステムを含む。

一実施態様では、プロセッサ及び記憶装置（図示せず）を含む制御装置１０６は、細長い部分２０２のチップ２０８に隣接するシーン内の点の物理的な、定量的な３次元座標を計算し、並びにビデオプロセッサ１０４及び３Ｄディスプレイドライバ１０９の両方を駆動させ、３Ｄディスプレイ１１０に表示される３Ｄシーンを構成する。いくつかの実施形態によれば、手術シーンに関するＱ３Ｄ情報は、例えば、シーン内の対象物の表面形状（輪郭）の寸法又は手術シーン内の対象物からの距離の、数値的な印として生成される。以下でより詳細に説明するように、数値的なＱ３Ｄ深さ情報は、距離情報又は表面輪郭情報を手術シーンの立体画像に注釈付けするために使用することができる。

データバス１０７及び１０８は、ビデオプロセッサ１０４、制御装置１０６、及びディスプレイドライバ１０９の間で情報及び制御信号を交換する。いくつかの実施形態では、は、これらの要素は、内視鏡の本体内の画像センサアレイ２１０と一体化することができる。あるいはまた、それら要素は、内視鏡の内部及び／又は外部に分散させることができる。内視鏡は、標的１２０を含む手術シーンへの可視化したアクセスを提供するために、カニューレ１４０を介して位置付けされ、生体組織１３０を貫通することが示されている。あるいはまた、内視鏡及び１つ又は複数の器具は、単一の開口部（単一の切開部又は自然オリフィス）を通過して、手術部位に到達することもできる。標的１２０は、解剖学的標的、別の手術用器具、又は患者の体内の外科的シーンの他の態様であってもよい。

入力システム１１２は、３Ｄ視覚表現を受信し、その視覚表現をプロセッサ１０６に提供する。入力システム１１２は、３Ｄモデルを生成するシステム（図示せず）からＣＲＴ又はＭＲＩ等の３Ｄモデルを受信する電子通信バス（図示せず）に結合された記憶装置を含むことができる。例えば、プロセッサ１０６を使用して、Ｑ３Ｄモデルと３Ｄ視覚表現との間の意図した整列を計算することができる。より具体的には、限定するものではないが、入力システム１１２は、システム１５２と、ＭＲＩ、ＣＴ又は超音波撮像システム等の撮像システム（図示せず）との間にイーサネット（登録商標）通信接続を確立するように構成されたプロセッサを含むことができる。他の撮像システムを使用してもよい。ブルートゥース（登録商標）、無線ＬＡＮ、光等の他のタイプの通信接続を使用してもよい。あるいはまた、システム１５２及び撮像システムは、１つのより大きなシステムに統合してもよい。整列プロセスの結果は、プロセッサ１０６に関連付けられた記憶装置に保存することができ、外部装置又はシステムへの更なる操作のために提供される又は図２５に示されるように表示される。

シーンの画像に追加されたＱ３Ｄ情報の例
再び図４を参照すると、図４は、いくつかの実施形態による図５のマスター制御コンソール１５０のビューア３１２の視点ビューを示す説明図である。いくつかの実施形態によれば、３次元の視点を提供するために、ビューア３１２は、それぞれ眼についての立体画像を含む。図に示されるように、手術部位の左画像４００Ｌ及び右画像４００Ｒは、左ビューファインダ４０１Ｌ及び右ビューファインダ４０１Ｒにそれぞれ器具４００及び標的４１０を含む。ビューファインダ内の画像４００Ｌ及び４００Ｒは、それぞれ、左側の表示装置４０２Ｌ及び右側の表示装置４０２Ｒによって提供することができる。表示装置４０２Ｌ，４０２Ｒは、必要に応じて、対をなす陰極線管（CRT）モニタ、液晶ディスプレイ（LCD）、又は他のタイプの画像表示装置（例えば、プラズマ、デジタル光投影等）であってもよい。本発明の好ましい実施形態では、画像は、カラーＣＲＴ又はカラーＬＣＤ等の対をなすカラー表示装置４０２Ｌ，４０２Ｒによってカラーで提供される。既存の装置との下位互換性をサポートするために、立体表示装置４０２Ｌ，４０２Ｒは、Ｑ３Ｄシステムと共に使用することができる。あるいはまた、Ｑ３Ｄ撮像システムは、３Ｄモニタ、３Ｄテレビ、又は３Ｄ効果の眼鏡の使用を必要としないディスプレイ等の自動立体視ディスプレイに接続することができる。

２つの表示要素４０１Ｒ，４０１Ｌを有するビューシステムは、良好な３Ｄビューの視点を提供することができる。Ｑ３Ｄ撮像システムは、手術シーンの物理的構造の物理的寸法情報を用いてこのビュー視点を補足する。Ｑ３Ｄ内視鏡システムと共に使用される立体視ビューア３１２は、手術シーンの立体画像上にオーバーレイされたＱ３Ｄ情報を表示することができる。例えば、図４に示されるように、器具４００と標的４１０との間の数値的なＱ３Ｄ距離値“d_Instr_Trgt”を、立体視ビューア３１２内に表示することができる。

手術シーンの３Ｄ視点上に物理的な位置及び寸法情報をオーバーレイするために使用することができるビデオ立体視ビューシステムの説明が、（２０１１年９月３０日に出願された）米国特許出願公開第２０１２／００２０５４７号明細書の段落[００４３]〜[００５３]及び対応する図面に提供されており、この文献は、参照により本明細書に明示的に組み込まれる。

定量的な３次元物理情報の処理
図９は、いくつかの実施形態による物理的な標的の定量的な３次元位置を決定するためのプロセスを表す例示的なフロー図である。プロセスは、図８の実施形態の撮像システム１０１Ｃを含む内視鏡を参照して説明される。モジュール４０１は、撮像センサＳ_ｉｊからビデオデータを取得するように制御装置１０６を設定する。画像センサアレイ２１０が視野全体を「撮像」するが、画像センサアレイ２１０の異なるセンサ及び異なるセンサ内の異なる画素は、視野内の異なる対象物点からの画像投影によって照明されることが理解されるだろう。例えば、ビデオデータは、色及び光強度データを含むことができる。各センサの各画素は、その上に投影された画像の色及び強度を示す１つ又は複数の信号を提供することができる。モジュール４０２は、物理的世界のビューにおいて選択された関心領域から標的を体系的に選択するように制御装置を設定する。モジュール４０３は、初期（ｘ_０，ｙ_０，ｚ_０）設定を用いて標的の３Ｄ座標（ｘ，ｙ，ｚ）の計算を開始するように制御装置を設定する。次に、アルゴリズムは、標的の投影画像を受け取る全てのセンサＳ_ｉｊからの画像ダイバーシチ(diversity)データを用いて、座標の整合性をチェックする。座標計算は、許容可能な精度に達するまで、決定モジュール４０４で精緻化(refine)される。決定モジュール４０４は、現在計算された物理的な位置が十分に正確であるかどうかを決定するように制御装置を設定する。現在計算された位置が十分に正確ではないという決定に応答して、制御がモジュール４０３に戻り、可能な異なる物理的な位置を試行する。現在計算された位置が十分に正確であるという決定に応答して、モジュール４０５は、関心領域の全体がスキャンされたかどうかを決定するように制御装置を設定する。関心領域の全体がスキャンされていないという決定に応答して、制御は、モジュール４０２に戻り、別の標的が選択される。関心領域の全体がスキャンされたという決定に応答して、制御は、関心領域の撮像ボリュームの３次元モデルを組み立てるように制御装置を設定するモジュール４０６に移る。標的構造の物理的な位置を示す３次元情報に基づいた標的の３Ｄ画像の組立て(assemble)は、当業者に公知であり、ここで説明する必要はない。モジュール４０７は、更なる検討及び操作のために複数の標的について決定された物理的な位置情報を使用して開発した３Ｄモデルを保存するように制御装置を設定する。例えば、３Ｄモデルは、患者の臓器の特定の寸法のインプラントのサイズ決め等の、外科用途の後の時点で使用することができる。さらに別の例では、新しい手術用器具１０１がロボットシステム１５２に設置されたときに、以前の手術シーンに対して新たな器具を参照するために、３Ｄモデルを呼び戻し、その呼び戻した３Ｄモデルをディスプレイ１１０に表示する必要があり得る。モジュール４０７は、３Ｄ視覚表現とＱ３Ｄモデルとの間の整列の結果も保存することができる。モジュール４０８は、定量的な３Ｄビューを表示するために、複数の標的について決定された物理的な位置情報を使用するように制御装置を設定する。Ｑ３Ｄビューの一例は、図４に示される距離値“d_Instr_Trgt”である。

なお、立体視ディスプレイが、ビューの幻覚(illusion)を３次元で形成することに留意されたい。しかしながら、実際の３Ｄディスプレイは、ホログラフィック画像又は湾曲面に投影された画像等の３Ｄ画像を提示する。典型的に、３Ｄディスプレイは、ビュー視点を変更するようにビューを移動させることができる。

図１０は、いくつかの実施形態による図９のモジュール４０２に概ね対応するプロセスの特定の詳細を示す例示的なフロー図である。モジュール４０２．１は、センサアレイ２１０内の全てのセンサから物理的世界のシーンの画像を取り込むように制御装置を設定する。モジュール４０２．２は、取り込んだシーンの中から関心領域を指定するように制御装置を設定する。モジュール４０２．３は、同じ標的の投影によって照明される異なるセンサの画素位置を特定するために、関心領域内のシーン画像同士の間で最も一致（ベスト・マッチ）するシーン画像を検索するように制御装置を設定する。後述するように、最良のマッチングは、限定することなく、シフトされた画像と基準画像との間の２次元の相互相関関数を最大化するまでセンサＳ_ｉｊから個々の画像をシフトすることによって、達成することができる。基準画像は、例えば、センサＳ_１１から受信したシーン画像であってもよい。モジュール４０２．４は、同一の標的からの投影により照明された候補画素を特定するように制御装置を設定する。モジュール４０２．５は、選択された標的について２つ以上の画素座標（Ｎ_ｘ，Ｎ_ｙ）を計算して、候補画素が同一の標的からの投影により照明されているかどうかを決定するように制御装置を設定する。決定モジュール４０２．６は、計算された２Ｄ画素座標値が、候補画素が同一の標的からの投影によって照明されていることを示すかどうかを決定する。複数のセンサＳ_ｉｊを用いて同じシーンをビューする（眺める）ことによって生じる画像ダイバーシチ(diversity)は、様々な個々の画像Ｓ_ｉｊ中の特定の標的に関連する座標（Ｎ_ｘ，Ｎ_ｙ）を正確に特定する際に役割を果たす。例えば、いくつかの実施形態によれば、３つのみのセンサＳ_１１、Ｓ_１２、及びＳ_１３が使用される簡略化されたシナリオを想定する。２Ｄ画素座標の３重項(triplet)［（Ｎｘ_１１，Ｎｙ_１１），（Ｎｘ_１２，Ｎｙ_１２），（Ｎｘ_１３，Ｎｙ_１３）］が、[Ｓ_１１，Ｓ_１２，Ｓ_１３]上で同じ標的の投影に対応しない場合に、次に、（ｙ方向の投影シフトの推定値である）量

及び

は、異なる値が得られる。後に提示される方程式によれば、画素座標（Ｎｘ_１１，Ｎｙ_１１），（Ｎｘ_１２，Ｎｙ_１２），（Ｎｘ_１３，Ｎｙ_１３）が同じ標的の投影からもたらされる場合に、

及び

を等しくしなければならない。

及び

が略等しくない場合に、次に制御は、モジュール４０２．４に戻り、センサ面Ｓ_ｉｊ上への標的投影についての最良の候補を絞り込む。前述したように、上記は、アルゴリズムの単に簡略化した実装形態である。一般に、図１０のモジュール４０２．６に示されるように、

と

との間の差のノルム(norm)は、モジュール４０２がその繰り返しを完了するために、許容範囲ε未満にすべきである。同様の制限は、ｘ軸の

及び

の対応する推定値について満たす必要がある。候補画素が同一の標的からの投影によって照明されていることを、計算された２Ｄ画素座標値（Ｎ_ｘ，Ｎ_ｙ）が示しているという決定に応答して、次に、制御は、モジュール４０３に移る。

各画素が、世界シーン(world scene)からカラー及び強度情報を直接的に取り込むことが理解されるだろう。また、上記のプロセスによれば、各画素は、画素上に投影される、世界ビューの物理的な対象物の座標（ｘ，ｙ，ｚ）と関連する。こうして、色情報、照度情報、及び物理的な位置情報、つまり色及び照明が投影された対象物の位置は、非一時的なコンピュータ可読記憶装置内の画素に関連付けることができる。以下の表１は、この関連付けを示す。

Ｑ３Ｄ情報の決定の例
投影マッチングの例
図１１は、いくつかの実施形態によるセンサアレイＳ_１１〜Ｓ_３３を含む例示的なセンサアレイ２１０の説明図であり、センサアレイは、３つの例示的な対象物を含む例示的な３次元の物理的世界のシーンを含む視野を有するように配置される。アレイ内の各センサＳ_ｉｊは、各次元に少なくとも２つの画素を有する２次元配列の画素を含む。各センサは、個別の光チャネルを形成するレンズスタックを含み、このレンズスタックは、レンズスタックの焦点面に配置された画素の対応する配列上の画像を解像する。各画素は、光センサとして機能し、その複数の画素を含む各焦点面は、画像センサとして機能する。その焦点面での各センサＳ_１１〜Ｓ_３３は、他のセンサ及び焦点面によって占有されるセンサアレイの領域とは異なるセンサアレイの領域を占める。適切な既知の画像センサアレイは、（２０１０年１１月２２日に出願された）特許文献４及び（２０１２年９月１９日に出願された）特許文献５に開示されており、これらの文献は、上述している。

いくつかの実施形態によれば、センサは、ｘ及びｙ方向の画素の総数Ｎ_ｘ及びＮ_ｙ、及び視野角θ_ｘ及びθ_ｙによって特徴付けられる。いくつかの実施形態では、ｘ及びｙ軸のセンサ特性が同一であると予想される。しかしながら、代替実施形態では、センサは、ｘ及びｙ軸で非対称の特性を有する。同様に、いくつかの実施形態では、全てのセンサが同じ総画素数及び同じ視野角を有することになる。センサは、よく制御された態様で、センサアレイ２１０全体に分散される。例えば、センサは、示される２次元格子上で距離δ離間してもよい。センサの配置ピッチδは、このような格子全体に対称又は非対称であってもよい。

図１１に示される実施形態では、センサは、センサＳ_１１〜Ｓ_１３が一番上の行を占め、センサＳ_２１〜Ｓ_２３が中央の行を占め、及びセンサＳ_３１〜Ｓ_３３が下の行を占める矩形グリッドに配置される。各センサは、Ｎ行の画素及びＮ列の画素を含む。光源によって生成される破線で示される光線は、三角形状の第１の対象物、球形状の第２の対象物、及び矩形状の第３の対象物の各々からイメージャアレイの各センサに反射される。説明目的のために、一番上の行のセンサＳ_１１，Ｓ_１２、Ｓ_１３の光線のみが示される。光源は、例えば、非構造化された白色光又は周辺光であってもよい。あるいはまた、例えば、光源は、可視又は赤外スペクトル等の選択された波長の光を提供してもよく、又は光が選択された波長（色）又は波長の範囲（例えば、色の範囲）を提供するためにフィルタ処理又は分割してもよい。光線が対象物の各々からセンサＳ_２１〜Ｓ_３３に同様に反射されることが理解されるだろう。しかしながら、説明を簡略化するために、他のこれら光線は示していない。

モジュール４０１及び４０２．１によれば、センサアレイ２１０のセンサは、世界ビューから画像を別々に取り込む。図１２は、いくつかの実施形態による図１１の３つの対象物のセンサＳ_ｉｊ（Ｓ_１１、Ｓ_１２、及びＳ_１３のみが示されている）上の投影を表す説明図である。当業者は、反射光が視野内にある対象物の投影画像をセンサに入射させることを理解するだろう。より具体的には、イメージャアレイの複数の異なる画像センサに入射する、視野内の物体から反射された光線は、３次元から２次元への対象物の複数の視点の投影を生成する、すなわち、反射された光線を受け取る各センサに異なる投影を生成する。特に、対象物の投影の相対位置は、Ｓ_１１からＳ_１２に、Ｓ_１３に進むときに左から右へシフトされる。入射光線によって照明された画像センサの画素は、入射光に応答して電気信号を生成する。従って、各画像センサについて、電気信号のパターンは、画像センサ内の画像投影の形状及び位置を示す反射光に応答して、その画素によって生成される。

モジュール４０２．２によれば、関心領域が、世界シーンから選択される。図１３は、シーン内からの関心領域の選択を示す説明図である。この例では、三角形状の第１の対象物、球形状の第２の対象物、及び矩形状の第３の対象物は全て、選択された関心領域内にある。このステップは、オペレータからの入力を受け付けることによって達成することができ、或いは所定の方法でソフトウェアにより、又はオペレータの入力及び自動ソフトウェア制御の選択の組合せにより構成されたコンピュータを用いて自動的に実行することができる。例えば、いくつかの実施形態では、世界シーンは、ヒトの解剖学的構造の内腔を示すことができ、対象物は、体内器官、又は手術用器具、又はそれらの一部であってもよい。外科医は、内腔内からリアルタイム視覚イメージを受け取ることができ、ヒトの解剖学的構造の組織領域及び体腔内に投影される手術用器具の一部を見ることができる。外科医は、視野内のそれらの対象物を指定することができ、その対象物の位置情報がテレストレーション(telestration)・ビデオマーカー等の周知の技術によって決定される。あるいはまた、又はこのようなオペレータの要求に加えて、エッジ検出アルゴリズム等の自動化されたプロセスを使用して、関心領域（ROI）を指定することができる。

モジュール４０２．３によれば、最良の一致（ベスト・マッチ）は、同一の標的の投影によって照明される異なるセンサの画素位置を特定するように、対象領域内のシーン画像同士の間で決定される。図１４は、いくつかの実施形態によるセンサＳ_１１、Ｓ_１２、及びＳ_１３の投影画像の相対的な幾何学的なオフセットに関する追加の詳細を示す説明図である。いくつかの実施形態によれば、センサＳ_１３からの画像が、基準画像とみなされ、そして選択されたＲＯＩ内の対象物の投影は、センサＳ_１３のそれら位置に対してセンサＳ_１２の画素量σ_２３だけ右側にオフセットされる。同様に、選択されたＲＯＩ内の対象物の投影は、センサＳ_１３のそれら位置に対してセンサＳ_１１の画素量σ_１３だけ右側にオフセットされる。これは、各センサＳ_１２、Ｓ_１１のＦＯＶビュー軸線が、センサＳ_１３のＦＯＶビュー軸線の右側にオフセットされるので（このようなビュー軸線はセンサの面に対して垂直である）、ＲＯＩからの投影画像は、センサＳ_１１に対してセンサＳ_１３及びＳ_１１の左側にオフセットされることが理解されるだろう。

図１５は、いくつかの実施形態による、ＲＯＩ内のセンサＳ_１３の投影画像と整列させるために、右側にシフトされたＲＯＩ内のセンサＳ_１１及びＳ_１２の投影画像を示す説明図である。現在の例では、センサＳ_１３は、基準センサとして機能するように指定される。他のセンサが整列及び幾何学的寸法を決定する際に使用するために選択できることが理解されるだろう。選択されたＲＯＩ内の対象物の投影は、指定されたセンサ、例えばセンサＳ_１３で識別され、他のセンサ、例えばセンサＳ_１１及びＳ_１２の投影は、それら他のセンサが指定されたセンサの投影と整列されるまで、シフトされる。こうして、選択されたＲＯＩ内の対象物の対応する投影が、指定されたセンサでの投影の位置に対するそれら他のセンサのオフセットと共に、他のセンサ内で識別することができる。

特に、例えば、３つの例示的な対象物の投影が、センサＳ_１２の画素量σ_２３だけ右側にシフトされ、３つの例示的な対象物の投影が、センサＳ_１３の画素量σ_１３だけ右側にシフトされる。この例示的な例では、同じ原理がセンサ同士の間でｘ方向の投影オフセットを適用するが、説明を簡略化するために、投影は、ｙ方向にのみオフセットされ、ｘ方向にオフセットされないものと想定する。また、この例では、線形オフセットを示しているが、当業者は、例えば、異なるセンサにおいて相対的なオフセットを有する投影を整列させるために、回転等の他の変換を適用することができる。

例えばいくつかの実施形態では、２次元（２Ｄ）相互相関法や主成分分析（PCA）を使用して、Ｓ_１３のＲＯＩ内の投影をＳ_１２のＲＯＩ内の投影と整列させ、Ｓ_１３のＲＯＩ内の投影をＳ_１１のＲＯＩ内の投影と整列させることができる。一般的には、基準として指定されたセンサからの画像に対してセンサＳ_ｉｊからの画像を最も良く一致させる又は整列させることが意図される。より具体的には、Ｓ_１２のＲＯＩ内の投影画像は、最も高い相関係数が得られるまで、Ｓ_１３のＲＯＩ内の投影画像に対してシフトされ、且つこの投影画像と相互相関される。同様に、Ｓ_１１のＲＯＩ内の投影画像は、最も高い相関係数が達成されるまで、Ｓ_１３のＲＯＩ内の投影画像に対してシフトされ、且つこの投影画像と相互相関される。こうして、ＲＯＩの投影の整列は、Ｓ_１３のＲＯＩの投影とＳ_１２のＲＯＩの投影との間のオフセットを決定することにより、及びＳ_１３のＲＯＩの投影とＳ_１１のＲＯＩの投影との間のオフセットを決定することにより、センサＳ_１１及びＳ_１２におけるＲＯＩの投影の位置を特定するために使用される。

候補画素の選択及び絞込みの例
モジュール４０２．４によれば、候補画素は、ベストマッチ処理によれば、同じ標的からの投影によって照明される異なるセンサ内で特定される。一旦ＲＯＩ内の対象物の投影がセンサＳ_１１、Ｓ_１２、及びＳ_１３のそれぞれで特定されると、ＲＯＩ内の個々の標的点の物理的な投影（ｘ，ｙ，ｚ）は、イメージャアレイに対して決定することができる。いくつかの実施形態によれば、ＲＯＩ内の標的点の各多重度について、標的点からの投影によって照明される複数のセンサのそれぞれの１つ又は複数の画素が、特定される。このような各標的点について、物理的な標的点の位置（ｘ，ｙ，ｚ）が、標的点からの投影により照明されると判断される、異なるセンサに配置された画素の間の幾何学的関係に少なくとも部分的に基づいて決定される。

一連の標的点は、ＲＯＩを体系的に横断する（例えば、特定の刻み幅で右から左に、及び刻み幅で上から下に）ことにより、自動的に選択することができ、物理的な標的点の位置（ｘ，ｙ，ｚ）は、選択された各標的点について決定できることが理解されるだろう。Ｓ_１１及びＳ_１２がＳ_１３に最も良く一致しているので、その横断は、シフトされた関心領域の内部で行われる。標的を選択することは、標的の投影によって照明されるセンサＳ_１１、Ｓ_１２、及びＳ_１３のそれぞれの画素を特定することを含む。こうして、Ｓ_１１、Ｓ_１２、及びＳ_１３のそれぞれの候補画素は、選択された標的点の投影によって照明される画素であると特定される。

換言すれば、標的点Ｔを選択するために、画素は、標的点Ｔの投影によって照明されるセンサＳ_１１、Ｓ_１２、及びＳ_１３のそれぞれで選択される。標的Ｔの物理的な位置（ｘ，ｙ，ｚ）は、その選択の時点では未知であることが理解されるだろう。また、上述した整列プロセスの不正確さは、各センサの画素が、選択された標的Ｔの投影によって照明されるという決定に不正確性を生じさせる可能性があることが理解されるだろう。こうして、図１７、図１８、及び図１９を参照して説明されるように、更なる決定が、現在選択された標的Ｔの投影によって照明されるＳ_１１、Ｓ_１２、及びＳ_１３のそれぞれの画素について、精度の決定について行われる。

上記の例を続けて、三角形状の第１の標的が、現在選択された標的点であると想定する。図１６は、いくつかの実施形態による選択された三角形状の標的点のセンサＳ_１１、Ｓ_１２、及びＳ_１３上への投影を示す説明図である。これらの投影から、標的Ｔの２Ｄ画素座標[（Ｎｘ_１１，Ｎｙ_１１），（Ｎｘ_１２，Ｎｙ_１２），（Ｎｘ_１３，Ｎｙ_１３）]が、決定される。簡略化のために、図１６は、ｙ軸の画素座標のみを示す。これらの２Ｄ画素座標を用いて、表現（４０２．５−１）及び（４０２．５−２）が適用され、及び

及び

が、モジュール４０２．５の一部として計算される。モジュール４０２．６の一部として、ノルム

が、計算され、許容範囲εと比較される。同様に、ｘ軸の画素座標及び位置推定値が、計算され、許容範囲に対して比較される。モジュール４０２．６の条件が満たされる場合に、次に、プロセスは、モジュール４０３に進み、そうでなければ、モジュール４０２．４に戻り、標的候補をさらに絞り込む。

図１７を参照すると、センサＳ_１１、Ｓ_１２、及びＳ_１３と、物理的空間内の位置（ｘ，ｙ，ｚ）に配置され選択された三角形状の第１の対象物の標的点Ｔとを含むイメージャアレイの一部が示される。イメージャアレイ内のセンサは、それらセンサ同士の間に既知の間隔σ_ｉｊを有する。Ｓ_１１とＳ_１２との間の物理的な位置間隔は、δ_１２であり、Ｓ_１２とＳ_１３との間の物理的な位置間隔は、σ_２３である。いくつかの実施形態では、全てのセンサＳ_ｉｊ同士の間の間隔が、同一であり、構造上の仕様δに等しい。センサＳ_ｉｊは、既知の視野角θも有する。

いくつかの実施形態では、上述したように、各センサは、行及び列から構成される矩形パターンとして配置された画素を含む２Ｄ撮像素子として構成される。あるいはまた、画素は、例えば、円形パターン、ジグザグパターン、散乱パターン、サブ画素オフセットを含む不規則パターンで配置することができる。これらの素子の角度及び画素特性は、同一であってもよく、あるいはまた、センサ毎に異なっていてもよい。しかしながら、これらの特性は、既知であると想定される。説明を簡略化するために、センサは、同一である想定されるが、異なっていてもよい。

簡略化するために、全てのセンサＳ_ｉｊが、Ｎ×Ｎ個の画素を有すると想定する。センサＳ_１１からの距離ｚにおいて、センサのＮ個の画素幅は、ＦＯＶ_１で示されるＳ_１１のｙ次元視野の外に拡張する。同様に、センサＳ_１２からの距離ｚにおいて、センサＳ_１２のｙ次元視野は、ＦＯＶ_２で示される。また、センサＳ_１３からの距離ｚにおいて、センサＳ_１３のｙ次元視野は、長さＦＯＶ_３で示される。長さＦＯＶ_１、ＦＯＶ_２、及びＦＯＶ_３は、互いに重なり合っており、センサＳ_１１、Ｓ_１２、及びＳ_１３が、いくつかの（未知の）距離ｚに物理的に位置する標的Ｔの３通りのサンプリング・ダイバーシチを達成することを意味する。当然ながら、センサが同一に形成される場合に、この例で想定しているように、長さＦＯＶ_１、ＦＯＶ_２、及びＦＯＶ_３は、同様に同じになる。３つの長さＦＯＶ_１、ＦＯＶ_２、及びＦＯＶ_３全てが、同じ大きさを有しており、説明の目的のために、それら３つの長さが互いに隣接して積み重ねられるように描かれているが、それら３つの長さは、イメージャアレイから同じ（未知の）距離ｚにあるという点で同一面上にあることが理解されるだろう。

図１８を参照すると、現在選択された標的点Ｔの画像センサＳ_１１、Ｓ_１２、及びＳ_１３上への投影の例示的な正面図が示される。簡略化するために、センサは、サイズＮ×Ｎの画素から構成される幾何学的に矩形の画素アレイを含むものと想定する。また、標的Ｔのｘ座標の投影が全て等しいと想定される。換言すれば、標的ＴのＳ_１１、Ｓ_１２、及びＳ_１３上への投影について、ｎ_ｘ１＝ｎ_ｘ２＝ｎ_ｘ３であると想定する。説明を簡略化するために、また、幾何学的な視野角θは、垂直方向にθ_ｘ＝θ_ｙの場合に、水平方向に同じであると想定される。当業者は、上記の想定のいずれかが変化する場合に、標的Ｔのｘ、ｙ、及びｚの物理的座標を計算するために、以下に提示されるプロセスをどの様に変更するかを知っているだろう。

標的Ｔの画像は、画像センサＳ_１１の面内の幾何学的な座標（ｎ_ｘ１，ｎ_ｙ１）においてセンサＳ_１１内の物理的な点に投影される。より具体的には、標的点ＴのセンサＳ_１１上への投影が、原点から取られるｙ軸に沿ってｎ_ｙ１画素に位置し、且つｘ軸に沿ってｎ_ｘ１画素に位置される。標的Ｔの画像は、画像センサＳ_１２の面内の幾何学的な座標（ｎ_ｘ２，ｎ_ｙ２）においてセンサＳ_１２内の物理的な点に投影される。標的Ｔの画像は、画像センサＳ_１３の面内の幾何学的な座標（ｎ_ｘ３，ｎ_ｙ３）においてセンサＳ_１３内の物理的な点に投影される。各センサ内の画素位置（ｎ_ｘ１，ｎ_ｙ１）は、センサのために設けられた原点（０，０）の基準座標に対して決定されることが理解されるだろう。図１７又は図１９に示されるように、座標（ｘ，ｙ，ｚ）のグローバルシステム(global system)が、規定され、標的を参照するために使用される。例えば、このような座標系の原点は、センサＳ_１１の幾何学的中心に、制限なしに、配置することができる。

図１６及び図１８の両方を参照すると、標的の投影のｙ画素距離は、各センサで異なることが理解される。現在選択された標的Ｔの投影は、Ｓ_１１の原点の左側のｎ_ｙ１画素に配置される。その選択された標的Ｔの投影は、Ｓ_１２の原点の左側のｎ_ｙ２画素に配置される。その選択された標的Ｔの投影は、Ｓ_１３の原点の左側のｎ_ｙ３画素に配置される。説明を簡略化するために、上述したように、標的の投影が、３つの全てのセンサの原点から同じｘ画素間隔に当たると想定される。

図１９を参照すると、図１７を参照して上述したように、センサＳ_１１、Ｓ_１２、及びＳ_１３に対する現在選択された標的Ｔの配置が示され、及び各センサの候補画素についてのｙ方向の画素オフセットも示される。図１９の図面は、選択された標的点Ｔの物理的な座標（ｘ，ｙ，ｚ）を決定するための物理的構造及び解析フレームワークを提示することを理解されるだろう。イメージャアレイ面から（未知の）距離ｚにおいて、各センサのｙ方向視野は、ＦＯＶ_ｉとしてマークされた長さに亘って延びる。この長さ、ＦＯＶ_ｉは、いくつかの実施形態ではＮ個の画素であるセンサの最大画素幅に相当する。センサがｘ方向及びｙ方向で対称な視野を有するという動作想定をすると、長さも、ｘ軸に沿って垂直方向にＦＯＶ_ｉとなるだろう。

候補画素選択は、選択した標的の物理的な位置の決定の際に不正確性を生じさせる可能性がある不確実性のレベルを有する相関処理に少なくとも部分的に基づいて、行われることを思い出されたい。こうして、いくつかの実施形態によれば、標的投影の候補選択の精度の更なる確認は、以下のように行われる。

標的の物理的な位置（ｘ、ｙ）を決定し、且つ標的投影の候補選択の精度を確認する例
モジュール４０２．５によれば、２つ以上の２次元座標値（Ｎ_ｘ，Ｎ_ｙ）は、選択された標的について、候補画素が同一の標的からの投影によって実際に照明されているかどうかを決定するために計算される。上で議論した想定及び３Ｄ座標系の原点をセンサＳ_１１の中心に配置すること基づいて、図１９の例のイメージャアレイ及び現在選択された標的Ｔは、次の関係を有する。

ここで、Ｎは、撮像センサの画素寸法であり、
ｎ_ｘ１は、ｘ方向のＳ_１１面の原点からの画素数で表された標的点Ｔの位置であり、
ｎ_ｙ１は、ｙ方向のＳ_１１面の原点からの画素数で表された標的点Ｔの位置であり、
ｎ_ｙ２は、ｙ方向のＳ_１２面の原点からの画素数で表された標的点Ｔの位置であり、
ｎ_ｙ２は、ｙ方向のＳ_１２面の原点からの画素数で表された標的点Ｔの位置であり、
θは、視野角である。

また、センサＳ_１１及びＳ_１３を使用して同じ計算を実行する場合に、Ｓ_１１とＳ_１３との間の分離が２δであるとすると、以下の式が得られる。

ここで、ｎ_ｘ３は、ｘ方向のＳ_１３面の原点からの画素数で表された標的点の位置であり、
ｎ_ｙ３は、ｙ方向のＳ_１３面の原点からの画素数で表された標的点の位置である。

こうして、選択された標的Ｔの物理的なｘ座標を決定することは、式（３）又は（６）に基づいて、決定することができる。選択された標的Ｔの物理的なｙ座標を決定することは、式（２）又は（５）に基づいて、決定することができる。選択された標的Ｔの物理的なｚ座標を決定することは、式（１）又は（４）に基づいて決定することができる。

より一般的には、モジュール４０２．６によれば、決定は、候補画素が同一の標的からの投影によって照明されていることを、計算された２Ｄ座標値が示すかどうかについて行われる。標的Ｔの物理的な座標（ｘ，ｙ，ｚ）のより信頼性の高い決定は、各座標について２つの式を使用することによって得ることができることが理解されるだろう。例えば、標的Ｔのｙ座標は、式（２）及び（５）の両方を使用して決定することができる。２つの式を用いて計算され、得られたｙ座標値がいくつかの許容範囲値ε_ｙよりも多い値だけ異なる場合に、次にマッチング処理が異なるセンサの投影同士の間のオフセットを十分な精度で解決出来なかったという決定が行われ、結果として、候補画素が同じ標的Ｔから投影を受けない点で、候補画素は対応していない。ｙ計算を一致させるのに失敗した場合に、各センサが選択された標的Ｔに対応するセンサ内の候補画素の改善された選択を行うための試行に、別の反復のマッチング処理を行ってもよい。異なるセンサ上への異なる視点の投影が、例えば、視差効果によって異なる可能性があるので、計算されたｙ値が等しくならない可能性があることが理解されるだろう。従って、許容範囲値は、意図する用途に応じて規定される。手術用イメージング用途では、０．１〜０．３ｍｍのεは、一般的に許容可能なＱ３Ｄ精度を提供する。当業者は、本発明の精神から逸脱することなく、異なる許容範囲レベルを規定することができる。

ｘ軸及びｙ軸の周りの想定されたセンサの対称性を考慮すると、当業者は、（２）及び（５）と同様の式を用いるが、ｎ_ｙｉの代わりにｎ_ｘｉを用いて、標的Ｔのｘ座標に対して同様な決定を行うことができることを理解するだろう。式（３）及び（６）は、それらの式が、ｚ座標の知見を必要とするため、モジュール４０２．５及び４０２．６の一部を使用することはできない。しかしながら、モジュール４０２．５及び４０２．６の本質は、センサＳ_１１、Ｓ_１２、及びＳ_１３の面上の正確な標的投影を決定することである。この目的のために、ｘ及びｙ軸を調整した式（２）及び（５）は、十分である。座標（ｘ，ｙ，ｚ）の完全なセットは、以下に記載されるように、モジュール４０３及び４０４の一部として計算される。

標的の物理的なｚ位置を決定する例
図１９に示されるように、モジュール４０３及び４０４によれば、ｚ座標の初期推定値、ｚ_０は、計算処理を開始するために使用される。この初期値は、医療用途に応じて、自動的に規定される。医療用途によって、可視化されることを意図した世界ビューが規定される。初期値ｚ_０は、内視鏡に最も近い視野のエッジ部で開始する。図８を参照すると、手術用内視鏡検査を含むＱ３Ｄ用途について、ｚ_０は、例えば、Ｑ３Ｄ内視鏡２０２の先端部２０８から１〜５ｍｍ外れる可能性がある。このような初期推定値は、一般的に、任意の組織又は手術用器具をＱ３Ｄ内視鏡に近接して置く可能性が低いので、この用途には十分である。次に、値ｚ_０が、式（３）及び（６）に結合される。標的のｘ座標が一意的なものであること考慮すると、ｚ_０が、真値であり且つ標的のｚ座標が正しい場合に、次に、式（３）及び（６）は、許容範囲ε_ｘの許容レベル内で、同じ値、又は略等しいをもたらすであろう。
｜ｘ_（３）−ｘ_（６）｜＜ε_ｘ （７）

式（３）及び（６）が許容範囲ε_ｘ外にある場合に、反復が継続し、ｚの新たな推定値ｚ_１が試行される。いくつかの実施形態によれば、新しい推定値は、自動的に規定される。例えば、ｚ_１＝ｚ_０＋Δであり、ここで、Δは、反復ステップのサイズである。一般的には、ｋ^ｔｈにおいて、反復はｚ_ｋ＝ｚ_ｋ−１＋Δである。（７）の条件が満たされた場合に、反復プロセスは停止する。より小さいΔは、正確な標的座標を決定する際の精度を増大させるが、それはまた、このプロセスを完了するために多くの計算時間を必要とし、従って待ち時間が増加する。待ち時間の増加は、手術用器具の動きと操作する外科医によるその器具可視化との間に遅延を生じさせる可能性がある。換言すれば、外科医は、コマンドの後に遅れるようなシステムを知覚し得る。深さ２０〜３０センチメートル（ｃｍ）の手術用ビュー空間について、０．１〜０．３ｍｍのΔは、十分である。当然ながら、当業者は、反復プロセスを完了するために必要な計算に対してΔの大きさのバランスをとることを知っているだろう。

上記の説明は、プレゼンテーションの理由のために簡略化されており、従って、３つのみのセンサＳ_１１、Ｓ_１２、及びＳ_１３を含む。一般に、より多くのセンサを使用して、Ｑ３Ｄ座標計算の精度を向上させることだけでなく、反復の全体の数を減らすこともできる。例えば、３つ以上のセンサ、好適には３×３センサのアレイが使用される場合に、次に、最急勾配(steepest gradient)等の方法を使用して、モジュール４０２．５及び４０３によって行われる推定誤差の方向にトレンドを与えることができる。次に、反復ステップのサイズ及び方向は、３Ｄエラー傾斜面の局所的な極値に向かう進行に一致させて調整することができる。

Ｑ３Ｄ情報を用いて内視鏡手術の案内
図２０は、いくつかの実施形態による外科的処置中にＱ３Ｄ情報を使用する第１のプロセス２０００を示す例示的なフロー図である。コンピュータ・プログラムコードが、プロセス２０００を実行するようにコンピュータ１５１を設定する。モジュール２００２は、ビューア３１２を見たときに、外科医の視野内の少なくとも２つの対象物を選択するユーザ入力を受信するようにコンピュータを設定する。モジュール２００４は、ユーザ選択の受信に応答して、コンピュータコンソール上にメニューを表示するようにコンピュータを設定する。決定モジュール２００６は、メニューへのユーザ入力が、距離を表示させるために受信されたかどうかを決定するようにコンピュータを設定する。ユーザ入力が距離を表示させるために受信されたという決定に応答して、モジュール２００８は、外科医の視野のビデオ画像内に数値距離を表示するようにコンピュータを設定する。決定モジュール２０１０は、距離表示を選択するユーザ入力を受信するために所定の時間間隔に亘って待機し、及び「タイムアウト」期間内にユーザ入力を受信しなかったことに応答して、決定モジュール２００６の動作を終了するようにコンピュータを設定する。

決定モジュール２０１２は、メニューへのユーザ入力が、近接制限警報を入力するために受信されたかどうかを決定するようにコンピュータを設定する。ユーザ入力が近接閾値を入力するために受信されたという決定に応答して、モジュール２０１４は、Ｑ３Ｄ情報を使用して、外科医の視野内の２つ以上の対象物同士の間の近接性を監視するようにコンピュータを設定する。決定モジュール２０１６は、近接閾値を超えたかどうかを判定する。近接閾値を超えたという判定に応答して、モジュール２０１８は、警報を起動させるようにコンピュータを設定する。警報は、音、点滅光のような視覚的キュー、衝突を回避するための器具のロック、又は他の触覚フィードバックを含むことができる。近接閾値を超えていないという判定に応答して、制御は、監視モジュール２０１４に再び移る。決定モジュール２０２０は、近接閾値を入力するユーザ入力を受信するために所定の時間間隔に亘って待機し、「タイムアウト」期間内にユーザ入力を受信しないことに応答して、決定モジュール２０１２の動作を終了するようにコンピュータを設定する。

図２１は、いくつかの実施形態による、図２０のプロセスに従って表示画面２１０２に表示されるメニュー選択を示す説明図である。表示画面２１０２は、コンピュータ１５１に関連するビューモニタを含む。あるいはまた、表示画面２１０２は、ビューア３１２の表示要素４０１Ｒ，４０１Ｌの領域を含むことができる。ユーザ入力に応答して、モジュール２００４は、第１のメニュー項目「距離表示」２１０６及びと第２のメニュー項目「近接警報設定」２１０８を含むメニュー２１０４を表示させる。「距離表示」メニュー項目２１０６を選択するユーザ入力に応答して、モジュール２００８は、２つ以上の対象物同士の間のＱ３Ｄ距離を表示させる。図４を再び参照すると、モジュール２００８を使用して表示された器具４００と標的との間のＱ３Ｄ距離“d_Instr_Trgt”の表示が示される。「近接警報設定」メニュー項目２１０８を選択するユーザ入力に応答して、「距離入力」ＵＩ入力２１１０は、ユーザが近接距離閾値、例えば１ｃｍを入力できるフィールドを含んで表示される。代替実施形態（図示せず）では、デフォルトの近接閾値が、全ての器具について予め設定してもよく、ユーザは、例えば、図２１のメニューを使用して、近接閾値を変更することができる。代替実施形態では、ユーザは、閾値を入力するのではなく、デフォルトの閾値を選ぶことを選択することができる。いくつかの実施形態では、ユーザは、距離を表示させ、近接警報を設定することの両方を選択することができる。

図２２Ａ，図２２Ｂは、いくつかの実施形態による、図２０のプロセスに従ってユーザ入力を受信する特定の詳細を表す説明図である。図２２Ａは、テレストレーション等のビデオマーカーツールを使用して、又は図４の制御入力装置１６０を操作する外科医コンソールを使用して形成することができる、生体組織等の標的４１０Ｌ，４１０Ｒの第１の強調表示領域２２０２Ｌ，２２０２Ｒの例を示す。図２２Ｂは、ビデオマーカーツールを使用して形成することができる、器具チップ４００Ｌ，４００Ｒの第２の強調表示領域の２２０６Ｌ，２２０６Ｒの例を示す。いくつかの実施形態による動作では、ユーザは、第１の強調表示領域２２０２Ｌ，２２０２Ｒを形成する。次に、ユーザは、ビデオマーカーツールを使用して、器具チップ４００Ｌ，４００Ｒの第２の強調表示領域２２０６Ｌ，２２０６Ｒを形成する。項目が強調表示される順序は、重要でないことが理解されるだろう。次に、ユーザは、選択を入力するためにセレクタ（図示せず）を作動させる（例えば、ＥＮＴＥＲキーを押す）。モジュール２００２は、受信したユーザ入力を、標的画像４１０Ｌ，４１０Ｒ及び器具画像４００Ｌ，４００Ｒの選択として解釈する。

図２３は、いくつかの実施形態による外科的処置中にＱ３Ｄ情報を使用する第２のプロセス２３００を表す例示的なフロー図である。コンピュータ・プログラムコードは、プロセス２３００を実行するようにコンピュータ１５１を設定する。モジュール２３０２は、ビューア３１２を見たときに、外科医の視野内の対象物を選択するユーザ入力を受信するようにコンピュータを設定する。例えば、図２２Ａを再び参照すると、ユーザ入力は、ビデオマーカーツールを使用して、器具チップ４００Ｌ，４００Ｒの第２の強調表示領域２２０６Ｌ，２２０６Ｒを形成するために受信されるように示される。ユーザ入力（図示せず）は、器具チップ４００Ｌ，４００Ｒの画像選択を入力するために、セレクタ（図示せず）を作動させる（例えば、ＥＮＴＥＲキーを押す）ために受信される。

図２３に再び戻ると、ユーザ選択の受信に応答して、モジュール２３０４は、メニューをコンピュータコンソール上に表示するようにコンピュータを設定する。決定モジュール２３０６は、メニューへのユーザ入力が、選択された対象物の画像を回転させるために受信されたかどうかを判定するようにコンピュータを設定する。ユーザ入力が画像を回転させるために受信されたという判定に応答して、モジュール２３０８は、対象物の異なる３次元視点を示す画像を回転表示させるようにコンピュータを設定する。決定モジュール２３１０は、画像を回転させるユーザ入力を受信するために所定の時間間隔に亘って待機し、及び「タイムアウト」期間内にユーザ入力を受信しないことに応答して、決定モジュール２３０６の動作を終了するようにコンピュータを設定する。

図２４は、いくつかの実施形態による、図２３のプロセスに従って表示画面２４０２に表示されるメニュー選択を示す説明図である。表示画面２４０２は、コンピュータ１５１に関連したビューモニタを含む。あるいはまた、表示画面２４０２は、ビューア３１２の表示要素４０１Ｒ，４０１Ｌの領域を含むことができる。受信したユーザ入力に応答して、モジュール２３０４は、第３のメニュー項目「左回転」２４０６及び第４のメニュー項目「右回転」２４０８を含むメニュー２４０４を表示させる。第３又は第４のメニュー項目２４０６、２４０８どちらか一方を選択するユーザ入力に応答して、モジュール２３０８は、図９のモジュール４０７に従って形成され且つ保存された３Ｄモデルの回転を生じさせる。センサ・イメージャアレイ２１０は、限られた全体視野を有しているので、回転量は、数度、例えば３０度未満に制限され得ることが理解されるだろう。

Ｑ３Ｄ内視鏡システムによって提供される触覚フィードバック
触覚学は、一般的に、触覚フィードバックを説明しており、このフィードバックには、運動感覚（力）及び皮膚（触覚）フィードバック、並びに振動及び動きが含まれ得る。手動の最小侵襲性手術（MIS）では、外科医は、長いシャフトを介して器具と患者との相互作用を感じ取るが、このシャフトは、触覚的手掛り及びマスク力の手掛りを排除してしまう。遠隔操作手術システムでは、外科医がもはや器具を直接的に操作しないので、本来の触覚フィードバックが殆ど排除される。遠隔操作される最小侵襲性手術システムにおける触覚技術の目的は、外科医が遠隔機構を操作しているかのように感じるのではなく、外科医の手が患者に接触しているような「透明性(transparency)」を提供することである。この着想を説明する別の方法は、触覚テレプレゼンス（haptic telepresence）である。典型的には、これは、触覚情報を取得するために患者側装置に人工触覚センサを、及び感知情報を外科医に伝達するために外科医側に触覚ディスプレイを必要とする。運動感覚フィードバックシステム又は力フィードバックシステムは、典型的には、手術用器具によって患者に加えられる力を測定又は推定し、力フィードバック装置を介して手に分解力(resolved force)を提供する。触覚フィードバックを使用して、組織表面に亘る局所的な組織変形及び圧力分布等の情報を提供することができる。触覚フィードバックは、例えば、外科医が指先を使用して、組織の健康状態を示すコンプライアンス、粘性、及び表面の触感等の組織の局所的な機械的特性を検出する触診をシミュレートするために使用することができる。Okamura A. M.の、“Haptic Feedback in Robot-Assisted Minimally Invasive Surgery”, Current Opinion in Urology, 2009, Vol. 19(1), pp.102-107参照。

既知の剛性を有する組織構造の変形は、その組織構造に与られる力の関数として決定することができ、逆に、既知の剛性を有する組織構造に与られる力は、組織構造の変形の関数として決定することができる。人体組織構造の形状は、外科医によって誘導された動きに応答して手術中に変形する。軟組織の変形は、線形弾性の観点で近似することができ、組織変形を生じさせる接触力は、結果として生じる組織変形に基づいて近似することができる。一般に、組織構造は、同様のサイズの有限要素のセットに区切ってもよい。組織ボリュームを４面体要素に区切ることは、形状が不規則な解剖学的モデルには好ましいアプローチとなり得る。こうして、標的組織構造の構成は、その組織ボリュームを多角形（例えば、４面体）要素のセットに区切ることによってモデル化することができる。

一般に、組織の変形は、以下の式に従った力に関連する。
［Ｋ］ｕ＝ｆ （８）
ここで、［Ｋ］は、剛性行列であり、且つ対称で、正で、有限で、疎である。ｕは、変位場であり、及びｆは、外力である。この行列のサイズは３Ｎ×３Ｎであり、Ｎはメッシュ頂点の数である。少なくとも幾らかのレベルの組織の等方性が想定される場合に、行列ＫはＮ×Ｎ行列として表すことができる。

より具体的には、対象物の変形に基づいて変形可能な対象物の表面に加えられる外力は、以下の式に基づいて決定され、変形可能な対象物の変位ｕ^＊を得るために必要とされる力が、以下の式に従って計算される。

ここで、［Ｋ］はi番目の位置が１であり、他の位置が０であるベクトルｅ_ｉで構成される行列である。この系は、解変数に対して指定した値を課すために使用されるラグランジュ乗数法から得られる。変分式及びラグランジュ乗数は、以下の式を最小化するために使用することができる。

この系を解いた後に得られた［λ］の値λ_ｉは、変位ｕ_ｉ＝ｕ_ｉ ^＊を課すために自由度ｕ_ｉで加える必要がある力の逆数(opposite)に等しい。Cotin, Sらの“Real-time elastic deformations of soft tissues for surgery simulation”, IEEE Transactions on Visualization and Computer Graphics（Impact Factor: 1.9）, 01/1999; 5:62-73. DOI 10.1109/2945.764872を参照されたい、また、この文献は、この参照によりその全体が本明細書に組み込まれる。組織剛性の値は、既知であるか、又は容易に決定することができる。例えば、McKnight A. L.らの、“MR elastography of breast cancer: preliminary results”, Am. J. Roentgentology, 2002; 178:1411-1417、Uffmann K.らの、“In vivo elasticity measurements of extremity skeletal muscle with MR elastography”, NMR in Biomedicine, 2004; 17:181-190、及びTay B. K.らの、“In vivo mechanical behavior of intra-abdominal organs”, IEEE Transactions on Biomedical Engineering, 2006; 53:2129-2138は、種々の組織構造について組織剛性の報告を提供しており、これらの文献は、この参照により本明細書の明示的に組み込まれる。それらのデータ及び他のデータは、行列［Ｋ］を決定するために使用することができ、式（８）に従った力の計算に適している。

図２５は、いくつかの実施形態によるＱ３Ｄ情報を使用して触覚フィードバックを決定するプロセス２５００を表す例示的なフロー図である。プロセス２５００は、１つ又は複数のシステム１５２及びＱ３Ｄ内視鏡システム１０１Ｃを使用することができる。図５又は図６のシステム１５２は、図８のＱ３Ｄ内視鏡システム１０１Ｃと共に、式（８）又は（９）に従って器具によって組織上に及ぼされる力ベクトルｆを計算する。剛性行列［Ｋ］は、既知の値の組織剛性を含むことができる。一度計算されると、器具によって組織上に及ぼされた力を表示又は使用して、触覚インターフェイス装置を駆動することができる。

図２５を参照すると、モジュール２５０２は、手術シーンのＱ３Ｄ情報を取り込み、その情報を使用して、その手術シーンのＱ３Ｄモデルを生成する。例示的なシーンは、組織構造及び手術用器具を含む。モジュール２５０４は、シーン内の手術器具を特定し且つ位置合せ(register)する。モジュール２５０６は、器具が幾らかの力でシーン内の組織構造の表面に対して付勢する際に、Ｑ３Ｄ情報を使用して器具についての組織の変位ｕを決定する。モジュール２５０８は、シーン内の組織構造の組織タイプについて適切な組織剛性行列情報［Ｋ］を取得する。モジュール２５１０は、決定された組織変位情報ｕ及び組織剛性行列情報を使用して、力ｆを決定する。モジュール２５１２は、外科医の視野内の視覚表示を決定された力の手術シーン内にオーバーレイする。モジュール２５１４は、触覚インターフェイスを作動して、決定された変位ｕ及び決定された力ｆを示す触覚フィードバックを外科医に提供する。

図２６は、いくつかの実施形態による、手術用器具２６０４のエンドエフェクタ部分と、組織構造２６０２と器具２６０４との間の接触についてのＱ３Ｄ画像情報を視野（FOV）に取り込むように配置された画像センサアレイ２１０を有する内視鏡２６０６とによって接触される組織構造２６０２を示す説明図である。内視鏡は、手術中に外科医が見ることができる立体視覚画像を取り込むためにも使用されることが理解されるだろう。遠隔操作の外科的処置中に、外科医は、図５に示される制御入力装置１６０を操作して、器具のエンドエフェクタ部分を標的組織構造の表面と接触させるように操縦する間に、立体視ディスプレイ装置１６４を介して手術シーンを見る。外科医は、組織表面上の位置に力を与えてその組織表面上での組織表面輪郭の変形を生じさせるように、器具の動きを制御する。

Ｑ３Ｄ情報は、フィードバックが、器具２６０４によって組織表面２６０８に加えられた変形及び／又は力の指標となるように、外科医に提供される触覚フィードバックのレベルを定量化するために使用される。より具体的には、Ｑ３Ｄ情報を使用して決定された組織表面２６０８の変位２６１０の大きさは、触覚フィードバックを生成するために使用される。組織構造又は少なくとも関心対象のサブ領域が実質的に均一の剛性を有すると想定すると、より大きな変位変形は、手術用器具がより大きな力を加えることを示す。式（８）に従って、既知の剛性行列Ｋについて、図８のＱ３Ｄ内視鏡システム１０１Ｃによって測定された変位ｕを用いて、図２６の器具２６０４によって組織に加えられた力ベクトルｆを計算又は近似することができる。同様に、力ベクトルｆから、組織によって提示された抵抗を計算又は近似することができる。このような情報は、組織触診用途に有用であり得る。従って、いくつかの実施形態によれば、より大きな変形及び／又はより大きな力、又は組織柔軟性を示す触覚フィードバックを外科医に提供することができる。逆に、より小さい変位の変形は、手術器具がより小さい力を加えること、又は組織が増大した剛性を示すことの指標とすることができ、いくつかの実施形態によれば、より小さい変形及び／又はより小さい力、又はより高い組織剛性を示す触覚フィードバックを外科医に提供することができる。

組織構造２６０２は、均一な剛性を有さなくてもよい。組織構造の剛性とは異なる剛性を有する腫瘍又は血管等の、組織構造内に埋め込まれた局所化されたサブ表面構造は、組織構造の局所的な剛性を変える可能性がある。局所化されたサブ表面構造を本明細書では「異常（部）」と呼ぶ。異常の存在は、異常部を覆う組織表面の位置に器具によって加えられる力に応答して、組織構造の局所的な変位変形に影響を及ぼし得る。換言すれば、力の量に応答する、サブ表面の異常部を覆う組織表面の位置の変位変形は、同じ力の量に応答する、サブ表面の異常部を覆わない異なる組織表面の位置における変位変形とは異なるであろう。こうして、組織構造の剛性のそのような変化の結果として、実質的に同じ力を組織構造の異なる位置に加えることは、それらの異なる位置で異なる変形を生じさせることができる。異なる変形は、サブ表面の異常部の存在を示すことができる。

組織剛性行列Ｋの変動性を解決するために、外科医は、異常がないことが既知である隣接組織構造に対して器具を軽く叩く（タップする：tap）必要があり得る。処置前のイメージングを使用することにより異常部の位置を特定することが慣習的に行われているため、これは実現可能な目標である。そのような画像は、外科医を異常部のない隣接領域に向けることができる。器具２６０４が異常部を含む領域に対してタップされたときに、Ｑ３Ｄ内視鏡システム１０１Ｃは、予想よりも小さい量の変位ｕに関する定量的情報を提供する。結果として、組織剛性の相対的なマップを得ることができる。あるいはまた、図２６の器具２６０４が力センサ（図示せず）に備え付けられている場合に、組織剛性マップは、式（８）に基づいて計算又は近似することができる。力センサは、力ベクトルｆを提供し、Ｑ３Ｄ内視鏡システム１０１Ｃは、変位ｕを提供する。ｆ及びｕが、関心領域内の十分に多くの点で測定される場合に、剛性行列Ｋの要素を計算又は近似することができる。例えば、組織の等方性及び対称性を想定すると、行列Ｋは、Ｎ＊（Ｎ＋１）／２までの別個の要素を有する。従って、変位ｕ及び力ベクトルｆは、行列Ｋを完全に特徴付けるために、Ｎ＊（Ｎ＋１）／２までの位置で測定すべきである。いくつかの実施形態によれば、異なる組織表面の位置での異なる組織構造の変位を示す触覚フィードバックが外科医に提供される。

触覚ユーザインターフェイス
本明細書で使用される場合に、「触覚ユーザインターフェイス」という用語は、触覚情報をユーザに提供するユーザインターフェイスを指す。触覚インターフェイスには多くの異なる種類がある。例えば、本明細書で説明するように、有形のユーザインターフェイスとも呼ばれる形状ディスプレイは、対象物の形状又は輪郭を示す触覚情報を提供する触覚インターフェイスとして機能することができる。触覚ユーザインターフェイスは、例えば、ピンの選択的な伸長及び収縮による又は可変強度の振動による機械的刺激による触覚情報を提供することができる。触覚ユーザインターフェイスは、例えば、可変強度の電気刺激による触覚情報を提供することができる。

図２７Ａ〜図２７Ｃは、いくつかの実施形態による触覚フィードバックを与えるのに適した形状ディスプレイとして機能する有形のユーザインターフェイス（TUI）２７０２の形態の触覚ユーザインターフェイスの第１の実施形態を表す説明図である。ＴＵＩ２７０２は、ハウジングから外向きに選択的に変位することができる複数のピン２７０６を収容するハウジング構造２７０４を含む。図２７Ａは、図４のビューア３１２を介して見ることができる手術シーン内で見える組織構造の３次元モデル２７０８を形成するために、外向きに変位された多数のピンを用いるＴＵＩの第１の実施形態を示す。図２７Ａに示されるピンの構成は、組織構造の変形を示すフィードバックがない場合の初期ＴＵＩ状態に対応する。その初期状態のＴＵＩ２７０２の第１の実施形態によって生成される組織構造の３次元モデル２７０８は、その形状を変形させる表面力が存在しない場合の静止した組織構造を表す。図２７Ｂは、第１（ｘ，ｙ）位置にあるピン２７０６−１がピンの初期状態位置に対して第１の量だけ内向きに（図示されるように下向きに）変位された状態の第１の実施形態のＴＵＩを示す。図２７Ｃは、第２のピン２７０６−２が第２のピンの初期状態位置ＴＵＩに対して第１の量とは異なる第２の量だけ内向きに変位した状態の第１の実施形態のＴＵＩを示す。

図２８Ａ〜図２８Ｃは、手術用器具２８０４により加えられる力によって変形したその形状を有する組織構造２８０２を表す説明図である。図２８Ａは、器具２８０４が組織構造に接触しないように配置された、静止状態のその本来の組織構造２８０２を示す。図２８Ｂは、第１の変位量だけ組織構造の変形２８０６−１を生じさせるのに十分な力で、第１の組織構造の位置で組織構造に接触する器具２８０４を示す。図２８Ｃは、第２の変位量だけ組織構造の変形２８０６−２を生じさせるのに十分な力で、第２の組織構造の位置で組織構造に接触する器具を示す。再び図２７Ａ〜図２７Ｃを参照すると、ＴＵＩ２７０２の第１の実施形態は、デカルト（ｘ，ｙ）平面に配置された軸線方向に整列したピン２７０６のアレイを含む。各ピンは、アレイ内の位置（ｘ，ｙ）に関連付けられる。ピンは、静止位置と可変の上昇した変位との間で軸線方向に移動可能である。全てのピン２７０６が静止している、すなわち軸線方向の変位がない場合に、それらの頭部（頂部）は、ハウジング２７０４内で平坦な（ｘ，ｙ）平面を規定する。各ピン２７０６は、各ピンが、軸線方向に上昇、下降、又は制御可能な可変変位量だけ独立して上昇及び下降させることができる。いくつかの実施形態によれば、初期状態では、多数のピンが、組織構造２７０８の３次元モデルを形成するように配置される。初期状態の３次元モデルに対するピン変位の変化は、モデル化された組織構造の形状に対応する変化を示す触覚フィードバックを与える。第１の実施形態のＴＵＩを使用して生成された３次元モデルは、外科医が医療処置中に実際の組織構造を触診する態様と同様に、外科医がモデルと相互作用することができるように幾何学的にサイズ決めされる。ＴＵＩ組織モデル２７０８の形状は、外科医の遠隔操作制御下にある器具２８０４との接触によって生じる、図２８Ａ〜図２８Ｃの組織構造２８０２の表面の変形に応答して変更され、これにより外科的処置の過程でビューア３１２を介して見える組織構造の変形を示す触覚フィードバックを外科医に与える。Follmer S.らの、“inFORM: Dynamic Physical Affordances and Constraints through Shape and Object”, Actuation, UIST’13, October 8-11, St. Andrews, UKは、触覚フィードバックを与える形状ディスプレイを使用する２．５Ｄ形状ディスプレイを開示しており、そのようなＴＵＩ装置は、本明細書で説明するように機能するように変更され得る。例えば、上述したように計算又は近似された剛性行列Ｋに従ってＱ３Ｄ内視鏡システム１０１ＣによってＴＵＩ２７０２を駆動することができる。結果として、外科医には、組織剛性に関する相対情報が少なくとも提供され、間接的な又は仮想的な組織触診を行うことが可能になる。

別の例として、外科医は、組織構造上の様々な位置に実質的に一定の力を提供するように手術用器具を操縦する。一定の力の適用は、例えば、センサ及び可視ゲージを使用することによって、又は閾値レベルの力が感知されるまで力を加えるよう遠隔操作マニピュレータを設定すること等によって、調整することができる。あるいはまた、その適用は、外科医の感覚を使用して行うことができる。Ｑ３Ｄ内視鏡は、実質的に一定の力の適用に応答して、力適用の位置及び組織変形の測定値を様々な組織位置で取り込む。式（８）の関係は、実質的に一定の力の適用に応答して、異なる位置での異なる組織剛性を決定するために使用され、次にそれらの位置及び剛性は、触覚ＴＵＩにマッピングされる。触覚インターフェイスは、外科医への仮想的な触診出力を生成するように、異なる位置での異なる組織剛性を示すフィードバックを外科医に与える。次に、外科医は、外科医の実際の組織に対する動作と同様に、ＴＵＩ上の経路に沿って指又は手を辿り、その経路に沿って変化する剛性を感知し、シミュレートされた組織構造を触診することができる。

いくつかの実施形態によれば、組織剛性行列Ｋ、つまり剛性マップを、個々のＴＵＩピン２７０６の（ｘ，ｙ）位置にマッピングすることができる。換言すれば、所与のピン２７０６の物理的位置（ｘ，ｙ）が、組織構造２８０２の表面上の位置にマッピングされる。この例の目的のために、図２７の第１（ｘ，ｙ）位置のＴＵＩピン２７０６−１が、図２８Ｂの第１の組織構造の位置２８０６−１にマッピングされ、及び図２７Ｃの第２（ｘ，ｙ）位置のＴＵＩピン２７０６−２が、図２８Ｃの第２の組織構造の位置２８０６−２にマッピングされることを想定する。

ＴＵＩ２７０２がＷ×Ｌ個のピンを有すると想定すると、組織表面の組織構造２８０２のＱ３Ｄモデルは、Ｗ×Ｌグリッド上にメッシュ化することができる。次に、メッシュの各ノードは、ＴＵＩピンに対応するだろう。Ｑ３Ｄモデルが関心対象の組織表面の実際の幅（Ｗ_組織）及び長さ（Ｌ_組織）を与えると仮定すると、ＴＵＩ位置カウントＮ_Ｗ及びＮ_Ｌを含むピンの対応する（ｘ，ｙ）座標は、（Ｎ_Ｗ／Ｗ＊Ｗ_組織，Ｎ_Ｌ／Ｌ＊Ｌ_組織）として計算することができる。逆に、既知のＱ３Ｄモデル点の座標（ｘ，ｙ）について、対応するＴＵＩピンのＴＵＩ位置カウントは、Ｎ_Ｘ＝ｘ＊Ｗ／Ｗ_組織、及びＮ_Ｙ＝ｙ＊Ｌ／Ｌ_組織として計算することができる。マッピングは、非一時的なコンピュータ可読記憶装置（図示せず）に保存される。ＴＵＩ２７０２の多数のピン２７０６は、組織構造２８０２の組織表面の輪郭又は少なくとも組織構造の関心領域の３次元モデル２７０８を生成するように、外向きに（図示されるように上方に）持ち上げられる。

手術用器具は、マッピングされた組織表面の位置と位置合せされる。換言すれば、組織構造２８０２の組織表面のマッピングされた位置に対する器具２８０４の運動学的位置が、外科的処置全体を通じて位置合せされ且つ更新される。位置合せは、例えば、図９及び図１０で説明したのと同様の識別アルゴリズムを使用して、Ｑ３Ｄ内視鏡のＦＯＶ内の標的器具を特定することによって達成され得る。こうして、器具２８０４の位置合せ及び組織位置とＴＵＩ位置との間のマッピングによって、器具２８０４と組織構造２８０４の表面位置との間の各接触を、１つ又は複数のＴＵＩピン位置にマッピングすることができる。さらに、画像センサレイ２１０は、器具と組織表面との間の各接触についてＱ３Ｄ情報を取り込み、この取り込んだ情報を使用して、接触による組織表面の変形の変位を決定することができる。次に、このＱ３Ｄ情報を使用して、器具による接触に応答して、接触した組織表面の位置にマッピングされる、１つ又は複数のピン２７０６の外向き変位の変化量を決定する。

例えば、図２７Ａは、図２８Ａに示されるように、外科医が器具を組織構造に隣接して移動させたが、器具を使用して組織構造に実際に接触させていない、静止状態の第１の実施形態のＴＵＩ２７０２の姿勢の一例を示す。図２７Ｂ及び図２８Ｂは、外科医が操作する器具が図２８Ｂに示される第１の組織位置２８０６−１の変形を生じさせる際の触覚フィードバックによって、その初期状態の位置に対して内向きに移動する第１（ｘ，ｙ）位置のＴＵＩピン２７０６−１を生じさせることを示す。第１（ｘ，ｙ）位置でのピン２７０６−１の内向きの変位量は、Ｑ３Ｄ内視鏡システム１０１Ｃを用いて測定される場合に図２８Ｂの第１の組織位置２８０６−１が器具によって変位される第１の変位量に基づいて決定される。同様に、図２７Ｃ及び図２８Ｃは、外科医が操作する器具２８０４が図２７Ｃに示される第２の組織位置２８０６−２の変形を生じさせる際の触覚フィードバックによって、その初期状態の位置に対して内向きに移動する第２（ｘ，ｙ）位置のＴＵＩピン２７０６−２を生じさせることを示す。第２（ｘ，ｙ）位置におけるピン２７０６−２の外向き変位の変化は、図２８Ｃの第２の組織位置２８０６−２が器具によって変位される第２の変位量に基づいて決定される。

あるいはまた、Ｑ３Ｄ情報として感知された組織変形は、器具チップの姿勢を特定する運動学的情報（例えば、器具を保持する運動アームの姿勢を特定する運動学的情報）を用いて位置合せすることができる。次に、組合わされた組織変形情報及び器具チップ位置及び向き情報をＴＵＩにマッピングして、外科医がシミュレートされた組織構造を触診するのを可能にする触覚インターフェイスを形成する。

図２９Ａ〜図２９Ｃは、いくつかの実施形態による触覚フィードバックを与えるのに適した形状ディスプレイとして機能する有形のユーザインターフェイス（TUI）２９０２の形態の触覚ユーザインターフェイスの代替実施形態を表す説明図である。ＴＵＩの代替実施形態２９０２は、組織表面の変位に応答して、可変量だけ外向きに（図示されるように上向きに）変位することができる軸線方向に整列した複数のピン２９０６を収容するハウジング２９０４構造を含む。図２９Ａは、ピン２９０６を持ち上げずに静止している代替のＴＵＩ２９０２を示す。図２９Ｂは、第１の量だけピン２９０６を上げた代替のＴＵＩ２９０２を示す。図２９Ｃは、ピン２９０６を第１の量よりも多い第２の量だけ持ち上げた代替のＴＵＩ２９０２を示す。一般に、図２９Ａ〜図２９Ｃの代替実施形態のＴＵＩ２９０２のピン構成は、図２７Ａ〜図２７ＣのＴＵＩ２７０２のピン構成に類似している。しかしながら、代替実施形態のＴＵＩ２９０６は、より小さく、外科医の指先に取り付けるために幾何学的にサイズ決めされる。このような代替のＴＵＩ２９０６の例が知られている。Killebrew J. H.らの、“A Dense Array Stimulator to Generate Arbitrary Spatio-Temporal Tactile Stimuli”, Journal of Neuroscience Methods, 2007, Vol. 161(1), pp.62-74は、皮膚に対して「頻繁に(on the fly)」任意の時空間的触覚刺激を発生させる４００個のプローブ刺激装置を開示する。各プローブは、その軸線方向変位を制御する個々のモータを含む。 Moy G.らの、“A Compliant Tactile Display for Teletaction”, Proceedings of ICRA in Robotics and Automation, 2000, IEEE, Vol.4,は、シリコーンゴムから成形された一体型空気圧式触覚ディスプレイを開示する。Howe, Robert D.らの、“Remote Palpation Technology”, IEEE Engineering in Medicine and Biology, May/June,1995は、ボリュームに対して高出力によって及び重量及び力についての重量比で高出力によって、形状金属合金ワイヤをアクチュエータとして使用する触覚形状ディスプレイを開示する。

図２７Ａ〜図２７ＣのＴＵＩ２７０２と同様に、図２９Ａ〜図２９Ｃの代替実施形態のＴＵＩ２９０２のピン２９０６の頭部によって表されるＴＵＩ表面の形状は、例えば、外科医の遠隔操作制御下にある器具との接触によって生じる組織構造表面の変形に応じて変化する。しかしながら、図２７Ａ〜図２７ＣのＴＵＩ２７０２とは異なり、図２９Ａ〜図２９Ｃの代替実施形態のＴＵＩ２９０２の代替実施形態のＴＵＩ２９０２のピン位置は、組織表面の位置にマッピングされない。むしろ、代替実施形態のＴＵＩ２９０２のピン２９０６の外向きの変位によって生成された触覚フィードバックは、立体表示装置１６４を介して同時に見ることができ、及び外科医の制御下の手術用器具によって現在接触している組織表面の位置にマッピングされる。例えば、ＴＵＩ２７０２の中心点は、器具チップに対応するようにマッピングされるので、器具チップが動くにつれて、変化する触覚が、ＴＵＩ２９０６の中心に生じる。外科医は、この変化を知覚するために、ＴＵＩ２７０２に指を置く。このような代替のＴＵＩ２９０２によって与えられる触覚フィードバックの量は、Ｑ３Ｄ内視鏡システム１０１Ｃによって提供される計算又は近似された組織変位、又は、式（８）を用いて計算又は推定されるような力ベクトルｆに相関する。

代替の例では、１つの例では、ピンは、最初に、所定の距離だけ軸線方向外向きに変位され、ピンは、この距離にとどまるように駆動される。デフォルトの剛性が設定されているので、指が、ピンの上部に押し付けられると、ピンが僅かに下に移動するが、ピンがデフォルトレベルに戻るように駆動される。こうして、ピンは、「容易につぶされる（squishy）」ように感じ取られる。器具が組織を横断し、１つ又は複数の剛性の変化に遭遇すると、剛性の変化がＴＵＩに伝達され、剛性の増大した組織は、ＴＵＩにおいて、「容易につぶされる」感覚が少なくなり（ピンは指に向けて軸線方向に変位する）、剛性が低下した組織は、より「容易につぶされる」ように感じ取られる（ピンは指から軸線方向に離れる方向に変位する）。このようにして、器具チップは、触感がＴＵＬに伝達される遠隔触診器具として機能する。同様に、代替実施形態では、ピンは、最初に、ＴＵＩ表面と面一となるように軸線方向に変位してセットされ（例えば、図２９Ａ参照）、剛性が低下した組織は、ＴＵＩにおいて、より剛性が高いように感じ取られる（ピンは指に向けて軸線方向に変位する）。

図３０は、いくつかの実施形態による外科医の指３００２に取り付けられた代替実施形態のＴＵＩ２９０２を示す説明図である。取り付けられると、代替実施形態のＴＵＩ２９０２は、組織表面の組織変位に応答してピン２９０６を外向きに変位させるときに、ピン２９０６が外科医の指先３００２を押すように向き合わせされる。いくつかの実施形態によれば、異なるピンの変位量は、組織表面の現在接触している部分の異なる組織変位、又は器具によって組織表面の現在接触している部分に加えられた異なる力の量の指標となる。

図２８Ａ〜図２８Ｃ及び図２９Ａ〜図２９Ｃの両方をここで参照すると、図２９Ａは、図２８Ａに示されるように、外科医が組織構造２８０２に隣接して器具２８０４を移動させたが、器具を使用して組織構造に実際に接触させていない、静止している代替実施形態ＴＵＩ２９０２の例示的な姿勢を示す。図２９Ｂは、図２８Ｂの第１の組織位置２８０６−１が器具２８０４によって変位される第１の刺激レベルをピンに接触するユーザに提供するように、複数のピン２９０６が第１の組織変位量に基づいて決定された変位量だけ持ち上げられる、代替実施形態のＴＵＩ２９０２のピン２９０６を使用して生成された界面表面形状を示す。図２９Ｃは、図２８Ｃの第２の組織位置２８０６−２が器具２８０４によって変位される第２の刺激レベルをピンに接触するユーザに提供するように、複数のピン２９０６が第２の組織変位量に基づいて決定された変位量だけ持ち上げられる、代替実施形態のＴＵＩ２９０２のピン２９０６を使用して生成された界面表面形状を示す。第１及び第２の組織位置２８０６−１，２８０６−２での組織変位量が異なり、従って、第１及び第２の組織変位に応答するＴＵＩピン変位量も異なることが確認できる。

当業者は、ピンの使用を他の形態の触覚刺激と置き換えることを知っているであろう。
例えば、手又は指グリップに当接する機械的に作動されるピンを使用して外科医の指３００２を刺激する代わりに、例えば、閾値以下の電気触覚刺激を与えてもよい。そのようなシステムは、Ｑ３Ｄ内視鏡システム１０１Ｃによって提供されるような、人間の知覚レベルより僅かに高く、組織変位ｕ又は組織力ｆの大きさによって変調された安全なレベルの電流を使用する。このような他の形態の触覚刺激が知られている。例えば、Kaczmarekらの、“Maximal Dynamic Range Electrotactile Stimulation Waveforms”, IEEE Transactions on Biomedical Engineering, Vol.39, No.7, July 1992は、適切な電気触覚刺激のための技術及び波形を提示しており、この文献は、この参照によりその全体が本明細書に組み込まれる。代替実施形態では、操作する外科医に、図５の制御入力装置１６０に振動を与えるか又は操作抵抗を提供する触覚フィードバックを与えることができる。振動又は操作抵抗の量は、図８のＱ３Ｄ内視鏡システム１０１Ｃによって提供されるように、組織変位ｕ又は組織力ｆの大きさに応じて変調されるだろう。好適な実施態様が、（２０００年４月６日に出願された）米国特許第６,５９４,５５２号及び（２００９年３月３０日に出願された）米国特許第８,５６１,４７３号に記載されているように知られており、これらの文献は、触覚フィードバックを含む制御入力装置の使用を示しており、この参照によりその全体が本明細書に組み込まれる。

Ｑ３Ｄ情報の触覚フィードバックへの変換
図３１は、いくつかの実施形態による組織表面の変形の関数として触覚フィードバックを決定するように構成された例示的な計算ブロック３１０２である。いくつかの実施形態によれば、触覚フィードバックは、可変ピンの軸線方向変位によって提供される。あるいはまた、例えば、触覚フィードバックを与えるために電気刺激又は振動刺激を使用してもよい。図５のコンピュータ１５１は、計算ブロックを実装するように構成することができる。画像センサレイ２１０を使用して収集されたＱ３Ｄ情報は、個々の組織表面の位置について、特定の時間の垂直方向の変形距離Ｘ_ｔｉの測定値の指標を有する情報を含む。計算ブロックは、入力として変形距離Ｘ_ｔｉを示す情報を受け取り、ブロック３１０２は、変形距離Ｘ_ｔｉの関数として１つ又は複数のピン変位量Ｘ_ＵＩｉを出力として生成する。画像センサレイを使用するＱ３Ｄ内視鏡について、本明細書で説明しているが、本発明の精神から逸脱することなく、他のタイプのＱ３Ｄ内視鏡を使用してもよい。例えば、飛行時間センサを使用するＱ３Ｄ内視鏡が、同等の性能で使用することができる。（２００９年４月９日に出願された）米国特許第８,２６２,５５９Ｂ２号は、そのような代替的なＱ３Ｄ内視鏡の少なくとも１つの例を記載しており、この文献は、参照によりその全体が本明細書に組み込まれる。

図３２は、いくつかの実施形態による図３１の計算ブロックを使用して実行されるプロセス３２００を表す例示的なフロー図である。モジュール３２０２において、Ｑ３Ｄ内視鏡システムは、例えば、器具２６０４によって変形された、図２６の組織表面２６０８の変位ｕの３Ｄ座標を計算する。３次元座標計算は、図８〜図１９に記載される要素及びモジュールに従って実施される。モジュール３２０４において、組織変位ｕの３Ｄ座標は、ピン位置カウント及びピン変位にマッピングされる。例えば、組織表面の点（ｘ，ｙ）が測定された変位ｕ_ｘｙを有すると想定すると、説明したように計算された位置カウントＮ_Ｘ及びＮ_Ｙのピンは、その高さをＤ_ｘｙだけ変位させるように駆動される。Ｄとｕとの間の関係は、組織変位の推定範囲に及びＴＵＩ構造の詳細に基づいて比例し得る。例えば、組織が２０ｍｍまでの範囲でたわむと推定される場合に、Ｄとｕとの関係は１：１となり得る。次に、ＴＵＩピンは、組織変位１ｍｍ毎に１ｍｍだけ高さが変化するだろう。外科的処置が、剛性が増大した構造で行われる場合に、より小さい組織変位範囲が、使用される。このような場合に、５ｍｍまでの範囲が最適となり得る。外科医に十分な触覚フィードバック分解能を提供するために、ピン変位Ｄは、４＊ｕとして計算することができる。換言すれば、０．２５ｍｍ毎の組織変位について、ＴＵＩピンの変化は、１ｍｍだけの高さである。当業者であれば、ＴＵＩ触覚フィードバックシステムの使用を他の形態の触覚フィードバック・インターフェイスとどの様に置き換えるかについて知っている。例えば、閾値以下の電気刺激が触覚フィードバックの形態として使用される場合に、次に、刺激電流の大きさは、上述した比例関係に従って変調される。あるいはまた、制御入力装置１６０の振動が触覚フィードバックとして使用される場合に、振動の加速度又は振動強度は、上述した比例関係に従って変調してもよい。一般に、フロー図のモジュール３２０４は、図５又は図６のシステム１５２によって使用される触覚インターフェイスに提供されたフィードバックの大きさに変位ｕ_ｘｙをマッピングする。モジュール３２０６において、プロセスは、図２６の器具２６０４によって接触した関心対象の組織表面の全ての点を網羅するように反復される。モジュール３２０８において、触覚インターフェイスが、計算されたマップに従ってフィードバックを与えるように駆動される。オプションのモジュール３２１０は、システム１５２に関連するいずれかのディスプレイに組織変位情報を視覚的フォーマットで提供することもできる。

力フィードバック・インターフェイス
再び図２６を参照すると、いくつかの実施形態による、視覚的印２６０２が、器具によって標的組織構造に加えられた力の量を示す視覚的フィードバックをユーザに提供するために、手術シーンの手術用器具の上に重ねられたことが確認される。Reiley C. E.らの、“Effects of visual feedback on robot-assisted surgical task performance”, The Journal of Thoracic and Cardiovascular Surgery, January 2008は、遠隔操作手術中に手術用の結び目を結ぶ間に、触覚フィードバックを与えるための視覚的マーカーの使用を教示する。視覚的印は、手術シーンの器具の画像上に重ねられた色分けされたマーカーを含む。マーカーの着色は、力センサによって感知される力の量によって変化する。マーカーは、加えられた理想的な力の量に応答して黄色に着色される。マーカーは、加えられた理想的な力の量より少ない力に応答して緑色に着色される。マーカーは、加えられた理想的な力の量より大きい力に応答して赤色に着色される。操作において、ユーザは、理想的な力の量を達成するために、必要に応じて器具を再位置付けするためのガイドとして、マーカーの色を使用することができる。緑のマーカーの表示に応答して、ユーザは、力の量を増大させるように器具を再位置付けすることができる。赤いマーカーの表示に応答して、ユーザは、力の量を低下させるようにマーカーを再位置付けすることができる。そのような力フィードバック・インターフェイスは、上述したように、図８のＱ３Ｄ内視鏡システム１０１Ｃによって提供される変位情報を処理することによって力の量を計算又は近似するシステム１５２内に組み込むことができる。あるいはまた、他のタイプの力フィードバック・インターフェイスを使用してもよい。例えば、器具によって加えられる力の量は、棒グラフの形態で、又は図２２Ａ及び図２２Ｂのビューア３１２の側部にデジタル表示として表示することができる。

Ｑ３Ｄ情報を使用して触覚フィードバックを与えるための全体プロセス
図３３は、いくつかの実施形態による、図２７Ａ〜図２７ＣのＴＵＩ２７０２と共に使用するための第１の触覚フィードバックプロセスの例示的なフロー図である。モジュール３３０２は、組織表面の位置をＴＵＩ位置にマッピングし、そのマッピングを非一時的なコンピュータ可読記憶装置に保存する。モジュール３３０４は、手術用器具を組織位置と位置合せする。位置合せは、例えば、図９及び図１０で説明したのと同様の識別アルゴリズムを使用して、Ｑ３Ｄ内視鏡のＦＯＶ内の標的器具を特定することによって達成され得る。モジュール３３０６は、組織表面の位置を選択するユーザ入力を受け取り、器具を移動させ、選択された組織表面の位置と整列させる。モジュール３３０８は、選択された力を与えるユーザ入力を受け取り、器具を移動させて選択された組織位置に接触させ、選択された力を与える。モジュール３３１０は、与られた力に応答して、選択された組織表面の変形距離を示すＱ３Ｄ情報を受信する。モジュール３３１２は、選択された組織表面の位置にマッピングされた１つ又は複数のピンの変位量を、選択された組織位置での指示された組織変形の距離の関数として決定する。モジュール３３１４は、選択された組織位置にマッピングされた１つ又は複数のピンを決定された量だけ変位させる。判定モジュール３３１６は、異なる組織表面の位置の選択を変更する新たなユーザ入力が受信されたかどうかを判定する。そのようなユーザ入力が受信されない場合に、次に、モジュール３３１８は、所定の量だけ待機し、その後、制御は、判定モジュール３３１６に再び戻る。新しい組織表面位置を選択するユーザ入力を受信することに応答して、制御は、モジュール３３０６に移る。当業者であれば、ＴＵＩ触覚フィードバックシステムの使用を他の形態の触覚フィードバック・インターフェイスとどの様に置き換えるかを知っている。例えば、閾値以下の電気刺激が触覚フィードバックの形態として使用される場合に、次に、刺激電流の大きさは、上述したステップに従って変調される。あるいはまた、制御入力装置１６０の振動が触覚フィードバックとして使用される場合に、振動の加速度又は振動強度は、上述したステップに従って変調してもよい。さらに、視覚インターフェイスが触覚フィードバックを与えるために使用される場合に、フィードバックを与える視覚要素（例えば、視覚的印、棒グラフ、デジタル表示等）は、上述したステップに従って修正される。

図３４は、いくつかの実施形態による、図２９Ａ〜図２９Ｃの代替実施形態のＴＵＩ２９０２と共に使用するための第２の触覚フィードバックプロセスの例示的なフロー図である。第１及び第２の触覚プロセスは類似していることが理解されるだろう。モジュール３４０６は、組織表面の位置を選択するユーザ入力を受け取り、器具を移動させ、選択された組織表面の位置で整列させる。モジュール３４０８は、選択された力を与えるユーザ入力を受け取り、器具を移動させて選択された組織位置に接触させ、選択された力を与える。モジュール３４１０は、与られた力に応答して、選択された組織表面の変形距離を示すＱ３Ｄ情報を受信する。モジュール３４１２は、１つ又は複数のピンの変位量を、選択された組織位置での指示された組織変形の距離の関数として決定する。モジュール３４１４は、選択された組織位置にマッピングされた１つ又は複数のピンを決定された量だけ変位させる。判定モジュール３４１６は、異なる組織表面の位置の選択を変更する新たなユーザ入力が受信されたかどうかを判定する。このようなユーザ入力が受信されない場合に、次に、モジュール３４１８は、所定の量だけ待機し、その後、制御は、判定モジュール３４１６に再び戻る。新しい組織表面の位置を選択するユーザ入力を受信することに応答して、制御は、モジュール３４０６に移る。

図３５は、いくつかの実施形態による、選択された組織表面の位置に与られた力を制御する第３のプロセス３５００の例示的なフロー図である。図２６を参照して説明したように、組織表面位置に与えられた力を変化させるかどうかの指標を提供するために、視覚的手掛り（キュー）２６０２を手術シーンに設けることができる。第３のプロセスは、第１又は第２のプロセスと並行して実行してもよい。モジュール３５０２は、器具のチップ部分に関連付けられたセンサを用いて感知された力の指標を受け取り、感知された力の大きさの視覚的印を手術表示画面内に生成する。判定モジュール３５０４は、器具によって与えられる力の量を変更するユーザ入力が受信されたかどうかを判定する。力の量を変更するユーザ入力が受信されたという判定に応答して、モジュール３５０６は、ユーザ入力に従って与える力を変更する。力の量を変更するユーザ入力が受信されないという判定に応答して、制御は、モジュール３５０２に戻る。

仮想的な組織触診のためのＱ３Ｄベースの触覚フィードバック
図３６Ａ〜図３６Ｅは、いくつかの実施形態による、器具３６０４によって加えられる力に応答して生成される組織表面３６０８の変形を示す、組織構造３６０２の表面の一連の断面図を示す説明図である。より具体的には、これらの図面は、仮想的な組織触診のためのＱ３Ｄベースの触覚フィードバックの実施態様を示す。例示的な一連の断面では、器具３６０４は、組織構造３６０２の表面３６０８に接触して、垂直方向下向き成分を有する力をこの表面３６０８に加える。これらの図面は、力に応答して複数の離散した位置での組織表面３６０８のたわみを示す。Ｑ３Ｄ内視鏡２０２は、異なる複数の組織表面の位置のそれぞれでの組織変形を表す画像情報を取り込むために配置されるように示される。異常部３６１２が、組織表面３６０８の下の組織構造３６０２内に埋め込まれて示されている。組織構造３６０２は、特徴的な剛性Ｋ_ｔを有する。異常部３６１２の組織構造は、特徴的な異なる剛性Ｋ_ａを有する。異常部３６１２の組織構造が標的組織構造の表面下にあるので、その異常部は、Ｑ３Ｄ内視鏡２０２を使用して取り込まれた画像では見えない。先に説明したように、剛性行列Ｋt及びＫ_ａは、先験的に既知である。そのような場合に、システム１５２は、図３６Ａの器具３６０４が異常部を含む領域の上を移動するときに、行列Ｋaに対して行列Ｋtを置き換えるように構成される。上記のように、ユーザ又はシステムのいずれかは、組織表面に対する異常部の位置を示す手術前画像に基づいて、ＫｔからＫ_ａへの移行ゾーンを特定することができる。あるいはまた、異常を伴う領域３６１２と異常のない領域との間の剛性の相対的な差を決定又は近似するための機構は、上述したように、システム１５２に組み込んでもよい。そのような場合の全てにおいて、システム１５２は、器具によって及ぼされる力又は組織によって提示される剛性についての直接的、間接的、又は相対的な量の触覚フィードバックをオペレータに提供する。

図３７Ａ〜図３７Ｅは、いくつかの実施形態による、図３６Ａ〜図３６Ｅの一連の断面図に示される例示的な組織構造の変形に対応する、ＴＵＩピンの上面インターフェイスの「瞬間的な」変形の例を示すように構成された図２７Ａ〜図２７ＣのＴＵＩ２７０２の一連の断面図を示す説明図である。図３７Ａを参照すると、ＴＵＩ２７０２は、いくつかの実施形態による、組織構造表面３６０８に対応し且つこの表面３６０８に形成された鏡像関係の変形を示す輪郭を有する表面構造３７０６を含む。より具体的には、ＴＵＩ２７０２は、器具３６０４によって及ぼされた力の量に応答して触覚フィードバック面３７０６の物理的形状を、組織構造３６０２によって提示される剛性に又はＱ３Ｄ内視鏡によって測定される組織たわみ量に変えるように協働する複数のピン２７０６を有する形状変化式触覚フィードバック面構造３７０６を含む。いくつかの実施形態によれば、ＴＵＩ形状変化面３７０６は、ＴＵＩ表面を集合的に規定する複数の垂直ピン２７０６を含む。個々のピン２７０６は、ＴＵＩ表面構造の形状を変えるために選択的に上下される。ＴＵＩ表面を構成するピンの頂部の垂直方向（軸線方向）位置は、ＴＵＩ表面の輪郭が組織構造の輪郭に連続的に一致するように、組織構造の表面輪郭の変化に応答して変化する。図３７Ａ〜図３７ＥのＴＵＩ表面変形は、既存の対応する組織構造の変形と実質的に同時に存在するという概念を暗示するために「瞬間的な」と呼ばれる（すなわち、ユーザが知覚可能な遅延を経験しない）。所与のＴＵＩ変形は、対応する位置での組織構造の変形の発生に応答して生じ、その対応する位置での組織構造の形状のその本来の形状への復帰に応答して消失する。あるいはまた、ＴＵＩ変形は、器具によって及ぼされた力の量に、又は仮想的な触診中に組織によって提示される剛性の量に応答し得る。ＴＵＩのそのような代替実施形態は、図３７Ａ〜図３７Ｅで説明したのと同じ原理を使用して実装される。

図３６Ａは、器具３６０４による接触前の標的組織構造３６０２の第１の断面図を示す。図３７Ａは、器具３６０４が標的組織表面３６０８に接触する前のＴＵＩ表面３７０６の輪郭の対応する第１の断面図を示す。以下の説明を簡略化するために、例示的な組織構造３６０２の外面輪郭は、比較的平坦であるように示されている。しかしながら、組織構造３６０２は、自然に湾曲した輪郭を有してもよく、くぼみや凹凸等の自然発生する不規則性を有することがあることが理解されるだろう。

図３６Ｂは、組織３６０２の第２の断面図を示しており、この図３６Ｂでは、器具３６０４は、組織構造３６０２の第１の領域３６０６−１を変形させる力を加えるように、サブ表面の異常部３６１２の構造の左側で組織表面３６０８に押し付けられる。第１の表面領域３６０６−１での器具３６０４と組織表面との間の接触点での変形の深さは、その接触点での表面上に及ぼされる少なくとも力Ｆ_ｔ１と、その接触点での標的組織表面の剛性との関数である。例示的な第２の断面図において、第１の領域内のたわみの最低点は、組織表面３６０８に隣接した、乱されていない領域からの垂直距離Ｘ_ｔｉにある。垂直距離Ｘ_ｔｉは、図８のＱ３Ｄ内視鏡システム１０１Ｃによって測定される。次に、システム１５２は、上述したように、対応する器具の力Ｆ_ｔ１を計算するか、又は対応する局所的な組織剛性Ｋ_ｔ１を推定することができる。図３７Ｂは、ＴＵＩ表面３７０６の輪郭の対応する第２の断面図を示しており、この図３７Ｂでは、ＴＵＩ表面３７０６の第１の領域３７０６−１のピンは、器具３６０４が組織構造３６０２の第１の領域３６０６−１を量Ｘ_ｔ１だけ変形させることに応答して、第１の量Ｘ_UI1だけ後退する。あるいはまた、同じ技法、要素、又はステップを適用して、Ｆ_ｔ１又はＫ_ｔ１に応答してＴＵＩ表面を修正することができる。標的組織表面３６０６−１の第１の領域に対応するＴＵＩ表面３７０６−１の第１の領域に形成される変形は、標的組織表面の第１の領域の変形の形状に対応する形状を有する。標的表面の第１の領域の形状は、その本来の輪郭に戻っている。ＴＵＩ表面の第１の領域での変形の深さＸ_ＵＩ１は、標的組織表面の第１の領域内の標的組織表面に加えられた力に応答した、標的組織表面の少なくとも変形の深さＸ_ｔ１の関数である。あるいはまた、ＴＵＩ表面の第１の領域における変形の深さＸ_ＵＩ１は、少なくともＦ_ｔ１又はＫ_ｔ１の関数であってもよい。

図３６Ｃは、組織構造３６０２の第３の断面図を示しており、この図３６Ｃでは、器具３６０４は、標的組織表面を変形させる力を加えるように、サブ表面の異常構造３６１２の上で組織表面の第２の領域３６０２に押し付けられる。この例では、器具３６０４と組織構造３６０２との間の接触点での変形の深さは、接触点での標的表面に及ぼされた少なくとも力と、接触点での標的組織表面及び接触点の下のサブ表面の異常構造の両方の剛性との関数である。この例では、異常部３６１２が、標的組織構造３６０２よりも大きな剛性を有すると想定する。この例では、サブ表面の異常構造は、器具によって加えられる力に応答して、その剛性が標的組織表面のたわみの深さに影響を与えるように標的組織表面に十分近接していると想定する。例示的な第３の断面図では、標的組織表面の第２の領域３６０６−２内のたわみの最低点は、標的組織表面に隣接した、乱されていない領域からの垂直距離Ｘ_ｔ２にある。図３７Ｃは、ＴＵＩ表面３７０６の輪郭の対応する第３の断面図を示しており、この図３７Ｃでは、ＴＵＩ表面３７０６の第２の領域３７０６−２内のピンは、器具が標的組織表面の第２の領域３６０６−２を量Ｘ_ｔ２だけ変形することに応答して、第１の量Ｘ_ＵＩ２だけ後退する。標的組織表面３６０６−１の第１の領域は、その第１の領域からの器具の力を除去することに応答して、その本来の形状に戻っていることが確認される。また、第１の組織領域がその本来の形状に戻ることに応答して、ＴＵＩ表面３７０６−１の第１の領域は、静止した状態でその予荷重状態に戻る。組織表面の第２の領域３６０６−２に対応するＴＵＩ表面の第２の領域３７０６−２に形成される変形は、組織表面の第２の領域の変形の形状に対応する形状を有する。ＴＵＩ表面の第２の領域での変形の深さＸ_ＵＩ２は、標的組織表面の第２の領域内の標的組織表面に加えられた力に応答した、標的組織表面の少なくとも変形の深さＸ_ｔ２の関数である。あるいはまた、上記の原理、技術、要素及びステップによれば、ＴＵＩ表面の第２の領域での変形の深さＸ_ＵＩ２は、少なくとも対応する力又は剛性値、Ｆ_ｔ２又はＫ_ｔ２の関数であってもよい。

図示の例では、サブ表面の異常部３６１２の存在により、組織構造３６０２の第２の領域３６０６−２における剛性は、サブ表面の異常部によって、標的組織構造３６０２の第１の領域３６０６−１の剛性よりも高い。換言すれば、より堅いサブ表面の異常部は、標的組織構造の第２の領域３６０６−２に対して硬化させる効果を有する。その結果、第１の領域３６０６−１における標的組織表面の変形の深さＸ_ｔ１は、第２の領域における標的組織表面２６０６−２の変形の深さＸ_ｔ２よりも大きい。さらに、（第１の領域３６０６−１における標的組織表面の変形の深さＸ_ｔ１の関数である、）ＴＵＩフィードバック面の第１の領域３７０６−１での対応する変形の深さＸ_ＵＩ１は、（第２の領域３６０６−２における組織表面の変形の深さＸ_ｔ２の関数である、）ＴＵＩフィードバック面の第２の領域３７０６−２での変形Ｘ_ＵＩ２よりも大きい。しかしながら、変形の深さの代わりに、ＴＵＩが局所的な組織剛性Ｋ_ｔ２に従ってその形状を変化させる場合に、次に、変形の量Ｘ_ＵＩ２は、異常部の存在によって生じる増大した組織剛性を反映するように、Ｘ_ＵＩ１より大きい。同様に、器具の力がＴＵＩ２７０２上にマッピングされる場合に、変形量Ｘ_ＵＩ２は、Ｆ_ｔ１からＦ_ｔ２への力の変化に応じて、Ｘ_ＵＩ１よりも大きくても小さくてもよい。

図３６Ｄは、組織構造３６０２の第４の断面図を示しており、この図３６Ｄでは、器具３６０４が、組織表面３６０８の第３の領域３６０６−３に押し付けられている。第４の断面図の例では、第３の領域３６０６−３内のたわみの最低点は、標的組織表面３６０８に隣接した、乱されていない領域からの垂直距離Ｘ_ｔ３にある。図３７Ｄは、器具が組織構造の第３の領域３６０６−３を量Ｘ_ｔ３だけ変形させることに応答して生成されたＴＵＩフィードバック面３７０６の輪郭の対応する第４の断面図を示す。組織表面３６０８の第３の領域３６０６−３に対応するＴＵＩフィードバック面３７０６の第３の領域３７０６−３に形成される変形は、組織表面の第３の領域３６０６−３の変形の形状に対応する形状を有する。さらに、標的組織表面の第２の領域３６０６−２は、その第２の領域から器具の力を除去することに応答して、その本来の形状に戻っている。また、第２の標的組織領域がその本来の形状に戻ることに応答して、ＴＵＩフィードバック面３７０６の第２の領域３７０６−２は、静止状態でその予荷重状態に戻る。標的組織構造の剛性は、標的組織表面の第１の領域及び第３の領域の両方において実質的に同じであるので、変形の深さＸ_ｔ１は、変形の深さＸ_ｔ３と実質的に同じである。さらに、変形の深さＸ_ＵＩ１が変形の深さＸ_ｔ１の関数であり、且つ変形の深さＸ_ＵＩ３が変形の深さＸ_ｔ３の関数であるので、変形の深さＸ_ＵＩ１は、変形の深さＸ_ＵＩ３と実質的に同じである。

図３６Ｅは、標的組織構造３６０２の第４の断面図を示しており、この図３６Ｅでは、器具３６０４が、組織表面３６０８の第４の領域３６０６−４に押し付けられる。第４の断面図の例では、第４の領域３６０６−４内のたわみの最低点は、標的組織表面３６０８に隣接した、乱されていない領域からの垂直距離Ｘ_ｔ４にある。図３７Ｅは、器具が標的組織表面３６０８の第４の領域３６０６−４を量Ｘ_ｔ４だけ変形させることに応答して生成されたＴＵＩフィードバック面３７０６の輪郭の対応する第４の断面図を示す。標的組織表面の第３の領域３６０６−３は、その第３の領域から器具の力を除去することに応答して、その本来の形状に戻っている。また、第３の標的組織領域３６０６−３がその本来の形状に戻ることに応答して、ＴＵＩフィードバック面の第３の領域３７０６−３は、静止した状態でその予荷重状態に戻る。組織表面３６０８の第４の領域３６０６−４に対応するＴＵＩ表面の第４の領域３７０６−４に形成される変形は、組織構造３６０２の第４の領域３６０６−４の変形の形状に対応する形状を有する。ＴＵＩフィードバック面３７０６の第４の領域３７０６−４での変形の深さＸ_ＵＩ４は、標的組織表面の第４の領域内の標的組織表面に加えられる力に応答した、標的組織表面の少なくとも変形の深さＸ_ｔ４の関数である。標的組織表面の例示的な断面図において、標的組織の変形Ｘ_ｔ１、Ｘ_ｔ３、及びＸ_ｔ４は、実質的に同じであり、例示的なＴＵＩの表面変形Ｘ_ＵＩ１、Ｘ_ＵＩ３、及びＸ_ＵＩ４は、実質的に同じである。

器具３６０４が、組織表面３６０８上の一連の離散した位置で変形を生じさせるように示されているが、ユーザは、変形が標的組織表面を横切って移動させるように、器具を滑らかな動きで組織表面を横切って横方向に移動させることができる。その場合に、図３６Ａ〜図３６Ｅに示される離散した位置は、その変形に直面した離散的な位置を表す。あるいはまた、ユーザは、器具をある位置から次の位置へ離散的に飛び越えて移動させてもよい。あるいはまた、システム１５２は、直接的又は間接的なユーザ制御の下で器具を様々な位置に自動的に移動させてもよい。間接的なユーザ制御は、ユーザの開始に応答してプログラムされたコマンドによる制御によって器具を移動させることを指す。同様に、システム１５２は、アルゴリズムが規定され、プログラムされたコマンドに従って器具の動きを完全に自動化するように実施することができる。標的組織表面を横切って器具を移動させる過程で、一連の離散的な動き又は滑らかな動きのいずれかで、ユーザは、ＴＵＩフィードバック面３７０６に触れて輪郭を感じ取り、器具の力の異なる標的組織の位置への適用に応答して、形状変化の物理的な感知及び標的組織表面の剛性を得ることができる。標的の組織変形の量が、少なくとも部分的に、器具の力が加えられる点の標的組織剛性の関数であるので、ＴＵＩ表面の領域の変形量は、標的組織表面の対応する領域の剛性の指標を提供する。具体的には、例えば、ユーザは、一方の手で第２のＴＵＩ位置での変形Ｘ_ｔ２と、他方の手で第１、第３、及び第４のＴＵＩ位置での変形Ｘ_ＵＩ１、Ｘ_ＵＩ３、及びＸ_ＵＩ４との間の差を感知することができ、その差は、第２の標的組織位置での標的組織の剛性が、第１、第３、及び第４の標的組織位置での標的組織の剛性と異なることをユーザに示す。図３６Ａ〜図３６Ｅに示されるように、この剛性の差は、目に見えないサブ表面の異常部の存在を示すことができる。従って、この仮想的な組織触診システム及び方法は、組織の変形、器具によって加えられる力、又は局所的な組織剛性に関する触覚フィードバックを与える。

図３８Ａ〜図３８Ｅは、いくつかの実施形態による、図３６Ａ〜図３６Ｅの一連の断面図に示される例示的な標的組織変形に対応する、ＴＵＩフィードバック面３８０６の例示的な「複合」変形を示す図２７Ａ〜図２７ＣのＴＵＩの一連の断面図を示す説明図である。図３８Ａ〜図３８ＥにおけるＴＵＩフィードバック面の変形は、それら変形が蓄積される概念を暗示させるために「複合体」と呼ばれる。各ＴＵＩ表面の変形は、一連の離散した標的の組織変形の端部において又は変形が発生する端部において、蓄積されたＴＵＩ表面の変形が、個々のＴＵＩ表面の変形の全てを含む複合ＴＵＩ表面の変形を提供する。例えば、図３６Ｂ〜図３６Ｅの一連の標的表面の変形に従って、ユーザは、ＴＵＩフィードバック面３８０６の輪郭に触れて、器具の力が異なる標的組織の位置に適用されることに応答して、異なる離散した位置での標的組織表面３６０８の形状変化の差の物理的感覚を得ることができる。ＴＵＩ表面の異なる位置での変形の形状又は深さの差は、対応する標的組織位置での標的組織表面の剛性の差、又はそれぞれの組織位置での器具によって加えられる力の差を示し得る。例えば、第１のＴＵＩ表面位置３８０６−１、第３のＴＵＩ表面位置３８０６−３、及び第４のＴＵＩ表面位置３８０６−４は、それぞれ、静止レベルのＴＵＩ表面に対して量Ｘ_ＵＩ１、Ｘ_ＵＩ３、及びＸ_ＵＩ４だけ凹んでおり、第２のＴＵＩ表面位置３８０６−２は、静止レベルのＴＵＩの静止面に対して異なる量Ｘ_ｔ２だけ凹んでいることを確認することができる。器具が全ての組織変形に対して実質的に同じ力を加えると想定すると、図示の例では、量Ｘ_ＵＩ１、Ｘ_ＵＩ３、及びＸ_ＵＩ４が実質的に同じであるため、これらの量とＸ_ＵＩ２との間の差は、第２の領域３６０６−２における標的組織表面の剛性の差に起因するものであり、その差は、隠れたサブ表面の異常部３６１２を示すことができる。

図３９Ａ〜図３９Ｅは、いくつかの実施形態による、図３６Ａ〜図３６Ｅに示される標的組織表面の例示的な変形に応答して、図２９Ａ〜図２９Ｃの代替実施形態のＴＵＩ２９０２内の１つ又は複数のピン２９０６の一連の変位を示す説明図である。ＴＵＩ２９０２は、ピン２９０６のアレイを含む触覚インターフェイスを提供し、そのピンの１つ又は複数は、組織表面の剛性の指標を提供するために軸線方向に選択的に延ばすことができる。図示される例では、ピンの伸長の長さは、剛性に比例する。つまり、より長いピンの伸長は、より大きな剛性に対応する。あるいはまた、上述したように、軸線方向の駆動力を増大させて、より大きな剛性に対応するように示すことができる。上述したように、組織表面の異なる領域は、異なる剛性を有してもよく、異なる領域の異なる剛性は、隠れたサブ表面の異常部の存在を示すことができる。図３９Ａに示されている例示的な初期ピン変位は、静止状態を表す、又は図３６Ａに表される器具が接触する前に例示的な標的組織表面に対応する量Ｘ_ｐ０だけ変位した静止初期ピンを表す。図３９Ｂは、図３６Ｂに表される組織表面上の第１の位置３６０６−１での量Ｘ_ｔ１だけ変形される例に応答して、量Ｘ_ｐ１だけ変位した第１のピンを表す。図３９Ｃは、図３６Ｃに表される組織表面上の第２の位置３６０６−２での量Ｘ_ｔ２だけ変形される例に応答して、量Ｘ_ｐ２だけ変位した第２のピンを表す。図３９Ｄは、図３６Ｄに表される組織表面上の第３の位置３６０６−３での量Ｘ_ｔ３だけ変形される例に応答して、量Ｘ_ｐ３だけ変位した第３のピンを表す。図３９Ｅは、図３６Ｅに表される標的組織表面上の第４の位置３６０６−４での量Ｘ_ｔ４だけ変形される例に応答して、量Ｘ_ｐ４だけ変位した第４のピンを表す。

第１、第３、及び第４のピン変位Ｘ_ｐ１、Ｘ_ｐ３、及びＸ_ｐ４は、標的組織表面の剛性が第１、第３、及び第４の組織表面の位置で同じであるので、実質的に同一である。第２のピン変位Ｘ_ｐ２は、組織表面の剛性が第２の組織位置３６０６−２でより大きいので、他の３つよりも大きい。こうして、ピンの変位は、ユーザが図３６Ａ〜図３６Ｅにより表される標的組織表面上の一連の接触位置を通る器具を制御可能に動かす際に、器具のある位置から次の位置への離散的な移動によって又は器具のより連続的な動きによって移動させるかどうかにかかわらず、標的組織構造の剛性の変化を示す。さらに、器具がある位置から別の位置に移動する際のピンの変位の変化は、２つの位置の間の標的組織構造の剛性の変化を示す。あるいはまた、器具の力ｆ／組織剛性ＫがＴＵＩ上にマッピングされる場合に、変位Ｘ_ｐ１−４は、ｆ及びＫに依存する値を有し、上述のステップに従って計算される。従って、この仮想的な組織触診システム及び方法は、組織の変形、器具によって加えられる力、又は局所的な組織剛性に関する触覚フィードバックを与える。

当業者であれば、上述したＴＵＩ触覚フィードバックシステムの使用を、他の型式の触覚フィードバック・インターフェイスとどの様に置き換えるかを知っている。例えば、閾値以下の電気触覚刺激が触覚フィードバックの形態として使用される場合に、次に、刺激電流の大きさは、上述のステップに従って変調される。変位Ｘ_ＵＩｉ又はＸ_ｐｉを変調する代わりに、刺激電流の振幅を、それに応じて変化させる。あるいはまた、制御入力装置１６０の振動が触覚フィードバックとして使用される場合に、振動の加速度又は振動強度は、組織変位Ｘ_ｔ、力Ｆ_ｔ、又は剛性Ｋ_ｔの関数として変調してもよい。さらに、視覚インターフェイスが触覚フィードバックを与えるために使用される場合に、フィードバックを与える視覚要素（例えば、視覚的印、棒グラフ、デジタル表示等）は、上述したステップに従って修正される。

操作において、ユーザは、器具が離散的又は連続的な動きのいずれかで標的組織表面を横切って移動する際に手術シーンを視覚的に観察し、手術及び組織タイプに依存して、例えば、組織構造の剛性の指標を提供する後退力をトリガするのに十分大きいが組織損傷を生じさせるほど大きくない、数ｍｍ分の１から数ｍｍ又は数ｃｍまでの範囲の臨床的に安全な量だけ標的組織構造を変形させるのに十分である小さな垂直力で器具を（標的組織表面に対して）下方に押し付ける。例えば、５〜４０gの範囲の力が、心臓手術中に使用され得る。肺への介入中に、より小さな力範囲、１〜３０gを使用することができる。骨等のより硬い構造で行われる手術は、場合によっては１００gを超えるより高いレベルの力を使用することがある。器具が標的組織表面を横切って移動する際に、触覚インターフェイスは、標的組織構造の変形、剛性、又は器具によって加えられる力のリアルタイム表示（ユーザが遅延を知覚しない）を提供する。こうして、ユーザは、器具がその力を標的に与える標的組織表面上の現在の位置を視覚的に追跡し、リアルタイムで、所与の標的組織表面の位置に力を与える器具を同時に追跡する。

図３５を参照して上述したように、いくつかの実施形態によれば、Ｑ３Ｄ内視鏡システム１０１Ｃは、組織変位を測定し、次に、標的組織表面に与えられる力の量を計算又は近似する。動作中に、仮想的な触診処置等の剛性決定の間に、標的組織表面に加えられる力は、上述した安全な範囲内に維持される。より具体的には、いくつかの実施形態によれば、実質的に同じ力が図３６Ｂ〜図３６Ｅに表される標的組織表面上の例示的な離散的な位置のそれぞれに加えられる場合に、次に、触覚フィードバック・インターフェイス情報によって表される組織のたわみは、局所的な組織の硬さに逆比例する。いくつかの実施形態では、ユーザは、器具によって標的組織構造に及ぼされる力を調整するように、器具と標的組織構造との間の接触を制御する。こうして、力センサを使用して、全ての剛性の決定を通じて標的組織構造上に実質的に一定の正規化された力を達成することができる。あるいはまた、力は、システム１５２によって自動的に又は半自動的に制御され得る。システム１５２は、Ｑ３Ｄ変位測定から決定される器具の力のレベルに従って、外科医又は手術スタッフに警報も提供し得る。例えば、図３５において、適切な視覚指標を提供することに加えて、器具によって及ぼされた力が特定の安全閾値を超える場合に、システム１５２は可聴警報を鳴らすか、視覚的又は触覚的な警告を提供することもできる。

前述した実施形態の詳細な説明及び図面は、本発明の原理の単なる例示である。添付の特許請求の範囲に規定される本発明の精神及び範囲から逸脱することなく、当業者によって様々な変更が本実施形態になされ得る。

Claims (17)

1. 医療処置中に触覚フィードバックを与えるシステムであって、当該システムは、
   手術用器具と、
   撮像センサアレイを有する定量的な３次元内視鏡（Ｑ３Ｄ）であって、前記撮像センサアレイは、同一面上の重なり合う視野を有する少なくとも３つの撮像センサを含み、各撮像センサは、他の撮像センサの画素アレイとは別個の画素アレイを含み、前記Ｑ３Ｄ内視鏡は、前記重なり合う視野内で前記手術用器具と接触するように置かれた組織構造の異なる位置での変形距離を示す、シーンのＱ３Ｄ情報を前記少なくとも３つの撮像センサを使用して捕捉するように動作可能であり、前記手術用器具は、前記重なり合う視野内に置かれた前記組織構造の異なる組織表面位置に接触し且つ該異なる組織表面位置に力を与えて前記組織構造を変形させるように組織構造表面に亘って移動可能である、Ｑ３Ｄ内視鏡と、
   前記捕捉したＱ３Ｄ情報に基づいて、手術シーン内の組織構造の表面位置と前記手術用器具とを特定及び位置合わせし、且つ前記位置合わせされた組織構造の表面位置の前記異なる接触位置で前記手術用器具を一定の力で組織表面に対して付勢する際の、前記手術用器具の周りの前記組織構造の変形の測定値のマップを提供するＱ３Ｄモデルを生成するように構成された少なくとも１つのプロセッサと、
   前記位置合わせされた組織構造の表面位置の前記接触位置での前記組織構造の変形の測定値の前記マップを示す触覚フィードバックを生成するように構成された触覚ユーザインターフェイス装置と、を有する、
   システム。
2. 前記触覚ユーザインターフェイス装置は、形状ディスプレイを含む、請求項１に記載のシステム。
3. 前記触覚ユーザインターフェイス装置は、軸線方向に整列したピンのアレイを含む、請求項１に記載のシステム。
4. 前記触覚ユーザインターフェイス装置は、手又は指グリップに当接する、請求項１に記載のシステム。
5. 前記触覚ユーザインターフェイス装置は、手術用器具の操作制御装置を含む、請求項１に記載のシステム。
6. 前記プロセッサが臨床的に安全な範囲外にある組織構造の変形の測定値を示す情報を提供することに応答して、警報を生成するように構成された警報源をさらに含む、請求項１に記載のシステム。
7. 前記警報源は、可聴警報源を含み、前記警報は、可聴警報を含む、請求項６に記載のシステム。
8. 前記警報源は、視覚的表示を含み、前記警報は、視覚的警報を含む、請求項６に記載のシステム。
9. 前記組織構造の変形中に前記組織構造に与られた力を測定するために、前記手術用器具に関連付けられた力センサと、
   該力センサによって測定された力の視覚的表示を提供するように構成された視覚ディスプレイと、をさらに含む、請求項１に記載のシステム。
10. 前記触覚ユーザインターフェイス装置は、形状ディスプレイを有しており、
    該形状ディスプレイは、
    前記組織構造の少なくとも一部をモデル化する３次元輪郭を提供し、
    組織構造の位置での組織構造の変形の測定値を示す情報に応答して、組織構造の表面上の位置での前記組織構造の変形の指標を提供する、ように構成される、
    請求項１に記載のシステム。
11. 医療処置中に組織上に及ぼされる力を決定するシステムであって、当該システムは、
    撮像センサアレイを有する定量的な３次元内視鏡（Ｑ３Ｄ）であって、前記撮像センサアレイは、同一面上の重なり合う視野を有する少なくとも３つの撮像センサを含み、各撮像センサは、他の撮像センサの画素アレイとは別個の画素アレイを含み、前記Ｑ３Ｄ内視鏡は、前記重なり合う視野内で手術用器具と接触するように置かれた組織構造の異なる位置での変形距離を示す、シーンのＱ３Ｄ情報を前記少なくとも３つの撮像センサを使用して捕捉するように動作可能であり、前記手術用器具は、前記重なり合う視野内に置かれた前記組織構造の異なる組織表面位置に接触し且つ該異なる組織表面位置に力を与えて前記組織構造を変形させるように組織構造表面に亘って移動可能である、Ｑ３Ｄ内視鏡と、
    前記捕捉したＱ３Ｄ情報に基づいて、手術シーン内の組織構造の表面位置と前記手術用器具とを特定及び位置合わせし、且つ前記位置合わせされた組織構造の表面位置の前記異なる位置で前記手術用器具を一定の力で組織表面に対して付勢する際の、前記手術用器具の周りの前記組織構造表面の変形の前記位置合わせされた異なる位置での変形距離を示す情報を含むＱ３Ｄモデルを生成するとともに、前記組織構造の変形が測定され、位置合わせされた少なくとも１つの位置における組織変形の測定値に少なくとも部分的に基づいて、前記組織構造の変形が測定され、位置合わせされた少なくとも１つの位置において前記手術用器具によって前記組織構造に及ぼされる力を決定するように構成された少なくとも１つのプロセッサと、を有する、
    システム。
12. 前記プロセッサは、前記決定された力を示す出力を生成する、請求項１１に記載のシステム。
13. 前記出力によって、ディスプレイ又は触覚フィードバック・インターフェイス装置が駆動される、請求項１２に記載のシステム。
14. 医療処置中に仮想的な組織触診を提供するシステムであって、当該システムは、
    手術用器具と、
    撮像センサアレイを有する定量的な３次元内視鏡（Ｑ３Ｄ）であって、前記撮像センサアレイは、同一面上の重なり合う視野を有する少なくとも３つの撮像センサを含み、各撮像センサは、他の撮像センサの画素アレイとは別個の画素アレイを含み、前記Ｑ３Ｄ内視鏡は、前記重なり合う視野内で前記手術用器具と接触するように置かれた組織構造の異なる位置での変形距離を示す、シーンのＱ３Ｄ情報を前記少なくとも３つの撮像センサを使用して捕捉するように動作可能であり、前記手術用器具は、前記重なり合う視野内に置かれた前記組織構造の異なる組織表面位置に接触し且つ該異なる組織表面位置に力を与えて前記組織構造を変形させるように組織構造表面に亘って移動可能である、Ｑ３Ｄ内視鏡と、
    前記捕捉したＱ３Ｄ情報に基づいて、手術シーン内の組織構造の表面位置と前記手術用器具とを特定及び位置合わせし、且つ前記組織構造の表面の前記位置合わせされた異なる位置で前記手術用器具を一定の力で組織表面に対して付勢する際の、前記手術用器具の周りの前記組織構造の変形の測定値を示す情報を含むＱ３Ｄモデルを生成するとともに、前記位置合わせされた位置での組織剛性を決定し、該決定された組織剛性に少なくとも部分的に基づいて仮想的な触診出力を提供するように構成された少なくとも１つのプロセッサと、を有する、
    システム。
15. 前記仮想的な触診出力によって、ディスプレイ又は触覚フィードバック・インターフェイス装置が駆動される、請求項１４に記載のシステム。
16. 前記視野内の一連の位置に前記手術用器具を自動的に駆動するように構成されたプロセッサをさらに含む、請求項１５に記載のシステム。
17. 安全な範囲を超える又は安全な閾値に対して増減する前記仮想的な触診出力に応答して警告を提供するように構成された手段を含む、請求項１５に記載のシステム。

Images