JP7433932B2 - 定量的３次元イメージング及び手術用インプラントのプリント - Google Patents

Description

（関連出願）
本特許出願は、
"QUANTITATIVE THREE-DIMENSIONAL IMAGING OF SURGICAL SCENES"と題する、２０１４年３月２８日に出願された米国仮特許出願第61/971,749号、及び
"QUANTITATIVE THREE-DIMENSIONAL IMAGING AND PRINTING OF SURGICAL IMPLANTS"と題する、２０１４年１２月２３日に出願された米国仮特許出願第62/096,518号の優先権の利益を主張し、これらはその全体が参照により本明細書に援用される。

本発明は、概して関連付けられる画像センサを有する手術用内視鏡検査システムに関連し、より具体的には、手術用画像に表示された物理的な構造の３次元座標を決定することに関する。

定量的３次元（Quantitative three-dimensional）（Ｑ３Ｄ）視覚（vison）は、実世界のシーン（scene）における標的ポイントの実際の物理的な（ｘ、ｙ、ｚ）３Ｄ座標に関する数値情報を提供する。定量的３次元視覚により、人は、実世界のシーンの３次元知覚を得ることができるだけでなく、シーンにおける物体の物理的な寸法及びシーンにおける物体間の物理的な距離に関する数値情報を得ることができる。過去には、シーンに関する３Ｄ情報を決定するために飛行時間（time-of-flight）情報又は位相情報を使用する幾つかのＱ３Ｄシステムが提案されている。他のＱ３Ｄシステムは、シーンに関する３Ｄ情報を決定するために、構造化光（structured light）を使用していた。

飛行時間情報の使用は、"CMOS-compatible three-dimensional image sensor IC"と題する特許文献１に開示され、これは、ＣＭＯＳ製造技術を使用して共通ＩＣ上に作られたピクセル光検知検出器の２次元アレイを含む３次元イメージングシステムを開示している。各検出器は、物体ポイントから反射するように且つそのポイントに焦点を合わせられたピクセル検出器によって検出されるように、システム放射パルスについての飛行時間（ＴＯＦ）に正比例するクロックパルスの数を蓄積する、関連付けられる高速カウンタを有する。ＴＯＦデータは、特定のピクセルから放射光パルスを反射する物体上のポイントへの距離の直接のデジタル的尺度を提供する。第２の実施形態では、カウンタ及び高速クロック回路は排除され、代わりに、各ピクセル検出器は、電荷蓄積器及び電子シャッタを備える。シャッタは、光パルスが放射されるときに開き、その後、各ピクセル検出器が関連付けられるピクセル検出器の上に当たる戻り光子エネルギに応じて電荷を蓄積するように、閉じる。蓄積される電荷の量は、往復ＴＯＦの直接的な尺度を提供する。

時間遅延情報を使用は、"Apparatus and method for endoscopic 3D data collection"と題する特許文献２に開示され、これは、変調測定ビーム及び測定ビームを観察されることになる領域へ導くための光伝送機構を開示し、光伝送機構は、観察されることになる領域から少なくとも位相感応性画像センサへの信号ビームをイメージングするための光イメージング機構に加えて、照明レンズを含む。ミリメートル範囲での深さにおける差に対応し得る、時間遅延は、深さ及び距離情報を描く画像の生成を可能にする位相情報をもたらす。

視覚画像における物体の物理的な座標を決定するための構造化光の使用が、"Endoscope"と題する、特許文献３、及びC. Schmalz他による非特許文献１に開示されている。三角測量法が、表面の地形を測定するために使用される。異なるカラースペクトルの範囲を有し得る、投影光線の形態の構造化光は、表面に入射し且つ表見から反射される。反射された光線は、表面の３Ｄ座標を決定するために反射カラースペクトル情報を使用するように構成されるカメラによって観察される。より具体的には、構造化光の使用は、典型的には、３Ｄ表面に光パターンを照らすこと、及び物理的な物体の輪郭に起因する光の変形パターンに基づいて物理的な距離を決定することを伴う。

イメージャアレイカメラが作られており、それは、アレイにおけるピクセルに関するシーン深さ情報を計算するために使用さえることができる複数のピクセルアレイを含む。高解像度（ＨＲ）画像が、多数の低解像度（ＬＲ）画像から生成される。基準視点が選択され、ＨＲ画像が、その視点によって見られるように生成される。視差処理技術が、基準画像ピクセルに対する非基準画像に関するピクセル対応を決定するために、エイリアシングの効果を用いる。融合及び超解像が、多数のＬＲ画像からＨＲ画像を作るために用いられる。例えば、"Capturing and Processing Images using Monolithic Camera Array with Heterogeneous Imager"と題する、特許文献４、及びK. Venkataraman他の非特許文献２を参照されたい。

図１は、幾つかの実施形態による、既知のイメージャセンサ１８０の詳細を示す例示的な図面である。画像センサ１８０は、センサ１８４の配置を含む。配置内の各センサは、各次元に少なくとも２つのピクセルを有するピクセルの二次元配置を含む。各センサは、レンズスタック１８６を含む。各レンズスタック１８６は、対応する焦平面１８８を有する。各レンズスタック１８６は、対応する焦平面１８８に配置されるピクセルの対応する配置の上に画像を解像する別個の光学通路を作る。ピクセルは、光センサとして機能し、多数のピクセルを持つ各焦平面１８８は、画像センサとして機能する。焦平面１８８を持つ各センサは、他のセンサ及び焦平面によって占められるセンサ配置の領域と異なるセンサ配置の領域を占める。

図２は、センサＳ_１１乃至Ｓ_３３としてラベルされたセンサを含む図１のセンサの１８４の既知の配置の単純化された平面図を示す例示的な図面である。イメージャセンサ配置１８４は、複数のセンサＳ_１１乃至Ｓ_３３を含むよう半導体チップ上に製造される。Ｓ_１１乃至Ｓ_３３のそれぞれは、複数のピクセル（例えば、０．３２メガピクセル）を含み、独立した読出し制御及びピクセルデジタル化を含む周辺回路（図示せず）に結合される。幾つかの実施形態では、Ｓ_１１乃至Ｓ_３３は、図２に示されるようなグリッド形式に配置される。他の実施形態では、センサは、非グリッド形式に配置される。例えば、センサは、円形パターン、ジグザグパターン、散乱パターン、又はサブピクセルオフセットを含む不規則パターンに配置されてよい。

図１－２のセンサ１８４の各個別のピクセルは、マイクロレンズピクセルスタックを含む。図３は、図１－２のセンサの既知のマイクロレンズピクセルスタックの例示的な図面である。ピクセルスタック８００は、マイクロレンズ８０２を含み、このマイクロレンズは、酸化物層８０４の上に位置する。典型的には、酸化物層８０４の下に、カラーフィルタ８０６があってよく、このカラーフィルタは、窒化物層８０８の上に配置され、この窒化物層は、第２の酸化物層８１０の上に配置され、この第２の酸化物層は、個々のピクセルの活性領域８１４（典型的にはフォトダイオード）を含むシリコン層８１２の上に位置する。マイクロレンズ８０２の主な役割は、その表面に入射する光を集めること及びその光を小さい活性領域８１４の上に集束させることである。ピクセル口径８１６は、マイクロレンズの広がりによって決定される。

上述の既知のイメージャセンサ配置アーキテクチャに関する追加的な情報は、特許文献４（２０１０年１１月２２日出願）及び特許文献５（２０１２年９月１９日出願）に提供されている。

ＵＳ６，３２３，９４２ ＵＳ８，２６２，５５９ ＵＳ２０１２／０１９０９２３ ＵＳ８，５１４,４９１ ＵＳ２０１３／００７００６０

"An endoscopic 3D scanner based on structured light", Medical Image Analysis, 16 (2012) 1063-1072. "PiCam: An ultra-Thin high Performance Monolithic Camera Array"

１つの態様では、システム及び方法が、人工的な置換解剖学的構造（artificial replacement anatomical structure）又はプロステーシス（prosthesis）を作るために提供される。システムは、標的組織を含む解剖学的構造の第１の定量的３次元（Ｑ３Ｄ）モデルを作る。損傷を受けた又は健康でない組織の除去の後、システムは、標的組織が除去された場所に残りの組織を含む解剖学的構造の第２のＱ３Ｄモデルを作る。置換構造の第３のＱ３Ｄモデルが、第１のＱ３Ｄモデル及び第２のＱ３Ｄモデルに基づいて作られる。例えば、位置合わせの後、システムは、第３のＱ３Ｄモデルを作るために、第１のＱ３Ｄモデルから第２のＱ３Ｄモデルを取り去る（subtract）。さらに、システムは次に、第３のＱ３Ｄモデルを３Ｄプリンタによる使用に適するフォーマットに置換構造の３次元（３Ｄ）モデルに変換する。３Ｄプリンタは、３Ｄモデルを受信するように及び置換構造を作るように構成される。

他の態様では、システム及び方法が、手術シーンの正確なＱ３Ｄモデルを生成するために提供される。解剖学的構造が、光源で照明される。システムは、解剖学的構造の多数の異なる画像投影（image projections）が連続的に取得されるように、既知の且つ制御された連続で、Ｑ３Ｄ内視鏡を体腔の中で位置及び向きの組み合わせで位置決めする、又は「ジッタする（jitter）」。Ｑ３Ｄ内視鏡の多数の連続的な位置及び向きは、取得される３Ｄ画像において冗長な情報を提供するように選択される。システムは、冗長な情報に少なくとも部分的に基づいて、多数の連続的な３Ｄ画像を縫い合わせる（stitch together）ことによって、構造又はシーンの正確なＱ３Ｄモデルを作る。

他の態様では、インプラント性能の定量的３Ｄ評価のためのシステム及び方法が提供される。システムは、Ｑ３Ｄ内視鏡と、手術用インプラントを受けることを目的にされた内部解剖学的構造の第１のＱ３Ｄモデルを作るプロセッサと、を有する。第１のＱ３Ｄモデルに少なくとも部分的に基づいて、システムは、解剖学的構造に差異的に適合するインプラントのサイズを表す出力を作る。定位置に配置されたインプラントにより、システムは、構造及びインプラントの異なるＱ３Ｄモデルを作る。システムは、インプラントの臨床的な性能の特徴（clinical performance feature）を表す出力を作る。例えば、出力は、ステントの効果的な３Ｄカバレッジ長さ（3D coverage length）、ステントの血管断面カバレッジ（vessel cross-sectional coverage）、人工的な心臓弁の３Ｄのダイナミックな閉鎖、
部分的な膝置換インプラントの３Ｄ運動を定量的に表すように構成されることができる。

本開示の態様は、添付の図面と併せて読むとき、以下の詳細な説明から最も良く理解される。この業界での標準的な慣例に従って、様々な特徴は一定の縮尺で描かれていないことを強調しておく。実際、様々な特徴の寸法は、議論を明確にするために適宜拡大又は縮小される場合がある。また、本開示は、様々な例において参照数字及び／又は文字を繰り返して使用する場合がある。この繰返しは、簡略化と明瞭化を目的として行われており、論じられる様々な実施形態及び／又は構成の間の関係をそれ自体で規定するものではない。
既知のイメージャセンサの詳細を示す例示的な図面である。 図１のイメージャセンサの既知のセンサアレイの簡略化された平面図を示す例示的な図面である。 図２のセンサアレイのセンサ内のピクセルの既知のマイクロレンズピクセルスタックの例示的な図面である。 幾つかの実施形態による、ビューアを通じた手術シーンの斜視図を示す、例示的な図面である。 幾つかの実施形態による、１又は複数の機械的アームを用いて低侵襲外科処置を行うための遠隔操作手術システムの例示的なブロック図である。 幾つかの実施形態による、図５のシステムのうちの患者側システムの例示的な斜視図である。 幾つかの実施形態による、第１の画像キャプチャシステムを含む第１の内視鏡の例示的な図面である。 幾つかの実施形態による、第２の画像キャプチャシステムを含む第２の内視鏡の例示的な図面である。 幾つかの実施形態による、図７Ａの第１の画像キャプチャシステムを含む第１の内視鏡と関連付けられる制御ブロックを示すとともに動作中のシステムを示す、例示的なブロック図である。 幾つかの実施形態による、物理的標的の定量的三次元位置を決定するためのプロセスを表す例示的なフロー図である。 幾つかの実施形態による、標的を系統的に（systematically）選択するために図９のモジュールに概して対応するプロセスの特定の詳細を示す例示的なフロー図である。 幾つかの実施形態による、多数のセンサを含むとともに、３つの例示的な物体を含む例示的な三次元の物理的なワールドシーンを包含する視野を有するよう配置される、例示的なセンサイメージャアレイの例示的な図面である。 幾つかの実施形態による、多数のセンサ上への図１１の多数の物理的物体の投影を表す例示的な図面である。 幾つかの実施形態による、リアルワールドシーン内からの関心領域の選択を示す例示的な図面である。 幾つかの実施形態による、多数のセンサ内の投影画像の相対的な幾何学的オフセットに関する詳細を示す例示的な図面である。 幾つかの実施形態による、関心の領域（ＲＯＩ）内の割り当てられた基準センサ内の投影画像と位置合わせするよう右にシフトさせられたＲＯＩ内の特定の例示のセンサ内の投影画像を示す例示的な図面である。 幾つかの実施形態による、多数のセンサ上への選択された標的ポイントの投影を示す例示的な図面である。 幾つかの実施形態による、図１６の多数のセンサを含むイメージャアレイの一部及び物理的な空間内の位置に配置される選択された標的ポイントＴを示す、例示的な図面である。 幾つかの実施形態による、図１６の多数の画像センサ上への現在選択されている標的ポイントＴの投影の例示的な正面図である。 幾つかの実施形態による、図１７を参照して上述したような多数のセンサに対する現在選択されている標的の配置を示すとともに、センサのそれぞれにおける候補ピクセルについてのｙ方向ピクセルオフセットも示す、例示的な図面である。 幾つかの実施形態による、外科処置中にＱ３Ｄ情報を使用するための第１のプロセスを表す例示的なフロー図である。 幾つかの実施形態による、図２０のプロセスに従ってディスプレイスクリーンに表示されるメニュー選択を示す例示的な図面である。 幾つかの実施形態による、図２０のプロセスに従ってユーザ入力を受信することの特定の詳細を表す例示的な図面である。 幾つかの実施形態による、図２０のプロセスに従ってユーザ入力を受信することの特定の詳細を表す例示的な図面である。 幾つかの実施形態による、外科処置中にＱ３Ｄ情報を使用するための第２のプロセスを表す例示的なフロー図である。 幾つかの実施形態による、図２３のプロセスに従ってディスプレイスクリーンに表示されるメニュー選択を示す例示的な図面である。 幾つかの実施形態による、外科処置前の解剖学的構造の例示のビューを示す例示的な図面である。 例示の損傷を受けた部分の輪郭をより詳細に示す図２５Ａの視点１－１からの破線Ａ－Ａに概して沿った側面断面図である。 幾つかの実施形態による、損傷を受けた又は病気の骨組織を除去し且つ残りの健康な組織によって境界された空隙を残す外科処置の後の解剖学的構造の例示のビューを示す例示的な図面である。 病気の又は損傷を受けた骨組織の除去後の例示の健康な又は損傷を受けていない領域の輪郭を示す図２６Ａの視点１－１からの破線Ａ－Ａに概して沿った側面断面図である。 幾つかの実施形態による、標的領域の３つの異なる画像ビューポイントを取り込むための３つの異なる例示の「ジッタする（jitter）」位置の内視鏡を示す例示的な図面である。 幾つかの実施形態による、標的領域の３つの異なる画像ビューポイントを取り込むための３つの異なる例示の「ジッタする（jitter）」位置の内視鏡を示す例示的な図面である。 幾つかの実施形態による、標的領域の３つの異なる画像ビューポイントを取り込むための３つの異なる例示の「ジッタする（jitter）」位置の内視鏡を示す例示的な図面である。 幾つかの実施形態による、人工（prosthetic）インプラントのＱ３Ｄモデルを作るための、第１の除去前第１Ｑ３Ｄモデル及び除去後第２Ｑ３Ｄモデルの使用を表す例示的な図面である。 幾つかの実施形態による、人工インプラントのＱ３Ｄモデルを作るための、第１の除去前第１Ｑ３Ｄモデル及び除去後第２Ｑ３Ｄモデルの使用を表す例示的な図面である。 幾つかの実施形態による、人工構造モデルのＱ３Ｄを３次元（３Ｄ）プリンタにより使用可能であるファイル構造に変換するためのプロセスを表す例示的な図面である。 健康な又は損傷を受けていない領域と嵌合する（interfit）するように人工インプラントを作るための３Ｄプリンタを使用するプロセスを表す例示的な図面である。 人工インプラントを残りの領域とぴったりと嵌合するための外科処置後の解剖学的構造の例示のビューを示す例示的な図面である。 例示の残りの領域の輪郭を示す図３０Ａの視点１－１からの破線Ａ－Ａに概して沿った側面断面図である。 例示の全体の膝の骨置換プロステーシス装置を備える膝の骨の正面図を示す例示的な図面である。 部分的な膝置換プロステーシス装置を備える膝の骨の正面図を示す例示的な図面である。 図３１Ａの例示の全体の膝の骨置換プロステーシス装置の人工の脛骨プレート及び大腿骨コンポーネントを示す例示的な図面である。 図３１Ｂの部分的な膝置換プロステーシス装置を備える膝の骨の背面図を示す例示的な図面である。 シース又はデリバリカテーテルから展開中の従来技術の組織イメージング装置の１つのバリエーションの側面図を示す例示的な図面である。 イメージング及び／又は診断カテーテルに取り付けられたオプションで伸張可能なフード又はシースを有する図３３Ａの従来技術の展開された組織イメージング装置を示す例示的な図面である。 従来技術の展開された組織イメージング装置の端面図を示す例示的な図面である。 撮像されることになる組織に接して又は隣接して位置する従来技術の展開された組織イメージャの１つの例及び、伸張可能なフードの中から血液を排除する、食塩水のような、流体の流れを示す例示的な図面である。 撮像されることになる組織に接して又は隣接して位置する従来技術の展開された組織イメージャの１つの例及び、伸張可能なフードの中から血液を排除する、食塩水のような、流体の流れを示す例示的な図面である。 フードの遠位開口の上に透明なエラストマ膜の少なくとも１つの層を有する従来技術のイメージングフードの斜視図及び端面図をそれぞれ示す例示的な図面である。 フードの遠位開口の上に透明なエラストマ膜の少なくとも１つの層を有する従来技術のイメージングフードの斜視図及び端面図をそれぞれ示す例示的な図面である。 幾つかの実施形態による、フードの遠位開口の上に透明なエラストマ膜の少なくとも１つの層を有するイメージングフードを持つＱ３Ｄ内視鏡の斜視図を示す例示的な図面である。 幾つかの実施形態による、右冠動脈（ＲＣＡ）と連通する、小孔（ＯＳ）に当接するイメージセンサアレイを含むフードの例示の使用を示す例示的な図面である。 幾つかの実施形態による、小孔（ＯＳ）に当接するとともにこの小孔にステントが右上行動脈（ＲＳＡ）に設置されている、イメージセンサアレイを含むフードの例示の使用を示す例示的な図面である。 開位置にある、人工の心臓弁インプラントに隣接して配置されるＱ３Ｄ内視鏡を示す例示的な図面である。 閉位置にある、人工の心臓弁インプラントに隣接して配置されるＱ３Ｄ内視鏡を示す例示的な図面である。 ステント留置性能を定量的に評価するために使用されることができる定量的基準の例を示す。

以下の記載は、任意の当業者が、画像センサの視野内の物理的構造の三次元座標を決定するために、各画像センサが他の画像センサのピクセルアレイから分離されているピクセルアレイを含む、多数の画像センサを有する手術用内視鏡検査システムを作ること及び使用することを可能にするために、提示される。実施形態に対する様々な修正は当業者にすぐに明らかになるであろうとともに、本明細書で定められる包括的な原理は、発明的な主題の精神及び範囲から逸脱せずに、他の実施形態及び応用に適用され得る。さらに、以下の記載では、様々な詳細が、説明の目的のために述べられる。しかし、当業者は、発明的な主題がこれらの特定の詳細を使用せずに実施され得ることを認識するであろう。他の場合には、不必要な詳細で開示を曖昧にしないために、よく知られた機械構成部品、プロセス及びデータ構造は、ブロック図の形態で示される。同一の参照番号が、異なる図面の同じアイテムの異なる図を表すために、用いられ得る。以下に参照される図面のフロー図は、プロセスを表すために用いられる。コンピュータシステムが、これらのプロセスの幾つかを遂行するよう構成され得る。コンピュータ実装プロセスを表すフロー図の中のモジュールは、これらのモジュールを参照して記載される行為を実行するコンピュータプログラムコードに従ったコンピュータシステムの構成を表す。したがって、発明的な主題は、図示された実施形態に限定されることが意図されるものではなく、本明細書で開示される原理及び構成と一致する最も広い範囲が与えられるべきである。

概要

幾つかの実施形態によれば、センサアレイを含むイメージャが内視鏡と関連付けられる。この画像センサアレイは多数のセンサを含み、各センサはピクセルのアレイを含む。内視鏡の部分が人間の体腔内に挿入され、画像センサアレイの視野内の標的物体が光源を使用して照明される。標的物体の物理的位置及び／又は寸法が、アレイの個々のセンサ上に投影された標的物体の画像に基づいて決定される。

図４は、幾つかの実施形態による、ビューア３１２を通じた手術シーンの斜視図を示す例示的な図面である。２つのビューイング要素（viewing elements）４０１Ｒ、４０１Ｌを有するビューイングシステム(viewing system)が良好な３Ｄビューイング視点(viewing perspective)を提供することができる。手術シーンにおける物理的構造についての物理的寸法及び／又は位置情報を表す数値が手術シーン画像の上にオーバーレイされて示されている。例えば、数値的距離値“ｄ＿Ｉｎｓｔｒ＿Ｔｒｇｔ”が、器具４００と標的４１０との間のシーン内に表示されて示されている。

遠隔操作医療システム

遠隔操作は、ある距離を置いた機械の操作を指す。低侵襲遠隔操作医療システムでは、外科医は、患者の体の中の手術部位を見るために、カメラを含む内視鏡を用い得る。立体視画像が取り込まれ、これは外科処置中に深さの知覚を可能にする。内視鏡に取り付けられ且つイメージャセンサアレイを含むカメラシステムが、幾つかの実施形態にしたがって、定量的三次元情報に加えて、三次元画像を生成するために使用されることができるカラー及び照明データを提供する。

図５は、幾つかの実施形態による、１又は複数の機械的アーム１５８を使用して低侵襲外科処置を行うための遠隔操作手術システム１００の例示的なブロック図である。システム１００の態様は、遠隔ロボット式且つ自律的な動作機能を含む。これらの機械的アームは、しばしば、器具を支持する。例えば、機械的手術アーム（例えば、中央の機械的手術アーム１５８Ｃ）が、内視鏡に関連付けられるＱ３Ｄ画像センサアレイのような、立体又は三次元手術画像キャプチャ装置１０１Ｃを備える内視鏡を支持するために使用され得る。機械的手術アーム１５８Ｃは、画像キャプチャ装置１０１Ｃを含む内視鏡を機械的アームに機械的に固定するために、無菌アダプタ、又は、クランプ、クリップ、ネジ、スロット／溝、又は、他の締結機構を含み得る。逆に、画像キャプチャ装置１０１Ｃを備える内視鏡は、機械的手術アーム１５８Ｃの物理的輪郭及び／又は構造と確実に相互嵌合（interfit）するよう、機械的手術アーム１５８Ｃの物理的輪郭及び／又は構造と相補的な物理的輪郭及び／又は構造を含み得る。

ユーザ又はオペレータＯ（一般的に外科医）が、マスタ制御コンソール１５０で制御入力装置を操作することによって、患者Ｐに低侵襲外科処置を行う。オペレータは、立体ディスプレイ装置１６４を通じて患者の体の内側の手術部位の画像のビデオフレームを見ることができ、この立体ディスプレイ装置は、図４を参照して上述したビューア３１２を含む。コンソール１５０のコンピュータ１５１が、制御線１５９を介して遠隔操作式に制御される内視鏡手術器具１０１Ａ－１０１Ｃの動きを命令し、（患者側カートとも称される）患者側システム１５２を用いて器具の動きをもたらす。

患者側システム１５２は、１又は複数の機械的アーム１５８を含む。典型的には、患者側システム１５２は、対応する位置決めセットアップアーム１５６によって支持される（一般的に機械的手術アーム１５８と称される）少なくとも３つの機械的手術アーム１５８Ａ－１５８Ｃを含む。中央の機械的手術アーム１５８Ｃは、カメラの視野内の画像についてのＱ３Ｄ情報の取り込みに適した内視鏡検査カメラ１０１Ｃを支持し得る。中央の左右にある機械的手術アーム１５８Ａ及び１５８Ｂは、組織を操作する器具１０１Ａ及び１０１Ｂをそれぞれ支持し得る。

図６は、幾つかの実施形態による、患者側システム１５２の例示的な斜視図である。患者側システム１５２は、ベース１７２によって支持されるカートコラム１７０を有する。１又は複数の機械的挿入手術アーム／リンク１５８が、患者側システム１５２の位置決め部分の一部である１又は複数のセットアップアーム１５６にそれぞれ取り付けられる。ベース１７２上のほぼ中央位置に置かれる、カートコラム１７０は、釣合サブシステム及び制動サブシステムの構成部品を汚染から守る保護カバー１８０を含む。

モニタアーム１５４を除き、各機械的手術アーム１５８は、器具１０１Ａ－１０１Ｃを制御するために使用される。さらに、各機械的手術アーム１５８は、セットアップアーム１５６に結合され、このセットアップアームは、本発明の１つの実施形態において、キャリッジハウジング１９０に結合される。１又は複数の機械的手術アーム１５８は、それぞれ、図６に示されるように、それらのそれぞれのセットアップアーム１５６によって支持される。

機械的手術アーム１５８Ａ－１５８Ｄは、追跡システムによる初期的取得及び器具の追跡を支援するために、生の(raw)補正されていない運動学的情報を生成するよう、１又は複数の変位トランスデューサ(displacement transducers)、向きセンサ、及び／又は位置センサ１８５をそれぞれ含み得る。器具も、本発明の幾つかの実施形態では、変位トランスデューサ、位置センサ、及び／又は向きセンサ１８６を含み得る。さらに、１又は複数の器具は、取得及び器具の追跡を支援するためにマーカ１８９を含み得る。

遠隔操作医療システムに関する追加の情報は、米国特許出願公開第２０１２／００２０５４７号（２０１１年９月３０日出願）において提供されている。

内視鏡イメージャシステム

図７Ａは、幾つかの実施形態による、第１の画像キャプチャシステム１０１Ｃを備える第１の内視鏡の例示的な図面である。画像キャプチャシステム１０１Ｃは、細長い部分２０２を含む内視鏡を含み、この細長い部分は、第１の端部分２０４と、第２の端部分２０６と、第１の端部分２０４の先端部分２０８とを含む。第１の端部分２０４は、人間の体腔内に挿入されるように寸法決めされる。多数の画像センサ（図示せず）を含むセンサアレイ２１０が、第１の端部分２０４の先端部分２０８で結合される。幾つかの実施形態によれば、センサアレイ２１０の各センサは、ピクセルのアレイを含む。細長い部分２０２は、物体がイメージャセンサアレイ２１０によって撮像されることができるように、先端部分２０８を体腔内の標的物体の十分に近くに配置するのに十分な長さを有する。幾つかの実施形態によれば、第２の端部分２０６は、機械的アーム（図示せず）と確実に相互嵌合するよう、概して上述されたような物理的輪郭及び／又は構造（図示せず）を含み得る。細長い部分２０２はまた、イメージャセンサアレイ２１０と情報を電子的に通信するよう、１又は複数の電子信号経路２１２を含む。光源２１４が、撮像されるべき物体を照らすために、配置される。幾つかの実施形態によれば、光源２１４は、例えば、非構造化光(unstructured light)、白色光、カラーフィルタされた光(color filtered light)、又は何らかの選択された波長の光であることができる。幾つかの実施形態によれば、光源２１４は、先端２０８に配置され、他の実施形態では、それはオプションで内視鏡１０１Ｃと別個に配置される。

図７Ｂは、幾つかの実施形態による、第２の画像キャプチャシステム１０１Ｃ２を備える第２の内視鏡の例示的な図面である。第１の画像キャプチャシステム１０１Ｃを備える第１の内視鏡のものと本質的に同じである第２の画像キャプチャシステム１０１Ｃ２の態様は、同一の参照番号によって示され、再び記載されない。ロッドレンズのような、ライトパイプ入力への入力が、第１の端部分２０４の先端部分２０８に配置される。ライトパイプボディは、ライトパイプ入力として受け取られる画像を先端部分２０８から物理的に移動させられたイメージャセンサアレイ２１０に伝えるように、細長い部分２０２内に延びる。幾つかの実施形態では、イメージャセンサアレイ２１０は、体腔内の物体の観察中にイメージャセンサアレイ２１０が体腔の外側に配置されるよう、先端部分２０８から十分に遠くに移動させられる。

図８は、幾つかの実施形態による、図７Ａの第１の画像キャプチャシステム１０１Ｃを備える第１の内視鏡１０１Ｃと関連付けられる制御ブロックを示すとともに動作中のシステムを示す、例示的なブロック図である。イメージャセンサアレイ２１０によって取り込まれる画像は、データバス２１２を通じてビデオプロセッサ１０４に送られ、このビデオプロセッサは、バス１０５を介してコントローラ１０６と通信する。ビデオプロセッサ１０４は、カメラ制御ユニット（ＣＣＵ）及びビデオ信号検出器（ＶＳＤ）ボードを含み得る。ＣＣＵは、明るさ、色スキーム、ホワイトバランス等のような、イメージングセンサ２１０の様々な設定をプログラムする又は制御する。ＶＳＤは、イメージングセンサから受信されるビデオ信号を処理する。代替的には、ＣＣＵ及びＶＳＤは、１つの機能ブロック内に統合される。

幾つかの実施形態によれば、１又は１より多いプロセッサを含むプロセッサシステムが、プロセッサ機能を実行するように構成される。幾つかの実施形態では、プロセッサシステムは、本明細書に記載されるプロセッサ機能を実行するために協働するように構成される多数のプロセッサを含む。したがって、１又は複数の機能を実行するように構成される少なくとも１つのプロセッサへの言及は、機能が１つのプロセッサだけによって或いは協働する多数のプロセッサによって実行され得るプロセッサシステムを含む。

１つの実装において、プロセッサ及びストレージデバイス（図示せず）を含むコントローラ１０６は、細長い部分２０２の先端２０８に隣接するシーンにおけるポイントの物理的な定量的３Ｄ座標を計算し、３Ｄシーンを構成するようにビデオプロセッサ１０４及び３Ｄディスプレイドライバ１０９の両方を駆動させ、この３Ｄシーンはその後３Ｄディスプレイ１１０上に表示され得る。幾つかの実施形態によれば、例えば、シーン内の物体の表面輪郭の寸法の数値的な印(numerical indicia)又は手術シーン内の物体からの距離のような、手術シーンに関するＱ３Ｄ情報が生成される。以下により完全に説明されるように、数値的なＱ３Ｄ深さ情報は、距離情報又は表面輪郭情報で手術シーンの立体視画像に注釈を付けるために使用されることができる。

データバス１０７及び１０８は、ビデオプロセッサ１０４、コントローラ１０６、及びディスプレイドライバ１０９の間で、情報及び制御信号を交換する。幾つかの実施形態では、これらの要素は、内視鏡のボディの内側で画像センサアレイ２１０と統合されることができる。代替的に、それらは、内視鏡の内部に及び／又は外部に分散されることができる。内視鏡は、標的１２０を含む手術シーンへの視覚化されたアクセスを提供するために、カニューレ１４０を介して身体組織１３０を貫通するように配置されて示されている。代替的には、内視鏡及び１又は複数の器具は、手術部位に達するように、単一の開口－単一の切開部又は自然開口部－を通過してもよい。標的１２０は、解剖学的標的、他の手術器具、又は患者の体の内側の手術シーンの任意の他の特徴であることができる。

入力システム１１２は、３Ｄ視覚表現を受信し、それをプロセッサ１０６に提供する。入力システム１１２は、３Ｄモデルを生成するシステム（図示せず）からＣＲＴ又はＭＲＩのような３Ｄモデルを受信する電子通信バス（図示せず）に結合されるストレージデバイスを含み得る。プロセッサ１０６は、例えば、Ｑ３Ｄモデルと３Ｄ視覚表現との間に意図されるアライメント（alignment）を計算するために使用されることができる。より具体的には、限定ではなく、入力システム１１２は、システム１５２と、ＭＲＩ、ＣＴ、又は超音波撮像システムのような、イメージングシステム（図示せず）との間に、イーサネット（登録商標）通信接続を構築するように構成される、プロセッサを含み得る。他のイメージングシステムが用いられてよい。Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ、光学等のような、他の種類の通信接続が使用され得る。代替的には、システム１５２及びイメージングシステムは、１つのより大きいシステムに統合され得る。アライメントプロセスの結果は、外部デバイス又はシステムへの更なる操作のために提供される又は図２５に示されるように表示される、プロセッサ１０６と関連付けられるストレージデバイスにセーブされ得る。

シーンの画像に加えられるＱ３Ｄ情報の例

図４を再び参照すると、図４は、幾つかの実施形態による、図５のマスタ制御コンソール１５０のビューア３１２の斜視図を示す例示的な図面である。幾つかの実施形態によれば、三次元眺望(three-dimensional perspective)を提供するために、ビューア３１２は、各目のための立体画像を含む。図示されるように、手術部位の左画像４００Ｌ及び右画像４００Ｒは、左視認要素４０１Ｌ及び右視認要素４０１Ｒそれぞれの中に、任意の器具４００及び標的４１０を含む。ファインダ（viewfinders）の画像４００Ｌ及び４００Ｒは、左ディスプレイ装置４０２Ｌ及び右ディスプレイ装置４０２Ｒそれぞれによって提供され得る。ディスプレイ装置４０２Ｌ，４０２Ｒは、オプションで、陰極線管（ＣＲＴ）モニタ、液晶ディスプレイ（ＬＣＤｓ）、又は他の種類の画像ディスプレイ装置（例えば、プラズマ、デジタル光投影等）のペアであり得る。本発明の好適な実施形態では、画像は、カラーＣＲＴｓ又はカラーＬＣＤｓのような、一対のカラーディスプレイ装置４０２Ｌ、４０２Ｒによって、カラーで提供される。既存のデバイスとの後方互換性をサポートするために、立体視ディスプレイ装置４０２Ｌ及び４０２Ｒは、Ｑ３Ｄシステムと共に用いられ得る。代替的に、Ｑ３Ｄイメージングシステムは、３Ｄモニタ、３ＤＴＶ、又は３Ｄ効果眼鏡の使用を必要としないディスプレイのような自動立体視ディスプレイに接続されることができる。

２つのビューイング要素４０１Ｒ、４０１Ｌを有するビューイングシステムが、良好な３Ｄビューイング視点を提供することができる。Ｑ３Ｄイメージングシステムは、このビューイング視点に手術シーン中の物理的構造についての物理的寸法情報を補足する。Ｑ３Ｄ内視鏡システムと共に用いられる立体ビューア３１２は、手術シーンの立体画像の上にオーバーレイされるＱ３Ｄ情報を表示することができる。例えば、図４に示されるように、器具４００と標的４１０との間の数値的Ｑ３Ｄ距離値“ｄ＿Ｉｎｓｔｒ＿Ｔｒｇｔ”が、立体ビューア３１２内に表示されることができる。

物理的位置及び寸法情報を手術シーンの３Ｄ眺望の上にオーバーレイするために使用されることができるビデオ立体ビューイングシステムの説明は、本明細書に参照によって明示的に援用される、米国特許出願公開第２０１２／００２０５４７号（２０１１年９月３０日出願）、段落００４３－００５３及び対応する図面に提供されている。

定量的三次元物理的情報を処理すること

図９は、幾つかの実施形態による、物理的標的の定量的三次元位置を決定するためのプロセスを表す例示的なフロー図である。プロセスは、図８の実施形態の画像キャプチャシステム１０１Ｃを備える内視鏡を参照して記載される。モジュール４０１は、イメージングセンサＳ_ｉｊからビデオデータを取得するようにコントローラ１０６を設定する。画像センサアレイ２１０は視野全体を「撮像」するが、画像センサアレイ２１０内の異なるセンサ及び異なるセンサ内の異なるピクセルが視野内の異なる物体ポイントからの画像投影によって照らされ得ることが理解されるであろう。ビデオデータは、例えば、色及び光強度データを含み得る。各センサの各ピクセルは、その上に投影される画像の色及び強度を示す１又は複数の信号を提供し得る。モジュール４０２は、物理的ワールドビュー(physical world view)内で選択される関心領域から標的を系統的に選択するようにコントローラを設定する。モジュール４０３は、初期（ｘ_０，ｙ_０、ｚ_０）セットを用いて標的３Ｄ座標（ｘ、ｙ、ｚ）の計算を開始するようコントローラを設定する。次に、アルゴリズムが、標的の投影画像を受信する全てのセンサＳ_ｉｊからの画像多様性データを用いることによって、整合性（consistency）について座標をチェックする。座標計算は、許容できる精度に達するまで、決定モジュール４０４で正確化される（refined）。決定モジュール４０４はまた、現在計算されている物理的位置が十分に正確であるかどうかを決定するようコントローラを設定する。現在計算されている位置が十分に正確でないという決定に応答して、制御は、異なる可能な物理的位置を試すためにモジュール４０３に戻る。現在計算されている位置が十分に正確であるという決定に応答して、モジュール４０５は、関心領域全体がスキャンされたかどうかを決定するようにコントローラを設定する。関心領域全体がスキャンされていないという決定に応答して、制御はモジュール４０２に戻り、異なる標的が選択される。関心領域全体がスキャンされたという決定に応答して、制御はモジュール４０６に進み、このモジュール４０６は、関心のあるイメージングボリュームの三次元モデルを組み立てるようコントローラを設定する。標的の構造の物理的位置を示す三次元情報に基づく標的の３Ｄ画像の組立ては、当業者に知られており、ここでは記載される必要はない。モジュール４０７は、更なる検討及び操作のために多数の標的について決定される物理的位置情報を用いて開発される３Ｄモデルを格納するようにコントローラを設定する。例えば、３Ｄモデルは、患者の器官の特定の寸法に対してインプラントをある大きさに形成することのような外科用途のために、後に用いられ得る。更に異なる例では、新しい手術器具１０１がロボットシステム１５２に装着されるとき、新しい器具を以前の手術シーンと関係付けるために、３Ｄモデルを呼び戻し、それをディスプレイ１１０上に表示することが必要になることがある。モジュール４０７はまた、３Ｄ視覚表現とＱ３Ｄモデルとの間のアライメントの結果を格納し得る。モジュール４０８は、定量的３Ｄビューを表示するために多数の標的について決定された物理的位置情報を用いるようにコントローラを設定する。Ｑ３Ｄビューの実施例は、図４に示す距離値“ｄ＿Ｉｎｓｔｒ＿Ｔｒｇｔ”である。

立体視ディスプレイは三次元における見ることの錯覚を生むことが留意される。しかし、実際の３Ｄディスプレイは、ホログラフィック画像又は湾曲面の上に投影される画像のような、３Ｄ画像を提示する。典型的には、３Ｄディスプレイは、ビューイング視点を変えるよう、ビューが動くことを可能にする。

図１０は、幾つかの実施形態による、図９のモジュール４０２に概して対応するプロセスの特定の詳細を示す例示的なフロー図である。モジュール４０２．１は、センサアレイ２１０の中の全てのセンサから物理的なワールドシーンの画像を取り込むようにコントローラを設定する。モジュール４０２．２は、取り込まれたシーンの中から関心領域を特定するようにコントローラを設定する。モジュール４０２．３は、同じ標的の投影によって照らされる異なるセンサのピクセル位置を特定するために、関心領域内のシーン画像の間にあるようなベストマッチ（best match）を探すようにコントローラを設定する。後に説明されるように、最良のマッチング(best matching)は、限定ではなく、シフトされる画像と基準画像との間の二次元相互相関関数を最大化するまでセンサＳ_ｉｊから個々の画像をシフトさせることによって達成され得る。基準画像は、例えば、センサＳ_１１から受け取られるシーン画像であり得る。モジュール４０２．４は、同じ標的からの投影によって照らされる候補ピクセルを特定するようにコントローラを設定する。モジュール４０２．５は、候補ピクセルが同じ標的からの投影によって照らされているかどうかを決定するために、選択される標的についての２以上のピクセル座標（Ｎ_ｘ，Ｎ_ｙ）を計算するように、コントローラを設定する。決定モジュール４０２．６は、候補ピクセルが同じ標的からの投影によって照らされていることを計算される２Ｄピクセル座標値が示しているかどうかを決定する。多数のセンサＳ_ｉｊで同じシーンを見ることによってもたらされる画像多様性は、様々な個々の画像Ｓ_ｉｊ内の特定の標的と関連付けられる（Ｎ_ｘ，Ｎ_ｙ）を正しく特定する役割を果たす。例えば、幾つかの実施形態によれば、３つのセンサ、Ｓ_１１，Ｓ_１２，Ｓ_１３のみが用いられる単純化されたシナリオを仮定すると、２Ｄピクセル座標の三つ組［（Ｎ_ｘ１１，Ｎ_ｙ１１）、（Ｎ_ｘ１２，Ｎ_ｙ１２）、（Ｎ_ｘ１３，Ｎ_ｙ１３）］が、［Ｓ_１１，Ｓ_１２及びＳ_１３］上への同じ標的の投影に対応しない場合、（ｙ方向における投影シフトの推定である）量

及び

は、異なる値を生む。後に提示される方程式によれば、

及び

は、ピクセル座標（Ｎ_ｘ１１，Ｎ_ｙ１１）、（Ｎ_ｘ１２，Ｎ_ｙ１２）、（Ｎ_ｘ１３，Ｎ_ｙ１３）が同じ標的の投影から来る場合、同じでなければならない。

及び

が略等しくない場合、制御はモジュール４０２．４に戻り、センサ平面Ｓ_ｉｊ上への標的投影のための最良の候補を正確化する。既述のように、上記はアルゴリズムの簡略化された実装に過ぎない。一般的には、図１０のモジュール４０２．６に示すように、

と

との間の差のノルム（norm）は、モジュール４０２がその反復を完了するために、許容可能な許容差（tolerance)ε未満でなければならない。同様の制約が、ｘ軸、

及び

についての対応する推定について満たされなければならない。候補ピクセルが同じ標的からの投影によって照らされていることを計算される２Ｄピクセル座標値（Ｎ_ｘ，Ｎ_ｙ）が示すという決定に応答して、制御はモジュール４０３に進む。

各ピクセルはワールドシーンから色及び強度情報を直接取り込むことが理解されるであろう。さらに、上記プロセスにしたがって、各ピクセルは、ピクセル上に投影されるワールドビュー内の物理的物体の（ｘ，ｙ，ｚ）座標と関連付けられる。したがって、色情報、照明強度情報、及び物理的位置情報、即ち、色及び照明を投影された物理的物体の位置が、非一時的コンピュータ可読ストレージデバイス内でピクセルと関連付けられることができる。以下の表１は、この関連を例示する。

Ｑ３Ｄ情報を決定することの例

投影マッチングの例

図１１は、幾つかの実施形態による、３つの例示的な物体を含む例示的な三次元物理的ワールドシーンを包含する視野を有するように配置されるセンサＳ_１１－Ｓ_３３のアレイを含む例示のセンサアレイ２１０の例示的な図面である。アレイの各センサＳ_ｉｊは、各次元に少なくとも２つのピクセルを有するピクセルの二次元配置を含む。各センサは、レンズスタックの焦平面に配置されるピクセルの対応する配置上に画像を解像する別個の光学通路を作るレンズスタックを含む。各ピクセルは、光センサとして機能し、その多数のピクセルを備える各焦平面は、画像センサとして機能する。その焦平面を備える各センサＳ_１１－Ｓ_３３は、他のセンサ及び焦平面によって占められるセンサアレイの領域と異なるセンサアレイの領域を占める。適切な既知の画像センサアレイは、上述の米国特許第８，５１４，４９１号（２０１０年１１月２２日出願）及び米国特許出願公開第２０１３／００７００６０号（２０１２年９月１９日に出願）に開示されている。

幾つかの実施形態によれば、センサは、Ｎ_ｘ及びＮ_ｙ、ｘ方向及びｙ方向におけるそれらのピクセル総数によって、並びに視野角度θ_ｘ及びθ_ｙによって特徴付けられる。幾つかの実施形態では、ｘ軸及びｙ軸についてのセンサ特性は、同じであることが予期される。しかし、代替的な実施形態では、センサは、非対称的なｘ軸及びｙ軸特性を有する。同様に、幾つかの実施形態では、全てのセンサは、同じピクセル総数及び同じ視野角度を有する。センサは、良好に制御された方法でアレイ２１０に亘って分散される。例えば、センサは、図示された二次元格子上でδ距離だけ離れ得る。センサ配置ピッチδは、そのような格子に亘って対称的又は非対称的であり得る。

図１１に示される実施形態では、センサは、センサＳ_１１－Ｓ_１３が最上列を占め、センサＳ_２１－Ｓ_２３が中央列を占め、センサＳ_３１－Ｓ_３３が底列を占める、長方形格子に配置される。各センサは、Ｎ行のピクセル及びＮ列のピクセルを含む。光源によって生成される、破線によって示される、光線が、三角形の第１の物体、球形の第２の物体、及び長方形の第３の物体から、イメージャアレイの各センサに反射させられる。例示目的で、最上列のセンサＳ_１１，Ｓ_１２，Ｓ_１３への光線のみが示されている。光源は、例えば、非構造化白色光又は周囲光であり得る。代替的に、光源は、可視又は赤外スペクトルのような、選択された波長で光を提供し得る、或いは、光は、例えば、選択された波長（例えば、色）又は波長の範囲（例えば、色の範囲）を提供するようフィルタをかけられる或いは分割され得る。光線は物体の各々からセンサＳ_２１－Ｓ_３３に同様に反射させられることが理解されるであろう。しかし、説明を単純化するために、これらの他の光線は示されていない。

モジュール４０１及び４０２．１によれば、センサアレイ２１０のセンサは、ワールドビューから画像を別個に取り込む。図１２は、幾つかの実施形態による、センサＳ_ｉｊ（Ｓ_１１，Ｓ_１２，Ｓ_１３のみが示されている）上への図１１の３つの物体の投影を表す例示的な図面である。当業者は、そのセンサに入射する反射光線が、その視野内にある物体の画像を投影することを理解するであろう。より具体的には、イメージャアレイの多数の異なる画像センサに入射する視野内の物体から反射した光線は、三次元から二次元への物体の多数の透視投影、即ち、反射光線を受ける各センサ内の異なる投影を生成する。特に、物体の投影の相対的な位置は、Ｓ_１１からＳ_１３に進行するときに、左から右にシフトさせられる。入射光線によって照らされる画像センサピクセルは、入射光に応答して電気信号を生成する。従って、各画像センサに関して、電気信号のパターンが、画像センサ内の画像投影の形状及び場所を示す反射光線に応答して、ピクセルによって生成される。

モジュール４０２．２にしたがって、関心領域がワールドシーンから選択される。図１３は、シーン内からの関心領域（ＲＯＩ）の選択を示す例示的な図面である。この例において、三角形の第１の物体、球形の第２の物体、及び長方形の第３の物体は、全て、選択される関心領域内にある。このステップは、オペレータからの入力を受け入れることによって達成されることができる、又は、指定の方法でソフトウェアによって、若しくはオペレータ入力及び自動ソフトウェア制御選択の組み合わせによって設定されるコンピュータを用いて自動的に行われることができる。例えば、幾つかの実施形態では、ワールドシーンは、人間の解剖学的構造の内腔を示し得るとともに、物体は内部の身体器官又は手術器具又はそれらの部分であり得る。外科医は、内腔内からリアルタイムの視覚的な映像（imagery）を受け取ることができるとともに、人間の解剖学的構造の組織領域及び体腔内に突出する手術器具の部分を見ることができる。外科医は、それについての位置情報が、例えば、テレストレーション（telestration）ビデオマーカのような、よく知られた技法を通じて決定されることになる、視野内のこれらの物体を特定し得る。そのようなオペレータ要求に替えて或いはそれに加えて、エッジ検出アルゴリズムのような自動化されたプロセスが、関心領域（ＲＯＩ）を特定するために使用されることができる。

モジュール４０２．３によれば、ベストマッチが、同じ標的物体の投影によって照らされる異なるセンサ内のピクセル位置を特定するために、関心領域内のシーン画像の間で決定される。図１４は、幾つかの実施形態による、センサＳ_１１，Ｓ_１２，Ｓ_１３内の投影画像の相対的な幾何学的オフセットに関する追加的な詳細を示す例示的な図面である。幾つかの実施形態によれば、センサＳ_１３からの画像は基準画像であると見なされ、選択されるＲＯＩ内の物体の投影は、センサＳ_１３内のそれらの位置に対してセンサＳ_１２内の量σ_２３ピクセルだけ右にオフセットされている。同様に、選択されるＲＯＩ内の物体の投影は、センサＳ_１３内のそれらの位置に対してセンサＳ_１１内の量σ_１３ピクセルだけ右にオフセットされている。センサＳ_１２，Ｓ_１１のＦＯＶビューイング軸はそれぞれセンサＳ_１３のＦＯＶビューイング軸の右にオフセットされるので（このようなビューイング軸は、センサの平面に対して垂直である）、ＲＯＩからの投影画像は、センサＳ_１１に対してセンサＳ_１３及びＳ_１１内で左にオフセットされることが理解されるであろう。

図１５は、幾つかの実施形態による、ＲＯＩ内のセンサＳ_１３内の投影画像と整列するように右にシフトさせられたＲＯＩ内のセンサＳ_１１及びＳ_１２内の投影画像を示す例示的な図面である。現在の例では、センサＳ_１３は、基準センサとして機能するように設計されている。他のセンサが、アライメント及び幾何学的寸法を決定用に選択され得ることが理解されるであろう。選択されるＲＯＩ内の物体の投影は、指定されるセンサ、例えば、センサＳ_１３で特定され、他のセンサ内の、例えば、センサＳ_１１及びＳ_１２内の投影は、それらが指定されるセンサ内の投影と整列するまで、シフトさせられる。このように、選択されるＲＯＩ内の物体の対応する投影は、指定されるセンサ内の投影の位置に対するそれらのオフセットと共に、他のセンサ内で特定されることができる。

具体的には、例えば、３つの例示の物体の投影は、センサＳ_１２内で量σ_２３ピクセルだけ右にシフトさせられ、３つの例示の物体の投影は、センサＳ_１３内で量σ_１３ピクセルだけ右にシフトさせられる。この例示的な例では、説明を単純にするために、投影はｙ方向のみにオフセットされ、ｘ方向にはオフセットされないことが仮定されているが、同じ原理がセンサ間にあるようなｘ方向投影オフセットに当て嵌まる。さらに、この例はリニアオフセット（linear offsets）を示しているが、当業者は、例えば、異なるセンサにおける相対的なオフセットを有する投影と整列するよう、回転のような他の変換を適用することができる。

幾つかの実施形態によれば、例えば、二次元（２Ｄ）相互相関技法又は主成分分析（ＰＣＡ）が、Ｓ_１３内のＲＯＩ内の投影をＳ_１２内のＲＯＩ内の投影と整列させ且つＳ_１３内のＲＯＩ内の投影をＳ_１１内のＲＯＩ内の投影と整列させることができる。一般的に、意図は、基準として指定されるセンサからの画像に対する、センサＳ_ｉｊからの画像を最良に整合させる又は整列させることである。より具体的には、Ｓ_１２内のＲＯＩ内の投影画像は、最高の相関係数が達成されるまで、シフトさせられるとともにＳ_１３内の投影画像と相互相関を取られる（cross-correlated）。同様に、Ｓ_１１内のＲＯＩ内の投影画像は、最高の相関係数が達成されるまで、シフトさせられるとともにＳ_１３内のＲＯＩ内の投影画像と相互相関を取られる。したがって、ＲＯＩの投影のアライメントは、Ｓ_１３内のＲＯＩの投影とＳ_１２内のＲＯＩの投影との間のオフセットを決定することによって並びにＳ_１３内のＲＯＩの投影とＳ_１１内のＲＯＩの投影との間のオフセットを決定することによって、センサＳ_１１及びＳ_１２内のＲＯＩの投影の位置を特定するために、用いられる。

候補ピクセル選択及び正確化の例

モジュール４０２．４によれば、候補ピクセルが異なるセンサ内で特定され、これらは、ベストマッチプロセスに従って、同じ標的からの投影によって照らされる。いったんＲＯＩ内の物体の投影がセンサＳ_１１，Ｓ_１２，及びＳ_１３のそれぞれで特定されると、ＲＯＩ内の個々の標的ポイントの物理的（ｘ，ｙ，ｚ）投影がイメージャアレイに対して決定されることができる。幾つかの実施形態によれば、ＲＯＩ内の多数の標的ポイントのそれぞれについて、標的ポイントからの投影によって照らされる多数のセンサのそれぞれの中の１又は複数のピクセルが特定される。それぞれのそのような標的ポイントについて、物理的（ｘ，ｙ，ｚ）標的ポイント位置が、標的ポイントからの投影によって照らされていると決定される異なるセンサ内に配置されるピクセル中の幾何学的関係に少なくとも部分的に基づいて、決定される。

一連の標的ポイントが、（例えば、特定のステップサイズで右から左に並びにあるステップサイズで上から下に）ＲＯＩを系統的に横断することによって自動的に選択されることができ、物理的（ｘ，ｙ，ｚ）標的ポイント位置が、各選択された標的ポイントについて決定されることができることが理解されるであろう。Ｓ_１１及びＳ_１２はＳ_１３とベストマッチさせられるので、横断はシフトされる関心領域の内側で行われる。標的を選択することは、標的の投影によって照らされるセンサＳ_１１，Ｓ_１２，及びＳ_１３のそれぞれのピクセルを特定することを含む。したがって、Ｓ_１１，Ｓ_１２，及びＳ_１３のそれぞれの候補ピクセルは、選択される標的ポイントの投影によって照らされるものであるとして特定される。

言い換えると、標的ポイントＴを選択するために、ピクセルが、標的ポイントＴの投影によって照らされるセンサＳ_１１，Ｓ_１２，及びＳ１３のそれぞれの中で選択される。標的Ｔの（ｘ，ｙ，ｚ）物理的位置は、その選択の瞬間に未知であることが理解されるであろう。さらに、上述のアライメントプロセスの不正確さは、各センサのどのピクセルが選択される標的Ｔの投影によって照らされるかの決定における不正確さをもたらし得ることが理解されるであろう。したがって、図１７、１８、及び１９を参照して説明されるように、更なる決定が、現在選択されている標的Ｔの投影によって照らされるＳ_１１，Ｓ_１２，及びＳ_１３のそれぞれのピクセルについての決定の精度について、行われる。

上の例とともに続けると、三角形の第１の物体が現在選択されている標的ポイントであると仮定する。図１６は、幾つかの実施形態による、センサＳ_１１，Ｓ_１２，及びＳ_１３の上への選択される三角形の標的ポイントの投影を示す例示的な図面である。これらの投影から、標的Ｔについての２Ｄピクセル座標、［（Ｎ_ｘ１１，Ｎ_ｙ１１），（Ｎ_ｘ１２，Ｎ_ｙ１２），（Ｎ_ｘ１３，Ｎ_ｙ１３）］が決定される。単純化のために、図１６は、ｙ軸ピクセル座標のみを示している。これらの２Ｄピクセル座標を用いて、式（４０２．５－１）及び（４０２．５－２）が適用され、

及び

がモジュール４０２．５の一部として計算される。モジュール４０２．６の一部として、ノルム

が計算され、許容可能な許容差εと比較される。同様に、ｘ軸ピクセル座標及び位置推定が計算され、許容可能な許容差に対して比較される。モジュール４０２．６の条件が満たされる場合、プロセスはモジュール４０３に進む。さうでなければ、モジュール４０２．４に戻り、標的候補を更に正確化する。

図１７を参照すると、センサＳ_１１，Ｓ_１２，及びＳ_１３を含むイメージャアレイの一部と、物理的空間内の位置（ｘ，ｙ，ｚ）に配置された選択される三角形の第１の物体標的ポイントＴとが示されている。イメージャアレイ内のセンサは、それらの間に既知の間隔、δ_ｉｊを有する。Ｓ_１１とＳ_１２との間の物理的位置間隔はδ_１２であり、Ｓ_１２とＳ_１３との間の物理的位置間隔はδ_２３である。幾つかの実施形態では、全てのセンサＳ_ｉｊの間の間隔は、同一であり、δ、構造的仕様と等しい。センサＳ_ｉｊはまた、既知の視野角度θを有する。

上述のように、幾つかの実施形態では、各センサは、長方形パターンの行列に配置されるピクセルを備える２Ｄイメージング要素として構成される。代替的には、ピクセルは、例えば、円形パターン、ジグザグパターン、分散パターン、又はサブピクセルオフセットを含む不規則パターンに配置されることができる。これらの要素の角度及びピクセル特性は同一であり得る、又は、代替的に、センサ毎に異なり得る。しかし、これらの特性は、既知であることが仮定される。説明を単純化するために、センサは同一であると仮定されるが、それらは異なっていてもよい。

簡単化のために、全てのセンサＳ_ｉｊがＮ×Ｎピクセルを有すると仮定しよう。センサＳ_１１からの距離ｚにおいて、センサのＮピクセル幅は、ＦＯＶ_１によって示されるＳ_１１のｙ次元視野に拡大する。同様に、センサＳ_１２から距離ｚにおいて、センサ_１２のｙ次元視野はＦＯＶ_２によって示される。また、センサＳ_１３から距離ｚにおいて、Ｓ_１３のｙ次元視野はＦＯＶ_３によって示される。長さＦＯＶ_１，ＦＯＶ_２，及びＦＯＶ_３は、互いに重なり合い、センサＳ_１１，Ｓ_１２，及びＳ_１３が、ある（未知の）距離ｚに物理的に位置する標的Ｔの三つのサンプリング多様性(three-way sampling diversity)を達成することを示す。もちろん、この実施例において仮定されるように、センサが同一に作られる場合、長さＦＯＶ_１，ＦＯＶ_２，及びＦＯＶ_３も同一である。３つの長さＦＯＶ_１，ＦＯＶ_２，及びＦＯＶ_３は全て、同じ大きさを有し、それらがイメージャアレイから同じ（未知の）ｚ距離にある点において同一平面上にあるが、例示の目的のために、それらは、それらが互いに隣接して重ねられるように描かれていることが理解されるであろう。

図１８を参照すると、画像センサＳ_１１，Ｓ_１２，及びＳ_１３上への現在選択されている標的ポイントＴの投影の例示的な正面図が示されている。簡単化のために、センサはＮ×Ｎピクセルサイズの幾何学的に長方形のピクセルアレイを含むことが仮定される。標的Ｔ投影のｘ座標は全て等しいことも仮定される。言い換えると、Ｓ_１１，Ｓ_１２，及びＳ_１３上への標的Ｔの投影について、ｎ_ｘ１＝ｎ_ｘ２＝ｎ_ｘ３であることが仮定される。説明を簡単化するために、幾何学的な視野角度θは、垂直的にθ_ｘ＝θ_ｙであるように、水平的に同じである。当業者は、上記仮定のうちの何れかが変わる場合に標的Ｔのｘ，ｙ，及びｚ物理的座標を計算するために、以下に提示されるプロセスをどのように修正するかを知るであろう。

標的Ｔの画像は、画像センサＳ_１１の平面内の幾何学的座標（ｎ_ｘ１，ｎ_ｙ１）でセンサＳ_１１内の物理的ポイントに投影される。より具体的には、センサＳ_１１上への標的ポイントＴの投影は、原点から取られる、ｙ軸に沿ったｎ_ｙ１ピクセルに、及びｘ軸に沿ったｎ_ｘ１ピクセルに位置する。標的Ｔの画像は、画像センサＳ_１２の平面内の幾何学的座標（ｎ_ｘ２，ｎ_ｙ２）でセンサＳ_１２内の物理的ポイントに投影される。標的Ｔの画像は、画像センサＳ_１３の平面内の幾何学的座標（ｎ_ｘ３，ｎ_ｙ３）でセンサＳ_１３内の物理的ポイントに投影される。各センサ内のピクセル位置（ｎ_ｘｉ，ｎ_ｙｉ）がセンサのために提供される原点（０，０）基準座標に対して決定されることが理解されるであろう。図１７又は図１９に示されるように、グローバル座標系（global system of coordinates）（ｘ，ｙ，ｚ）が、標的を参照するために定められ且つ用いられる。例えば、そのような座標系の原点は、限定ではなく、センサＳ_１１の幾何学的中心に配置され得る。

図１６及び図１８の両方を参照すると、標的の投影のｙピクセル距離が各センサで異なることを見ることができる。現在選択されている標的Ｔの投影は、Ｓ_１１において原点の左へｎ_ｙ１ピクセルに配置されている。選択される標的Ｔの投影は、Ｓ_１２において原点の左へｎ_ｙ２ピクセルに配置されている。選択される標的Ｔの投影は、Ｓ_１３において原点の左へｎ_ｙ３ピクセルに配置されている。上述のように、説明を単純化するために、標的の投影は全ての３つのセンサにおいて原点から同じｘピクセル距離に当たることが仮定される。

図１９を参照すると、図１７を参照して上述したようなセンサＳ_１１，Ｓ_１２及びＳ_１３に対する現在選択されている標的Ｔの配置が示され、センサのそれぞれにおける候補ピクセルについてのｙ方向オフセットも示している。図１９の図面は、選択される標的ポイントＴの（ｘ，ｙ，ｚ）物理的座標を決定するための解析フレームワーク及び物理的構造を表している。イメージャアレイ平面からの（未知の）距離ｚにおいて、各センサについてのｙ方向視野は、ＦＯＶ_ｉとして記される長さに亘って延びる。この長さ、ＦＯＶ_ｉは、幾つかの実施形態では、Ｎピクセルである、センサの最大ピクセル幅に対応する。センサがｘ方向及びｙ方向に対称である視野を有するという作業仮説（working assumption）を考えれば、長さはまたｘ軸に沿った垂直なＦＯＶ_ｉである。

候補ピクセル選択が、選択される標的の物理的位置の決定における不正確をもたらし得る不確実性のレベルを有し得る相関プロセスに少なくとも部分的に基づいて行われることを思い出されたい。この結果として、標的投影候補選択の正確性の更なる確認が、幾つかの実施形態に従って、以下のように行われる。

標的の物理的（ｘ，ｙ）位置を決定すること及び標的投影候補選択の正確性をチェックすることの例

モジュール４０２．５にしたがって、２以上の二次元（Ｎ_ｘ，Ｎ_ｙ）座標値が、候補ピクセルが同じ標的からの投影によって実際に照らされるかどうかを決定するために、選択される標的について計算される。上で論じられた推定及び３Ｄ座標系の原点をセンサＳ_１１の中心に配置することに基づいて、イメージャアレイ及び図１９中の例において現在選択されている標的Ｔは、以下の関係を有する：

ここで、
Ｎは、イメージングセンサのピクセル寸法であり、
ｎ_ｘ１は、ｘ方向におけるＳ_１１平面の原点からのピクセルの数で表わされる標的ポイントＴの位置であり、
ｎ_ｙ１は、ｙ方向におけるＳ_１１平面の原点からのピクセルの数で表わされる標的ポイントＴの位置であり、
ｎ_ｙ２は、ｘ方向におけるＳ_１２平面の原点からのピクセルの数で表わされる標的ポイントＴの位置であり、
ｎ_ｘ２は、ｘ方向におけるＳ_１２平面の原点からのピクセルの数で表わされる標的ポイントＴの位置であり、
ｎ_ｙ２は、ｙ方向におけるＳ_１２平面の原点からのピクセルの数において表現される標的ポイントＴの位置であり、
θは、視野の角度である。

さらに、センサＳ_１１及びＳ_１３を使用して同じ計算を行い且つＳ_１１とＳ_１３との間の分離が２δであると仮定する場合、以下が得られる：

ここで、
ｎ_ｘ３は、ｘ方向におけるＳ_１３平面の原点からのピクセルの数で表わされる標的ポイントＴの位置であり、
ｎ_ｙ３は、ｙ方向におけるＳ_１３平面の原点からのピクセルの数で表わされる標的ポイントＴの位置である。

したがって、選択される標的Ｔの物理的ｘ座標の決定は、式（３）又は（６）に基づいて決定されることができる。選択される標的Ｔの物理的ｙ座標の決定は、式（２）又は（５）に基づいて決定されることができる。選択される標的Ｔの物理的ｚ座標の決定は、方程式（１）又は（４）に基づいて決定されることができる。

より一般的には、モジュール４０２．６にしたがって、候補ピクセルが同じ標的からの投影によって照らされていることを計算される２Ｄ座標値が示すかどうかについての決定が行われる。標的Ｔの物理的（ｘ，ｙ，ｚ）座標のより確実な決定が、各座標についての２つの式(formulations)の使用を通じて、得られることができる。例えば、標的Ｔについてのｙ座標は、両方の式（２）及び（５）を使用して決定されることができる。２つの式を用いて計算される結果として得られるｙ座標値が、ある許容可能な許容差値(tolerance value)、εｙより大きく異なる場合、マッチングプロセスが異なるセンサにおける投影間のオフセットを十分な精度で解明し損ね、結果として、候補ピクセルが同じ標的Ｔからの投影を受けないという点で候補ピクセルが対応しないという、決定が行なわれ得る。マッチングさせるためのｙ計算の失敗の場合、マッチングプロセスの他の繰返しが、それぞれが選択される標的Ｔに対応するセンサ内の候補ピクセルの改良された選択を行うために、実行され得る。異なるセンサ上への異なる透視投影は、例えば、視差効果に起因して異なり得るので、計算されるｙ値が等しくなる可能性は低いことが理解されるであろう。従って、許容可能な許容差値は、意図される用途に従って定められる。手術用イメージング用途のためには、０．１－０．３ｍｍのεが、典型的には、許容可能なＱ３Ｄ精度を提供する。当業者は、本発明の精神から逸脱することなしに、異なる許容可能な許容差レベルを定めてよい。

ｘ軸及びｙ軸の周りの仮定されるセンサ対称性を考えれば、当業者は、同種の決定が、（２）及び（５）における式と同様の式を用いるが、ｎ_ｙｉの代わりにｎ_ｘｉを用いて、標的Ｔのｘ座標について、行われ得ることを理解するであろう。式（３）及び（６）は、それらがｚ座標の知識を必要とするので、４０２．５及び４０２．６の部分で使用されることができない。しかし、モジュール４０２．５及び４０２．６の本質は、センサＳ_１１，Ｓ_１２，及びＳ_１３の平面上の正しい標的投影を決定することである。この目的のために、ｘ軸及びｙ軸について調節された式（２）及び（５）が十分である。座標（ｘ，ｙ，ｚ）の完全なセットは、以下に記載されるように、モジュール４０３及び４０４の計算される部分である。

標的の物理的ｚ位置を決定する例

図１９に示されるように、モジュール４０３及び４０４にしたがって、ｚ座標についての初期推定、ｚ_０が、計算プロセスを開始するために使用される。この初期値は、医療用途に従って自動的に定められる。医療用途は、視覚化されることになる意図されるワールドビューを定める。初期値ｚ_０は、内視鏡に最も近い視野の縁（edge）で開始する。図８を参照すると、手術用内視鏡を伴うＱ３Ｄ用途のために、ｚ_０は、例えば、Ｑ３Ｄ内視鏡２０２の遠位端２０８から１－５ｍｍ離れ得る。このような初期推定は、組織又は手術器具をＱ３Ｄ内視鏡に極めて近接して存在させる可能性は低いので、一般的には、この用途のために十分である。次に、値ｚ_０は、式（３）及び（６）に差し込まれる。標的のｘ座標がユニーク（unique）であることを考えると、ｚ_０が標的の本当の且つ正しいｚ座標である場合、式（３）及び（６）は、同一の値又は許容可能なレベルの許容差、ε_ｘ内で、略等しい値、をもたらす。

（３）及び（６）が許容可能な許容差ε_ｘの外側にある場合、繰返しが続き、ｚについての新しい推定、ｚ_１が試される。幾つかの実施形態によれば、新しい推定は自動的に定められる。例えば、ｚ_１＝ｚ_０＋Δであり、ここでΔは、繰返しステップのサイズである。一般的には、ｋ^ｔｈ繰返しにおいて、ｚ_ｋ＝ｚ_ｋ－１＋Δである。繰返しプロセスは、条件（７）が満たされるときに停止する。より小さいΔは、正しい標的座標を決定することにおける精度の増大をもたらすが、それはまた、プロセスを完了するためのより多くの計算時間、故に、増大する待ち時間を必要とする。増大する待ち時間は、手術器具動作と執刀医によるその視覚化との間の遅延をもたらすかもしれない。言い換えると、外科医は、システムを命令より遅れているように知覚する。２０－３０ｃｍの深さの手術ビューイング空間のためには、０．１－０．３ｍｍのΔが十分であり得る。もちろん、当業者は、繰返しプロセスを完了するのに必要とされる計算に対してΔのサイズをバランスさせることを知っているであろう。

上記説明は、提示の理由のために単純化されており、従って、それは３つのセンサＳ_１１，Ｓ_１２，及びＳ_１３のみを含でいた。一般的には、より多くのセンサが、Ｑ３Ｄ座標計算の精度を増大させるために使用されることができるが、繰返しの総数を減少させるためにも使用されることができる。例えば、３つよりも多いセンサ、好ましくは、３×３センサアレイが使用される場合、最急勾配(steepest gradient)のような方法が、モジュール４０２．５及び４０３によって作られる推定誤差の方向を示すために用いられ得る。繰返しステップサイズ及び方向は、その後、３Ｄ誤差勾配表面の局所的な極限に向かう進行にマッチするように、調節され得る。

Ｑ３Ｄ情報を用いる内視鏡検査手術の誘導

図２０は、幾つかの実施形態による、外科処置中にＱ３Ｄ情報を用いるための第１のプロセス２０００を表す例示的なフロー図である。コンピュータプログラムコードは、プロセス２０００を実行するようコンピュータ１５１を設定する。モジュール２００２は、ビューア３１２を覗くときに外科医の視野内の少なくとも２つの物体を選択するためにユーザ入力を受信ようにコンピュータを設定する。モジュール２００４は、ユーザ選択の受信に応答してコンピュータコンソールにメニューを表示するようにコンピュータを設定する。決定モジュール２００６は、メニューへのユーザ入力が距離を表示するために受信されているかどうかを決定するようにコンピュータを設定する。ユーザ入力が距離を表示するために受信されているという決定に応答して、モジュール２００８は、外科医の視野内のビデオ画像の中に数値距離を表示するようにコンピュータを設定する。決定モジュール２０１０は、距離表示を選択するためにユーザ入力の受信のための指定の時間間隔の間待つように、及び「タイムアウト」間隔内にユーザ入力を受信しないことに応答して決定モジュール２００６の動作を終了させるように、コンピュータを設定する。

決定モジュール２０１２は、メニューへのユーザ入力が近接警報限界を入力するために受信されたかどうかを決定するように、コンピュータを設定する。ユーザ入力が近接閾値を入力するために入力されているという決定に応答して、モジュール２０１４は、外科医の視野内の２以上の物体の間の近接をモニタするようためにＱ３Ｄ情報を使用するようにコンピュータを設定する。決定モジュール２０１６は、近接閾値を超えたかどうかを決定する。近接閾値を超えたという決定に応答して、モジュール２０１８は、警報を作動させるようにコンピュータを設定する。警報は、音、点滅する光のようなビジュアルキュー（visual queue）、衝突を避けるための器具動作のロック、又は他の触覚フィードバックを含み得る。近接閾値を超えていないという決定に応答して、制御はモニタリングモジュール２０１４に戻る。決定モジュール２０２０は、近接閾値を入力するためにユーザ入力の受信のための指定の時間間隔の間待つように、及び「タイムアウト」間隔内にユーザ入力を受信しないことに応答して決定モジュール２０１２の動作を終了させるように、コンピュータを設定する。

図２１は、幾つかの実施形態による、図２０のプロセスに従ったディスプレイスクリーン２１０２上に表示されるメニュー選択を示す例示的な図面である。ディスプレイスクリーン２１０２は、コンピュータ１５１と関連付けられるビューイングモニタを含む。代替的には、ディスプレイスクリーン２１０２は、ビューア３１２のビューイング要素４０１Ｒ，４０１Ｌの領域を含み得る。ユーザ入力に応答して、モジュール２００４は、第１のメニューアイテム「距離を表示する」２１０６及び第２のメニューアイテム「近接警報を設定する」２１０８を含む、メニュー２１０４の表示をもたらす。「距離を教示する」メニューアイテム２１０６を選択するユーザ入力に応答して、モジュール２００８は、２以上の物体の間のＱ３Ｄ距離の表示をもたらす。図４を再び参照すると、モジュール２００８を用いて表示された器具４００と標的との間にＱ３Ｄ距離「ｄ＿Ｉｎｓｔｒ＿Ｔｒｇｔ」の表示が示されている。「近接警報を設定する」メニューアイテム２１０８を選択するユーザ入力に応答して、ユーザが近接距離閾値の値、例えば、１センチメートルを入力することができるフィールドを含む「距離を入力する」ＵＩ入力２１１０が表示される。代替実施形態（図示せず）では、デフォルト近接閾値が全ての器具について前もって設定され得るとともに、ユーザは、例えば、図２１のメニューを用いて近接閾値を変更し得る。代替実施形態では、ユーザは、閾値の値を入力するよりもむしろデフォルト設定閾値の値を選ぶことを選択することができる。幾つかの実施形態では、ユーザは、距離を表示すること及び近接警報を設定することの両方を選択することができる。

図２２Ａ－２２Ｂは、幾つかの実施形態による、図２０のプロセスに従ってユーザ入力を受信することの特定の詳細を表す例示的な図面である。図２２Ａは、テレストレーションのようなビデオマーカツールを用いて、又は図４の制御入力デバイス１６０を操作する外科医コンソールを用いて作られることができる、体組織のような、標的４１０Ｌ，４１０Ｒの例示の第１の強調領域２２０２Ｌ，２２０２Ｒを示している。図２２Ｂは、ビデオマーカツールを用いて作られることができる、器具先端４００Ｌ，４００Ｒの例示の第２の強調領域２２０６Ｌ，２２０６Ｒを示している。手術中、幾つかの実施形態によれば、ユーザは、第１の強調領域２２０２Ｌ，２２０２Ｒを作る。次に、ユーザは、ビデオマーカツールを用いて、器具先端４００Ｌ，４００Ｒの第２の強調領域を作る。アイテムが強調される順番は重要でないことが理解されるであろう。ユーザは次に、選択を入力するために、セレクタ（図示せず）を作動させる（例えば、ＥＮＴＥＲキーを押す）。モジュール２００２は、受信されるユーザ入力を、標的画像４１０Ｌ，４１０Ｒ及び器具画像４００Ｌ，４００Ｒの選択として解釈する。

図２３は、幾つかの実施形態による、外科処置中にＱ３Ｄ情報を用いるための第２のプロセス２３００を表す例示的なフロー図である。コンピュータプログラムコードは、プロセス２３００を実行するようにコンピュータ１５１を設定する。モジュール２３０２は、ビューア３１２を覗くときに外科医の視野内の物体を選択するためにユーザ入力を受信するようにコンピュータを設定する。例えば、図２２Ａを再び参照すると、ユーザ入力は、ビデオマーカツールを用いて器具先端４００Ｌ，４００Ｒの第２の強調領域２２０６Ｌ，２２０６Ｒを作るために受信されるように、示されている。ユーザ入力（図示せず）は、器具先端４００Ｌ，４００Ｒの画像の選択を入力するためにセレクタ（図示せず）を作動させる（例えば、ＥＮＴＥＲキーを押す）ように、受信される。

図２３にもう一度戻ると、ユーザ選択の受信に応答して、モジュール２３０４は、コンピュータコンソールにメニューを表示するようにコンピュータを設定する。決定モジュール２３０６は、メニューへのユーザ入力が、選択される物体の画像を回転させるために、受信されたかどうかを決定するように、コンピュータを設定する。画像を回転させるユーザ入力が受信されたという決定に応答して、モジュール２３０８は、物体の異なる三次元眺望を示すために画像を回転させるように、コンピュータを設定する。決定モジュール２３１０は、画像を回転させるためにユーザ入力の受信のための指定の時間間隔を待つように、及び「タイムアウト」間隔内にユーザ入力がないことに応答して決定モジュール２３０６の動作を終了させるように、コンピュータを設定する。

図２４は、幾つかの実施形態による、図２３のプロセスに従ってディスプレイスクリーン２４０２に表示されるメニュー選択を示す例示的な図面である。ディスプレイスクリーン２４０２は、コンピュータ１５１と関連付けられるビューイングモニタを含む。代替的には、ディスプレイスクリーン２４０２は、ビューア３１２のビューイング要素４０１Ｒ，４０１Ｌの領域を含み得る。受信されるユーザ入力に応答して、モジュール２３０４は、第３のメニューアイテム「左に回転させる」２４０６及び第４のメニューアイテム「右に回転させる」２４０８を含む、メニュー２４０４の表示をもたらす。第３の又は第４のメニューアイテム２４０６，２４０８のうちの一方又は他方を選択するユーザ入力に応答して、モジュール２３０８は、図９のモジュール４０７に従って作られ且つ格納された３Ｄモデルの回転を引き起こすことを使用する。センサイメージャアレイ２１０は、制限された全体的な視野を有するので、回転の量は、数度、例えば、３０度未満に制限され得ることが理解されるであろう。

Ｑ３Ｄ置換モデル及びジッタによるモデル最適化

外科処置は、損傷を受けた又は病気の骨組織の除去及び人工インプラントとの置換を含み得る。骨の一部が、例えば、病気又は怪我により損傷を受ける。図２５Ａは、幾つかの実施形態による、外科処置前の解剖学的構造の例示の上面図を示す例示的な図面である。解剖学的構造は、膝、腰、肘、肩、背骨、頭、足首、手首、足、手のひら等の骨部分のような、骨の一部であり得る。骨の一部が、例えば、病気又は怪我により損傷を受ける。図２５Ｂは、例示の損傷を受けた部分の輪郭をより詳細に示す図２５Ａにおける視点１－１から破線切断面の線Ａ－Ａに概して沿った側面断面図である。

図２６Ａは、幾つかの実施形態による、損傷を受けた又は病気の骨組織を除去し且つ残っている健康な組織によって境界される空隙を残す外科処置の後の解剖学的構造の例示の上面図を示す例示的な図面である。例えば、図５を参照すると、医師は、解剖学的構造から損傷を受けた部分を除去するために手術器具１０１Ａ又は１０１Ｂを使用し、損傷を受けた部分が以前に位置していた空隙、空所又は隙間を定める健康な又は損傷を受けていない部分をそのまま残す、膝、腰、肩、背骨、頭、足首、手首、足又は手のひらの骨の修復、部分的又は全体の置換のような、損傷を受けた骨組織の除去及び人工構造とのその置換を含む外科処置を実行するために、遠隔操作システム１００を使用し得る。代替的には、手動器具が使用され得る。図２６Ｂは、病気の又は損傷を受けた骨組織の除去後の例示の健康な又は損傷を受けていない領域の輪郭を示す図２６Ａにおける視点１－１から破線Ａ－Ａに概して沿った側面断面図である。

幾つかの実施形態によれば、骨組織除去によって残された空隙内にぴったりと合う置換構造の輪郭及びサイズは、損傷した又は傷ついた骨組織の除去後に残っている、本明細書において「残りの」骨組織とも称される、健康な骨組織の輪郭のＱ３Ｄモデルに基づいて決定される。損傷を受けた又は病気の骨組織の除去の前に、Ｑ３Ｄモデルが、除去前の、損傷した又は病気の骨組織を含む、骨組織の外部表面の輪郭を表す解剖学的構造から取り込まれる画像情報に基づいて作られる。まだ除去されていない損傷を受けた又は病気の骨組織の除去後、他のＱ３Ｄモデルが、除去後の、残りの構造を含む、骨組織の外部表面の輪郭を表す解剖学的構造から取り込まれる画像情報に基づいて作られる。Ｑ３Ｄセンサと関連付けられる内視鏡１０１Ｃは、Ｑ３Ｄセンサが損傷を受けた又は病気の組織が除去された空隙を囲む残りの骨組織の外部可視輪郭を撮像できる位置に、動かされる。幾つかの実施形態によれば、図６－１９を参照して上述されたように、Ｑ３Ｄセンサは、空隙領域を囲む残りの骨組織のＱ３Ｄ画像を取り込むように配置され、残りの骨組織のＱ３Ｄモデルが作られる。人工インプラントが、「残りの」骨組織のＱ３Ｄモデルに基づいて作られる。人工インプラントは、除去された骨組織の代わりのものとして機能するように、残りの骨組織によって定められる空隙の中に置かれる。

幾つかの実施形態によるＱ３Ｄ画像取り込みの間、Ｑ３Ｄ画像を取り込むために使用される内視鏡１０１Ｃのビューイング視点（viewing perspective）が、「ジッタされる(jittered)」－すなわち、取り込まれたＱ３Ｄ画像情報に基づいて作られるＱ３Ｄモデルの解像度及び精度を向上させるために、撮像されることになる、組織除去前の損傷を受けた組織又は組織除去後の残りの組織のような、標的領域からＱ３Ｄ画像情報を取り込むことができる幾つかの（２以上）の実在のビューポイントの間に調整される又は動かされる。図２７Ａ－２７Ｃは、幾つかの実施形態による、標的領域の３つの異なる画像ビューポイントを取るための３つの異なる例示の「ジッタ」位置の内視鏡１０１Ｃを示す例示的な図面である。異なるジッタ位置を達成するために、内視鏡１０１Ｃは、異なるジッタ位置が互いに対して既知であるように、既知の量だけ動かされる。異なる内視鏡位置は、小さい距離、例えば、５ｍｍより小さい（例えば、わずかなセンサピクセル幅、わずかなセンサ幅）だけ異なる。これらの小さい距離は、異なる位置から内視鏡１０１Ｃによって取得される３Ｄ画像において十分な冗長性を確保する。超解像画像再構成が次に、取り込まれた画像のそれぞれと比べて高められた解像度を持つ画像を作るために、取り込まれた画像に適用される。

Ｑ３Ｄ内視鏡１０１Ｃの制御されたジッタリング（jittering）は、残りの骨組織のような、標的関心領域に対応する空間容積内のポイントに関する（ｘ，ｙ，ｚ）座標の計算の精度を増加させる。精度は、追加的且つ僅かに変化したビューイング角度からの、十分な冗長性を持つ、追加のデータが、図９－１９を参照して上述されたプロセスに提供されるので、増加する。特に、制御されたジッタリングは、ステップ４０２－４０４における標的をより正確に見つけるための図９のプロセスに役立つ。追加のデータにおける増加した冗長性を考えると、これは、図１０のステップ４０２．３－４０２．５に記載された「ベストマッチ」を見つける精度を向上させることによって達成される。Ｑ３Ｄ内視鏡１０１Ｃのジッタリングが制御されているという事実は、僅かに異なる角度からの関心のある標的シーンのビューを提供する。これは、センサＳ_ｉｊ間の距離の「仮想」の増加に相当する。制御されたジッタリングは、図５を参照して、Ｑ３Ｄ内視鏡１０１Ｃを指示するロボットアーム１５８Ｃを制御するハードウェアによって達成されることができる。代替的には、ジッタリングは、Ｑ３Ｄ内視鏡１０１Ｃが、電子的に調整可能な光学特性を持つレンズを使用して組み立てられている場合に電子的に導入され得る。例えば、Hassanfiroozi他、"Liquid crystal lens array for a 3D endoscope", Proceedings SPIE 91 17, May 9, 2014、によれば、液晶レンズアレイが用いられることができる。このようなレンズは、Ｑ３Ｄ内視鏡１０１Ｃとともに使用される場合、制御電圧信号の変調によって調整されるそれら光学特性を有することができる。光学的なジッタは、したがって、既知のパターンに基づいて制御電圧を変更することによって導入されることができる。例えば、このようなレンズの光軸が調整されることができる。この動作は、１０１Ｃの向きの機械的なジッタリングと同様の効果を有する。ロボットアーム１５８Ｃの動作を通じた、機械的ジッタリング、或いは、液晶レンズの制御電圧の変調を通じた、電子的ジッタリングは、標的ポイントの（ｘ，ｙ，ｚ）計算において増加した精度の同じ結果を有することができる。

図２８Ａ－２８Ｂは、幾つかの実施形態による、人工（プロステーシス）インプラントの第３のＱ３Ｄモデルを作るための、除去前の第１のＱ３Ｄモデル及び除去後の第２のＱ３Ｄモデルの使用を表す例示的な図面である。図２８Ａは、幾つかの実施形態による、解剖学的構造の除去前の第１のＱ３Ｄモデル及び解剖学的構造の除去後の第２のＱ３Ｄモデル及び人工（プロステーシス）構造の第３のＱ３Ｄモデルを表す例示的な図面である。図２８Ｂは、幾つかの実施形態による、解剖学的構造の除去前の第１のＱ３Ｄモデル及び解剖学的構造の除去後の第２のＱ３Ｄモデル及び人工構造の第３のＱ３Ｄモデルの上面図を表す例示的な図面である。図２８Ａ－２８Ｂに示されるように、人工構造のＱ３Ｄモデルは、図２８Ａ及び２８Ｂの解剖学的構造に対応する除去後Ｑ３Ｄモデルの図２８Ａ及び２８Ｂの除去前の第１のＱ３Ｄモデルからの１又は複数の差を決定することによって決定される。より具体的には、除去後の第２のＱ３Ｄモデルは、残りを含み、この残りは、そこから損傷を受けた骨組織が除去された空隙又は空の領域を定める。第３のモデルは、空隙領域を定める残りの構造に対してぴったりと合うように形成され且つ寸法を決められた置換構造を表す。幾つかの実施形態では、差は、第１のＱ３Ｄモデルから第２のＱ３Ｄモデルを引くことによって決定される。３Ｄデジタルサブトラクションは当業者に知られた技法である。例えば、それは、米国特許第５，６４７，３６０号（１９９５年６月３０日出願）に提示されたような、デジタルアンジオグラフィで以前に使われており、本明細書に参照により援用される。

Ｑ３Ｄイメージングが、例えば、組織を除去するために、例えば、骨の表面を削ること（milling）のような外科処置の間に解剖学的構造が変更されているときに解剖学的構造に与えられる変化の周期的又は連続的な更新を提供するために使用され得ることが理解されるであろう。このように、外科医は、手術の進行を示すＱ３Ｄ情報を提供されることができるとともに、それにしたがって調整を行うことができる。さらに、手術の過程で作られるＱ３Ｄモデルは、例えば、手術の結果として作られた組織空隙又は組織表面構造の中にある置換解剖学的物体を作る又は選択するために使用される補間Ｑ３Ｄ又は３Ｄモデルを作るために使用されることができる。したがって、特注の外科用インプラントが、例えば、手術中に開発又は選択されることができる。

図２９Ａは、幾つかの実施形態による、人工（プロステーシス）構造のＱ３Ｄモデルを３次元（３Ｄ）プリンタによって使用可能であるファイル構造に変換するためのプロセスを示す例示的な図面である。付加製造（additive manufacturing）とも称される、３Ｄプリンティングは、デジタルファイルから３次元固体物体を作るよく知られたプロセスである。３Ｄプリントされた物体の創造は、付加プロセス（additive processes）を使用して達成される。付加プロセスにおいて、物体が、物体全体が作られるまで材料の連続した層を置くことによって作られる。３Ｄプリンタは典型的には、ファイルに含まれるコンピュータ支援設計（ＣＡＤ）モデル及びモデルで表される構造を製造するための３Ｄモデリングプログラムにより構成される。３Ｄモデリングプログラムは、印刷のために３Ｄプリンタを設定するために使用され、ＣＡＤモデルを数百又は数千の水平層にスライスする。ＣＡＤモデルファイルから用意された製造ファイルが、３Ｄプリンタを層毎に物体を作る（例えば、印刷する）ように設定するように３Ｄプリンタにアップロードされる。３Ｄプリンタは、全スライス（又は２Ｄ画像）を読み、層にすることが見える兆候なしで各層を一体化する（blend）する物体を作るように進み、１つの３次元物体をもたらす。コンピュータシステム（図示せず）が、人工構造のＱ３Ｄモデルを３Ｄプリンタ互換ファイル構造に変換するためにファイル変換プロセスを実装するように構成される。コンピュータ可読ストレージデバイスに格納された人工構造のＱ３Ｄモデルは、変換プロセスへの入力として機能する。３Ｄプリンタによって使用可能である３Ｄプリンタ可読ファイルは、変換プロセスの出力である。ここで論じられる特定の応用、骨の置換又は修復、のために、ファイル変換プロセスは、残りの骨組織にぴったりと合うとともに、損傷を受けた又は傷ついた組織の外科的除去によって作られた図２６の例示の空隙のような空隙を埋める、又は実質的に埋める、構造を作るように３Ｄプリンタに指示するのに適したファイルを作る。適切な３Ｄプリンタフォーマットの例は、.stl、.obj、.ztl、.iges、.mb、.max、及び.3dsのような標準的なフォーマットを含む。代替的には、専用の又は非標準的な３Ｄプリンティングフォーマットが使用され得る。

図２９Ｂは、健康な又は無傷の領域と嵌合するように人工インプラントを作るための３Ｄプリンタを使用するプロセスを表す例示的な図面である。３Ｄプリンタは、印刷プロセスを進めるために使用される製造入力データとして人工構造のＱ３Ｄモデルから作られた３Ｄプリンタ可読ファイルを受信する。３Ｄプリンタ可読ファイルにより設定される３Ｄプリンタは、製造材料を、残りの健康な又は無傷の領域と嵌合するようにサイズ決めされた人工インプラントに変える。製造材料は、長期間の埋め込みに適する、生体適合性であることができ、臨床処置の特定の目標に必要とされる材料特性を有し得る。例として、限定では無く、次のものはこのような材料のリストである：セラミック、ステンレス鋼、コバルトクロム合金、チタン、ポリエチレン又はジルコニウム。

図３０Ａは、人工インプラントを残りの領域にぴったりと嵌合させるための外科処置の後の解剖学的構造の例示の上面図を示す例示的な図面である。図５を参照すると、医者は、人工インプラントを残りの領域に固定するために手術器具１０１Ａ又は１０１Ｂを使用し得る。人工インプラントは、例えば、アクリルセメントを使用して残りの健康な又は無傷の領域に固定され得る。代替的には、接合剤で接合されない（uncemented）固定が使用され得る。接合剤で接合されない固定では、インプラントの表面は、３Ｄプリントされたインプラントを定位置に保持するのを助けるように新しい骨組織の内成長を可能にする、多孔性の、ハニカム様構造から構成される。したがって、イメージングセンサアレイを使用して収集されるＱ３Ｄ情報は、損傷を受けた部分が除去された残りの領域の輪郭とよく合うインプラントを作るために使用される。図３０Ｂは、例示の残りの領域の輪郭を示す図３０Ａにおける視点１－１からの破線の切断面線Ａ－Ａに概して沿った側面断面図である。

代替的には、Ｑ３Ｄ情報は、事前に作られた人工インプラントの中から選択するために使用されることができる。Ｑ３Ｄ情報は、多数の事前に作られたインプラント（図示せず）の寸法と比較されることができる寸法を提供することができ、必要な寸法に最も近いインプラントが選択される。例えば、図３１Ａ及び図３２Ａを参照すると、処置が、全膝置換を含む場合、Ｑ３Ｄ情報は、例えば、脛骨プレート（tibial plate）３２０６のための又は大腿骨コンポーネント（femoral component）３２０８のための適切なサイズを選択するために、使用されることができる。図３１Ｂのような、より単純な膝置換処置について、Ｑ３Ｄ情報は、図３２Ｂの部分的な大腿骨コンポーネント３２１０又は部分的な脛骨プレート３２１２のリストから選択するために使用されることができる。

性能評価のためのＱ３Ｄモデル

操向可能（steerable）カテーテル可視化及び組織操作システムが、米国特許第8,657,805号（２００８年５月８日出願）、米国特許出願公開第2013/0172726号（２０１０年５月１２日出願）、及び米国特許出願公開第2009/0203962号（２００９年２月６日出願）（‘９６２公報）に記載されている。その全体がこの参照により本明細書に明示的に援用される、‘９６２公報は、イメージングフードを使用する直接可視化の下でのステントデリバリを開示している。

‘９６２公報に記載された組織イメージング及び操作装置は、それを通って動的に流れる血液で満たされている、心腔のような体腔のなかの組織領域の生体内のリアルタイム画像を提供することができる。記載された装置はまた、撮像された組織領域に様々な処置を実行するための血管内ツール及び器具を提供することができる。このような装置は、多くの処置、例えば、特に、左心房への経中隔アクセスを容易にすること、冠状静脈洞にカニューレを挿入すること、弁逆流／狭窄の診断、弁形成、心耳閉鎖、及び不整脈原性フォーカスアブレーション（arrhythmogenic focus ablation）のために用いられ得る。

組織アクセス及びイメージング装置の１つの変形は、図３３Ａ乃至３３Ｃの詳細な斜視図で‘９６２公報に示されている。図３３Ａに示されるように、組織イメージング及び操作アセンブリ１０は、デリバリカテーテル又はシース１４を介してロープロファイル（low-profile）構成で患者の体を通って血管内に配送され得る。組織を治療する場合、患者への外傷を最小にしながら左心房に入る又はアクセスすることが一般的に望ましい。このようなアクセスを非手術的に生じさせるために、１つの従来のアプローチは、一般に経中隔処置又は中隔開口術と呼ばれる処置において心房中隔を右心房から左心房に穿刺することを含む。経皮的弁修復及び置換のような処置のために、心臓の左心房への経中隔アクセスは、一般的に動脈系に経皮的に導入されることができるものより、大きい装置が静脈系に導入されることを可能にし得る。

イメージング及び操作アセンブリ１０が、組織をイメージングするために用いられる準備ができているとき、イメージングフード１２は、カテーテル１４に対して進められ得るとともに矢印によって示されるように、カテーテル１４の遠位開口から展開され得る。展開に際し、イメージングフード１２は、図３３Ｂに示されるように、展開されたイメージング形態に拡張する又は開くように拘束されなくてよい。イメージングフード１２は、限定されるものではないが、例えば、高分子、プラスチック、又は織物材料を含む、様々な柔軟な又は形状適合生体適合材料から製造され得る。織物材料の１つの例は、Kevlar（登録商標）であり、これは、アラミドであるとともに、この説明に記載された用途に関して十分な完全性（integrity）を保持する薄い（例えば、０．００１インチ未満）材料に作られることができる。さらに、イメージングフード１２は、半透明又は不透明材料から及び、周囲の流体又は構造、すなわち、解剖学的又は機械的構造又は器具から反射される光を最適にする又は減衰させるために、様々な異なる色で製造され得る。いずれにしても、イメージングフード１２は、一様構造又は骨格支持構造（scaffold-supported structure）に製造され得るとともに、この骨格支持構造の場合、ニチノールのような形状記憶合金、又はばね鋼、又はプラスチック等で作られる骨格が、製造され得るとともに、高分子、プラスチック、又は織物材料で覆われ得る。したがって、イメージングフード１２は、心腔のような、体腔の選択された体積からの血液等の変位量を突き止めるために一般的に使用され得るように、多種多様のバリア又は膜構造のいずれかを含み得る。例示的な実施形態では、イメージングフード１２の内側表面１３内の容積は、内側表面１３と外側表面１１との間のフード１２の容積より著しく小さい。

イメージングフード１２は、インタフェース２４において、配置カテーテル又はシース１４と独立して並進移動され得る配置カテーテル１６に取り付けられ得る。インタフェース２４の取り付けは、多くの従来の方法を通じて達成され得る。配置カテーテル１６は、流体配送管腔１８並びにその中に光学イメージングファイバ又はアセンブリが組織をイメージングするために配置され得るイメージング管腔２０を規定し得る。展開されるとき、イメージングフード１２は、開放領域又はフィールド２６がイメージングフード１２によって定められるならば、さまざまな形、例えば、円筒形、（図示されるような）円錐形、半球形等に拡張し得る。開放領域２６は、その中で組織関心領域が撮像され得る領域である。イメージングフード１２はまた、組織関心領域に対する配置又は当接のための非外傷性接触リップ又はエッジ２２を定め得る。さらに、その最大の完全に展開された直径における、例えば、接触リップ又はエッジ２２における、イメージングフード１２の直径は、典型的には、配置カテーテル１６に対して大きい（しかし、接触リップ又はエッジ２２の直径は、配置カテーテル１６の直径より小さく又は等しく作られてもよい）。例えば、接触エッジ直径は、配置カテーテル１６の直径の１から５倍（又は、実用向きであるように、一層大きい）のどこにでも及び得る。図３３Ｃは、その展開された形態におけるイメージングフードの端面図を示す。接触リップ又はエッジ２２と流体配送管腔１８とイメージング管腔２０も示されている。

‘９６２公報の図３４Ａ及び３４Ｂの例に見られるように、配置カテーテル１６は、撮像されることになる下にある組織関心領域、この例では、左心房の中の僧帽弁ＭＶの弁輪Ａの一部、に接して又は近くに、展開されたイメージングフードを配置するように操作され得る。周囲の血液３０が、図３４Ａに見られるように、イメージングフード１２の周り及びイメージングフード１２内に定められる開放領域２６の中を流れるので、下にある弁輪Ａは、不透明な血液３０によって遮られ、イメージング管腔２０を通じてみることが難しい。食塩水のような、半透明の流体２８がその後、血液３０が少なくとも部分的に、好ましくは完全に、図３４Ｂに示されるように、流体２８によって開放領域２６内から移動させられるまで、断続的に又は連続的に、流体配送管腔１８を通じてポンプ注入され得る。

接触エッジ２２は、下にある組織と直接接触する必要はないが、開放領域２６からの透明な流体２８の流れが開放領域２６に戻る血液３０のかなりの逆流を妨げるように維持され得るように、少なくとも好ましくは、組織に近接される。接触エッジ２２はまた、接触エッジ２２が平らでない又は粗い下にある解剖学的な組織表面に従うのに役立つために、典型的に知られているような、特定の柔らかいグレードのシリコーン又はポリウレタンのような、柔らかいエラストマ材料で作られ得る。いったん、血液３０がイメージングフード１２から移動されると、透明流体２８を通って下にある組織の画像が次に、見られ得る。この画像はその後、記録され得る又は治療処置を実行するためのリアルタイムビューイングのために利用可能であり得る。流体２８の正の流れ（positive flow）は、下にある組織のクリアなビューイングを提供するために連続的に維持され得る。代替的には、流体２８は、組織のクリアなビューが撮像又は記録されるために利用可能になるまでだけ、一時的に又は単発的にポンプ注入され、その時点では、流体流２８は止まり得るとともに血液３０はイメージングフード１２の中に広がる又は逆流することを可能にされ得る。このプロセスは、同じ組織領域で又は多数の組織領域で、何回も繰り返され得る。

本明細書に記載される処置のいずれか１つにおいてイメージングフードを用いる際、フード１２は、上述のように、組織にいくつもの治療をもたらすようにフード内部と下にある組織との間に直接組織接触を提供するために覆われていない且つ透明な開放領域を有し得る。さらに追加の変形では、イメージングフード１２は、他の形態を用い得る。イメージングフード１２の追加の変形が、‘９６２公報の図３５Ａ及び３５Ｂの、斜視図及び端面図それぞれに示され、ここではイメージングフード１２は、フード１２の遠位開口の上の半透明エラストマ部材４０の少なくとも１つの層を含む。‘９６２公報は、１又は複数の光ファイバ束３２が、フード１２内の開放領域の直接インライン（in-line）イメージングを提供するために、カテーテルの中且つイメージングフード１２の中に配置され得ることを開示している。イメージングフード１２の外側リップの直径未満である直径を有する開口４２が、フードの長手方向軸がフード１２の内側が開き且つフード１２の外側の環境と流体連通したままであるように、膜と交差する膜４０の中心の上に定められ得る。さらに、開口４２は、例えば、１から２ｍｍの間又はそれより大きい直径のサイズにされ得るとともに、膜４０は、接触される組織も膜４０を通じて並びに開口４２を通じて可視化され得るように、シリコーン、ポリウレタン、ラテックス等のような多くの半透明エラストマから作られることができる。

開口４２は、フード１２の内側が、それを通じて下にある組織領域が可視化され得る透明流体で満たされ得るとき、フード１２からの流体の流出の速度を減少させるための制限通路として概して機能し得る。フード１２内からの透明流体の流出を制限することは別として、開口４２はまた、外部の周囲の流体がフード１２にあまりに速く入ることを制限し得る。フードからの流体流出及びフードへの血液流入の速度の減少は、フード１２が可視化器具による直接の可視化を妨害する不透明な血液によって満たされるよりむしろ半透明流体でより容易に満たされ得るので、可視化状態を改善し得る。

さらに、開口４２は、フード内部に進められる器具（例えば、穿孔器具、ガイドワイヤ、組織係合器（tissue engagers）等）が、開口４２を通じた治療のために、下にある組織に妨げられないで又は制限されないで直接アクセスし得るように、カテーテル１６と整列され得る。開口４２がカテーテル１６と整列しない他の変形では、カテーテル１６を通過される器具は、膜４０を単純に突き通すことによって下にある組織に依然としてアクセスし得る。

図３６は、フード１２内の開放領域の直接インラインＱ３Ｄイメージングを提供するように、器具内且つイメージングフード１２内に配置される、図７Ａ－７Ｂを参照して上述された、イメージセンサアレイ２１０を示す例示的な図面である。代替的には、イメージセンサアレイは、フードの外側に配置されることができ、図３５Ａに示される束３２のような、１又は複数の光ファイバ束は、イメージングフード１２の外側に配置された画像センサアレイに画像情報を提供することができる。

図３７は、いくつかの実施形態による、右冠状動脈（ＲＣＡ）と連通する、小孔（ＯＳ）と接触している画像センサアレイ２１０を含むフード１２の例示の使用を示す例示的な図面である。いったんフード１２が、小孔ＯＳと接触すると、クリアにする流体は、そこを通じて画像センサアレイ２１０がＱ３Ｄ情報を取り込むことができる透明な領域を提供するように、フード内部から血液を追い出すために、フード１２の開放領域の中に導入され得る。小孔ＯＳを囲む組織の輪郭に関して、血管壁の少なくとも一部が管腔７２の中に延びる。例えば、治療されることになる入口病変部８６が、図３７に示されている。画像センサアレイ２１０は、放出されるクリアにする流体が、治療されることになる病変部８６の画像を提供するためにフード１２を出て管腔７２を通って出るとき、少なくとも部分的に管腔７２内のＱ３Ｄ情報を直接取り込むために使用され得る。病変部８６の寸法に関するＱ３Ｄ情報は、使用されることが意図される治療装置をサイズ決めするために使用されることができる。代替的には、Ｑ３Ｄ情報は、治療がより明確に患者の状態に適合されるように、臨床的問題の範囲を理解するために使用されることができる。

図３８は、幾つかの実施形態による、小孔（ＯＳ）と接触している画像センサアレイ２１０を含むフードの例示の使用を示す例示的な図面であり、この小孔の中でステント８４が右上行動脈（ＲＣＡ）の中に設置されている。ステント８４は、病変部８６の上に設置されている。画像センサアレイ２１０は、管腔７２内のステント８４の展開及び配置を評価するためにＱ３Ｄ情報を提供するために使用され得る。例として、限定ではなく、Ｑ３Ｄ情報は、患者のＲＣＡ ＯＳのサイズにしたがってステント８４をサイズ決めするために使用され得る。病変部８６に関するＱ３Ｄ情報はまた、ステント８４の長さを適切にサイズ決めするために使用されることができる。さらに他の実施形態では、Ｑ３Ｄ情報は、いったん定位置に展開されるとステント８４の性能をチェックするために使用されることができる。例えば、Ｑ３Ｄ情報は、定量的情報を使用して、ＲＣＡの内壁へのステントの適合を精密に示すことができる。病変部の不完全な適用範囲（coverage）がある場合、又はステント径が大きすぎる若しくは小さすぎる場合、これらの状態は全てＱ３Ｄ情報に基づいて定量化されることができる。図４１は、血管のステント適用範囲の性能を評価するために使用されることができる定量的評価基準の例を示す例示的な図面である。定量的目標の１つは、平均ステント断面積と平均管腔断面積との間の差を最小にすることである。

図３９は、開位置にある人工の心臓弁インプラントに隣接して配置されたＱ３Ｄ内視鏡を示す例示的な図面である。図４０は、閉位置にある人工の心臓弁インプラントに隣接して配置されたＱ３Ｄ内視鏡を示す例示的な図面である。Ｑ３Ｄ内視鏡は、画像センサアレイ２１０を使用してＱ３Ｄ画像を取り込む。Ｑ３Ｄ内視鏡は、イメージングフードの中に配置され得る。しかし、フードは、記載を単純にするために示されていない。図３９を参照すると、第１及び第２の弁フラップは、離間して示され、弁が開いており且つ流体（例えば、血液）が貫流できることを示している。図４０を参照すると、第１及び第２の弁フラップは、互いに近くに位置して示され、弁が閉じられ且つ流体（例えば、血液）が貫流できないことを示している。幾つかの実施形態によれば、Ｑ３Ｄ内視鏡は、弁の開閉動作に関連付けられる寸法の情報を集合的に提供する一連のＱ３Ｄ画像を取り込む。例えば、限定ではなく、図４０に関連付けられるＱ３Ｄモデルによって提供される情報は、人工の弁が完全に接近しているかどうかを示すことができる。バルブの不完全な閉鎖は、かなりの逆流をもたらすかもしれず、これは、患者の心臓の性能を減少させる。同様に、図３９に関連付けられるＱ３Ｄ情報は、人工弁が患者の心臓の解剖学的構造の詳細に対して正しくサイズ決めされたかどうかを示すことができる。図３９の人工弁が、例えば限定ではなく、大動脈弁である場合、大動脈口及び大動脈壁への適合を定量化するために重要である。同様に、図３９に示されるように、バルブが完全に開くことを確かめることが重要である。バルブが完全に開いていない場合、患者の心拍出量は損なわれるであろう。また、圧力は大動脈弁から上流に増大し始めるので、やがて、患者の血圧は、影響を受ける。同様に、重要な情報は、僧帽弁の、三尖弁の又は肺の弁膜の処置のために提供されることができる。

医療用途におけるＱ３Ｄ情報の使用は、ステント及び血管の用途、又は心臓弁に限定されないことが理解されるべきである。上に説明された基本原理は、装置のサイズ又は形状選択、最適な位置決め等のような、様々な人工の装置での使用を含むように修正されることができる。

本発明に従った実施形態の前述の記述及び図面は、本発明の原理の例示であるに過ぎない。従って、当業者は付属の請求項において定められる本発明の精神及び範囲から逸脱せずに実施形態に対する様々な修正を行い得ることが理解されるであろう。

次の付記を記す。
（付記１） 置換解剖学的構造を作るためのシステムであって：
標的組織を含む視野内の解剖学的構造を撮像するように配置される定量的３次元（Ｑ３Ｄ）内視鏡と、
少なくとも１つのプロセッサであって、
前記標的骨組織を含む骨組織の外部表面を表す前記解剖学的構造から取り込まれる画像情報に基づいて第１のＱ３Ｄモデルを作るように、
前記標的組織が除去された組織であった前記解剖学的構造の位置における残りの組織構造を表す前記解剖学的構造から取り込まれる画像情報に基づいて第２のＱ３Ｄモデルを作るように、及び
前記第１のＱ３Ｄモデル及び前記第２のＱ３Ｄモデルに少なくとも部分的に基づいて置換構造の第３のＱ３Ｄモデルを作るように、
構成される、少なくとも１つのプロセッサと、を有する、
システム。
（付記２） 前記第３のＱ３Ｄモデルを作ることは、前記第１のＱ３Ｄモデルと前記第２のＱ３Ｄモデルとの間の１又は複数の差を決定することを含む、
付記１に記載のシステム。
（付記３） 前記第３のＱ３Ｄモデルを作ることは、前記第１のＱ３Ｄモデルと前記第２のＱ３Ｄモデルとの間の３Ｄデジタルサブトラクションを決定することを含む、
付記１に記載のシステム。
（付記４） 前記少なくとも１つのプロセッサは：
前記第３のＱ３Ｄモデルを、３Ｄプリンタによる使用に適するフォーマットで前記置換構造の３次元（３Ｄ）モデルに変換するように、構成される、
付記１に記載のシステム。
（付記５） 前記少なくとも１つのプロセッサは、
前記置換構造に必要なサイズを示す出力信号を提供するように、構成される、
付記１に記載のシステム。
（付記６） 外科用置換構造を作るための方法であって、
標的骨組織を含む視野内の解剖学的構造を撮像するように配置されるＱ３Ｄ内視鏡を使用するステップ、
前記標的骨組織を含む骨組織の外部表面を表す前記解剖学的構造から取り込まれる画像情報に基づいて第１の定量的３次元（Ｑ３Ｄ）モデルを作るステップ、
前記標的骨組織が除去された組織であった前記解剖学的構造の位置における残りの組織骨構造を表す前記解剖学的構造から取り込まれる画像情報に基づいて第２のＱ３Ｄモデルを作るステップ、及び
前記第１のＱ３Ｄモデル及び前記第２のＱ３Ｄモデルに基づいて置換構造の第３のＱ３Ｄモデルを作るステップ、を含む、
方法。
（付記７） 前記第３のＱ３Ｄモデルを作るステップは、前記第１のＱ３Ｄモデルと前記第２のＱ３Ｄモデルとの間の３Ｄデジタルサブトラクションを決定するステップを含む、
付記６に記載の方法。
（付記８） 前記第３のＱ３Ｄモデルを、３Ｄプリンタによる使用に適するフォーマットで前記置換構造の３次元（３Ｄ）モデルに変換するステップ、をさらに含む、
付記６に記載の方法。
（付記９） 前記３Ｄモデルを使用して前記置換構造を作るように構成される３Ｄプリンタを使用するステップをさらに含む、
付記８に記載の方法。
（付記１０） 前記置換構造の前記第３のＱ３Ｄモデルに少なくとも部分的に基づいて前記除去された組織を置換するためのインプラントとして使用する既製の置換構造のサイズを決めるステップをさらに含む、
付記６に記載の方法。
（付記１１） 前記Ｑ３Ｄモデルを作るステップは、前記第１のＱ３Ｄモデルと前記第２のＱ３Ｄモデルとの間の１又は複数の差を決定するステップを含む、
付記６に記載の方法。
（付記１２） 手術シーンの３Ｄイメージングのためのシステムであって、
Ｑ３Ｄ内視鏡、
連続する位置に前記Ｑ３Ｄ内視鏡を位置決めするマニピュレータ、
前記連続する位置から冗長な複数の連続する３Ｄ画像を取り込む手段、及び
前記冗長な複数の連続する３Ｄ画像に基づいて前記手術シーンのＱ３Ｄモデルを作るように構成されるプロセッサ、を有する、
システム。
（付記１３） 光源で解剖学的構造を照らすステップ、
体腔内の複数の連続する位置のそれぞれで、Ｑ３Ｄ内視鏡を連続的に位置決めするステップ、
冗長な複数の連続する画像投影を取り込むステップ、及び
冗長な複数の連続する取り込まれた前記画像投影に基づいてＱ３Ｄモデルを作るステップ、を含む、
方法。
（付記１４） 前記内視鏡を連続的に位置決めするステップは、前記内視鏡の物理的な位置を連続的に変えるステップを含む、
付記１３に記載の方法。
（付記１５） 前記内視鏡を連続的に位置決めするステップは、画像センサアレイに関連付けられる１又は複数のレンズの光学特性を連続的に調整するステップを含む、
付記１３に記載の方法。
（付記１６） インプラント可能な装置の定量的な評価のためのシステムであって、
前記インプラント可能な装置を受けることを目標にされる視野内の構造を撮像するように配置される定量的３次元（Ｑ３Ｄ）内視鏡と、
少なくとも１つのプロセッサであって、
インプランテーション前の前記解剖学的構造の第１のＱ３Ｄモデルを作るように、及び
インプラントされた装置に必要なサイズを示す出力信号を作るように、
構成される、少なくとも１つのプロセッサと、を有する、
システム。
（付記１７） 前記少なくとも１つのプロセッサは、
インプランテーション後の前記解剖学的構造の第２のＱ３Ｄモデルを作るように、及び
少なくとも部分的に、前記第２のＱ３Ｄモデルに基づいて、少なくとも１つの定量的評価出力を作るように、さらに構成される、
付記１６に記載のシステム。
（付記１８） 前記定量的評価出力は、平均インプラント断面積とインプランテーションのための目標とされる前記解剖学的構造の平均面積との間の尺度、人工弁の開若しくは閉の尺度、又はステントによる血管管腔適用範囲の尺度のうちの１又は複数であり得る、
付記１６に記載のシステム。

Claims (11)

1. 置換解剖学的構造を作るためのシステムであって：
   ３つ以上のイメージングセンサを有するイメージングセンサアレイを含む定量的３次元（Ｑ３Ｄ）内視鏡であって、各前記イメージングセンサは、対応するレンズスタックがピクセルの対応する二次元配置上に画像を解像するように、前記対応するレンズスタックと、前記対応するレンズスタックの焦平面に位置する前記ピクセルの対応する二次元配置とを含み、前記イメージングセンサアレイの前記３つ以上のイメージングセンサは、重なり合う同一平面上の視野を有するように配置され、前記Ｑ３Ｄ内視鏡は、前記対応するレンズスタックが前記３つ以上のイメージングセンサの対応する焦平面内の前記ピクセルの対応する二次元配置内に標的組織の画像を解像するよう前記イメージングセンサのうちの３つ以上の前記対応するレンズスタックが位置決めされるように、前記標的組織の除去前の手術処置中の位置にあり、前記Ｑ３Ｄ内視鏡は、前記対応するレンズスタックが前記３つ以上のイメージングセンサの対応する焦平面内の前記ピクセルの対応する二次元配置内に残りの組織の画像を解像するよう前記イメージングセンサのうちの３つ以上の前記対応するレンズスタックが位置決めされるように、前記標的組織の除去後の前記手術処置中の位置にある、Ｑ３Ｄ内視鏡と、
   前記標的組織の除去前の前記手術処置中の前記位置と前記標的組織の除去後の前記手術処置中の前記位置との間で前記Ｑ３Ｄ内視鏡を動かすマニピュレータと、
   少なくとも１つのプロセッサであって、
   前記標的組織を含む組織の外部表面を表す解剖学的構造から前記標的組織の除去前の前記手術処置中に前記Ｑ３Ｄ内視鏡を使用して取り込まれる画像情報に基づいて第１のＱ３Ｄモデルを作り、
   前記標的組織が除去された組織であった前記解剖学的構造の位置における残りの組織構造を表す前記解剖学的構造から前記標的組織の除去後の前記手術処置中に前記Ｑ３Ｄ内視鏡を使用して取り込まれる画像情報に基づいて第２のＱ３Ｄモデルを作り、
   前記第１のＱ３Ｄモデル及び前記第２のＱ３Ｄモデルに少なくとも部分的に基づいて置換構造の第３のＱ３Ｄモデルを作るように、
   構成される、少なくとも１つのプロセッサと、を有する、
   システム。
2. 前記第３のＱ３Ｄモデルを作ることは、前記第１のＱ３Ｄモデルと前記第２のＱ３Ｄモデルとの間の１又は複数の差を決定することを含む、
   請求項１に記載のシステム。
3. 前記第３のＱ３Ｄモデルを作ることは、前記第１のＱ３Ｄモデルと前記第２のＱ３Ｄモデルとの間の３Ｄデジタルサブトラクションを決定することを含む、
   請求項１に記載のシステム。
4. 前記少なくとも１つのプロセッサは：
   前記第３のＱ３Ｄモデルを、３Ｄプリンタによる使用に適するフォーマットで前記置換構造の３次元（３Ｄ）モデルに変換するように、構成される、
   請求項１に記載のシステム。
5. 前記少なくとも１つのプロセッサは、
   前記置換構造に必要なサイズを示す出力信号を提供するように、構成される、
   請求項１に記載のシステム。
6. 外科用置換構造を作るためのシステムの作動方法であって、
   前記システムは、３つ以上のイメージングセンサを有するイメージングセンサアレイを含む定量的３次元（Ｑ３Ｄ）内視鏡であって、各前記イメージングセンサは、対応するレンズスタックがピクセルの対応する二次元配置上に画像を解像するように、前記対応するレンズスタックと、前記対応するレンズスタックの焦平面に位置する前記ピクセルの対応する二次元配置とを含み、前記イメージングセンサアレイの前記３つ以上のイメージングセンサは、重なり合う同一平面上の視野を有するように配置され、前記Ｑ３Ｄ内視鏡は、前記対応するレンズスタックが前記３つ以上のイメージングセンサの対応する焦平面内の前記ピクセルの対応する二次元配置内に標的骨組織の画像を解像するよう前記イメージングセンサのうちの３つ以上の前記対応するレンズスタックが位置決めされるように、前記標的骨組織の除去前の手術処置中の位置にあり、前記Ｑ３Ｄ内視鏡は、前記対応するレンズスタックが前記３つ以上のイメージングセンサの対応する焦平面内の前記ピクセルの対応する二次元配置内に残りの骨組織の画像を解像するよう前記イメージングセンサのうちの３つ以上の前記対応するレンズスタックが位置決めされるように、前記標的骨組織の除去後の前記手術処置中の位置にある、Ｑ３Ｄ内視鏡と、マニピュレータと、少なくとも１つのプロセッサと、を有し、
   前記方法は：
   前記少なくとも１つのプロセッサが、前記マニピュレータへの、前記標的骨組織の除去前の前記手術処置中の前記位置と前記標的骨組織の除去後の前記手術処置中の前記位置との間で前記Ｑ３Ｄ内視鏡を動かす命令を生成するステップ、
   前記少なくとも１つのプロセッサが、前記Ｑ３Ｄ内視鏡に、前記標的骨組織の除去前の前記手術処置中の前記標的骨組織の画像を含むとともに前記標的骨組織の除去後の前記手術処置中の前記残りの骨組織の画像を含む視野内の解剖学的構造の画像を取り込ませる命令を生成するステップ、
   前記少なくとも１つのプロセッサが、前記標的骨組織を含む骨組織の外部表面を表す前記解剖学的構造から前記標的骨組織の除去前の前記手術処置中に前記Ｑ３Ｄ内視鏡を使用して取り込まれる画像情報に基づいて第１の定量的３次元（Ｑ３Ｄ）モデルを作るステップ、
   前記少なくとも１つのプロセッサが、前記標的骨組織が除去された組織であった前記解剖学的構造の位置における残りの組織骨構造を表す前記解剖学的構造から前記標的骨組織の除去後の前記手術処置中に前記Ｑ３Ｄ内視鏡を使用して取り込まれる画像情報に基づいて第２のＱ３Ｄモデルを作るステップ、及び
   前記少なくとも１つのプロセッサが、前記第１のＱ３Ｄモデル及び前記第２のＱ３Ｄモデルに基づいて置換構造の第３のＱ３Ｄモデルを作るステップ、を含む、
   方法。
7. 前記第３のＱ３Ｄモデルを作るステップは、前記少なくとも１つのプロセッサが、前記第１のＱ３Ｄモデルと前記第２のＱ３Ｄモデルとの間の３Ｄデジタルサブトラクションを決定するステップを含む、
   請求項６に記載の方法。
8. 前記少なくとも１つのプロセッサが、前記第３のＱ３Ｄモデルを、３Ｄプリンタによる使用に適するフォーマットで前記置換構造の３次元（３Ｄ）モデルに変換するステップ、をさらに含む、
   請求項６に記載の方法。
9. ３Ｄプリンタが前記置換構造を作るステップをさらに含む、
   請求項８に記載の方法。
10. 前記少なくとも１つのプロセッサが、前記置換構造の前記第３のＱ３Ｄモデルに少なくとも部分的に基づいて前記除去された組織を置換するためのインプラントとして使用する既製の置換構造のサイズを決めるステップをさらに含む、
    請求項６に記載の方法。
11. 前記第３のＱ３Ｄモデルを作るステップは、前記少なくとも１つのプロセッサが、前記第１のＱ３Ｄモデルと前記第２のＱ３Ｄモデルとの間の１又は複数の差を決定するステップを含む、
    請求項６に記載の方法。

Images