JP7485818B2 - 同時の白色光及びハイパースペクトル光撮像システム - Google Patents

Description

（関連出願の参照）
この出願は、（Ian E. McDowell et al.が２０１６年９月９日に出願した「SIMULTANEOUS WHITE LIGHT AND HYPERSPECTRAL LIGHT IMAGING SYSTEMS」という名称の）米国特許出願第６２／３８５，７００号の優先権及び利益を主張する。

本発明は、一般的には、外科的処置において使用される撮像技法に関し、より具体的には、視覚的撮像(visual imaging)と組み合わせられたハイパースペクトル撮像(hyperspectral imaging)に関する。

コンピュータ支援手術システムは、身体への外傷の削減、より迅速な回復、より短い入院のような、多くの利点を患者に提供する。コンピュータ支援手術システムの１つの鍵となるコンポーネント（構成要素）は、２チャンネル（即ち、左右）のビデオキャプチャ及び可視画像の表示を提供して外科医に立体視の視認(stereoscopic viewing)を提供する能力である。

そのような電子立体視撮像システムは、高精細度ビデオ画像を外科医に出力することがあり、外科医が特定の組織の種類及び特性(characteristics)を識別することを可能にする並びに増大した精度で作業することを可能にする「拡大(magnified)」ビューを提供するよう、ズームのような特徴(構成)(features)を可能にすることがある。

典型的な最小侵襲外科分野では、特定の組織の種類を識別するのが困難であり、或いは関心組織(tissue of interest)が他の組織によって少なくとも部分的に覆い隠されることがある。これは外科的処置を複雑にする。幾つかの用途では、蛍光画像及び反射白色光画像が最小侵襲手術において使用される。蛍光画像は、関心組織を識別するのを助ける。

様々な蛍光撮像モダリティがある。蛍光は、例えば、注射可能な染料、蛍光タンパク質、又は蛍光タグ付き抗体の使用に起因することがある。蛍光は、例えば、レーザ又は他のエネルギ源による励起に起因することがある。蛍光画像は、病理学情報（例えば、蛍光腫瘍）又は解剖学的情報（例えば、蛍光タグ付き腱）のような、手術に重要な死活的な生体内患者情報を提供することができる。

よって、蛍光撮像を用いた組織の視覚化は、最小侵襲手術において知られている。更に、蛍光剤としてインドシアニングリーン（ICG; Akorn, Lake Forest, IL, USA）を用いた近赤外（ＮＩＲ）光技術を使用することは、da Vinci Si Surgical Systemを用いた最小侵襲手術において使用されている。

例えば、Hellen at al., “The influence of fluorescence imaging on the location of bowel transection during robotic left-sided colorectal surgery,” Surg. Endosc., 03 January 2014, DOI 10.1007/s00464-013-3377-6は、インドシアニングリーン（ICG）及び近赤外光技術を用いた灌流の評価に基づいて、結腸及び直腸離断線の場所に対する蛍光撮像の影響を系統的に評価することを記述している。

例えば、尿管を探し出す際に蛍光を使用することも知られている。赤外線照明を使用して尿管を画像化するために、近赤外（ＮＩＲ）蛍光体(fluorophore)のＩＶ注射又はカテーテルベースの逆行注射が使用された。周囲組織に埋め込まれるときでさえも尿管を視覚化することができ、目に見えない光を使用してリアルタイムで損傷を評価することができたことが報告された。Eiichi Tanaka, et al. “Real-Time Intraoperative Ureteral Guidance Using Near-Infrared Fluorescence,” J. Urol. 178(5), pgs. 197-2201(2007)は、LI-COR(Lincoln, NE)からの、インドシアニングリーン(ICG)及びCW800-CA、カルボン酸形態のIRDye^TM800CW NIR dyeを、ＮＩＲ発光体として使用することを記述している。Aya Matsui, M.D., et al., “Real-Time Near-Infrared Fluorescence-Guided Identification of the Ureters using Methylene Blue,” Surgery, 148(1) pgs. 78-86(2010)は、メチレンブルーをＮＩＲ発光体として使用する。

尿管を探し出す他のアプローチは、赤外線サーモグラフィを使用した。室温生理食塩水が手術野内の洗浄剤として使用されたので、手術野全体は一時的に冷却された。手術野が異なって再加温されると、血管のような構造は急速に再加温され、赤外線画像中の暗い背景に対して白線として現れた。この同じ着想の第２の適用は、上部泌尿器系に室温生理食塩水を充填することを含んだ。骨盤と尿管は、赤外線画像中で白色に見えたより温かい背景に対して黒色に見えた。Jeffrey A. Cadeddu, M.D., et al, “Laparoscopic Infrared Imaging,” Journal of Endourology, Vol. 15, No. 1, pgs. 111-116(2001)を参照のこと。

手術システムが、照明器と、カメラとを含む。照明器は、白色照明源と、ハイパースペクトル照明源とを含む。カメラは、センサアセンブリを有する。センサアセンブリは、第１の画像キャプチャセンサと、第２の画像キャプチャセンサとを含む。第１の画像キャプチャセンサは、可視カラーフレームを取り込むように構成され、第２の画像キャプチャセンサは、ハイパースペクトルフレームを取り込むように構成される。第１及び第２の画像キャプチャセンサは、可視カラーフレーム及びハイパースペクトルフレームを実質的に同時に取り込む。

１つの態様において、カメラは、手術システムのロボットアームに取り付けられる。手術システムのコントローラが、照明器に連結され、カメラに連結される。コントローラは、ロボットアームに命令して、カメラを複数の場所の各々に移動させる、ように構成され、コントローラは、カメラに命令して、複数の場所の各々で、可視カラーフレーム及びハイパースペクトルフレームを同時に取り込ませる、ように構成される。

他の態様において、コントローラは、照明器に命令して、ハイパースペクトル波帯の時間シーケンスを出力させる、ように構成される。この態様において、コントローラは、カメラに命令して、複数のハイパースペクトル波帯の各々について、可視カラーフレーム及びハイパースペクトルフレームを実質的に同時に取り込ませる、ように構成される。

更に他の態様において、コントローラは、カメラに命令して、ハイパースペクトルフレームのセットを取り込ませ、可視フレームを取り込ませる、ように構成される。コントローラは、ハイパースペクトルフレームのセットから複合フレームを生成する、ように構成される。可視フレームは、手術部位の可視シーンを含み、複合フレームは、可視シーンにおいて視覚的に顕著な手術部位の特徴を含む。

手術システムは、複合フレームと可視フレームとを受け取るようにコントローラに連結されるディスプレイユニットも含む。フレームは、（複数の）特徴を識別する（或いは特徴の可視性を強化する）ように処理され、ディスプレイユニットは、可視シーンと重ね合わせられた（複数の）特徴を表示する。他の態様において、ディスプレイユニットは、ピクチャ内ピクチャ(a picture within a picture)中の可視シーンと重ね合わせられた特徴を表示するように構成される。

カメラは、第１の画像キャプチャセンサ及び第２の画像キャプチャセンサに共通するレンズアセンブリを含む。カメラは、レンズアセンブリと第１及び第２の画像キャプチャセンサとの間に位置付けられるビームスプリッタも含む。１つの態様において、ビームスプリッタと第２の画像キャプチャセンサとの間に位置付けられるフィルタアセンブリを含む。

フィルタアセンブリは、第２の画像キャプチャセンサの上に集束される光をフィルタリングする(filter)よう位置付けられる。１つの態様において、フィルタアセンブリは、縞付きフィルタ(striped filter)である。他の態様において、フィルタアセンブリは、一次元における波長で線形に可変なフィルタ(filter linearly variable with wavelength in one dimension)である。

１つの態様では、内視鏡が、照明器と、カメラとを含む。他の態様では、内視鏡が、第１のマニピュレータに取り付けられる。内視鏡は、カメラを含む。手術デバイスが、第２のマニピュレータに取り付けられる。手術デバイスは、照明器を含む。

他の態様では、手術システムが、可視カラーフレームのシーケンスとハイパースペクトルフレームのシーケンスとを受け取るように構成されたコントローラを含む。コントローラは、カラーフレームのシーケンス中の可視カラーフレームの各々の可視カラーフレームに対応するハイパースペクトルフレームのシーケンス中のハイパースペクトルフレームのセットから複合ハイパーフレームを創成する、ように構成される。ディスプレイユニットが、可視フレームの各々について複合フレーム及び可視フレームのシーケンスを受け取るよう、コントローラに連結される。

１つの態様において、ディスプレイユニットは、可視フレームのシーケンスを表示するように構成され、可視フレームのシーケンスの表示中にピクチャ・イン・ピクチャ(a picture-in-a-picture)を表示するように構成され、ピクチャ・イン・ピクチャは、対応する複合フレームと重ね合わせられた可視フレームの各々の可視フレームのシーケンスである。

更なる態様では、手術システムが、第１の手術デバイスと、第２の手術デバイスとを含む。第１の手術デバイスは、可視カラーフレームを取り込むように構成された第１の画像キャプチャユニットを含む。第２の手術デバイスは、ハイパースペクトルフレームを取り込むように構成された第２の画像キャプチャユニットを含む。第１及び第２の画像キャプチャユニットは、可視カラーフレーム及びハイパースペクトルフレームを実質的に同時に取り込み、画像処理ユニットに画像を提供する。

１つの態様において、第２の手術デバイスは、深さ感知ユニットを含む。他の態様において、第２の手術デバイスは、カニューレである。

同時の視覚的及びハイパースペクトル撮像能力を含むコンピュータ支援手術システムの高レベルの概略図である。

図１のコンピュータ支援手術システム１００の一例の態様のより詳細な例示である。

図２のシステムの動作についてのプロセスフロー図である。

図２のシステムにおける組織の照明及び画像のキャプチャのためのタイミング図である。

可視フレーム内に含まれる可視手術部位シーンの抽象的表現である。

図５Ａの手術部位シーンのスキャンの抽象的表現である。

図５Ａの手術部位シーンについてのピクチャ内ピクチャの例示である。

図３の空間的位置合わせプロセスの１つの実施のブロック図である。

時間順次ハイパースペクトル照明を使用して取り込まれたハイパースペクトルフレームの表現である。

可視フレームとハイパースペクトルフレームとを同時に取り込む時定ハイパースペクトル照明と共に使用されるカメラの図である。

図８Ａのカメラにおける使用に適した第１の種類のフィルタの例示である。

図８Ａのカメラにおける使用に適した第２の種類のフィルタの例示である。

可視フレームとハイパースペクトルフレームとを同時に取り込む時定ハイパースペクトル照明と共に使用される別のカメラの図である。

図８Ａ、図９、又は図１０Ｂのカメラのうちの１つを含む手術デバイスの例示である。

可視フレームとハイパースペクトルフレームとを同時に取り込む時間順次ハイパースペクトル照明と共に使用されるカメラの図である。

本明細書に記載する手術デバイスを使用する別のコンピュータ支援手術システムの例示である。

図１のコンピュータ支援手術システム又は図１１Ａのコンピュータ支援手術システムにおいて使用される２つの手術デバイスのより詳細な例示である。

図１１Ａの第１の手術器具において時定ハイパースペクトル照明と共に使用されるカメラの図である。

図１１Ａの第１の手術器具において時間順次ハイパースペクトル照明と共に使用されるカメラの図である。

本発明の態様は、手術中に臨床的に関心のある組織又は他の態様を識別するために可視画像及び代替モダリティ画像の両方を組み込むことによって、手術デバイス、例えば、Sunnyvale, CaliforniaのIntuitive Surgical, Inc.によって商業化されているda Vinci（登録商標）Surgical Systemのような、コンピュータ支援手術システムのビデオキャプチャ及びビデオ視聴能力を強化する。（da Vinciは、Sunnyvale, CaliforniaのIntuitive Surgical, Inc.の登録商標である）。本明細書では、コンピュータ支援手術システムが例として使用されるが、本発明の態様は、外科的処置中に外科医を支援するために手術野の画像を表示する任意のデバイス又はシステムと共に使用されることができる。

本発明の態様は、コンピュータ支援手術システムを用いて外科的処置を行うときに外科医が普通使用する可視画像に加えて、臨床的に関心のある組織又は他の特徴(構成)(features)を識別する代替モダリティ画像を同時に提供する。１つの態様では、組織が手術野の通常の可視画像中で不明瞭であることがあるとしても、その組織を安全かつ効率的に画像化するために、関心組織からのハイパースペクトル光(hyperspectral light)が使用される。他の態様では、以前には利用可能でなかった組織又は他の身体機能に関する詳細及び情報を提供するために、可視撮像及びハイパースペクトル撮像の組み合わせが分析される。本明細書において、ハイパースペクトル光は、人間が見ることができる特徴に関係しない光の中のスペクトル情報を指す。

この撮像の組み合わせは、可視画像及び代替画像のオーバーレイであってよく、代替画像のオーバーレイは、（例えば、da Vinci（登録商標）Surgical Systemの外科医コンソールにあるフットペダルを使用することによって或いはマスタフィンガグリップをダブルクリックすることによって）オンオフに切り替えられてよい。１つの態様において、可視画像及び代替画像－結合画像－の重合わせは、ピクチャ内のピクチャとして提示され、ここで、結合ピクチャは、外科医によって見られる手術部位の正常に表示されたシーン内のピクチャとして提示されるか、或いは代替的に、手術部位の正常に表示されたシーンは、結合ピクチャ内のピクチャとして提示される。１つの態様において、結合ピクチャ内のシーンは、結合ピクチャを生成するために必要とされる処理の故に、外科医に通常表示されるシーンに時間において後れを取る。

図１は、コンピュータ支援手術システム１００、例えば、da Vinci（登録商標）Surgical Systemの高レベルの概略図である。この例では、外科医が、外科医コンソール１１４を用いて、ロボットマニピュレータアーム１１３を用いて内視鏡１０１を遠隔操作する。外科医は、他のロボットマニピュレータアームに取り付けられた手術器具を操作することもできる。コンピュータ支援手術システム１００と関連付けられる他の部品、ケーブルなどがあるが、これらは開示を損なうことを避けるために図１に例示されていない。コンピュータ支援手術システムに関する更なる情報は、例えば、（「Minimally invasive Surgical System」を開示する２００７年６月１３に出願された）米国特許出願公開第２００８／００６５１０５Ａ１号明細書及び（「Surgical Robotic Tools, Data Architecture, and Use」を開示する２００１年１２月１８に出願された）米国特許第６，３３１，１８１号明細書に見出されることがあり、それらの両方の全文が参照として本明細書に援用される。

以下により完全に説明するように、照明システム（図示せず）が、内視鏡１０１に連結されるか、或いは代替的に内視鏡１０１内に含められる。１つの態様において、照明システムは、白色光照明又は白色光照明とハイパースペクトル光照明との組み合わせを提供する。１つの態様において、この光の全部又は一部は、内視鏡１０１内の少なくとも１つの照明経路に連結される。他の態様において、照明源は、内視鏡１０１の遠位先端又は遠位先端付近に、或いはバックエンドハウジング内に配置される。１つの態様において、可視白色光照明及びハイパースペクトル照明の両方は、外科的処置中に一定である。他の態様において、可視照明は、時間において一定であるが、ハイパースペクトル照明のスペクトルは、時間と共に変化する。

この態様において、内視鏡１０１からの光は、患者１１１の組織１０３を照明する。内視鏡１０１は、１つの態様において、組織からの光、例えば、反射白色光及び反射又は放射ハイパースペクトル光を通す２つの光学チャネル(optical channels)、例えば、左光学チャネル及び右光学チャネルを含む。立体視内視鏡である。内視鏡１０１は、他の態様において、組織から光、例えば、反射白色光及び反射又は放射ハイパースペクトル光を通す単一の光学チャネルを含む、平面視内視鏡である。

以下により完全に説明するように、両方の種類の内視鏡について、反射白色光は、画像キャプチャシステム１２０によって可視光フレーム１２１として取り込まれる。可視光フレーム１２１は、組織１０３の画像を含む可視シーンを含み、可視光フレーム１２１を可視フレーム１２１と呼ぶことがある。

反射及び／又は放射ハイパースペクトル光は、画像キャプチャシステム１２０によってハイパースペクトル光フレーム１２２として取り込まれる。ハイパースペクトル光フレーム２２は、組織１０３又は内視鏡１０１の視野内の他の特徴のハイパースペクトルシーンを含む。ハイパースペクトル光フレーム１２２をハイパースペクトルフレーム１２２と呼ぶことがある。画像キャプチャユニット１２０は、可視フレーム及びハイパースペクトルフレームを実質的に同時に取り込む。ここで、可視フレーム及びハイパースペクトルフレームの実質的に同時の、効果的に同時の、ほぼ同時の、及び実質的に同時のキャプチャ（取込み）とは、人間の観点から、２つのフレームが同一の時点で取り込まれるように見えることを意味する。

１つの態様では、画像キャプチャシステム１２０内のカメラが、内視鏡１０１の近位端に取り付けられる。別の態様において、カメラは、内視鏡１０１の遠位端に取り付けられる。ここで、遠位とは、手術部位に近い方を意味し、近位とは、手術部位から遠い方を意味する。以下により完全に説明するように、カメラは、１つの態様において、同じフロントエンド光学系(front end optics)を通じて可視フレーム及びハイパースペクトルフレームを取り込む。これはハイパースペクトルフレームを取り込むために特殊なフロントエンド光学系を利用するシステムと対照的である。

１つの態様では、所定の時間間隔で、ハイパースペクトルフレーム１２２の立体視ペアが、立体視可視フレーム１２１の対応するペアと実質的に同時に取り込まれる。よって、画像キャプチャシステム１２０は、白色光シーン、例えば、可視カラーシーンを有するフレーム１２１のキャプチャを可能にし、可視カラーシーンにおいて顕著でない情報のキャプチャ、即ち、ハイパースペクトルフレーム１２２のキャプチャも可能にする。典型的には、取り込まれるハイパースペクトルフレーム１２２は、取り込まれる可視フレーム１２１と同じ分解能(resolution)を必ずしも有さない。何故ならば、ハイパースペクトルフレーム１２２を取り込むために使用されるセンサの分解能は、場合によっては、可視フレーム１２１を取り込むために使用されるセンサの分解能よりも少ないことがあるからである。可視画像及びハイパースペクトル画像のための画像センサを実装するために使用される技術は、撮像のために必要とされる所要波長範囲内の最良の感度、ノイズ削減、及び撮像性能についての実装詳細に基づいて異なってよい。

結果的に、１以上（１つ又はそれよりも多く）のハイパースペクトルフレームのセットが取り込まれ、ハイパースペクトルフレームのこのセットは、対応する取り込まれる可視フレームに空間的に位置合わせされる(registered)。空間的に位置合わせされる(spatially registered)とは、ハイパースペクトルフレームの各ハイパースペクトルフレーム内の空間点(spatial points)が、ハイパースペクトルフレームのセットを重ね合わせて或いはほぼ重ね合わせて複合ハイパースペクトルフレーム(composite hyperspectral frame)を形成し得るよう、取り込まれるハイパースペクトルフレームの各ハイパースペクトルフレーム内の共通の空間点を整列させ得るように、マッピングされること、並びに、複合ハイパースペクトルフレームの空間点が、複合ハイパースペクトルフレーム及び可視フレームを重ね合わせて、強化シーン(augmented scene)と呼ぶことがある組み合わせフレーム(combination frame)を形成し得るように、可視フレーム内の対応する空間点にマッピングされることを意味する。

手術部位の組織は、典型的には、例えば、呼吸、心臓の拍動、他の身体の動き又は蠕動、及び／又は血流のうちのいずれか１つ又はいずれかの組み合わせの故に、移動している。この移動は、空間的な位置合わせをより困難にするが、コンピュータ支援手術システムにおいて、カメラの姿勢（位置座標及び向き座標）は、各々の取り込まれる画像に関して知られており、空間的な位置合わせプロセスにおいて使用されることができる。

１つの態様において、画像処理システム１３０は、増強シーン１４１を創成する。即ち、可視フレーム内の可視シーンは、ハイパースペクトルフレームのセットの重ね合わせによって形成される複合シーンと重ね合わせられる。幾つかの態様において、可視データ及びハイパースペクトルデータの組み合わせは、外科医への提示のために変換され、例えば、データは、特定の関心特徴(features of interest)を識別するために処理される。増強シーン１４１は、外科医コンソール１１４の立体視ビューアに表示される。ハイパースペクトルフレームのセットは、可視シーン内で顕著でない特徴、例えば、可視フレームのシーン内で見えない或いは明瞭に見えない特徴を取り込むので、増強画像は、可視シーン内で入手可能なものよりも多くの情報、例えば、罹患組織、神経、尿管などのような、関心組織の場所を、外科医に提供する。

別の態様において、外科医コンソール１１４の立体視ビューアは、ピクチャ・イン・ピクチャ能力(a picture in a picture capability)を有する。システム１００のユーザがピクチャビューモードにおいてピクチャを選択すると、手術部位の通常のビューが提示され、ピクチャ内のピクチャは、顕著でない特徴が強調された手術部位の別のビューを外科医に提示する。代替的に、ピクチャ・イン・ピクチャビューモードにおけるピクチャにおいて、外科医は、顕著でない特徴が強調された手術部位のビューを提示され、ピクチャ内のピクチャは、手術部位の通常のビューを提示した。両方の場合において、同じ可視手術部位シーンが両方のピクチャ内に表示されるが、増強シーンにおいて、可視手術部位シーンは、通常のビュー内の同じ手術部位シーンに時間において後れを取ることがある。

また、深さ情報が、例えば、立体視カメラによって取り込まれるフレームから或いは深さ感知デバイスを含む内視鏡から入手可能なときには、ハイパースペクトルフレーム内の情報を分析して、組織の相対反射率と比較されるような絶対反射率を決定することができる。絶対反射率は、例えば、疾患組織の決定又は絶対項内の肝機能速度の臨床的評価を可能にする。

図２は、図１のコンピュータ支援手術システム１００の一例の態様のより詳細な例示である。図３は、図２のシステムの作動についてのプロセスフロー図であり、図４は、図２のシステムにおける組織の照明及び画像のキャプチャについてのタイミング図である。タイミング図は、一定ハイパースペクトル照明(constant hyperspectral illumination)及び時間順次ハイパースペクトル照明(time sequential hyperspectral illumination)の両方に当て嵌まる。

図２の実施形態において、コンピュータ支援手術システム１００は、組み合わせ光源２１０である照明器を含む。組み合あわせ光源２１０は、可視光照明器２１１、例えば、白色光源と、ハイパースペクトル光照明器２１２とを含む。組み合わせ光源２１０が以下により完全に記載する能力を有する限り、照明器２１１及び２１２の具体的な実施は重要でない。

この態様において、組み合わせ光源２１０は、立体視内視鏡１０１内の少なくとも１つの照明経路と共に使用されて、組織１０３を照らす。１つの態様において、組み合わせ光源２１０は、少なくとも２つの動作モード、即ち、通常視認モード(normal viewing mode)と、増強視認モード(augmented viewing mode)とを有する。１つの態様において、増強視認モードは、一定ハイパースペクトル照明モードと、時間順次ハイパースペクトル照明モードに分割される。

通常視認モードにおいて、可視光照明器２１１は、白色光で組織１０３を照らす照明を提供する。ハイパースペクトル光照明器２１２は、通常視認モードにおいて使用されない。

増強視認モードにおいて、可視光照明器２１１は、白色光で組織１０３を照らす照明を提供する。１つの態様において、ハイパースペクトル光照明器２１２は、ハイパースペクトル光の時間において一定のスペクトル、例えば、赤外スペクトル内の光で組織１０３を照らす照明を提供する。別の態様において、ハイパースペクトル光照明器２１２は、ハイパースペクトル光の時間順次波帯、例えば、赤外スペクトル内の光の波帯で組織１０３を照らす照明を提供する。

ハイパースペクトル照明の例としての赤外線又は近赤外線の使用は、例示的であるに過ぎず、この特定の態様に限定することを意図しない。開示の観点から、当業者は、取り込まれる可視フレーム内の顕著でない特徴を、取り込まれるハイパースペクトルフレーム内で顕著にする、ハイパースペクトル照明を選択することができる。

１つの態様において、可視光照明器２１１は、異なる可視カラー照明コンポーネントの各々のための光源を含む。赤色－緑色－青色の実施では、一例において、光源は、レーザ、赤色レーザ、２つの緑色レーザ及び青色レーザである。

可視光照明器２１１におけるレーザの使用は、例示的であるに過ぎず、限定的であることを意図しない。可視光照明器２１１は、例えば、レーザの代わりに複数のＬＥＤ光源で実現されることもできる。代替的に、可視光照明器２１１は、楕円形の後方反射器及び帯域通過フィルタコーティングを備えるキセノンランプを使用して、可視画像のための広帯域白色照明光を創成することができる。キセノンランプの使用も例示的であるに過ぎず、限定的であることを意図しない。例えば、高圧水銀アークランプ、他のアークランプ、又は他の広帯域光源が使用されてよい。

ハイパースペクトル光照明器２１２の実施は、関心のあるハイパースペクトルのスペクトルに依存する。典型的には、レーザモジュール、複数のレーザモジュール、発光ダイオード又は複数の発光ダイオードが、ハイパースペクトル光照明器２１２として使用される。ハイパースペクトル光照明器２１２がハイパースペクトル光の時定(time constant)スペクトルを提供するならば、回転フィルタを用いてハイパースペクトル光照明器２１２の出力をフィルタリングすることにより、ハイパースペクトル光の時間順次波帯を生成することができる。線形可変フィルタが使用されてもよく、光路に亘ってスライドさせられてもよい。照明のバンド（帯）を選択的に生成するために、２つのそのようなフィルタが用いられてもよい。この方法において使用されるフィルタは、互いに対して移動させられるときに、所望のスペクトル発光体が創成されるような方法において、パターン化されてもよい。

通常視認モード及び増強視認モードにおいて、可視光照明器２１１からの光又は可視光照明器２１１からの光及びハイパースペクトル光照明器２１２からの光は、コネクタ２１２内に向けられる。コネクタ２１６は、光を立体視内視鏡１０１内の照明路(illumination path)に提供し、次に、それは光を組織１０３に導く。コネクタ２１６及び立体視内視鏡１０１内の照明路の各々は、例えば、光ファイバ束、単一の剛性又は可撓性ロッド、又は光ファイバで実現されることができる。

手術部位１０３（図２）からの光は、内視鏡１０１内の立体視光学チャネル、例えば、左光学チャネル及び右光学チャネル、又は代替的に、第１の光学チャネル及び第２の光学チャネルによって、カメラ２２０Ｌ，２２０Ｒに送られる。以下により完全に説明するように、左カメラ２２０Ｌは、左可視カラー画像キャプチャセンサ２２１Ｌ＿Ｖと、左ハイパースペクトル画像キャプチャセンサ２２Ｌ＿ＨＳとを含む。左可視カラー画像キャプチャセンサ２２１Ｌ＿Ｖは、立体視内視鏡１０１の左チャネルから受光する可視光を左可視フレーム２２２Ｌ＿Ｖとして取り込む。左ハイパースペクトル画像キャプチャセンサ２２１Ｌ＿ＨＳは、立体視内視鏡１０１の左チャネルから受光するハイパースペクトル光又はハイパースペクトル光及び可視光を左ハイパースペクトルフレーム２２１Ｌ＿ＨＳとして取り込む。

同様に、右カメラ２２０Ｒは、右可視カラー画像キャプチャセンサ２２１Ｒ＿Ｖと、右ハイパースペクトル画像キャプチャセンサ２２１Ｒ＿ＨＳとを含む。右可視カラー画像キャプチャセンサ２２１Ｒ＿Ｖは、立体視内視鏡１０１の右チャンネルから受光する可視光を右可視フレーム２２２Ｒ＿Ｖとして取り込む。右ハイパースペクトル画像キャプチャセンサ２２１Ｒ＿ＨＳは、立体視内視鏡１０１の右チャネルから受光するハイパースペクトル光又はハイパースペクトル光及び可視光を右ハイパースペクトルフレーム２２２Ｒ＿ＨＳとして取り込む。

左カメラ２２０Ｌ及び右カメラ２２０Ｒの両方は、可視フレーム及びハイパースペクトルフレームを実質的に同時に取り込む。取り込んだ可視フレーム及び取り込んだハイパースペクトルフレームは、同じフロントエンド光学系を通じて取り込まれる。これはハイパースペクトル画像を取り込むために特殊なフロントエンド光学系を利用する以前のハイパースペクトル画像キャプチャシステムと対照的である。

典型的には、必ずしも必要ではないが、ハイパースペクトル画像キャプチャセンサの分解能は、可視カラー画像キャプチャセンサの分解能よりも少ない。例えば、可視カラー画像キャプチャセンサの画素は、１．２～２．２マイクロメートルの範囲のサイズを有する一方で、ハイパースペクトル画像キャプチャセンサの画素は、２～１０マイクロメートルの範囲のサイズを有する。従って、有用なハイパースペクトル画像を得るために、以下により完全に説明するように、複数のハイパースペクトルフレームを使用して、ある時点についての複合ハイパースペクトルフレームを生成する。複合ハイパースペクトルフレームは、典型的には取り込まれる可視フレーム内で顕著でない情報を含む。

カメラ２２０Ｌは、左カメラ制御ユニット２３０Ｌ及び画像処理モジュール２４０によって、外科医コンソール１１４内の立体視ディスプレイ２５１に結合される。画像処理モジュール２４０は、画像処理システム１３０の一部である。カメラ２２０Ｒは、右カメラ制御ユニット２３０Ｒ及び画像処理モジュール２４０によって外科医コンソール１１４内の立体視ディスプレイ２５１に結合される。カメラ制御ユニット２３０Ｌ，２３０Ｒは、システムプロセス制御モジュール２６２から信号を受信する。システムプロセス制御モジュール２６２は、システム１００内の様々なコントローラを表している。

ディスプレイモード選択スイッチ２５２が、ユーザインタフェース２６１に信号を提供し、次に、ユーザインタフェース２６１は、選択されたディスプレイモードをシステムプロセス制御モジュール２６２に送る。システムプロセス制御モジュール２６２内の様々なコントローラは、照明コントローラ２１５を構成し、左右のカメラ制御ユニット２３０Ｌ及び２３０Ｒを構成して所望の画像を取得し、外科医が立体視ディスプレイ２５１内で所要のシーンを提示されるよう取得シーンを処理するのに必要とされる画像処理モジュール２４０内の任意の他の要素を構成する。画像処理モジュール２４０は、本明細書に提供される詳細を除き、既知の画像処理パイプラインと均等の画像処理パイプラインを実装する。

立体視ディスプレイ２５１上のビデオ出力は、例えば、フットスイッチ、手術器具を制御するために使用されるマスタグリップのダブルクリック、音声制御、及び他の同様の切替方法を使用することによって、通常視認モードと増強視認モードとの間で切り替えられて(toggled)よい。視認モード間の切替えのためのトグルは、ディスプレイモードセレクタ２５２として図２に表されている。

中央コントローラ２６０及びシステムプロセス制御モジュール２６２は、以下により完全に記載する態様を除いて、以前のシステムに類似している。中央コントローラ２６０として記載されるが、コントローラ２６０は、実際には任意の数のモジュールによって実装されてよく、各モジュールは、コンポーネントの任意の組み合わせを含んでもよいことが理解されるべきである。各モジュール及び各コンポーネントは、ハードウェア、プロセッサ上で実行されるソフトウェア、及びファームウェア、又はこれらの３つの任意の組み合わせを含んでよい。

また、本明細書に記載されるような、コントローラ２６０及びシステムプロセス制御モジュール２６２の機能及び動作は、１つのモジュールによって実行されてよく、或いは異なるモジュール間で分割されてよく、モジュールの異なるコンポーネントの間で分割されてさえよい。異なるモジュール又はコンポーネントの間で分割されるとき、モジュール又はコンポーネントは、１つの場所に集中させられてよく、或いは分散処理の目的のためにシステム１００に亘って分散されてよい。よって、中央コントローラ２６０及びシステムプロセス制御モジュール２６２は、幾つかの態様におけるように単一の物理的実体を必要とするものと解釈されるべきでなく、両方ともシステム１００に亘って分散される。

ここで、カメラ２２０Ｌによって取り込まれる画像のキャプチャ、処理、及び表示は、カメラ２０Ｒによって取り込まれる画像のキャプチャ、処理、及び表示と同じである。よって、以下の記述では、立体視内視鏡の１つのチャンネル内の光から取り込まれるフレームのみが議論されるとき、その議論は、立体視内視鏡の他のチャンネル内の光から取り込まれるフレームにも直接的に適用可能である。よって、立体視内視鏡の他のチャンネルについて記述を繰り返さない。

その上、平面視内視鏡では、例えば、カメラ２２０Ｌによって取り込まれるフレームと均等なフレームのみが利用可能である。よって、立体視画像を必要としない本明細書に記載の態様は、平面視内視鏡にも直接的に適用可能である。

コンピュータ支援手術システムに関する更なる情報は、例えば、（「Minimally Invasive Surgical System」を開示する２００７年６月２３日に出願された）米国特許出願第１１／７６２，１６５号、（「Arm Cart for Telerobotic Surgical System」を開示する２００１年１０月１日に出願された）米国特許第６，８３７，８８３Ｂ２号、及び（「Surgical Robotic Tools, Data Architecture, and Use」を開示する２００１年１２月２８日に出願された）米国特許第６，３３１，１８１号に見出され、それらは全てが参照として本明細書に援用される。

図２では、カメラ２２０Ｌ，２２０Ｒ及び組み合わせ光源２１０が、内視鏡１０１の外部にあるように示されている。しかしながら、１つの態様において、カメラ２２０Ｌ，２２０Ｒ及び光源２１０は、組織１０３に隣接する内視鏡１０１の遠位先端、又は内視鏡１０１のバックエンドハウジング内に含まれる。

図３は、システム１００の撮像動作３００の１つの態様のプロセスフロー図である。撮像動作３００は、２つのパイプライン、即ち、可視画像処理パイプライン３１０(visible image processing pipeline)と、ハイパースペクトル画像処理パイプライン３２０(hyperspectral image processing pipeline)とを含む。可視画像処理パイプライン３１０は、１つの態様において可視ビデオシーケンス４２１Ｌ＿Ｖ，４２１Ｒ＿Ｖ（図４）がハイパースペクトル画像処理パイプライン３２０のために保存されて使用されることを除いて、以前のコンピュータ支援手術システムの可視画像処理パイプラインと類似する。

図３の例では、増強視認モードにおいて、可視画像処理パイプライン３１０とハイパースペクトル画像処理パイプライン３２０の両方が、１つの態様においてビデオ出力を同時に表示している。別の態様では、増強視認モードにおいて、ハイパースペクトル画像処理パイプライン３２０のみがビデオ出力を表示している。いずれの場合においても、増強画像処理パイプライン３２０は、典型的には可視ビデオ画像シーケンスにおいて観察し得ない特徴又は情報をディスプレイに出力する。

通常視認モードを選択するディスプレイモード選択２５２からのユーザ入力に応答して、通常視認モードを示すディスプレイ選択信号３０１（図３）が、ユーザインタフェース２６１の視認モード確認プロセス３０２（図３）に提供され、次に、ユーザインタフェース２６１は、白色光で組織を照らすプロセス３０３に白色光照明アクティブ制御信号を提供する。ユーザインタフェース２６１は、１つの態様において、ユーザ制御モジュールによって生成される。

１つの態様において、通常視認モードは、デフォルトモードである。この態様において、ディスプレイモード選択２５２は、外科医が通常視認モードから増強視認モードに或いは増強視認モードから通常視認モードに切り替えることを欲するまで使用されない。

白色光で組織を照らすプロセス３０３は、組み合わせ光源２１０内の光コントローラ２１５に白色光動作コマンドを送信する。光コントローラ２１５は、便宜上、組み合わせ光源２１０内に位置するものとして例示されており、光コントローラ２１５の場所をこの特定の場所に限定することを意図しない。

白色光動作コマンドに応答して、光コントローラ２１５は、光照明器２１２がオンであるならば、ハイパースペクトル光照明器２１２をオフにし、組織１０３が白色光によって照らされるように可視光照明器２１１を可能にする。当業者は、照明器２１１及び２１２の電源をオンオフする代わりに、コントローラ２１５が、電力を常にオンに維持し、照明器からの出力をコネクタ２１６に並びにコネクタ２１６から離れるように導き、同じ結果を達成し得ることを認識する。

よって、動作の通常視認モードにおいて、白色光で組織を照らすプロセス３０３は、組織が白色光で照らされるようにさせる。組織１０３（図２）からの可視光は、内視鏡１０１内の立体視光学チャネルによって画像キャプチャシステム２２０に送られる。この態様において、画像キャプチャシステム２２０は、左可視カラー画像キャプチャセンサ２２１Ｌ＿Ｖを含む左カメラ２２０Ｌと、右可視カラー画像キャプチャセンサ２２１Ｒ＿Ｒを含む右カメラ２２０Ｒとを含むことを思い起こされたい。

よって、可視画像をキャプチャするプロセス３０４（図３）において、左可視カラー画像キャプチャセンサ２２１Ｌ＿Ｖは、可視左フレームを取り込み、右可視カラー画像キャプチャセンサ２２１Ｒ＿Ｖは、可視右フレームを取り込む。取り込まれる左右の可視フレームは、手術部位のカラーシーン、例えば、赤色－緑色－青色のシーンを含む。

左可視カラー画像キャプチャセンサ２２１Ｌ＿Ｖ及び右可視カラー画像キャプチャセンサ２２１Ｒ＿Ｖは、それぞれ、複数の電荷結合デバイス（ＣＣＤ）であることができ、各電荷結合デバイスは、各ＣＣＤは、異なる可視カラーコンポーネントを取り込み、単一のＣＣＤは、特定の可視カラーコンポーネントなどを取り込むＣＣＤの異なる領域を備える。３チップＣＣＤセンサは、例示的であるに過ぎない。左可視カラー画像キャプチャセンサ２２１Ｌ＿Ｖ及び右可視カラー画像キャプチャセンサ２２１Ｒ＿Ｖの各々のために、カラーフィルタアレイを備える単一のＣＭＯＳ画像キャプチャセンサ又は３ＣＭＯＳカラー画像キャプチャセンサアセンブリも使用されてよい。

左右の可視フレームが取得された後、増強確認プロセス３０５が、視認モードが増強されているか又は通常であるかを決定する。視認モードが増強されると、増強確認プロセス３０５は、取得した左右の可視フレームを保存する可視画像を保存するプロセス３０６に移行する。視認モードが通常であるとき、増強確認プロセス３０５は、可視画像を送信するプロセス３０７に移行する。

よって、動作の通常視認モードにおいて、取得された可視左フレーム及び取得された可視右フレームは、可視画像を送信するプロセス３０７（図３）を実行する中央コントローラ２６０内の画像処理モジュール２４０（図２）に提供される。可視画像を送信するプロセス３０７では、フレーム内に取り込まれるシーンが表示されるときにカメラの視野内の手術部位の部分が正確に再現されるよう、２つの取得された可視フレームの任意の処理が行われる。この処理は、以前のシステムで行われたものと同じである。可視画像を送信するプロセス３０７は、処理された可視左フレーム及び処理された可視右フレームを立体視ディスプレイ２５１に送信し、立体視カラーシーンが、立体視ディスプレイ２５１によって、可視画像を表示するプロセス３０８において表示される。

増強確認プロセス３０５を除き、動作の通常視認モードにおける処理は、従来的なコンピュータ支援手術システムにおける処理と均等であり、従って、当業者に知られている。また、プロセス３０４、３０７及び３０８は、外科医が組織１０３を含むリアルタイムビデオシーンを見るように、各フレームについて繰り返し実行される。

動作の通常視認モードの間、外科医は、組織１０３の通常の三次元カラービューを提供される。しかしながら、外科医は、組織１０３の三次元ビュー内の強調された組織１０３内の関心領域又は複数の関心領域を見たいと欲することがある。例えば、外科医は、組織１０３の通常の三次元カラービューにおいては見えない或いは明瞭に見えない、組織の疾病部分及び／又は特定の組織、例えば、腱又は器官を見ることを欲することがある。よって、時刻ｔ_０（図４）に、外科医は、ディスプレイモード選択２５２を使用して、時定ハイパースペクトル照明を伴う動作の増強視認モードに切り替える。

（時定ハイパースペクトル照明）
ディスプレイモード選択２５２からのユーザ入力に応答して、一定ハイパースペクトル照明を伴う増強視認モードを示す増強ディスプレイ選択コマンドが、ユーザインタフェース２６１の視認モード確認プロセス３０２に提供される。一定ハイパースペクトル照明コマンドを備える増強視認モードに応答して、確認プロセス３０２は、この態様において、可視画像処理パイプライン３１０内の白色光で組織を照らすプロセス３０３にアクティブ白色光照明制御信号を提供し、ハイパースペクトル画像処理パイプライン３２０内のハイパースペクトル光で組織を照らすプロセス３２１にアクティブハイパースペクトル一定照明制御信号提供する。

可視画像処理パイプライン３１０内の動作は上述されたので、ここではこの増強視認モードについて繰り返されない。何故ならば、動作は上述のものと同じだからである。

アクティブハイパースペクトル一定照明制御信号に応答して、ハイパースペクトラル光で組織を照らすプロセス３２１が、組み合わせ光源２１０内の光コントローラ２１５に一定ハイパースペクトル光動作信号を送信する。一定ハイパースペクトル光動作信号に応答して、光コントローラ２１５は、ハイパースペクトル光の時定スペクトルをコネクタ２１６に提供するように、ハイパースペクトル光照明器２１２を構成する。

白色光で組織を照らすプロセス３０３は、組み合わせ光源２１０内の光コントローラ２１５に白色光動作信号を送信するので、光コントローラ２１５は、白色光をコネクタ２１６に供給するように可視光照明器２１１を構成する。よって、この増強モードにおいて、組織１０３は、白色光とハイパースペクトル光の組み合わせで照らされる。

組織１０３（図２）からの光は、内視鏡１０１内の立体視光学チャネルによって画像キャプチャシステム２２０に送られる。１つの態様では、以下により完全に説明するように、画像キャプチャユニット２２０Ｌ，２２０Ｒと呼ぶことがあるカメラ２２０Ｌ，２２０Ｒによって取り込まれる（複数の）ハイパースペクトル波長スペクトルを選択するために、フィルタが使用される。

動作のこの増強視認モードでは、時刻ｔ_０に、可視画像を取り込むプロセス３０４（図３）が、左可視画像キャプチャセンサ２２１Ｌ＿Ｖで第１の可視左カラーフレーム４２１Ｌ＿Ｖ＿ｔ０を取得し、右可視画像キャプチャセンサ２２１Ｒ＿Ｖで第１の可視右カラーフレーム４２１Ｒ＿Ｖ＿ｔ０を取得する（図４）。同様に、時刻ｔ_０に、ハイパースペクトル画像を取り込むプロセス３２２（図３）が、左ハイパースペクトル画像キャプチャセンサ２２１Ｌ＿ＨＳ＿ｔ０で第１のハイパースペクトル左フレーム４２１Ｌ＿ＨＳ＿ｔ０を取得し、右ハイパースペクトル画像キャプチャセンサ２２１Ｒ＿ＨＳで第１のハイパースペクトル右フレーム４２１Ｒ＿ＨＳ＿ｔ０を取得する。可視画像を取り込むプロセス３０４及びハイパースペクトル画像を取り込むプロセス３２２が、図８Ａに関して以下により完全に議論するような、画像キャプチャユニットの構造、並びに可視フレーム及びハイパースペクトルフレームのキャプチャプロセスにおける動作の同期化の故に、実質的に同時に実行される。

先に説明したように、時刻ｔ_０で取り込まれる第１の可視左カラーフレーム４２１Ｌ＿Ｖ＿ｔ０及び第１の可視右カラーフレーム４２１Ｒ＿Ｖ＿ｔ０は、任意の増強視認モードのための可視画像を保存するプロセス３０６によって保存される。可視画像を保存するプロセス３０６は、ピクチャ・イン・ピクチャ（ＰＩＰ）モード確認プロセス３０９に移行する。可視画像を保存するプロセス３０６によって保存されるフレームは、空間的位置合わせプロセス３２４に利用可能である。

１つの態様において、コンピュータ支援手術システム１００のユーザは、ユーザインタフェースを使用して、ピクチャ・イン・ピクチャモード又はサーチ増強モードを特定する。ユーザがピクチャ・イン・ピクチャ増強モードを選択するならば、ピクチャ・イン・ピクチャ（ＰＩＰ）モード確認プロセス３０９は、可視画像を送信するプロセス３０７に移行し、さもなければ、時刻ｔ_１で可視フレームの他のセットを取り込む仮想画像を取り込むプロセス３０４に移行する。よって、ピクチャ・イン・ピクチャ増強モードにおいて、視覚画像処理パイプライン３１０(visual image processing pipeline)は、ディスプレイ２５１上にフレームの通常手術部位ビデオシーケンスを生成する。サーチ増強モードにおいて、視覚画像処理パイプライン３１０は、手術部位ビデオシーケンスを生成せず、よって、典型的には、表示されるシーンを生成するために必要とされる処理遅延の故に、手術器具の使用が抑制されるか或いは動作速度が制約される。

ハイパースペクトル画像処理パイプライン３２０に戻ると、ハイパースペクトル画像を取り込むプロセス３２２の完了後、処理は、ハイパースペクトル画像を保存するプロセス３２３に移行する。画像プロセス３２３は、第１のハイパースペクトル左フレーム４２１Ｌ＿ＨＳ＿ｔ０と、第１のハイパースペクトル右フレーム４２１Ｒ＿ＨＳ＿ｔ０とを保存し、次に、プロセス３２４と呼ぶことがある空間的位置合わせプロセス３２４に移行する。

上記で説明したように、ハイパースペクトルフレームのハイパースペクトルシーンの分解能は、場合によっては、可視フレームの可視カラーシーンの分解能よりも少ない。よって、有用なハイパースペクトル画像を得るためには、受け入れ可能な分解能で複合ハイパースペクトル画像を作成するために組み合わせ得る複数のハイパースペクトル画像を取り込むことが必要である。複数のハイパースペクトル画像におけるハイパースペクトル画像の数は、ハイパースペクトル光照明器２１２の出力に部分的に依存する。

ハイパースペクトル光照明器２１２がハイパースペクトル光の時定スペクトルを出力するならば、ハイパースペクトル画像キャプチャセンサの各画素、即ち、左ハイパースペクトル画像キャプチャセンサ２２１Ｌ＿ＨＳの各画素及び右ハイパースペクトル画像キャプチャセンサ２２１Ｒ＿ＨＳの各画素は、画素の位置におけるハイパースペクトル光のスペクトルの一部分のみを取り込む。よって、手術部位は、ハイパースペクトル光の全スペクトル又は全スペクトルのうちの少なくとも十分なスペクトルがシーン内の各場所で測定されて、空間的及びスペクトル的に受け入れ可能な分解能を有する複合ハイパースペクトルフレームを形成することができるよう、スキャン（走査）される。ここで、受け入れ可能な分解能(acceptable resolution)とは、時刻ｔ_０について創成される複合ハイパースペクトル画像が時刻ｔ_０で取り込まれる対応する視覚画像の上に重ね合わせられるときに、複合ハイパースペクトルフレームから導き出されることができ且つ複合ハイパースペクトルフレーム中に提示されることができる特徴が視認者にとって有用であるのに十分である程に詳細であるような、分解能を意味する。

各場所で、画像キャプチャシステム２２０の視野は手術部位に亘ってスキャンされると、ハイパースペクトルフレームが取り込まれる。これらの場所の各々において、画像キャプチャシステム２２０の姿勢は知られている。即ち、カメラ２２０Ｌの姿勢及びカメラ２２０Ｒの姿勢は知られている。

手術部位に亘るスキャン（走査）から必要とされるハイパースペクトルフレームの数は、生フレームから特徴を抽出するために使用されるアルゴリズムの性能に基づいて経験的に決定される。具体的には、手術部位は、ハイパースペクトルフレームが取り込まれる異なる数の場所を用いてスキャンされ、ハイパースペクトルフレームの各セットについて、以下により完全に記載するように、複合ハイパースペクトルフレームが生成される。これは複合ハイパースペクトルフレームのセットを生成する。人間のグループ、アルゴリズム、ニューラルネットワーク、又は他の機械学習構造が、関心特徴(feature of interest)を適切に表示する或いは特徴を導き出すことがある、複合ハイパースペクトルフレーム、又は複数の複合ハイパースペクトルフレーム又は複合ハイパースペクトルフレームの組み合わせを選択するよう要求されてよい。１つの態様では、関心特徴の受け入れ可能な画像を提供する最少の数の場所を必要とする複合ハイパースペクトルフレームが選択される。故に、一定ハイパースペクトル照明のために、セット内のハイパースペクトルフレームの数Ｎは、経験的に決定され、よって、後続の場合について知られている。

空間的位置合わせプロセス３２４に戻ると、プロセス３２４は、Ｎ個のハイパースペクトルフレームのセットを分析し、次に、Ｎ個のハイパースペクトルフレームを処理して、手術部位の複合ハイパースペクトルシーンを含む複合ハイパースペクトルフレームを形成する。セット内のハイパースペクトルフレームの互いに対する空間的位置合わせは、１つの態様において、先ず、各ハイパースペクトルフレームにおける特徴を識別し、次に、ハイパースペクトルフレームのセット内でフレームからフレームにこれらの特徴を追跡することによって行われる。特徴又は複数の特徴の場所が全てのフレームの一部において知られているとき、これは、特徴又は複数の特徴が複合ハイパースペクトル画像内の共通の場所にあるように、フレームを再整列させることを可能にする。よって、特徴の追跡は、ハイパースペクトルフレームのセットの重ね合わせを可能にする。

１つの態様では、ハイパースペクトル画像を保存するプロセス３２３が、処理を空間的位置合わせプロセス３２４の特徴抽出プロセス３２５に転送する。特徴抽出プロセス３２５は、受信した各ハイパースペクトルフレーム内の、ナビゲーションランドマーク(navigation landmarks)と呼ぶことがある特徴を識別する。特徴抽出プロセス３２５は、セット（SET）確認プロセス３２６に移行する。

図５Aは、可視フレーム５１０内に含められる可視手術部位シーンの抽象的表現である。関心特徴５０６が、フレーム５１０内で顕著でない。例えば、特徴５０６は、可視フレーム５１０内に含められる可視手術部位シーン内で隠されているか或いは人間によって識別可能でない。しかしながら、円５０１，５０３，５０５及び三角５０２，５０４によって表されるナビゲーションランドマークは、フレーム５１０内で見え、顕著である。実際の手術部位シーンにおいて、通常のナビゲーションランドマークは、例えば、血管のパターン、組織のパターン、又は異なる組織のパターン、又は血管若しくは他の類似の特徴の交差によって創生される特徴の小さな集合(constellations)であり得る。よって、新しいハイパースペクトルフレームが空間的位置合わせプロセス３２４によって受信されると、特徴抽出プロセス３２５は、そのフレーム内のナビゲーションランドマークを決定する。

セット確認プロセス３２６は、取り込んだハイパースペクトルフレームの数がＮに等しいかどうかを決定し、ここで、Ｎは非負の整数である。セット内のハイパースペクトルフレームの数Nは、チャネル内に取り込まれるハイパースペクトルフレームの数であり、よって、Ｎ個のハイパースペクトルフレームのセットが、左右のチャネルの各々の内に取り込まれる。取り込まれるハイパースペクトルフレームの数がＮ未満であるならば、セット確認プロセス３２６は、一定照明（ＩＬＬ．）モード確認プロセス３２９に移行するが、取り込まれるハイパースペクトル画像の数がＮに等しいならば、セット確認プロセス３２６は、空間的位置合わせプロセス３２４の特徴を追跡するプロセス及び設定カウンタをリセットするプロセス３２８に移行し、代替的に、Ｎハイパースペクトルフレームは、カウンタが、Ｎフレームにインデックスし(indexing)、そして、新しいものが到着するときに、リセットする代わりに、単にＮを法としてＮのスタック内のハイパースペクトルフレームを置換するように、フレームの円形バッファとして処理されてよい。

時刻ｔ_０でハイパースペクトル画像４２１Ｌ＿ＨＳ＿ｔ０のキャプチャ後、取り込まれたハイパースペクトル画像の数はＮよりも小さく、よって、セット確認プロセス３２６は、一定照明（Ｉｌｌ．）モード確認プロセス３２９に移行する。この例において、ハイパースペクトル照明スペクトルは、時間において一定であり、よって、一定照明モード確認プロセス３２９は、カメラを移動するプロセス３３０に処理を移行させる。

カメラを移動するプロセス３３０は、手術部位のスキャンのためのカメラ２２０を次の場所に移動させ、次に、プロセス３２２、３２３、３２４、及び３３０は繰り返される。よって、時刻ｔ_１で、ハイパースペクトル画像を取り込むプロセス３２３（図３）は、左ハイパースペクトル画像キャプチャセンサ２２１Ｌ＿ＨＳで第２のハイパースペクトル左フレーム４２１Ｌ＿ＨＳ＿ｔ１（図４）を取得し、右ハイパースペクトル画像キャプチャセンサ２２１Ｒ＿ＨＳで第２のハイパースペクトル右フレーム４２１Ｒ＿ＨＳ＿ｔ１を取得する。時刻ｔ_１で、可視画像を取り込むプロセス３０４（図３）が左可視画像キャプチャセンサ２２１Ｌ＿Ｖで第2の可視左カラーフレーム４２１Ｌ＿Ｖ＿ｔ１を取得し、右可視画像キャプチャセンサ２２１Ｒ＿Ｖで第2の可視右カラーフレーム４２１Ｒ＿Ｖ＿ｔ１を取得するよう、可視画像を取り込むプロセス３０４は、ハイパースペクトル画像を取り込むロセス３２２と同期される。

プロセス３３０，３２２，３２３，３２４は、時刻ｔＮ－１まで繰り返され、ハイパースペクトル画像を取り込むプロセス３２２（図３）は、左ハイパースペクトル画像キャプチャセンサ２２１Ｌ＿ＨＳでN番目のハイパースペクトル左フレーム２１Ｌ＿ＨＳ＿ｔＮ－１を取得し、右ハイパースペクトル画像キャプチャセンサ２２１Ｒ＿ＨＳでＮ番目のハイパースペクトル右フレーム４２１Ｒ＿ＨＳ＿ｔＮ－１を取得し、可視画像を取り込むプロセス３０４（図３）は、左可視画像キャプチャセンサ２２１Ｌ＿ＶでＮ番目の可視左カラーフレーム４２１Ｌ＿Ｖ＿ｔＨ－１を取得し、右可視画像キャプチャセンサ２２１Ｒ＿ＶでN番目の可視カラーフレーム４２１Ｒ＿Ｖ＿ｔＮ－１を取得する。取り込まれるハイパースペクトルフレームの数は今やＮに等しいので、セット確認プロセス３２６は、特徴を追跡するプロセス３２７及びセットカウンタをリセットするプロセス328に移行する。

図５Ｂは、図５Ａの手術部位シーンのスキャンの抽象的な表現である。シーン内の各ボックスは、取り込まれるハイパースペクトルフレームの１つを表している。図５Ｂは、縮尺通りに描写されておらず、ボックスは、取り込まれたハイパースペクトルフレームだけを表しており、フレームのサイズを表していない。取り込まれたハイパースペクトルフレームのサイズは、例えば、画像を創成する光学系の特性と共に、ハイパースペクトル画像キャプチャセンサ内の画素のサイズ及び数によって決定される。取り込まれたハイパースペクトルフレームは、ナビゲーションランドマーク５０１乃至５０５の一部又は全部の画像を含む。

セットカウンタをリセットするプロセス３２８は、セットに取り込まれたハイパースペクトルフレームの数についてのカウンタをリセットし、一定照明（Ｉｌｌ．）モード確認プロセス３２９に移行する。この例において、出力照度は一定であり、よって、一定照明モード確認プロセス３２９は、カメラを移動するプロセス３３０に処理を移行させる。

カメラを移動するプロセス３３０は、手術部位のスキャンのためにカメラ２２０を移動し、次に、プロセス３２２，３２３，３２４，３３０は、取り込まれたハイパースペクトルフレームの第２のセットについて繰り返される。よって、時刻ｔ_Ｎで、ハイパースペクトル画像を取り込むプロセス３２２（図３）は、左ハイパースペクトル画像キャプチャセンサ２２１＿ＨＳで第１のハイパースペクトル左フレーム４２１Ｌ＿ＨＳ＿ｔＮを取得し、ハイパースペクトル画像の第２のセットにおける右ハイパースペクトル画像キャプチャセンサ２２１Ｒ＿ＨＳで第１のハイパースペクトル右フレーム４２１Ｒ＿ＨＳ＿ｔＮを取得する。時刻ｔ_Ｎで、可視画像を取り込むプロセス３０４（図３）は、左可視画像キャプチャセンサ２２１Ｌ＿ＶでＮ＋１可視左カラーフレーム４２１Ｌ＿Ｖ＿ｔ１を取得し、右可視画像キャプチャセンサ２２１Ｒ＿ＶでＮ＋１可視右カラーフレーム４２１Ｒ＿Ｖ＿ｔ１を取得する。

プロセス３３０，３２２，３２３，３２４は、第１のセットについてちょうど記載したのと同じ方法で、ハイパースペクトル画像の第２のセットについて繰り返される。取得が円形バッファ技法を使用して実行されるならば、ハイパースペクトル画像のセットは、常にＮ個の最新フレームを含み、上述のプロセスは、そのＮ個の深いバッファを満たす。又はイパースペクトルフレーム間の時間間隔は、可視光フレーム間の時間間隔よりも大きくても小さくてもよい－外科医に示される画像の再整列(realignment)及び組成(composition)に根本的な変化はないことにも留意のこと。

第１のセットのハイパースペクトル画像のキャプチャ完了後に、処理は、空間的位置合わせプロセス３２４の特徴を追跡するプロセス３２７に移行することを思い出されたい。ハイパースペクトルフレーム内に取り込まれた可視ナビゲーションランドマーク５０１乃至５０５は、組織追跡プロセスが、異なる時点で取り込まれるハイパースペクトルフレーム内に取得されるスペクトルデータを整列させて、時刻ｔ_０についての複合ハイパースペクトル画像を形成することを可能にする。時刻ｔ_０で取り込まれるハイパースペクトルフレームと時刻ｔ_０で取り込まれる可視フレームとの間の空間的関係は知られているので、ハイパースペクトル手術部位シーン内の物体の場所が時間と共に僅かに変化することがあるとしても、複合ハイパースペクトルフレームは、時刻ｔ_０で取り込まれる可視フレーム５１０と重ね合わせられることができる。代替的に、ハイパースペクトル画像内の特徴は、各ハイパースペクトルフレームを可視フレームに整列させるために、可視画像内の対応する可視特徴に整列させられることができる。更に別の態様において、ハイパースペクトル画像内の特徴は、ハイパースペクトル画像を整列させるために使用され、次に、複合ハイパースペクトルフレームは、可視フレームに整列させられる。可視センサに対するハイパースペクトルセンサの整列は、カメラ製造業者較正から知られている。

故に、１つの態様において、空間的位置合わせプロセス３２４では、例えば、スケール不変特徴変換(scale-invariant feature transform)（ＳＩＦＴ）を使用して、特徴がコンピュータ生成され、これらのコンピュータで生成される特徴は、視覚的同時局所化及びマッピング(visual Simultaneous Localization and Mapping)（ｖＳＬＡＭ）モデルと共に使用され、ここで、組織の表面上の特徴（点の場所）は、組織が（呼吸及び心拍数などに起因して）移動するときに並びにフレームを取り込むカメラの位置及び向きが追跡されるときに、時間の経過と共に追跡される。ＳＩＦＴ及びｖＳＬＡＭは、詳細に記載されない。何故ならば、これらの２つの組み合わせは知られているからである。例えば、参照として援用するNiklas Karlsson, Luis Goncalves, Mario E. Munich and Paolo Pirjanian, “The vSLAM Algorithm for Navigation in Natural Environments,” Korean Robotics Society Review, Vol. 2, No. 1, pp. 51-67, 2005を参照のこと。

加えて、カメラシステムが立体視であるならば、時間における各インスタンスで取り込まれるハイパースペクトルフレーム又は可視フレームのペアからの追加的な情報を使用して、時間に亘る組織の追跡を向上させることができる。立体視ハイパースペクトルフレーム又は可視フレームの各ペアは、手術シーンの深さマップを創成するために使用されてよい。深さマップは、時間に関してどの特徴が見えるかについての情報を提供し、よって、幾つかの特徴を追跡する能力を向上させる。

図６は、空間的位置合わせプロセス３２４を実行する空間的位置合わせモジュール６２４の１つの実施形態のブロック図である。特徴抽出モジュール６２５内のＳＩＦＴアナライズモジュール６０１が、カメラ２２０によって取り込まれるハイパースペクトルフレームのセットの各フレームを入力として受信する。ＳＩＨＴアナライザモジュール６０１は、セット内の取り込まれた各ハイパースペクトルフレーム内の特徴の場所を検出し、特徴を特徴付ける情報をランドマークデータベース６０３に保存する。ここで、カメラ２２０は、カメラ２２０Ｒ及びカメラ２２０Ｌのうちの１つである。取り込まれる左右のハイパースペクトルフレームセットの処理は同じであることを思い出されたい。この態様において、抽出モジュール６２５は、特徴抽出プロセス３２５を実行する。同様に、視覚フレームも処理され、それらの特徴が抽出される。

空間的位置合わせモジュール６２４内の確認モジュール６２６は、前述したセット確認プロセス３２６を実行する。

カメラコントローラ６３０は、（異なる時間の瞬間に取り込まれることがある）各ハイパースペクトルフレーム及び可視フレームについてのカメラ姿勢のｖＳＬＡＭアナライザモジュール６０２を提供する。ｖＳＬＡＭアナライザモジュール６０２は、空間的位置合わせモジュール６２４の追跡モジュール６２７内に含められる。追跡モジュール６２７は、この態様において、追跡特徴プロセス３２７を実行する。

ｖＳＬＡＭアナライザモジュール６０２は、ランドマークデータベース６０３内の情報を使用し、時間に亘ってランドマークの場所を追跡するので、セット内のフレームを重ね合わせて空間的位置合わせプロセス６２５によって出力される複合ハイパースペクトルフレーム６０５を形成することができる。カメラ姿勢情報は、追跡プロセスをより堅牢（ロバスト）にする。

上述のように、モジュール６２４，６２５，６２６，６２７，６０２の各々は、ハードウェア、ＲＴＬ、プロセッサ上で実行されるソフトウェア、ファームウェア、又はこれらの任意の組み合わせを含んでよい。

よって、図３に戻ると、空間的位置合わせプロセス３２４の結果は、取り込まれるハイパースペクトルフレームのセットから形成される複合ハイパースペクトルフレームである。ハイパースペクトルフレーム内の画素は、時刻ｔ_０で取り込まれる可視フレーム内の画素に対応するので、複合ハイパースペクトルフレームが時刻ｔ_０で可視フレーム上に重ね合わせられるときに、特徴５０６は正しい場所にあり、見える、複合ハイパースペクトルフレーム内の特徴は、２つのフレームが重ね合わせられるときに、可視フレームに対して強調される。例えば、複合ハイパースペクトルフレーム内の特徴は、手術部位シーンにおいて典型的に見られない色、例えば、緑色を使用して、誤って着色され得る。別の態様において、組み合わせ視覚及びハイパースペクトル画像は、特定の組織種類などを識別するために、例えば、機械学習分類器又は類似のプロセスによって処理される。

ハイパースペクトルフレームを可視フレームと共に何らかの方法において更に処理して、外科医の中には時には画像を見るのが困難なこともある特徴の追加的な視覚的顕著性をもたらす複合出力を生成してよい。例えば、複合画像は、視覚画像に全く現れない構造を強調してよく、それ故に、外科医に情報を提供する。ハイパースペクトルデータ及び可視画像から創成されるこれらの強化された画像は、非常に経験豊富な外科医が決定できるがレジデント（専門医療実習生）又はフェロー（特別研究員）決定するのが困難なことがある情報を明らかにすることがある。

完了後、空間的位置合わせプロセス３２４は、プロセス１と呼ぶことがある任意的な特殊特性決定プロセス３３１に移行する。プロセス３３１は、任意的である。何故ならば、プロセスは、立体視内視鏡が使用されるときに、並びに組織からの絶対反射率又は光の発光のようなパラメータが、表示されるべき画像、表示されるシーン内の情報を解釈するために必要とされるときに、利用されるからである。

故に、空間的位置合わせプロセス３２４又は特殊特徴プロセス３３１のいずれかは、プロセス３３２と呼ぶことがある可視画像及び複合画像を送信するプロセス３３２２に移行する。プロセス３３２は、時間ｔ_０についての可視フレーム４２１Ｒ＿Ｖ＿ｔ０及び４２１Ｌ＿Ｖ＿ｔ０並びに複合ハイパースペクトルフレームを立体視ディスプレイ２５１に送信し、或いは代替的に、可視画像及びハイパースペクトル画像の重ね合わせを２つのチャネルの各々に送信する。可視画像及び複合画像を表示するプロセス３３３において立体視ディスプレイによって表示される画像は、システム１００のユーザによって選択される特定の増強されたディスプレイモードに依存する。

例えば、サーチのみ増強モードにおいて、ＰＩＰモード確認プロセス３０９は、可視画像を送信するプロセス３０７に移行せず、よって、可視画像及び複合画像を表示するプロセス３３３では、関心特徴５０６を含む複合ハイパースペクトルシーンと重ね合わせられる組織１０３を含む立体視カラー可視シーンが、立体視ディスプレイ２１上に提示される。このモードにおいて、立体視ディスプレイ上の初期的な表示は、ハイパースペクトル画像処理パイプライン３２０によって必要とされる処理時間、例えば、約１００～５００ミリ秒をもたらすために遅延され、次に、連続ビデオシーケンスが、システム１００のユーザに提示される。

別の態様では、ピクチャ・イン・ピクチャ増強モードにおいて、ＰＩＰモード確認プロセス３０９は、可視画像を送信するプロセス３０７に移行し、可視画像を送信するプロセス３０７は、次に、可視画像を表示するプロセス３０８に移行し、それは組織１０３を含む可視シーンのビデオシーケンスを立体視ディスプレイ２５１上の主ディスプレイシーン５２０（図５Ｃ）として表示する。可視画像及び複合画像を表示するプロセス３３３は、関心特徴５０６を含む複合ハイパースペクトルシーンと重ね合わせられた組織１０３を含む立体視カラー可視シーンを立体視ディスプレイ２５１上のピクチャシーン５２５内のピクチャとして提示する。

ハイパースペクトル画像処理パイプライン３２０は、可視画像処理パイプライン３１０よりも多くの処理時間を必要とするので、ピクチャ内ピクチャ中の重ね合わせられた複合画像を伴う組織１０３の可視画像は、主ディスプレイシーン５２０に時間において後れを取る。しかしながら、ピクチャ内ピクチャ中の可視画像は、主ディスプレイシーン５２０中に現れる可視画像と同じである。例えば、フレーム４２１Ｒ＿Ｖ＿ｔ０及び４２１Ｌ＿Ｖ＿ｔ０は、主ディスプレイシーン５２０中に表示され、次に、後に、時刻ｔ_０について複合ハイパースペクトルフレームと重ね合わせられたフレーム４２１Ｒ及び４２１Ｌ＿Ｖ＿ｔ０は、ピクチャシーン５２５内のピクチャ中に表示される。しかしながら、２つのディスプレイ内の可視画像シーンは同じであるので、ピクチャシーン内のピクチャ中の僅かな遅延は、システム１００のユーザにとって受け入れ可能である。

（時間順次ハイパースペクトル照明）
ハイパースペクトル画像処理パイプライン２３０の先の例では、ハイパースペクトル照明が時間及びスペクトルにおいて一定であること、並びに、シーンを横断してカメラをスキャンしてハイパースペクトルフレームを取り込み、取り込まれるシーンの部分が時間に関して移動させられたとしてもハイパースペクトルフレームを組み合わせて複合フレームを形成することができることが想定された。しかしながら、別の例において、ハイパースペクトル照明のスペクトルは、時間と共に順次的に変化し、ハイパースペクトルフレームは、ハイパースペクトル照明の各時間順次波帯に亘って或いは代替的にハイパースペクトル照明の各時間順次波長に亘って取り込まれる。本明細書で使用するとき、ハイパースペクトル光の波帯(waveband)は、ハイパースペクトル光のスペクトルである。波帯が単一の波長のみを含むならば、波帯（典型的には、波長の範囲）及び波長は同じものである。やはり、取り込まれるシーンの態様は、時間と共に移動することができるので、同じシーンが各フレーム内に取り込まれることがある一方で、取り込まれるシーン内の要素の場所はフレーム毎に異なり得る。

時間順次照射でのハイパースペクトル画像処理パイプライン３２０を検討する前に、図７は、ハイパースペクトル画像処理パイプライン３２０を介して取り込まれたハイパースペクトルフレームのシーケンスの例示である。立体視画像キャプチャシステムが使用されるならば、図７のフレームのシーケンスは、取り込まれる左右のハイパースペクトルフレームの両方を表す。時刻ｔ_０で、組織１０３は、ハイパースペクトル光波帯Ｌ_０で照らされ、組織１０３からのハイパースペクトル光は、フレーム８２１＿ＨＳ＿ｔ０内に取り込まれる。時刻ｔ_１で、組織１０３は、ハイパースペクトル光波帯Ｌ_１で照らされ、組織１０３からのハイパースペクトル光は、フレーム８２１＿ＨＳ＿ｔ１内に取り込まれる。時刻ｔ_２で、組織１０３は、ハイパースペクトル光波帯Ｌ_２で照らされ、組織１０３からのハイパースペクトル光は、フレーム８２１＿ＨＳ＿ｔ２内に取り込まれる。時刻ｔ_Ｎ－１で、組織１０３は、ハイパースペクトル光波帯Ｌ_Ｎ－１で照らされ、組織１０３からのハイパースペクトル光は、フレーム８２１＿ＨＳ＿ｔＮ－１内に取り込まれる。時刻ｔ_Ｎで、組織103は、ハイパースペクトル光波帯Ｌ_０で照らされ、組織１０３からのハイパースペクトル光は、フレーム８２１＿ＨＳＺ＿ｔＮ内に取り込まれる。

ここで、第１のハイパースペクトル光波帯Ｌ_０、第２のハイパースペクトル光波帯Ｌ_１、第３のハイパースペクトル光波帯Ｌ_２、．．．、及びＮ番目のハイパースペクトル光波帯における、第１の、第２の、第３の、．．．、第Ｎのという形容詞は、波長帯における波長の如何なる順序及び波長に関する波帯の如何なる順序をも意味せず、むしろハイパースペクトル光の異なるスペクトルが使用されることを意味する。また、以下に説明するように、各ハイパースペクトルフレームは、可視カラーフレームと実質的に同時に取り込まれる。実質的に同時に(substantially simultaneously)の意味は、上述と同じである。

よって、この例では、Ｎ波帯が使用され、ここで、Ｎは、２以上の整数番号である。使用される順次波帯の数Ｎは知られており、典型的には、関心組織に依存する。典型的には、１０未満の異なる順次波帯が使用されるが、１０よりも大きい順次波帯が使用されることもできる。例えば、１つの態様では、尿管を画像化するために３つの波帯が使用される。その全文を本明細書に援用する（２０１４年１２月１６日に出願された「Ureter
Detection Using Waveband Selective imaging」を開示する）米国特許出願第６２／０９２，６５１号明細書を参照のこと。

図３に戻ると、ディスプレイモード選択２５２からのユーザ入力に応答して、時間順次ハイパースペクトル照明を伴う増強視認モードを示す増強ディスプレイ選択コマンドが、ユーザインタフェース２６１の視認モードを確認するプロセス３０２に提供される。時間順次ハイパースペクトル照明コマンドでの増強視認モードに応答して、確認プロセス３０２は、この態様において、アクティブ白色光照明制御信号を可視画像処理パイプライン３１０内の白色光で組織を照らすプロセス３０３に提供し、アクティブハイパースペクトル時間順次照明アクティブ信号をハイパースペクトル画像処理パイプライン３２０内のハイパースペクトル光で組織を照らすプロセス３２１に提供する。

可視画像処理パイプライン１０内の動作(acts)は上記に記載されているので、ここではこの増強視認モードについて繰り返されない。何故ならば、それらの動作は上述と同じだからである。

ハイパースペクトル時間順次照明制御信号に応答して、ハイパースペクトラル光で組織を照らすプロセス３２１は、時間順次ハイパースペクトル光動作信号を組み合わせ光源２１０内の光コントローラ２１５に送信する。時間順次ハイパースペクトル光動作信号に応答して、光コントローラ２１５は、ハイパースペクトル光の第１の波帯Ｌ_０をコネクタ２１６に提供するようにハイパースペクトル光照明器２１２を構成する。

白色光で組織を照らすプロセス３０３は、白色光動作信号を組み合わせ光源２１０内の光コントローラ２１５に送信するので、光コントローラ２１５は、白色光をコネクタ２１６に提供するように可視光照明器２１１を構成する。よって、この増強モードにおいて、組織１０３は、白色光とハイパースペクトル光の第１の波帯との組み合わせで照らされる。

組織１０３（図２）からの光は、内視鏡１０１内の立体視光学チャネルによって画像キャプチャシステム２２０に送られる。動作のこの増強視認モード動作において、時刻ｔ_０で、可視画像を取り込むプロセス３０４（図３）は、左可視画像キャプチャセンサ２２１Ｌ＿Ｖで第１の可視左カラーフレーム４２１Ｌ＿Ｖ＿ｔ０を取得し、右可視画像キャプチャセンサ２２１Ｒ＿Ｖで第１の可視右カラーフレーム４２１＿ｒ＿Ｖ＿ｔ０を取得する。同様に、時刻ｔ_０で、ハイパースペクトル画像を取り込むプロセス３２２（図３）は、左ハイパースペクトル画像キャプチャセンサ２２１Ｌ＿ＨＳで第１のハイパースペクトル左フレーム４２１Ｌ＿ＨＳ＿ｔ０を取得し、右ハイパースペクトル画像キャプチャセンサ２２１Ｌ＿ＨＳで第１のハイパースペクトル右フレーム４２１Ｒ＿ＨＳ＿ｔ０（図４）を取得する。可視画像を取り込むプロセス３０４及びハイパースペクトル画像を取り込むプロセス３２２は、図１０Ｂに関して以下により完全に議論するような画像キャプチャユニットの構造、並びに可視フレーム及びハイパースペクトルフレームのキャプチャプロセスにおける動作の同期化の故に、実質的に同時に実行される。

先に説明したように、時刻ｔ_０で取り込まれる第１の可視左カラーフレーム４２１Ｒ＿Ｖ＿ｔ０及び第１の可視右カラーフレーム４２１Ｒ＿Ｖ＿ｔ０は、任意の増強ディスプレイモードのために、可視画像を保存するプロセス３０６によって保存される。可視画像を保存するプロセス３０６は、ピクチャ・イン・ピクチャ（ＰＩＰ）モード確認プロセス３０９に移行する。可視画像を保存するプロセス３０６によって保存されるフレームは、空間的位置合わせプロセス３２４に利用可能であり、ピクチャ・イン・ピクチャ（ＰＩＰ）モード確認プロセス３０９は上述のように動作するので、記述はここで繰り返されない。

ハイパースペクトル画像処理パイプライン３２０に戻ると、ハイパースペクトル画像を取り込むプロセス３２２の完了後、処理はハイパースペクトル画像を保存するプロセス３２３に移行する。ハイパースペクトル画像を保存するプロセス３２３は、第１のハイパースペクトル左フレーム４２１Ｌ＿ＨＳ＿ｔ０及び第１のハイパースペクトル右フレーム４２１Ｒ＿ＨＳ＿ｔ０を保存し、次に、特徴抽出プロセス３２５に移行する。

プロセス３２５は、１つの態様において、上述の記述と均等であるので、記述はここでは説明を繰り返されない。特徴抽出プロセス３２５は、処理をセット確認プロセス３２６に移行させる。

やはり、セットを構成するのに必要とされるハイパースペクトルフレームの数Ｎは知られている。上記で説明したように、ハイパースペクトルフレームのハイパースペクトルシーンの分解能は、可視フレームの可視カラーシーンの分解能よりもずっと少なくてよい。よって、そのような場合に、臨床的に有用なハイパースペクトル画像を得るためには、受け入れ可能な分解能を備える複合ハイパースペクトル画像を作るために組み合わせることができる複数のハイパースペクトル画像を取り込むことが必要である。複数のハイパースペクトル画像におけるハイパースペクトル画像の数は、使用される照明波帯の数Ｎに依存する。

この態様において、ハイパースペクトル光照明器２１２は、時間シーケンス内のハイパースペクトル光の波帯、例えば、時刻ｔ_０での第１の波帯Ｌ_０、時刻ｔ_１での第２の波帯Ｌ_１などを出力し、ハイパースペクトル画像のセット内のハイパースペクトル画像の数は、ハイパースペクトル光照明器２１２によって出力される時間順次照明波帯の数Ｎに等しい。ハイパースペクトル光照明器２１２が、時間シーケンス内でハイパースペクトル光の異なる波帯、例えば、時刻ｔ_０での第１の波帯Ｌ_０、時刻ｔ_１での第２の波帯Ｌ_１などを出力し、カメラ２２０の視野が、各波帯について手術部位に亘ってスキャンされるならば、各波帯についてのハイパースペクトル画像のセットにおけるハイパースペクトル画像の数は、ハイパースペクトル光照明器２１２からの時定出力について記載されるものと均等な方法において経験的に決定される。この態様では、制御する２つの数がある。第１の数は、各波帯について手術部位の空間スキャンにおいて取り込まれるハイパースペクトルフレームの数ｍであり、第２の数ｋは、使用される時間順次波帯の数である。この態様では、複合ハイパースペクトルフレームは、各波帯について一定照明の例に均等な方法において、ｍ個のハイパースペクトルフレームを使用して形成される。これはｋ個の複合ハイパースペクトルフレームを生成する。次に、時間順次照明のための位置合わせプロセスを使用してｋ個の複合フレームを重ね合わせて、最終的な複合画像を形成する。

空間スキャンを伴わない時間順次ハイパースペクトル照明について、セット内のハイパースペクトルフレームの数Ｎは知られており、セット確認プロセス３２６は、取り込まれたハイパースペクトルフレームの数がＮに等しいかどうかを決定し、ここで、Ｎは非負の整数である。セット内のハイパースペクトルフレームの数Ｎは、やはり、チャネル内に取り込まれるハイパースペクトルフレームの数であり、よって、Ｎ個のハイパースペクトルフレームのセットは、左右のチャネルの各々の内に取り込まれる。取り込まれるハイパースペクトルフレームの数がＮ未満であるならば、セット確認プロセス３２６は、一定照明（Ｉｌｌ．）モード確認プロセス３２９に移行するが、取り込まれるハイパースペクトル画像の数がＮに等しいならば、セット確認プロセス３２６は、特徴を追跡するプロセス３２７及びセットカウンタをリセットするプロセス３２８に移行する。

時刻ｔ_０でのハイパースペクトル画像４２１Ｌ＿ＨＳ＿ｔ０の取込後、取り込まれたハイパースペクトル画像の数はＮよりも小さく、よって、セット確認プロセス３２６は、一定照明（Ｉｌｌ．）モード確認プロセス３２９に移行する。この例において、出力照明は、時間順次的であり、よって、一定照明モード確認プロセス３２９は、処理をハイパースペクトル光で組織を照らすプロセス３２１に移行させる。

ハイパースペクトル光で組織を照らすプロセス３２１は、１つの態様において、セットカウンタの値を用いて、組織１０３を照らす波帯を決定する。故に、この例において、ハイパースペクトル光で組織を照らすプロセス３２１は、組み合わせ光源２１０内の光コントローラ２１５に、第２の波帯Ｌ_１についての時間順次ハイパースペクトル光動作信号を送信する。第２の波帯Ｌ_１についての時間順次ハイパースペクトル光動作信号に応答して、光コントローラ２１５は、ハイパースペクトル光の第２の波帯Ｌ_１をコネクタ２１６に提供するようハイパースペクトル光照明器２１２を構成する。よって、組織１０３は、ハイパースペクトル光の第２の波帯Ｌ_１で照らされる。

ハイパースペクトル光で組織を照らすプロセス３２１の完了後、プロセス３２２，３２３，３２４，３２５，３２６は繰り返される。よって、時刻ｔ_１で、ハイパースペクトル画像を取り込むプロセス３２２（図３）は、左ハイパースペクトル画像キャプチャセンサ２２１Ｌ＿ＨＳで第２ハイパースペクトル左フレーム４２１Ｌ＿ＨＳ＿ｔ１を取得し、右ハイパースペクトル画像キャプチャセンサ２２１Ｒ＿ＨＳで第２ハイパースペクトル右フレーム４２１Ｒ＿ＨＳ＿ｔ１を取得する。可視画像を取り込むプロセス３０４は、ハイパースペクトル画像を取り込むプロセス３２２と同期させられるので、時刻ｔ_１で、可視画像を取り込むプロセス３０４（図３）は、左可視画像キャプチャセンサ２２１Ｌ＿Ｖで第２の可視左カラーフレーム４２１Ｌ＿Ｖ＿ｔ１を取得し、右可視画像キャプチャセンサ２２１Ｒ＿Ｖで第２の可視右カラーフレーム４２１Ｒ＿Ｖ＿ｔ１を取得する。

プロセス３２９，３２１，３２２，３２３，３２５，３２６は、時刻ｔ_Ｎ－１で、ハイパースペクトル画像を取り込むプロセス３２２（図３）が、左ハイパースペクトル画像キャプチャセンサ２２１Ｌ＿ＨＳで第Ｎのハイパースペクトル左フレーム４２１Ｌ＿ＨＳ＿ｔＮ－１を取得し、右ハイパースペクトル画像キャプチャセンサ２２１Ｒ＿ＨＳで第Ｎのハイパースペクトル右フレーム４２１Ｒ＿ＨＳ＿ｔＮ－１を取得し、可視画像を取り込むプロセス３０４（図３）が、左可視画像キャプチャセンサ２２１Ｌ＿Ｖで第Ｎの可視左カラーフレーム４２１Ｌ＿Ｖ＿ｔＮ－１を取得し、右可視画像キャプチャセンサ２２１Ｒ＿Ｖで第Ｎの可視右カラーフレーム４２１Ｒ＿Ｖ＿ｔＮ－１を取得するまで、繰り返される。取り込まれるハイパースペクトルフレームの数は今やＮに等しいので、セット確認プロセス３２６は、特徴追跡プロセス３２７及びセットカウンタをリセットするプロセス３２８に移行する。

セットカウンタをリセットするプロセス３２８は、セット内に取り込まれるハイパースペクトルフレームの数についてカウンタをリセットし、処理を一定照明（Ｉｌｌ．）モード確認プロセス３２９に移行させる。プロセス３２８は、議論の容易さのために使用されており、必要とされることを意図しないことに留意のこと。上記のように、円形バッファが使用されるならば、取り込まれるフレームの数を追跡することは必要でない。また、或いはＮ個の事象後に再循環する組み合わせ光源２００内で制御ロジックが使用されるか或いは回転フィルタが使用されるならば、カウンタの維持及びリセットは必要でない。

この例において、出力照明は、時間順次的であり、よって、一定照明モード確認プロセス３２９は、処理をハイパースペクトル光で組織を照らすプロセス３２１に移行させる。ハイパースペクトル光で組織を照らすプロセス３２１は、組み合わせ光源２１０内の光コントローラ２１５に、波帯Ｌ０についての時間順次ハイパースペクトル光動作信号を送信する。波帯Ｌ０についての時間順次ハイパースペクトル光動作信号に応答して、光コントローラ２１５は、ハイパースペクトル光の第１の波帯Ｌ０をコネクタ２１６に提供するようハイパースペクトル光照明器２１２を構成する。よって、時刻ｔＮで、ハイパースペクトル画像を取り込むプロセス３２２（図３）は、左ハイパースペクトル画像キャプチャセンサ２２１Ｌ＿ＨＳで第１のハイパースペクトル左フレーム４２１Ｌ＿ＨＳ＿ｔＨを取得し、ハイパースペクトル画像の第２のセット内の右ハイパースペクトル画像キャプチャセンサ２２１Ｒ＿ＨＳで第１のハイパースペクトル右フレーム４２１Ｒ＿ＨＳ＿ｔＮを取得する。時刻ｔＮで、可視画像を取り込むプロセス３０４（図３）は、左可視画像キャプチャセンサ２２１Ｌ＿ＶでＮ＋１可視左カラーフレーム４２１Ｌ＿Ｖ＿ｔ１を取得し、右可視画像キャプチャセンサ２２１Ｒ＿ＶでＮ＋１可視右カラーフレーム４２１Ｒ＿Ｖ＿ｔ１を取得する。プロセス３２２，３２３，３２４は、第１のセットについてちょうど記載したのと同じ方法において、ハイパースペクトル画像の第２のセットについて、必要に応じて、繰り返される。

第１のセットのハイパースペクトル画像のキャプチャ完了後に、処理は特徴を追跡するプロセス３２７にも移行されることを思い出されたい。特徴を追跡するプロセス３２７は可視画像及び複合画像を表示するプロセス３３３を通じて前述のように機能し、よって、ここでは記載は繰り返されない。

上記の例は、時間順次ハイパースペクトル照明及び時定ハイパースペクトル照明のための空間的位置合わせプロセス３２４が同じプロセスであると仮定した。これは例示であるに過ぎず、限定的であることを意図しない。

別の態様では、異なる空間的位置合わせプロセス３２４が、時間順次ハイパースペクトル照明のために使用される。この態様では、立体視内視鏡が使用され、よって、各ハイパースペクトル照明波帯についてハイパースペクトル深さマップを形成することができる。よって、左右画像間の立体視対応を用いて、Ｎ個のハイパースペクトル深さマップが創成される。

カメラ姿勢はＮ個のハイパースペクトル深さマップについて変化しないので、Ｎ個のハイパースペクトル深さマップを使用してＮ個のハイパースペクトルフレームを整列させることができることで、これらのフレームを組み合わせて複合ハイパースペクトルフレームを形成することができる。整列は、点群（ポイントクラウド）間の二乗距離の合計を最小に抑えることによって最も近いマッチを見出す最小化プロセスを用いて深さマップ間の最良のマッチを見出すことによって達成されることがある。例えば、反復的最近点プロセス(iterative closest point process)を使用することができる。複合ハイパースペクトルフレームは、時定照明について上述したのと同じ方法において可視フレームの上に重ね合わせられる。

（時定照明のための画像キャプチャユニット）
図８Ａは、時定ハイパースペクトル照明源及び白色光照明源を備えるカメラ２２０Ｌ及び２２０Ｒとしての使用に適した画像キャプチャユニット９２０の１つの態様の例示である。内視鏡１０１内の１以上の照明チャネルからの光は、この例において、組織１０３を照らす。図８Ａには示されていないが、内視鏡１０１の視野内の１以上の手術器具も、照明チャネル又は複数の照明チャネルからの光を介して照らされてよい。内視鏡内の照明チャネル又は複数の照明チャネルの使用は、例示的であるに過ぎず、本明細書に提示する様々な例に限定されることを意図しない。照明は、内視鏡内の照明源によって或いは内視鏡の内部又は外部にある他の装置によって提供されてよい。

組織１０３から反射される光及び任意の蛍光は、レンズアセンブリ９０５によって光９０１として受光される。レンズアセンブリ９０５は、受光した光をセンサアセンブリ９２１に導く１以上の光学コンポーネントのうちの１つを含んでよい。レンズアセンブリは、ハイパースペクトル光を処理するための如何なる種類のスリットをも含まないことに留意のこと。幾つかの態様において、レンズアセンブリ９０５は、折り畳まれる。

レンズアセンブリ９０５からの光は、センサアセンブリ９２１に進む。幾つかの態様において、レンズアセンブリ９０５は、長手方向色(longitudinal color)を補正しない。

センサアセンブリ９２１内で、光は、この態様において、ビームスプリッタキューブ９１０(beam splitter cube)の対角線上に配置されたビームスプリッタ９１１によって受光される。１つの態様において、ビームスプリッタ９１１は、埋込み被覆面(buried coated surface)として実装される。

ビームスプリッタキューブの使用は、例示的なあるに過ぎず、限定的であることを意図しない。例えば、ビームスプリッタ９１１は、空間内で浮遊するフィルタであり得る。

ビームスプリッタ９１１は、レンズアセンブリ９０５から受光する光の第１の部分９０２を可視カラー画像キャプチャセンサ９２１＿Ｖに導き、レンズアセンブリ９０５から受光する光の第２の部分９０３をフィルタアセンブリ９４０と呼ぶことがある位置合わせ支援フィルタアセンブリ９４０に導く。図８Ａの例において、ビームスプリッタ９１１は、レンズアセンブリ９０５から受光する光の第１の部分９０２を可視カラー画像キャプチャセンサ９２１＿Ｖに反射し、レンズアセンブリ０５から受光する光の第２の部分９０３をフィルタアセンブリ９４０に伝える。本明細書に記載する各態様において、光は、画像キャプチャセンサの表面に向けられ、従って、簡潔性のために、光は画像キャプチャセンサ上に向けられると言われる。

光の第１の部分９０２及び光の第２の部分９０３における光の波長は、ビームスプリッタ９１１の特性によって決定される。一例において、ビームスプリッタ９１１は、光の第１の部分９０２がレンズアセンブリ９０５から受光する可視光の第１の部分であり、光の第２の部分９０３がレンズアセンブリ９０５から受光する可視光の第２の部分とレンズアセンブリ９０５から受光するハイパースペクトル光との組み合わせである、ように構成される。一例において、ビームスプリッタ９１１は、第１の部分９０２がレンズアセンブリ９０５から受光する可視光、例えば、７００ナノメートル（ｎｍ）以下の波長を備える光であり、光の第２の部分９０３がレンズアセンブリ９０５から受光する可視光とハイパースペクトル光との組み合わせ、例えば、７００ナノメートル以上であり且つ２．４マイクロメートル以下である波長を備える光である、ように構成される。

可視光の第１の部分９０２は、可視カラー画像キャプチャセンサ９２１＿Ｖに集束される。１つの態様において、可視カラー画像キャプチャセンサ９２１＿Ｖは、４００ナノメートル～７００ナノメートルの範囲内の波長を有する光を取り込む。例えば、可視カラー画像キャプチャセンサ９２１＿Ｖは、バイエル(Byer)の赤－緑－青カラーフィルタアレイ又は赤－緑－青－白カラーフィルタアレイを備える小画素ＣＭＯＳ画像キャプチャセンサである。センサ９２１＿Ｖと呼ぶことがある可視カラー画像キャプチャセンサ９２１＿Ｖは、機械的構造及びエレクトロニクス９２７(mechanicals and electronics)に連結される。機械的構造及びエレクトロニクス９２７は、センサ９２１＿Ｖを保持する機械的構造と、センサ９２１＿Ｖに接続されるエレクトロニクスとを含む。

レンズアセンブリ９０５からの光の第２の部分９０３は、ハイパースペクトル画像キャプチャセンサ９２１＿ＨＳに集束される。ハイパースペクトル画像キャプチャセンサ９２１＿ＨＳは、フレームを構成する画素の行列を含む。よって、ハイパースペクトル画像キャプチャセンサ９２１＿ＨＳは、情報のフレームを取り込み、幾つかの従来技術のハイパースペクトルカメラにおけるように一度に一行又は一列の情報のみを取り込まない。

１つの態様において、ハイパースペクトル画像キャプチャセンサ９２１＿ＨＳは、７００ナノメートル～２．４マイクロメートルの範囲内の波長を有する光を取り込む。取り込まれる波長の範囲は、以下により完全に記載するフィルタアセンブリ９４０の特性に依存する。ハイパースペクトル画像キャプチャセンサ９２１＿ＨＳは、単色大画素画像キャプチャセンサ、例えば、５～２０マイクロメートルの画素を備えるＩｎＧｓＡｓセンサ又は類似のサイズの画素を備えるＨｇＣｄＴｅセンサである。

ハイパースペクトル画像キャプチャセンサ９２１＿ＨＳ及び可視カラー画像キャプチャセンサ９２１＿Ｖは、異なる半導体技術で実装されることができ、異なる又は同じシャッタ、例えば、可視カラー画像キャプチャセンサ９２１＿Ｖのためのロールシャッタ(rolling shutter)及びハイパースペクトル画像キャプチャセンサ９２１＿ＨＳのためのグローバルシャッタ(global shutter)を有してよい。シャッタ方法論は、選択される半導体プロセスにおける画素実装の特性である。画像センサ９２１＿Ｖ及び９２１＿ＨＳは、レンズ９０５の後方から異なる距離に配置されることができる。何故ならば、画像センサの場所は独立しているからである。即ち、プリズム９１０と画像センサ９２１＿Ｖとの間の間隙は、プリズム９１０から画像センサ９２１＿ＨＳまでの距離に等しくなくてよく、よって、各々は独立して集束させられることができる。半導体特性は異なる可能性が高いので、画像センサ９２１＿ＨＳ及び９２１＿Ｖは、異なる画素サイズを有する可能性が高い。１つの撮像素子（イメージャ）のアクティブ領域が他方のものよりも小さいならば、そのセンサについての画像は、他のセンサによって見られる画像の一部を覆う。

センサ９２１＿ＨＳ又は画像センサ９２１＿ＨＳと呼ぶことがあるハイパースペクトル画像キャプチャセンサ９２１＿ＨＳは、機械的構造、冷却構造(cooling)、及びエレクトロニクス９２６に連結される。機械的構造、冷却、及びエレクトロニクス９２６は、センサ９２１＿ＨＳを保持するための機械的構造と、センサ９２１＿ＨＳのための冷却構造と、及びセンサ9９２１＿ＨＳに接続されたエレクトロニクスとを含む。

上述のように、ハイパースペクトル画像キャプチャセンサ９２１＿ＨＳに入射する光は、フィルタアセンブリ９４０を通過する。１つの態様において、フィルタアセンブリ９４０は、第１のノッチフィルタ９４１を含む。ノッチフィルタ９４１は、例えば、幅に亘って、線形に可変であり、例えば、フィルタ９４１の左側で、例えば、９００ナノメートル波長（λ）光が透過させられ、フィルタ９４１の右側で、例えば、１２００ナノメートル波長光が透過させられる。

別の態様において、フィルタアセンブリ９４０は、第２のノッチフィルタ９４２を含む。ノッチフィルタ９４２は、２つの複数の縞、即ち、暗い縞で表される第１の複数の縞９４３と、白い縞で表される第２の複数の縞９４４とを含む。第１の複数の縞９４３の各々は、ハイパースペクトル光の波帯を通し、即ち、透過し、光の他の波帯を遮断する。暗い縞の各々は、ハイパースペクトル光の異なる波帯を通すことができ、或いは代替的に、縞の一部は、ハイパースペクトル光の同じ波帯を通ることができる。例えば、パターンは、１２３４２２３３４４１１１１１１４１２３などであることができ、ここで、各異なる桁は、ハイパースペクトル光の異なる波帯を表す。よって、この例では、ハイパースペクトル光の４つの異なる波帯が、ノッチフィルタ９４２によって、センサ９２１＿ＨＳに通される。更に、複数の縞９４３内の縞は、波長に関して如何なる特定の順序にある必要もない。また、複数の縞９４３内の縞は、一定の幅を有することを要求されない。別の態様では、ノッチフィルタ９４２を形成するために、透明な縞が直線的に可変なノッチフィルタ９４１上に作られる。

第２の複数の縞９４４の各々は、第２の複数の縞９４４が可視光を通す、即ち、透過するよう透明である。第２の複数の縞９４４内の縞は、一定の幅を有することを要求されない。ハイパースペクトル画像キャプチャセンサ９２１＿ＨＳによって取り込まれる可視光は、前述のように、対応する可視フレームへのハイパースペクトルフレームの空間的位置合わせにおいて使用される。第２の複数の縞９４４内の縞は、任意のパターン、規則的なパターン、又は所望のノッチフィルタを作るために使用されるアセンブリプロセスによって指示されるパターンにあることができる。

第１の複数の縞９４２内の縞の一部は、如何なる光も透過しない黒い縞であることができる。黒い縞は、取り込まれるフレーム内に局所的な黒いレベルをもたらす。図８Ｃにおいて、縞は垂直な縞として示されているが、縞は、水平又は垂直であることができ、或いはドットの任意のパターンによって形成されることができる。

図９は、カメラ２２０としての使用に適した立体視カメラ１０２０を含む立体視内視鏡１００２の遠位端のブロック図である。カメラ１０２０は、時定ハイパースペクトル照明源及び白色光照明源と共に使用される。

立体視カメラ１０２０は、カメラ１０２０Ｌと呼ぶことがある左画像キャプチャユニット１０２０Ｌと、カメラ１０２０Ｒと呼ぶことがある右画像キャプチャユニット１０２０Ｒと、照明チャネル１００５とを含む。各画像キャプチャユニット１０２０Ｒ，１０２０Ｌは、レンズアセンブリ１００１Ｒ，１００１Ｌと、センサアセンブリ１０２５Ｒ，１０２５Ｌとを含む。センサアセンブリ１０２５Ｒ，１０２５Ｌは、レンズアセンブリ１００１Ｒ，１００１Ｌを通過する光を受光するように位置決めされる。各センサアセンブリ１０２５Ｒ，１０２５Ｌは、１つの態様において、プリズムアセンブリ１０３０Ｒ，１０３０Ｌと、反射アセンブリ１０４０Ｒ，１０４０Ｌとを含み、この態様では、共面画像キャプチャセンサ（１０１０Ｒ＿Ｖ，１０１５Ｒ＿ＨＳ）（１０１０Ｌ＿Ｖ，１０１５Ｌ＿ＨＳ）を含む。立体視内視鏡１００２は、立体視内視鏡１０１の一例である。

図９に例示するように、内視鏡１００２と呼ぶことがある立体視内視鏡１００２の遠位端内の各立体視チャンネルは、同じコンポーネント構成を有する。この図９の態様において、（左立体視チャネルのための）画像キャプチャユニット１０２０Ｌ及び（右立体視チャネルのための）画像キャプチャユニット１０２０Ｒは、内視鏡１００２の中心長手軸１０９０と交差する平面に対して対称的である（即ち、それらは互いの鏡像として位置付けられる）。矢印１０３５によって示すように、遠位方向は、組織１００３に向かっており、近位方向は、組織１００３から離れている。

内視鏡１００２内の１以上の照明チャネル１００５からの光は、この例において、組織００３を照らす。図９に示されていないが、内視鏡１００２の視野内の１以上の手術器具も、照明チャネル１００５からの光を介して照らされてよい。内視鏡内の照明チャネルの使用は、例示的であるに過ぎず、本明細書に提示する様々な実施例において限定的であることを意図しない。照明は、内視鏡内の照明源によって或いは内視鏡の内部又は外部にある他の装置によって提供されてよい。

組織１００３から反射される光及び任意の蛍光は、レンズアセンブリ１００１Ｌ及び１００１Ｒによって受光される。レンズアセンブリ１００１Ｌ及び１００１Ｒ内のレンズ１００４Ｌ及び１００４Ｒは、それぞれ、受光する光をセンサアセンブリ１０２５Ｌ及びセンサアセンブリ１０２５Ｒに導く１以上の光学コンポーネントを含んでよい。他の態様において、レンズアセンブリ１００１Ｌ及び１００１Ｒは折り畳まれる。

レンズ１００４Ｌ及び１００４Ｒからの光は、それぞれ、センサアセンブリ１０２５Ｌ，１０２５Ｒに進む。センサアセンブリ１０２５Ｌ，１０２５Ｒ内で、光は、ビームスプリッタキューブ１０３０Ｌ，１０３０Ｒ内の、ビームスプリッタ１０３１Ｌ及び１０３１Ｒによってそれぞれ受光される。1つの態様において、ビームスプリッタ１０３１Ｌ及び１０３１Ｒの各々は、埋込み被覆面１０３１Ｌ，１０３１Ｒとして実装される。上記で説明したように、ビームスプリッタ１０３１Ｌ，１０３１Ｒの各々の上にある塗膜又は複数の塗膜は、特定の機能性を提供するように選択される。埋込み被覆面の特性は、ビームスプリッタ９１１について上述した特性と均等である。

ビームスプリッタ１０３１Ｌは、受光する光の第１の部分を第１の可視カラー画像キャプチャセンサ１０１０Ｌ＿Ｖ、例えば、画像キャプチャユニット１０２０Ｌ内の可視カラー画像キャプチャセンサ１０１０Ｌ＿Ｖの表面１０１１Ｌ＿Ｖに方向付け、受光する光の第２の部分を反射アセンブリ１０４０Ｌに方向付ける。同様に、ビームスプリッタ１０３１Ｒは、受光する光の第１の部分を第２の可視カラー画像キャプチャセンサ１０１０Ｒ＿Ｖ、例えば、画像キャプチャユニット１０２０Ｒ内の可視カラー画像キャプチャセンサ１０１０Ｒ＿Ｖの表面１０１１Ｒ＿Ｖに方向付け、受光する光の第２の部分を反射アセンブリ１０４０Ｒに方向付ける。

ビームスプリッタ１０３１Ｌ及び１０３１Ｒからの光は、それぞれ、反射アセンブリ１０４０Ｌ及び１０４０Ｒによって受光される。反射ユニット１０４０Ｌは、受光する光を、フィルタアセンブリ１０５０Ｌと呼ぶことがある第１の位置合わせ支援フィルタアセンブリ１０５０Ｌに導く。フィルタアセンブリ１０５０Ｌ内のフィルタを通過する光は、ハイパースペクトル画像キャプチャセンサ１０１５Ｌ＿ＨＳの上に集束され、例えば、反射ユニット１０４０Ｌは、受光する光を、画像キャプチャユニット１０２０Ｌ内のハイパースペクトル画像キャプチャセンサ１０１５Ｌ＿ＨＳの表面１０１６Ｌの上に集束する。同様に、反射ユニット１０４０Ｒは、受光する光を、フィルタアセンブリ１０５０Ｒと呼ぶことがある第２の位置合わせ支援フィルタアセンブリ１０５０Ｒに導く。フィルタアセンブリ１０５０Ｒ内のフィルタを通過する光は、ハイパースペクトル画像キャプチャセンサ１０１５Ｒ＿ＨＳの上に集束され、例えば、反射ユニット１０４０Ｒは、受光する光を、画像キャプチャユニット１０２０Ｒ内のハイパースペクトル画像キャプチャセンサ１０１５Ｒ＿ＨＳの表面１０１６Ｒ＿ＨＳの上に集束する。本明細書に記載する態様の各々において、光は画像キャプチャセンサの表面に向けられ、よって、簡潔性のために、光は画像キャプチャセンサ上に方向付けられると言われる。

反射アセンブリ１０４０Ｌ及び１０４０Ｒの各々は、受光する光を反射する反射面１０４１Ｌ，１０４１Ｒ、例えば、鏡面を含む。図９の例では、反射アセンブリ１０４０Ｌ及び１０４０Ｒは、それぞれ、反射被膜を有する１つの面を備えるプリズムとして実装されるか或いは各々がプリズムの斜辺での全反射(total internal reflection)を使用して実装される。１つの態様では、反射面１０４１Ｒを含む平面と画像キャプチャセンサ１０１０Ｒ＿Ｖの表面１０１１Ｒ及び画像キャプチャセンサ１０１５Ｒ＿ＨＳの表面１０１６Ｒ＿ＨＳを含む平面との交差によって形成される角度θが４５度の角度であり、よって、プリズムを４５度プリズムと呼ぶ。４５度プリズムの表面１０４１Ｒは、表面１０１４Ｒに近接する媒体が空気であり、よって、表面１０４１Ｒが反射性表面であるときに、全反射を示す。

可視カラー画像キャプチャセンサ１０１０Ｌ＿Ｖ及びハイパースペクトル画像キャプチャセンサ１０１５＿ＨＳは共平面である。即ち、センサ頂面１０１１Ｌ＿Ｖ及び１０１６Ｌ＿ＨＳは、効果的に同じ平面にある。センサの底面１０１０Ｌ＿Ｖ及び１０１５Ｌ＿ＨＳは、プラットフォーム１０１２の第１の表面によって定められる平面上にある。同様に、視覚画像キャプチャセンサ１０１０Ｒ＿Ｖ及びハイパースペクトル画像キャプチャセンサ１０１５Ｒ＿ＨＳは、同一平面にあり、例えば、頂面１０１１Ｒ＿Ｖ及び１０１６Ｒ＿ＨＳは、効果的に同じ平面にある。センサの底面１０１０Ｒ＿Ｖ及び１０１５Ｒ＿ＨＳは、プラットフォーム１０１２の第２の表面によって定められる平面上にある。プラットフォーム１０１２は、２つの平面部品、例えば、軸１０９０に沿って接合された２つのセラミック部品で構成されてよい。プラットフォーム１０１２の第１の表面は、プラットフォーム１０１２の第２の表面の反対側にあり、除去される。

１つの態様では、２つの画像キャプチャセンサ１０１０Ｒ＿Ｖ，１０１５Ｒ＿ＨＳを含む第１の半導体ダイ１０１７Ｒが、第１のセラミックプラットフォーム上に取り付けられる。２つの画像キャプチャセンサ１０１０Ｌ＿Ｖ，１０１５Ｌ＿ＨＳを含む第２の半導体ダイ１０１７Ｌが、第２のセラミックプラットフォーム上に取り付けられる。次に、２つのセラミックプラットフォームを互いに接合してプラットフォーム１０２を形成する。２つのダイ１０１７Ｒ，１０１７Ｌへのワイヤは、プラットフォーム１０１２内のチャネルを通される。ダイにおける２つの画像キャプチャセンサの使用は、例示的であるに過ぎず、限定的であることを意図しない。幾つかの態様において、２つの画像センサは、別個のダイにある（図８Ａを参照）。

幾つかの態様において、プラットフォーム１０１２は使用されなくてよく、２つのセットの画像キャプチャセンサは、所要の接続に電力、制御、及びビデオケーブルを提供するように構成された、単一の構造に含められる。また、図９に示すような画像キャプチャユニットにおける２つの共面画像キャプチャセンサの使用は、例示的であるに過ぎず、限定的であることを意図しない。

画像キャプチャセンサの共面構成は、画像キャプチャセンサ１０１０Ｒ＿Ｖ／１０１５Ｒ＿ＨＳ（第１のペア）及び１０１０Ｌ＿Ｖ／１０１５Ｌ＿ＨＳ（第２のペア）によって取り込まれる異なる画像の再位置合わせ及びレンズアーチファクトを補償するための較正の必要性を排除する。上述のように、所与のペア内の２つの画像キャプチャセンサ間の空間関係は一定であり、所与のペア内の画像キャプチャセンサは共通のレンズアセンブリ、即ち、共通フロントエンド光学構造を共有するので、２つの画像キャプチャセンサによって取り込まれる画像のペアの空間的位置合わせは、焦点を変更することのような光学条件の変更中に時間に亘って一定のままである。平面視内視鏡では、画像キャプチャユニット１０２０Ｌ，１０２０Ｒのうちの１つのみが使用される。

可視カラー画像キャプチャセンサ１０１０Ｒ＿Ｖ及び１０１０Ｌ＿Ｖは、それぞれ、可視カラー画像キャプチャセンサ９２１＿Ｖと均等である。従って、可視カラー画像キャプチャセンサ９２１＿Ｖに関して上述した態様は、ここでは繰り返されない。

フィルタアセンブリ１０５０Ｌ及び１０５０Ｒは、それぞれ、フィルタアセンブリ９４０と均等である。従って、位置合わせ支援フィルタアセンブリ９４０に関して並びにフィルタ９４１及び９４２に関して上述した態様は、ここでは繰り返されない。

（時間順次照明のための画像キャプチャユニット）
図１０Ａは、可視フレーム及びハイパースペクトルフレームを同時に取り込む新規な画像キャプチャユニットを含む更に別の内視鏡１１５０の例示である。内視鏡１１５０は、内視鏡１０１1の一例である。

１つの態様において、内視鏡１１５０は、白色光照明及び時間順次ハイパースペクトル照明の組み合わせと共に使用される。この例において、内視鏡１１５０は、立体視内視鏡であるが、別の態様において、内視鏡１１５０は、平面視内視鏡である。画像キャプチャユニット又は複数の画像キャプチャユニットは、内視鏡１１５０の遠位端内に配置されることができ、或いは内視鏡１１５０の近位端で内視鏡の本体の外側に配置されることができる。矢印１１９０は、遠位方向及び近位方向を定める。

態様において、内視鏡１１５０の遠位端は、２つの光パイプガイド領域１１５２，１１５３を含み、それらは、１つの態様において、組織１１６０上の白色光照明又は白色光照明及びハイパースペクトル照明の組み合わせのコーン１１７０を提供する。組織１１６０の特徴１１６３は、ハイパースペクトル照明、例えば、近赤外線照明で照らされるときに、より顕著である。

内視鏡１１５０の遠位端は、この態様では、第１の画像キャプチャユニット窓１１５１Ｌや、第２の画像キャプチャユニット窓１１５１Ｒも含む。画像キャプチャユニット窓１１５１Ｌに連結される第１の画像キャプチャユニットが、第１の視野１１５４Ｌを有する。画像キャプチャユニット窓１１５１Ｒに連結される第２の画像キャプチャユニットが、第２の視野１１５４Ｒを有する。

図１０Ｂは、時間順次ハイパースペクトル照明源及び白色光照明源を備えるカメラ２２０Ｌ及び２２０Ｒとしての使用に適した画像キャプチャユニット１１２０の１つの態様の例示である。内視鏡１１５０内の１以上の照明チャネルからの光は、この例において、組織１１６０を照らす。図１０Ｂに示されていないが、内視鏡１１５０の視野内の１以上の手術器具も、照明チャネルからの光を介して照らされてよい。内視鏡内の照明チャネルの使用は、例示的であるに過ぎず、本明細書に提示する様々な例において限定的であることを意図しない。照明は、内視鏡内の照明源によって或いは内視鏡の内部又は外部にある他の装置によって提供されてよい。

組織１１６０から反射される光及び任意の蛍光は、レンズアセンブリ１１０５によって光１１０１として受光される。レンズアセンブリ１１０５は、受光する光をセンサアセンブリ１１２１に導く１以上の光学コンポーネントを含んでよい。幾つかの態様において、レンズアセンブリ１１０５は、折り畳まれる。

レンズアセンブリ１１０５からの光は、センサアセンブリ１１２１に進む。幾つかの態様において、レンズアセンブリ１１０５は、画像センサ１１２１＿Ｖ及び１１２１＿ＨＳの機械的分離によって与えられる異なる後方焦点距離を利用し、長手方向の色収差は、表面１１１１から異なる距離でセンサを位置付けることによって順応させられる。

センサアセンブリ１１２１内で、光は、この態様においてビームスプリッタキューブ１１１０の対角線上に配置されたビームスプリッタ１１１１と相互作用する。１つの態様において、ビームスプリッタ１１１１は、埋込み被覆面として実装される。

ビームスプリッタキューブの使用は、例示的であるに過ぎず、限定的であることを意図しない。例えば、ビームスプリッタ１１１１は、空間内に位置付けられたフィルタであることができる。

ビームスプリッタ１１１１は、レンズアセンブリ１１０５から受光する光の第１の部分１１０２を可視カラー画像キャプチャセンサ１１２１＿Ｖに導き、レンズアセンブリ１１０５から受光する光の第２の部分１１０３をハイパースペクトル画像キャプチャセンサ１１２１＿ＨＳに導く。図１０Ｂの例において、ビームスプリッタ１１１１は、レンズアセンブリ１１０５から受光する光の第１の部分１１０２を可視カラー画像キャプチャセンサ１１２１Ｖに反射し、レンズアセンブリ１１０５から受光する光の第２の部分１１０３をハイパースペクトル画像キャプチャセンサ１２１＿ＨＳに伝える。本明細書に記載する態様の各々において、光は、画像キャプチャセンサの表面に向けられる、即ち、集束されるので、簡潔性のために、光は画像キャプチャセンサ上に向けられると言われる。

光の第１の部分１１０２及び光の第２の部分１１０３内の光の波長は、ビームスプリッタ１１１１の特性によって決定される。一例において、ビームスプリッタ１１１１は、光の第１の部分１１０２が、レンズアセンブリ１１０５から受光する可視光の第１の部分であり、光の第２の部分１１０３が、レンズアセンブリ１１０５から受光する可視光の第２の部分とレンズアセンブリ１１０５から受光するハイパースペクトル光との組み合わせである、ように構成される。一例において、第１の部分１１０２は、約６７０ｎｍ以下の波長を備える可視スペクトル内の可視光であり、光１１０１の第２の部分１１０３は、６７０ｎｍを超える波長を備える可視光及びレンズアセンブリ１１０５から受光するハイパースペクトル光、例えば、約６７０ナノメートルよりも長く１．７マイクロメートル以下である波長を備える光である。ここで、約６７０ナノメートルが使用されるのは、ビームスプリッタ１１１１が埋込み被覆層として実装されるときに、被覆層は入射光の一部が両方の画像キャプチャセンサに向けられる移行ゾーンを有するからである。例えば、６７０ｎｍ±２０ｎｍの波長を備える光は、可視カラー画像キャプチャセンサ１１２１＿Ｖに行くことからハイパースペクトル画像キャプチャ１１２１＿ＨＳに移行する。故に、約６７０ナノメートルは、約６７０ナノメートルの移行ゾーン内を意味する。

光１１０１の第１の部分１１０２は、可視カラー画像キャプチャセンサ１１２１＿Ｖの上に集束される。１つの態様において、可視カラー画像キャプチャセンサ１１２１＿Ｖは、４００ナノメートル～約６７０ナノメートルの範囲内の波長を有する光を取り込む。例えば、可視カラー画像キャプチャセンサ１１２１＿Ｖは、バイエルの赤－緑－青カラーフィルタアレイ又は赤－緑－青－白カラーフィルタアレイを備える小型画素ＣＯＭＳ画像キャプチャセンサである。センサ１１２１＿Ｖと呼ぶことがある可視カラー画像キャプチャセンサ１１２１＿Ｖは、機械的構造及びエレクトロニクス１１２７に連結される。機械的構造及びエレクトロニクス１１２７は、センサ１１２１＿Ｖを保持するための機械的構造と、センサ１１２１＿Ｖに接続されるエレクトロニクスとを含む。

レンズアセンブリ１１０５からの光１１０１の第２の部分１１０３は、ハイパースペクトル画像キャプチャセンサ１１２１＿ＨＳの上に集束される。１つの態様において、ハイパースペクトル画像キャプチャセンサ１１２１＿ＨＳは、約６７０ナノメートル～１．７マイクロメートルの範囲内の波長を有する光を取り込む。ハイパースペクトル画像キャプチャセンサ１１２１＿ＨＳは、単色大型画素画像キャプチャセンサ、例えば、５～２０マイクロメートルの画素を備えるＩｎＧｓＡｓセンサ又は類似のサイズの画素を備えるＨｇＣｄＴｅセンサである。

ハイパースペクトル画像キャプチャセンサ１１２１＿ＨＳ及び可視カラー画像キャプチャセンサ１１２１＿Ｖは、異なる半導体技術で実装されることができ、従って、異なるシャッタアーキテクチャ、例えば、可視カラー画像キャプチャセンサ１１２１＿Ｖのためのロールシャッタ及びハイパースペクトル画像キャプチャセンサ１１２１＿ＨＳのためのグローバルシャッタを有してよい。２つの画像センサの位置決めは、製造時に独立した焦点合わせ(focusing)を可能にする。加えて、２つの画像センサは、異なる画素サイズ及び異なるアクティブ領域を有してよい。

センサ１１２１＿ＨＳと呼ぶことがあるハイパースペクトル画像キャプチャセンサ１１２１＿ＨＳは、機械的構造、冷却、及びエレクトロニクス１１２６に連結される。機械的構造、冷却構造、及びエレクトロニクス１１２６は、センサ１１２１＿ＨＳを保持するための機械的構造、センサ１１２１＿ＨＳのための冷却構造、及びセンサ１１２１＿ＨＳに接続されるエレクトロニクスを含む。

画像キャプチャユニット１１２０は、図９に示すように実装されることもできる。しかしながら、時間順次ハイパースペクトル照明のために、位置合わせ支援フィルタアセンブリ１０５０Ｌ及び１０５０Ｒは取り外される。

１つの態様では、単色ハイパースペクトル画像キャプチャセンサ１１２１＿ＨＳの代わりに、センサ１１２１＿ＨＳの画素上のカラーフィルタアレイが、瞬時照明スペクトル成分と画素上のフィルタとの組み合わせである「原色(primaries)」の他のセットを生成する。これは順次照明パターンの数を減らす。何故ならば、照明は、各フィルタの背後の画素を照らす光を同時に含むことができるからである。これは有益である。何故ならば、それは取得のための時間を短縮し、時間順次撮像と関連付けられる時間アーチファクトを除去することの故にプロセスを簡素化するからである。よって、このアプローチは、組織追跡及び画像の再整列の必要性を排除する。何故ならば、ハイパースペクトル撮像素子からの画像が全ての波帯についての情報を同時に含むからである。トレードオフは、空間分解能の低下である。

レンズアセンブリ１１０５は、組織内の蛍光体を励起するために使用される光の幾らかの波長を遮断するフィルタを含んでよい。－例えば、蛍光及び励起がスペクトルの近赤外部分内にあるならば、これは可視画像の画質を妥協せずに行われることがある。その場合、照明器は、励起光を時間順次波帯の１つとして使用してよく、蛍光体信号は、レンズアセンブリ１１０５内の遮断フィルタの故に、カメラによって「見られ」、励起によって圧倒されない。蛍光体は、天然に発生する分子、又は特定の組織タイプ、状態、若しくは臨床的に関心のある他の要素をタグ付けするために組織内に導入される分子であってよい。よって、スペクトルイ撮像を用いた蛍光体の検出を散在させることができる。

（内視鏡及びハイパースペクトル能力を備える第２のツール）
上記の例では、平面視又は立体視の内視鏡が、１つの態様において、コンピュータ支援手術システムのアームに取り付けられ、他の手術器具が、コンピュータ支援手術システムの別のアームに取り付けられた。図１を参照のこと。別の態様では、単一の入口ポートが使用される。図１１Ａは、全てが有線（電気的又は光学的）又は無線接続１２９６によって相互接続された、内視鏡撮像システム１２９２、外科医コンソール１２９４（マスタ）、及び患者側支持システム１２１０（スレーブ）を含む、手術システム１２００の態様を例示する概略側面図である。１以上の電子データプロセッサが、システム機能性を提供するためにこれらの主要コンポーネント内に様々に配置されてよい。複数の例が、本明細書に参照として援用する米国特許出願第１１／７６２，１６５号に開示されている。

患者側支持システム１２１０は、入口ガイドマニピュレータを含む。少なくとも１つの手術デバイスアセンブリが、入口ガイドマニピュレータに連結される。各手術デバイスアセンブリは、手術器具又はカメラ器具のいずれかを含む。例えば、図１１Ａにおいて、１つの手術デバイスアセンブリは、外科的処置中に入口ガイド１２１５を通じて延びるシャフト１２３７－１を備える器具１２３５－１を含む。典型的には、入口ガイド１２１５は、複数のチャネルを含む。

撮像システム１２９２は、例えば、本明細書に記載するように、手術部位の取り込まれた内視鏡撮像データ及び／又は患者外部の他の撮像システムからの術前若しくはリアルタイム画像データに対して、画像処理機能を実行する。撮像システム１２９２は、処理された画像データ（例えば、手術部位の画像並びに関連する制御及び患者情報）を外科医コンソール１２９４にいる外科医に出力する。幾つかの態様において、処理された画像データは、他の手術室要員に見える任意の外部モニタに或いは手術室から離れた１以上の場所に出力される（例えば、他の場所にいる外科医がビデオをモニタリングしてよい、トレーニングのためにライブフィードビデオが使用されてよいなど）。

外科医コンソール１２９４は、外科医が、集合的にスレーブと呼ぶ、器具、（複数の）入口ガイド、及び撮像システムデバイスを操作することを可能にする、多自由度（「ＤＯＦ」）機械入力デバイス（「マスタ」）を含む。これらの入力デバイスは、幾つかの態様において、器具及び手術デバイスアセンブリコンポーネントから外科医に触覚フィードバックを提供することがある。コンソール１２９４は、ディスプレイ上の画像がディスプレイスクリーンの背後／下方で働く外科医の両手に対応する距離に概ね集束されるように位置付けられる、立体視ビデオ出力ディスプレイも含む。これらの態様は、本明細書に参照として援用する米国特許第６，６７１，５８１号でより十分に論じられている。

器具の挿入中の制御は、例えば、外科医がマスタの一方又は両方で画像中に提示される器具を動かすことによって達成されることがあり、外科医は、マスタを使用して、画像中の器具を左右に移動させ、器具を外科医に向かって引く。マスタの動作は、撮像システム及び関連する手術デバイスアセンブリに命令して、出力ディスプレイ上の固定的な中心点に向かって進ませ、患者の内側に前進させる。

１つの態様において、カメラ制御は、マスタハンドルが移動させられるのと同じ方向に画像が移動するように、マスタが画像に固定される、という印象を与えるように設計される。この設計は、外科医がカメラ制御から出るときに、マスタが器具を制御する正しい場所にあるようにさせ、結果的に、この設計は、器具制御の開始又は再開の前に、マスタをクラッチ操作（係合解除）し(clutch (disengage))、移動させ(move)、且つクラッチ解除（係合）して(declutch (engage))適所に戻す必要性を回避する。

幾つかの態様において、マスタ位置は、大きなマスタ作業空間を使用することを避けるために、挿入速度に比例させられてよい。代替的に、外科医は、マスタをクラッチ操作及びクラッチ解除して、挿入のためにラチェット動作を使用してよい。幾つかの態様において、挿入は、（例えば、手動ホイールによって）手動で制御されてよく、次に、手術デバイスアセンブリの遠位端が手術部位に近いときに、自動挿入（例えば、サーボモータ被駆動ローラ）が行われる。挿入軌跡に利用可能な空間及び患者の解剖学的構造の術前又はリアルタイム画像データ（例えば、ＭＲＩ、Ｘ線）が挿入を支援するために使用されてよい。

患者側支持システム１２１０が、フロア取付けベース１２０１又は代替的に天井取付けベース（図示せず）を含む。ベース１２０１は、移動可能であってよく、或いは（例えば、フロア、天井、壁、又は手術台のような他の機器に）固定されてよい。

ベース１２０１は、受動的な制御されないセットアップアームアセンブリ１２２０と、能動的に制御されるマニピュレータアームアセンブリ１２３０とを含む、アームアセンブリを支持する。能動的に制御されるマニピュレータアームアセンブリ１２３０を入口ガイドマニピュレータ１２３０と呼ぶ。

カニューレ１２１６が、カニューレマウントに取り外し可能に連結される。この記述において、カニューレは、典型的には、器具又は入口ガイドが患者組織上で擦れるのを防止するために使用される。カニューレは、切開部及び自然開口部の両方のために用いられる。器具又は入口ガイドがその挿入軸（長手軸）に対して頻繁に並進又は回転しない状況において、カニューレは使用されないことがある。通気(insufflation)を必要とする状況において、カニューレは、器具又は入口ガイドを通り過ぎる過剰な通気ガス漏れを防止するシールを含んでよい。手術部位で通気ガスを必要とする処置及び通気を支持するカニューレアセンブリの例は、（２０１０年２月１２日に出願された「Entry Guide for Multiple Instruments in a Single Port System」を開示する）米国特許出願第１２／７０５，４３９号に見出されることがあり、その全文を全ての目的のために本明細書に参照として援用する。通気を必要としない胸部手術では、カニューレシールは省略されてよく、器具又は入口ガイド挿入軸の動きが最小であるならば、カニューレ自体が省略されてよい。剛的な入口ガイドは、入口ガイドに対して挿入される器具のための幾つかの構成において、カニューレとして機能することがある。カニューレ及び入口ガイドは、例えば、鋼又は押出プラスチックであってよい。鋼よりも安価なプラスチックは、１回限りの使用に適することがある。

様々な受動セットアップジョイント／リンク及び能動ジョイント／リンクは、患者が可動テーブル上の様々な位置に配置されるときに、器具及びカメラアセンブリを大きな可動域(range of motion)で移動させる器具マニピュレータの位置決めを可能にする。幾つかの実施形態において、カニューレマウントは、第１のマニピュレータリンクに連結されてよい。

マニピュレータアームにおける特定のセットアップ並びに能動ジョイント及びリンクは、手術システムのサイズ及び形状を減少させるために省略されてよく、或いはジョイント及びリンクは、自由度を増加させるために追加されてよい。マニピュレータアームは、手術のための所要の範囲の姿勢を達成するために、リンク、受動ジョイント、及び能動ジョイントの様々な組み合わせを含んでよい（冗長ＤＯＦが提供されてよい）ことが理解されるべきである。更に、様々な器具のみ又は入口ガイドを含む手術デバイスアセンブリ、複数の器具、及び／又は複数の入口ガイド、並びに（例えば、器具伝動手段(instrument transmission means)又は器具マニピュレータの近位面又は遠位面上で）様々な構成を介して器具マニピュレータ（例えば、アクチュエータアセンブリ）に連結される器具は、本開示の態様において適用可能である。

複数の手術デバイスアセンブリ１２８０の各々は、器具マニピュレータアセンブリと、手術器具及びカメラアセンブリのうちの１つとを含む。図１１Ａでは、複数の手術デバイスアセンブリ１２８０のうちの２つが見え、２つの可視手術デバイスアセンブリの各々は、器具マニピュレータアセンブリと、手術器具又はカメラアセンブリとを含む。器具マニピュレータアセンブリ１２４０－１及び１２４０－２の各々は、１つの態様において、コンピュータ支援され、よって、それらの各々をコンピュータ支援器具マニピュレータアセンブリと呼ぶことがある。器具マニピュレータアセンブリ１２４０－１，１２４０－２の各々は、異なる挿入アセンブリによって入口ガイドマニピュレータアセンブリ１２３３に連結され、例えば、器具マニピュレータアセンブリ１２４０－１は、挿入アセンブリ１２３６－１によって入口ガイドマニピュレータアセンブリ１２３３に連結される。

１つの態様において、挿入アセンブリ１２３６－１は、対応する手術デバイスアセンブリを入口ガイドマニピュレータアセンブリ１２３３から離れる方向及び入口ガイドマニピュレータアセンブリ１２３３に向かう方向に移動させる伸縮アセンブリ(telescoping assembly)である。図１１Ａにおいて、挿入アセンブリ１２３６－１は、完全に引っ込められた位置にある。

各器具マニピュレータアセンブリ１２４０－１，１２４０－２は、器具マニピュレータアセンブリ１２４０－１，１２４０－２の出力インタフェースにおいて複数の出力を駆動する複数のモータを含む。器具１２３５－１，１２３５－２の各々は、伝動装置ユニット(transmission unit)を収容する本体を含む。伝動装置ユニットは、複数の入力を含む入力インタフェースを含む。器具１２３５－１，１２３５－２の各々は、本体から遠位方向に延びる主チューブと呼ぶことがあるシャフト１２３７－１，１２３７－２も含む。エンドエフェクタが、手術器具のシャフトの遠位端に連結され、画像キャプチャユニット、例えば、カメラが、内視鏡と呼ぶことがあるカメラ器具のシャフトの遠位端内に含められる。器具マニピュレータアセンブリ及び手術器具の一例について、参照として援用する（２０１３年８月１５日に出願された）米国特許出願第６１／８６６，１１５号を参照のこと。

器具１２３５－１，１２３５－２の各々は、器具１２３５－１，１２３５－２内の伝動装置ユニットの入力インタフェースにおける複数の入力が器具マニピュレータアセンブリ１２４０－１，１２４０－２の器具マウントインタフェースにおける複数の出力によって駆動されるように、対応する器具マニピュレータアセンブリ１２４０－１，１２４０－２の器具マウントインタフェースに連結される。（２０１３年８月１３日に出願された）米国特許出願第６１／８６６，１１５号を参照のこと。

１つの態様において、１以上の器具マニピュレータアセンブリは、カメラ器具のような特定の種類の器具を支持して作動させるように構成されてよい。図１１Ａに示すように、複数の手術デバイスアセンブリ１２８０のシャフトは、器具の本体から遠位に延びる。シャフトは、入口ポートに配置されたる共通カニューレ１２１６を通じて（例えば、体壁又は自然開口部を通じて）患者内に延びる。１つの態様では、入口ガイド１２１５がカニューレ１２１６内に位置付けられ、各器具シャフトは、器具シャフトのための追加的な支持をもたらすよう、入口ガイド１２１５内のチャネルを通じて延びる。

手術システム１２００を使用して実行することができる手術は、身体の異なる領域で実行されてよい。例えば、１つの手術は、患者の口を通じて実行されてよい。他の手術は、患者の肋骨の間で実行されてよい。他の手術は、患者の他の開口部又は患者の切開部を通じて実行されてよい。患者内への各々の異なる入力は、入口ガイドの異なる形状及び／又は異なるサイズを必要とすることがある。よって、特定の手術のために適切な入口ガイド１２１５が選択される。

上述の態様において、内視鏡は、可視フレーム及びハイパースペクトルフレームを同時に取り込んだ画像キャプチャユニットを含むか或いはそのような画像キャプチャユニットに連結された。しかしながら、別の態様では、標準カメラ器具１３５－２、例えば、立体視内視鏡が、ハイパースペクトル画像キャプチャユニット及び深さ測定デバイス、例えば、深さカメラ、超音波デバイスなどを含む、第２のツール、例えば、手術器具１２３５－１と共に使用される。

図１１Ｂは、内視鏡１２３５－２Ｂ及び別の手術器具１２３５－１Ｂのより詳細な例示である。手術器具１２３５－１Ｂは、ハイパースペクトル画像キャプチャ能力を有する。

１つの態様において、内視鏡１２３５－２Ｂは、白色光照明と時定又は時間順次ハイパースペクトル照明のいずれかとの組み合わせと共に使用される。この例において、内視鏡１２３５－２Ｂは、立体視内視鏡であるが、別の態様において、内視鏡１２３５－２Ｂは、平面視内視鏡である。画像キャプチャユニット又は複数の画像キャプチャユニットを内視鏡１２３５－２Ｂの遠位端内に配置することができ、或いは内視鏡１２３５－２Ｂの近位端で内視鏡の本体の外側に配置することができる。矢印１２９０は、遠位方向及び近位方向を定めている。

この態様において、内視鏡１２３５－２Ｂの遠位端は、１つの態様において、組織１２６０上の白色光照明又は白色光照明とハイパースペクトル照明との組み合わせのコーン１２７０を提供する、２つの光パイプガイド領域１２５２，１２５３を含む。組織１２６０の特徴１２６３は、ハイパースペクトル照明、例えば、近赤外線照明で照らされるときに、より顕著である。

内視鏡１２３５－２Ｂの遠位端は、この態様において、第１の画像キャプチャユニット窓１２５１Ｌと、第２の可視画像キャプチャユニット窓１２５１Ｒとを含む。画像キャプチャユニット窓１２５１Ｌに連結される第１の可視画像キャプチャユニットが、第１の視野１２５４Ｌを有する。画像キャプチャユニット窓１２５１Ｒに連結される第２の可視画像キャプチャユニットが、第２の視野１２５４Ｒを有する。可視画像キャプチャユニットによって取り込まれるフレームは、可視画像処理パイプライン３１０について上述したように処理されて、外科医コンソール１２９４上に立体視可視画像のビデオシーケンスを生成する。

手術器具１２３５－１Ｂの遠位端は、この態様において、ハイパースペクトル画像キャプチャユニットウィンドウ１２５６や、深さ感知ユニット窓１２５７も含む。ハイパースペクトル画像キャプチャユニット窓１２５６に結合されるハイパースペクトル画像キャプチャユニットが、第３の視野１２５８を有する。深さ感知窓１２５７に連結される深さ感知ユニットが、第４の視野１２５９を有する。

縮尺通りでない図１１Ｂに示すように、立体視内視鏡１２３５－２Ｂの視野は、ハイパースペクトル画像キャプチャユニットの視野１２５８及び視野１２５９と重なり合う（オーバーラップする）。視野の各々は、組織１２６０の特徴１２６３を含む。

図１２Ａ及び図１２Ｂは、手術器具１２３５－１Ｂにおける使用に適したハイパースペクトルカメラの例である。図１２Ａの例において、ハイパースペクトル画像キャプチャユニット１３２０Ａは、時定ハイパースペクトル照明源のための手術器具１２３５－１Ｂにおいて使用される。

ハイパースペクトル画像キャプチャユニット１３２０Ａは、手術器具の遠位端にある窓１２５６Ａを含む。窓１２５６Ａは、関心波長、例えば、７００ナノメートル～２．４マイクロメートルの波長を通す被膜１３１１（コーティング）を含む。よって、組織１２６０から反射される光及び組織１２６０からの任意の蛍光である光１３０１は、窓１２５６Ａによって受光される。ハイパースペクトル画像キャプチャユニット１３２０Ａのレンズアセンブリ１３０５は、窓１２５６Ａ上の被膜１３１１を通過する光１３０２を受光する。別の態様では、フィルタが、窓１２５６Ａ上のコーティングを使用する代わりに、窓１２５６Ａとレンズアセンブリ１３０５との間に配置される。フィルタ１３１１は、組織１２６０から受光するハイパースペクトル光及び組織２６０から受光する可視光の一部分の組み合わせを通すように構成される。

レンズアセンブリ１３０５は、受光する光をセンサアセンブリ１３２１に向ける、即ち、集束する、１以上の光学コンポーネントを含んでよい。幾つかの態様において、レンズアセンブリ１３０５は、折り畳まれる。

レンズアセンブリ１３０５から受光する可視光とレンズアセンブリ１３０５から受光するハイパースペクトル光との組み合わせは、ハイパースペクトル画像キャプチャセンサ１３２１の上に集束される。１つの態様において、ハイパースペクトル画像キャプチャセンサ１３２１は、７００ナノメートル～１．７又は２．４マイクロメートルの範囲内の波長を有する光を取り込む。画像キャプチャセンサ１３２４の各画素によって取り込まれる波長の範囲は、フィルタアセンブリ１３４０の特性及びセンサ１３２１のスペクトル応答に依存する。フィルタアセンブリ１３４０は、上述のフィルタアセンブリ９４０と均等であり、よって、記述はここでは繰り返されない。ハイパースペクトル画像キャプチャセンサ１３２１は、単色大画素画像キャプチャセンサ、例えば、５～２０マイクロメートルの画素を備えるＩｎＧｓＡｓセンサ又は類似のサイズの画素を備えるＨｇＣｄＴｅセンサである。ハイパースペクトル画像キャプチャユニット１３２０は、グローバルシャッタ又はロールシャッタのいずれかを有することができる。

センサ１３２１と呼ぶことがあるハイパースペクトル画像キャプチャセンサ１３２１は、機械的構造、冷却構造、及びエレクトロニクス１３２６に連結される。機械的構造、冷却構造、及びエレクトロニクス１３２６は、センサ１３２１を保持するための機械的構造、センサ１３２１のための冷却構造、及びセンサ１３２１に接続されるエレクトロニクスを含む。

一定ハイパースペクトル照明を備えるシステムのために、１以上の波帯がシーンを照明しており、画像キャプチャセンサ１３２１に近接するフィルタアセンブリ１３４０は、ハイパースペクトル情報を単一フレームに符号化する画像を提供するよう、画素化される。

図１２Ｂは、時間順次ハイパースペクトル照明源及び白色光照明源を備える手術器具１２３５－１Ｂにおける使用に適した画像キャプチャユニット１３２０Ｂの１つの態様の例示である。ハイパースペクトル画像キャプチャユニット１３２０Ｂは、手術器具の遠位端にある窓１２５６Ｂを含む。窓１２５６Ｂは、関心波長、例えば、約６７０ナノメートルより長く１．７マイクロメートル以下である波長を通す、被膜を含む。よって、組織１２６０から反射される光及び任意の蛍光である光１３３１は、窓１２５６Ｂによって受光される。ハイパースペクトル画像キャプチャユニット１３２０Ｂのレンズアセンブリ１３１５は、窓１２５６Ｂの被膜を通過する光１３３２を受光する。別の態様では、フィルタ１３４１が、窓１２５６Ｂ上の被膜を使用する代わりに、窓１２５６Ｂとレンズアセンブリ１３１５との間に配置され、或いは被膜はレンズアセンブリ１３１５内に含められる。フィルタ１３４１は、組織１２６０から受光するハイパースペクトル光及び組織１２６０から受光する可視光の一部分との組み合わせを通るように構成される。

レンズアセンブリ１３１５は、受光する光をセンサアセンブリ１３２２に導く１以上の光学コンポーネントを含んでよい。幾つかの態様において、レンズアセンブリ１３１５は、画像センサの前に折畳みプリズム(fold prism)と共に折り畳まれる。

レンズアセンブリ１３１５からの光は、ハイパースペクトル画像キャプチャセンサ１３２２に進み、例えば、ハイパースペクトル画像キャプチャセンサ１３２２の上に集束される。１つの態様において、ハイパースペクトル画像キャプチャセンサ１３２２は、６７０ナノメートル～１．７マイクロメートルの範囲内の波長を有する光を取り込む。ハイパースペクトル画像キャプチャセンサ１３２２は、単色大画素画像キャプチャセンサ、例えば、５～２０マイクロメートルの画素を備えるＩｎＧｓＡｓセンサ又は類似のサイズの画素を備えるＨｇＣｄＴｅセンサである。

センサ１３２２と呼ぶこともあるハイパースペクトル画像キャプチャセンサ１３２２は、機械的構造、冷却構造、及びエレクトロニクス１３２７に連結される。機械的構造、冷却構造、及びエレクトロニクス１３２７は、センサ１３２２を保持するための機械的構造、センサ１３２２のための冷却構造、及びセンサ１３２２に接続されるエレクトロニクスを含む。

本発明の態様及び実施形態を例示する上記記述及び添付の図面は、限定的であると理解されてならない－クレームが、保護される発明を定義する。本記述及び請求項の精神及び範囲から逸脱せずに様々な機械的、組成的、構造的、電気的、及び動作的変更が行われてよい。幾つかの例において、周知の回路、構造、及び技法は、発明的な態様を不明瞭にすることを避けるために、詳細に示されておらず或いは記載されていない。

更に、この記述の用語は、本発明を限定することを意図しない。例えば、「下方(beneath)」、「下(below)」、「下方(lower)」、「上(above)」、「上方(upper)」、「近位(proximal)」、「遠位(distal)」、及び同等の表面のような、空間的に相対的な用語は、図に例示されるような他の要素又は特徴に対する１つの要素又は特徴の関係を記述するために使用されることがある。これらの空間的に相対的な用語は、図に示される位置及び向きに加えて、使用又は動作中のデバイスの異なる位置及び向きを包含することが意図されている。例えば、図中のデバイスがひっくり返されるならば、他の要素又は特徴のが「下」又は「下方」として記述される要素は、次に、他の要素又は特徴の「上」又は「上方」となるであろう。よって、例示的な用語「下」は、上及び下の位置及び向きの両方を包含することができる。デバイスは、（９０度又は他の配向で回転させられた）他の方向に向けられてよく、本明細書で使用する空間的に相対的な記述子は、相応して解釈される。

単数の形態は、文脈が他のことを示さない限り、複数の形態も含むことを意図する。「含む(comprises)」、「含む(comprising)」、「含む(includes)」、及び同等の表現は、記載される特徴、ステップ、動作、要素、及び／又はコンポーネントの存在を特定するが、１以上の他の特徴、ステップ、動作、要素、コンポーネント、及び／又はグループの存在又は追加を排除しない。

全ての例及び例示的参照は、非限定的であり、本明細書に記載する特定の実施及び実施形態並びにそれらの均等物に請求項を限定するために使用されてならない。あらゆる見出しは専らフォーマットのためであり、主題を如何様に限定するためにも使用されてならない。何故ならば、１つの見出しの下の本文は、１以上の見出しの下の本文を相互参照するか或いは１以上の見出しの下の本文に当て嵌まることがあるからである。最後に、この開示を鑑みて、１つの態様又は実施形態に関連して記載される特定の特徴は、たとえ図面に具体的に示されておらず或いは本文に記載されていないとしても、本発明の他の開示の態様又は実施形態に適用されてよい。

メモリは統合された構造として例示されているが、これは全てのメモリが同じ物理的場所にあることを要求するものと解釈されてならない。メモリの全部又は一部は、プロセッサとは異なる物理的場所にあることができる。メモリとは、揮発性メモリ、不揮発性メモリ、又はこれら２つの任意の組み合わせを指す。

プロセッサは、プロセッサによって実行される指令を含むメモリに連結される。これはコンピュータシステム内で達成されることができ、或いは代替的に、モデム及びアナログライン又はデジタルインタフェース及びデジタルキャリアラインを介した別のコンピュータへの接続を介して達成することができる。

ここで、コンピュータプログラム製品（コンピュータプログラム）は、本明細書に記載する方法及び／又はプロセスの任意の１つ又は任意の組み合わせに必要なコンピュータ可読コードを格納するように構成された媒体、或いは本明細書に記載する方法及び／又はプロセスの任意の１つ又は任意の組み合わせのためのコンピュータ可読コードが格納される媒体を含む。コンピュータプログラム製品の幾つかの例は、ＣＤ－ＲＯＭディスク、ＤＶＤディスク、フラッシュメモリ、ＲＯＭカード、フロッピーディスク、磁気テープ、コンピュータハードドライブ、ネットワーク上のサーバ、及びコンピュータ可読プログラムコードを表すネットワークを通じて送信される信号である。有形のコンピュータプログラム製品は、本明細書に記載する方法及び／又はプロセスの任意の１つ又は任意の組み合わせのためのコンピュータ可読指令を格納するように構成された媒体、或いは本明細書に記載する方法及び／又はプロセスの任意の１つ又は任意の組み合わせのためのコンピュータ可読指令が格納される媒体を含む。有形のコンピュータプログラム製品は、ＣＤ－ＲＯＭディスク、ＤＶＤディスク、フラッシュメモリ、ＲＯＭカード、フロッピーディスク、磁気テープ、コンピュータハードドライブ及びその他の物理的記憶媒体である。

この開示に鑑みて、本明細書に記載する方法及び／又はプロセスの任意の１つ又は任意の組み合わせのための指令は、ユーザが関心を有するオペレーティングシステム及びコンピュータプログラミング言語を使用して、多種多様なコンピュータシステム構成において実装されることができる。

Claims (15)

1. 手術システムのコントローラによって、前記手術システムの画像キャプチャユニットによって取り込まれる可視画像を受信することと、
   前記コントローラによって、前記手術システムの前記画像キャプチャユニットによって同じ波長帯で取り込まれる複数のハイパースペクトル画像を受信することと、
   前記コントローラによって、前記複数のハイパースペクトル画像から複合ハイパースペクトル画像を生成することと、
   前記コントローラによって、前記複合ハイパースペクトル画像を前記可視画像と空間的に位置合わせすることと、を含む、
   方法。
2. 前記複数のハイパースペクトル画像は、異なるカメラ場所で取り込まれる、請求項１に記載の方法。
3. 前記可視画像及び前記複数のハイパースペクトル画像に含まれるハイパースペクトル画像は、同じカメラ場所から実質的に同時に取り込まれる、請求項１又は２に記載の方法。
4. 前記複数のハイパースペクトル画像に含まれる第２のハイパースペクトル画像が、前記同じカメラ場所とは異なる第２のカメラ場所から取り込まれる、請求項３に記載の方法。
5. 前記複数のハイパースペクトル画像は、カメラの視野が手術部位の上で空間的にスキャンされるときに、異なる場所から取り込まれる、請求項１～４のうちのいずれか１項に記載の方法。
6. 前記画像キャプチャユニットは、第１の解像度で前記可視画像を取り込み、前記複数のハイパースペクトル画像の各ハイパースペクトル画像を第２の解像度で取り込み、前記第２の解像度は、前記第１の解像度よりも少ない、請求項１～５のうちのいずれか１項に記載の方法。
7. 前記複合ハイパースペクトル画像は、前記第２の解像度よりも大きな解像度を有する、請求項６に記載の方法。
8. 前記コントローラによって、ディスプレイデバイスに、前記複合ハイパースペクトル画像でオーバーレイされた前記可視画像を表示させることを更に含む、請求項１～７のうちのいずれか１項に記載の方法。
9. 前記ディスプレイデバイスが前記複合ハイパースペクトル画像でオーバーレイされた前記可視画像を表示する第１の視認モードと、前記ディスプレイデバイスが前記複合ハイパースペクトル画像でオーバーレイされていない前記可視画像を表示する第２の視認モードとの間で切り替えることを更に含む、請求項８に記載の方法。
10. 前記複合ハイパースペクトル画像でオーバーレイされた前記可視画像は、ピクチャ・イン・ピクチャビューにおいて表示される、請求項８に記載の方法。
11. 前記複合ハイパースペクトル画像でオーバーレイされた前記可視画像は、立体視ディスプレイによって表示される、請求項８に記載の方法。
12. 前記複合ハイパースペクトル画像でオーバーレイされた前記可視画像が表示される間に、前記手術システムの手術器具の動きを抑制することを更に含む、請求項８に記載の方法。
13. 前記コントローラによって、前記手術システムの前記画像キャプチャユニットによって取り込まれる第２の可視画像を受信することを更に含み、前記第２の可視画像は、前記複合ハイパースペクトル画像を前記可視画像と空間的に位置合わせするために使用される、請求項１～５のうちのいずれか１項に記載の方法。
14. 前記画像キャプチャユニットは、
    可視光を取り込む第１の画像キャプチャセンサと、
    可視光及びハイパースペクトル光を取り込む第２の画像キャプチャセンサと、を含み、
    前記第２の画像キャプチャセンサによって取り込まれる前記可視光は、前記複合ハイパースペクトル画像を前記可視画像と空間的に位置合わせするために使用される、
    請求項１～５のうちのいずれか１項に記載の方法。
15. プロセッサと、
    前記プロセッサに結合され、前記プロセッサによって実行可能な命令を格納する、メモリと、を含む、
    手術システムであって、
    前記プロセッサは、
    前記手術システムの画像キャプチャユニットによって取り込まれる可視画像を受信し、
    前記手術システムの前記画像キャプチャユニットによって同じ波長帯で取り込まれる複数のハイパースペクトル画像を受信し、
    前記複数のハイパースペクトル画像から複合ハイパースペクトル画像を生成し、
    前記複合ハイパースペクトル画像を前記可視画像と空間的に位置合わせする、
    手術システム。
    

Images