JP7049302B2 - 手術システムの作動方法 - Google Patents

Description

本発明の態様は、内視鏡的画像化に関し、より具体的には、外科医に改良型リアルタイムビデオディスプレイを提供するための可視画像と代替画像のブレンドに関する。

［関連出願］
本出願は、２０１０年７月２日に出願された米国仮出願第６１／３６１，２６０号（発明の名称「METHOD AND SYSTEM FOR FLUORESCENT IMAGING WITH BACKGROUND SURGICAL IMAGE COMPOSED OF SELECTIVE ILLUMINATION SPECTRA」、発明者Ian McDowall及びChristopher J. Hasser）による優先権と利益を主張するものである。
［背景技術］
ダ・ヴィンチ（登録商標）外科手術システムは、カリフォルニア州サニーベール市のインテュイティブ・サージカル社により商品化され、身体への外傷が少なく、回復が早く、入院期間が短くなるなどの多くの利益を患者に提供する最低侵襲遠隔手術システムである。ダ・ヴィンチ（登録商標）外科手術システムの１つの主要コンポーネントは、２チャンネル（すなわち、左右）ビデオキャプチャと、開始画像の表示を提供し、外科医に立体視を提供できることである。

かかる電子的立体視画像化システムは、精度が高い作業をできるだけでなく、外科医に高精細度ビデオ画像を出力し、外科医が特定の組織タイプや特徴を識別できる「拡大」視を提供するズームなどの機能を備える。しかし、典型的な外科手術の分野では、ある組織タイプは識別が難しかったり、関心組織が他の組織により少なくとも部分的に見えづらくなったりすることがある。

ピクチャ・イン・ピクチャ（ＰＩＰ）ディスプレイのピクチャを用いて、外科手術サイトの付加的画像情報を外科医に同時に表示することもできる。この付加的画像情報は、外科医にとって、手術結果を改善するのに有用である。しかし、ＰＩＰディスプレイ中の小さいピクチャは、小さすぎて、詳細な情報を所望のレベルで表示できないことがある。さらに、画像フレームが離れているので、外科医は２つの離れた画像又は画像化モダリティを１つの精神的に結合するが、これは疲れるものである。

一実施形態では、最低侵襲外科手術システムにおいて、照明装置により、（ｉ）白色光と呼ばれることもある可視白色光を構成する可視カラー成分のすべてより少ない成分と、（ｉｉ）蛍光励起照明成分とにより手術部位を同時に照明する。最低侵襲遠隔外科手術システムの画像キャプチャシステムは、手術部位を照明する可視カラー成分の各々の画像と、蛍光励起照明成分により励起された蛍光画像とを取得する。最低侵襲遠隔外科手術システムは、照明装置からの可視カラー照明成分の各々の取得画像を用いて、手術部位の背景白黒画像を生成する。この背景白黒画像は限定帯域幅画像と呼ばれる。

取得された蛍光画像は背景白黒画像にスーパーインポーズされ、緑色などの選択された色でハイライトされる。ハイライトされた蛍光画像がスーパーインポーズされた背景白黒画像は、ここでは拡大表示と呼ばれ、システムのユーザに対して表示される。ハイライトされた蛍光画像は臨床的関心組織を識別する。

ハイライトされた蛍光画像をスーパーインポーズした限定帯域幅画像は、最低侵襲遠隔外科手術システムを用いて外科手術をしている外科医にリアルタイムで提供される。この新規な方法は、一フレームで立体視画像をキャプチャし、他の一フレームで蛍光画像をキャプチャし、異なる時点で撮った２つのフレームを用いて１つのフレームを作り、外科医に表示することに必ず伴う時間的遅延を生じない。また、ここに説明する新規な方法は、レイテンシ又は異なる時点で取得された２つのフレームを組み合わせるという時間的欠点を有さない。

拡大表示の処理によってはレイテンシが生じず、フレームを格納して、後のフレームとの処理をする必要はない。よって、システムによるメモリと処理に対する要求は、時間スライシングを利用して蛍光画像を立体視可視画像にスーパーインポーズするシステムに関しては、小さくなる。

また、画像のハイライト部分は常に背景画像と同期している。対照的に、蛍光画像を含むフレームが格納され、時間的に後のフレームとレジストレーションされる場合、ハイライトされた組織の位置はフレーム間で変わっているかもしれないので、ハイラトされる画像は表示される時に実際の位置からずらされる。よって、この新規な方法は、時間的な取得のミスマッチが起きる方法ではモーションアーティファクトが表示されてしまい外科医をわずらわす血管系などの動く組織を表示において優れている。

一例では、複数の可視カラー照明成分が組み合わされ白色光となる。最低侵襲遠隔外科手術システムの照明装置は、少なくおｔも２つの照明成分を同時に供給する。照明成分の１つが蛍光励起照明成分であるとき、照明装置により供給される他の照明成分は、複数の可視カラー照明成分のすべてではない一部の（less than all）可視カラー照明成分を含む。
最低侵襲遠隔外科手術システムのカメラは、第１の取得成分画像と、前記第１の取得成分画像とは異なる第２の取得成分画像とを実質的に同時にキャプチャする。コントローラはカメラに接続され、取得した成分画像を受け取る。ここで、実質的に同時とは、カメラの要素がカメラに発行されたキャプチャトリガー信号に応答する時間的違いを考慮して、可能な限り同時であることを意味する。

一態様では、コントローラは、限定帯域幅画像の第１、第２、及び第３の可視カラー成分を生成する。これらの可視カラー成分の各々は、第１の取得成分画像に含まれる、又はそれから得られる。コントローラは、限定帯域幅画像の第２の可視カラー成分に、第２の取得成分画像を加え、第２の可視カラー成分が第１の取得成分画像と第２の取得成分画像の両方を含むようにする。限定帯域幅画像は、複数の可視カラー照明成分の少なくとも１つの可視カラー照明成分から得られる取得された可視カラー成分画像を含まない。

コントローラは、限定帯域幅画像を含む画像を生成し、その画像はコントローラに接続されたディスプレイに送られる。この態様では、ディスプレイは、コントローラから、第１、第２、及び第３の可視カラー成分を受け取る。ディスプレイは、限定帯域幅画像を含む画像を表示する。第２の取得成分画像を含む画像の一部は、第２の取得成分画像を含まない画像の部分に対してハイライトされる。

一態様では、他の照明成分は第１の可視カラー照明成分を含む。第１の取得成分画像は取得第１可視カラー成分画像であり、第２の取得成分画像は蛍光励起照明成分により励起された蛍光画像である。

他の態様では、他の照明成分は、第１の可視カラー照明成分と第２の可視カラー照明成分とを含む。この態様では、カメラは第３の取得成分画像もキャプチャする。第１の取得成分画像は取得された第１の可視カラー成分画像である。第２の取得成分画像は取得された蛍光画像である。第３の取得成分画像は取得された第２の可視カラー成分画像である。コントローラは、取得された第１と第２の可視カラー成分画像から限定帯域幅画像の第１、第２及び第３のカラー成分を生成する。一例では、第１可視カラー成分は青色カラー成分であり、第２可視カラー成分は緑色カラー成分である。

さらに他の態様では、他の照明成分は第１の可視照明成分と第２の蛍光励起照明成分である。再び、この態様では、カメラは第３の取得成分画像をキャプチャする。第１の取得成分画像は取得された第１の可視カラー成分画像である。第２の取得成分画像は取得された第１の蛍光画像である。第３の取得成分画像は取得された第２の蛍光画像である。コントローラは、第３の取得画像を、限定帯域幅画像の第３の可視カラー成分に加える。

一態様では、照明装置は、第１の可視カラー照明成分ソースと、第２の可視カラー照明成分は前記第１の可視カラー照明成分とは異なる第２の可視カラー照明成分ソースと、第３の可視カラー照明成分は前記第２の可視カラー照明成分とは異なり、前記第１の可視カラー照明成分とも異なる、第３の可視カラー照明成分ソースと、を含む。照明装置は、蛍光励起照明ソースも含む。

最低侵襲遠隔外科手術システムは、前記第１、第２及び第３の可視カラー成分照明ソースに、及び前記蛍光励起照明ソースに接続されたパワーレベル及び電源コントローラも含む。モード変更部がパワーレベル及び電源コントローラに結合している。モード変更部は第１の状態と第２の状態を有する。

モード変換部が第１の状態のとき、パワーレベル及び電源コントローラは、（ａ）前記第１、第２及び第３の可視カラー照明成分ソースに電力を供給し、前記蛍光励起ソースには供給せず、（ｂ）前記第１、第２及び第３の可視カラー照明成分ソースは第１の照明レベルを有する。前記モード変換部が前記第２の状態のとき、前記パワーレベル及び電源コントローラは、（ａ）前記第１の可視カラー照明成分ソースに電力を供給し、前記第２の可視カラー照明成分ソースの少なくとも一部に電力を供給し、前記蛍光励起ソースに電力を供給し、前記第３の可視カラー照明成分ソースには電力を供給せず、（ｂ）前記第１の可視カラー照明成分ソースと前記第２の可視カラー照明成分ソースの照明レベルを低減する。

最低侵襲外科手術システムにおける拡大画像表示を生成する方法において、コントローラは、第１の取得成分画像を含む限定帯域幅画像の第１の可視カラー成分を生成する。コントローラは、第１の取得成分画像を含む限定帯域幅画像の第２の可視カラー成分も生成する。コントローラは、第２の取得成分画像を第２の可視カラー成分に加える。第２の取得成分は、第１の蛍光励起照明ソースからの照明により励起された蛍光を表す。前記コントローラは前記第１の取得成分画像を含む前記限定帯域幅画像の第３の可視カラー成分を生成する。限定帯域幅画像は、白色光の複数の可視カラー照明成分の１つの可視カラー照明成分から得られる取得された可視カラー成分画像を含まない。

この方法は、限定帯域幅画像を含む画像をディスプレイ画面に表示する。第２の取得成分画像を含む画像の一部は、第２の取得成分画像を含まない画像の部分に対してハイライトされる。

最低侵襲遠隔外科手術システムにおける拡大画像表示を生成する方法の他の一態様において、拡大画像補正モジュールは、プロセッサ上で実行される。実行により、複数の可視カラー成分入力の第１の可視カラー成分入力で、取得した第１の可視カラー成分画像を受け取る。また、前記複数の可視カラー成分入力の第２の可視カラー成分入力で、取得した蛍光画像を受け取る。

上記方法では、第１の可視カラー成分出力に、前記取得した第１の可視カラー成分画像を含む第１の信号を生成する。第２の可視カラー成分出力に、前記取得した第１の可視カラー成分画像と前記取得した蛍光画像との組合せを含む第２の信号を生成する。また、第３の可視カラー成分出力に、前記取得した第１の可視カラー成分画像を含む第３の信号を生成する。第１、第２、及び第３の信号の組合せは、限定帯域幅画像と蛍光画像とを含む画像である。

また、この方法では、前記複数の可視カラー成分入力の第３の可視カラー成分入力で、取得した第２の可視カラー成分画像を受け取る。この態様では、前記第１と第３の信号は、前記取得した第１の可視カラー成分画像と前記取得した第２の可視カラー成分画像との組合せを含む。前記第２の信号は、前記取得した蛍光画像と、それにプラスして、前記取得した第１の可視カラー成分画像と前記取得した第２の可視カラー成分画像との組合せとを含む。

別の態様では、前記複数の可視カラー成分入力の第３の可視カラー成分入力で、取得した第２の蛍光画像を受け取る。この態様では、前記第３の信号は、前記取得した第１の可視カラー成分画像と前記取得した第２の蛍光画像との組合せである。

拡大立体視可視化システムを含む最低侵襲遠隔外科手術システムを示す図である。 拡大立体視可視化システムのハードウェア態様とソフトウェア態様（画像処理とユーザインタフェース）を示す図である。 図１の最低侵襲遠隔外科手術システムの拡大立体視可視化システム等を用いて実行するプロセスを示すフロー図である。 図２と図３のシステムにおけるタイミング、同期、及びキャプチャの一態様を示す図である。 図２のシステムを用いて取得した通常色立体視画像を示す図である。 蛍光画像をハイライトしてスーパーインポーズした、図２のシステムを用いて取得した限定帯域幅立体視画像を示す図である。 図２の拡大画像補整プロセスの一態様を示すブロック図である。 図２と図３のシステムにおけるタイミング、同期、及びキャプチャの他の一態様を示す図である。 図２の拡大画像補整プロセスの他の一態様を示すブロック図である。 図中、参照番号の最初の数字は、その参照番号を有する要素が最初に現れた図面を示す。

ここで、電子的立体視画像化には２つの画像化チャンネル（すなわち、左画像のチャンネルと右画像のチャンネル）の使用を含む。

ここで、立体視光経路には組織からの光を伝搬する内視鏡中の２つのチャンネル（左画像のチャンネルと右画像のチャンネル）を含む。各チャンネルで伝搬される光は、組織の異なるビューを表す。光は１つまたは複数の画像を含み得る。一般性や適用可能性を失うことなく、以下により詳細に説明する態様は、フィールドシーケンシャルステレオ取得システムやフィールドシーケンシャルディスプレイシステムの場合にも用いることができる。

ここで、照明経路は、組織に照明を提供する内視鏡中の経路を含む。

ここで、可視電磁放射スペクトルでキャプチャした画像は取得可視画像と呼ぶ。

ここで、白色光は、赤可視色成分、緑可視色成分、及び青可視色成分等の３つ（又はそれ以上）の可視色成分よりなる可視白色光である。このように、白色光は複数の可視色成分を有する。照明装置により可視色成分が供給される場合、その可視色成分は可視色照明成分と呼ぶ。また白色光は、熱したタングステンフィラメントから発するような可視スペクトル中のより連続的なスペクトルも指す。

ここで、白色光の複数の可視色照明成分の一部を供給する照明装置を用いて発生される白黒画像は、限定帯域幅画像と呼ぶ。

ここで、蛍光の結果としてキャプチャした画像は取得蛍光画像と呼ぶ。蛍光画像化モダリティには様々なものがある。蛍光は注入色素、蛍光タンパク質、蛍光標識抗体などの使用により生じる。蛍光はレーザその他のエネルギー源による励起などによっても起きる。蛍光画像により、病理学情報（腫瘍蛍光など）や人体構造情報（腱蛍光標識など）などの、外科手術に欠かせない重要な生体情報が得られる。

本発明の態様により、立体通常可視画像と、蛍光画像をスーパーインポーズされた代替的な立体視限定帯域幅可視画像との両方を組み込むことにより、カリフォルニア州サニーベール市のインテュイティブ・サージカル社により商品化されたダ・ヴィンチ（登録商標）最低侵襲遠隔外科手術システムなどの最低侵襲遠隔外科手術システムの立体視ビデオキャプチャリング・ビューイング機能が増強される。（ダ・ヴィンチはカリフォルニア州サニーベール市のインテュイティブ・サージカル社の登録商標である。）蛍光画像をスーパーインポーズしてハイライトした立体視限定帯域幅可視画像により、外科医のためにハイライトした病理情報及び／又は人体構造情報を有する手術部位の立体視画像が得られる。ハイライトされた蛍光画像は臨床的関心組織を識別する。

ハイライトされた蛍光画像をスーパーインポーズした立体視限定帯域幅画像は、最低侵襲遠隔外科手術システムを用いて外科手術をしている外科医にリアルタイムで提供される。シーケンシャル取得アプローチ（時間スライシングとしても知られている）は、一フレームで立体視画像をキャプチャし、他の一フレームで蛍光画像をキャプチャし、異なる時点で撮った２つのフレームを用いて１つのフレームを作り、外科医に表示することに伴い遅延が生じる。よって、ここに説明するシステムによるメモリと処理に対する要求は、時間スライシングを利用して蛍光画像を立体視カラー可視画像にスーパーインポーズするシステムに関しては、小さくなる。

立体視限定帯域幅可視画像は、白色光を構成する複数の可視カラー照明成分の一部（less than all）を用いて構成されるので、限定帯域幅可視画像中の色情報は失われるが、詳細に見ると損失はほとんど又はまったくない。立体視限定帯域幅可視画像は、人体構造、組織ランドマーク、及び手術器具を識別するのには十分であり、この画像により手術器具の安全な操作が行える。限定帯域幅可視画像を使うと、可視カラー照明画像による干渉による、蛍光画像のコントラストの喪失が無い。

蛍光画像は、限定帯域幅可視画像にオーバーレイされ、看者を傷つけるリスクを低減し、手術を効率化する手術部位に関する情報コンテンツを改善するためカラー強調される。立体視限定帯域幅可視画像とハイライトされた蛍光画像とをこのように組み合わせることにより、外科医がリアルタイムで患部を切除する腫瘍境界を識別したり、腱などのその他の組織を必要以上に切らないように、その組織を識別したりできるという利益が生じる。

立体視限定低域幅画像と蛍光画像との組合せは、外科医に継続的に表示できる。あるいは、（例えば、ダ・ヴィンチ（登録商標）外科手術システムの外科医コンソールで、フットペダルを用いたり、マスターフィンガーグリップをダブルクリックしたりすることにより）２つの画像のオーバーレイをオンしたりオフしたりできる。

図１は、拡大立体視可視化システムを含む、ダ・ヴィンチ（登録商標）外科手術システムなどの最低侵襲遠隔外科手術システム１００を示す図である。この例では、外科医は、外科医用コンソール１１４を用いて、ロボティックマニピュレータアーム１１３に取り付けられた内視鏡１１２を遠隔操作する。ダ・ヴィンチ（登録商標）外科手術システムには他のパーツやケーブルなどがあるが、開示を損ねないように、これらは図１には示していない。最低侵襲外科手術システムに関する情報は、例えば、米国特許出願第１１／７６２，１６５号（２００７年６月１３日出願、発明の名称「Minimally Invasive Surgical System」）と米国特許第６，３３１，１８１号（２００１年１２月１８日出願、発明の名称「Surgical Robotic Tools, Data Architecture, and Use」）にさらに記載されている。両文献はここに参照援用する。

以下により詳しく説明するように、（図示しない）照明システム（照明装置と呼ぶこともある）が内視鏡１１２に結合している。照明システムは、（ａ）白色光照明と（ｂ）白色光の一部（less than all）の可視カラー照明成分及び少なくとも一つの蛍光励起照明成分との一方を選択的に供給する。照明システムからの光は、光ファイバーバンドルにより内視鏡１１２中の少なくとも１つの照明経路に結合されている（図２の光ファイバーバンドル２１６を参照）。光は、内視鏡１１２中の少なくとも１つの照明経路を通り、患者１１１の組織１０３を照明する。

また、内視鏡１１２は、一態様では、組織からの光、例えば反射白色光を通す、又は可視カラー照明成分と蛍光による反射光を通す２つの光チャンネルも含む。反射白色光は通常の可視画像の形成に用いられる。以下により詳しく説明するように、可視カラー照明成分の反射光は、限定帯域幅可視画像の形成に用いられる。

組織１０３から反射された白色光は、照明ソースが白色光照明を供給している場合、画像キャプチャシステム１２０において、通常に取得された可視カラー立体視画像としてキャプチャされる。しかし、外科医は、拡大画像を見たい場合、ビューイングモードを拡大ビューイングモードに変更する。

拡大ビューイングモードにおいて、照明ソースが白色光の可視カラー照明の一部を供給するように、白色光の複数の可視カラー照明成分のうちの少なくとも１つがオフにされる。例えば、白色光の３つの可視カラー照明成分を用いる場合、照明ソースにより、多くても２つの可視カラー照明成分が供給される。このように、拡大ビューイングモードのこの態様では、組織１０３は、１つ又は２つの可視カラー照明成分で照明され、例えば、白色光の複数の可視カラー照明成分の一部と蛍光励起照明成分とで、照明される。

拡大ビューイングモードでは、取得された左右の可視カラー成分画像は、照明装置により供給される各可視カラー成分に対して要素１２１によりキャプチャされ、蛍光は左右の蛍光画像として要素１２２によりキャプチャされる。画像キャプチャシステム１２０は、蛍光をブロックするフィルタが無いことを除き、従来の画像キャプチャシステムであり、フィルタは蛍光励起ソースからの直接光又は反射光のキャプチャをブロックするのに用いられる。

ディスプレイ画像コントローラ１３０は、画像キャプチャシステム１２０からの取得情報を受け取る。取得情報が通常の可視カラー立体視画像である場合、ディスプレイ画像コントローラ１３０は、取得画像のカラー補正を含め通常取得可視カラー立体視画像を処理し、画像を表示する外科医のコンソール１１４のビュアーにカラー補正済み取得可視カラー立体視画像を送る。

同様に、拡大ビューイングモードでは、ディスプレイ画像コントローラ１３０は画像キャプチャシステム１２０から取得情報を、すなわち照明ソースにより供給されて各可視カラー成分の取得可視ステレオカラー成分画像と取得左右蛍光画像とを受け取る。拡大ビューイングモードでは、ディスプレイ画像コントローラ１３０は、通常カラー補正プロセスの替わりに拡大画像補整プロセスを用いる。

拡大画像補整プロセスは、取得したステレオカラー成分画像を用いて限定帯域幅画像を生成する。例えば、照明ソースが２つの可視カラー照明成分すなわち第１の可視カラー照明成分と第２の可視カラー照明成分とを供給する場合、取得される可視カラー成分画像は、取得された第１の可視カラー成分画像と取得された第２の可視カラー成分画像の組合せである。

ディスプレイ画像コントローラ１３０における拡大画像補整プロセスは、取得された第１と第２の可視カラー成分画像を組合せ、その組合せを外科医用コンソール１１４のディスプレイの各カラー成分入力に提供する。ディスプレイは限定帯域幅画像を生成する。画像は、第３の可視カラー照明成分に対する取得された可視カラー成分画像を含まないので、画像は限定帯域幅画像である。

また、拡大画像補整プロセスは、取得された蛍光画像を、ディスプレイのカラー成分入力の１つに加え、カラー成分入力の１つが蛍光画像と取得された第１と第２の可視カラー成分画像の組合せとを受け取るようにする。ディスプレイへの他の２つのカラー成分入力は、取得された第１と第２の可視カラー成分画像の組合せのみを受け取る。蛍光画像が緑成分に加えられると、この例では、外科医は、手術部位の立体的白黒状画像とともに、緑色でハイライトされた蛍光を発生する組織又は人体構造的特徴を見る。

ここで、図２乃至図４を参照して、図２は図１の最低侵襲外科手術システムの一例の態様を示す。図３は、図２のシステムの動作のプロセスフロー図であり、図４は、図２のシステムにおける組織の照明と画像のキャプチャを示すタイミング図である。

図２の実施形態では、最低侵襲遠隔外科手術システム２００は組合せ光源２１０である照明装置を含む。組合せ光源２１０は可視カラー成分ソース２１１と蛍光励起ソース２１２とを含む。組合せ光源２１０が以下により詳細に説明する機能を有する限り、ソース２１１と２１２の具体的な実装は重要ではない。

組合せ光源２１０は、立体視内視鏡２０１の少なくとも１つの照明経路と共に用いられ、組織照明プロセス３０２（図３）において組織２０３を照明する。この例では、組合せ光源２１０は、２つの動作モードすなわち通常ビューイングモードと拡大ビューイングモードを有する。

通常ビューイングモードでは、可視カラー成分ソース２１１は、白色光で組織２０３を照明する照明を提供する。すなわち、光源２１１のすべての可視カラー照明成分ソースが使われる。蛍光励起ソース２１２は通常ビューイングモードでは使われない。

拡大ビューイングモードでは、可視カラー成分ソース２１１は、白色光中の組織２０３を照明するのに必要な一部の（less than all）可視カラー成分を供給する。例えば、白色光の可視カラー成分の１つ又は複数は照明に含まれない。ある態様では、例えば、拡大ビューイングモードで白色光のすべての可視カラー照明成分であるが可視カラー照明成分の１つ又は複数からの照明が弱いものと、残りの可視カラー成分照明ソースからの拡大ビューイングモード照明とを用いることは可能である。弱い照明とは、可視カラー照明成分ソースにより供給される照明が弱く、共通取得画像として弱い照明の画像と蛍光とが一緒に取得された場合、取得された弱い照明の画像が取得された蛍光画像を損なわない（not degrade）ことを意味する。このように、１つ以上の可視カラー照明成分の弱い照明を供給することは、白色光の一部の可視カラー成分で組織を照明することと実質的に同じである。

一態様では、３つの可視カラー成分が白色光照明を構成する。すなわち、白色光は、第１の可視カラー成分、第２の可視カラー成分、及び第３の可視カラー成分を含む。３つの可視カラー成分のそれぞれは、異なる可視カラー成分であり、例えば赤成分、緑成分、及び青成分である。白色光照明を構成する３つの可視カラー成分の使用は、複数のかかる成分の例示であり、本発明を限定するものではない。

拡大ビューイングモードでは、蛍光励起ソース２１２は、組織２０３からの蛍光を励起する蛍光励起照明成分を供給する。例えば、蛍光励起ソース２１２からの狭い帯域の光を用いて、組織ごとの蛍光を励起し、組織２０３内の特定組織の蛍光画像をキャプチャする。

拡大ビューイングモードでは、可視カラー成分ソース２１１により供給される可視カラー照明成分の数は、キャプチャする蛍光画像の数に依存する。１つの蛍光画像をキャプチャする場合、この例では、可視カラー成分ソース２１１により１つ又は２つの可視カラー照明成分が供給される。２つの蛍光画像をキャプチャする場合、可視カラー成分ソース２１１により１つの可視カラー照明成分が供給される。

一態様では、可視カラー成分ソース２１１は、白色光の複数の可視カラー照明成分中の各可視カラー照明成分に対して１つのソースを含む。赤・緑・青を実装する場合、一実施例では、ソースは発光ダイオード（ＬＥＤ）であり、赤ＬＥＤ、２つの緑ＬＥＤ、及び青ＬＥＤである。表１はこの実施例で用いられるＬＥＤの各々の出力波長の範囲を示す。

可視カラー成分ソース２１１におけるＬＥＤの使用は、単なる例示であり、本発明を限定するものではない。可視カラー成分ソース２１１は、例えば、ＬＥＤではなく複数のレーザ源で実施することもできる。あるいは、可視カラー成分ソース２１１は、放物面背面反射鏡を有し、バンドパスフィルタコーティングしたキセノンランプを用いて、可視画像用の広帯域白色照明光を発生してもよい。キセノンランプの使用は単なる例示であって、本発明を限定するものではない。例えば、高圧水銀放電ランプ、その他の放電ランプ、その他の広帯域光源をもちいてもよい。拡大ビューイングモードでのかかるソースからの１つ以上のカラー照明成分を無くすため、バンドパスフィルタやプリズムなどを組合せ光源２１０に組み込んでもよい。

また、拡大ビューイングモードでは、蛍光励起波長が可視スペクトルで生じる場合、可視カラー成分ソース２１１（図３Ｂ）は、可視カラー照明成分のソースと蛍光励起照明成分のソースとの両方として用いることができる。蛍光励起波長が可視スペクトルの外側（例えば、近赤外（ＮＩＲ））にあれば、蛍光励起ソース２１２としてレーザモジュール（または発光ダイオードやフィルタ白色光などの他のエネルギー源）を用いる。

このように、一態様では、蛍光は蛍光励起ソース２１２のレーザモジュールからの光によりトリガーされる。一例として、５２５ｎｍレーザを用いて、Ｍｅｄａｒｅｘ社から入手した抗体物質を励起した。

組合せ光源２１０に用いる具体的な励起ソースは、用いる蛍光物質に依存する。生体で用いられるＦＤＡが承認した様々な蛍光色素の励起及び放射の最大値を表２に示す。

表３は、生物系で用いられる一般的なタンパク蛍光色素分子の例である。

**複合体の近似的励起及び蛍光放射最大値
当業者には言うまでもなく、蛍光色素分子はエージェントに結合して、それが看者の特定の組織に結合する。具体的な蛍光色素分子が選択されると、組合せ光源２１０は、その蛍光色素分子の励起最大化波長の光を供給する蛍光励起ソース２１２を含む。このように、関心蛍光色素分子と用いられる蛍光色素分子の数が与えられると、適当な光源を組合せ光源２１０に含めることができる。

表２と表３の上記の例は単なる例示であって、この態様を説明した具体的な実施例に限定するものではない。この開示を考慮して、組織の別の画像化特性を選択し、利用する蛍光に基づき適当な光源を選択できる。

通常ビューイングモード又は拡大ビューイングモードにおいて、光源からの光は光ファイバーバンドル２１６に向けられる。光ファイバーバンドル２１６は、立体視内視鏡２０１の照明経路に光を供給し、照明経路はその光を組織２０３に導く。

立体視ディスプレイ２４１のビデオ出力は、例えば、フットスイッチ、手術器具を制御するマスターグリップのダブルクリック、音声制御、及びその他のスイッチング方法などを用いて、通常ビューイングモードと拡大ビューイングモードの間でトグルできる。２つのビューイングモード感のスイッチをするトグルは、図２にディスプレイモードセレクト２５０として表されている。

ディスプレイモードセレクト２５０からのユーザ入力に応じて、信号はユーザインタフェース２６０のビューイングモードチェックプロセス３０１（図３）に供給され、次に通常ビューイングモードが選択されると、組織照明プロセス３０２に供給される。一態様では、ユーザインタフェース２６０は、コンピュータコードにより生成される。このコンピュータコードはメモリ１３２に格納され、プロセッサ１３１で実行される（図１）。

一態様では、通常ビューイングモードがデフォルトモードである。この態様では、外科医が通常ビューイングモードから拡大ビューイングモードに、又は拡大ビューイングモードから通常ビューイングモードにビューイングモードを変更しようとするまで、ディスプレイモードセレクト２５０は使用されない。

通常ビューイングモードでは、組織照明プロセス３０２は、通常ビューイングモード動作信号を、組合せ光源２１０のパワー及びレベルコントローラ２１５に送る。パワー及びレベルコントローラ２１５は便宜上組合せ光源２１０に示したが、これはパワー及びレベルコントローラ２１５の一をこの具体的な位置に限定するものではない。

パワー及びレベルコントローラ２１５は、通常ビューイングモード動作信号に応じて、蛍光励起ソース２１２がオンであればそれをオフにし、白色光を組織２０３に供給するよう、可視カラー成分ソース２１１を起動する。例えば、可視カラー成分ソース２１１は３つの可視カラー照明成分ソースを含み、各ソースにパワーが供給される。当業者には言うまでもなく、コントローラ２１５は、光源２１０中の様々なソースへの電源をオン・オフするのではなく、電源は常にオンにしておいて、そのソースからの出力を光ファイバーバンドル２１６に向けたりそらしたりして、同じ結果を得ることができる。

このように、通常ビューイングモードでは、組織照明プロセス３０２により組織２０３が白色光で照明される。図４に示した照明のグラフでは、水平軸は時間であり、垂直軸はソースの出力レベルを表す。３つの可視カラー照明成分のそれぞれの通常ビューイングモード動作中のソース出力を１００％とする。そのため、図４では、時刻ｔ１の前では、３つの可視カラー照明成分のそれぞれからの出力レベルは１００％であり、蛍光励起照明成分の出力レベルはゼロである。

組織２０３（図２）からの可視光は、内視鏡２０１の立体視光経路により画像キャプチャシステム２２０に進む。画像キャプチャシステム２２０は、この態様では、左画像電荷結合デバイス（ＣＣＤ）２２１Ａと右画像ＣＣＤ２２２Ａとを含む従来の立体視カメラを含む。

このように、画像キャプチャプロセス３０３（図３）において、通常ビューイングモードでは、左画像ＣＣＤ２２１Ａは可視左画像４２１Ａ（図４）をキャプチャし、右画像ＣＣＤ２２２Ａは可視右画像４２２Ａをキャプチャする。左画像ＣＣＤ２２１Ａは、可視左画像４２１Ａの赤、緑、及び青の画像をキャプチャする。すなわち、取得される左画像はカラー画像である。同様に、右画像ＣＣＤ２２２Ａは、可視右画像４２２Ａの赤、緑、及び青の画像をキャプチャする。

左画像ＣＣＤ２２１Ａと右画像ＣＣＤ２２２Ａは、例えば、それぞれが異なる可視カラー成分をキャプチャする複数のＣＣＤであってもよいし、１つのＣＣＤであってその異なる領域が特定の可視カラー成分をキャプチャするものであってもよい。３チップＣＣＤセンサは単なる例である。カラーフィルタアレイを有する１つのＣＭＯＳ画像センサや、３つのＣＭＯＳカラー画像センサのアセンブリを使うこともできる。

通常ビューイングモードにおいて、取得された通常可視左画像４２１Ａと取得された通常可視右画像４２２Ａ（図４）は、ディスプレイ画像コントローラ２３０（図２）に供給される。ディスプレイ画像コントローラ２３０は、画像処理プロセス３０４（図３）を実行する。画像処理プロセス３０４において、カラー画像補正プロセス２３１では、取得した通常可視左画像４２１Ａと取得した通常可視右画像４２２Ａとの両方を処理する。カラー補正された取得された通常可視左画像とカラー補正された取得された通常可視右画像は立体視ディスプレイ２４１に送られ、組織の立体視ビデオ表示プロセス３０５において立体視カラー画像が表示される。

通常ビューイングモードにおける処理は、従来の最低侵襲外科手術システムにおける処理と同じであり、当業者には知られている。また、外科医が組織２０３のリアルタイム画像を見られるように、プロセス３０１乃至３０５は各フレームに対して行われる。

通常ビューイングモードにおいて、外科医には組織２０３Ａの通常３次元カラービュー５００Ａ（図５Ａ）が提供される。しかし、外科医が、組織２０３Ａの３次元ビューにおいてハイライトされた組織２０３Ａ中の関心領域を見ることを欲する場合がある。例えば、外科医は、組織２０３Ａの病変部分及び／又は特定組織（例えば、腱や器官など）を見ることを欲する場合がある。そのため、時刻ｔ１（図４）において、外科医はディスプレイモードセレクト２５０を用いて、ビューイングモードを拡大ビューイングモードに変更する。

ディスプレイモードセレクト２５０からのユーザ入力に応じて、拡大表示選択信号がユーザインタフェース２６０のビューイングモードチェックプロセス３０１に送られる。拡大表示選択信号に応じて、チェックプロセス３０１は、拡大画像化制御信号を、組織照明プロセス３０２と画像処理プロセス３０４に送る。

拡大表示制御信号に応じて、組織照明プロセス３０２は、拡大表示信号を、組合せ光源２１０のパワー及びレベルコントローラ２１５に送る。拡大ディスプレイ信号に応じて、パワー及びレベルコントローラ２１５は、蛍光励起ソース２１２をオンにし、この例では、可視カラー成分ソース２１１の第３の可視カラー照明成分をオフにして、第１と第２の可視カラー照明成分と蛍光励起照明成分とが光ファイバーバンドル２１６に供給されるようにする。

これにより、組織２０３は、第１と第２の可視カラー照明成分で照明されるが、第３の可視カラー照明成分では照明されない。また、組織２０３は蛍光励起照明成分２１２により照明される。

また、一実施形態では、パワー及びレベルコントローラ２１５は、第１と第２の可視カラー照明成分の出力レベルを低減する。例えば、出力レベルを１／１０にする。このように、図４に示したように、時刻ｔ１の後、第１と第２の可視カラー照明成分の出力レベルは、時刻ｔ１前の出力レベルに対して低減され、第３の可視カラー成分照明出力レベルはゼロである。また、蛍光励起照明成分がオンにされる。

この例では、蛍光励起照明成分により励起された蛍光が、第３の可視カラー成分用のＣＣＤ又はその一部によりキャプチャされる。例えば、蛍光が近赤外である場合、第３の可視カラー成分は赤色カラー成分であり、第１と第２の可視カラー成分は青色と緑色のカラー成分である。

あるいは、蛍光が緑色の可視カラー成分の範囲にある場合、第３の可視カラー照明成分は緑色可視カラー成分であり、ソース２１１でオフにされ、第１と第２の可視カラー成分は赤色及び青色の成分である。あるいは、蛍光が紫色の範囲にある場合、第３の可視カラー照明成分は青色可視カラー成分であり、ソース２１１でオフにされ、第１と第２の可視カラー成分は赤色及び緑色の成分である。

ここで、「第１の」、「第２の」、及び「第３の」とは、可視カラー成分を区別するために用いている。よって、「第１の」、「第２の」、及び「第３の」は、可視波長スペクトルにおける可視カラー成分の何らかの順序を示唆するものではない。

一態様では、オフにされた可視カラー照明成分の波長の又はその近くの、組織２０３への入射光が無いように、オフにした可視カラー照明成分の波長に近い又はそれに重なる隣接カラー可視カラー照明成分の波長は、何らかの方法でブロックされる。これにより、蛍光画像をキャプチャするＣＣＤによりキャプチャされた可視光により、取得された蛍光画像が劣化しないようになる。例えば、可視カラー成分ソース２１１が表１に示した４つのソースを有し、第３の可視カラー照明成分が赤色可視カラー成分である場合、拡大ビューイングモードでは、赤色ソースの波長に隣接する波長を有する緑色ソースもオフにされる。

組織２０３（図２）からの光は、内視鏡２０１の立体視光経路により画像キャプチャシステム２２０に送られる。一態様では、フィルタ２２１Ｂ、２２２Ｂを用いて、画像をキャプチャする前に、蛍光励起ソース２１２からの反射又は直接光をフィルタする。

画像キャプチャプロセス３０３（図３）において、拡大ビューイングモードでは、左画像ＣＣＤ２２１Ａが、取得される左の第１と第２の可視カラー成分画像と、取得される左の蛍光画像４２１Ｂ（図４）とをキャプチャし、右画像ＣＣＤ２２２Ａが、取得される右の第１と第２の可視カラー成分画像と、取得される右の蛍光画像４２２Ｂとをキャプチャする。例えば、第３の可視カラー成分が赤色可視カラー成分である場合、左画像ＣＣＤ２２１Ａ中の青色及び緑色のＣＣＤが、それぞれ左画像の青色及び緑色の左可視カラー成分画像をキャプチャする。左画像ＣＣＤ２２１Ａ中の赤色ＣＣＤは、左蛍光画像をキャプチャする。同様に、右画像ＣＣＤ２２２Ａ中の青色及び緑色ＣＣＤは、それぞれ右画像の青色及び緑色可視カラー成分画像をキャプチャする。右画像ＣＣＤ２２２Ａ中の赤色ＣＣＤは、右蛍光画像をキャプチャする。

この例では、第３の可視カラー成分照明ソースは無く、そのため組織２０３から反射される第３の可視カラー成分光はない。このため、通常は画像の第３の可視カラー成分光をキャプチャするＣＣＤ又はその一部は、蛍光画像のキャプチャに利用できる。よって、カメラ、内視鏡中の光経路、又は追加的内視鏡が無くても、可視カラー成分画像と蛍光画像とを両方とも取得できる。ここで、画像中の可視カラー成分画像が可視カラー成分照明ソースと関連すると言うとき、それは可視カラー成分照明ソースが画像中のその可視カラー成分画像を生じる光を供給することを意味する。

拡大ビューイングモードでは、取得される左の第１及び第２可視カラー成分画像と、取得される左の蛍光画像は、取得される右の第１及び第２可視カラー成分画像と、取得される右の蛍光画像とともに、画像処理プロセス３０４を実行するディスプレイ画像コントローラ２３０に供給される。上記の通り、画像処理プロセス３０４は拡大ディスプレイ信号を受け取っていることを思い出して欲しい。よって、画像処理プロセス３０４は、カラー画像補正プロセス２３１から拡大画像補正プロセス２３２に変わる。

拡大画像補正プロセス２３２は、左右画像の両方に同じプロセスを実行するので、本説明では左右の区別は考慮しない。図６は、この例における、拡大画像補正プロセス２３２Ａへの入力情報と拡大画像補正プロセス２３２Ａからの出力情報とを示すブロック図である。

拡大画像補正プロセス２３２Ａは、第１のカラー成分入力で、取得された第１の可視カラー成分画像ＡＶＣ１を受け取り；第２のカラー成分入力で、取得された第２の可視カラー成分画像ＡＶＣ２を受け取り；第３のカラー成分入力で、取得された蛍光画像ＡＦを受け取る。拡大画像補正プロセス２３２Ａは、取得された第１の可視カラー成分画像ＡＶＣ１と取得された第２の可視カラー成分画像ＡＶＣ２とを結合して、例えば、限定帯域幅可視画像の生成用に、２つの取得された成分画像の平均を構成する。限定帯域幅画像の各カラー成分は、２つの取得された可視カラー成分画像の平均である。

拡大画像補正プロセス２３２は、この例では、取得された蛍光画像ＡＦを、（取得された第１の可視カラー成分画像ＡＶＣ１と取得された第２の可視カラー成分画像ＡＶＣ２の結合である）帯域幅限定画像の第２の可視カラー成分に加える。加えた結果は、第２の可視カラー成分出力に供給される。この例では、第２の可視カラー成分出力は、実験的研究により外科医により好まれることが示された可視カラー成分、例えば緑色のカラー成分の出力である。

この例では、取得された第１の可視カラー成分画像ＡＶＣ１と取得された第２の可視カラー成分画像ＡＶＣ２との結合は、第１と第３の可視カラー成分出力のそれぞれに送られる。取得された蛍光画像ＡＦと、取得された第１の可視カラー成分画像ＡＶＣ１と取得された第２の可視カラー成分画像ＡＶＣ２との結合とは、第２の可視カラー成分出力に送られる。当業者には言うまでもないが、拡大画像補正プロセス２３２に関して説明した動作は、フレームのサブユニットに対して、例えばピクセルごとに行われ、「加える」というのはシンボリックであり、例えばクリアな画像を得るためにガンマ補正を元に戻したり繰り返したりする必要があるかも知れない。

拡大画像補正プロセス２３２からの出力は、組織の立体視ビデオ表示を生成プロセス３０５（図３）の立体視ディスプレイ２４１（図２）に表示される。拡大ビューイングモードでは、外科医が組織２０３のリアルタイムの拡大画像を見られるように、プロセス３０１乃至３０５は繰り返し実行される。

拡大ビューイングモードの間、外科医は関心領域５０３（図５Ｂ）がある色でハイライトされた組織２０３の３次元限定帯域幅画像を提供される。２つの可視カラー成分照明ソースが使われるこの例では、組織２０３の限定帯域幅画像は単色の限定帯域幅画像である。

図５Ａの画像２０３Ａはフルカラーであり、画像２０３Ｂは限定帯域幅モノクロ画像であるが、２つの画像の詳細度と情報のレベルは同等であり、画像２０３Ｂが追加的にハイライトされた情報５０３を含む。画像２０３Ａと２０３Ｂのビューイングモード間の切り替えは高速であり、リアルタイムで行われる。

拡大表示の処理によってはレイテンシを生じず、フレームを格納して、後のフレームとの処理をする必要はない。処理はリアルタイムで行われるため、３次元画像のハイライトされた部分は常に３次元画像の限定帯域幅モノクロ部分と常に同期している。対照的に、蛍光画像を含むフレームが格納され、時間的に後のフレームとレジストレーションされる場合、ハイライトされた組織の位置は変わっているかもしれないので、ハイラトされる画像は表示される時に実際の位置からずらされる。

外科医は、時刻ｔ２（図４）に、ビューイングモードを通常の立体視カラー画像に戻したい場合、ディスプレイモードセレクト２５０（図２）を用いて、ビューイングモードを通常ビューイングモードに変更する。変更に応じて、蛍光励起ソース２１２はオフされ；第３の開始カラー照明成分はオンされ；第１と第２の可視カラー照明成分はフル出力レベルにされる。表４を参照。この処理は通常ビューイングモードについて上で説明したのと同じであるので、繰り返さない。

一態様では、画像処理プロセス３０４（図３）は、メモリ１３２に格納された画像補正モジュールを、プロセッサ１３１上で実行することにより行われる。この例では、画像補正モジュール１３５は、カラーモジュール１３６と拡大モジュール１３７とを含む。カラーモジュール１３６がプロセッサ１３１上で実行されると、カラー画像補正プロセス２３１が実行される。拡大モジュール１３７がプロセッサ１３１上で実行されると、拡大画像補正プロセス２３２が実行される。２つのモジュール１３６、１３７を使用するのは例である。当業者には言うまでもなく、２つのモジュールは、例えば１つのモジュールとして実施することもできる。

ここでは、プロセス３０４はプロセッサ上でのモジュールの実行を含むと説明したが、言うまでもなく、プロセス３０４は、プロセス２３１、２３２とともに、実際には、ハードウェア、プロセッサ上で実行されるソフトウェア、及びファームウェアの任意の組合せにより実施してもよい。また、ここに説明する機能は１つのユニットにより実行でき、又は異なるコンポーネント間で分割され、そのコンポーネントの各々がハードウェア、プロセッサ上で実行されるソフトウェア、及びファームウェアの任意の組合せにより実施できる。異なるコンポーネント間に分割された場合、そのコンポーネントはある場所に集中していても、分散処理を目的としてシステム１００中に分散していてもよい。

上記の実施例は単なる例示であり、限定するものではない。拡大ビューイングモードでは、蛍光励起ソースと可視カラー成分照明ソースの様々な組合せを用いることができる。例えば、外科医は、蛍光を発する腫瘍などの病変組織と、蛍光標識を付けた腱などのその他の組織とを両方とも見て、その組織を切らないようにすることを欲する。そのため、蛍光励起ソース２１２（図２）中に２つの異なる蛍光励起ソース（図７参照）を必要とする２つの異なる蛍光色素分子を用いる。

時刻ｔ３における拡大表示制御信号に応じて、組織照明プロセス３０２は、拡大表示信号を、組合せ光源２１０のパワー及びレベルコントローラ２１５に送る。拡大ディスプレイ信号に応じて、パワー及びレベルコントローラ２１５は、蛍光励起ソース２１２の２つの蛍光励起照明成分をオンにし、この例では、可視カラー成分ソース２１１の第２と第３の可視カラー照明成分をオフにして、第１の可視カラー照明成分、第１の蛍光励起照明成分、及び第２の蛍光励起照明成分とが光ファイバーバンドル２１６に供給されるようにする。

組織２０３は、第１の可視カラー照明成分で照明されるが、第２及び第３の可視カラー照明成分では照明されない。また、組織２０３は第１と第２の蛍光励起照明成分により照明される。

また、一実施形態では、パワー及びレベルコントローラ２１５は、第１の可視カラー照明成分の出力レベルを低減する。例えば、出力レベルを１／１０にする。このように、図７に示したように、時刻ｔ３の後、第１の可視カラー照明成分の出力レベルは、時刻ｔ３前の出力レベルに対して低減され、第２と第３の可視カラー成分照明出力レベルはゼロである。また、第１と第２の蛍光励起照明成分がオンにされる。

組織２０３（図２）からの光は、内視鏡２０１の立体視光経路により画像キャプチャシステム２２０に送られる。一態様では、フィルタ２２１Ｂ、２２２Ｂを用いて、蛍光画像をキャプチャする前に、蛍光励起ソース２１２の２つの蛍光励起照明成分からの反射又は直接光をフィルタする。

このように、画像キャプチャプロセス３０３（図３）では、拡大ビューイングモードにおいて、左画像ＣＣＤ２２１Ａが取得される左第１可視カラー成分画像と、取得される肥大第１蛍光画像と、取得される左第２蛍光画像７２１Ｂ（図７）をキャプチャする。右画像ＣＣＤ２２２Ａは、取得される右第１可視カラー成分画像と、取得される右第１蛍光画像と、取得される右第２蛍光画像７２２Ｂ（図７）をキャプチャする。

例えば、第３の可視カラー成分が赤色可視カラー成分であり、第２の可視カラー成分が青色である場合、左画像ＣＣＤ２２１Ａの緑色ＣＣＤは、左画像の緑色左可視カラー成分画像をキャプチャする。左画像ＣＣＤ２２１Ａの赤色ＣＣＤは、左第２蛍光画像をキャプチャし、左画像ＣＣＤ２２１の青色ＣＣＤは左第１蛍光画像をキャプチャする。同様に、右画像ＣＣＤ２２２Ａ中の緑色ＣＣＤは、右画像の緑色可視カラー成分画像をキャプチャする。右画像ＣＣＤ２２２Ａの赤色ＣＣＤは、右第２蛍光画像をキャプチャし、右画像ＣＣＤ２２２Ａの青色ＣＣＤは右第１蛍光画像をキャプチャする。

この例では、第２可視カラー成分照明ソースも第３可視カラー成分照明ソースもない。そのため、第２と第３の可視カラー照明成分に関連する光は、組織２０３からの光に含まれない。このため、通常は画像の第２と第３の可視カラー成分の光をキャプチャするＣＣＤ又はその一部は、蛍光画像のキャプチャに利用できる。

上記の通り、画像処理プロセス３０４は拡大ディスプレイ信号を受け取っていることを思い出して欲しい。よって、画像処理プロセス３０４は、画像７２１Ｂ、７２２Ｂのカラー画像補正プロセス２３１から拡大画像補正プロセス２３２に変わる。

再度、拡大画像補正プロセス２３２は、左右画像の両方に同じプロセスを実行するので、本説明では左右の区別は考慮しない。図８は、拡大画像補正プロセス２３２Ａへの入力情報と拡大画像補正プロセス２３２Ａからの出力情報とを示すブロック図である。

拡大画像補正プロセス２３２Bは、第１のカラー成分入力で、取得された第１の可視カラー成分画像ＡＶＣ１を受け取り；第２のカラー成分入力で、取得された第１の蛍光画像ＡＦ１を受け取り；第３のカラー成分入力で、取得された第２蛍光画像ＡＦ２を受け取る。拡大画像補正プロセス２３２は、再び、限定帯域幅可視画像を生成するために、取得された可視カラー成分画像の平均を求めるが、１つの可視カラー成分画像のみが取得されているので、平均は取得された第１可視カラー成分画像ＡＶＣ１である。限定帯域幅画像の各カラー成分は、この例では、取得された第１の可視カラー成分画像ＡＶＣ１である。

拡大画像補正プロセス２３２Ｂは、この例では、取得された第１蛍光画像ＡＦ１を、取得された第１の可視カラー成分画像ＡＶＣ１である限定帯域幅可視画像の第２のカラー成分に加え、結果を第２の可視カラー成分の出力に送る。また、拡大画像補正プロセス２３２Ｂは、取得された第２蛍光画像ＡＦ２を、取得された第１の可視カラー成分画像ＡＶＣ１である限定帯域幅可視画像の第３のカラー成分に加え、結果を第３の可視カラー成分の出力に送る。この実施形態では、画像ＡＦ１からの画素データと画像ＡＦ２からの画素データの両方を含む画素は、中間カラーとなる。

この例では、取得された第１可視カラー成分画像ＡＶＣ１は、第１の可視カラー成分出力に送られる。取得された第１可視カラー成分画像ＡＶＣ１と取得された第１蛍光画像ＡＦ１は、第２の可視カラー成分出力に送られる。取得された第１可視カラー成分画像ＡＶＣ１と取得された第２蛍光画像ＡＦ２は、第３の可視カラー成分出力に送られる。

拡大画像補正プロセス２３２からの出力は、組織の立体視ビデオ表示を生成プロセス３０５（図３）の立体視ディスプレイ２４１（図２）に表示される。拡大ビューイングモードでは、外科医が組織２０３のリアルタイムの拡大画像を見られるように、プロセス３０１乃至３０５は繰り返し実行される。

このように、拡大ビューイングモードでは、外科医は、第１の関心領域がある色でハイライトされ、第２の関心領域が他の色でハイライトされた、組織２０３の３次元限定帯域幅画像を提供される。

再び、拡大表示の処理によってはレイテンシを生じず、フレームを格納して、後のフレームとの処理をする必要はない。処理はリアルタイムで行われるため、画像のハイライトされた部分は画像の限定帯域幅モノクロ部分と常に同期している。

外科医は、時刻ｔ４（図７）に、ビューイングモードを通常の立体視カラー画像に戻したい場合、ディスプレイモードセレクト２５０（図２）を用いて、ビューイングモードを通常ビューイングモードに変更する。変更に応じて、蛍光励起ソース２１２の２つの蛍光励起照明成分はオフされ；第２と第３の可視カラー照明成分はオンされ；第１の可視カラー照明成分はフル出力レベルにされる。表７を参照。この処理は通常ビューイングモードについて上で説明したのと同じであるので、繰り返さない。

上記の説明で、カメラは内視鏡の近位に取り付けられていた。しかし、これは単なる例示であり、限定するものではない。本プロセスは、カメラが光学系からの光から有用な画像を取得できる限り、光学系とカメラと相対的な位置関係にかかわらず同様に機能する。例えば、ここに説明したプロセスと構成は、チップ・オン・スティック内視鏡でも利用できる。チップ・オン・スティック内視鏡は、短い光学セグメントを有し、カメラは内視鏡の先端に近い光学系のすぐ後に配置されている。

また、立体視内視鏡を一例として用いた。しかし、これは単なる例示であり、限定するものではない。上記の実施例では、立体視内視鏡の替わりにモノスコーピック内視鏡を使うこともできる。モノスコーピック内視鏡では、左右画像の一方のみが取得され、上記の通り処理される。

本発明の態様と実施形態とを例示する上記の説明と添付図面は、限定と解してはならず、特許請求の範囲が保護される発明を画定する。この説明と特許請求の範囲の精神と範囲から逸脱することなく、様々な機械的、構成的、構造的、電気的、動作的変更をできる。ある場合には、本発明を不必要に分かりにくくしないよう、周知の回路、構造、手法は図示せず、または詳細に説明していない。

さらに、この説明の用語は本発明を限定するものではない。例えば、「beneath」、「below」、「lower」、「above」、「upper」、「proximal」、「distal」などの空間的な関係を示す用語を、図に示したように、ある要素または特徴の、他の要素または特徴との関係を記述するのに用いた。これらの空間的関係を示す用語は、図視した位置と方向に加え、使用する又は動作させるデバイスの異なる位置（すなわちロケーション）と方向（すなわち回転による配置）を含む。例えば、図中のデバイスがひっくり返されれば、他の要素または特徴の「below」または「beneath」にあるとして説明した要素は、他の要素または特徴の「above」または「over」になる。このように、例えば「below」をいう用語は、上下の位置と方向を両方とも含むものである。デバイスは他の方向を向いていても（９０°回転してもその他の方向でも）良く、ここで用いる空間的関係を示す言葉は適宜解釈される。同様に、様々な軸に沿った又はその回りの運動の説明は、様々な空間的なデバイスの位置と方向とを含む。

冠詞「a」、「an」、及び「the」は、文脈に反しない限り、複数の場合も含む。「comprises」、「comprising」、「includes」などの用語は、記載した特徴、ステップ、動作、要素、及び／又はコンポーネントがあることを示すが、他の特徴、ステップ、動作、要素、コンポーネント、及び／又はグループの存在又は追加を排除しない。結合していると説明したコンポーネントは、電気的又は機械的に直接結合していてもよいし、１つ以上の中間的コンポーネントを介して間接的に結合していてもよい。

メモリは揮発性メモリ、不揮発性メモリ、またはこれらの任意の組合せを言う。プロセッサは、それにより実行される命令を含むメモリに結合される。これは、コンピュータシステム内で実現でき、あるいはモデムとアナログラインを介して、又はデジタルインタフェースとデジタルキャリアラインを介して、他のコンピュータとの接続を介して実現できる。

ここで、コンピュータプログラム製品は、拡大表示システムについて説明した動作の１つ又は任意の組合せに必要なコンピュータ読み取り可能コードを格納するように構成された非一時的媒体を含み、または拡大表示システムについて説明した動作の１つ又は任意の組合せ用のコンピュータ読み取り可能コードが格納された非一時的媒体を含む。コンピュータプログラム製品の例には、ＣＤ－ＲＯＭディスク、ＤＶＤディスク、フラッシュメモリ、ＲＯＭカード、フロッピー（登録商標）ディスク、磁気テープ、コンピュータハードディスクドライブ、ネットワーク上のサーバ、ネットワークで送信されたコンピュータ読み取り可能コードを表す信号を含む。非一時的有体コンピュータプログラム製品は、拡大表示システムについて説明した動作の１つ又は任意の組合せに必要なコンピュータ読み取り可能命令を格納するように構成された非一時的有体媒体を含み、または拡大表示システムについて説明した動作の１つ又は任意の組合せ用のコンピュータ読み取り可能命令が格納された非一時的有体媒体を含む。非一時的有体コンピュータプログラム製品は、ＣＤ－ＲＯＭディスク、ＤＶＤディスク、フラッシュメモリ、ＲＯＭカード、フロッピー（登録商標）ディスク、磁気テープ、コンピュータハードディスクドライブ、その他の非一時的物理的機能媒体である。

本開示を考慮して、拡大表示システムについて説明した動作の１つ又は任意の組合せで用いられる命令は、ユーザの関心のあるオペレーティングシステムとコンピュータプログラミング言語を用いた幅広いコンピュータシステム構成で実現できる。

すべての実施例と例示は、本発明を限定するものではなく、特許請求の範囲をここに説明した具体的な実施形態及びその等価物に限定するものではない。表題は、形式上のものであり、本主題を限定するために用いるべきではない。ある表題の下の文章は、１つ又は複数の表題の下の文書を相互参照し、又は当てはまるからである。最後に、この開示を考慮して、特に図面に示し文章で説明していなくても、一態様又は実施形態に関して説明した特徴は、本発明の他の開示した態様又は実施形態にも適用できる。
次の付記を記す。
（付記１） 最低侵襲外科手術システムであって、
（ｉ）第１の取得成分画像と、前記第１の取得成分画像とは異なる第２の取得成分画像とをキャプチャするカメラと、
（ｉｉ）前記カメラに接続されたコントローラであって、
前記コントローラは前記第１の取得成分画像を含む限定帯域幅画像の第１の可視カラー成分を生成し、
前記コントローラは、前記第１の取得成分画像を含む前記限定帯域幅画像の第２の可視カラー成分を生成し、前記第２の取得成分画像を前記限定帯域幅画像の前記第２の可視カラー成分に加えて、前記限定帯域幅画像の前記第２の可視カラー成分が前記第１の取得成分画像と前記第２の取得成分画像との両方を含むようにし、
前記コントローラは前記第１の取得成分画像を含む前記限定帯域幅画像の第３の可視カラー成分を生成し、
さらに、前記限定帯域幅画像は白色光の一可視カラー成分から求まる取得可視カラー成分画像を含まない、前記コントローラと、
（ｉｉｉ）前記コントローラに接続され、前記限定帯域幅画像の前記第１、第２及び第３の成分を受け取るディスプレイであって、前記ディスプレイは前記限定帯域幅画像を含む画像を表示し、前記第２の取得成分画像を含む前記画像の一部は前記第２の取得成分画像を含まない前記画像の部分に対してハイライトされる、前記ディスプレイとを有する、システム。
（付記２） 少なくとも２つの照明成分を同時に供給し、前記照明成分の１つが蛍光励起照明成分であるとき、他の照明成分は白色光の可視カラー成分の一部を含む照明装置を更に有する、付記１に記載のシステム。
（付記３） 前記他の照明成分は第１の可視カラー照明成分を含み、
前記第１の取得成分画像は取得第１可視カラー成分画像であり、前記第２の取得成分画像は前記蛍光励起照明成分により励起された蛍光画像である、
付記２に記載のシステム。
（付記４） 前記他の照明成分は、前記第１の可視カラー照明成分と第２の可視カラー照明成分とを含む、付記２に記載のシステム。
（付記５） 前記カメラは第３の取得成分画像をキャプチャし、前記第１の取得成分画像は取得された第１の可視カラー成分画像であり、前記第２の取得成分画像は取得された蛍光画像であり、前記第３の取得成分画像は取得された第２の可視カラー成分画像である、
付記４に記載のシステム。
（付記６） 前記コントローラは、前記取得された第１と第２の可視カラー成分画像から前記限定帯域幅画像の第１、第２及び第３のカラー成分を生成する、
付記５に記載のシステム。
（付記７） 前記第１可視カラー成分は青色カラー成分であり、前記第２可視カラー成分は緑色カラー成分である、付記６に記載のシステム。
（付記８） 前記限定帯域幅画像の第２のカラー成分は緑色カラー成分である、
付記６に記載のシステム。
（付記９） 前記他の照明成分は第１の可視照明成分と第２の蛍光励起照明成分である、
付記２に記載のシステム。
（付記１０） 前記カメラは第３の取得成分画像をキャプチャし、前記第１の取得成分画像は取得された第１の可視カラー成分画像であり、前記第２の取得成分画像は取得された第１の蛍光画像であり、前記第３の取得成分画像は取得された第２の蛍光画像である、
付記９に記載のシステム。
（付記１１） 前記コントローラは、前記第３の取得画像を、前記限定帯域幅画像の前記第３の可視カラー成分に加える、
付記１０に記載のシステム。
（付記１２） 前記照明装置は、
第１の可視カラー照明成分ソースと、
第２の可視カラー照明成分は前記第１の可視カラー照明成分とは異なる第２の可視カラー照明成分ソースと、
第３の可視カラー照明成分は前記第２の可視カラー照明成分とは異なり、前記第１の可視カラー照明成分とも異なる、第３の可視カラー照明成分ソースと、
蛍光励起照明ソースとを有し、
前記システムは、さらに、
前記第１、第２及び第３の可視カラー成分照明ソースに、及び前記蛍光励起照明ソースに接続されたパワーレベル及び電源コントローラと、
前記パワーレベル及び電源コントローラに結合した、第１の状態と第２の状態を有するモード変更部とを有し、
前記モード変換部が前記第１の状態のとき、前記パワーレベル及び電源コントローラは、（ａ）前記第１、第２及び第３の可視カラー照明成分ソースに電力を供給し、前記蛍光励起ソースには供給せず、（ｂ）前記第１、第２及び第３の可視カラー照明成分ソースは第１の照明レベルを有し、
前記モード変換部が前記第２の状態のとき、前記パワーレベル及び電源コントローラは、（ａ）前記第１の可視カラー照明成分ソースに電力を供給し、前記第２の可視カラー照明成分ソースの少なくとも一部に電力を供給し、前記蛍光励起ソースに電力を供給し、前記第３の可視カラー照明成分ソースには電力を供給せず、（ｂ）前記第１の可視カラー照明成分ソースと前記第２の可視カラー照明成分ソースの照明レベルを低減する、付記２に記載のシステム。
（付記１３） 最低侵襲外科手術システムにおける拡大画像表示を生成する方法であって、
コントローラが、第１の取得成分画像を含む限定帯域幅画像の第１の可視カラー成分を生成するステップと、
前記コントローラが、前記第１の所得成分画像を含む前記限定帯域幅画像の第２の可視カラー成分を生成し、第２の取得成分画像を前記第２の可視カラー成分に加えるステップであって、前記第２の取得成分は第１の蛍光励起照明ソースからの照明により励起された蛍光を表すステップと、
前記コントローラが、前記第１の取得成分画像を含む前記限定帯域幅画像の第３の可視カラー成分を生成するステップであって、前記限定帯域幅画像は白色光の可視カラー照明成分の１つにより求まる取得される可視カラー成分画像を含まないステップと、
ディスプレイ画面に、前記限定帯域幅画像を含む画像を表示するステップであって、前記第２の取得成分画像を含む前記画像の一部は、前記第２の取得成分画像を含まない前記画像の部分に対してハイライトされるステップとを有する方法。
（付記１４） 前記第１の取得成分画像は取得された第１の可視カラー成分画像である、
付記１３に記載の方法。
（付記１５） 前記第１の取得成分画像は取得された第１の可視カラー成分画像であり、
前記方法は、
前記コントローラが、第３の取得成分画像を受け取るステップであって、前記第３の取得成分画像は取得された第２の可視カラー成分画像であるステップをさらに有する、
付記１３に記載の方法。
（付記１６） 第１の可視カラー成分を生成するステップは、前記第３の取得成分画像を含めるステップをさらに有し、
第２の可視カラー成分を生成するステップは、前記第３の取得成分画像を含めるステップをさらに有し、
前記第３の可視カラー成分を生成するステップは、前記第３の所得成分画像を含めるステップをさらに有し、前記限定帯域幅画像は限定帯域幅モノクロ画像である、
付記１５に記載の方法。
（付記１７） 前記第１の取得成分画像は取得された第１の可視カラー成分画像であり、
前記方法は、
前記コントローラが、第３の取得成分画像を受け取るステップであって、前記第３の取得成分画像は取得された第２の蛍光画像であるステップをさらに有する、
付記１３に記載の方法。
（付記１８） 前記コントローラは、前記第３の取得画像を、前記限定帯域幅画像の前記第３のカラー成分に加える、
付記１７に記載の方法。
（付記１９） 手術部位を白色光の複数の可視カラー照明成分の一部で照明する、
付記１３に記載の方法。
（付記２０） プロセッサで拡大画像補正モジュールを実行するステップを有する方法であって、前記実行するステップは、
複数の可視カラー成分入力の第１の可視カラー成分入力で、取得した第１の可視カラー成分画像を受け取るステップと、
前記複数の可視カラー成分入力の第２の可視カラー成分入力で、取得した蛍光画像を受け取るステップと、
第１の可視カラー成分出力に、前記取得した第１の可視カラー成分画像を含む第１の信号を生成するステップと、
第２の可視カラー成分出力に、前記取得した第１の可視カラー成分画像と前記取得した蛍光画像との組合せを含む第２の信号を生成するステップと、
第３の可視カラー成分出力に、前記取得した第１の可視カラー成分画像を含む第３の信号を生成するステップであって、前記第１、第２及び第３の信号の組合せは、限定帯域幅画像と前記蛍光画像とを含む画像を含む、ステップとを有する方法。
（付記２１） 前記複数の可視カラー成分入力の第３の可視カラー成分入力で、取得した第２の可視カラー成分画像を受け取るステップをさらに有し、
前記第１の信号は、前記取得した第１の可視カラー成分画像と前記取得した第２の可視カラー成分画像との組合せを含み、
前記第２の信号は、前記取得した蛍光画像と、それにプラスして、前記取得した第１の可視カラー成分画像と前記取得した第２の可視カラー成分画像との組合せとを含み、
前記第３の信号は、前記取得した第１の可視カラー成分画像と前記取得した第２の可視カラー成分画像との組合せを含む、
付記２０に記載の方法。
（付記２２） 前記複数の可視カラー成分入力の第３の可視カラー成分入力で、取得した第２の蛍光画像を受け取るステップをさらに有し、
前記第３の信号は、前記取得した第１の可視カラー成分画像と前記取得した第２の蛍光画像との組合せである、
付記１９に記載の方法。

Claims (11)

1. コントローラを有する手術システムの作動方法であって、前記方法は、
   前記コントローラが、取得される可視カラー成分画像及び取得される蛍光画像を受け取るステップであって、前記取得される可視カラー成分画像及び前記取得される蛍光画像はカメラによって同時にキャプチャされる、ステップと、
   前記コントローラが、第１の成分出力に、前記取得される蛍光画像と前記取得される可視カラー成分画像の組み合わせを表す第１の信号を生成するステップと、
   前記コントローラが、第２の成分出力に、前記取得される可視カラー成分画像を表す第２の信号を生成するステップと、
   を含む、
   方法。
2. 前記手術システムのディスプレイが、前記取得される蛍光画像とモノクロ画像の合成画像を表示するステップをさらに含み、前記取得される蛍光画像は前記モノクロ画像に対してハイライトされ、前記合成画像は、前記第１の信号と前記第２の信号の組み合わせである、
   請求項１に記載の方法。
3. 前記カメラが前記可視カラー成分画像及び前記蛍光画像を取得するサイトを照明するように、前記コントローラが、蛍光励起照明成分及び可視カラー照明成分を同時に出力するステップをさらに含む、
   請求項１に記載の方法。
4. 前記コントローラが、取得される第２の可視カラー成分画像を受け取るステップと；
   前記コントローラが、前記第２の信号を、前記取得される可視カラー成分画像と前記取得される第２の可視カラー成分画像との組み合わせとして生成するステップと、
   前記コントローラが、前記第１の信号を、前記取得される可視カラー成分画像と、前記取得される第２の可視カラー成分画像と、前記取得される蛍光画像との組み合わせとして生成するステップと、をさらに含む、
   請求項１に記載の方法。
5. 前記取得される可視カラー成分画像は青色カラー成分を含み、
   前記取得される第２の可視カラー成分画像は緑色カラー成分を含む、
   請求項４に記載の方法。
6. 前記取得される可視カラー成分画像は緑色カラー成分を含む、
   請求項１に記載の方法。
7. 前記コントローラが、第３の成分出力に、前記取得される可視カラー成分画像及び前記取得される第２の可視カラー成分画像の組み合わせとして第３の信号を生成するステップをさらに含む、
   請求項４に記載の方法。
8. 前記手術システムのディスプレイが、前記取得される蛍光画像と合成されたモノクロ画像を表示するステップをさらに含み、前記取得される蛍光画像は前記モノクロ画像に対してハイライトされ、前記取得される蛍光画像と合成された前記モノクロ画像は、前記第１の信号、前記第２の信号、及び前記第３の信号の組み合わせである、
   請求項７に記載の方法。
9. コントローラ及びディスプレイを有する手術システムの作動方法であって、前記方法は、
   前記コントローラが、前記コントローラの複数の可視カラー成分入力の第１の入力において取得される可視カラー成分画像を、及び、前記複数の可視カラー成分入力の第２の入力において取得される蛍光画像を受け取るステップであって、前記取得される可視カラー成分画像及び前記取得される蛍光画像は同時にキャプチャされる、ステップと、
   前記コントローラが、第１の成分出力に、前記取得される蛍光画像と前記取得される可視カラー成分画像との組み合わせを表す第１の信号を生成するステップと、
   前記コントローラが、第２の成分出力に、前記取得される可視カラー成分画像を表す第２の信号を生成するステップと、
   前記ディスプレイが、前記取得される蛍光画像とモノクロ画像の合成画像を表示するステップであって、前記取得される蛍光画像は前記モノクロ画像に対してハイライトされ、前記合成画像は前記第１の信号と前記第２の信号との組み合わせである、ステップと、
   を含む、
   方法。
10. 前記コントローラが、前記複数の可視カラー成分入力の第３の入力において、取得される第２の可視カラー成分画像を受け取るステップをさらに含み、前記取得される第２の可視カラー成分画像は、前記取得される可視カラー成分画像及び前記取得される蛍光画像と同時にキャプチャされる、
    請求項９に記載の方法。
11. 前記第２の信号は、前記取得される可視カラー成分画像と前記取得される第２の可視カラー成分画像との組み合わせであり、
    前記第１の信号は、前記取得される可視カラー成分画像と、前記取得される第２の可視カラー成分画像と、前記取得される蛍光画像との組み合わせである、
    請求項１０に記載の方法。
    

Images