JP7086121B2 - 波長帯選択による画像化を用いた尿管検出 - Google Patents

Description

本特許出願は、２０１４年１２月１６日に出願された、”URETER DETECTION USING WAVEBAND-SELECTIVE IMAGING”という標題の米国特許仮出願第６２／０９２，６５１号に対する優先権、及びその出願日の利益を主張するものであり、この文献は、その全体が参照により本明細書に組み込まれる。

本発明は、概して、外科的処置に使用される画像化技術に関し、より具体的には、外科的処置中の尿管の検出及び画像化に関する。

尿管は、尿を腎臓から膀胱まで運ぶ細い管である。尿管の壁にある筋肉は、継続的に引き締め、弛緩させ、尿を腎臓から離れさせる方向に下向きに押し出す。約１０秒～１５秒毎に、少量の尿が、尿管から膀胱内に排出される。

尿管への損傷は、骨盤又は結腸直腸領域を伴う手術に関連する有害事象である。手術中の尿管への損傷を防ぐために、外科医が尿管の位置を特定するのを補助するいくつかの異なる技術が、試みられている。例えば、外科医は、泌尿器科医を呼んで、カメラ付きの小さな内視鏡を尿道に通し、ワイヤを２つの尿管のそれぞれに入れることができる。あるいはまた、照明付きのステントを尿道を通して膀胱まで挿入して、尿管にアクセスすることができる。しかしながら、これら両方のアプローチは、良性の外科的処置の大部分において臨床ワークフローに支障をきたし、場合によっては泌尿器科医が利用できないこともある。

尿管の位置を決定する別の技術では、少量の放射性化学色素（TC99-DTPA）が、患者の腕の静脈を介して注射される。放射性化学色素は体を巡って尿中に排出されるため、放射性化学色素は尿管を通過する。尿管は、放射線を感知する手持ち式プローブによって検出される。

尿管の位置を特定する別の技術では、赤外線照明を用いて尿管を画像化するために、近赤外（NIR）フルオロフォア（fluorophore）の静脈（IV）注射又はカテーテルに基づく逆行（retrograde）注射が使用される。組織の周囲に埋め込まれる場合であっても尿管を視覚化することができ、不可視光を用いてリアルタイムで損傷を評価できることが報告されている。Eiichi Tanakaらの、”Real-Time Intraoperative Ureteral
Guidance Using Near-Infrared Fluorescence,” J. Urol. 178(5), pgs.2197-2201（2007）には、インドシアニングリーン（ICG）、及びLI-COR（Lincoln, NE）からのCW800-CA、カルボン酸形態であるIRDye（登録商標）CW800 NIR色素をＮＩＲフルオロフォアとしてとして使用することが記載されている。Aya
Matsui、M.D.らの、”Real-Time Near-Infrared
Fluorescence-Guided Identification of the Ureters using Methylene Blue,” Surgery,
148(1) pgs.78-86(2010)には、ＮＩＲフルオロフォアとしてメチレンブルーを使用することが記載されている。

赤外線サーモグラフィーを使用して尿管を位置特定する別の手法がある。手術野内の洗浄剤として室温の生理食塩水を使用し、手術野全体を一時的に冷却した。手術野が特異的に再加熱されると、血管等の構造物は、急速に再加熱され、赤外線画像の暗い背景に対して白線として現れた。この同じ概念の第２の応用は、上部尿路系を室温の生理食塩水で満たすことを含んでいた。骨盤及び尿管は、赤外線画像では白く現れるより温度の高い背景に対して黒く見える。Jeffrey A. Cadeddu, M.D.らの、"Laparoscopic
Infrared Imaging," Journal of Endourology, Vol.15, No.1, pgs.111-116(2001)を参照されたい。

フルオロフォアの導入、温度差の生成、尿管への物体の導入、又は放射性色素の導入を必要とする、尿管の位置特定に使用される既知の技術とは異なり、尿管による及び尿管の周りの組織による光の選択的な反射を使用して、尿管を安全且つ効率的に画像化する。こうして、カテーテル照明を必要とせずに、又は例えば外因性フルオロフォア又は放射性色素の投与を必要とせずに、内因性コントラストを使用して尿管を視覚化する。

一態様では、複数の手術部位のシーンが取り込まれる。複数の手術部位のシーンのそれぞれは、異なる光スペクトルを有する反射光から取り込まれる。一態様では、複数の手術部位のシーンが、略同時に、すなわち、シーンの取込みに関連するタイミング及び光学許容誤差内で同時に取り込まれる一方、別の態様では、複数の手術部位のシーンは順次に取り込まれる。

取り込まれた複数の手術部位のシーンを解析して、取り込まれた手術部位のシーン内の尿管組織を識別する。取り込まれた手術部位のシーンに基づいて、手術部位のシーンが、表示装置上に表示される。表示された手術部位のシーンは、尿管組織が強調されているので、尿管組織は外科医によって容易に判別される。

一態様では、手術部位は、複数の異なる光スペクトルで照射される。例えば、手術部位は、複数の異なる光スペクトルのうちの少なくとも２つで順次照射される。一態様では、複数の光スペクトルは、４５０ｎｍ～５８０ｎｍの範囲の波長の光スペクトル、６４０ｎｍ～７５０ｎｍの範囲の波長の光スペクトル、及び９００ｎｍ～１０８０ｎｍの範囲の波長の光スペクトルを含む。

一態様では、尿管組織を識別するために取り込まれた複数の手術部位のシーンの解析は、最初に、取り込まれた複数の手術部位のシーンのそれぞれの手術部位のシーン内の位置を尿管信号に変換する。解析は、次に、尿管信号がその位置における尿管組織を示すかどうかを判定する。例えば、尿管信号は閾値と比較される。あるいはまた、尿管信号と非尿管信号との比が閾値と比較される。

さらに別の態様では、手術部位のシーンを取り込む前に、尿管組織を色素で処理する。この色素は、フルオロフォア及び放射性色素とは異なり、例えば、色素はフェナゾピリジンである。

これらの方法を実施するために、手術システムは画像取込システムを含む。画像取込システムは、複数の手術部位のシーンを取り込むように構成される。複数の手術部位のシーンにおける各手術部位のシーンは、複数の波長帯における異なる波長帯の反射光から取り込まれる。手術システムは、画像取込システムに結合された尿管解析モジュールも含む。尿管解析モジュールは、取り込まれた手術部位のシーン内の尿管組織を識別するように構成される。一態様では、手術システムは、照明器も含む。照明器は、複数の波長帯のそれぞれで手術部位を照明するように構成される。手術システムの表示装置は、手術部位のシーンを受信し且つそのシーン内の尿管組織を識別する情報を知らせる尿道解析モジュールに結合される。表示装置は、尿管を強調表示した状態で手術部位のシーンを表示するように構成される。

尿管解析モジュールを含む手術システムの高レベル図である。 尿管組織及び非尿管組織によって異なって反射される複数の光波長帯を示すグラフである。 図１の手術システムの一部のより詳細なブロック図である。 尿管信号と非尿管信号とを区別する１つの方法を示すグラフである。

図面において、参照符号の最初の桁字は、その参照符号を有する要素が最初に現れた図を示す。
フルオロフォアの導入、温度差の生成、尿管への物体の導入、又は放射性色素の導入を必要とする、尿管の位置特定するために使用される既知の技術とは異なり、尿管解析モジュール１３５は、尿管によって反射された反射光を使用して尿管の位置特定を行う。尿管による及び尿管の周囲の組織による光の選択的反射を使用して、尿管を安全且つ効率的に画像化する。こうして、カテーテルを照明することなく、又は例えば外因性フルオロフォア又は放射性色素の投与の必要なしに、内因性コントラストを使用して尿管を視覚化する。

図１は、尿管解析モジュール１３５を含む手術システム１００、例えばダビンチ（登録商標）手術システムの高レベル概略図である（ダビンチ（登録商標）は、カリフォルニア州サニーベールのIntuitive Surgical, Inc.の登録商標である。）。この例では、外科医は、外科医コンソール１１４でマスターコントロールを使用して、ロボットマニピュレータアーム１１３に取り付けられ、次にカート１１０に取り付けられる内視鏡１１２を遠隔操作する。外科医は、カート１１０に結合された１つ又は複数の手術用器具も遠隔操作する。ダビンチ（登録商標）手術システムに関連する他の部品、ケーブル等があるが、これらは、本開示からの逸脱を避けるために図１には示していない。

低侵襲性手術システムに関する更なる情報は、例えば、（２００７年６月２３日に出願され、低侵襲性手術システムを開示する）米国特許出願第１１／７６２，１６５号、（２００１年１０月５日に出願され、遠隔操作手術システム用のアームカートを開示する）米国特許第６，８３７，８８３号、及び（２００１年１２月２８日に出願され、手術用ロボットツール、データアーキテクチャ及び使用を開示する）米国特許第６，３３１，１８１号に確認することができ、これらの文献は全て参照により本明細書に組み込まれる。遠隔操作される低侵襲性手術システムの使用は、例示に過ぎず、本発明をこの特定のシステムに限定することを意図するものではない。本開示に鑑みて、本明細書に記載の態様は、本明細書に記載の態様を実施するのに必要な要素を含むロボット手術システム又は他の手術システムに組み込むことができる。

一態様では、内視鏡１１２は立体内視鏡であり、患者１１１内の手術部位１０３からの光、例えば反射光及び／又は蛍光を画像取込システム１２０に送る２つの光チャネルを含む。手術部位１０３は、尿管と、尿管の周りに一般に見られる組織とを含む。

尿管によって反射された光を含む、手術部位１０３内の組織によって反射された光は、手術部位のシーンとして取り込まれる。取り込まれる手術部位の各シーンは、尿管組織の画像と非尿管組織の画像とを含む。取り込まれる手術部位の各シーンは、データフレーム１２１に含められる。一態様では、複数のフレームが取り込まれ、手術部位１０３を照明する複数の波長帯のそれぞれについて１つのフレームが取り込まれる。

立体内視鏡の場合に、手術部位のシーンは、左シーンと右シーンとの２つのシーンを含む。左セットと右セットの２つのセットのデータフレームが画像取込システム１２０によって取り込まれる。この２つのセットは、尿管解析モジュール１３５の尿管検出モジュール１３６によって処理され、左尿管エンハンス画像及び右尿管エンハンス画像が作成され、それら画像は、外科医制御コンソール１１４内の立体表示ユニットに送られる。左尿管エンハンス画像及び右尿管エンハンス画像は、尿管エンハンス画像１４０に含められる。

左尿管エンハンス画像及び右尿管エンハンス画像は、外科医制御コンソール１１４（時には外科医コンソール１１４又は単にコンソール１１４と呼ばれる）内の立体表示ユニット上に提示され、尿管が強調表示される手術部位１０３の三次元シーンが作成される。上述したように、尿管の識別は、尿管を取り囲む組織の反射率と尿管の反射率との間の差を利用して行われる。特別なフルオロフォア、放射性色素、温度差、又は尿管に挿入される物体は必要ない。むしろ、尿管解析モジュール１３５は、尿管のスペクトル反射率と、尿管を取り囲む組織（非尿管組織）のスペクトル反射率との間の差を使用して、手術部位１０３内の尿管の位置を識別し表示するように構成される。

図２は、尿管のスペクトル反射率２０１（実線）、すなわち尿管スペクトル特性２０１だけでなく、尿管組織に近接する非尿管組織のスペクトル反射率２０２（破線）、すなわち非尿管スペクトル特性２０２を示す。視覚的には、尿管スペクトル特性２０１と非尿管スペクトル特性２０２との間の色差を人間が検出することは非常に困難であるが、図２に示されるように差が存在する。

３つの別々の波長帯、例えば３つの別個の光スペクトルは、尿管組織と非尿管組織との間に明確な反射率の差を有する。３つの別々の波長帯は、４５０～５８０ナノメートル（ｎｍ）（低波長帯）、６４０～７５０ｎｍ（中波長帯）、及び９００～１０８０ｎｍ（高波長帯）である。時には、これらの波長帯はスペクトルと呼ばれる。

低波長帯（４５０～５８０ｎｍ）は可視光スペクトル内にあり、中波長帯（６４０～７５０ｎｍ）は部分的に可視光スペクトル内にあり（可視光スペクトルは、４００ｎｍ～７００ｎｍの間であると言われている。）、これらの波長帯の反射可視光は、外科医コンソール１１４に表示されるシーンにおいて外科医によって区別可能な色差をもたらさない。反射率差に関連する色差は、僅かな強度差としてより多く観察され、外科医コンソール１１４に表示される手術部位のシーンで典型的な複雑な照明及び３次元シーン構造において、人間の目によって小さい強度差を検出することは困難である。

中波長帯（６４０～７５０ｎｍ）の他の部分（７００～７５０ｎｍ）及び高波長帯（９００～１０８０ｎｍ）は、電磁スペクトルの近赤外線（NIR）部分にある。近赤外光は人間によっては検出できない。しかしながら、尿管検出モジュール１３６は、これらの３つの波長帯の全てのスペクトル反射率の差を検出し、それによって、画像取込システム１２０によって取り込まれるシーン内の尿管組織に対応するピクセル及びそのシーン内の非尿管組織に対応するピクセルを識別することができる。

一態様では、シーン内の尿管組織に対応するピクセルは、強調表示され、例えば手術部位のシーンでは典型的に観察されない色を有するように偽色され（false-colored）、結果として生じるシーンが、外科医コンソール１１４に表示される。強調表示された尿管によって、外科医が外科的処置中に尿管の位置を容易に区別することを可能にする。

一態様では、尿管解析モジュール１３５は、少なくとも２つの異なる光スペクトルで尿管を含む組織を照明するように照明システム１２５を構成する。選択される光スペクトルは、尿管組織と非尿管組織との間の反射率の差に基づくものである。各スペクトルは、図２に示されるように、尿管を取り囲む組織によって及び尿管によって異なるように反射される。別の態様では、画像取込システム１２０においてフィルタを使用して、尿管組織と非尿管組織との間の反射率の差を有する異なる光スペクトルに対応するフレームを取り込む。

立体内視鏡及び立体視ディスプレイの使用は、例示に過ぎず、限定することを意図するものではない。本明細書で説明する態様は、モノスコピック内視鏡及び／又は通常の表示ユニット等の立体的な機構を含まないシステムに適用することができる。

図３は、図１の手術システム１００の一例の態様のより詳細な図である。手術システム３００の実施形態では、照明器３１０が立体内視鏡３０１に結合される。照明器３１０は、少なくとも白色光源を含み、オプションとして、１つ又は複数の赤外線照明源を含んでもよい。

照明器３１０は、手術部位３０３を照明するために、立体視内視鏡３０１の少なくとも１つの照明チャネルと組み合わせて使用される。代替的に及び一般性を失うことなく、照明器３１０は、内視鏡３０１の先端チップで又は先端チップの近くで照明源と交換してもよい。このような先端チップ照明は、例えば、発光ダイオード（LED）、又は他の照明源によって提供してもよい。

一例では、照明器３１０は、手術部位３０３を照明する白色光照明を提供する。いくつかの実装形態では、照明器３１０は、他のタイプの照明、例えば、非可視光だけでなく、白色光を形成する可視光成分のサブセットも提供する。

照明器３１０からの光は、照明器３１０を内視鏡３０１内の照明チャネルに結合する照明チャネル３１６に導かれる。立体内視鏡３０１内の照明チャネルは、光を手術部位３０３に導く。照明チャネルは、例えば、光ファイバー束、単一の剛性又は可撓性ロッド、又は光ファイバーを用いて実装される。

一態様では、各画像取込ユニット３２０Ｒ、３２０Ｌは、手術部位３０３から反射された光を取り込む画像取込センサ３２１Ｌ、３２１Ｒを含む。各画像取込センサ３２１Ｌ、３２１Ｒは、例えば、それぞれが異なる可視色成分を取り込む多重ＣＣＤ；特定の可視色成分等を取り込む異なる領域のＣＣＤを有する単一のＣＣＤ；３チップＣＣＤセンサ；カラーフィルタアレイを有する単一のＣＭＯＳイメージセンサ；３－ＣＭＯＳカラーイメージセンサアセンブリであってもよい。

各画像取込センサ３２１Ｌ、３２１Ｒの実装にもかかわらず、各画像取込ユニット３２０Ｒ、３２０Ｌ、ひいては各画像取込センサ３２１Ｒ、３２１Ｌは、複数のデータフレーム３２２Ｌ、３２２Ｒを取り込む。一態様では、複数のデータフレームは、手術部位を照明する複数の波長帯の波長帯毎のフレームを含む。複数の波長帯の各波長帯について取り込まれるデータフレームは、尿管組織及び非尿管組織を含む手術部位のシーンを含む。

画像取込ユニット３２０Ｌは、左カメラ制御ユニット（CCU）３３０Ｌを介して外科医コンソール３５０内の立体表示ユニット３５１に結合される。画像取込ユニット３２０Ｒは、右カメラ制御ユニット（CCU）３３０Ｒを介して外科医コンソール３５０内の立体表示ユニット３５１に結合される。カメラ制御ユニット３３０Ｌ、３３０Ｒは、利得を制御し、画像取込を制御し、尿管検出モジュール１３６との間でフレーム転送を制御等するシステム処理モジュール３６２から信号を受信する。システム処理モジュール３６２は、システム３００内のビジョンシステム制御装置を含む様々な制御装置を表す。カメラ制御ユニット３３０Ｌ、３３０Ｒは、別個のユニットであってもよく、又は単一のデュアル制御ユニット内で組み合わせてもよい。また、尿管検出モジュール１３６は、カメラ制御ユニット３３０Ｌ、３３０Ｒに実装してもよい。

表示モード選択スイッチ３５２は、選択された表示モードをシステム処理モジュール３６２に送る信号をユーザインターフェイス３６１に提供する。システム処理モジュール３６２内の様々なビジョンシステム制御装置は、所望の照明を生成するように照明器３１０を構成し、所望のデータを取得するために左右のカメラ制御ユニット３３０Ｌ及び３３０Ｒを構成し、及び立体表示ユニット３５１において必要な画像を外科医に提示するように、取得したフレームを処理するために必要な他の要素を構成する。この態様では、外科医コンソールに表示されるシーンについて議論されているが、手術室又は他の場所に位置する他のモニタにシーンを表示することもできる。

図３に示されるように、ユーザインターフェイス３６１、システム処理モジュール３６２、及び尿管解析モジュール１３５は、説明目的のために中央制御装置３６０としてグループ化される。中央制御装置３６０は、典型的には、シーンの色を、システム処理モジュール３６２によって決定された新たな所望の色バランスに変換する色補正モジュールも含む。オプションの画像処理モジュール３４０は、中央制御装置３６０から信号を受信し、外科医コンソール３５０内の立体表示ユニット３５１に表示する前に色補正モジュールからのシーンを処理する。色補正モジュール及びオプションの画像処理モジュール３４０は、既知の手術システムのモジュールと等価であるので、さらに詳細には検討しない。

単一チャネル内の単一のビデオストリームに関連する処理について以下で説明する。ただし、この処理は、外科医コンソール３５０内の立体表示ユニット３５１に設けられた左右両方のチャンネルの映像ストリームに適用される。また、従来技術の立体視処理に相当する立体視処理は、尿管解析モジュール１３５によって処理され且つ生成されたシーンに対して行われる。立体視処理は既知であるので、詳細には検討しない。

通常の動作、すなわち、手術部位のカラー画像が立体表示ユニット３５１上に提示される場合に、画像取込センサ３２１Ｒは、複数のシーンを取り込み、手術システム３００のカラーチャネル毎に１つ取り込む。尿管解析モードの別の態様では、適切なバンドパスフィルタが画像取込センサ３２１Ｒにおいて使用され、複数のシーンが取り込まれ、上記の低、中、及び高波長帯域毎に１つ取り込まれる。複数のバンドパスフィルタの各々は、尿管組織と非尿管組織とでは異なって反射される複数の波長帯のうちの１つを通過させる。尿管解析モードのこの態様では、照明器３１０は、少なくとも白色光源と赤外線照明源とを含む。

尿管解析モードの別の態様では、手術部位３０３は、複数の照明源３１２によって同時に照明され、複数の照明源のそれぞれは、異なる光スペクトルを提供する。異なる光スペクトルの各々は、尿管組織及び非尿管組織によって異なるように反射される。この態様では、画像取込センサは、異なる光スペクトル毎にシーンを取り込む、すなわち、複数のシーンが略同時に取り込まれる、すなわち、画像取込に関して手術システムに関連するタイミング及び光路許容値内で同時に取り込まれる。

この例では、複数の照明源３１２が使用されるが、これは例示に過ぎず、限定することを意図するものではない。あるいはまた、複数のフィルタ３１８を使用して、光源３１１からの光をフィルタ処理し、異なる波長帯の光のそれぞれを手術部位３０３に提供することができる。

以下の構成の各々は、尿管組織の位置を解析するためのフレームを提供することに関して同等である：（１）低、中、及び高波長帯域を通過させるように設計された３つのカラーフィルタを有するカメラ、及び３つ全ての波長帯に亘ってエネルギーを放出する広帯域光、（２）３つの波長帯全てに感受性を示す１つのセンサのみを有するカメラ、及びカメラによって順次にオンされ、１つずつ検出される、これら３の波長帯のそれぞれにおいてエネルギーを放出する３つの別々の狭帯域光、（３）（１）及び（２）のいくつかの組合せである。

従って、使用される技術にかかわらず、この例では、３つのフレーム、すなわち複数のフレームが取り込まれる。尿管組織及び非尿管組織によって異なって反射される異なる波長帯毎に１つのフレームが取り込まれる。取り込まれた３つのフレームのうちの１つだけを解析して、そのフレーム内の尿管組織を識別する。しかしながら、いくつかの状況では、非尿管組織又は手術用器具からの鏡面性の反射及び／又は組織の深さ変動により、尿管組織の単一フレームの識別が問題になることがある。従って、一態様では、少なくとも２つのフレームを使用して、取り込まれた手術部位のシーン内の尿管組織を識別する。

フレーム毎の又はフレームの組合せにおける取り込まれた手術部位のシーン内の同じ位置のピクセルが解析され、その位置のピクセルが尿管組織を示すかどうかが判定される。異なるフレーム内の同じ位置にあるピクセルが尿管組織を示す場合に、その手術部位のシーン内の位置は尿管組織であると識別され、そうでなければ尿管組織以外の組織であると識別される。取り込まれたフレーム内の全てのピクセルが解析されると、手術部位のシーン内の尿管組織の位置が分かる。

一態様では、３つのフレームで取り込まれたシーンが結合され、グレースケール画像として表示され、尿管組織の位置は偽色され、例えば緑色に着色され、表示するために立体ディスプレイ３５１上のグレースケール画像と重ね合わされる。

複数の波長帯のそれぞれから反射された光の複数のフレームがどの様にして得られるかにかかわらず、一態様では、複数のフレーム内の情報を、フレームのそれぞれの位置で尿管信号と非尿管信号とに変換する必要がある。以下の説明では、取り込まれた複数のフレームのそれぞれの位置を解析して、複数のフレーム内のその位置のピクセルが尿管信号又は非尿管信号を表すかどうかを判定する。これは、説明目的に過ぎず、限定することを意図するものではない。実際には、フレーム内の位置のグループ又はフレーム全体が、１つの変換で処理され、グループ又はフレーム内の各位置に対して尿管信号又は非尿管信号の判定が行われる。

また、参照される位置は、取り込まれたフレーム内の絶対位置とは対照的に、手術部位のシーン内の位置である。例えば、手術部位のシーン内の位置（ｘ，ｙ）は、第１及び第２の波長帯について取り込まれたフレーム内の位置（ｘ，ｙ）であってもよく、及び第３の波長帯について取り込まれたフレーム内の位置（ｘ＋１，ｙ－１）であってもよい。これは、３つの波長帯について取り込まれたフレームが互いに自動的に空間的に位置合わせされるかどうかに依存する。３つのフレームが互いに空間的に位置合わせされるように取り込まれる場合に、３つの異なるフレーム内の位置同士の間の関係は固定され、分かる。取り込まれたフレームが互いに空間的に位置合わせされた画像取込ユニットの例が、（２０１４年３月１８日に付与された、”Image Capture Unit in A Surgical Instrument”を開示する）米国特許第８，６７２，８３８号に提示されており、この文献は、参照により本明細書に組み込まれる。

フレームが互いに空間的に位置合わせされるようにフレームが取り込まれない場合に、３つの取り込まれるフレームは、手術部位のシーン内の同じ位置が各フレームから処理されるように互いに空間的に位置合わせされる。空間的な位置合せは既知であるので、詳細には検討しない。例えば、Maintz and Viergever, “An Overview of Medical Image Registration Methods,”
In Symposium of Medical Image Registration methods, (1996)を参照されたい。そして、この文献は参照により本明細書に組み込まれる。また、Sotirasらの、”Deformable Medical Image Registration:
A Survey,” IEEE Trans Med Imaging, 32(7), pp.1153-1190, (July 2013)も参照されたい。そして、この文献も参照により本明細書に組み込まれる。

尿管検出モジュール１３６の一態様では、波長帯から尿管信号への変換Ｃが波長帯信号Ｂに適用され、手術部位のシーンの各位置での尿管ベースの信号Ｄを得る。例えば、

ここで、帯域１、帯域２、及び帯域３は、それぞれ、低、中、及び高波長帯で取り込まれた手術部位のシーンを表す波長帯域信号であり、
ＵＢ１、ＵＢ２、及びＵＢ３は、複数の波長帯域信号（帯域１、帯域２、及び帯域３）を尿管信号（ureter）に変換する第１の複数の重みであり、
ＮＢ１、ＮＢ２、ＮＢ３は、複数の波長帯域信号（帯域１、帯域２、及び帯域３）を非尿管信号（non-ureter）に変換する第２の複数の重みである。

波長帯域信号（帯域１、帯域２、及び帯域３）を尿管信号（ureter）及び非尿管信号（non-ureter）に変換した後に、尿管信号及び非尿管信号が解析され、カメラが各位置で尿管組織又は非尿管組織に向いている可能性が高いかどうかが判定される。

一態様では、カメラが尿管組織又は非尿管組織に向いているかどうかを判定するために、閾値処理が行われる。例えば、尿管信号（ureter）が閾値と所定の関係を有するとき、尿管信号（ureter）が尿管組織からのものであるとみなされるように、経験的閾値が決定される。経験的閾値は、例えば、いくつかの異なる照明源から尿管組織を照明し、上述したように尿管組織の画像を取り込み、今述べた変換を実行することによって決定され、異なる尿管源のそれぞれについて尿管信号（ureter）を決定する。一態様では、最も小さい尿管信号（ureter）が閾値として採用される。

別の態様では、閾値処理は、フレーム内の各位置で尿管信号（ureter）を非尿管信号（non-ureter）で除算する、すなわち、２つの信号の比を形成し、この比を経験的閾値と比較する。例えば、尿管信号（ureter）がある程度一定であるか、非尿管信号（non-ureter）よりも数倍大きいかどうかを判定する。再度、閾値は、上記のプロセスにおいて尿管組織及び非尿管組織を含むいくつかのサンプルを使用して、尿管信号（ureter）及び非尿管信号（non-ureter）を得ることによって決定される。これらの信号を使用して、閾値を決定する。

閾値処理によって、尿管信号（ureter）からノイズ及び偽陽性を除去する。ノイズのために、尿管信号（ureter）は、尿管が存在しない場合であってもゼロよりわずかに高い。閾値を使用することによって、このノイズを除去して偽陽性を排除することを可能する。閾値処理によって、フレーム内の位置を尿管組織を表すものとして外科医に表示する前に、尿管検出に関する信頼性を決定することも可能にする。高いレベルの信頼性が望まれる場合に、高い閾値が使用される。偽陽性の表示が許容される場合に、閾値はより低く設定される。閾値の大きさは、フレーム内の位置を尿管組織であるとしてラベル付けするために必要な尿管信号（ureter）のレベルを決定するので、実際には、尿管が実際にフレーム内のその位置にあるというシステムの信頼水準が閾値となる。

さらに別の態様では、尿管信号（ureter）対非尿管信号（non-ureter）が二次元空間上にマッピングされ、カメラが尿路組織に向いている可能性が高いこの空間の領域が検出される。図４は、２つの波長帯について２次元空間がどの様に決定されるかの例である。図４では、中波長帯域信号が、ｘ軸に沿ってプロットされ、高波長帯域信号が、ｙ軸に沿ってプロットされる。一例に過ぎないが、中波長帯は、７００ｎｍの波長を有するとみなされ、高波長帯は、約９６０ｎｍの波長を有するとみなされる。中波長帯の図２を使用する場合に、非尿管信号（non-ureter）は、破線の垂直線４０１の周りに散在し、尿管信号（ureter）尿管は、実線の垂直線４０２の周りに散在する。高波長帯の場合に、非尿管信号（non-ureter）は、破線の水平線４０３の周りに散在し、及び尿管信号（ureter）は、実線の水平線４０４の周りに散在する。

従って、領域４１１内に入る信号は非尿管信号（non-ureter）であり、領域４１０内に入る信号は尿管信号（ureter）である。実際には、２つの実際の波長帯を用いて多数の異なる尿管サンプルの画像が取り込まれ、上述した変換を用いて得られた非尿管信号（non-ureter）及び尿管信号（ureter）がプロットされる。領域４１０及び４１１が規定され、尿管信号（ureter）の領域を区切る線が決定される。次に、臨床的設定において、所与の位置における尿管信号（ureter）が領域４１０内に入る場合に、その位置は、尿管組織を有するものとしてマークされ、そうでない場合に、その位置は、非尿管組織を有するとみなされる。

フレームが処理され、カメラの視野内の領域が尿管であると判定された後に、その領域は、その領域がシーンの残りの領域と区別されて外科医に表示される。尿管が手術部位の残りのシーンと区別されるように、この情報を表示する複数の方法がある。１つの方法は、尿管組織の上に色をオーバーレイして、尿管が存在することを外科医に警告することである。もう１つの方法は、ディスプレイの尿管組織の色を上述した偽色で著しく変えることであり、それによって、外科医は、尿管組織を周囲の組織とは異なるものと認識する。さらに別の方法は、尿管組織の上に警告サインを表示して、尿管の存在を外科医に知らせることである。これらの場合の全てにおいて、一態様では、オーバーレイ又は色の変化等は、外科医によって制御され得る。すなわち、外科医は、尿管の強調表示をオン又はオフにすることができ、又は尿管を視覚化するために適用されるカラーシフトを増減することができる。

いくつかの態様では、上述した変換Ｃは使用されず、閾値処理は、波長帯域信号を使用して波長帯域空間に直接的に適用され、その位置が尿管組織であるかどうかを判定する。別の態様では、変換Ｃを適用することに由来する尿管信号は、尿管の有無を直接的に表示するために使用される。

尿管信号の変換Ｃに対する波長帯域の第１の複数の重みＵＢ１、ＵＢ２、ＵＢ３、及び第２の複数の重みＮＢ１、ＮＢ２、ＮＢ３は、複数の方法で決定することができる。例えば、第１及び第２の複数の重みは、最初に、尿管及び非尿管組織によって直接的に反射された波長帯域信号を実験的に測定することによって；カメラ／照明システム及び尿管及び非尿管組織の反射率をモデル化することによって；又は実験的測定及びモデリングのいくつかの組合せによって決定することができる。これらのアプローチのそれぞれは、尿管組織に相関する一組の波長帯信号、及び非尿管組織に相関する一組の波長帯信号を生成する。

第１及び第２の複数の重みは、尿管組織に相関する一組の波長帯域信号と、非尿管組織に相関する一組の波長帯域信号とを組み合わせて、誤差を最小にする行列式を解くことによって決定される。例えば、

ここで、ＤＵは、尿管信号を選択するための行列であり、
ＢＵは、Ｎ個の尿管サンプルについて３つの波長帯のそれぞれで取り込まれるフレームの行列であり、
ＤＮは、非尿管信号を選択するための行列であり、
ＢＮは、Ｍ個の非尿管サンプルについて３つの波長帯のそれぞれで取り込まれるフレームの行列であり、
ｐｉｎｖは、疑似逆行列である。

疑似逆行列は、当業者には知られている。ここで使用するのに適した擬似逆行列は、Moore-Penrose擬似逆行列と呼ばれる。Moore-Penrose擬似逆行列の一般的な使用法は、固有の解法がない線形方程式の系に対して、最適合する最小二乗解を計算することである。Moore-Penrose擬似逆行列のもう一つの使用法は、線形方程式の系に対する最小（ユークリッド）ノルム解を見つけることである。一態様では、最適合する最小二乗解が使用される。

上記の例では、複数の異なる光スペクトルが手術部位を照射し、手術部位のシーンを含むフレームが、異なる光スペクトルのそれぞれで取り込まれ、複数のフレームが取り込まれる。複数のフレームを解析して手術部位のシーンの位置を尿管組織として分類する。別の態様では、この同じ方法が使用されるが、患者は手術前に色素を服用する。色素は、フルオロフォア及び放射性色素の両方とは異なる。フルオロフォアは、励起波長スペクトルを有する光を吸収し、発光波長スペクトルを有する光を放出する。このプロセスは、入射光の反射とは対照的に、フルオロフォアによる入射光の吸収と、フルオロフォアによる新たな光の放出である。放射性色素は、入射光を必要とせずに、測定される放射線を放出する。この態様で使用される色素は、新しい光も放射線も放出しないが、その代わりに、色素は入射光の反射に影響を及ぼす。

このような色素の一例は、時にはフェナゾピリジン塩酸塩（Phenazopyridine Hydochoride）の形態で使用されるフェナゾピリジンである。フェナゾピリジンは、尿路鎮痛剤として作用する色素である。フェナゾピリジンは、典型的には患者に経口的に投与され、腎臓によって尿中に直接的に排出される。こうして、尿及び尿管の壁の両方が、尿管の光吸収特性を変化させるフェナゾピリジンによって染色され、従って尿管によって反射された光の少なくとも一部を変化させる。従って、一態様では、フェナゾピリジンが投与され、フェナゾピリジンで処理された尿管組織によって反射される波長帯が決定される。これらの波長帯は、上述した解析に使用される。

本明細書で説明される様々なモジュールは、プロセッサ１３１、ハードウェア、ファームウェア、又はこれらの３つの任意の組合せで実行されるソフトウェアによって実装され得る。モジュールがプロセッサ上で実行されるソフトウェアとして実装される場合に、ソフトウェアは、コンピュータ可読命令としてメモリ１３２に記憶され、このコンピュータ可読命令は、プロセッサ１３１上で実行される。メモリの全部又は一部は、プロセッサがメモリに結合される限り、プロセッサとは物理的に異なる位置にあってもよい。メモリは、揮発性メモリ、不揮発性メモリ、又はこれら２つの任意の組合せを指す。

また、様々なモジュールの機能は、本明細書で説明されるように、１つのユニットによって実行してもよく、又は異なるコンポーネント間で分割してもよく、各機能は、ハードウェア、プロセッサ上で実行されるソフトウェア、及びファームウェアで実装してもよい。異なるコンポーネント間で分割される場合に、コンポーネントは、一箇所に集中させてもよく、又は分散処理目的のためにシステム３００に亘って分散させてもよい。様々なモジュールの実行により、様々なモジュール及び制御装置３６０について上述した処理を実行する方法が得られる。

こうして、プロセッサは、プロセッサによって実行される命令を含むメモリに結合される。これは、コンピュータシステム内で、或いは、モデム及びアナログライン、又はデジタルインターフェイス及びデジタルキャリアラインを介して他のコンピュータに接続することによって達成することができる。

ここで、コンピュータプログラム製品は、本明細書に記載したプロセスの一部又は全てに必要なコンピュータ可読コードを記憶するように構成される、又はこれらのプロセスの一部又は全てのコンピュータ可読コードが格納されるコンピュータ可読媒体を含む。コンピュータプログラム製品のいくつかの例は、ＣＤ－ＲＯＭディスク、ＤＶＤディスク、フラッシュメモリ、ＲＯＭカード、フロッピー（登録商標）ディスク、磁気テープ、コンピュータハードドライブ、ネットワーク上のサーバ、及びネットワークを介して送信されるコンピュータ可読プログラムコードを表す信号である。非一時的な有形のコンピュータプログラム製品は、プロセスの一部又は全てのコンピュータ可読命令を記憶するように構成される、又はプロセスの一部又は全てのコンピュータ可読命令が格納される有形のコンピュータ可読媒体を含む。非一時的な有形のコンピュータプログラム製品は、ＣＤ－ＲＯＭディスク、ＤＶＤディスク、フラッシュメモリ、ＲＯＭカード、フロッピー（登録商標）ディスク、磁気テープ、コンピュータハードドライブ、及び他の物理的記憶媒体である。

本開示に鑑みて、本明細書で説明したプロセスの一部又は全てに使用される命令は、ユーザにとって関心のあるオペレーティングシステム及びコンピュータプログラム言語を使用して広範なコンピュータシステム構成で実装することができる。

本発明の態様及び実施形態を示す上述した詳細な説明及び添付の図面は、限定するものと解釈すべきではなく、特許請求の範囲が、保護される発明を規定する。本明細書及び特許請求の範囲の精神及び範囲から逸脱することなく、種々の機械的な、組成的な、構造的な、電気的な、及び操作上の変更を行うことができる。いくつかの例では、周知の回路、構造、及び技術は、本発明を不明瞭にすることを避けるために詳細に示していないか、又は説明していない。

また、この詳細な説明の用語は、本発明を限定することを意図していない。例えば、「～の下に(beneath)」、「～より下の(below)」、「～の下方の(lower)」、「～より上の(above)」、「～の上方の(upper)」、「基端の(proximal)」、「先端の(distal)」等の空間に関連する用語は、図に示される１つの要素又は機構に対して別の要素又は機構との関係を説明するために使用される。これらの空間に関連する用語は、図面に示される位置及び向きに加えて、使用又は操作中の装置の異なる位置（すなわち、配置）及び向き（すなわち、回転位置）を包含することを意図している。

例えば図面内の装置をひっくり返した場合に、他の要素又は機構「より下の(below)」又は「の下に(beneath)」として説明された要素は、次に、他の要素又は機構「より上の(above)」又は「の上に(over)」となる。従って、例示的な用語「～より下の(below)」は、「～より上の(above)」及び「～より下の(below)」両方の位置及び向きを包含することができる。その装置は、他の方法で向き合わせ（９０度回転又は他の向きに）してもよく、本明細書で使用される空間に関連する説明は、それに応じて解釈される。

同様に、様々な軸線に沿った及びこの軸線周りの運動の説明は、装置の様々な特別な位置及び向きを含む。単数形「１つの(a, an)」及び「その(the)」は、文脈が他に指示しない限り、複数形も含むことを意図している。用語「備える、有する、含む(comprises, comprising)」、「含む、有する(including)」等は、説明した特徴、ステップ、操作、要素、及び／又は構成要素の存在を特定するが、１つ以上の他の特徴、ステップ、操作、要素、構成要素、及び／又はグループの存在又は追加を排除するものではない。

「結合した」として説明した構成要素は、電気的に又は機械的に直接的に結合されるか、又は１つ又は複数の中間要素を介して間接的に結合してもよい。本開示に鑑みて、向上したディスプレイシステムに関して説明した操作のいずれか又は任意の組合せで使用される命令は、ユーザにとって関心のあるオペレーティングシステム及びコンピュータプログラム言語を使用して広範なコンピュータシステム構成で実装することができる。

全ての実施例及び説明の参照は、非限定的であり、特許請求の範囲を本明細書で説明した特定の実装態様や実施形態及びその等価物に限定するために使用すべきではない。見出しは、単に形式のためであり、１つの見出しの下のテキストは、相互参照することができ、すなわち１つ以上の見出しの下のテキストに適用することができるので、主題をあらゆる方法で制限するように使用すべきではない。最後に、本開示に鑑みて、一態様又は実施形態に関連して説明した特定の特徴は、図面に特に示されておらず又は本文中に記載されていない場合であっても、本発明の開示された他の態様又は実施形態に適用することができる。

以下に出願当初の特許請求の範囲の内容を実施例として記載しておく。
［実施例１］
方法であって、当該方法は、
複数の手術部位のシーンを取り込むステップであって、前記複数の手術部位のシーンのそれぞれは、異なる複数の光スペクトルを有する反射光から取り込まれる、取り込むステップと、
該取り込まれた複数の手術部位のシーンを解析して、前記取り込まれた手術部位のシーン内の尿管組織を識別するステップと、を含む、
方法。
［実施例２］
人為的に強調された前記尿管組織を含む前記手術部位のシーンを表示装置上に表示するステップをさらに含む、実施例１に記載の方法。
［実施例３］
複数の異なる光スペクトルで手術部位を照射するステップをさらに含む、実施例１に記載の方法。
［実施例４］
前記手術部位を照射するステップは、前記複数の異なる光スペクトルのうちの少なくとも２つで前記手術部位を順次に照射するステップを含む、実施例３に記載の方法。
［実施例５］
前記手術部位を照射するステップは、
４５０ｎｍ～５８０ｎｍの範囲の波長の第１の光スペクトルで前記手術部位を照射するステップと、
６４０ｎｍ～７５０ｎｍの範囲の波長の第２の光スペクトルで前記手術部位を照射するステップと、
９００ｎｍ～１０８０ｎｍの範囲の波長の第３の光スペクトルで前記手術部位を照射するステップと、を含む、実施例３に記載の方法。
［実施例６］
前記手術部位を照射するステップは、
４５０ｎｍ～５８０ｎｍの範囲の波長の第１の光スペクトルで前記手術部位を照射するステップと、
６４０ｎｍ～７５０ｎｍの範囲の波長の光スペクトルで前記手術部位を照射する波長の第２の光スペクトルで前記手術部位を照射するステップと、を含む、実施例３に記載の方法。
［実施例７］
前記解析するステップは、
前記取り込まれた複数の手術部位のシーンのそれぞれの前記手術部位のシーン内の位置を尿管信号に変換するステップと、
前記尿管信号が前記位置における尿管組織を示すかどうかを判定するステップと、をさらに含む、実施例１に記載の方法。
［実施例８］
前記判定するステップは、前記尿管信号を閾値と比較するステップを含む、実施例７に記載の方法。
［実施例９］
前記判定するステップは、前記尿管信号と非尿管信号との比を閾値と比較するステップを含む、実施例７に記載の方法。
［実施例１０］
前記解析するステップは、尿管信号を閾値と比較するステップを含む、実施例１に記載の方法。
［実施例１１］
前記解析するステップは、尿管信号及び非尿管信号の比を閾値と比較するステップを含む、実施例１に記載の方法。
［実施例１２］
前記尿管組織は、フルオロフォア及び放射性色素とは異なる色素で処理される、実施例１に記載の方法。
［実施例１３］
前記色素は、フェナゾピリジンである、実施例１２に記載の方法。
［実施例１４］
手術システムであって、当該手術システムは、
複数の手術部位のシーンを取り込むように構成された画像取込システムであって、前記複数の手術部位のシーンの各手術部位のシーンが、複数の波長帯のうちの異なる波長帯の反射光から取り込まれる、画像取込システムと、
前記画像取込システムに結合される尿管解析モジュールであって、前記取り込まれた手術部位のシーン内の尿管組織を識別するように構成される尿管解析モジュールと、を有する、
手術システム。
［実施例１５］
照明器をさらに有しており、該照明器は、前記複数の異なる波長帯のそれぞれで手術部位を照射するように構成される、実施例１４に記載の手術システム。
［実施例１６］
前記尿管解析モジュールに結合される表示装置をさらに有しており、
該表示装置は、尿管を強調表示した状態で手術部位のシーンを表示するように構成される、実施例１４に記載の手術システム。
［実施例１７］
手術システムであって、当該手術システムは、
複数の手術部位のシーンを取り込む手段であって、前記複数の手術部位のシーンのそれぞれが、異なる光スペクトルを有する反射光から取り込まれる、取り込む手段と、
該取り込まれた複数の手術部位のシーンを解析して、前記取り込まれた手術部位のシーン内の尿管組織を識別する手段と、を含む、
手術システム。
［実施例１８］
人為的に強調された前記尿管組織を含む手術部位のシーンを表示装置上に表示する手段をさらに含む、実施例１７に記載の手術システム。
［実施例１９］
複数の異なる光スペクトルで手術部位を照射する手段をさらに含む、実施例１７に記載の手術システム。
［実施例２０］
前記解析する手段は、前記取り込まれた複数の手術部位のシーンのそれぞれの前記手術部位のシーン内の位置を尿管信号に変換する手段と、
前記尿管信号が前記位置における尿管組織を示すかどうかを判定する手段と、をさらに含む、実施例１７に記載の手術システム。

Claims (9)

1. 手術システムであって、当該手術システムは、
   命令を記憶するメモリと、
   前記命令を実行するように構成されたプロセッサと、を有しており、
   該プロセッサは、
   画像取込センサに指示して、患者内の構造体の完全に外側で手術部位の複数のシーンを取り込むことであって、該手術部位の複数のシーンの手術部位の各シーンは、複数の波長帯のうちの異なる波長帯の反射光から生成され、前記複数の波長帯の各波長帯が、前記構造体の構造組織及び前記構造体の外側の非構造組織に向けて放射され前記構造組織及び前記非構造組織によって反射される、取り込むことと、
   検出モジュールに指示して、前記取り込まれた手術部位のシーン内の手術部位の各シーンのスペクトル反射率同士の間の差を検出することと、
   前記取り込まれた手術部位のシーン内の手術部位の各シーンの異なるスペクトル反射率同士の間の検出された差に基づいて、前記取り込まれた手術部位のシーン内の前記構造組織に対応するピクセルと、前記取り込まれた手術部位のシーン内の前記構造体の外部の非構造組織に対応するピクセルとを識別することと、を行うための前記命令を実行するように構成され、
   前記構造体は尿管であり、
   前記構造組織は前記尿管の尿管組織であり、
   前記非構造組織は、前記尿管の外部の非尿管組織である、
   手術システム。
2. 前記プロセッサは、
   表示装置に指示して、前記手術部位の複数のシーンに含まれる手術部位のシーンを表示させることと、
   前記表示された手術部位のシーン内の前記構造組織に対応する前記ピクセルを人為的に強調表示させることと、を行うための前記命令を実行するようにさらに構成される、請求項１に記載の手術システム。
3. 前記プロセッサは、照明器に指示して、複数の異なる光スペクトルで手術部位を照射することを行うための前記命令を実行するようにさらに構成される、請求項１に記載の手術システム。
4. 前記照明器に指示して前記手術部位を照射することは、前記照明器に指示して、前記複数の異なる光スペクトルのうちの少なくとも２つで前記手術部位を順次に照射することを含む、請求項３に記載の手術システム。
5. 前記照明器に指示して前記手術部位を照射することは、前記照明器に指示して、
   ４５０ｎｍ～５８０ｎｍの範囲の波長の第１の光スペクトルで前記手術部位を照射することと、
   ６４０ｎｍ～７５０ｎｍの範囲の波長の第２の光スペクトルで前記手術部位を照射することと、
   ９００ｎｍ～１０８０ｎｍの範囲の波長の第３の光スペクトルで前記手術部位を照射することと、を含む、請求項３に記載の手術システム。
6. 前記照明器に指示して前記手術部位を照射することは、前記照明器に指示して、
   ４５０ｎｍ～５８０ｎｍの範囲の波長の第１の光スペクトルで前記手術部位を照射することと、
   ６４０ｎｍ～７５０ｎｍの範囲の波長の光スペクトルで前記手術部位を照射する波長の第２の光スペクトルで前記手術部位を照射することと、を含む、請求項３に記載の手術システム。
7. 前記識別することは、
   前記取り込まれた手術部位の複数のシーンの前記構造体及び前記非構造組織の位置を前記構造体に関する構造体信号及び前記非構造組織に関する非構造体信号に変換することと、
   前記構造体信号が前記位置における前記構造組織を示すかどうかを判定することと、ことを含む、請求項１に記載の手術システム。
8. 前記識別することは、前記構造体信号を閾値と比較することを含む、請求項７に記載の手術システム。
9. 前記識別することは、前記構造体信号と前記非構造体信号の比を閾値と比較することを含む、請求項７に記載の手術システム。

Images