JP2024520685A - 拡張現実尿管鏡システム - Google Patents

Abstract

本明細書では、患者身体の尿管内に挿入するように構成された尿管鏡を備える尿管鏡システムが開示される。システムは、コンソールを備えた画像処理モジュールを含み、コンソールには、１つ以上のプロセッサと、論理が格納されているメモリとを有する。論理は、大きな破片の遮られていない視認性を提供するために小さな破片が除去された尿管鏡ビデオ画像を提供する等の様々な動作を実施することができる。論理は、対象物追跡、対象物強調、サイズ決定等の様々な動作を実施することができる。オーバーレイが尿管鏡ビデオ画像の上部に標識の表現を提供する。本システムと併せて、結石破砕処置を実施する方法も開示される。

Description

本発明は、拡張現実尿管鏡システムに関する。

腎結石は、様々な方法で治療することができる。小さな腎結石は、治療しなくても尿管を通過する可能性がある。より大きな腎結石又は尿管を塞ぐ腎結石は、医療処置によって除去する必要がある場合がある。レーザ結石破砕術は、患者の尿管から結石（例えば腎結石）を除去する処置である。レーザ結石破砕術は、尿管を通してレーザ光ファイバを結石まで挿入することを含む。次に、レーザを作動させて、結石を患者によって自然に排出されるか又は回収器具によって除去することができる小片に破壊する。典型的な処置は、スコープの遠位先端が結石に近接して配置されるように、尿道、膀胱、尿管を通して、さらに必要に応じて腎臓内に、尿管鏡を挿入することを含む。レーザ光ファイバは、尿管鏡のワーキングチャネルを通して結石まで挿入される。次に、レーザを作動させて、結石をバスケットデバイスなどの回収デバイスによって回収されるか又は患者によって尿管を通して自然に排出されるほど小さな破片に粉砕する。

腎結石のレーザアブレーション中、小さな破片（例えば、高速で動く塵埃粒子）が結石から分離され、尿流体中に浮遊し得る。小さな破片は、あまりにも多いため、尿流体を介した対象物の視認性に影響を及ぼす場合がある。場合によっては、小さな破片が、より大きな破片についての視界を著しく遮って、結石破砕プロセスのさらなる実施に困難をもたらす可能性がある。このような困難により、さらなるアブレーションを必要とする、より大きな結石破片の識別及び追跡が阻害され得る。場合によっては、術者は、アブレーションプロセスを休止して視認性を再び得てから、より大きな石の破片を再度狙う必要があり得る。

よって、本明細書では、レーザ結石破砕処置中に、尿管鏡による腎結石の破片などの対象物の視認性を高めて、破片を追跡し、破片のサイズを評価する尿管鏡システム及び方法が開示される。

簡単に要約すると、本明細書では、患者身体の尿管内に挿入するように構成された尿管鏡を具備する尿管鏡システムが開示される。尿管鏡は、尿管鏡の遠位端部に配置されたカメラを有する長尺状可撓性シャフトと、尿管鏡と動作可能に結合された画像処理モジュールとを備える。上記モジュールは、１つ以上のプロセッサと非一時的コンピュータ可読媒体とを有するコンソールを備える。上記媒体上に格納された論理は、１つ以上のプロセッサによって実行されると、以下に要約される様々な動作を実施するように構成される。

動作は、撮像データを受け取るステップと、撮像データから第１の画像及び第２の画像を定義するステップとを含む。第１の画像は、複数の対象物を含み、複数の対象物は、第１の画像において複数の対象物の第２のサブセットのうちの１つ以上の対象物の視認性を妨げる複数の対象物の第１のサブセットを含む。第２の画像では、第１の画像中の１つ以上の遮られた対象物は視覚的に遮られていない。動作は、システムの表示装置上に第１の画像又は第２の画像を描画するステップを含む。

撮像データはビデオ撮像データを含むことができ、第１の画像及び第２の画像はビデオ画像を含むことができる。対象物は、腎結石の破片を含み得る。
動作は、第１の画像から複数の対象物の第１のサブセットを除去して第２の画像を定義するステップをさらに含み得る。いくつかの実施形態において、第２のサブセットは、第１の画像内で永続的なものである対象物を含み、第１のサブセットは、第１の画像内で一時的なものである対象物を含む。

動作は、（ｉ）第１の画像内又は第２の画像内の１つ以上の対象物の位置を追跡するステップと、（ｉｉ）追跡画像オーバーレイを定義するステップとをさらに含むことができ、追跡オーバーレイは、追跡された対象物に関連する追跡標識を含む。動作は、表示装置上において第１の画像又は第２の画像の上に追跡オーバーレイを描画するステップさらに含み得る。

動作は、（ｉ）第１の画像内又は第２の画像内の１つ以上の対象物の周縁を識別するステップと、（ｉｉ）画像オーバーレイにおいて周縁を強調するステップと、（ｉｉｉ）表示装置上において第１の画像又は第２の画像の上にエッジ強調オーバーレイを描画するステップとさらに含み得る。

動作は、（ｉ）周縁によって包囲された面積を計算することによって、第１の画像内又は第２の画像内の１つ以上の対象物のサイズを定義するステップと、（ｉｉ）サイズが決定された（ｓｉｚｅｄ）対象物に関連するサイズ標識を含むサイズ決定（ｓｉｚｉｎｇ）画像オーバーレイを定義するステップとをさらに含むことができ、各サイズ標識は、それぞれの対象物のサイズの視覚表示を提供する。動作は、表示装置上において第１の画像又は第２の画像の上にサイズ決定画像オーバーレイを描画するステップさらに含み得る。

動作は、各々の計算された面積を非一時的コンピュータ可読媒体に格納された面積限度と比較するステップと、それぞれの計算された面積が面積限度を超える場合には、サイズ標識を変更するステップとをさらに含み得る。

動作は、第１の画像内又は第２の画像内の１つ以上の対象物の最大長を定義するステップをさらに含むことができ、各最大長は、それぞれの対象物の周縁の２点間の最大距離によって定義される。動作は、長さ画像オーバーレイを定義するステップをさらに含むことができ、長さオーバーレイは、各最大長を視覚的に表す線標識を含み、動作は、表示装置上において第１の画像又は第２の画像の上に長さオーバーレイを描画するステップさらに含み得る。

ここでは、患者に対して結石破砕処置を実施する方法についても要約する。方法は、患者の尿管内に尿管鏡を挿入するステップと、尿管鏡から撮像データを受け取るステップと、撮像データから腎結石破片の第１の画像を定義するステップと、表示装置上に第２の画像を描画するステップとを含み、第２の画像には、第１の画像の１つ以上の永続的な破片が含まれており、第１の画像の１つ以上の一時的な破片は削除されている。方法は、第２の画像の破片をアブレートするステップと、破片のアブレートされた部分を第２の画像から除去するステップとをさらに含む。

方法は、破片の周縁を定義するステップと、第２の画像に破片に関連するエッジ標識を重ね合わせるステップとをさらに含むことができ、エッジ標識は、第２の画像において破片の周縁を視覚的に強調する。

方法は、第２の画像に破片に関連するサイズ標識を重ね合わせるステップをさらに含むことができ、サイズ標識は、第２の画像において破片のサイズを視覚的に示す。
方法は、第２の画像に破片に関連する位置標識を重ね合わせるステップをさらに含むことができ、位置標識は、第２の画像において破片の変位を追跡する（ｔｒａｃｔｓ）。

方法は、第２の画像に破片に関連する長さ標識を重ね合わせるステップをさらに含むことができ、長さ標識は、第２の画像において破片の最大長を表す。
方法は、表示装置上に第３の画像を描画するステップをさらに含むことができ、第３の画像は、第２の画像の高コントラスト白黒像である。

方法は、尿管鏡と動作可能に結合された画像処理モジュールを準備するステップをさらに含むことができ、画像処理モジュールは、１つ以上のプロセッサと非一時的コンピュータ可読媒体とを有するコンソールを備える。媒体上に格納された論理は、１つ以上のプロセッサによって実行されると、上記に要約したステップのうちの１つ以上を含む動作を実施するように構成されている。

本明細書で提供される概念のこれらの特徴及び他の特徴は、そのような概念の特定の実施形態をより詳細に説明する添付図面及び以下の説明を考慮すると当業者にはより明白になるであろう。

本開示のより詳細な説明は、添付図面に示される本開示の特定の実施形態を参照することによってなされる。これらの図面は、本発明の典型的な実施形態のみを示しており、したがって本発明の範囲を限定するものとは見なされないことが理解される。本発明の例示的な実施形態は、添付図面を用いて、さらに具体的且つ詳細に記載され説明される。

いくつかの実施形態による、尿管鏡システムを示す図。 いくつかの実施形態による、図１Ａのシステムのコンソールのブロック図。 いくつかの実施形態による、例示的な未加工の尿管鏡画像を示す図。 いくつかの実施形態による、図２Ａの未加工の尿管鏡画像の例示的な改善された画像を示す図。 いくつかの実施形態による、尿管鏡システムのイメージングプロセスの例示的な流れ図。 いくつかの実施形態による、追跡オーバーレイを含む例示的な改善された尿管鏡画像を示す図。 いくつかの実施形態による、図３Ａに関してその後の時点における図３Ａの尿管鏡画像を示す図。 いくつかの実施形態による、尿管鏡システムの追跡プロセスの例示的な流れ図。 いくつかの実施形態による、画像中に対象物の強調された周縁を示すオーバーレイを含む例示的な改善された尿管鏡画像を示す図。 いくつかの実施形態による、画像中に対象物の最大長線を示すオーバーレイを含む例示的な改善された尿管鏡画像を示す図。 いくつかの実施形態による、画像中に対象物のサイズ標識を示すオーバーレイを含む例示的な改善された尿管鏡画像を示す図。 いくつかの実施形態による、尿管鏡システムのエッジ強調プロセス、最大長線決定プロセス、及びサイズ決定プロセスの例示的なプロセスフロー図。 いくつかの実施形態による、図２Ｂの改善された画像の例示的な高コントラスト白黒像を示す図。

いくつかの特定の実施形態がより詳細に開示される前に、本明細書に開示される特定の実施形態は、本明細書に提供される概念の範囲を限定しないことを理解されたい。本明細書に開示される特定の実施形態は、特定の実施形態から容易に分離でき、任意選択で、本明細書に開示される他の多数の実施形態のいずれかの特徴と組み合わせるか、又は置換することができる特徴を有することができることも理解されたい。

本明細書で使用される用語に関して、用語は、いくつかの特定の実施形態を説明するためのものであり、用語は、本明細書で提供される概念の範囲を限定しないことも理解されたい。序数（例えば、第１、第２、第３、等）は、一般に、複数の特徴又は複数のステップの群内の異なる特徴又はステップを区別又は識別するために使用され、順番の限定又は数値限定を与えるものではない。例えば、「第１」、「第２」、及び「第３」の特徴又はステップは、必ずしもその順序で現れる必要はなく、そのような特徴又はステップを含む特定の実施形態は、必ずしも３つの特徴又はステップに限定される必要はない。「左」、「右」、「上」、「下」、「前」、「後」、「上方」、「下方」などの表示は、便宜上使用されており、例えば、特定の固定した位置、向き、又は方向を意味するものではない。代わりに、そのような表示は、例えば、相対的な位置、向き、又は方向を反映するために使用される。単数形の「一」、「１つ」、及び「その」は、文脈で明確に指示されていない限り、複数形の参照も含む。また、「含む」、「有する」、及び「有している」という語句は、特許請求の範囲を含めて本願で使用される場合、「備える」という語句と同じ意味を有するものとする。

最後に、以下の説明において、本明細書で使用される「又は」及び「及び／又は」という用語は、いずれか１つ又は任意の組合せを意味する包含的論理和として解釈されるべきである。例として、「Ａ、Ｂ又はＣ」又は「Ａ、Ｂ及び／又はＣ」は、「以下のＡ；Ｂ；Ｃ；Ａ及びＢ；Ａ及びＣ；Ｂ及びＣ；Ａ、Ｂ及びＣのいずれか」を意味する。要素、構成要素、機能、ステップ、又は行為の組合せが、何らかの点で本質的に互いに相容れない場合に限り、この定義の例外が生じるであろう。

別段の定義がない限り、本明細書で使用されるすべての技術用語及び科学用語は、当業者によって一般的に理解されているのと同じ意味を有する。
本明細書で開示するいずれの方法も、記載の方法を実施するための１つ以上のステップ又は行為を含む。方法ステップ及び／又は行為は、互いに入れ替えることができる。換言すると、ステップ又は行為の特定の順序が実施形態の適切な動作に必要とされない限り、特定のステップ及び／又は行為の順序及び／又は使用は変更されてもよい。さらに、本明細書に記載される方法のサブルーチン又は一部のみが、本開示の範囲内の独立した方法である場合がある。別様に述べると、いくつかの方法は、より詳細な方法に記載されるステップの一部のみを含んでもよい。

特定の状況において、「論理」という用語は、１つ以上の機能を実施するように構成されたハードウェア、ファームウェア、及び／又はソフトウェアを表す。ハードウェアとして、論理という用語は、データ処理又はストレージ機能を有する回路構成を含み得る。そのような回路構成の例としては、マイクロプロセッサ、１つ以上のプロセッサコア、プログラマブルゲートアレイ、マイクロコントローラ、特定用途向け集積回路、無線受信機、送信機及び／若しくはトランシーバ回路構成、半導体メモリ、又は組み合わせ論理を挙げることができるが、これらに限定又は制限されるものではない。

図１Ａは、治療環境内に示された尿管鏡システム１００の実施形態を示す。術者３０（例えば医師）が患者５０に侵襲的治療を実施する様子が示されている。尿管鏡システム１００は、イメージングモジュール１２０と結合された尿管鏡１１０を備える。尿管鏡１１０は、患者５０の尿管内に挿入するように構成された長尺状可撓性シャフト１１５を備える。シャフト１７０は、シャフト１７０の遠位端部に位置するカメラ（図示せず）と、シャフト１７０に沿って延びるワーキングチャネル１１６とを備える。動作中、カメラによって取得された画像は、イメージングモジュール１２０と結合された表示装置１０５上に描画される。表示装置１０５はまた、グラフィカルユーザインタフェース（ＧＵＩ）１０６も備え得る。術者３０は、レーザ結石破砕処置を実施するように構成された泌尿器レーザ装置７０を使用している様子が示されている。レーザ装置７０は、ワーキングチャネル１１６に挿入される光ファイバレーザ７１を備える。

治療中、尿管鏡１１０の可撓性シャフト１１５は、患者５０の尿管内に治療位置まで挿入される。イメージングモジュール１２０は、シャフト１１５の遠位端部に位置するカメラによって取得された画像を表示装置１０５上に描画する。画像は、治療位置における組織及び他の対象物（例えば腎結石）を示す。術者３０は、尿管鏡１１０によって取得され表示装置１０５上に描画された画像を見ながら、レーザ装置７０を操作することによって治療を実施する。

いくつかの実施形態において、尿管鏡１１０は、リモートインタフェース１１８を備え得る。リモートインタフェース１１８は、イメージングモジュール１２０と通信可能に結合され、ハンドル１１７によってイメージングシステム１００の操作を容易にし得る。

治療処置は、典型的には、取得した画像によって検証される所望の位置にレーザシャフト７１の作動遠位端部を配置することを含み得る。術者３０は、尿管鏡１１０のハンドル１１７の操作によって、尿管鏡１１０の遠位端部を所望の位置に配置し、光ファイバレーザ７１の遠位端部を腎結石又はその破片などのアブレートすべき対象物に向けることができる。腎結石のアブレーション中、術者３０は、尿管鏡１１０を何度か再配置して異なる腎結石の破片を視認し、光ファイバレーザ７１を異なる破片に向け直すことができる。

腎結石のアブレーション中、様々なサイズの破片が結石から砕かれ、分離される。一部の破片は、それ以上破砕しなくても尿管を通じて患者から退出するほど小さい場合がある。他の破片は、さらなるアブレーション又は回収デバイスによる患者からの除去を必要とし得る。したがって、破片の視認性は、さらなるアブレーション又は回収を容易にするのに役立つ。場合によっては、分離した破片の量があまりにも多いため、尿管鏡１１０による他の対象物の視認性を妨げることがある。

図１Ｂは、イメージングモジュール１２０のコンソール１２５の様々な構成要素のブロック図である。コンソール１２５は、１つ以上のプロセッサ１３０と、メモリ１４０（例えば非一時的コンピュータ可読媒体）とを備え、メモリ１４０には、プロセッサ１３０によって実行されると以下に記載する動作を実施するように構成される論理モジュールが格納されている。コンソール１２５は、表示装置１０５及び尿管鏡１１０と通信可能に結合されている。

論理モジュールは、イメージング論理１４１及び画像処理論理１４２を含む。イメージング論理１４１は、尿管鏡１１０から未処理の撮像データを取り込み、処理した撮像データを表示装置１０５に提供するように構成されている。イメージング論理１４１は、術者３０によって画定されるように画像を表示装置上に描画するために、リモートインタフェース１１８と通信し得る。

画像処理論理１４２は、画像拡張論理１４３、対象物追跡論理１４４、及び対象物サイズ決定論理１４５を含む。画像拡張論理１４３について、図２Ａ～図２Ｃに関連して以下で説明する。対象物追跡論理１４４については、図３Ａ～３Ｃに関連して以下で説明し、対象物サイズ決定論理１４５については、図４Ａ～図４Ｄに関連して以下で説明する。

コンソール１２５は、イメージングモジュール１２０及び尿管鏡１１０の動作を容易にするための他のハードウェア又は電気部品、例えば、電源、Ｉ／Ｏポート、電源管理モジュール、シグナルコンディショナ、処理電子装置、ＧＵＩ信号処理ユニット、計算電子装置、グラフィック処理ユニット、フィールドプログラマブルゲートアレイなどを備えてもよい。

図２Ａは、腎結石のアブレーション中に取得され得る例示的な未加工の尿管鏡画像２０１を示す。腎結石のアブレーション中、様々なサイズの破片が結石から砕かれ、分離され得る。一部の破片は、それ以上アブレーションしなくても尿管を通じて患者から退出するほど小さい（例えば、塵埃である）場合がある。他の破片は、さらなるアブレーション又は回収デバイスによる患者からの除去を必要とし得る。場合によっては、塵埃粒子を含む分離したより小さな破片の量があまりにも多いため、尿管鏡１１０による他の対象物の視認性を妨げることがある。画像２０１は、小さな破片２０５がより大きな破片２１１～２１４についての視界をどのように遮り得るかを示している。したがって、より大きな破片２１１～２１４の視認性を高めることは、より大きな破片２１１～２１４のさらなるアブレーション又は回収を容易にするのに役立ち得る。

図２Ｂは、画像拡張論理１４３による画像処理後の拡張尿管鏡画像２０２を示す。示されるように、画像拡張論理１４３は、未加工の画像２０１から小さな破片２０５を効果的に除去して、拡張画像２０２においてより大きな破片２１１～２１４のより鮮明な視覚化をもたらしている。画像拡張論理１４３は、ビデオ画像フレーム間で永続的なものである対象物からビデオ画像フレーム間で一時的なものである対象物を区別するための１つ以上の画像解析及び処理アルゴリズム（例えば、画像減算、画像比較、又は例えばメジアンフィルタ技術）を含み得る。例えば、より小さな破片２０５は、尿管内で流動的に浮遊している可能性があり、したがってビデオ画像フレーム間で流体の流れによって一時的に変位され得る。より大きな破片２１１～２１４は、より小さな破片２０５ほど流動的に浮遊しない可能性があり、したがって複数のビデオ画像フレーム間にわたって永続的に配置され得る。したがって、一時的なより小さな破片２０５により、いくつかのフレームではより大きな破片２１１～２１４の一部分についてのカメラの視界が遮られ得るが、他のフレームでは上記部分についての遮るものがない視界が得られる。永続的な破片２１１～２１４から一時的な破片２０５を区別すると、画像拡張論理１４３は、未加工の画像２０１から一時的な破片２０５を効果的に除去して、拡張画像２０２に示されるように、永続的な破片２１１～２１４をより明瞭に見えるようにすることができる。要約すると、画像拡張論理１４３は、未加工の画像２０１から一時的な破片２０５を除去することによって、拡張画像２０２を生成し得る。

図２Ｃは、いくつかの実施形態による、拡張画像２０２を定義し、表示装置１０５上に表示する例示的なプロセスステップを示すフローチャート２５０である。上記プロセスは、尿管鏡から撮像データを得ること（ステップ２５１）と、撮像データから未加工の尿管鏡画像２０１を生成すること（ステップ２５２）とを含む。上記プロセスは、未加工の尿管鏡画像２０１の複数のフレーム間で一時的な対象物（例えば破片２０５）を識別すること（ステップ２５３）をさらに含む。一時的な対象物が識別されると、未加工の尿管鏡画像２０１から一時的な対象物を除去するか又は減じることによって、拡張画像２０２が生成される（ステップ２５４）。その後、未加工の尿管鏡画像２０１又は拡張画像２０２は、表示装置１０５上に選択的に描画される（ステップ２５５）。

図３Ａ～図３Ｂは、拡張画像２０２の上に表示された追跡オーバーレイ３０１を示す。図３Ａは、第１の時点における破片２１１～２１４を含む拡張画像２０２を示す。図３Ｂは、その後の時点における破片２１１～２１４を含む拡張画像２０２を示す。示されるように、破片２１１は、図３Ａの第１の位置から図３Ｂの第２の位置へ変位されている。結石破砕中、結石の破片は、流体の流れ又はレーザアブレーションプロセスに起因して変位され得る。場合によっては、術者が破片２１１などの結石の破片の位置を視覚的に追跡することが困難であることがある。場合によっては、破片を再配置するために探していると、結石破砕プロセスに遅延が生じることがある。よって、イメージングシステム１００が拡張画像２０２内において定義された結石の破片の位置を追跡するように構成された対象物追跡論理１４４を備えると有利であり得る。このような追跡により、術者の状況認識が高められ、認知負荷が低減され得る。

いくつかの実施形態において、対象物追跡論理１４４は、結石破片２１１～２１４に識別標識３２１～３２４をそれぞれ割り当て得る。識別標識を割り当てることによって、術者は、識別された結石破片２１１～２１４の位置をより容易に再識別し、追跡することができる。いくつかの実施形態において、対象物追跡論理１４４は、識別標識をビデオ画像内の定義された破片に自動的に割り当て得る。他の実施形態では、対象物追跡論理１４４は、識別し追跡すべき結石の破片の手動選択（例えばマウスポインターによる）を容易にするように構成されてもよい。いくつかの実施形態において、例えば変位経路を示す矢印３２１Ａなどの他の追跡標識も追跡オーバーレイ３０１に示され得る。示した実施形態では、追跡オーバーレイ３０１は、拡張画像２０２又は未加工の画像２０１の上に表示され得る。

図３Ｃは、いくつかの実施形態による、未加工の尿管鏡画像２０１内又は拡張画像２０２内の対象物を追跡する例示的なプロセスステップを示すフローチャート３５０である。上記プロセスは、未加工の尿管鏡画像２０１の複数のフレーム間で永続的な対象物（例えば破片２１１～２１４）を識別すること（ステップ３５１）を含む。永続的な対象物（例えば対象物２１１～２１４）が識別されると、永続的な対象物のうちの１つ以上が、追跡すべき対象物として識別される（ステップ３５２）。次に、追跡された対象物の位置を示す標識（例えば識別標識３２１～３２４）を含むオーバーレイが生成される（ステップ３５３）。その後、オーバーレイ３０１は、表示装置１０５上において未加工の尿管鏡画像２０１又は拡張画像２０２の上に描画される（ステップ３５４）。

図４Ａ～図４Ｃは、いくつかの実施形態において対象物サイズ決定論理１４４によって実行されるサイズ決定プロセスに関連し得るさらなる例示的なオーバーレイを含む拡張画像２０２を示す。図４Ａは、拡張画像２０２の上に表示されたエッジ強調オーバーレイ４０１を示す。例として図４Ａに示すように、対象物サイズ決定論理１４４は、破片２１１～２１４の各々のまわりに延びる周縁４２１～４２４をそれぞれ定義し、強調している（又は他の方法でより見やすくしている）。結石の周縁を強調することによって、術者は、より容易に破片のサイズ及び形状を視覚化することができ、且つ／又はアブレーションのためにレーザを向ける結石の部分を識別することができる。いくつかの実施形態において、対象物サイズ決定論理１４４は、周縁を識別するための画像処理アルゴリズム（例えば、キャニー（Ｃａｎｎｙ）、ソーベル（Ｓｏｂｅｌ）、及びガウシアン（Ｇａｕｓｓｉａｎ）として知られるアルゴリズム）を含み得る。いくつかの実施形態において、対象物サイズ決定論理１４４は、エッジ強調のために画像内の破片を自動的に定義し得る。例えば、対象物サイズ決定論理１４４は、画像内の永続的な破片のサイズ評価を実施し、メモリ１４０に格納された規定のサイズを超える破片の周縁を強調することができる。いくつかの実施形態では、対象物サイズ決定論理１４４は、エッジ強調を含めるために結石の破片の手動選択（例えばマウスポインタによる）を容易にするように構成されてもよい。示した実施形態では、エッジ強調オーバーレイ４０１は、拡張画像２０２又は未加工の画像２０１の上に表示され得る。

図４Ｂは、図４Ａのエッジ強調オーバーレイ４０１とともに拡張画像２０２の上に表示された破片長さオーバーレイ４０２を示す。いくつかの実施形態において、破片長さオーバーレイ４０２は、拡張画像２０２上に単独で表示されてもよい。対象物サイズ決定論理１４４は、それぞれ示すように、破片４１１～４１４の長さ４３１～４３４などの、定義された破片のサイズ表示長さをそれぞれ定義し得る。長さ４３１～４３４の各々は、それぞれの結石サイズ（例えば撮像された面積）の明確な特徴であり得る。いくつかの実施形態において、サイズ表示長さは、周縁に沿った２時点間の最大距離であり得る。いくつかの実施形態において、長さ４３１～４３４は、術者がさらなるアブレーション又は破砕が正当とされるかどうかを判断するのに役立ち得る線標識としてオーバーレイ４０２に示され得る。いくつかの実施形態において、対象物サイズ決定論理１４４は、サイズ表示長さ４３１～４３４の測定値を定義し、長さ測定値標識をオーバーレイ４０２に表示することができる。場合によっては、サイズ表示長さにより、破片のさらなるアブレーションが必要である、又は患者が尿管を通して破片を自然に排出することができるという術者による判断が容易となり得る。エッジ強調と同様の方法で、対象物サイズ決定論理１４４は、規定の基準に従って長さ表示のために破片を自動的に定義することができ、且つ／又は長さ表示のために破片の手動選択を容易にすることができる。

図４Ｃは、拡張画像２０２の上に表示された、破片サイズオーバーレイ４０３を示す。対象物サイズ決定論理１４４は、周縁によって包囲された面積を計算することによって、破片のサイズ又は画像面積を定義し得る。破片２１１～２１４のサイズ表示標識４４１～４４４などの定義された破片のサイズ表示標識は、術者が破片２１１～２１４のサイズを、例えば互いに対して、確認できるようにする破片のサイズ表現をそれぞれ提供し得る。示した実施形態では、標識４４１～４４４は正方形を有する。他の実施形態では、標識４４１～４４４は、任意の他の多角形、山形（ｃｈｅｖｒｏｎ）、破片の輪郭、又は破片のサイズを視覚的に表すのに適した任意の他の種類のマークであってもよい。長さ表示と同様の方法で、対象物サイズ決定論理１４４は、規定の基準に従ってサイズ表示のために破片を自動的に識別することができ、且つ／又はサイズ表示のために破片の手動選択を容易にすることができる。

いくつかの実施形態において、対象物サイズ決定論理１４４は、例えば、尿管の流路面積などの尿管に関連したサイズ基準を含み得る。対象物サイズ決定論理１４４は、破片サイズが規定のサイズ基準を超えるかどうかをさらに判断することができ、超える場合には、対象物サイズ決定論理１４４は、標識４４１Ａなどの二次的な標識（ｉｎｄｉｃｕｍ）を含める、サイズ標識の形状を変更する、サイズ標識の色を変更する、又は任意の適当な区別方法で視覚表示を提供することができる。要約すると、対象物サイズ決定論理１４４は、どの破片がさらなる破砕を必要とするか、及びどの破片が尿管を通って患者から自然に排出され得るかを術者に自動的に示すことができる。

図４Ｄは、いくつかの実施形態による、未加工の尿管鏡画像２０１内又は拡張画像２０２内の対象物のサイズを評価／推定する例示的なプロセスステップを示すフローチャート４５０である。上記プロセスは、未加工の尿管鏡画像２０１の複数のフレーム間で永続的な対象物（例えば破片２１１～２１４）を識別すること（ステップ４５１）を含む。永続的な対象物が識別されると、１つ以上の永続的な対象物が、周縁強調の対象物として識別される（ステップ４５２）。周縁（例えば、エッジ４２１～４２４）が識別される（ステップ４５３）。次に、識別された周縁の強調表示を含むオーバーレイが生成される（ステップ４５４）。その後、オーバーレイ４０１は、表示装置１０５上において未加工の尿管鏡画像２０１又は拡張画像２０２の上に描画される（ステップ４５５）。周縁が強調されていると、術者は、対象物のサイズをより容易に視覚的に評価することができる。

図４Ｄをさらに参照すると、対象物のサイズを評価／推定するプロセスステップは、代表長さを決定すると有利であり得る１つ以上の永続的な対象物を識別すること（ステップ４６２）をさらに含み得る。このプロセスは、識別された対象物の各々について、周縁を識別し、周縁上の２時点間の最大長を定義する線を決定すること（ステップ４６３）をさらに含む。次いで、識別された対象物にわたって延びる線を含むオーバーレイ４０２が生成される（ステップ４６４）。その後、このオーバーレイは、表示装置１０５上において未加工の尿管鏡画像２０１又は拡張画像２０２の上に描画される（ステップ４６５）。

再度、図４Ｄを参照すると、対象物のサイズを評価／推定するプロセスステップは、サイズ評価／推定のために１つ以上の永続的な対象物を識別すること（ステップ４７２）をさらに含み得る。このプロセスは、識別された対象物の各々について、周縁を識別し、周縁によって包囲された面積を計算すること（ステップ４７３）をさらに含む。次いで、計算された面積を表す標識を含むオーバーレイ４０３が生成される（ステップ４７４）。その後、このオーバーレイは、表示装置１０５上において未加工の尿管鏡画像２０１又は拡張画像２０２の上に描画される（ステップ４７５）。いくつかの実施形態において、プロセスステップは、計算された面積をメモリに格納された面積サイズ限度と比較すること（ステップ４７６）を含み得る。このプロセスは、計算された面積がサイズ限度を超える場合には、サイズ標識を変更すること（ステップ４７７）をさらに含み得る。

図５は、画像拡張論理１４３による拡張画像２０２のさらなる画像処理後の高コントラスト尿管鏡画像５０１を示す。高コントラスト画像５０１は、破片２１１～２１４を示す高コントラスト白黒（ｂｌａｃｋ／ｗｈｉｔｅ）画像である。高い白黒コントラストにより、術者は、破片２１１～２１４などの画像内の重要な対象物をより容易に視覚化し、注視することができる。上述したいずれか又はすべてのオーバーレイは、高コントラスト画像５０１の上に配置されてもよい。

画像処理論理１４２は、画像２０１，２０２，５０１とオーバーレイ３０１，４０１，４０２，４０３との任意の組合せの描画を容易にし得る。画像処理論理１４２はまた、ＧＵＩ１５１又はリモートインタフェース１１８を通じて、術者がこれらの組合せのいずれかの間の切替えを自由に行うことも容易にし得る。

本発明の実施形態は、本開示の趣旨から逸脱することなく、他の特定の形態で具体化されてもよい。記載の実施形態は、あらゆる点で単なる例示であり、限定的なものではないと見なされるべきである。したがって、実施形態の範囲は、前述の説明によってではなく、添付の特許請求の範囲によって示される。特許請求の範囲の均等物の意味及び範囲内に入るすべての変更は、それらの範囲内に包含されるべきである。

Claims (19)

1. 尿管鏡システムであって、
   患者身体の尿管に挿入するように構成された尿管鏡であって、前記尿管鏡は、
   長尺状可撓性のシャフトと、
   前記シャフトの遠位端部に配置されたカメラとを備える、尿管鏡と、
   前記尿管鏡と動作可能に結合された画像処理モジュールであって、前記画像処理モジュールは、１つ以上のプロセッサと非一時的コンピュータ可読媒体とを含むコンソールを備え、前記非一時的コンピュータ可読媒体には、前記１つ以上のプロセッサによって実行されると以下の動作を実施するように構成される論理が格納されており、前記動作は、
   第１の画像を含む撮像データを受け取るステップであって、前記第１の画像は複数の対象物を含み、前記複数の対象物は、前記複数の対象物の第２のサブセットのうちの１つ以上の対象物の視認性を妨げる前記複数の対象物の第１のサブセットを含む、ステップと、
   前記複数の対象物の第２のサブセットを、視覚的に遮るものがない状態で含む第２の画像を生成するステップと、
   表示装置上に前記第１の画像又は前記第２の画像の描画をもたらすステップとを含む、画像処理モジュールと
   を備える、尿管鏡システム。
2. 前記動作は、前記表示装置上に前記第２の画像の描画をもたらすステップをさらに含む、請求項１に記載のシステム。
3. 前記撮像データはビデオ撮像データを含み、
   前記第１の画像及び前記第２の画像はビデオ画像を含む、請求項１又は２に記載のシステム。
4. 前記対象物は、腎結石の破片を含む、請求項１～３のいずれか１項に記載のシステム。
5. 前記動作は、前記第１の画像から前記第１のサブセットを除去して前記第２の画像を定義するステップをさらに含む、請求項１～４のいずれか１項に記載のシステム。
6. 前記第２のサブセットは、前記第１の画像内で永続的なものである対象物を含み、
   前記第１のサブセットは、前記第１の画像内で一時的なものである対象物を含む、請求項１～５のいずれか１項に記載のシステム。
7. 前記動作は、前記第１の画像内又は前記第２の画像内の１つ以上の対象物の位置を追跡するステップをさらに含む、請求項１～６のいずれか１項に記載のシステム。
8. 前記動作は、追跡画像オーバーレイを定義するステップをさらに含み、前記追跡画像オーバーレイは、追跡された前記対象物に関連する追跡標識を含む、請求項７に記載のシステム。
9. 前記動作は、前記表示装置上において前記第１の画像又は前記第２の画像の上に前記追跡画像オーバーレイの描画をもたらすステップをさらに含む、請求項８に記載のシステム。
10. 前記動作は、前記第１の画像内又は前記第２の画像内の１つ以上の対象物の周縁を識別するステップをさらに含む、請求項１～９のいずれか１項に記載のシステム。
11. 前記動作は、エッジ強調画像オーバーレイを定義するステップをさらに含み、
    前記周縁は、前記エッジ強調画像オーバーレイにおいて強調される、請求項１０に記載のシステム。
12. 前記動作は、前記表示装置上において前記第１の画像又は前記第２の画像の上に前記エッジ強調画像オーバーレイの描画をもたらすステップをさらに含む、請求項１１に記載のシステム。
13. 前記動作は、前記第１の画像内又は前記第２の画像内の１つ以上の対象物のサイズを定義するステップをさらに含み、前記サイズは、周縁によって包囲された面積を計算することによって定義される、請求項１０～１２のいずれか１項に記載のシステム。
14. 前記動作は、サイズ決定画像オーバーレイを定義するステップをさらに含み、前記サイズ決定画像オーバーレイは、サイズが決定された対象物に関連するサイズ標識を含み、
    各サイズ標識は、前記対象物のそれぞれのサイズの視覚表示を提供する、請求項１３に記載のシステム。
15. 前記動作は、前記表示装置上において前記第１の画像又は前記第２の画像の上に前記サイズ決定画像オーバーレイの描画をもたらすステップをさらに含む、請求項１４に記載のシステム。
16. 前記動作は、
    各々の計算された面積を前記非一時的コンピュータ可読媒体に格納された面積限度と比較するステップと、
    それぞれの前記計算された面積が前記面積限度を超える場合には、前記サイズ標識を変更するステップと
    をさらに含む、請求項１５に記載のシステム。
17. 前記動作は、前記第１の画像内又は前記第２の画像内の１つ以上の対象物の最大長を定義するステップをさらに含み、各最大長は、それぞれの前記対象物の周縁の２点間の最大距離によって定義される、請求項１０～１６のいずれか１項に記載のシステム。
18. 前記動作は、長さ画像オーバーレイを定義するステップをさらに含み、前記長さ画像オーバーレイは、各最大長を視覚的に表す線標識を含む、請求項１７に記載のシステム。
19. 前記動作は、前記表示装置上において前記第１の画像又は前記第２の画像の上に前記長さ画像オーバーレイの描画をもたらすことさらに含む、請求項１８に記載のシステム。

Images