JP6649260B2 - 血管の深さ及び位置の可視化並びに血管断面のロボットガイド可視化 - Google Patents

Description

本開示は医療機器と方法に、より具体的には医療用途における解剖学的内部構造の改良された可視化とガイダンスのためのシステムと方法に関する。

冠動脈バイパスグラフト術（ＣＡＢＧ）は閉塞冠動脈の血行再建のための外科手術である。従来の手術では、患者の胸骨が開かれ、心臓が完全に露出される。しかしながら、低侵襲（ＭＩ）バイパス手術が肋骨間の小さなポートを通じて実行される。ＣＡＢＧ術の重要な部分は患者の身体からの血管の除去であり、そしてこれは冠動脈における一つ以上のアテローム性動脈硬化狭窄をバイパスするために使用される。通常除去され使用される血管は内胸動脈（ＩＭＡ）であり、これは胸腔に位置する左内胸動脈（ＬＩＭＡ）若しくは右内胸動脈（ＲＩＭＡ）を含み得る。

ＭＩ心臓バイパス手術中、これらＩＭＡ血管への直接アクセスは利用できず、それらは肋骨間の空間における肋間筋を通じてポートへ挿入される長い器具を用いて除去される。ＭＩ手術中、外科助手が内視鏡を保持し得るか、又はこれはロボットガイダンスを用いて保持され得る。ロボットガイダンスの場合、ロボットを特定の場所へ動かすためにビジュアルサーボが使用され得る。ビジュアルサーボは、内視鏡画像上の点を選択し、その点が画像の中心になるようにロボットが動くことから成る。

内視鏡画像はこのタイプの手術にとって唯一の可視化法であるが、内視鏡は血管の小区分の限られたビューしか提供しない。ＭＩ手術の場合、外科医は肋骨間に挿入されて胸骨エリア下に達する伸長器具で作業する。内視鏡画像における動脈の局在確認と内視鏡の操作は低侵襲冠動脈バイパスグラフト術の広範な採用を制限する主要な問題の一つである。動脈の一部は組織で覆われ得る。外科医は血管にアクセスするために術中に組織を除去する。深さ知覚の欠如は、血管の安全な露出を保証するために血管の真上若しくは上部に位置する組織を除去するときに外科医が細心の注意を払うことを要求する。これは手術時間を増し、外科医にとって重要なストレス点である。低侵襲ＣＡＢＧにおいて、外科医は心臓表面を触診することができないので、問題は増幅され得る。低侵襲ＣＡＢＧにおいて使用される器具の長さはツールの近位端でいかなる触覚フィードバックも許さない。

本発明の原理によれば、解剖学的標的を可視化するためのシステムは、解剖学的標的のリアルタイム画像を収集するように構成されるイメージング装置を含む。三次元モデルが術前若しくは術中画像から生成され、イメージング装置からの画像では見えない解剖学的標的の表面下構造の画像を含む。画像処理モジュールはリアルタイム画像にレジストレーションされるオーバーレイを生成し、表面下構造と表面下構造の深さを示すように構成される。表示装置はリアルタイム画像とオーバーレイを同時に表示するように構成される。

解剖学的標的を可視化するためのシステムは解剖学的標的のリアルタイム画像を収集するように構成されるイメージング装置を含む。三次元モデルが術前若しくは術中画像から生成され、イメージング装置からの画像では見えない解剖学的標的の表面下構造の画像を含む。イメージング処理モジュールは、リアルタイム画像にレジストレーションされ、表面下構造を示すオーバーレイを生成するように構成される。可視化機能は表面下構造の少なくとも一部の内部ビューを表示するように構成される。表示装置は、リアルタイム画像、オーバーレイ、若しくは内部ビューのうち少なくとも二つを同時に表示するように構成される。

解剖学的標的を可視化するための方法は、リアルタイム画像を収集するためにスコープを用いて解剖学的標的をイメージングするステップと、リアルタイム画像を解剖学的標的の内部ボリュームの三次元モデルとレジストレーションするステップと、リアルタイム画像にレジストレーションされるオーバーレイとともにリアルタイム画像を表示するステップと、オーバーレイ上に解剖学的標的の表面下構造と表面下構造の深さを示すステップとを含む。

本開示のこれらの及び他の目的、特徴、及び利点は、添付の図面を参照して読まれるその実施形態例の以下の詳細な説明から明らかとなる。

本開示は以下の図面を参照して好適な実施形態の以下の記載を詳細に提示する。

一実施形態にかかる解剖学的標的を可視化するためのシステムを示すブロック／フロー図である。 本発明の原理にかかる心臓の表面下の血管を示すオーバーレイを持つ内視鏡画像である。 本発明の原理にかかる表面下の血管の深さを定義するための内視鏡ビュー方向を示す略図である。 本発明の原理にかかる表面下の血管を定義するための異なるビュー候補を示す略図である。 本発明の原理にかかる、心臓の表面下の血管の深さを示すようにコード化された部分を伴うオーバーレイを持ち、カラーグラデーションスケールを持つ内視鏡画像である。 本発明の原理にかかる、心臓の表面下の血管を示し、カーソル位置において心臓の表面下の血管の深さを示すように血管の一部を指すためのカーソルを示すオーバーレイを持つ内視鏡画像である。 本発明の原理にかかる、心臓の表面下の血管を示し、示された心臓の表面下の血管の深さを持つツール先端付近の血管の部分を示し、ツール先端付近の深さを示す矢印とともにグラデーションキーをさらに示すオーバーレイを持つ内視鏡画像である。 本発明の原理にかかる、心臓の表面下の血管を示し、ツール先端周辺の成形領域を示し（成形領域内の心臓の表面下の血管の深さが示される）、領域内の深さを示す矢印とともにグラデーションキーをさらに示すオーバーレイを持つ内視鏡画像である。 本発明の原理にかかる、心臓の表面下の血管を示し、３Ｄフライスルー画像若しくは指示位置における断面を用いて血管の内部構造を見るためにロボットガイダンスを用いてたどられる血管に沿った経路を示す、オーバーレイを持つ内視鏡画像である。 実施形態例にかかる解剖学的標的を可視化するための方法を示すフロー図である。

本発明の原理によれば、内視鏡ビューに対して若しくは手術器具に対して血管の深さを計算して可視化するシステムと方法が提供される。血管の画像上にオーバーレイされる深さの可視化のための代替的方法は、カラーグラデーション及び他の可視表示を含み得る。血管、例えば冠動脈の検査は、血管に沿ってロボット操作される内視鏡をガイドすること、又は心臓表面の画像を可視化して仮想フライスルー三次元（３Ｄ）可視化を同時に実行することによって、実施され得る。これは術前３Ｄ画像からの診断及び解剖学的情報を全てインターベンションに持ち込む。ハイブリッド血行再建術において、この方法は計画された若しくは既存のステント留置部位に対し最低限のインシデンスがあるようにステントが留置される場所を可視化してバイパスを計画するために使用され得る。

内視鏡ビューに対する血管の位置についての情報を与えることが試みられてきたが、かかる試みは臓器（例えば心臓）の表面に対する血管の深さの情報と可視化を獲得していない。血管の深さは、外科医が血管のどの部分をバイパス位置のために使用するかを決定し、血管より上の過剰組織を除去するためにどの手術器具を使用するかを決定することを可能にする重要な情報になり得る。

一実施形態において、システムと方法は臓器の表面に対する血管の深さを計算して可視化する。これは外科手術（例えば冠動脈バイパス）の改良された計画を可能にし、過剰組織の除去を通じて血管を損傷するリスクを減らすことによって安全性を増す。一つの応用は摘出動脈（ＬＩＭＡ）及び標的動脈（冠動脈）の位置を可視化する冠動脈バイパス術を含む。

別の実施形態において、低侵襲バイパス術中に、バイパスの部位を選ぶために一つ若しくは複数の血管、例えば冠動脈の診断仮想フライスルー可視化が、内視鏡ビューと一緒に採用される。これは手術結果に対する潜在的な強い影響を伴う病変若しくは他の特徴を回避する部位の選択をもたらし得る。本発明の原理は、動脈に沿ってロボット操作される内視鏡をガイドすること、心臓表面の画像の可視化と仮想フライスルー３Ｄ可視化を同時にすることによって、冠動脈の検査を可能にする。これは術前３Ｄ画像からの診断及び解剖学的情報を全てインターベンションに持ち込む。診断ステージ中、分岐と狭窄がないか検査するために動脈のフライスルー３Ｄ可視化を生成する方法は、三次元血管内部からのカメラビューを用いることによって生成される。電子ビームコンピュータ断層撮影などからフライスルーを生成する方法が採用され得る。フライスルーは３Ｄイメージングの診断価値を改良して動脈及び血管内部のプラークの精密検査を可能にする。

本発明の原理は冠動脈バイパス術のため、及びそれとの使用のための医療機器に関して記載されるが、本発明の教示はもっと広く、標的構造の拡張された可視化が必要とされる若しくは望まれるいかなる器具若しくは手術にも適用可能であることが理解されるべきである。一部の実施形態において、本発明の原理は複雑な生物学的若しくは機械的システムのトラッキング若しくは分析において利用される。特に、本発明の原理は生物学的システムの内部トラッキング術、肺、胃腸管、排泄器官、血管などといった体の全部位における手術に適用可能である。図に描かれる要素はハードウェア及びソフトウェアの様々な組み合わせで実現され、単一要素若しくは複数要素に組み合され得る機能を提供し得る。

図示の様々な要素の機能は、専用ハードウェアだけでなく適切なソフトウェアと関連してソフトウェアを実行可能なハードウェアの使用を通じて提供され得る。プロセッサによって提供されるとき、機能は単一専用プロセッサによって、単一共有プロセッサによって、又はその一部が共有され得る複数の個別プロセッサによって提供され得る。さらに、"プロセッサ"若しくは"コントローラ"という語の明示的使用は、ソフトウェアを実行することができるハードウェアを排他的にあらわすと解釈されるべきではなく、限定されることなく、デジタル信号プロセッサ（"ＤＳＰ"）ハードウェア、ソフトウェアを保存するためのリードオンリーメモリ（"ＲＯＭ"）、ランダムアクセスメモリ（"ＲＡＭ"）、不揮発性記憶装置などを非明示的に含み得る。

さらに、本発明の原理、態様、及び実施形態だけでなくそれらの特定の実施例を列挙する本明細書の全記述は、それらの構造的及び機能的均等物の両方を包含することが意図される。付加的に、かかる均等物は現在既知の均等物だけでなく将来開発される均等物（すなわち構造に関わらず同じ機能を実行する開発される任意の要素）の両方を含むことが意図される。従って、例えば、本明細書に提示されるブロック図は本発明の原理を具体化する例示的なシステムコンポーネント及び／又は開路の概念図をあらわすことが当業者によって理解される。同様に、任意のフローチャート、フロー図などは、コンピュータ可読記憶媒体に実質的にあらわされ、コンピュータ若しくはプロセッサによって、かかるコンピュータ若しくはプロセッサが明示されているか否かを問わず、そのように実行され得る、様々なプロセスをあらわすことが理解される。

さらに、本発明の実施形態は、コンピュータ若しくは任意の命令実行システムによる若しくはそれらと関連した使用のためのプログラムコードを提供するコンピュータ使用可能若しくはコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラム製品の形をとり得る。この記載の目的で、コンピュータ使用可能若しくはコンピュータ可読記憶媒体は、命令実行システム、装置、若しくはデバイスによる又はそれらと関連した使用のためのプログラムを、包含、記憶、通信、伝搬、若しくは輸送し得る任意の装置であり得る。媒体は電子、磁気、光学、電磁、赤外線、若しくは半導体システム（又は装置若しくはデバイス）又は伝搬媒体であり得る。コンピュータ可読媒体の実施例は、半導体若しくはソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、剛体磁気ディスク及び光ディスクを含む。光ディスクの現在の実施例はコンパクトディスク‐リードオンリーメモリ（ＣＤ‐ＲＯＭ）、コンパクトディスク‐リード／ライト（ＣＤ‐Ｒ／Ｗ）、Ｂｌｕ‐Ｒａｙ（登録商標）及びＤＶＤを含む。

図中、類似する数字は同一若しくは同様の要素をあらわし、図１を最初に参照すると、一実施形態にかかる低侵襲外科手術のためのシステム１００が例示される。システム１００はワークステーション若しくはコンソール１１２を含んでもよく、そこから手術が監視及び／又は管理される。ワークステーション１１２は好適には一つ以上のプロセッサ１１４と、プログラム及びアプリケーションを保存するためのメモリ１１６を含む。メモリ１１６は医療機器１０２と連動して動作するために利用されるプランニングモジュール１０４と画像ガイダンスモジュール１０６を保存し得る。医療機器１０２は、カテーテル、ガイドワイヤ、プローブ、内視鏡、フレキシブル内視鏡、ロボット、電極、フィルタ装置、バルーン装置、若しくは他の医用部品などのうち一つ以上で展開され得るイメージング装置１０５（例えばカメラ、レンズ付き光ファイバなど）を含み得る。機器１０２は患者の体１６０へ挿入され得る。一実施形態において、実行される手術は低侵襲冠動脈手術を含む可能性があり、機器１０２は血管（例えば内胸動脈（ＩＭＡ））などの解剖学的標的１３１を観察、特定、及び／又は分離するために体１６０の胸腔１６２の中へ挿入され得る。

プランニングモジュール１０４は以下の要素と特徴を含む。例えば冠動脈バイパス術のため血管テイクダウン中、プランニングモジュール１０４は外科医が他の器具を操作することを許しながら、摘出される標的血管、例えばＩＭＡの可視化の制御のために計画する。プランニングモジュール１０４はロボット若しくはロボットシステム１０８を操作する、又は手動手順中にオペレータへガイダンスを与えるためのプランを保存する。

画像処理モジュール１４８は可視化、深さ表示などを制御して総合的視野を提供し、当技術分野で既知の方法を用いて例えば内視鏡ビデオ上への術前（若しくは術中）画像のオーバーレイを可能にする画像レジストレーションをさらに提供する。プランニングモジュール１０４は関心標的点の選択を提供し、これらは画像ガイダンスモジュール１０６との使用のために参照されるか若しくはインデックス付けされ得る。プランニングモジュール１０４は血管若しくは他の解剖学的特徴寸法（例えば深さなど）の計算も提供する。

画像処理モジュール１４８はイメージング装置１１０を用いてとられる術前若しくは術中画像などの手術画像１３５をレジストレーション及びオーバーレイするために利用され得る。イメージング装置１１０は同時に若しくは別の時間及び場所において画像を収集するために利用され得る。手術画像１３５は三次元術前コンピュータ断層撮影（ＣＴ）画像若しくは磁気共鳴画像（ＭＲＩ）など、又は術中Ｘ線若しくは超音波を含み得る。他のイメージングモダリティも考慮される。手術画像１３５は解剖学的標的１３１に沿った仮想内部断面若しくは内部ビュー画像を含む三次元モデル１３６を構築するために利用される。

画像ガイダンスモジュール１０６は、好適には機器１０２をサポートするロボットシステム１０８を制御することによって、例えば内視鏡などの機器１０２の画像ベース制御を提供する。オーバーレイ１０７が画像処理モジュール１４８及び／又はプランニングモジュール１０４を用いて生成され得る。オーバーレイ１０７は血管画像１２４をあらわすハイライト領域がその上に可視化される現在のライブ内視鏡画像１３４を含み得る。画像１２４は例えば血管が存在する表面下の深さなどといった追加情報をユーザに視覚的に提供するためにコード化、カラー化、若しくはテクスチャ化され得る。

画像ガイダンスモジュール１０６は標的構造１３１の長さに沿ってロボットシステム１０８をガイドするために利用され得る。一実施形態において、機器１０２はプランニングモジュール１０４による使用のためのプランに保存される、プランニングステージ中に割り当てられる関心点を用いてガイドされる。

ワークステーション１１２は被検者（患者）若しくはボリュームの内部画像を見るためのディスプレイ１１８を含み、機器１０２から収集される画像の上にオーバーレイ若しくは他のレンダリングが生成される画像を含み得る。ディスプレイ１１８はワークステーション１１２及びそのコンポーネントと機能、又はシステム１００内の任意の他の素子とユーザがインタラクションすることも可能にし得る。これはキーボード、マウス、ジョイスティック、触覚デバイス、若しくはワークステーション１１２からのユーザフィードバックとユーザインタラクションを可能にする任意の他の周辺機器若しくは制御を含み得る、インターフェース１２０によってさらに容易にされる。

解剖学的標的１３１の手術画像１３５は冠動脈などを含む血管の３Ｄ画像を含み得る。患者の解剖学的構造の診断若しくは術前スキャン中に、３Ｄ血管造影スキャンが収集され得る。スキャンから、標的１３１の３Ｄモデル１３６が構築され得る。例えば、スキャン画像から、当技術分野で既知の方法を含み得るセグメンテーション法が、標的の３Ｄ表面をその分岐と特徴全てとともに生成するために利用され得る。次に、血管内部のカメラ視点から仮想血管造影画像が生成されるか若しくは取得される。仮想画像の生成は血管構造の中心線の検出を含み得る。中心線は線から血管壁までの距離を最小限にしながら血管の中心における線を見つけ出す骨格化（ｓｋｅｌｅｔｏｎｉｚａｔｉｏｎ）を用いて計算され得る。この方法は、血管の空間分岐を示すことが一つの目的であるため、本発明の原理にかかる用途によく適している。

そして、リアルタイム内視鏡画像との３Ｄモデル１３６のレジストレーションが実行される。内視鏡１０２を適所に、例えば心臓などの臓器を見るために位置付けて、外科医は内視鏡画像の収集を開始し得る。そのために、外科医若しくはロボット１０８は標的１３１の可視部に沿って未較正ロボットビジュアルサーボ若しくは他の技術を用いて内視鏡１０２を動かす。外科医はそれに従って内視鏡１０２を動かすために血管若しくは他の経路に沿った点を選択し得る。外科医は手術器具を器具が動く際のガイドとしても使用することができ、内視鏡１０２はツール先端をたどることができる。

手術画像１３５及び／又は３Ｄモデル１３６を内視鏡画像にレジストレーションするために、画像処理モジュール１４８に保存されるマッチングアルゴリズムが利用され得る。他の画像処理技術も、画像／モデルをレジストレーションし、レジストレーションを維持するために利用され得る。

内視鏡１０２は軟性鏡であり得、斜視鏡及び直視鏡のいずれか若しくは両方であり得る。内視鏡１０２の動きは画像処理モジュール１４８によって事前にプログラムされゲートされ得る。この実施形態において、動きは外科医のコマンドによって生成されゲートされる。

特に有用な実施形態によれば、例えば内視鏡カメラ１０５によって収集される外部カメラビューでは見えない臓器の内部解剖構造を決定するために手術（術前若しくは術中）画像１３５及び／又は３Ｄモデル１３６が利用され得る。一実施例において、心臓は特定、バイパスなどされる必要があり得る血管をその表面下に含み得る。画像１３４では見えない血管の部分及びサイズを含むようにオーバーレイ画像１０７が生成され得る。特定された血管がオーバーレイ画像１０７においてレンダリングされ得るように、スコープ画像１３４が手術（術前若しくは術中）画像１３５及び／又は３Ｄモデル１３６とレジストレーションされる。オーバーレイ１０７は解剖学的標的１３１内の内部構造を明らかにする。これは内視鏡１０２の位置、オペレータによって選択される点などにおける断面画像の生成を含み得る。一実施形態において、オーバーレイ１０７は表面下の血管の深さを示す色、テクスチャ若しくは他の視覚情報又は他の情報を含み得る。例えば、手術画像１３５に基づいて、血管内のプラーク蓄積の量がわかる可能性があり、対応する深さ位置においてオーバーレイ１０７に表示され得る。

画像オーバーレイ１０７において関心点が選択されて示される。一旦標的１３１の画像１３４上で選択されると、選択点の断面ビューが生成され表示され得る。関心点は保存され、手術中に参照されることができる。交互に、点が選択されると、ロボット１０８（内視鏡ホルダー）が内視鏡１０２をその場所へ動かすことができる（例えばロボット１０８のジョイント位置が、手術の画像ガイド部分中に参照されることができるように保存され得る）。

解剖学的関心点上の点の選択は、例えば初期点、終点、及び他の解剖学的特徴若しくは点を含み得る。オーバーレイ１０７はリアルタイム画像１３４とマップ、又は、筋膜及び他の組織の下に位置し得るため内視鏡画像上で直接見えない血管及び特徴（例えば分岐）の場所を示す、画像処理１４８を用いて生成される生成された視覚表示を含み得る。３Ｄ可視化機能１２５は構造上の選択された位置若しくは点における内部ビュー（例えば血管の断面又はフライスルー画像若しくはビデオ）を生成する。内部データは３Ｄモデル１３６及び／又は３Ｄ画像１３５を用いて仮想的に再現される。内部ビューはユーザ／外科医への表示のために単独で若しくは他のビューとともに提供され得る。内部ビューは自動的に若しくはユーザコマンドによって生成され得る。例えば、断面は血管内の石灰化若しくはアテローム硬化性狭窄の存在を示すために内視鏡画像と同時に見られ得る。

図２を参照すると、画像２００は内視鏡画像１３４の上の術前／術中３Ｄ画像からの血管２０２（例えば動脈）のオーバーレイ１０７を示す。画像２００は臓器２０４（この実施例では心臓）の表面に対する血管２０２の深さを示す。深さの表示は外科手術（例えば冠動脈バイパス）の改良されたプランニングを可能にし、手術中に血管２０２の上の過剰組織の除去中に一つ若しくは複数の血管を損傷するリスクを減らすことによって安全性を増大する。画像２００は冠動脈２０２のマップを示す。冠動脈２０２は、表面からの深さ、病変若しくは他の特徴の場所、閉塞などといった動脈の特性を示すために、テクスチャ化され、カラー化され、空間的に配向され、サイズ指定され、若しくは英数字でラベルされ得る。画像２００が有用な一つの応用は、摘出動脈（例えば左内胸動脈（ＬＩＭＡ））と標的動脈（冠動脈）の位置を可視化する冠動脈バイパス手術を含む。

上記の通り、内視鏡画像１３４と術前／術中画像１３５若しくは３Ｄモデル１３６間のレジストレーションが心臓及び血管について実現される。オーバーレイ１０７はディスプレイ上でユーザに視覚的に伝えられる特性を示すために生成される。これは以降に記載の一実施形態例に従って提供される。

図３を参照すると、略図は光学イメージングシステム３０２、臓器表面（心臓）３０４及び隠れた血管３０６を示す。ビューの方向３０８がイメージングシステム３０２の器具に対して決定される。２Ｄ‐３Ｄレジストレーションの結果は術前画像（１３５）の３Ｄ座標系に対する内視鏡１０２の位置と配向を含む。内視鏡１０２は較正されていないので、厳密な'深さ'、すなわち内視鏡１０２と心臓３０４の間の距離はわからない可能性がある。しかしながら、ビュー方向３０８は当技術分野で既知の数式を用いて２Ｄ‐３Ｄレジストレーションの変換行列から計算されることができる。

引き続き図１を参照しながら図４を参照すると、血管３０６の深さが計算され定義される。一般に、血管の深さは一意的に定義されず、そこから深さ"ｄ"が計算される基準オブジェクト（例えば内視鏡のビューの方向３０８、器具方向、心臓の表面３０４など）に依存する。例えば、深さｄは臓器表面への最短距離、又はビューの方向３０８に沿った距離として定義され得る。一実施形態において、内視鏡３０２は術野の視覚的フィードバックのみを提供するので、深さｄは内視鏡３０２のビューの方向３０８から測定され得る。別の実施形態において、血管より上若しくは心臓の表面の真上に位置する器具間の距離ｄが利用され得る。一実施形態において、外科医は内視鏡画像と手術画像２０２のオーバーレイ１０７を用いて心臓３０４上の場所へ器具をガイドする。当技術分野で既知の画像認識法を用いて、システム１００は画像１３４における器具３０２の位置を検出する（例えば器具３０２は心臓若しくは臓器の残り、又は容易に識別される明確に定義された形状とは顕著に異なる色を持つため）。器具３０２を識別するために単純な色閾値化法が利用され得るが、他の方法が利用されてもよい。画像レジストレーションを用いて、３Ｄ画像の心臓表面上の点が器具ツール先端から識別される。そし深さがその点から血管上の最も近い点への距離として定義される。深さはこの点から血管構造上の他の点まで計算されることもできる。そして深さ情報はライブ内視鏡画像１３４上で可視化されることができる。

図５を参照すると、例示の目的で、画像２００の中央に位置する主要血管３１０が近位端において心筋内にあり、画像２００の血管の遠位端において再びあらわれる、すなわち血管３１０の深さは画像２００の右端でより深くなると仮定する。血管の各セグメントの距離が計算された後、例えば色に基づいて深さを示すグラデーション３１２が適用され得る。深さが大きくなるにつれて互いに近づく血管構造内部の高密度線若しくは低密度線を用いるなど、例えばグラデーションを通じたカラーエンコーディング以外の他のインジケータも深さを表すために利用され得る。

図６を参照すると、別の実施形態において、カーソル若しくはポインタが血管上の異なる点に位置するようにカーソル３２０若しくはオーバーレイ情報（例えば英数字）３２２を用いて深さが示され得る。

図７を参照すると、別の実施形態は器具１０２（若しくは任意の指定器具）の下の深さとして深さを示し得る。器具１０２が血管３０６の上に位置するので、深さ３２４は器具１０２の位置において臓器２０４の表面と血管２０６の間に示される。器具１０２は内視鏡若しくは画像を収集するイメージング装置である必要はない。深さは色若しくは他のインジケータで示されても示されなくてもよい。深さ３２４は器具１０２のツール先端若しくはその付近における特定の深さを示すインジケータ３２５（例えば矢印など）と一緒にカラーグラデーション３１２で示され得る。

図８を参照すると、別の実施形態において、器具先端４１０は連続的にトラックされ得、ツール先端４１０からユーザ定義領域４１２、例えば先端付近の半径若しくは他の形の領域内の全血管構造までの深さが、グラデーション４１４を用いてカラーエンコードされ得る。深さ３２４は器具１０２のツール先端若しくはその付近における特定の深さを示す別のインジケータ４０６（矢印など）と一緒にカラーグラデーション４１４で示され得る。

本発明の原理は心臓関連外科手術、特に冠動脈バイパスグラフト術に関して記載されているが、本発明の原理は内視鏡手術が血管に対して実行される他の状況（胸腔鏡検査若しくは一般腹腔鏡検査）又はインターベンション中の他の解剖学的構造にも適用可能であることが理解されるべきである。

再度図１を参照すると、実施形態はオーバーレイ１０７及び／又は関心選択点を用いて血管（例えば動脈）に沿ってロボット操作される内視鏡１０２をガイドすることによって冠動脈の検査を可能にし得る。一実施形態において、心臓表面の画像が可視化され、内部解剖構造（例えば血管内部）の仮想フライスルー３Ｄ可視化若しくは断面画像が同時に可視化され得る。内部解剖構造の仮想フライスルー３Ｄ可視化若しくは断面画像は術前若しくは術中３Ｄ画像１３５又はモデル１３６に基づいて生成され得る。オーバーレイ１０７はインターベンション中にユーザへ提供される術前若しくは術中３Ｄ画像１３５又はモデル１３６からの診断及び解剖学的情報全てを利用する。

システム１００は、好適には胸部若しくは体の他のエリアにおける挿入点周辺でピッチ及びヨーにおける内視鏡１０２の動きを許す少なくとも自由度２を含むロボット１０８を含み得る。内視鏡ビューと術前／術中３Ｄ画像との関係は上記の通り確立され得る。内視鏡１０２とロボット座標系（例えばロボットベース）の関係はロボット運動学とエンコーダからわかる。

引き続き図１を参照しながら図９を参照すると、画像５０２は手術画像１３５及び／又はモデル１３６に基づいてオーバーレイ１０７がその上にレジストレーションされる内視鏡画像１３４を示す。外科医は内視鏡ビューにおいて冠動脈５０４若しくはその一部を選択する。ロボット１０８（図１）はロボット１０８と画像（心臓）座標系（例えば（画像１３５を生成するために使用される）３Ｄスキャン装置の座標系）との既知の空間関係を用いて選択された動脈５０４に沿って内視鏡１０２を動かす。３Ｄ可視化機能１２５（図１）はユーザ／外科医への表示用に提供され得る一つ若しくは複数の選択位置における血管の断面５０６（若しくは三次元フライスルー画像）を生成する。例えば、断面５０６は石灰化若しくはアテローム硬化性狭窄の存在を示す仮想画像５０８を示し得る。

別の実施形態において、自動可視化が利用され、内視鏡１０２若しくは他の装置のポジショニングによって制御され得る。例えば、血管断面５０６は内視鏡画像１３４の中心に対応する位置について、又は選択位置などにおいてレンダリングされ得る。断面画像は自動的に選択され得る仮想画像５０８を含む。断面３Ｄビュー５０６は外科医によって生成され可視化され得る。

別の実施形態において、経路５１０若しくは血管に沿った内視鏡のロボットガイダンスは対応する断面５０６の可視化を与えられ得る。内視鏡画像１３４の中心における血管断面５０６は自動的に選択されることができ、断面３Ｄビューは外科医によって生成され可視化され得る。画像中の全ての位置と関連するロボットエンコーダの既知の値に基づいて、ロボット１０８はユーザによって定義される速度でその長さにわたって経路５１０をたどるように内視鏡１０２を動かすことができる。内視鏡１０２が動くにつれて、内視鏡の画像１３４だけでなく仮想画像５０８再構成の両方が同時にディスプレイ１１８上に示され得る。画像ガイダンスモジュール１０６は内視鏡１０２をガイドするために利用される。外科医はビジュアルサーボを用いること、及び／又は、例えばプランニング中に選択される、前に選択された点を参照することによって、ある場所において内視鏡を自動的に局在確認することができる。外科医が経路５１０（例えば動脈）に沿って進めるにつれて、現在の内視鏡ビュー（スコープ画像１３４）、オーバーレイ１０７（計算された深さデータを伴う又は伴わない）及び選択された断面５０６の両方が同時に外科医へ表示され得る。内部カメラビュー若しくは断面５０６が術前画像１３５及び／又はモデル１３６から提供される。レジストレーション情報と組み合わされるロボットエンコーダから内視鏡１０２の動きがわかるので、経路５１０が厳密に及び正確にたどられることができ、ロボット１０８が経路５１０に沿って動くにつれて動脈５０４の内部のフライスルービデオを生成することができる。

本発明の方法は、（隣接動脈に対する断面（５０６）を用いて）どこにステントが留置されるかを可視化し、ステント留置部位に対し最小インシデンスがあるようにバイパスを計画するためにハイブリッド血行再建術においても利用されることができる。

内視鏡ガイド低侵襲外科手術のための他の応用は、低侵襲冠動脈バイパスグラフト術、心房中隔欠損縫合、弁修復術／置換術などといった心臓手術；子宮摘出、前立腺切除、胆嚢手術などといった腹腔鏡手術；自然開口部越経管腔的内視鏡手術（ＮＯＴＥＳ）；肺／気管支鏡手術；脳神経外科インターベンションなどを含み得る。

図１０を参照すると、フロー図は本発明の原理にかかる解剖学的標的を可視化するための方法を示す。ブロック６０２において、リアルタイム画像を収集するためにイメージング装置（例えばスコープ）を用いて解剖学的標的が撮像される。ブロック６０４において、リアルタイム画像が解剖学的標的の内部ボリュームの三次元モデルとレジストレーションされる。ブロック６０６において、リアルタイム画像にレジストレーションされたオーバーレイとともにリアルタイム画像が表示される。ブロック６０８において、解剖学的標的の表面下の構造が示される。

ブロック６１０において、表面下の構造の深さがオーバーレイ上に示される。ブロック６１２において、オーバーレイにおいてレンダリングされた構造の色、テクスチャ、サイズなどのうち一つによって深さが示され得る。ブロック６１４において、色強度が深さに比例するカラーグラデーション；リアルタイム画像おけるツールの相対位置；又は深さを示す英数字ラベルを生成するオーバーレイの上のカーソルのうち一つ以上によって深さが示される。ブロック６１６において、表面下の構造の深さが、ツール先端の成形エリア内、例えば円若しくは矩形内に示される。

ブロック６１８において、表面下の構造の内部ビューを示す仮想画像が表示され得る。ブロック６２０において、内部ビューは表面下の構造の断面ビューを含む。断面ビューは（例えばカーソルを用いて、ツールを用いて、スコープ画像を用いて（画像中心若しくは他の位置が点を選択する））構造上の点を選択することによってレンダリングされ得る。ブロック６２２において、ロボットは表面下の構造の少なくとも一つに対応する経路に沿ってガイドされ得、内部ビューは表面下の構造の三次元フライスルー画像を含む。

添付の請求項を解釈する上で、以下のことが理解されるべきである：
ａ）"有する"という後は所与の請求項に列挙されるもの以外の要素若しくは動作の存在を除外しない；
ｂ）ある要素に先行する"ａ"若しくは"ａｎ"という語はかかる要素の複数の存在を除外しない；
ｃ）請求項における任意の参照符号はそれらの範囲を限定しない；
ｄ）複数の"手段"は同じ項目又はハードウェア若しくはソフトウェア実装構造若しくは機能によってあらわされ得る；
ｅ）特に指定されない限り特定の動作順序が要求されることを意図しない。

血管の深さと位置の可視化及び血管断面のロボットガイド可視化のための好適な実施形態が記載されているが（これらは例示であって限定のつもりではない）、上記教示に照らして修正及び変更が当業者によってなされることができることが留意される。従って添付の請求項によって概説される本明細書に開示の実施形態の範囲内にある開示の特定の実施形態において変更がなされてもよいことが理解される。特許法によって要求される細部と詳細がこのように記載されているが、特許法によって保護されることが望まれる特許請求の範囲は添付の請求項に明記される。

Claims (15)

1. 解剖学的標的を可視化するためのシステムであって、
   表面をもつ解剖学的標的のリアルタイム画像を収集するように構成されるイメージング装置と、
   前記イメージング装置からのリアルタイム画像では見えない前記解剖学的標的の表面下構造の画像を含む、術前若しくは術中画像から生成される三次元モデルと、
   前記リアルタイム画像と前記三次元モデルをレジストレーションし、前記イメージング装置からのリアルタイム画像では見えない前記解剖学的標的の前記表面下構造と、前記解剖学的標的の前記表面から前記表面下構造までの深さ寸法の標示とを表示する、オーバーレイを生成するように構成される画像処理モジュールと、
   前記リアルタイム画像と前記オーバーレイを同時に表示するように構成される表示装置と
   を有するシステム。
2. 前記表面下構造の深さ寸法が、前記オーバーレイにおいてレンダリングされる構造の色、テクスチャ若しくはサイズのうち一つによって示される、請求項１に記載のシステム。
3. 前記表面下構造の深さ寸法が、色強度が深さに比例するカラーグラデーションによって示される、請求項１に記載のシステム。
4. 前記表面下構造の深さ寸法が、前記リアルタイム画像におけるツールの位置に対して示される、請求項１に記載のシステム。
5. 前記表面下構造の深さ寸法が、前記深さを示す英数字ラベルを生成する前記オーバーレイの上のカーソルを用いて示される、請求項１に記載のシステム。
6. 前記表面下構造の深さ寸法が、ツール先端付近の成形エリア内に示される、請求項１に記載のシステム。
7. 前記表面下構造の一つ以上に対応する経路に沿ってスコープをロボット制御でガイドするように構成される画像ガイダンスモジュールをさらに有する、請求項１に記載のシステム。
8. 前記表面下構造の内部ビューを示す仮想画像をさらに有する、請求項１に記載のシステム。
9. 解剖学的標的を可視化するためのシステムであって、
   表面をもつ解剖学的標的のリアルタイム画像を収集するように構成されるイメージング装置と、
   術前若しくは術中画像から生成される、前記イメージング装置からのリアルタイム画像では見えない前記解剖学的標的の表面下構造の画像を含む、三次元モデルと、
   前記リアルタイム画像と前記三次元モデルをレジストレーションし、前記表面下構造と、前記解剖学的標的の前記表面から前記表面化構造までの深さ寸法の標示とを表示する、オーバーレイを生成するように構成される画像処理モジュールと、
   前記表面下構造の少なくとも一部の内部ビューを表示するように構成される可視化機能と、
   前記リアルタイム画像、前記オーバーレイ若しくは前記内部ビューのうち少なくとも二つを同時に表示するように構成される表示装置と
   を有するシステム。
10. 前記表面下構造の深さ寸法が、前記構造の色、テクスチャ若しくはサイズのうち一つによって前記オーバーレイにおいて示される、請求項９に記載のシステム。
11. 前記表面下構造の深さ寸法が、色強度が深さ寸法に比例するカラーグラデーション、前記リアルタイム画像に表示されるツールへの相対位置、若しくは前記深さ寸法を示す英数字ラベルを生成する前記オーバーレイの上のカーソル、のうち少なくとも一つによって示される、請求項９に記載のシステム。
12. 前記表面下構造の深さ寸法がツール先端付近の成形エリア内に示される、請求項９に記載のシステム。
13. 前記内部ビューが前記表面下構造の三次元フライスルー画像若しくは断面を含む、請求項９に記載のシステム。
14. 解剖学的標的を可視化するための方法であって、
    リアルタイム画像を収集するためにスコープを用いて表面をもつ解剖学的標的をイメージングするステップと、
    前記リアルタイム画像を前記解剖学的標的の内部ボリュームの三次元モデルとレジストレーションするステップと、
    前記リアルタイム画像にレジストレーションされるオーバーレイとともに前記リアルタイム画像を表示するステップと、
    前記オーバーレイの上に、前記スコープからのリアルタイム画像では見えない前記解剖学的標的の表面下構造と、前記解剖学的標的の前記表面から前記表面下構造までの深さ寸法の標示とを表示するステップと
    を有する方法の各ステップをコンピュータに実行させるコンピュータプログラム。
15. 前記表面下構造の少なくとも一つに対応する経路に沿ってロボットをガイドするステップを更にコンピュータに実行させる、請求項１４に記載のコンピュータプログラム。

Images