JP6725423B2 - 解剖学的標的を視覚化するシステム - Google Patents

解剖学的標的を視覚化するシステム Download PDF

Info

Publication number
JP6725423B2
JP6725423B2 JP2016550767A JP2016550767A JP6725423B2 JP 6725423 B2 JP6725423 B2 JP 6725423B2 JP 2016550767 A JP2016550767 A JP 2016550767A JP 2016550767 A JP2016550767 A JP 2016550767A JP 6725423 B2 JP6725423 B2 JP 6725423B2
Authority
JP
Japan
Prior art keywords
image
view
internal
images
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016550767A
Other languages
English (en)
Other versions
JP2017507708A5 (ja
JP2017507708A (ja
Inventor
ポポヴィッチ,アレクサンドラ
エルハワリー,ハイサム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2017507708A publication Critical patent/JP2017507708A/ja
Publication of JP2017507708A5 publication Critical patent/JP2017507708A5/ja
Application granted granted Critical
Publication of JP6725423B2 publication Critical patent/JP6725423B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00148Holding or positioning arrangements using anchoring means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/302Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Description

この開示は、医療器具及び方法に関し、より具体的には、医学的適用における内部解剖学的構造の改良された視覚化のためのシステム及び方法に関する。
冠動脈バイパス移植術(CABG)は、閉塞した冠動脈の血管再生のための外科処置である。従来的な手術では、患者の胸骨が開かれ、心臓が完全に露出させられる。しかしながら、最小侵襲(MI)バイパス術は、肋骨間の小さな穴を通じて行われる。CABG処置の重要な部分は、患者の体からの血管の除去であり、次に、それは冠動脈内の1つ又はそれよりも多くのアテローム硬化性狭窄部(atherosclerotic narrowings)を迂回(バイパス)するために用いられる。最も一般的に除去され且つ用いられる血管は、内胸動脈(IMA)であり、それは左IMA(LIMA)又は右IMA(RIMA)を含んでよく、それらは胸腔内に位置する。
MI心臓バイパス術中、これらの血管への直接的なアクセスは可能でなく、それらは肋骨間の空間内の肋間筋を通じる穴内に挿入される長い器具を用いて取り除かれる。MI術中、外科助手が内視鏡を保持し得るし、或いはロボット誘導を用いて内視鏡を保持し得る。ロボット誘導の場合には、ロボットを特定の場所に動かすために、ビジュアルサーボ(visual servoing)を用い得る。ビジュアルサーボは、内視鏡画像上のある地点を選択することから成り、ロボットは、その地点が画像の中心に配置されるような方法において動く。
IMA取外し(テイクダウン)(takedown)は、通常、CABG処置のうちの最も時間のかかる部分である。IMA取外しは、通常、45〜60秒の間を要し、バイパス処置の成功は、通常、採取される血管の質に依存する。
処置のこの段階の間の主要な挑戦は以下を含む。内視鏡画像がこの処置のための唯一の視覚化方法であるが、内視鏡は血管の小さな区画の限定的なビュー(眺望)(view)をもたらすに過ぎない。MIのために、外科医は、胸骨領域の下に達する、肋骨間に挿入される細長い器具を用いて作業をする。これはそれを困難にする。何故ならば、採取される動脈は周囲組織から注意深く隔離される必要があり、側枝(side branches)は焼灼されなければならないからである。
例えば、LIMA動脈の、長さは、冠動脈上のバイパス場所に達するのに十分でなければならない。(全ての領域が見え且つアクセス可能である故に長さを推定し得る観血手術とは対照的に)MI処置中に採取される血管動脈の長さを推定することは極めて困難である。LIMAは胸の中央又は下方部分から取り除かれるので、それは組織内により埋め込まれる傾向にあり、隔離を遅らせ、動脈及び側枝の視覚化をより一層挑戦的にする。
動脈隔離の技術的な困難性とバイパスに必要な未知の長さとの組み合わせは、長期の処置時間に寄与する。何故ならば、外科医は、より挑戦的な遠位領域において必要とされるよりもずっと長い動脈区画を隔離するか、或いはある区画を短く隔離し過ぎるかの何れかであり、それは後に動脈の継続的な隔離のために戻ることを要求するからである。
IMAは、通常、胸壁にある組織内に埋め込まれる。内視鏡ビューだけではIMA枝の全てを晒すのに十分でないことがある。IMAを胸壁から取り除くときにIMAの側枝を閉じ(例えば、焼灼し或いはクリップ留めし)損なうことは、バイパスされる動脈で漏れを引き起こし、それは更なる損傷を引き起こすことがある。
本原理よれば、解剖学的標的を視覚化するシステムが、撮像されるべき領域の少なくとも部分を撮像する視野を有する撮像デバイスを含む。三次元モデルが、術前画像又は術中画像から生成され、撮像デバイスからの画像中に見えない撮像されるべき領域内の内部ボリュームの画像を含む。撮像デバイスの視野画像がつなぎ合わされて、撮像されるべき領域の合成画像を生成するよう、画像処理モジュールが、撮像デバイスから画像を受け取るように構成される。合成画像は、実時間画像及び三次元モデルと位置合わせされる。内部ビューモジュールが、合成画像に沿う1つ又はそれよりも多く(1以上)の位置で内部ボリュームの内部ビューを表示のために生成するように構成される。
解剖学的標的を視覚化する他のシステムが、プロセッサと、プロセッサに結合されるメモリとを含む。メモリは、術前画像又は術中画像から生成され且つ解剖学的標的内の内部ボリュームの画像を含む三次元モデルと、実時間画像を受け取り、実時間画像の部分をつなぎ合わせて、解剖学的標的の合成画像を生成するように構成され、且つ、合成画像を実時間画像及び三次元モデルに位置合わせするように構成される、画像処理モジュールとを含む。内部ビューモジュールが、合成画像に沿う1つ又はそれよりも多く(1以上)の選択的な位置で解剖学的標的の内側の内部ボリュームの内部ビューを表示のために生成するように構成される。
解剖学的標的を視覚化する方法が、スコープ(顕微鏡)の視野を用いて解剖学的標的の部分を撮像すること、その部分を用いて解剖学的標的の合成画像を形成すること、合成画像中の関心の地点を実時間画像及び解剖学的標的の内部ボリュームの三次元モデルと位置合わせすること、並びに、実時間画像、合成画像、及び合成画像に沿う1つ又はそれよりも多く(1以上)の位置での内部ボリュームの画像を同時に表示することを含む。
本開示のこれらの及び他の目的、構成、及び利点は、添付の図面との関連で判読されるべき、その例示的な実施態様の後続の詳細な記述から明らかになるであろう。
この開示は、以下の図面を参照して、好適実施態様についての後続の記述を詳細に提示する。
1つの実施態様に従った解剖学的標的を視覚化するシステムを示すブロック図/フロー図である。 合成ビューを本原理に従った血管の内部断面画像でレンダリングすることにおいて利用される画像を示す図である。 例示的な実施態様に従った解剖学的標的を視覚化する方法を示すフロー図である。
本原理によれば、上述のような血管隔離の問題を解決する血管隔離計画及び実行システムが提供される。本原理は、小さな区画とは対照的に、血管の殆ど(例えば、LIMA)を示す、有意に拡大された視野をもたらし、血管についての追加的な情報をもたらす。この追加的な情報は、例えば、採取のために隔離される血管の長さ、所望のバイパス長に対する血管隔離の進展、及び焼灼される必要がある側枝(side branches)の場所を含む。
平面的な関係になる傾向を有する、内視鏡画像で覆われ且つ融合させられる術前三次元(3D)画像からの動脈を示すことに加えて、動脈は内視鏡画像の上に投影されて、IMA及び枝が埋め込まれる胸壁におけるIMA及び枝の深さを示す。この深さの知識がないならば、外科医が、取外し(テイクダウン)(takedown)が行われる組織の深さを決定し、或いはどれぐらいの筋膜を胸壁から取り除くべきかを決定することは、困難であろう。そのような深さ情報がないならば、これは枝が適切に焼灼されないことを引き起こし得るし、胸壁からIMAを取り除くのに余分な時間を要し得る。左内胸動脈(LIMA)は、多数の枝を備える肋骨の下を走る。この血管は、心臓バイパスにおいて用いられるよう、胸壁から取り除かれてよい。
特に有用な実施態様によれば、最小侵襲冠動脈バイパス術のための動脈取外し中に内胸動脈(又は他の血管)とその側枝との間の空間関係を視覚化するシステム及び方法が提供される。システムは、術前3D画像からの血管(例えば、動脈)の断面の仮想の視覚化と、取外し前に動脈を検査するロボット誘導内視鏡操作のための方法とを含む。本原理は、危険であることがあり且つ血管に損傷を招くことがある、IMAの術前の診断的焼灼を行う必要を回避する。
本発明は、冠動脈バイパス処置と共に使用する並びに冠動脈処置のために使用する医療器具に関して記載されるが、本発明の教示はより一層広く、標的解剖学的構造の視覚化の強化が必要とされる或いは望まれるあらゆる器具又は処置に適用可能であることが、理解されるべきである。幾つかの実施態様において、本原理は、複雑な生物学的システム(生物系)又は機械的システムを追跡し、操作し、或いは解析することにおいて利用される。具体的には、本原理は、生物学的システムの処置、即ち、肺、胃腸管、排出器官、血管等のような、体の全ての領域内の処置を内部追跡することに適用可能である。図面中に描写される要素は、ハードウェア及びソフトウェアの様々な組み合わせにおいて実施されてよく、単一の要素又は多数の要素において組み合わせられてよい機能を提供する。
図面に示される様々な要素の機能は、専用ハードウェア並びに適切なソフトウェアとの関連においてソフトウェアを実行し得るハードウェアの使用と通じて提供され得る。プロセッサによって提供されるとき、それらの機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、或いは一部を共有し得る複数の個別のプロセッサによって提供され得る。その上、「プロセッサ」又は「コントローラ」という用語の明示的な使用は、ソフトウェアを実行し得るハードウェアを専ら言及するものと解釈されてならず、デジタルシグナルプロセッサ(「DSP」)ハードウェア、ソフトウェアを格納する読出し専用メモリ(「ROM」)、ランダムアクセス記憶装置(「RAM」)、不揮発性記憶装置等を黙示的に含み得るが、それらに限定されない。
その上、本発明の原理、特徴、及び実施態様、並びにそれらの具体的な実施例を引用する、ここにおける全ての陳述は、それらの構造的な均等物及び機能的な均等物の両方を包含することを意図する。加えて、そのような均等物は、現在知られている均等物及び将来開発される均等物(即ち、構造に拘わらず同じ機能を果たす、あらゆる開発される要素)の両方を含むことを意図する。よって、例えば、ここに提示されるブロック図は本発明の原理を具現する例示的なシステム構成部品及び/又は回路構成の概念図であることが当業者によって理解されるであろう。同様に、あらゆるフローチャート、フロー図、及び同等物は、コンピュータ可読記憶装置内に実質的に提示されてよく、コンピュータ又はプロセッサが明示的に示されているか否かに拘わらず、そのようなコンピュータ又はプロセッサによって実行されてよい、様々なプロセスを提示することが理解されるであろう。
更に、本発明の実施態様は、コンピュータによる使用のための又はコンピュータと関連する使用のためのプログラムコードを提供するコンピュータ使用可能な又はコンピュータ可読な記憶媒体からアクセス可能なコンピュータプログラム(コンピュータプログラム製品)の形態を取り得る。この記述の目的のために、コンピュータ使用可能な又はコンピュータ可読な記憶媒体は、命令実行システム、装置、若しくはデバイスによる使用のための又は命令実行システム、装置、若しくはデバイスと関連する使用のためのプログラムを含み、格納し、通信し、伝搬し、或いは輸送してよい、あらゆる装置であり得る。媒体は、電子、磁気、光、電磁、赤外線、又は半導体システム(若しくは装置若しくはデバイス)又は伝搬媒体であり得る。コンピュータ可読媒体の実施例は、半導体又はソリッドステートメモリ、磁気テープ、取り外し能なコンピュータディスケット、ランダムアクセス記憶装置(RAM)、読出し専用メモリ(ROM)、剛性磁気ディスク、及び光ディスクを含む。光ディスクの現在の実施例は、コンパクトディスク−読出し専用メモリ(CD−ROM)、コンパクトディスク−読出し/書込み(CD−R/W)、ブルーレイ(TM)、及びDVDを含む。
同等の番号は同一の又は類似の要素を表す図面を参照し、先ず図1を参照すると、最小侵襲手術のためのシステム100が、1つの実施態様に従って例示的に示されている。システム100は、ワークステーション又はコンソール112を含んでよく、処置がワークステーション又はコンソール112から監督され且つ/或いは管理される。ワークステーション112は、好ましくは、1つ又はそれよりも多くのプロセッサ114と、プログラム及びアプリケーションを格納するメモリ116とを含む。メモリ116は、好ましくは、計画モジュール104と、医療装置102と協働するよう利用される画像誘導モジュール106とを含む。医療装置102は、カテーテル、ガイドワイヤ、プローブ、内視鏡、フレキシブル内視鏡、ロボット、電極、フィルタデバイス、バルーンデバイス、又は他の医療構成部品等のうちの1つ又はそれよりも多くと共に配置されてよい、撮像デバイス105(例えば、カメラ、レンズを具備する光ファイバ)を含んでよい。デバイス102は、患者の体160の内に挿入されてよい。1つの実施態様において、行われるべき処置は、最小侵襲冠動脈術を含み、デバイス102は体160の胸腔162内に挿入されて、血管(例えば、IMA)のような、解剖学的標的131を観察し且つ隔離する。
計画モジュール104は、以下の要素及び構成を含む。例えば、冠動脈バイパス処置のための血管取外しの間に、計画モジュール104は、採取されるべき標的血管、例えば、IMAの視覚化の制御を計画しながら、外科医が他の器具を操作するのを許容する。計画モジュール104は、ロボット108を操作する計画を格納し、或いは手作業による処置中に操作者に誘導(ガイダンス)を提供する。
画像処理モジュール148が、IMAに沿う画像スティッチング(stitching)を制御して広範囲に亘る視野を提供し、更に、画像位置合わせを提供し、当該技術分野において既知の方法を用いて、例えば、内視鏡ビデオ上に、術前(又は術中)画像をオーバーレイするのを許容する。計画モジュール104は、画像誘導モジュール106との使用のために関連付けられ或いは割り出され得る、関心の標的地点の選定をもたらす。計画モジュール104は、(例えば、つなぎ合わせ画像(stitched image)/合成画像(composite image)を用いて)血管又は他の構成の長さの計算も提供する。
画像処理モジュール148は、撮像デバイス110を用いて撮られる術前又は術中画像のような、手術画像135を位置合わせし且つオーバーレイするために利用されてよい。撮像デバイス110は、画像を収集するために、同時に或いは他の時間及び場所で利用されてよい。手術画像135は、三次元術前コンピュータ断層撮影(CT)画像又は磁気共鳴画像(MRI)等又は術中X線若しくは超音波を含んでよい。他の撮像モダリティも想定される。手術画像135は、解剖学的標的に沿って仮想内部断面又は内部図画像を含む三次元モデル136を構築するために利用される。
画像誘導モジュール106は、好ましくは、デバイス102を支持するロボットシステム108を制御することによって、デバイス102、例えば、内視鏡の画像に基づく制御を提供する。画像処理モジュール148及び計画モジュール104を用いてオーバーレイ107が生成されてよい。オーバーレイ107は、合成画像124の上に視覚化される目下のライブ内視鏡画像134を含んでよい。合成画像124は、デバイス102によって撮られた画像の複数の視野のつなぎ合わせビュー(つなぎ合わせ眺望)(stitched together view)である。画像誘導モジュール106は、隔離される血管の長さを所望の長さと比較し得る進展についての数量化をもたらして、十分な進展が達成された時を決定する。
画像誘導モジュール106は、標的解剖学的構造131の長さに沿ってロボットシステム108を誘導する。1つの実施態様において、デバイス102は、計画段階中に割り当てられ且つ計画モジュール104中の計画中に格納される関心の地点を用いて誘導される。
ワークステーション112は、被験者(患者)の内部画像及び容量を見るためのディスプレイ118を含み、デバイス102から収集される画像の上に生成されるオーバーレイ又は他のレンダリングを備える画像を含んでよい。ディスプレイ118は、使用者が、ワークステーション112並びにその構成部品及び機能又はシステム100内の任意の他の要素と相互作用するのも許容してよい。これはインターフェース120によって更に容易化され、インターフェース120は、ワークステーション112からのユーザーフィードバック及びワークステーション112との相互作用を許容する、キーボード、マウス、ジョイスティック、触覚デバイス、又は任意の他の周辺装置又は制御装置を含んでよい。
解剖学的標的131の手術画像135は、IMAの3D画像を含んでよい。患者の解剖学的構造の診断的又は術前スキャン(走査)の間に、3D血管造影スキャンが取得されてよい。IMAを視覚化するためにも必要とされるならば、スキャンを拡張し得る。(例えば、図2、画像202を参照)。スキャンから、IMAの3Dモデル136を再構築し得る。例えば、スキャン画像から、全てのその枝を備えるIMAの3D表面を生成するために、当該技術分野において知られた方法であってよいセグメント化方法が利用され得る。次に、血管の内側のカメラ視点から、仮想の血管造影IMA画像の生成が得られる(図2、画像204を参照)。仮想画像の生成のための第1のステップは、血管構造の中心線の検出を含んでよい。骸骨化(skeletonization)を用いて中心線を計算することができ、骸骨化は、血管の中心にある線を見出しながら、その線から血管壁までの距離を最小にする。この方法は本原理に従った用途に適している。何故ならば、1つの目的は血管の空間的な分枝(branching)を示すことだからである。
次に、IMA画像のパノラマスティッチング及び3Dモデルとの位置合わせが行われる(例えば、図2、画像206を参照)。位置合わせ(registration)及びつなぎ合わせ(stitching)を行う方法は、広い視野の画像のための画像つなぎ合わせを含んでよい。LIMAの始まり(終わり)に向かって配置される所定の場所にある内視鏡102を用いて、外科医は広い視野の取得を開始し得る。そうするために、外科医又はロボット108は、LIMAの見える部分に沿って、未較正のロボットビジュアルサーボ(visual servoing)又は他の技法を用いて内視鏡を動かす。このようにして、外科医は、LIMAに沿う地点を選択し、内視鏡102は相応して動く。外科医は外科器具をガイドとしても用いることができ、器具が動くと、内視鏡はツール先端部に追従し得る。このステップは、動脈の全長を観察するために内視鏡が助手又は外科医によって動かされる、臨床実務と類似する。
移動する内視鏡102によって収集される画像をつなぎ合わせるために、画像のスティッチングがおこなうために用いられる既知の方法が修正されてよい。画像は照合(matching)アルゴリズム(148)又は他の画像処理技法を利用してよい。1つの修正は、内視鏡の種類に関する。この実施態様において、内視鏡102は、傾斜ビューイング(oblique viewing)又は前方ビューイング(forward viewing)の一方又は両方であり得る。第2の修正は、内視鏡102の動きに関する。内視鏡の動きは、画像処理モジュール148によって事前プログラムされ且つゲート処理(gated)されてよい。この実施態様において、動きは外科医の命令によって生成され且つゲート処理される。他の構成は、フレキシブル内視鏡の使用を含んでよい。
動きは使用者によって定められるが、スティッチングのために用いられる画像の検証は、オーバーラップの量及びオーバーラップする画素の赤、緑、青(RGB)値における残留誤差に基づき捕捉画像を最適化することによっておこなわれ得る。画像は整列させられて、合成画像124を形成する。合成画像124は、血管(例えば、IMA)の全長を含む。血管の全長は、(縮尺又は基準を用いて)画像から計算されてよく、或いは内視鏡又は他のツールが画像中を走行する距離に基づき計算されてよい。最終的な結果は、時間期間に亘って内視鏡によって取得された個々の画像からつなぎ合わされた、IMA131の長さに沿う一連の画像(視野画像)を含む、合成画像124である。
合成画像124は、画像中で選択され且つ表示される関心の地点を有する。IMA131の関連部分の合成画像124がひとたび生成されると、血管隔離を計画するために、合成画像上の幾つかの関心の解剖学的地点が選択され得る。これらの地点は(それらを画像の上にオーバーレイすることによって)格納されることができ、次に、処置中に参照される。代替的に、それらの地点が選択されると、ロボット108(内視鏡ホルダ)が内視鏡102をその場所まで動かし、ロボット108の接合地点が格納され、よって、それらは画像誘導隔離処置中に参照され得る。
関心の解剖学的地点での地点の選択は、例えば、隔離の初期地点、隔離の終了地点、及び大きな分岐(bifurcation)又は他の解剖学的構成若しくは地点を含んでよい。合成画像124上での地点の選択に加えて(或いはその代わりに)、合成画像124を用いて内視鏡画像(134)と術前又は術中3D撮像(3Dモデル136)とを位置合わせし得る。オーバーレイ107は、実時間画像(134)と、画像処理148を用いる合成画像124とを含んでよい。IMA131との合成画像124の比較は、内視鏡画像上で直接的に見えない分岐の場所を示し得る。何故ならば、それらは筋膜及び他の組織の下に配置され得るからである。
3Dモデル136は、(3Dモデル136から)解剖学的標的131内の内部構造を明らかにするために、(実時間画像134及び合成画像124を含む)オーバーレイ107と位置合わせされてよい。これは、内視鏡102の位置での、操作者によって選択される地点、ロボット位置によって選択される地点等での、断面画像の生成を含んでよい。
血管(例えば、動脈)に沿うロボット108を用いた(標的131の経路を辿る)第1の運転の後に、ロボット108は、(エンコーダから)動脈のあらゆる位置がどこであるかを覚え、次に、経路を後戻りし、(ライブ)内視鏡画像及び内部ビュー(内部眺望)(internal view)(例えば、術前又は術中3D画像からの断面)を後に視覚化する。内部ビューモジュール126は、計画モジュール104の部分であってよく、画像処理モジュール148の部分であってよく、或いは別個のモジュールとして存在してよい。内部ビューモジュール126は、手術画像135/モデル136中の構造画像から内部ビュー画像、具体的には、例えば、合成画像124に沿う血管の断面ビュー(断面図)を生成する。
図2を参照すると、図は本原理に従った血管の入手可能な断面ビューを用いて合成画像を提供することにおける異なる段階で利用される画像を例示的に示している。画像202は、IMA血管を含む3D血管造影画像を示している。IMAの3D画像202の取得は、患者の解剖学的構造の診断的又は術前スキャン中に得られてよい。3D血管造影スキャンは、IMA全体を視覚化するために、従来的な処置から拡張される必要があることがある。
次に、主血管及び枝についてのデータ構成を提供するために、IMA血管のセグメント化が行われている。IMAのセグメント化された3Dモデルの再構築がスキャン画像から提供される。全てのその枝を用いてIMAの3D表面を生成するために、あらゆる適切なセグメント化方法が遂行されてよい。
仮想の血管造影IMA画像が血管の内側のカメラ視点から生成される。画像204は、分枝地点(branched positions)を示す血管の内側のカメラ視点からの仮想の3D画像を示している。仮想の画像の生成は、血管構造の中心線の検出を含む。骸骨化を用いて中心線を計算することができ、骸骨化は、血管の中心にある線を見つけ出しながら、その線から血管壁までの距離を最小にする。これらの画像は、血管の空間的な分枝を示している。
合成内視鏡画像206が、多数の内視鏡画像から互いにつなぎ合わされる。IMA画像のパノラマスティッチングが複数の内視鏡画像を接合させて、IMA又は他の標的の完全なビュー(眺望)をもたらす。パノラマビューは、3Dモデルと位置合わせされる。このようにして、内部画像が血管に沿うあらゆる地点のために利用可能である。合成内視鏡画像206は、3Dレンダリング(内部カメラ画像を備える3Dモデル)と位置合わせされる。画像206は、(例えば、断面線A−Aに)断面線を備える血管を示しており、よって、外科医は、画像208に示されるような主IMA血管に対する枝の空間的な配置を見ることができる。画像208は、断面線A−Aでの内部カメラビューを示している。ビュー位置(例えば、断面A−A)は画像206中で血管に沿って移動させられてよく、画像208はその位置についての関連する仮想画像を用いて相応して更新される。
1つの実施態様では、内視鏡画像中のIMAの断面の選択及びその断面に関連する仮想の画像の視覚化がもたらされる。IMA上の位置の選択は、インターフェース120(図1)及びディスプレイ118(図1)を用いて行われてよい。使用者はIMA上の位置を選択し、システムは血管の内側から仮想の画像(例えば、断面)を表示する。
他の実施態様では、自動視覚化が利用され、内視鏡又は他のデバイスの位置付けによって制御されてよい。例えば、血管断面は内視鏡画像の中心に対応する位置のために描写される。断面画像(仮想の画像)を自動的に選択されることができ、外科医は断面3D図を生成し且つ視覚化し得る。
他の実施態様では、IMAに沿う内視鏡のロボット誘導が対応する断面の視覚化を用いて提供されてよい。内視鏡画像の中心での血管断面を自動的に選択することができ、外科医は断面3D図を生成し且つ視覚化し得る。ロボット操作される内視鏡は、大動脈に近接して、IMAの近位端に位置付けられてよい。画像スティッチング及びパノラマ画像206内のあらゆる位置と関連付けられるロボットエンコーダの既知の値に基づき、ロボットシステムは、使用者によって定められる速度でその長さに亘ってIMAに従うよう、内視鏡を動かし得る。内視鏡が動くと、内視鏡206の画像及びIMAの仮想の画像208の再構築の両方が同時に示されることがある。
図2を続けて参照しながら図1を再び参照すると、画像誘導モジュール106は、内視鏡102を誘導するために利用される。外科医は、内視鏡を、例えば大動脈に近接する、近位位置(画像210中の地点「A」)に戻し、周囲組織からの動脈の隔離を行うことを開始して、動脈(IMA)を胸壁から切り離す。外科医は、ビジュアルサーボを用いることによって、並びに/或いは以前に選択した地点、例えば、計画中に選択され且つ分岐を示す地点「C」を参照することによって、その場所に内視鏡を自動的に配置する。外科医が動脈に沿って進行させるときに、目下の内視鏡ビュー(画像210中のスコープ画像134(顕微鏡画像))は、以前に計算された合成画像124の上にオーバーレイされてよく、或いは外科医に同時に表示されてよい。加えて、断面線(画像206中のA−A)又は他の関心の地点のオーバーレイが提供されて、見られている動脈の内部ビューが更に表示されてよい。内部カメラビュー208が術前画像から提供される。
「ピクチャー・イン・ピクチャー」ビューは、外科医が目下入手可能である視野よりも一層広い視野を観察するのを許容し、血管の内部部分を見ることを許容し、内視鏡ビューにおいて入手可能でないあらゆる分岐、損傷組織、又は他の関心の構成を明らかにする。加えて、内視鏡の動きは位置合わせ情報と組み合わせられるロボットエンコーダから知られるので、縮尺を抽出することができ、既に隔離された動脈の部分又は隔離されるべき血管の計画された終点(地点「B」)の長さを示す。
本原理はIMAを用いるCABG処置について記載されたが、ここに記載されるデバイス(標的動脈に沿って動くロボット内視鏡)及び視覚化方法は、体の他の領域に適用されてよく、他の処置のために提供されてよい。特に有用な適用は最小侵襲バイパス術において利用されるが、本原理は血管隔離を利用するあらゆる処置のために利用されてよい。
図3を参照すると、解剖学的標的を視覚化する方法が、本原理に従って例示的に示されている。1つの実施態様では、ブロック302において、患者が介入処置のために準備される。これは解剖学的標的の三次元(3D)モデルを創り出す術前撮像を含む。三次元モデルは、術前三次元血管造影スキャンを用いて生成されてよい。他のスキャン技術が利用されてもよい。指定の地点又は関心を含む3D画像/モデルを用いて詳細な計画が生成される。切開部及び/又は穴が、器具を装着する患者の内部へのアクセスをもたらす。
ブロック304において、スコープ(例えば、内視鏡)の視野を用いて、解剖学的標的の部分が撮像される。各画像の視野は、全領域又は解剖学的標的よりも少ないことがある。ブロック306において、スコープの複数の視野中の画像の部分を用いて、解剖学的標的の合成画像が形成される。これは部分をつなぎ合わせて合成画像を作ることを含んでよい。ブロック308において、合成画像中の関心の地点が、解剖学的標的の内部ボリューム(内部容積)の三次元モデルと位置合わせされる。ブロック310において、合成画像は実時間スコープ画像と位置合わせされる。
ブロック312において、実時間画像、合成画像、及び内部ボリュームの画像は、解剖学的標的及び/又は合成画像に沿う1つ又はそれよりも多くの選択される位置での同時の表示のために提供される。選択される関心の地点は、任意の数の地点を含んでよく、標的の全長に沿う血管又は他の標的の内部詳細(例えば、その深さ)を技術者/外科医に提供する。(例えば、マップとして用いられる)合成画像及び/又は標的上に設けられるような各関心の地点で、選択される関心の地点又は複数の関心の地点に対応する血管の内部の断面ビュー又は内部カメラビューを、技術者/外科医のために表示し得る。
ブロック312において、スコープが解剖学的標的に沿って(例えば、手作業で或いはロボットを用いて)誘導され、対応する内部画像のビューイング(viewing)を引き起こすために、合成画像に沿う1つ又はそれよりも多くの選択的な位置が利用される。解剖学的標的は、隔離されるべき血管、及びバイパス術における使用のために内胸動脈(IMA)内で焼灼されるべき枝を好ましくは明らかにする内部ボリュームの画像を含んでよい。スコープは解剖学的標的に沿って誘導され(且つスコープによって見られるときに)、対応する内部画像は枝又は他の構成を検出するために表示されてもよい。ブロック316において、本開示に従った内部ビュー及び合成画像を用いて、血管取外しが行われ、全ての枝が焼灼されること及び十分な長さの血管が採取されることを保証する。ブロック318において、処置は完了する。
付属の請求項を解釈する際には、以下のことが理解されるべきである。
a)「含む」という用語は、所与の請求項中に列挙される要素又は行為以外の他の要素又は行為の存在を排除しない。
b)ある要素に先行する不定冠詞は、そのような要素が複数存在することを排除しない。
c)請求項中のいずれの参照記号も、それらの範囲を限定しない。
d)幾つかの「手段」は、同じ品目又はハードウェア若しくはソフトウェア実現構造又は機能によって提示されてよい。
e)特別に示されない限り、行為の特定の順序が要求されることは意図されない。
(例示的であることを意図し、限定的であることを意図しない)最小侵襲バイパス術中の内胸動脈の空間的な視覚化についての好適な実施態様が記載されたが、当業者は上記教示に照らして修正及び変更を行い得ることを記す。従って、付属の請求項によって概略されるような、ここにおいて開示される実施態様の範囲内にある、開示される開示の特定の実施態様において、変更が行われてよいことが、理解されるべきである。特許法によって要求される詳細及び特異点をこのように記載したが、請求され且つ特許によって保護されることが望まれるものは、付属の請求項中に示される。

Claims (15)

  1. 解剖学的標的を視覚化するシステムであって、
    撮像されるべき領域の少なくとも部分を撮像する視野を有する撮像デバイスと、
    前記撮像デバイスから画像を受け取り、前記撮像デバイスからの複数の画像をつなぎ合わせて、前記撮像されるべき領域の長さに沿う一連の合成画像を生成するように構成される、画像処理モジュールであって、前記合成画像実時間画像及び三次元モデルと位置合わせように構成される、画像処理モジュールと、
    術前画像又は術中画像から生成される前記三次元モデルであって、前記撮像デバイスからの前記画像中に見えない前記撮像されるべき領域内の内部ボリュームの画像を含むことを特徴とする、前記三次元モデルと、
    前記合成画像に沿う1以上の位置で前記三次元モデルからの前記内部ボリュームの内部三次元ビューを表示するために生成するように構成される内部ビューモジュールとを含む、
    システム。
  2. 画像誘導モジュールに従って前記撮像デバイスを誘導するように構成されるロボットを更に含む、請求項1に記載のシステム。
  3. 前記ロボットは、ある経路を横断するように構成され、前記内部ビューモジュールは、前記経路が横断されるときに、表示のために前記内部三次元ビューを生成するように構成される、請求項2に記載のシステム。
  4. 前記撮像されるべき領域は、隔離されるべき血管を含み、前記内部三次元ビューは、焼灼されるべき枝を明らかにする、請求項1に記載のシステム。
  5. 前記内部ビューモジュールは、前記合成画像に沿って血管の断面を生成するように構成される、請求項1に記載のシステム。
  6. 前記血管は、バイパス術における使用のための内胸動脈(IMA)を含む、請求項5に記載のシステム。
  7. 前記合成画像、実時間画像、又は前記合成画像に沿う1以上の選択的な地点での前記内部三次元ビューの画像のうちの2以上を同時に表示するように構成される、ディスプレイデバイスを更に含む、請求項1に記載のシステム。
  8. 前記三次元モデルは、術前三次元血管造影スキャンを用いて生成される、請求項1に記載のシステム。
  9. 請求項1に記載のシステムであって、
    プロセッサと、
    該プロセッサに結合されるメモリとを更に含み、該メモリは、前記三次元モデルと、前記画像処理モジュールと、前記内部ビューモジュールとを含む、
    システム。
  10. 前記実時間画像を収集するために画像誘導モジュールに従ってスコープを誘導するように構成されるロボットを更に含む、請求項9に記載のシステム。
  11. 前記ロボットは、ある経路を横断するように構成され、前記内部ビューモジュールは、前記経路が横断されるときに、表示のために前記内部三次元ビューを生成するように構成される、請求項10に記載のシステム。
  12. 前記撮像されるべき領域は、隔離されるべき血管を含み、前記内部三次元ビューは、焼灼されるべき枝を明らかにする、請求項9に記載のシステム。
  13. 前記内部ビューモジュールは、前記合成画像に沿って血管の断面を生成するように構成される、請求項9に記載のシステム。
  14. 前記血管は、バイパス術における使用のための内胸動脈(IMA)を含む、請求項13に記載のシステム。
  15. 前記合成画像、実時間画像、又は前記合成画像に沿う1以上の選択的な地点での前記内部三次元ビューの画像のうちの2以上を同時に表示するように構成される、ディスプレイデバイスを更に含む、請求項9に記載のシステム。
JP2016550767A 2014-02-11 2015-01-28 解剖学的標的を視覚化するシステム Active JP6725423B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461938540P 2014-02-11 2014-02-11
US61/938,540 2014-02-11
PCT/IB2015/050631 WO2015121764A1 (en) 2014-02-11 2015-01-28 Spatial visualization of internal mammary artery during minimally invasive bypass surgery

Publications (3)

Publication Number Publication Date
JP2017507708A JP2017507708A (ja) 2017-03-23
JP2017507708A5 JP2017507708A5 (ja) 2018-11-22
JP6725423B2 true JP6725423B2 (ja) 2020-07-15

Family

ID=52630433

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016550767A Active JP6725423B2 (ja) 2014-02-11 2015-01-28 解剖学的標的を視覚化するシステム

Country Status (5)

Country Link
US (1) US10772684B2 (ja)
EP (1) EP3104801B1 (ja)
JP (1) JP6725423B2 (ja)
CN (1) CN106030656B (ja)
WO (1) WO2015121764A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6725423B2 (ja) * 2014-02-11 2020-07-15 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 解剖学的標的を視覚化するシステム
JP6243364B2 (ja) * 2015-01-26 2017-12-06 富士フイルム株式会社 内視鏡用のプロセッサ装置、及び作動方法、並びに制御プログラム
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
JP6392190B2 (ja) * 2015-08-31 2018-09-19 富士フイルム株式会社 画像位置合せ装置、画像位置合せ装置の作動方法およびプログラム
EP3582709A4 (en) 2017-02-14 2020-11-25 Intuitive Surgical Operations Inc. MULTIDIMENSIONAL VISUALIZATION IN A COMPUTER-ASSISTED REMOTE-GUIDED SURGERY
DE102017203025A1 (de) * 2017-02-24 2018-08-30 Siemens Healthcare Gmbh Verfahren zu einem Unterstützen einer Planung einer Magnetresonanzuntersuchung an einem Patienten mit einer Magnetresonanzvorrichtung sowie eine Magnetresonanzvorrichtung zu einem Ausführen des Verfahrens
DE102017214447B4 (de) * 2017-08-18 2021-05-12 Siemens Healthcare Gmbh Planare Visualisierung von anatomischen Strukturen
US11471027B2 (en) * 2017-08-29 2022-10-18 Omnivision Technologies, Inc. Endoscope having large field of view resulted from two field of views
WO2019079126A1 (en) * 2017-10-17 2019-04-25 Verily Life Sciences Llc DISPLAYING PREOPERATIVE AND INTRA-OPERATIVE IMAGES
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
EP3626176B1 (de) * 2018-09-19 2020-12-30 Siemens Healthcare GmbH Verfahren zum unterstützen eines anwenders, computerprogrammprodukt, datenträger und bildgebendes system
CN110327114B (zh) * 2019-06-28 2021-03-09 中国人民解放军北部战区总医院 一种路线规划方法、终端及存储介质
US20210196319A1 (en) * 2019-12-29 2021-07-01 Biosense Webster (Israel) Ltd Trocar with internal camera providing tilted view angle
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
CN113014871B (zh) * 2021-02-20 2023-11-10 青岛小鸟看看科技有限公司 内窥镜图像显示方法、装置及内窥镜手术辅助系统
WO2023275974A1 (ja) * 2021-06-29 2023-01-05 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
CN113408152B (zh) * 2021-07-23 2023-07-25 上海友脉科技有限责任公司 冠脉旁路移植仿真系统、方法、介质及电子设备
US20230053189A1 (en) * 2021-08-11 2023-02-16 Terumo Cardiovascular Systems Corporation Augmented-reality endoscopic vessel harvesting

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6702736B2 (en) * 1995-07-24 2004-03-09 David T. Chen Anatomical visualization system
US6167296A (en) * 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
US6346940B1 (en) * 1997-02-27 2002-02-12 Kabushiki Kaisha Toshiba Virtualized endoscope system
US7343195B2 (en) * 1999-05-18 2008-03-11 Mediguide Ltd. Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation
US8229549B2 (en) * 2004-07-09 2012-07-24 Tyco Healthcare Group Lp Surgical imaging device
CA2523727A1 (en) * 2003-04-28 2005-01-06 Bracco Imaging Spa Surgical navigation imaging system
JP2006198032A (ja) 2005-01-18 2006-08-03 Olympus Corp 手術支援システム
JP2008534109A (ja) * 2005-03-31 2008-08-28 パイエオン インコーポレイテッド 管状器官内の機器を位置決めする装置および方法
US20100149183A1 (en) * 2006-12-15 2010-06-17 Loewke Kevin E Image mosaicing systems and methods
EP2193499B1 (en) 2007-10-01 2016-07-20 Koninklijke Philips N.V. Detection and tracking of interventional tools
RU2520369C2 (ru) * 2008-06-25 2014-06-27 Конинклейке Филипс Электроникс Н.В. Устройство и способ локализации представляющего интерес объекта у субъекта
RU2011120186A (ru) 2008-10-20 2012-11-27 Конинклейке Филипс Электроникс, Н.В. Способ и система локализации на основе изображений
US20110190774A1 (en) * 2009-11-18 2011-08-04 Julian Nikolchev Methods and apparatus for performing an arthroscopic procedure using surgical navigation
CN201840505U (zh) 2010-06-29 2011-05-25 北京中医药大学 计算机辅助针刀定位装置
RU2594813C2 (ru) 2010-09-15 2016-08-20 Конинклейке Филипс Электроникс Н.В. Роботизированное управление эндоскопом по изображениям сети кровеносных сосудов
WO2012101888A1 (ja) * 2011-01-24 2012-08-02 オリンパスメディカルシステムズ株式会社 医療機器
JP5657467B2 (ja) * 2011-05-13 2015-01-21 オリンパスメディカルシステムズ株式会社 医療用画像表示システム
RU2014110007A (ru) * 2011-08-16 2015-09-27 Конинклейке Филипс Н.В. Криволинейная мультипланарная реконструкция с использованием оптоволоконных данных формы
JP6122864B2 (ja) 2011-11-18 2017-04-26 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. ライブ画像と解剖学的構造表示とのペアリング
CN104244800B (zh) 2012-04-19 2017-05-17 皇家飞利浦有限公司 使用手术前和手术中的3d图像来人工操纵内窥镜的引导工具
CN104427952B (zh) * 2012-05-14 2018-06-12 直观外科手术操作公司 用于使用形状感测的变形补偿的系统和方法
BR112014031993A2 (pt) * 2012-06-28 2017-06-27 Koninklijke Philips Nv sistema para visualização de um alvo anatômico, e método para processamento de imagens
CN102784003B (zh) * 2012-07-20 2014-10-15 李书纲 一种基于结构光扫描的椎弓根内固定手术导航系统
US8920072B2 (en) 2012-10-19 2014-12-30 Aco Polymer Products, Inc. Drainage channels and methods for making drainage channels
US9592095B2 (en) * 2013-05-16 2017-03-14 Intuitive Surgical Operations, Inc. Systems and methods for robotic medical system integration with external imaging
KR102337440B1 (ko) * 2013-12-09 2021-12-10 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 장치-인지 가요성 도구 정합을 위한 시스템 및 방법
EP3102141B1 (en) * 2014-02-04 2019-08-14 Koninklijke Philips N.V. A system for visualising an anatomical target
KR20210156301A (ko) * 2014-02-04 2021-12-24 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 중재 도구의 가상 항행을 위한 조직의 비강체 변형을 위한 시스템 및 방법
JP6725423B2 (ja) * 2014-02-11 2020-07-15 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 解剖学的標的を視覚化するシステム

Also Published As

Publication number Publication date
US20170172663A1 (en) 2017-06-22
EP3104801B1 (en) 2019-03-13
JP2017507708A (ja) 2017-03-23
WO2015121764A1 (en) 2015-08-20
CN106030656A (zh) 2016-10-12
EP3104801A1 (en) 2016-12-21
US10772684B2 (en) 2020-09-15
CN106030656B (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
JP6725423B2 (ja) 解剖学的標的を視覚化するシステム
EP2866638B1 (en) Enhanced visualization of blood vessels using a robotically steered endoscope
JP6649260B2 (ja) 血管の深さ及び位置の可視化並びに血管断面のロボットガイド可視化
US10182704B2 (en) Robotic control of an endoscope from blood vessel tree images
EP2747695B1 (en) Endoscopic registration of vessel tree images
JP6122875B2 (ja) 血管ツリー画像内での見えない分岐部の検出
EP2838412B1 (en) Guidance tools to manually steer endoscope using pre-operative and intra-operative 3d images
WO2017207565A1 (en) Image-based fusion of endoscopic image and ultrasound images
JP2014525765A (ja) 内視鏡手術におけるガイド下注入のためのシステム及び方法
WO2013186738A2 (en) Guided incision planning for endoscopic minimally invasive surgery
US11980505B2 (en) Visualization of depth and position of blood vessels and robot guided visualization of blood vessel cross section

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160815

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181011

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181011

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181030

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200625

R150 Certificate of patent or registration of utility model

Ref document number: 6725423

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250