JP7133474B2 - 内視鏡画像及び超音波画像の画像ベースの融合 - Google Patents

内視鏡画像及び超音波画像の画像ベースの融合 Download PDF

Info

Publication number
JP7133474B2
JP7133474B2 JP2018561635A JP2018561635A JP7133474B2 JP 7133474 B2 JP7133474 B2 JP 7133474B2 JP 2018561635 A JP2018561635 A JP 2018561635A JP 2018561635 A JP2018561635 A JP 2018561635A JP 7133474 B2 JP7133474 B2 JP 7133474B2
Authority
JP
Japan
Prior art keywords
image
fusion
ultrasound
anatomical
endoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018561635A
Other languages
English (en)
Other versions
JP2019517291A5 (ja
JP2019517291A (ja
Inventor
アレクサンドラ ポポヴィック
ポール ティーンフラパ
グジェゴーシュ アンドレイ トポレック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2019517291A publication Critical patent/JP2019517291A/ja
Publication of JP2019517291A5 publication Critical patent/JP2019517291A5/ja
Application granted granted Critical
Publication of JP7133474B2 publication Critical patent/JP7133474B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A61B2090/3782—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Endoscopes (AREA)

Description

本開示は、概して、解剖学的領域の腹腔鏡撮像例えば、心臓手術、腹腔鏡手術、自然開口部経管外科手術、単回切開腹腔鏡手術、肺/気管支鏡手術及び診断介入の内視鏡像を含む最小侵襲性プロシージャに関する。本開示は、より詳細には、内視鏡画像と解剖学的領域の超音波画像の画像ベースの融合に関する。
内視鏡及び腹腔鏡は薄くて細長いカメラアセンブリであり、医師が直接的な視野のために解剖学的構造を外科的に露出する必要なしに患者の内部解剖学的構造を見ることを可能にする。内視鏡は、狭い自然の開口部又は皮膚の小さな切開部を通じて適合することができ、その結果、開放手術と比較して患者に対する外傷が減少する。
腹腔鏡超音波(LUS)は、ポート(又は自然の開口部)を介して患者の内部解剖学的構造に導入され、内部器官を撮像するために使用される何れかの超音波撮像装置を指す。 LUSプローブの2つの例には、Philips L10-4lapプローブ及びPhilips C9-3ioプローブが含まれる。
より詳細には、LUSは、内部器官を評価し、手術標的(例えば、腫瘍)を同定し、それらの器官(例えば、血管)内の感受性構造を同定するために使用される。臨床現場では、LUSプローブは外科用器具のポートの1つを介して体内に導入される。器官は、様々な構造及び標的の位置を評価するためにスキャンされる。評価の後、LUSプローブをポートから取り外し、器具をポートを通って体内に導入してプロシージャを完了する。後で必要になった場合は、LUSプローブは、異なる時間に体に再び導入される。
当業者に実施される追跡ベースの融合は、主として、腹腔鏡超音波プローブの追跡と超音波内視鏡画像融合の両方のための外部追跡装置(例えば、光学追跡及び/又は電磁追跡)に依存しており、したがってこの実施は最小侵襲プロシージャ中に利用するのに非常に複雑で厄介である。
さらに、LUSの外科的使用にはいくつかの主要な問題がある。
第1に、オペレータは、内視鏡及びLUSプローブが追跡されるとき、LUSプローブによる解剖学的領域のオペレータスキャン時にのみ、内視鏡画像と超音波画像との間の追跡に基づく対応を知る。 LUSスキャンが完了し、LUSプローブが体から取り除かれると、内視鏡画像と超音波画像との間の関係は失われる。
第2に、LUSプローブの細長い性質及び単一の進入点の周りのLUSプローブの制限された動きを可能にする支点効果のために、LUSプローブの取り扱いが複雑である。
第3に、LUSプローブの追跡は問題のいくつかを解決することができるが、ワークフローを損なう操作シアタ内に多くの機器が必要になる。さらに、光学追跡を使用する場合、外部マーカーを使用してLUSプローブの位置を正確に推測することは困難である。
本開示は、最小侵襲プロシージャ中の解剖学的領域の腹腔鏡撮像の利点及び利益を改善するために、解剖学的領域の内視鏡画像を解剖学的領域の腹腔鏡超音波(LUS)画像と統合し、解剖学的領域のオペレータスキャン中に、又は手術中の何れかの他の時間に、統合された情報を表示するシステム、ワークステーション、コントローラ及び方法を提供する。本開示のシステム、ワークステーション、コントローラ及び方法は、内視鏡画像と超音波画像との画像ベースの融合を実施し、追加の追跡デバイス(例えば、光学追跡及び/又は電磁追跡)の必要性を排除する。本開示の撮像ベースの融合は、LUSプローブのより直感的な使用を可能にし、プロシージャ(例えば、心臓手術、腹腔鏡手術、自然開口部経管外科手術、単一切開腹腔鏡手術、肺/気管支鏡手術及び診断介入)の間のよりよいターゲッティングを可能にする。
本開示の1つの形態は、内視鏡によって生成された解剖学的領域の内視鏡画像(例えば、解剖学的領域内の解剖学的器官の内視鏡ビュー)及び腹腔鏡超音波プローブによって生成された解剖学的領域の超音波画像(例えば、解剖学的領域内の解剖学的器官の超音波ビュー)の画像ベースの融合のための画像融合ワークステーションである。画像融合ワークステーションは、内視鏡の内視鏡画像空間と、内視鏡の視野内の腹腔鏡超音波プローブの超音波融合コントローラによる検出から導出される腹腔鏡超音波プローブの超音波画像空間との間の画像変換に基づいて、内視鏡画像と超音波画像との間の融合を制御する画像融合コントローラを使用する。ワークステーションはさらに、内視鏡画像と超音波画像との画像融合コントローラによる融合の表示例えば、内視鏡画像への超音波画像のレジストレーションされた重ね合わせ、又は内視鏡画像の表示に対する超音波画像のレジストレーションされたウィンドウ表示を制御する表示コントローラを使用する。
本開示の第2の形態は、プローブ検出器、画像変換器及び画像インテグレータを使用する画像融合コントローラである。プローブ検出器は、内視鏡の視野内の腹腔鏡超音波プローブの検出を制御する。画像変換器は、内視鏡の内視鏡画像空間と、内視鏡の視野内の腹腔鏡超音波プローブのプローブ検出器による検出から導出される腹腔鏡超音波プローブの超音波画像空間との間の画像変換の計算を制御する。画像インテグレータは、画像変換器によって計算された画像変換に基づいて、内視鏡画像と超音波画像との融合を制御する。
本開示の発明の第3の形態は、内視鏡によって生成された解剖学的領域の内視鏡画像(例えば、解剖学的領域内の解剖学的器官の内視鏡ビュー)と腹腔鏡超音波プローブによって生成された解剖学的領域の超音波画像（例えば、解剖学的領域内の解剖学的器官の超音波ビュー）の画像ベースの融合のための方法である。この方法は、内視鏡の視野内で腹腔鏡超音波プローブを検出し、内視鏡の内視鏡画像空間と腹腔鏡超音波プローブの超音波画像空間との間の画像変換を計算する画像融合ワークステーションを含み、画像融合ワークステーションは、内視鏡の視野内の腹腔鏡超音波プローブの検出から画像変換を導出する。この方法はさらに、画像変換に基づいて内視鏡画像と超音波画像とを融合する画像融合ワークステーションを含む。
本開示の全ての発明は、さらに、
（1）撮像モダリティ（例えば、コンピュータ断層撮影（CT又はXperCT）、磁気共鳴画像MRI、陽電子放出断層撮影法PETなど解剖学的領域内の解剖学的器官のビュー）によって生成された解剖学的領域のボリューム画像、又は
（2）解剖学的領域内の解剖学的器官の解剖学的アトラス
の形態で内視鏡/超音波画像の融合を解剖学的モデルに組み込む。
解剖学的モデルレジストレーションから、内視鏡/超音波画像の融合の表示は、
（1）内視鏡画像（例えば、内視鏡画像上の解剖学的モデルの基準面のレジストレーションされたオーバーレイ）と共に表示される解剖学的モデル、
（2）超音波画像（例えば、解剖学的モデル上の超音波画像のレジストレーションされたオーバーレイ）と共に表示される解剖学的モデル、及び/又は
（3）内視鏡/超音波画像（例えば、内視鏡画像上の解剖学的モデルの超音波画像と基準面との両方のレジストレーションされたオーバーレイ）の融合によって表示される解剖学的モデル
である。
本開示のために、限定されないが、「融合」、「解剖学的領域」、「解剖学的器官」、「内視鏡」、「内視鏡画像」、「視野」、 「腹腔鏡超音波プローブ」、「超音波画像」、「画像変換」、「レジストレーション」、「画像空間」、「表示」、「ボリューム画像」、「撮像モダリティ」、及び「解剖学的アトラス」を含む用語は、本開示の技術分野で理解され、本明細書に例示的に記載されるように解釈される。
より詳細には、本開示の目的のために、用語「内視鏡」は、本開示の技術分野で理解され、本明細書で例示的に説明されるように、体の内部から撮像する能力を用いて構造的に構成される何れかの装置を広く包含する。
内視鏡の例は、可撓性又は剛性の何れかのタイプのスコープ（例えば、内視鏡、関節鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、胃鏡、子宮鏡、腹腔鏡、喉頭鏡、神経鏡、耳鏡、プッシュ腸内視鏡、鼻咽頭鏡、S状結腸鏡、胸鏡、膣鏡、胸腔鏡、神経内視鏡など）及び画像システムを備えたスコープに類似する何れかの装置を含むが、これらに限定されない。撮像は局所的であり、表面画像は、光ファイバー、レンズ、及び小型化された（例えば、CCDベースの）撮像システム（例えば、腹腔鏡超音波）で光学的に得られる。
本開示の目的のために、「コントローラ」という用語は、後に続く本発明の様々な発明原理の適用を制御するために、ワークステーション内にハウジングされるか、又はワークステーションにリンクされる、特定用途向けメインボード又は特定用途向け集積回路のすべての構造構成を広く包括的に包含し、ここに記載される。コントローラの構造的構成には、プロセッサ、コンピュータ使用可能/コンピュータ可読記憶媒体、オペレーティングシステム、アプリケーションモジュール、周辺装置コントローラ、スロットとポートが含まれる。
本明細書のコントローラ（例えば、「内視鏡コントローラ」、「LUSプローブコントローラ」、「画像融合コントローラ」及び「表示コントローラ」）の記述ラベルは、何れかの追加の限定を用語「コントローラ」に明示又は暗示することなく、ここに記載のコントローラを特定する役割を果たす。
ワークステーションの例は、限定されないが、1つ又は複数のコンピューティングデバイス、1つ又は複数の入力デバイス（たとえば、キーボード、ジョイスティック及びマウス）及び1つ又は複数のディスプレイ/モニタ（例えば、クライアントコンピュータ、デスクトップ、ラップトップ、タブレット）を含む。
本開示の目的のために、用語「アプリケーションモジュール」は、特定のアプリケーションを実行するための電子回路及び/又は実行可能プログラム（例えば、実行可能なソフトウェア及び/又は非一時的コンピュータ可読媒体に記憶されたファームウェア）からなるコントローラのコンポーネントを広く含む。本明細書におけるアプリケーションモジュール（例えば、「プローブ検出器」、「画像変換器」及び「画像統合器」）の記述ラベルは、何れかの追加の限定を用語「アプリケーションモジュール」に明示又は暗示することなく、本明細書で説明され特許請求される特定のアプリケーションモジュールを特定する役割を果たす。
本開示の本発明の前述の形態及び他の形態ならびに本開示の本発明の様々な特徴及び利点は、添付の図面に関連して理解される本開示の本発明の様々な実施形態の以下の詳細な説明からさらに明らかになるであろう。詳細な説明及び図面は、本開示の本発明の範囲を限定するのではなく、本開示の発明の単なる例示であり、本開示の本発明の範囲は、添付の特許請求の範囲及びその等価物によって定義される。
本開示の本発明の原理による最小侵襲性プロシージャ及びコントローラスイートの例示的な実施形態を示す。 本開示の本発明の原理による最小侵襲性制御システムの例示的な実施形態を示す。 本開示の本発明の原理による画像ベースの融合方法の例示的な実施形態を表すフローチャートを示す。 本開示の本発明の原理による内視鏡画像と超音波画像の画像ベースの融合を示す。 本開示の本発明の原理による他の内視鏡画像と超音波画像の画像ベースの融合を示す。 当該技術分野において周知の内視鏡画像及び術前ボリューム画像のレジストレーションを示す。 本開示の本発明の原理による、内視鏡画像と超音波画像との画像ベースの融合を解剖学的アトラスにレジストレーションする例示的な実施形態を示す。 本開示の本発明の原理による、内視鏡画像と超音波画像との画像ベースの融合の表示の例示的な実施形態を示す。 本開示の本発明の原理による、内視鏡画像と超音波画像との画像ベースの融合の表示の他の例示的な実施形態を示す。 本開示の本発明の原理による、内視鏡画像と超音波画像との画像ベースの融合の表示の他の例示的な実施形態を示す。 本開示の本発明の原理による、内視鏡画像と超音波画像との画像ベースの融合の表示の他の例示的な実施形態を示す。 本開示の本発明の原理による、内視鏡画像と超音波画像との画像ベースの融合の表示の他の例示的な実施形態を示す。 本開示の本発明の原理による、内視鏡画像と超音波画像との画像ベースの融合の表示の他の例示的な実施形態を示す。 本開示の本発明の原理による、内視鏡画像と超音波画像との画像ベースの融合の表示の他の例示的な実施形態を示す。 本開示の本発明の原理による、内視鏡画像と超音波画像との画像ベースの融合の表示の他の例示的な実施形態を示す。 本開示の本発明の原理による、内視鏡画像と超音波画像との画像ベースの融合の表示の他の例示的な実施形態を示す。 本開示の本発明の原理による、内視鏡画像と超音波画像との画像ベースの融合の表示の他の例示的な実施形態を示す。 本開示の本発明の原理による画像ベース融合ワークステーションの例示的な実施形態を示す。 本開示の本発明の原理による画像ベース融合ワークステーションの他の例示的な実施形態を示す。
本開示の理解を容易にするために、図1及び図2の以下の記載は、コントローラネットワーク20によって達成される最小侵襲性プロシージャのための解剖学的領域の超音波画像及び内視鏡画像の画像ベースの融合10の基本的な発明原理を教示する。この説明から、当業者は、本開示の画像ベースの融合を様々なタイプの最小侵襲性プロシージャに組み込むために、本開示の本発明の原理を適用する方法を理解するであろう。
図1に示すように、画像ベース融合10は、解剖学的領域（例えば、腹部領域）を含む最小侵襲性プロシージャ内に組み込まれた内視鏡撮像フェーズ11、腹腔鏡超音波（LUS）撮像フェーズ12及び画像融合フェーズ13を含む。
一般に、内視鏡撮像フェーズ11は、本開示の技術分野において周知のように、患者のポートを介して内視鏡を解剖学的領域に導入することを含み、これにより、内視鏡は、図２に関連して更に示されるように解剖学的領域（例えば、解剖学的領域内の器官の内視鏡ビュー）の内視鏡画像を生成するように操作される。
内視鏡撮像フェーズ11の前、同時または後に,LUS撮像フェーズ12は、一般に、本開示の技術分野で周知のように、患者の別のポートを通じたLUSプローブの解剖学的領域への導入を含み、それによりLUSプローブは、図２に関連して更に記載されるように、解剖学的領域の2D平面超音波画像（例えば、解剖学的領域内の器官の2D超音波視野）又は2D平面超音波画像の空間シーケンスからなる解剖学的領域の3Dスキャン超音波画像（例えば、解剖学的領域内の器官の3次元超音波ビュー）を生成するように操作される。
生成された内視鏡/超音波画像から、画像融合フェーズ13は、図２に関連して更に示されるように内視鏡の視野内のLUSプローブの検出を前提とした、本開示の本発明の原理による画像ベースの融合を含む。
内視鏡/超音波画像の最初の融合時に、LUSプローブは、本開示の技術分野において周知のように解剖学的領域から除去され、それにより外科的/診断的器具は解剖学的領域内に導入され、画像ベースの融合された内視鏡/超音波画像は、解剖学的領域内の手術/診断器具のナビゲーション及び操作をサポートする。その後、フェーズ11乃至13は最小侵襲性プロシージャを完了するために、必要に応じて個々に/まとめて繰り返されることができる。
画像ベースの融合10を実施するために、コントローラネットワーク20は、内視鏡コントローラ30、LUSプローブコントローラ40、画像融合コントローラ50、及び表示コントローラ60を使用する。
一般に、内視鏡コントローラ30は、内視鏡画像を生成する際に内視鏡の動作を制御するために、本開示の技術分野で周知のように構造的に構成されており、LUSプローブコントローラ40は、超音波画像を生成する際のLUSプローブの動作を制御するために当該技術分野において周知のように構造的に構成され、表示コントローラ60は、ディスプレイ/モニタの動作を制御するために当該技術分野において周知のように構造的に構成される。
画像融合コントローラ50は、図2に関連して本明細書でさらに説明するように内視鏡の視野内のLUSプローブの検出を前提とした、内視鏡画像と超音波画像との画像ベースの融合を制御するために、本開示の本発明の原理に従って構造的に構成される。
表示コントローラ60は、画像融合コントローラ50にユーザインタラクティブコマンドを提供するためにグラフィカルユーザインタフェースを表示し、それによって超音波画像及び内視鏡画像の画像ベースの融合の表示を操作するために、本開示の発明原理に従ってさらに構造的に構成されてもよい。
実際には、コントローラネットワーク20は、単一のワークステーション内に組み込まれてもよく、又は複数のワークステーション間で何れかの方法で分散されてもよい。
図2は、腹部領域ARを含む最小侵襲性プロシージャのためのコントローラネットワーク20による画像ベースの融合10の例示的な実装を示す。
図1及び図2を参照すると、内視鏡コントローラ30は、本開示の技術分野において周知のように内視鏡31による内視鏡画像の生成を制御する。より具体的には、内視鏡31は、内視鏡コントローラ30によって固定され、又は調整可能な視野32を有し、内視鏡コントローラ30は、内視鏡31からの内視鏡ビデオ信号を、内視鏡画像を示すコンピュータ可読時間フレームシーケンスに変換するためのビデオキャプチャ装置を使用する。実際には、ビデオキャプチャ装置は、内視鏡ビデオ信号から個々のデジタル静止内視鏡画像フレーム(「EIF」)33をキャプチャするための何れかのタイプのフレームグラバを使用することができる。
LUSプローブコントローラ40は、本開示の技術分野で周知のように、LUSプローブ41による1つ以上の超音波画像の生成を制御する。より詳細には、LUSプローブ41は、超音波の短パルスを撮像面42内で縦方向に送信し、超音波画像を示す反射音(「超音波エコー」)を受信するためのトランスデューサヘッド41hを有する。 LUSプローブ41は撮像中に静止して単一の2D平面超音波画像43をもたらすか、又はLUSプローブ41はポートに対してピボットされて2D平面超音波画像43の空間シーケンスからなる3Dスキャン超音波画像をもたらす。
画像融合コントローラ50は、プローブ検出器51、画像変換器52及び画像インテグレータ53を使用する。
プローブ検出器51は、図３に関連してさらに説明するように、内視鏡画像フレーム33の処理を制御して、内視鏡31の視野32内の腹腔鏡超音波プローブ41を検出する。
画像変換器52は、内視鏡画像フレーム33及び超音波画像43の処理を制御して、内視鏡31の内視鏡画像空間(例えば、視野31又はその一部)と、図３に関連してさらに説明するように内視鏡31の視野内のLUSプローブ41のプローブ検出器51による検出から導出されるLUSプローブ41の超音波画像空間(例えば、撮像面42又はその一部)との間の画像変換ENDOSCOPETLUS PROBEを計算する。
画像インテグレータ53は、内視鏡画像フレーム33及び超音波画像43の処理を制御して、図３に関連してさらに説明するように、画像変換器52によって計算された画像変換に基づいて内視鏡画像及び超音波画像を融合する。
表示コントローラ60は、個々に又は画像インテグレータ53によって融合されるように、内視鏡画像及び超音波画像43を示すために、本開示の技術分野で周知のようにディスプレイ/モニタ62の動作を制御する。融合される内視鏡画像/超音波画像に関して、画像インテグレータ５２は、画像融合データ(「IFD」)54を表示コントローラ60に提供し、それによって表示コントローラ60は、ディスプレイ/モニタ62による表示のために融合される内視鏡画像/超音波画像(「FEUI」)61を生成する。インタラクティブであれば、表示コントローラ60は、ディスプレイ/モニタ62によって融合内視鏡画像/超音波画像61の表示を操作する画像インテグレータ53へのグラフィカルユーザインタフェース（図示せず）を介してインタラクティブ画像コマンド(「IIC」)63を提供する。
本開示のさらなる理解を容易にするために、図３の以下の説明は、図２の制御ネットワークと関連して、本開示の画像ベースの融合方法の基本的な発明原理を教示する。この説明から、当業者は、本開示の多数の追加の制御ネットワーク実施形態に画像ベースの融合方法の本発明の原理を適用する方法を理解するであろう。
図3は、本開示の1つの画像ベースの融合方法を表すフローチャート70を示す。
図3を参照すると、フローチャート70のステージS72は、内視鏡31の視野32内のLUSプローブ41を検出するプローブ検出器51(図2)を包含する。
ステージS72の一実施形態では、プローブ検出器41は、トランスデューサヘッド41hのパターン、トランスデューサヘッド41の特定の形状/色/テクスチャ、又はトランスデューサヘッド41h上の補足/追加パターンの検出に基づいて当該技術分野で公知の技術を実行することによって、内視鏡31の視野32内のLUSプローブの遠位トランスデューサヘッド41hを自動的に検出する。
ステージS72の第2の実施形態では、プローブ検出器41は、内視鏡画像及び/又は超音波画像(例えば、オプティカルフロー、背景抽出など)内での動きの検出に基づいて、本開示の技術分野で周知の検出技術を実行することによって、内視鏡31の視野32内のLUSプローブ41の遠位変換器ヘッド41hを自動的に検出する。
フローチャート70のステージS74は、トランスデューサヘッド41hに基準フレーム44を取り付ける画像変換器52(図2)を含み、それにより、内視鏡31の内視鏡画像空間34とLUSプローブ41の超音波画像空間42との間の画像変換ENDOSCOPETLUS PROBEを計算するために当該技術分野において周知の2D-3Dレジストレーション(例えば、RANSACレジストレーション)を実行する。
フローチャート70のステージS76は、内視鏡画像と超音波画像とを融合させる画像インテグレータ53(図2)を包含し、これにより、限定されないが、超音波画像の内視鏡画像へのレジストレーションされたオーバーレイ又は内視鏡画像の表示に対する超音波画像のレジストレーションされたウィンドウ表示を含む、融合された内視鏡/超音波画像の同時表示を容易にする。
ステージS76の一実施形態では、本開示の技術分野で周知の画像ブレンディング技術が画像インテグレータ53によって実行されることができ、これにより、この融合プロセスは、2D平面超音波画像の透視変換又は3Dスキャン超音波画像の3D変換を含むことができる。
実際には、ステージS72乃至S76は、解剖学的領域内のLUSプローブ41の各撮像位置、若しくは特定の時間マーカー(例えば5秒)でのLUSプローブ41の撮像位置、又はオペレータによって選択されたLUSプローブ41の撮像位置について実行され得る。
変換ENDOSCOPETLUSは、スキャン中のLUSプローブ41の各撮像位置又はオペレータによって選択されるLUSプローブ41の撮像位置について、超音波画像とともに画像融合コントローラ50によって保存されることができる。
LUSプローブ41が解剖学的領域(例えば、図1に示される腹部領域AR)から除去されると、オペレータは、限定されないが、スクリーン上のマウス(又は他の入力装置)のクリック、保存される位置(例えば、A、B、C)を含む何れかの対話方法を利用することによって、又は割り当てられた名前によって、保存された変換ENDOSCOPETLUS、内視鏡画像及び超音波画像の組合せを介して、融合される内視鏡/超音波画像の表示を開始し得る。
図4A及び図4Bは、以下を含むフローチャート70の例示的な実行を示す。
1.ステージS72a：肝臓の形態の解剖学的器官の内視鏡像を示す内視鏡画像33aの視野内のLUSプローブ41のトランスデューサヘッド41hの自動パターン検出。
2.ステージ74a：内視鏡31の内視鏡画像空間(ピクセル)と、肝臓のセグメントの超音波ビューを提供する超音波画像43aを生成するLUSプローブ41の超音波画像空間との間のマッピング。
3.ステージ74b：超音波画像43aの輪郭45の描画。
4A.ステージ76a1：内視鏡画像33a上の超音波画像43aの透視的オーバーレイの形態の内視鏡/超音波画像33a/43aの融合を表示する輪郭45の利用。
4B.ステージ76a2：内視鏡画像33aの左上隅の超音波画像43aのウィンドウ表示の形態の内視鏡/超音波画像33a/43aの融合を表示するための輪郭45の利用。
再び図3を参照すると、フローチャート70のステージS76は、限定されないが、解剖学的領域のボリューム画像及び解剖学的領域内の解剖学的器官の解剖学的アトラスを含む解剖学的モデルへの、内視鏡/超音波画像の更なる融合を実行する画像統合53をさらに含むことができる。
ボリューム画像レジストレーション。内視鏡ビューは、本開示の技術分野において周知の方法(例えば、米国特許第9095252B2号)を使用して術前3D画像(例えば、CT、XperCT、MRI、PETなど)にレジストレーションされることができる。例えば、図5は、術前CT画像80のボリュメトリック空間81と内視鏡31の内視鏡画像空間34との間のレジストレーションENDOSCOPETCTを示し、これにより、図7-16に関連してさらに説明されるように、内視鏡/超音波の融合に基づいて術前CT画像80からの3D画像及び構造が同時に表示されることができる。
ENDOSCOPETCTレジストレーションは、関心平面で取得される本開示の技術分野において周知の画像ベースのレジストレーション方法(例えば、相互情報)を使用して精緻化されることができる。 ENDOSCOPETCT及びENDOSCOPETLUSから、超音波及びCT画像空間の間の変換は、
Figure 0007133474000001
で計算されることができる。
解剖学的アトラスレジストレーション。内視鏡/超音波画像の融合は、集団の間の解剖学的器官の形状を捕捉する解剖学的器官の解剖学的アトラスにレジストレーションされることができる。そのようなレジストレーションは、解剖学的器官に関してLUSプローブ41の大まかな局在化のみを可能にする。例えば、図6は、内視鏡画像にレジストレーションされる超音波画像43b乃至43dに示される、予め定義される迅速に識別可能な解剖学的基準点92のセットを使用することによって、肝臓の解剖学的アトラス90のモデル空間91と内視鏡検査との間のレジストレーションMODELTENDOSCOPEを示す。これらの基準点92は、器官特有の大きな血管の分岐部又は表面のランドマークであってもよい。
本開示のさらなる理解を容易にするために、図5乃至16の以下の記載は、内視鏡ビュー又はベース画像としての役割を果たす解剖モデルによる、本開示の内視鏡画像及び超音波画像の画像融合の表示の基本的な発明原理を教示する。この説明から、当業者であれば、内視鏡画像及び超音波画像の画像融合を表示するための本開示の多数の追加の実施形態について本発明の原理を適用する方法を理解するであろう。
超音波画像の深度。この表示の実施形態では、3Dスキャン超音波画像の特定の2D平面超音波画像はオペレータの好みに合わせて表示されることができる。より詳細には、オペレータは、3次元スキャン超音波画像の特定の2次元平面超音波画像を、内視鏡ビュー又はベース画像としての役割を果たす解剖学的モデル表示に重ね合わせることを決定することができる。
例えば、図7A及び図7Bが例示するように、オペレータは、肝臓のベース画像100(例えば、内視鏡ビュー又は解剖学的モデルビュー表示)と融合される肝臓の3Dスキャン超音波画像の特定の深度43b及び43cの間で選択するようにグラフィカルスライダ64を操作することができる。
超音波画像/器具ビュー。この表示の実施形態では、以前に記録され、保存された2D平面超音波画像は、プロシージャの間及び3Dスキャン超音波画像を生成する超音波スキャン後に器具下に表示されることができる。 2D平面超音波画像は、さらに、2D平面超音波画像を器具の透視で置くように変換されることができる。
例えば、図8A及び8Bに例示されるように、肝臓の標的領域の予め記録及び保存される2D平面超音波画像43eは変換され、プロシージャ中及びスキャン後に器具46下にベース画像100(例えば、内視鏡ビュー、セグメント化されるボリュームビュー、又は解剖学的アトラスビュー)上のオーバーレイとして表示される。
超音波画像透視変換。この表示の実施形態では、スキャン中又はプロシージャ中のいずれかにおいて、超音波画像が歪みのない透視で示されるように、ベース画像(例えば、内視鏡ビュー、セグメント化ボリュームビュー又は解剖学的アトラスビュー)は再計算され、透視を用いて変換されることができる。これは、本開示の技術分野でよく知られている逆透視変換を使用して達成されることができる。
例えば、図9A及び図9Bは、歪みのない透視で超音波画像43eを示すように再計算及び変換される内視鏡画像33bを示す。
内視鏡ビューのモデル基準。この表示の実施形態では、前述の解剖学的モデル変換を使用して、各々のスキャンされる2D平面超音波画像(又はオペレータによって選択される各2D平面超音波画像)は、解剖学的モデル(例えば、術前CTモデル又は解剖学的アトラス)の内容で表示されてもよい。解剖学的モデルで選択される追加の基準面は、2D平面超音波画像のより良い使用及び選択を容易にするために表示されることができる。 2D平面超音波画像は、内視鏡ビュー、解剖学的モデルビュー、又はその両方で視覚化されることができる。
例えば、図10Aは、内視鏡画像33c上の超音波画像43gと組み合わせて重畳される術前CT情報の基準面101a乃至101cを示しており、図10Bは、超音波画像43gに重畳される術前CT情報を備える超音波画像43gを示す。
さらなる例として、図11は、CT画像83の基準面101a乃至101cに対応する内視鏡画像33dにおける基準面101d乃至101fを示している。
LUSスキャニング。本開示の技術は、1回のスキャンの実行中又はスキャンの再訪中に、同じ/類似の平面の再訪を容易にする。オペレータは、超音波画像を配置するように、内視鏡ビューにおける保存LUSスキャン位置を使用することができる。内視鏡画像の2Dの性質のため、撮像の正しい面を見つけることは難しいことがある。図12に例示されるこの表示の実施例において、オペレータは、所望の撮像面(2D問題)に近い位置にLUSプローブヘッド41hを粗く位置決めする。配置後、オペレータは矢印で示すようにLUSプローブヘッドをピボットさせ、撮像融合コントローラ50は超音波画像のシーケンス43gを収集する。本開示の技術分野でよく知られている類似性メトリック(例えば、相互情報)を使用して、撮像融合コントローラ50は、所望の画像位置に最も類似した超音波画像を見つけ、いつピボットを停止するかをオペレータに通知する。
仮想LUSプローブ。この実施形態では、仮想プローブが解剖学的モデル(例えば、器官表面及び内部構造の3D再構成)と共に表示される。さらに(又はその代わりに)、超音波ボリューム/平面の輪郭は解剖学的モデルと併せて表示され、オペレータのためにより良好な空間方向決めを容易にすることができる。更に(又はその代わりに)、超音波画像又はボリュームは解剖学的モデル又は3D再構成の上に重ね合わされることができる。例えば、 図13は、そのとき解剖学的モデル104(例えば、CT画像又は解剖学的アトラス)に重ね合わされる仮想プローブ141の表示に後続される解剖学的構造103の3D再構成を示す。
外科的視覚化。この表示の実施形態では、外科プロシージャのプロセスは、腫瘍を含む現在及び以前に訪問/治療される基準面を視覚化することによって追跡される。最初に、内視鏡ビューが解剖学的モデル(例えば、図5及び図6に関連して先に説明したように術前3D画像又は解剖学的アトラス)にレジストレーションされる。第2に、このレジストレーションに基づいて、オペレータは手術中に基準面を取得し保存することによって腫瘍位置をマークする。第3に、システムは、現在及び/又は以前に治療される腫瘍を視覚化することによってプロシージャのプロセスを追跡する。現在の平面は、点滅している赤い平面として視覚化することができ、治療(切除)される腫瘍を含む平面は黒く表示することができる。
例えば、図15A及び図15Bは、ベース画像100(例えば、内視鏡画像、セグメント化されるボリューム画像又は解剖学的アトラスビュー)上に重ね合わされる基準面101g乃至101iを示す。図15Aは、具体的には、現在の手術基準面として基準面101gを示し、図15Bは、具体的には、治療領域を表す基準面101gを示し、基準面101iは、現在の外科手術基準面である。
投影LUSビュー。所望の解剖学的領域又は病変を視覚化するために、腹腔鏡プローブは特定の位置及び方向に配置されなければならない。これは、LUSプローブ41、患者、及び解剖学的モデルビューの間の座標系の鏡像化される動き及び不一致に起因する最小侵襲的な設定における困難な課題になり得る。この表示実施形態は、関連するビュー、例えば図１５に示される解剖学的モード画像104(例えば、セグメント化されるCT画像又は解剖学的アトラス)に対する投影位置111a乃至111d及び現在位置110を達成するプローブ位置及び方向のオーバーレイと共に解剖学的器官の解剖学的モデル例えば、セグメント化されるCT画像又は解剖学的アトラスを提供することによってこの困難を軽減する。これらの位置及び方向は、手動で以前に見つかったビューから、又は関心領域の位置の知識から計算されるビューから保存されることができる。さらに、腹腔鏡プローブが追跡される場合、現在の位置及び方向は、プローブの配置をさらに助けるために、アトラスに対して重ね合わされることができる。
変換投影LUSビュー。前の実施形態に続いて、アトラス視点は、現在位置110及び投影位置111a乃至111dとともに図１６に示される解剖学的モデル画像104(例えば、セグメント化されるCT画像又は解剖学的アトラス)の鳥瞰図、ユーザコンソール視点、又は腹腔鏡視点などの直感的な透視に変換されることができる。このような変換により、臨床医は自身の基準フレームにプローブ運動を示すことができ、これらの方向は解剖学的モデル座標系の適切な動きに変換される。逆に、解剖学的モデル座標系において所望の視野を得るために必要なプローブの動きは、臨床医の基準のフレーム内の動きに変換されることができる。
実際には、画像融合コントローラ50(図1)は、ワークステーション内に設置されてもよいし、ワークステーションにリンクされてもよい。
例えば、図17Aは、モニタ201、インタフェースプラットフォーム202(例えば、キーボード、ボタン、ダイヤル、ジョイスティックなど)、クライアントコンピュータ203、及びワークステーションコンピュータ203内に設置されるコントローラネットワーク204を使用する画像融合ワークステーション200を示す。
コントローラネットワーク204は、本開示の本発明の原理による内視鏡コントローラ205、LUSプローブコントローラ206、画像融合コントローラ207、及び表示コントローラ208を含む。実際には、コントローラ205乃至208は、クライアントコンピュータ203内の何れかの程度で分離及び/又は統合されることができる。代わりに図17Bに示されるように、内視鏡コントローラ205は、(モニタ211、インタフェースプラットフォーム212及びクライアントコンピュータ213を有する)内視鏡検査ワークステーション210内に設置され、LUSプローブコントローラ206は、(モニタ221、プラットフォーム222及びクライアントコンピュータ223を有する)n LUSワークステーション220内に設置され、画像融合コントローラ207及び表示コントローラ208は、ワークステーション210及び220にリンクされるワークステーションタブレット230内に設置される。
図１乃至１７を参照すると、当業者は、限定されるものではないが、解剖学的領域の超音波画像及び内視鏡画像の画像ベースの融合を含む、本開示の多くの利点を、解剖学的領域の超音波画像と内視鏡画像との追跡に基づく融合を含む最小侵襲性プロシージャに組み込まれる既存のシステム、ワークステーション、コントローラ及び方法に対する改良として理解するであろう。
さらに、当業者であれば、本明細書で提供される教示に鑑みて、本開示/明細書及び/又は図面に記載される特徴、要素、構成要素などは、様々な組み合わせの電子ハードウェア、実行可能なソフトウェア及び実行可能なファームウェアを含み、単一の要素又は複数の要素に組み合わせることができる機能を提供する。例えば、図面に図示/図示/図示した様々な特徴、要素、構成要素等の機能は、専用のハードウェアならびに適切なソフトウェアに関連してソフトウェアを実行することができるハードウェアを使用して提供することができる。プロセッサによって提供される場合、機能は、単一の専用プロセッサ、単一の共有プロセッサ、又は複数の個別プロセッサによって提供されることができ、それらのうちのいくつかは共有及び/又は多重化することができる。さらに、「プロセッサ」という用語を明示的に使用することは、ソフトウェアを実行することができるハードウェアを排他的に指すものと解釈すべきではなく、暗黙的に、デジタル信号プロセッサ(DSP)ハードウェア、メモリ(例えば、ランダムアクセスメモリ「RAM」、不揮発性記憶装置など)及び実質的に何れかの手段及び/又は機械(ハードウェア、ソフトウェア、ファームウェア、回路、それらの組み合わせなどを含む)を格納するための「ROM」プロセスを実行(及び/又は制御)することができる及び/又は構成可能である。
さらに、本発明の原理、態様及び実施形態、ならびにその特定の例を記載する本明細書におけるすべての記述は、それらの構造的及び機能的等価物の両方を包含するように意図される。さらに、そのような均等物には、現在知られている等価物及び将来開発される等価物(例えば、構造にかかわらず、同じ又は実質的に類似の機能を果たすことができるように開発される何れかの要素)が含まれることが意図される。したがって、例えば、本明細書で提示される何れかのブロック図が、本発明の原理を具体化する例示的なシステム構成要素及び/又は回路の概念図を表すことができることを、当業者は理解するであろう。同様に、当業者であれば、本明細書で提供される教示を考慮すれば、フローチャート、流れ図などは、コンピュータ可読記憶媒体に実質的に表現され、コンピュータ、プロセッサ又はそのようなコンピュータ又はプロセッサが明示的に示されるか否かにかかわらず、処理能力を有する他の装置を含む。
さらに、本開示の例示的な実施形態は、プログラムコード及び/又は命令を提供するコンピュータ使用可能及び/又はコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラム製品又はアプリケーションモジュールの形態をとることができる。 コンピュータ又は何れかの命令実行システムを含む。本開示によれば、コンピュータ使用可能又はコンピュータ読み取り可能な記憶媒体は、命令実行システム、装置又はシステムによって又はそれと関連して使用するために、例えばプログラムを格納、通信、伝播又は転送することができる何れかの装置であり得る。そのような例示的な媒体は、例えば、電子、磁気、光学、電磁気、赤外線又は半導体システム(又は装置又はデバイス)又は伝搬媒体であり得る。コンピュータ可読媒体の例には、例えば、半導体又はソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、フラッシュドライブ磁気ディスク、光ディスクなどが挙げられる。現在の光ディスクの例には、コンパクトディスクリードオンリメモリ(CD-ROM)、コンパクトディスクリードライト(CD-R/W)及びDVDが含まれる。さらに、今後開発される何れかの新しいコンピュータ可読媒体は、本開示の例示的な実施形態及び開示に従って使用又は参照され得るコンピュータ可読媒体と考えられるべきであることを理解される。
内視鏡画像と解剖学的領域の超音波画像との新規で発明的な画像ベースの融合(この実施形態は例示的であって限定的ではないことが意図される)の好ましい例示的な実施形態について説明したが、変更及び変形を行うことができる図面を含む本明細書で提供される教示に照らして当業者によって理解されるべきである。したがって、本明細書に開示される実施形態の範囲内にある本開示の好ましい実施形態及び例示的な実施形態に変更を加えることができることを理解される。
さらに、本開示に従った装置において使用されるか又は実装され得る、装置を組み込む及び/又は実装する対応する及び/又は関連するシステムもまた、企図され、本開示の範囲内にあると考えられることが企図される。 さらに、本開示によるデバイス及び/又はシステムを製造及び/又は使用するための対応する及び/又は関連する方法もまた、企図され、本開示の範囲内にあるとみなされる。

Claims (15)

  1. 内視鏡によって生成される解剖学的領域の内視鏡画像と、腹腔鏡超音波プローブによって生成される前記解剖学的領域の超音波画像との画像ベースの融合のための画像融合ワークステーションであって、前記画像融合ワークステーションは、
    画像融合コントローラであって、
    前記内視鏡画像及び前記超音波画像の通信に応答して、前記画像融合コントローラは、前記解剖学的領域の前記内視鏡の視野内の前記腹腔鏡超音波プローブの前記画像融合コントローラによる検出から導出される前記腹腔鏡超音波プローブの超音波画像空間と前記内視鏡の内視鏡画像空間との間の画像変換に基づいて、前記内視鏡画像と前記超音波画像との間の前記融合を制御する、
    画像融合コントローラと、
    表示コントローラであって、
    前記表示コントローラは、前記内視鏡画像及び前記超音波画像の前記画像融合コントローラによる前記融合の表示を制御する、
    表示コントローラと
    を有する、画像融合ワークステーション。
  2. 前記画像融合コントローラ及び前記表示コントローラは、前記腹腔鏡超音波プローブからの前記超音波画像の深度のユーザインタラクティブ選択をさらに制御する、
    請求項1に記載の画像融合ワークステーション。
  3. 前記画像融合コントローラ及び前記表示コントローラは、前記解剖学的領域内に挿入される器具に対する前記超音波画像の表示をさらに制御する、
    請求項1に記載の画像融合ワークステーション。
  4. 前記画像融合コントローラ及び前記表示コントローラは、前記超音波画像の前記表示の透視ビューをさらに制御する、
    請求項1に記載の画像融合ワークステーション。
  5. 前記解剖学的領域の解剖学的モデルの通信に応答して、前記画像融合コントローラは、前記解剖学的モデルのボリュメトリック画像空間と前記内視鏡の前記内視鏡画像空間との間の画像変換に基づいて、前記解剖学的領域の前記解剖学的モデルと前記超音波画像及び前記内視鏡画像の前記融合との間のレジストレーションを制御する、
    請求項1に記載の画像融合ワークステーション。
  6. 前記解剖学的モデルは、撮像モダリティによって生成される前記解剖学的領域のボリューム画像である、
    請求項5に記載の画像融合ワークステーション。
  7. 前記解剖学的モデルは、前記解剖学的領域内の解剖学的構造の解剖学的アトラスである、
    請求項5に記載の画像融合ワークステーション。
  8. 前記画像融合コントローラ及び前記表示コントローラは、前記内視鏡画像、前記超音波画像、及び前記内視鏡画像と前記超音波画像との前記融合の少なくとも1つの表示上に重ね合わされる前記解剖学的モデルの少なくとも1つの平面ビューの表示を更に制御する、
    請求項5に記載の画像融合ワークステーション。
  9. 前記画像融合コントローラ及び前記表示コントローラは、前記解剖学的領域の前記解剖学的モデルと前記超音波画像及び前記内視鏡画像の前記融合との間の前記レジストレーションに基づいて、前記腹腔鏡超音波プローブによって生成される前記解剖学的領域の複数の超音波画像のうちの特定の深度の超音波画像の表示を更に制御する、
    請求項5に記載の画像融合ワークステーション。
  10. 前記画像融合コントローラ及び前記表示コントローラは、前記解剖学的領域の前記解剖学的モデルと前記超音波画像及び前記内視鏡画像の前記融合との間の前記レジストレーションに基づいて、前記解剖学的モデルの表示とともに前記超音波画像及び仮想腹腔鏡プローブの表示をさらに制御する、
    請求項5に記載の画像融合ワークステーション。
  11. 前記画像融合コントローラ及び前記表示コントローラは、前記解剖学的領域内で行われる外科的プロシージャの状態を示す前記超音波画像の表示をさらに制御する、
    請求項1に記載の画像融合ワークステーション。
  12. 前記画像融合コントローラ及び前記表示コントローラは、前記解剖学的領域内で行われる外科的プロシージャの状態を示す前記解剖学的モデルの少なくとも1つの基準平面ビューの表示をさらに制御する、
    請求項5に記載の画像融合ワークステーション
  13. 前記画像融合コントローラ及び前記表示コントローラは、前記解剖学的領域の前記解剖学的モデルと前記超音波画像及び前記内視鏡画像の前記融合との間の前記レジストレーションに基づいて、前記解剖学的モデルに対する前記腹腔鏡超音波プローブの少なくとも1つの所望の位置の仮想表示をさらに制御する、
    請求項5に記載の画像融合ワークステーション。
  14. 内視鏡によって生成される解剖学的領域の内視鏡画像と腹腔鏡超音波プローブによって生成される前記解剖学的領域の超音波画像との画像ベースの融合のための画像融合コントローラであって、前記画像融合コントローラは、
    前記内視鏡の視野内の前記腹腔鏡超音波プローブの検出を制御するプローブ検出器と、
    前記内視鏡の前記視野内の前記腹腔鏡超音波プローブの前記プローブ検出器による前記検出から導出される前記腹腔鏡超音波プローブの超音波画像空間と前記内視鏡の内視鏡画像空間との間の画像変換の計算を制御する画像変換器と、
    前記画像変換器により計算される前記画像変換に基づいて、前記内視鏡画像と前記超音波画像との前記融合を制御する画像インテグレータと
    を有する、画像融合コントローラ。
  15. 前記解剖学的領域の解剖学的モデルの通信に応答して、前記画像インテグレータは、前記解剖学的モデルのボリュメトリック画像空間と前記内視鏡の前記内視鏡画像空間との間の画像変換に基づいて、前記解剖学的領域の前記解剖学的モデルと前記超音波画像及び前記内視鏡画像の前記融合との間のレジストレーションを更に制御する、
    請求項14に記載の画像融合コントローラ。
JP2018561635A 2016-05-31 2017-05-30 内視鏡画像及び超音波画像の画像ベースの融合 Active JP7133474B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662343339P 2016-05-31 2016-05-31
US62/343,339 2016-05-31
PCT/EP2017/063031 WO2017207565A1 (en) 2016-05-31 2017-05-30 Image-based fusion of endoscopic image and ultrasound images

Publications (3)

Publication Number Publication Date
JP2019517291A JP2019517291A (ja) 2019-06-24
JP2019517291A5 JP2019517291A5 (ja) 2020-07-02
JP7133474B2 true JP7133474B2 (ja) 2022-09-08

Family

ID=58873819

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018561635A Active JP7133474B2 (ja) 2016-05-31 2017-05-30 内視鏡画像及び超音波画像の画像ベースの融合

Country Status (5)

Country Link
US (1) US20190290247A1 (ja)
EP (1) EP3463032B1 (ja)
JP (1) JP7133474B2 (ja)
CN (1) CN109219384B (ja)
WO (1) WO2017207565A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10952705B2 (en) * 2018-01-03 2021-03-23 General Electric Company Method and system for creating and utilizing a patient-specific organ model from ultrasound image data
US11123139B2 (en) * 2018-02-14 2021-09-21 Epica International, Inc. Method for determination of surgical procedure access
JP6988001B2 (ja) * 2018-08-30 2022-01-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
JP7148625B2 (ja) * 2018-09-18 2022-10-05 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、医用画像処理装置の作動方法、及びプログラム
CN109115805A (zh) * 2018-10-25 2019-01-01 广东华中科技大学工业技术研究院 基于超声和光学双成像的透明构件缺陷检测装置及方法
WO2020264003A1 (en) * 2019-06-25 2020-12-30 Intuitive Surgical Operations, Inc. System and method related to registration for a medical procedure
CN110288653B (zh) * 2019-07-15 2021-08-24 中国科学院深圳先进技术研究院 一种多角度超声图像融合方法、系统及电子设备
JP2022179221A (ja) * 2021-05-21 2022-12-02 富士フイルム株式会社 医療画像処理システム
US20230062782A1 (en) * 2021-09-02 2023-03-02 Cilag Gmbh International Ultrasound and stereo imaging system for deep tissue visualization
US20230107857A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical sealing devices for a natural body orifice
US20230097906A1 (en) * 2021-09-29 2023-03-30 Cilag Gmbh International Surgical methods using multi-source imaging
WO2023086332A1 (en) * 2021-11-09 2023-05-19 Genesis Medtech (USA) Inc. An interactive augmented reality system for laparoscopic and video assisted surgeries
CN113940753B (zh) * 2021-11-12 2023-12-19 北京智愈医疗科技有限公司 一种用于组织切割路径自动规划的多图像信息融合方法及系统
WO2023162657A1 (ja) * 2022-02-28 2023-08-31 富士フイルム株式会社 医療支援装置、医療支援装置の作動方法及び作動プログラム
CN115633926A (zh) * 2022-12-23 2023-01-24 山东百多安医疗器械股份有限公司 一种多模态超声心电腔镜诊疗仪
CN117495693B (zh) * 2023-10-24 2024-06-04 北京仁馨医疗科技有限公司 用于内窥镜的图像融合方法、系统、介质及电子设备
CN117974475B (zh) * 2024-04-02 2024-06-18 华中科技大学同济医学院附属同济医院 四维超声内镜观测下病灶影像融合方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002017729A (ja) 2000-07-11 2002-01-22 Toshiba Corp 超音波内視鏡診断装置
US20110130659A1 (en) 2007-08-24 2011-06-02 Endocontrol Imaging System for Following a Surgical Tool in an Operation Field
JP2011104079A (ja) 2009-11-17 2011-06-02 Univ Of Tokyo 医療画像処理システム
JP2012235983A (ja) 2011-05-13 2012-12-06 Olympus Medical Systems Corp 医療用画像表示システム
JP2014083237A (ja) 2012-10-24 2014-05-12 Olympus Corp プローブ位置調節装置
US20140303491A1 (en) 2013-04-04 2014-10-09 Children's National Medical Center Device and method for generating composite images for endoscopic surgery of moving and deformable anatomy
JP2015505686A (ja) 2011-12-03 2015-02-26 コーニンクレッカ フィリップス エヌ ヴェ 内視鏡手術における超音波プローブのロボット誘導
JP2015107268A (ja) 2013-12-05 2015-06-11 国立大学法人名古屋大学 内視鏡観察支援装置
WO2015091226A1 (en) 2013-12-19 2015-06-25 Koninklijke Philips N.V. Laparoscopic view extended with x-ray vision

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3550966B2 (ja) * 1996-09-18 2004-08-04 株式会社日立製作所 手術装置
GB2333882B (en) * 1998-01-26 2002-06-12 Imperial College Apparatus for and method of assessing surgical technique
US6602185B1 (en) * 1999-02-18 2003-08-05 Olympus Optical Co., Ltd. Remote surgery support system
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
EP3679882A1 (en) * 2005-06-06 2020-07-15 Intuitive Surgical Operations, Inc. Laparoscopic ultrasound robotic surgical system
WO2008017051A2 (en) * 2006-08-02 2008-02-07 Inneroptic Technology Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
WO2008086615A1 (en) * 2007-01-19 2008-07-24 Sunnybrook Health Sciences Centre Medical imaging probe with rotary encoder
US8989842B2 (en) * 2007-05-16 2015-03-24 General Electric Company System and method to register a tracking system with intracardiac echocardiography (ICE) imaging system
US8090168B2 (en) * 2007-10-15 2012-01-03 General Electric Company Method and system for visualizing registered images
IT1392888B1 (it) * 2008-07-24 2012-04-02 Esaote Spa Dispositivo e metodo di guida di utensili chirurgici mediante imaging ecografico.
BR112012016973A2 (pt) 2010-01-13 2017-09-26 Koninl Philips Electronics Nv sistema de navegação cirúrgica para a integração de uma pluralidade de imagens de uma região anatômica de um corpo, incluíndo uma imagem pré-operatótia digitalizada, uma imagem intra-operatória fluoroscópia e uma imagem intra-operatória endoscópica
EP2726899A1 (en) * 2011-07-01 2014-05-07 Koninklijke Philips N.V. Intra-operative image correction for image-guided interventions
JP6073369B2 (ja) * 2011-12-27 2017-02-01 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 追跡システムの術中品質モニタリング
CN103230283B (zh) * 2013-04-16 2014-11-05 清华大学 一种超声探头成像平面空间位置标定的优化方法
CN103948432A (zh) * 2014-04-30 2014-07-30 深圳先进技术研究院 术中立体内窥视频与超声图像增强现实算法
EP3169264A1 (en) * 2014-07-15 2017-05-24 Koninklijke Philips N.V. Image integration and robotic endoscope control in x-ray suite
GB201506842D0 (en) * 2015-04-22 2015-06-03 Ucl Business Plc And Schooling Steven Locally rigid vessel based registration for laparoscopic liver surgery
WO2016195698A1 (en) * 2015-06-05 2016-12-08 Siemens Aktiengesellschaft Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002017729A (ja) 2000-07-11 2002-01-22 Toshiba Corp 超音波内視鏡診断装置
US20110130659A1 (en) 2007-08-24 2011-06-02 Endocontrol Imaging System for Following a Surgical Tool in an Operation Field
JP2011104079A (ja) 2009-11-17 2011-06-02 Univ Of Tokyo 医療画像処理システム
JP2012235983A (ja) 2011-05-13 2012-12-06 Olympus Medical Systems Corp 医療用画像表示システム
JP2015505686A (ja) 2011-12-03 2015-02-26 コーニンクレッカ フィリップス エヌ ヴェ 内視鏡手術における超音波プローブのロボット誘導
JP2014083237A (ja) 2012-10-24 2014-05-12 Olympus Corp プローブ位置調節装置
US20140303491A1 (en) 2013-04-04 2014-10-09 Children's National Medical Center Device and method for generating composite images for endoscopic surgery of moving and deformable anatomy
JP2015107268A (ja) 2013-12-05 2015-06-11 国立大学法人名古屋大学 内視鏡観察支援装置
WO2015091226A1 (en) 2013-12-19 2015-06-25 Koninklijke Philips N.V. Laparoscopic view extended with x-ray vision

Also Published As

Publication number Publication date
US20190290247A1 (en) 2019-09-26
EP3463032B1 (en) 2020-12-23
CN109219384A (zh) 2019-01-15
JP2019517291A (ja) 2019-06-24
WO2017207565A1 (en) 2017-12-07
EP3463032A1 (en) 2019-04-10
CN109219384B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
JP7133474B2 (ja) 内視鏡画像及び超音波画像の画像ベースの融合
US11730562B2 (en) Systems and methods for imaging a patient
US10772684B2 (en) Spatial visualization of internal mammary artery during minimally invasive bypass surgery
JP6395995B2 (ja) 医療映像処理方法及び装置
JP6382802B2 (ja) ロボット操作される内視鏡を使用した血管可視化の向上
JP6122875B2 (ja) 血管ツリー画像内での見えない分岐部の検出
JP6972163B2 (ja) 奥行き知覚を高める仮想陰影
US10702346B2 (en) Image integration and robotic endoscope control in X-ray suite
US20070236514A1 (en) Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
JP2017511728A (ja) 同時ｘ平面撮像を用いた画像レジストレーション及び誘導
CN107847111B (zh) 根据体积图像的交互式平面切片的内窥镜引导
Nagelhus Hernes et al. Computer‐assisted 3D ultrasound‐guided neurosurgery: technological contributions, including multimodal registration and advanced display, demonstrating future perspectives
EP3782529A1 (en) Systems and methods for selectively varying resolutions
US20220409300A1 (en) Systems and methods for providing surgical assistance based on operational context
Wang et al. Stereoscopic augmented reality for single camera endoscopy: a virtual study
US11657547B2 (en) Endoscopic surgery support apparatus, endoscopic surgery support method, and endoscopic surgery support system
US20240206980A1 (en) Volumetric filter of fluoroscopic sweep video
US20230147826A1 (en) Interactive augmented reality system for laparoscopic and video assisted surgeries
Ong Intra-operative Registration Methods for Image-Guided Kidney Surgery
Wollf et al. Real-time endoscope and intraoperative ultrasound integration in computer assisted navigated surgery

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200518

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220829

R150 Certificate of patent or registration of utility model

Ref document number: 7133474

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150