JP6778807B2 - 臨床画像上に強調された画像化データを表示するための方法および装置 - Google Patents

臨床画像上に強調された画像化データを表示するための方法および装置 Download PDF

Info

Publication number
JP6778807B2
JP6778807B2 JP2019190849A JP2019190849A JP6778807B2 JP 6778807 B2 JP6778807 B2 JP 6778807B2 JP 2019190849 A JP2019190849 A JP 2019190849A JP 2019190849 A JP2019190849 A JP 2019190849A JP 6778807 B2 JP6778807 B2 JP 6778807B2
Authority
JP
Japan
Prior art keywords
image
visible
color image
color
imaging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019190849A
Other languages
English (en)
Other versions
JP2020072873A (ja
Inventor
ジェイ. モーア キャサリン
ジェイ. モーア キャサリン
エム. マクドーウォール イアン
エム. マクドーウォール イアン
ダブリュー. モーア ポール
ダブリュー. モーア ポール
Original Assignee
インテュイティブ サージカル オペレーションズ, インコーポレイテッド
インテュイティブ サージカル オペレーションズ, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテュイティブ サージカル オペレーションズ, インコーポレイテッド, インテュイティブ サージカル オペレーションズ, インコーポレイテッド filed Critical インテュイティブ サージカル オペレーションズ, インコーポレイテッド
Publication of JP2020072873A publication Critical patent/JP2020072873A/ja
Application granted granted Critical
Publication of JP6778807B2 publication Critical patent/JP6778807B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Description

本発明の実施形態は、概して、医療用画像を表示することに関する。
低侵襲医療技術は、診断または外科的処置の間に損傷を受ける無関係な組織の量を低減し、それによって患者の回復時間、不快症状、および有害な副作用を低減することを目的とする。標準的な手術に対する入院期間の平均もまた、低侵襲手術技術を使用することによって著しく短縮されるかもしれない。したがって、低侵襲技術の採用の増加は、何百万もの入院日数および、病院での居住費用だけで年間何百万ドルもの金銭を削減することができる。患者の回復時間、患者の不快症状、外科的副作用、および仕事から離れている時間もまた、低侵襲手術によって低減され得る。
手術部位を調べるために、照明手段付きの内視鏡カメラが該手術部位の色画像を捕捉するために患者の体内へ挿入され得る。該手術部位の色画像は、モニタまたはディスプレイ上で外科医に示され得る。
該手術部位の付加的な画像情報は、ピクチャーインピクチャー(PIP)ディスプレイの使用によって、外科医に同時に表示され得る。該付加的な画像情報は、手術結果を改善するために外科医にとって有用であることができる。しかしながら、PIPディスプレイのより小さい画像は、詳細な情報の望ましいレベルを示すには小さすぎる場合がある。さらに、分離された画像枠のために、外科医は頭の中で2つの分離された画像または画像化法を一緒に結合しており、それは疲弊させ得る。代替的に、付加的な画像情報は、表示デバイス上に表示される該色画像と該代替の付加的画像とを交互に切り替えることによって、全画面表示で示され得る。しかしながら、画像を交互に切り替えることは時間を要し、結果として手術の効率を悪くさせ得る。さらに、外科医は交互観察方式の間に、白色光観察に切り替え戻しそこない、必要以上に切除し、または、誤って主要組織を損傷させるかもしれない。
より効率的でより安全な低侵襲手術を提供することが望ましい。
本願明細書は、例えば、以下の項目も提供する。
(項目1)
低侵襲手術システムのための方法であって、
該方法は、
患者内の手術部位から可視電磁(EM)スペクトルで捕捉された組織の可視色画像を、彩度を減じた画像へと不飽和化することと、
色を強調した画像を形成するために、該可視電磁(EM)スペクトル外の該手術部位から捕捉されたデータを表す強調画像を可視色で着色することと
表示デバイス上での表示のための該手術部位の混合画像を形成するように、該色を強調した画像および該彩度を減じた画像を一緒に組み合わせることと
を含む、方法。
(項目2)
前記可視電磁(EM)スペクトル外の電磁放射線によって励起され得るバイオマーカを前記患者内に導入することと、
該患者内の手術部位を、該可視電磁(EM)スペクトル内の可視光で照射することと、
該可視光に応答して、該患者内の手術部位の可視色画像を捕捉することと、
該患者内への該バイオマーカの導入に応答して、該手術部位からデータを捕捉することと
をさらに含む、項目1に記載の方法。
(項目3)
データを捕捉することの前に、前記バイオマーカを励起するために、前記患者内の手術部位を前記可視電磁(EM)スペクトル外の電磁放射線に曝露することをさらに含み、
該データが、該バイオマーカの励起にさらに応答して、該手術部位から捕捉される、項目2に記載の方法。
(項目4)
前記患者内に導入される前記バイオマーカが、インドシアニングリーンであり、
前記可視電磁(EM)スペクトル外の前記電磁放射線が近赤外線(NIR)であることにより、該インドシアニングリーンを励起して、蛍光を発し、電磁放射線を放出する、項目3に記載の方法。
(項目5)
組み合わせことの前に、前記色を強調した画像と前記彩度を減じた画像との間の第1の相対輝度を設定することをさらに含む、項目1に記載の方法。
(項目6)
前記相対輝度が所定のレベルであり、
前記可視色画像の不飽和化が、所定のレベルの不飽和化である、項目4に記載の方法。
(項目7)
前記色を強調した画像と前記彩度を減じた画像との間の相対輝度の設定を、前記混合画像内の情報内容を変化させるために、第2の相対輝度まで変化させることをさらに含む、項目6に記載の方法。
(項目8)
前記彩度を減じた画像内の情報内容を変化させるために、前記不飽和化のレベルを、前記手術部位の可視色画像を不飽和化するように変化させることをさらに含む、項目6に記載の方法。
(項目9)
前記手術部位の前記可視色画像が、全ての色を除去するように完全に不飽和化され、該不飽和化された画像が白黒画像である、項目8に記載の方法。
(項目10)
前記強調画像が、近赤外線(NIR)蛍光画像、可視光蛍光画像、または空間的変動を伴う臨床情報を含む前記手術部位のスペクトル特性のラスター走査のうちの1つである、項目1に記載の方法。
(項目11)
前記強調画像が、測定可能な組織パラメータの点測定から形成される、項目1に記載の方法。
(項目12)
前記測定可能な組織パラメータが、組織インピーダンス、癌細胞の点検出、または所定の細胞型の点検出である、項目11に記載の方法。
(項目13)
前記色を強調した画像と前記不飽和化された画像とを組み合わせることが、該色を強調した画像と該不飽和化された画像との時間的位置合わせおよび空間的位置合わせを含む、項目1に記載の方法。
(項目14)
表示デバイスを含む装置であって、
該表示デバイスは、
体腔から、該可視電磁(EM)スペクトル内で捕捉される組織の不飽和化された画像と、
該不飽和化された画像と組み合わされた第1の色を強調した画像であって、該第1の色を強調した画像は、該可視電磁スペクトル外の該体腔から捕捉された第1のデータを表す、第1の色を強調した画像と
を表示し、
該不飽和化された画像と該第1の色を強調した画像との間の相対輝度が、改良された情報内容を提供するように、該可視電磁(EM)スペクトル内で捕捉された該組織に対して該第1のデータを強調するように設定される、装置。
(項目15)
前記表示デバイスが、
前記第1の色を強調した画像および前記不飽和化された画像と組み合わされた第2の色を強調した画像をさらに表示し、該第2の色を強調した画像は、前記可視電磁スペクトル外の前記体腔から捕捉された第2のデータを表し、該第2の色を強調した画像は、該第1の色を強調した画像と異なる色を有し、
該不飽和化された画像と該第2の色を強調した画像との間の相対輝度が、該可視電磁(EM)スペクトル内で捕捉された組織よりも該第2のデータを強調するように設定される、項目14に記載の装置。
(項目16)
前記表示デバイス上に表示される、前記不飽和化された画像と前記第1の色を強調した画像との間の相対輝度を調整するユーザが選択可能なデバイスを含むユーザインターフェースをさらに含む、項目14に記載の装置。
(項目17)
前記表示デバイス上に表示された前記不飽和化された画像の輝度を調整する第1のユーザが選択可能なデバイスと、該表示デバイス上に表示された第2の疑似色画像の輝度を調整する第2のユーザが選択可能なデバイスとを含むユーザインターフェースをさらに備えている、項目14に記載の装置。
(項目18)
前記組織の不飽和化された画像が、前記可視電磁スペクトル内の波長の範囲に敏感なセンサで捕捉され、
前記第1の色を強調した画像によって表されるデータが、該可視電磁スペクトル外の波長の範囲に敏感なセンサで捕捉される、項目14に記載の装置。
(項目19)
前記不飽和化された画像の一部分が、前記体腔内の手術道具の不飽和化された画像を含む、項目14に記載の装置。
(項目20)
前記第1の色を強調した画像によって表されるデータが、組織内へ導入されるバイオマーカに応答して捕捉される、項目14に記載の装置。
(項目21)
前記バイオマーカがインドシアニングリーン(ICG)である、項目20に記載の装置。
(項目22)
前記第1の色を強調した画像によって表されるデータが、表面組織下の骨組織のX線で捕捉される、項目14に記載の装置。
(項目23)
機械によって実行されると該機械に動作を実行させる命令を記憶した機械読み取り可能媒体であって、該動作は、
不飽和化された画像を形成するために、患者内の可視電磁(EM)スペクトル内の手術部位内の組織の捕捉された色画像において色を低減することと、
色を強調した画像において可視である該手術部位内で捕捉された非可視特徴的な組織特徴を形成することと、
該色を強調した画像と該不飽和化された画像とを一緒に組み合わせて、少なくとも1つの表示デバイス上の表示のための組み合わせ画像を形成することと
を含む、機械読み取り可能媒体。
(項目23)
前記手術部位の非可視特徴的な組織特徴が、前記可視電磁(EM)スペクトル外で捕捉される、項目22に記載の機械読み取り可能媒体。
(項目24)
前記手術部位の非可視特徴的な組織特徴が、疑似色によって、不飽和化された画像内に捕捉された前記組織の上で可視化される、項目22に記載の機械読み取り可能媒体。
(項目25)
可視光で照明された手術部位の可視色画像を取得することと、
該手術部位の可視色画像を、可視濃淡画像へと不飽和化することと、
該手術部位内の蛍光を発する組織の蛍光画像を取得することであって、該蛍光を発する組織が可視色で現れる、ことと、
該可視蛍光画像と該可視濃淡画像との組み合わせを含む表示可能な画像を生成することと
を含む、方法。
(項目26)
前記不飽和化することが、
前記可視濃淡画像を形成するために、前記可視色画像から全ての色を実質的に除去することを含む、項目25に記載の方法。
(項目27)
前記蛍光画像の取得が、
前記手術部位を、前記可視電磁スペクトル外の電磁放射線に曝露することを含む、項目25に記載の方法。
(項目28)
前記蛍光画像内の蛍光を発する組織を前記可視色で着色することをさらに含む、項目25に記載の方法。
(項目29)
表示デバイス上に前記表示可能な画像を表示することと、
前記可視濃淡画像および前記蛍光画像のうちの1つまたは両方の輝度のレベルを調整することと
をさらに含む、項目25に記載の方法。
(項目30)
表示デバイス上に前記表示可能な画像を表示することと、
前記可視色画像の不飽和化のレベルを調整することと
をさらに含む、項目25に記載の方法。
本発明の実施形態は、以下の特許請求の範囲によって要約される。
本特許または出願書類は、少なくとも1つのカラーで作成された図面を含む。カラー図面を含めた本特許または特許出願広報のコピーは、要請および必要手数料の支払いに応答して、受理官庁によって提供される。
図1は、低侵襲手術に対する画像診断システムのブロック図である。 図2は、本発明の実施形態の態様の絵図である。 図3は、本発明の実施形態に対する画像化方法の要素を示すフローチャートである。 図4Aは、手術部位の可視白色光色画像の捕捉を示すカラーの図である。 図4Bは、図4Aの可視白色光色画像の、白黒またはグレースケールの彩度を減じた画像への不飽和化を示す、非カラーの図である。 図5Aは、該非可視スペクトル内のデータ捕捉、および該手術部位内の特徴的な組織特徴の画像形成を示す白黒図である。 図5Bは、色を強調した画像を形成するための、図5Aの特徴的な組織特徴の着色を示す図である。 図6は、臨床画像と組み合わされた(例、上に重ね合わせられた)図5Bの色を強調した画像と合わせた、混合画像の表示を示す図である。 図7は、該混合画像内の成分画像の輝度、または該成分画像間の相対輝度を調整するための、ユーザインターフェースを示す図である。 図8は、該手術部位の色画像の不飽和化のレベルを、彩度を減じた画像へと調整するために使用され得る、ユーザインターフェースを示す図である。
異なる図中の類似する参照番号は、同一のまたは類似する要素と関連するが、異なる構成を有し得る。
(詳細な説明)
この詳細な説明は、本発明の実例である代表的な実施について述べており、したがって説明的であり限定的でない。本発明は、特許請求の範囲によってのみ限定される。図中において、本発明の実施形態をより鮮明に示すために、幾つかの要素は省略されている。
(序論)
本発明の実施形態は、組織の反射白色光画像と、別々にまたは同時に取得された同じ手術部位内の組織の強調された画像との、同時表示の臨床的有用性を改良することを目的とする。該組織の強調された画像は、近赤外線(NIR)蛍光、可視光蛍光、マルチスペクトル画像、蛍光寿命測定、または空間的変動を伴う臨床情報を含む非可視光特性のラスター走査等の、しかしそれらに限定されない、技術によって捕捉され得る。加えて、該強調された画像は、組織インピーダンス、癌の点検出、または該臨床白色光画像上の特定の細胞型といった測定可能な組織パラメータの異なる型の点測定を重ね合わせることによって構築された画像であり得る。
一般的に、本発明の1つの実施形態において、可視、白色光または色臨床画像が、外科医または臨床医に反射白色光画像の代わりに表示されるグレースケールもしくは黒/白画像へと不飽和化される、表示の方法が開示される。不飽和化は、赤緑青の三原色をグレーへ近づけ、その結果、画像から色を除去する。臨床画像に関する強調された情報は、1つ以上の強調画像化技術を使用して捕捉され、可視スペクトルで1つ以上の色によって、該不飽和化白色光画像と位置合わせをして表される。強調された情報は、通常は肉眼では視認されないが、可視スペクトルで表されるとき、疑似着色される。強調された画像を着色するための疑似色(強調色ともいう)の例は、強調された画像における強調された画像化技術によって検出される非可視電磁スペクトルの1つ以上の信号の型を表すように使用され得る、緑、青、および紫であるが、これに限定されない。強調された画像のカラー版は、不飽和化白色光画像と位置合わせされ、臨床画像と混合され、重ねられ、またはその上にかぶせられる(代替的に、組み合わされるという)。混合画像におけるこれら2つの画像の組み合わせは、臨床的に関連する情報量を増大させるため、また手術中に手術部位の色を強調した画像内において低信号レベルの検出性を改良するために、外科医に示される。
臨床画像が不飽和化されるとき、該画像内の色情報は除去されるが、詳細はほとんど失われない。不飽和化臨床画像は、生体構造、組織ランドマーク、および手術器具を識別するのに十分であり、その安全な操作を可能にする。さらに不飽和化臨床画像においては、白色光臨床画像の色表示による干渉に起因して、強調された画像のコントラストを失うことはない。不飽和化臨床画像の上に重ねられた色を強調した画像は、患者への損傷の危険性を低減し、手術効率を改良するために、手術部位に関する改良された情報内容を提供する。
色を強調した画像は、該組織の可視画像よりも該組織に関する非可視情報からの強調された情報を強調するように、所定の相対輝度で不飽和化臨床画像の上に重ねられ得る。代替的に、2つの画像の相対輝度の連続的な変動が変えられ得るように、2つの画像の混合を可能にするためにスライド式の操作装置等のユーザインターフェースデバイスが提供されてもよい。この混合方式による相対輝度の調整は、ユーザが強調された画像化情報を実行される作業の臨床的要件に合わせるために重ね合わせ輝度を調整することを可能にする。例えば、細く薄い線を検出するときは、ユーザは相対輝度を、強調画像により強く重み付けすることができる。強調画像内で明るく光っている大きな塊を切除するときは、例えば、相対輝度は不飽和化白色光画像により強く重み付けされ得る。
(画像化システム)
次に図1を参照すると、低侵襲手術に対する画像化システム100のブロック図が示されている。画像化システム100は、内視鏡カメラ101、視覚制御カート(vision control cart)102、および図示されるよう一緒に結合された外科医療用操作コンソール(surgeon console)104を含む。
内視鏡カメラ101は、患者の手術部位内で動かされ得るように、患者側の遠隔操作機のロボットアーム111に取り外し可能に結合する機械的インターフェースを含む。内視鏡カメラ101は、患者の体腔内の手術部位210の上に、そこでデジタル画像を捕捉するために、ロボットアーム111に支持される。
視覚制御カート102は、照明器112、画像プロセッサ114、コアプロセッサ116、およびモニタ118を含む。内視鏡カメラ101は、可視光(VL)を受信するように照明器112に結合され、カラーカメラまたはスペクトルカメラでの捕捉に対して組織を視認できるよう照明するために、その先端から該可視光を手術部位の中へと送る。内視鏡カメラ101はまた、非可視電磁放射線(NVE)を受信するように照明器112に結合され、センサまたはスペクトルカメラでの捕捉に対して材料を励起して、組織が蛍光を発するように、その先端から該非可視電磁放射線を手術部位の中へと送る。内視鏡カメラ101は、可視光(VL)に応答して手術部位の組織の色可視画像(VI)の1つ以上のフレームを捕捉し、それらを画像プロセッサ114内に結合する。内視鏡カメラ101はさらに、非可視電磁放射線(NVE)に応答して手術部位の組織から非可視空間的符号化データの1つ以上のフレームを捕捉し、該データを画像プロセッサ114内に結合する。立体画像生成のために、内視鏡カメラ101は手術部位の左右の画像を同時に捕捉する立体カメラである。内視鏡カメラ101およびそのセンサが光学非可視画像(例、近赤外線、紫外線)を捕捉するために使用され得るのに対し、他の画像化デバイスおよび技術は、分光分析データ、ラマン散乱値、インピーダンスデータ、2光子蛍光、超音波、ガンマ線、および/またはX線画像といった、だがそれらに限定されない、他の非可視スペクトルデータを捕捉するために使用されることができ、そのデータは可視スペクトルの画像として表され、彩度を減じた画像と組み合わされ得る。加えて、全体画像の全部または一部分を覆う光が捕捉され、臨床的に関連する2次元(2D)画像を形成するために解析され得る。これらの2次元画像は、組織が様々な臨床的に関連するマーカによって増大され得る光と組織との相互作用に関連する、偏光、散乱、および他の類似の特徴等から抽出された特性を捕捉することができる。強調画像は、一連の可視画像で算出された画像であり得る。例えば一連の画像は、後に2D画像として表され得る血流を算出するために、使用され得る。
照明器112は、コアプロセッサ116から受信され得る制御信号126に応答して、可視光(VL)、可視電磁放射スペクトルで生成される光、および非可視電磁放射線(NVE)を生成することができる。照明器112は、制御信号に応答して、非可視スペクトルデータの捕捉および強調画像のフレーム形成と同期して、色可視画像(VI)のフレームを捕捉するために、可視光(VL)および非可視電磁放射線(NVE)を同時に生成することができる。代替的に、照明器112は、制御信号に応答して、非可視スペクトルデータの捕捉および強調画像のフレーム形成とは同期せずに、色可視画像(VI)のフレームを捕捉するために、可視光(VL)と非可視電磁放射線(NVE)との生成を交互に行うことができる。
可視光(VL)および非可視電磁放射線(NVE)は、1つ以上の光ファイバーまたは光ファイバーの束によって、内視鏡カメラ101内へと結合され得る。同様に、可視組織のフルカラーの可視画像(VI)は手術部位で捕捉され、光ファイバーによって画像プロセッサ114へと結合され、または、センサで捕捉され、ワイヤケーブルによって該画像プロセッサへと結合され得る。手術部位の組織の非可視スペクトルデータもまた、光ファイバーによって画像プロセッサ114へと結合され、または、センサで捕捉され、ワイヤケーブルによって該画像プロセッサへと結合され得る。1つ以上のセンサで捕捉された電磁放射線は、可視赤、緑、青EMスペクトル、および非可視EMスペクトル(例、近赤外線)へとビニングされ得る。
画像プロセッサ114は、捕捉された画像を処理するための1つ以上のプロセッサP120と、1つ以上の画像データのフレームを記憶するための1つ以上の記憶装置(例、メモリ)M122とを含む。立体画像生成のために、画像プロセッサ114は、左右の捕捉画像を処理するためのプロセッサ対P120と、左右の画像フレームを記憶するための記憶装置対(例、メモリ)M122とを含んでもよい。
強調された表示方式において、画像プロセッサ114の1つ以上のプロセッサP120は、本明細書中に開示された画像処理および表示方法を実行するために、各デジタル画像データのフレームの画素操作を実行することができる。画像プロセッサ114は、コアプロセッサ116からの命令125を受信し、外科医療用操作コンソール104のディスプレイ140および/または視覚制御カート102のモニタ118上の表示に対して、画像124をコアプロセッサ116に結合する。代替的に、コアプロセッサ116は、本明細書中に開示された画像処理および表示方法を実行するために、デジタル画像を受信し各デジタル画像データのフレームの画素操作を実行してもよい。
外科医療用操作コンソール104は、デジタル制御および画像情報の高速伝達のために、光ファイバーケーブル129によってコアプロセッサ116に結合され得る。外科医療用操作コンソール104は、外科医に対して左右立体画像を表示するために立体表示デバイス140を含むことができる。立体表示デバイス140は、本明細書中に開示された表示方法に従って、左右混合画像を表示することができる。
低侵襲手術システムに関するさらなる情報は、例えば、David Q.Larkinらによって2007年6月13日に出願された「MINIMALLY INVASIVE SURGICAL SYSTEM」と題された米国特許出願第11/762,165号、および、Tierneyらによって2001年12月18日に発行された「SURGICAL ROBOTIC TOOLS,DATA ARCHITECTURE,AND USE」と題された米国特許第6,331,181号、において見出してもよく、そのいずれも本明細書中に参照により援用される。
(非可視特徴的な組織特徴の照明)
次に図2を参照すると、本発明の実施形態の態様の絵図が示されている。内視鏡101は、手術部位210内へと可視光(VL)および非可視電磁放射線(NVE)を送り、放射するために、1つ以上の光ファイバー201A〜201Bを含むことができる。内視鏡101は、例えばカメラといった、可視スペクトルの電磁放射線を捕捉するためのセンサ202Aを含むことができる。センサ202Aは、可視立体色画像を捕捉するために立体カラーカメラであることができる。内視鏡101はさらに、非可視スペクトルの電磁放射線、または通常は肉眼では視認できない他の型の情報(例、超音波)を捕捉するために、別のセンサ202Bを含んでもよい。例えば、センサ202Bは、手術部位のNIR強調画像を捕捉するための近赤外線(NIR)検出器であることができる。代替的に、内視鏡101は、患者の体外の外部センサ/カメラへと可視光および非可視スペクトルデータを送り返すための電線管であり得る。
手術部位210は、可視光によって照明されると白色または色画像を反射することができる組織212を含む。手術部位210はまた、可視電磁スペクトルの光によって照明されると肉眼で視認できない特徴的な組織特徴213、214を有する。
様々な非可視特徴的な組織特徴213、214は、蛍光、放射、トレース、または反射材料(総称して、バイオマーカという)を伴って、または伴わないで、非可視電磁放射線(NVE)によって照明され得る。幾つかの場合において、非可視特徴的な組織特徴は、可視光カメラまたはセンサによって捕捉され得るように、可視光または電磁放射線(VL)もしくは非可視電磁放射線(NVE)によって励起され得る蛍光、放射、トレース、または反射材料もしくは化合物(総称して、バイオマーカという)で生化学的に標識され得る。他の場合において、幾つかの非可視特徴的な組織特徴は、蛍光、放射、トレース、マークまたは反射材料/化合物(総称して、バイオマーカという)で生化学的に区別され、非可視電磁放射線(NVE)の波長で放射するように非可視電磁放射線(NVE)によって励起され、該波長に敏感なセンサで捕捉され得る。
反射白色光で視認できない組織は、様々な方法で画像形成され得る。例えば、反射白色光で視認できない組織は、液体を注入し、または蛍光、放射、トレース材料、染料または化合物(総称して、バイオマーカという)で患者の組織に標識し、電磁放射線で照明する、または電磁放射線に曝露することによって、画像形成され得る。バイオマーカ内の蛍光色素分子(fluorphore)は、励起波長に関するEM放射線を吸収し、放射波長に関するEM放射線を再放射するように、分子を標識する。蛍光材料または化合物(バイオマーカ)の1つの例は、近赤外線(NIR)電磁放射線によって励起されると、可視波長で光子または電磁放射線を放射するように蛍光する、インドシアニングリーン(ICG)である。関心の組織を標識するために使用され得る、望ましい励起波長で励起し、望ましい放射波長で放射する様々な蛍光化合物がある。使用され得る典型的な蛍光色素分子、放射体、トレーサー、マーカ、等(総称して、バイオマーカという)は、本明細書の最後の表内に記載される。
反射白色光で視認できない組織はまた、陽電子放出断層撮影(PET)において使用される放射性医薬品または放射性追跡子といった、特定の組織型に結合し自発的にEM放射線を放射する材料、染料、または化合物(総称して、バイオマーカという)を注入することによって、画像化され得る。
可視EMスペクトル外の他の画像化源211(例、X線、超音波)は、可視組織の臨床画像と一緒に組み合わせるために、バイオマーカとともに、またはなしで、幾つかの非可視特徴的な組織特徴214(例、骨組織)を照明し、強調画像を捕捉するように使用され得る。例えば、骨組織はバイオマーカなしで手術中に手術部位内で、X線で捕捉され得る。別の例として、手術部位内の表面下組織は、蛍光、放射、トレース、マーキングまたは反射材料/化合物(総称して、バイオマーカという)の添加なしで、超音波で捕捉され得る。
可視組織212は、可視光、人間の目で知覚可能な電磁放射スペクトル(VL)の可視部内の電磁放射線、によって照明される。該照明は、広スペクトルであり得る、または赤(R)、緑(G)、青(B)の原色のうちの1つ以上を含む幾つかの別個の狭スペクトル色の混合であり得る、白色光で形成され得る。電磁放射スペクトルの可視部は、波長約400ナノメートル(nm)から700nmの範囲である。可視光によって励起可能な、蛍光、放射、トレース、マーキングまたは反射材料または化合物(総称して、バイオマーカという)で標識された特徴的な組織特徴は、可視電磁放射スペクトルで蛍光を発するかまたは放射すると、カメラまたは可視光センサで捕捉され得る。
特徴的な組織特徴213、214は、反射白色光で視認されず、また標識され、人間の肉眼では知覚できない電磁放射スペクトルの下方または上方非可視部内の可視EMスペクトル外の電磁放射線によって照明され得る。電磁放射スペクトルの下方および上方非可視部は、電磁放射スペクトルの可視部外に存在する。電磁放射スペクトルの上方非可視部は、波長約400ナノメートル(nm)から10分の1オングストローム(A)の範囲で、ガンマ線、X線、および紫外電磁放射線を含む。電磁放射スペクトルの下方非可視部は、波長約600ナノメートル(nm)から10メートル(m)の範囲で、赤外線(近赤外線、熱赤外線、遠赤外線)、マイクロ波、および電波を含む。近赤外EM放射線は、波長約600ナノメートルから1200ナノメートルの範囲であり、バイオマーカで標識された表面下の組織特徴または構造がより容易に画像化され得るように、多くの生物組織がこれらの波長において可視スペクトルよりも透過的であるので、時として好ましくなり得る。
非可視電磁放射線によって励起された蛍光または反射材料および化合物によって、反射白色光で視認できない組織は蛍光を発し、非可視電磁放射スペクトルのEM放射線を放射することができる。非可視電磁放射線に敏感なセンサは、可視スペクトルの表示のために強調画像の構築を可能にする非可視電磁スペクトルのEM放射線を捕捉することができる。代替的に、非可視電磁放射線によって励起された蛍光または反射材料もしくは化合物が、可視電磁スペクトルの幾らかのEM放射線を放射できる場合、可視光スペクトルに敏感なセンサまたはカメラによって捕捉され得る。いずれにしても、非可視スペクトルの手術部位からの非可視情報は捕捉され、デジタル画像中において可視スペクトルで表される。
本発明の実施形態は通常、電磁スペクトルの可視部内で捕捉された組織の画像を不飽和化し、該電磁スペクトルの非可視部内で捕捉された組織の画像を、着色によって該電磁スペクトルの可視部へと動かし、表示デバイス上の表示のための混合画像を形成するために、該彩色画像を該彩度を減じた画像の上へ重ね、または組み合わせる。
例えば、可視電磁スペクトルの光で照明されカラーカメラによって捕捉された可視組織の画像212は、グレースケール、黒/白、またはモノクロ画像212’へと不飽和化(色を低減)される。可視組織画像212の各画素内の赤、緑、青色データは、グレースケールまたは黒/白へと等しく低減され得る。
可視スペクトル画像内で視認できない、非可視特徴的な組織特徴213は、非可視電磁照明によって照明され、センサで捕捉され得る。捕捉されたデータは、強調画像を形成し続いて第1の色を強調した画像を形成するために第1の可視色で着色することによって、強調され得る。例えば、可視スペクトルで視認できない特徴的な組織特徴213は、緑色を強調した画像213’を形成するために緑色で着色されることによって、可視電磁スペクトル内へと動かされ得る。可視スペクトルで視認できない非可視特徴的な組織特徴214は、非可視電磁照明によって照明され、センサで捕捉され得る。捕捉されたデータは次に、強調画像を形成し、続いて第2の色を強調した画像を形成するために第2の可視色といった第2の可視色で着色することによって、強調され得る。例えば、非可視特徴的な組織特徴214は、青色を強調した画像214’を形成するために青色で着色することによって、可視電磁スペクトルへと動かされ得る。緑色を強調した画像213’および青色を強調した画像214’は、手術部位210の混合画像250を形成するために、グレースケールまたは黒白画像212’上へ重ねられ得る。
様々な非可視組織213、214が、表面組織の下に見出される表面下組織であるのに対し、可視組織212は表面組織であり得る。その結果、表面下組織の画像は捕捉されたときに、淡く、広がっているかもしれない。相対輝度または不飽和化レベルの調整は、淡い画像を補正するために使用され得る。
(表示方法)
次に図3を参照すると、フローチャートは強調表示方式における画像化方法の要素を示す。異なる型の捕捉された強調画像で、図3に示された1つ以上の要素は、画像化方法の実行において任意である。処理は、処理ブロック300から開始し処理ブロック302へ進む。
処理ブロック302において、励起可能な物質は、上方または下方非可視電磁スペクトルのどちらかの内の電磁(EM)放射線によって励起され得る患者の体内へ導入され得る。あるいは、該導入された物質は、外部励起なしに、ガンマ線等のEM放射線を自発的に放射することができる。処理は次に処理ブロック304へ進むことができる。
処理ブロック304において、該患者の体内の手術部位は、白色光等の、可視光または可視電磁スペクトルの電磁放射線で照明される。処理は次に処理ブロック306へ進む。
処理ブロック306において、該手術部位の色臨床画像は、該可視電磁放射線に応答して、カラーCMOS(相補形金属酸化膜半導体)カメラ等のセンサによって該患者の体内で捕捉される。図4AはカラーCMOSカメラで捕捉された色臨床画像400Aを示す。色臨床画像400は、色可視組織402、1対の可視ロボット手術道具404A〜404B、および可視電磁スペクトルの光を反射する可視手術針と縫合糸406、を含む。処理は次に処理ブロック308へ進む。
処理ブロック308において、該患者体内の該手術部位は、上方および下方非可視電磁スペクトルの非可視電磁放射線で照明され、またはそれに曝露され得る。該患者の体は、二者択一的にまたは同時に、該電磁スペクトル上の可視電磁放射線および非可視電磁放射線の両方によって照明され、またはそれらに曝露され得る。処理は次に処理ブロック310へ進むことができる。
処理ブロック310において、該患者の体に伴う手術部位の強調画像を形成するためのデータは、該非可視電磁放射線に応答してセンサで捕捉され得る。該捕捉されたデータは、非可視スペクトルデータということができる。該手術部位の可視画像および非可視スペクトルデータは、二者択一的にまたは同時に捕捉され得る。例えば、可視画像のフレームおよび強調画像の形成のためのデータは、該手術部位内で二者択一的に捕捉され得る。処理は次に処理ブロック311へ進む。
処理ブロック311において、該手術部位の強調画像は、該非可視スペクトルデータに応答して形成される。図5Aは、患者の体内でのデータ捕捉から形成された、該手術部位の強調画像500Aを示す。強調画像500Aはまだ着色される必要がある。強調画像500Aは、該組織表面下の血管といった特徴的な組織特徴502、または、他のマークされた、励起された、もしくは自発的に放射している組織を含む。処理は次に処理ブロック312へ進むことができる。
処理ブロック312において、色臨床画像400Aは所定のレベルの不飽和化で彩度を減じた画像へと不飽和化される(黒白へと色を低減される)。不飽和化(色の低減)のレベルは変更され得る。図4Bは、図4Aの色臨床画像400Aの色から低減された色を伴う、不飽和化臨床画像400Bを示す。可視組織402’、可視手術道具404A’〜404B’、および可視手術針と縫合糸406’は、黒白またはグレースケールへと色低減される。処理は次に処理ブロック314へ進む。
処理ブロック314において、先に形成された該強調画像は、色を強調した画像を形成するために1つの色で着色される。図5Bは色を強調した画像500Bを示す。色を強調した画像500B内の特徴的な組織特徴502は、緑色で着色される。処理は次に処理ブロック316へ進む。
処理ブロック316において、彩度を減じた画像400Bおよび色を強調した画像500Bの輝度は第1の相対輝度レベルに設定される。該彩度を減じた画像の輝度および該色を強調した画像の輝度は、第1の相対輝度レベルを提供するために独立して設定され得る。処理は次に処理ブロック318へ進む。
処理ブロック318において、該色を強調した画像は混合画像を形成するために、該彩度を減じた画像と組み合わされる(例、上に重ね合わされる)。該混合画像は、該色臨床画像単独の情報内容を上回る付加報内容を有する。該色は、該混合画像内の該色を強調した画像の情報を強調する。
図6は、混合画像600を示す。混合画像600は、彩度を減じた画像400Bの不飽和化された組織特徴402’、道具404A’〜404B’、および手術針と縫合糸406’、と組み合わせられた、色を強調した画像500Bの着色された特徴的な組織特徴502’を含む。
色を強調した画像500Bは、混合画像600内へ一緒に組み合わせられるように、彩度を減じた画像400Bに位置合わせされ得る。空間的位置合わせは、色を強調した画像500Bと彩度を減じた画像400Bとを一緒に組み合わせるように実行され得る。座標変換は、該画像が空間的位置合わせを提供するために異なるフレームサイズまたは方位を有する場合、該異なるデータソース間で計算され得る。色を強調した画像500Bおよび彩度を減じた画像400Bが同期していない場合、一時的な位置合わせもまた、それらを一緒に組み合わせるために実行され得る。時間に関して同期していない画像フレームは、色を強調した画像500Bおよび彩度を減じた画像400Bのフレームを時間に関して適切に組み合わせるために、同期され得る。該画像情報を一緒に組み合わせた後、処理は次に処理ブロック320へ進むことができる。
処理ブロック320において、混合画像600は外科医療用操作コンソール104の立体視ビュアー140、および/または、異なるモニタまたは表示デバイス(例、モニタ181)等の表示デバイス上に表示される。処理は次に処理ブロック322へ進むことができる。
処理ブロック322において、彩度を減じた画像400Bおよび色を強調した画像500Bの輝度はそれぞれ、該表示デバイス上に表示された混合画像内の情報内容を変化させるために、混合画像600内で相対輝度のレベルまで調整され得る。ソフトウェアおよび/または物理的なユーザインターフェースは、彩度を減じた画像400Bおよび色を強調した画像500Bのそれぞれの輝度、またはそれらの間の相対輝度を調整するために、使用され得る。
1つ以上の処理は、該手術が終了するかまたは色を強調した画像500Bがもはや必要とされなくなるまで、該表示デバイス上に混合画像600を継続的に表示するために、各フレームに対して何度も繰り返されてもよい。この場合、該画像化システムの表示方式は、強調画像なしで手術部位の色臨床画像400Aを表示するために、標準方式に切り替え戻され得る。該強調表示方式処理は次に処理ブロック399へ進むことができる。
処理ブロック399において処理は、該手術が完結するかまたは該処理がそれ以上繰り返されないと、終了することができる。
交互表示方法は、蛍光画像についてより具体的に記載され得る。交互表示方法は、可視光によって照明された手術部位の可視色画像を取得するステップと、該手術部位の該可視色画像を可視グレー画像へと不飽和化するステップと、蛍光を発する組織が可視色内に現れる該手術部位内の、蛍光を発する組織の蛍光画像を取得するステップと、該可視蛍光画像と該グレー画像との組み合わせを含む表示可能な画像を形成するステップと、を含むことができる。
(ユーザインターフェース)
前述のように、ソフトウェアおよび/または物理的なユーザインターフェースは、彩度を減じた画像と色を強調した画像とを一緒に組み合わせ表示するための強調表示方式を支持するために、使用され得る。
該強調表示方式は、例えば、外科医療用操作コンソール104の左右マスタグリップおよび/または足踏みペダルでのスイッチの選択といった、制御信号を生成するユーザインターフェーススイッチの所定の手順選択によって、選択的に外科医療用操作コンソールに入力され得る。代替的に、強調表示方式を選択的に入力するための制御信号を生成するために使用され得るマスタマウス方式(masters−as−mice mode)でのマスタグリップによって、メニューリスト内のメニュー項目が選択されてもよい。例えば、参照により本明細書中に援用されるPaul Mohrらによって2009年3月9日に出願された「USER INTERFACES FOR ELECTROSURGICAL TOOLS IN ROBOTIC SURGICAL SYSTEMS」と題された出願第12/400,738号内で述べられる、マスタグリップスイッチは、該画像化システムの強調表示方式を駆動するために使用され得る。該手術部位の色画像の標準表示方式に戻すための制御信号を生成するためにユーザインターフェーススイッチの2回目の所定の手順選択を入力することによって、該強調表示方式は選択的に終了され得る。
該強調表示方式において、ユーザインターフェースはその機能を選択的に制御するために提供され得る。強調表示方式における制御可能な機能の幾つかは、色を強調した画像と彩度を減じた画像との間の相対輝度、および/または彩度を減じた画像の不飽和化レベルを含む。
次に図7を参照すると、強調表示方式のためのユーザインターフェース701を含んで、ディスプレイ700が示される。ユーザインターフェース701は、該画像化システムがどの表示方式(標準または強調)であるのかをユーザに示す強調表示アイコン702を含むことができる。ユーザインターフェースはさらに、彩度を減じた画像と色を強調した画像との間の相対輝度を調整するための混合スライダスイッチ704を含むことができる。図7において、スライダスイッチ704は、ディスプレイ700内で色を強調した画像が彩度を減じた画像よりも強調されるように、より少ない白色光を示すよう調整される。代替的に、1対のスライダスイッチ706〜707は、色を強調した画像の輝度と彩度を減じた画像の輝度とをそれぞれの間の望ましい相対輝度を取得するように別々に調整するために、ユーザインターフェース内に提供され得る。該輝度調整デバイスは、黒/白画像またはグレー画像内でどれくらいの白色光が形成されるのかに応答して、彩度を減じた画像の処理を制御する制御信号を生成することができる。代替的に、該輝度調整デバイスは、画像捕捉中に該手術部位を照明するために生成される白色光の輝度レベルを調整するように、照明器112を制御する制御信号を生成することができる。
次に図8を参照すると、ユーザインターフェース701に類似し、アイコン702および相対輝度セレクタ704を含むユーザインターフェース801を含んで、ディスプレイ800が示される。ユーザインターフェース801はさらに、図7を参照して述べられた相対輝度に対する調整(例、スライダ704)に加えて、色画像の不飽和化に対するユーザインターフェース調整を含む。
ユーザインターフェース801は、彩度を減じた画像402’の不飽和化レベルを調整するためのスライダスイッチ804Aを含むことができる。不飽和化調整デバイスは、彩度を減じた画像を形成するために各画素内の赤、緑、青(RGB)情報を低減することによってどれくらいの色が可視色画像から除去されるのかに応答して、可視色画像の、彩度を減じた画像への処理を制御する制御信号を生成することができる。スライダスイッチ804Aは、図8内のディスプレイ800が、幾つかのしかしフルカラーよりは少ない色で、彩度を減じた画像402’を表示するように、設定される。スライダスイッチ804Aの代わりに、上下押しボタンスイッチ804Bが、彩度を減じた画像402’における不飽和化レベルを調整するために使用され得る。代替的に、回転つまみ804Cが、彩度を減じた画像402’における不飽和化レベルを調整するために使用され得る。
いずれにせよ、体腔から可視電磁(EM)スペクトル内で捕捉された組織の彩度を減じた画像と、該彩度を減じた画像と組み合わせられた第1の色を強調した画像とを表示することができる、表示デバイスが開示される。該第1の色を強調した画像は、可視電磁スペクトル外で体腔から捕捉されたデータを表す。該彩度を減じた画像と該第1の色を強調した画像との間の相対輝度は、ユーザに対し改良された情報内容を提供するために、可視電磁(EM)スペクトル内で捕捉された組織よりも該捕捉されたデータを強調するように設定され得る。
(結論)
本開示された方法は、ユーザが手術道具と組織との不慮の接触を避けることができるように、該白色光画像の十分な臨床的詳細を提供し、該強調画像化情報を該白色画像内の詳細から区別することを容易にする方法で、該強調画像内で得られる情報の詳細を提供し、外科医が解剖学的構造において迷うことを防ぐために十分なランドマークを提供する。
本発明の実施形態の1つ以上の要素は、1つ以上のタスクがプロセッサ等の機械によって自動的に実行され得るように、ソフトウェア内に実装され得る。ソフトウェア内に実装されるとき、本発明の実施形態の要素は本質的に、本明細書中に開示された方法の1つ以上のタスクを実行するための、プログラム命令またはコードセグメントである。たとえば機械読み取り可能媒体は、機械によって実行されると、彩度を減じた画像を形成するために患者内の可視電磁(EM)スペクトル内で捕捉された手術部位の組織の色画像内の色を低減すること、該手術部位内で捕捉された非可視特徴的な組織特徴を色を強調した画像において視認できるようにすること、および、少なくとも1つの表示デバイス上での表示のための組み合わせ画像を形成するために、該色を強調した画像と該彩度を減じた画像とを一緒に組み合せること、を含む操作を、該機械に自動的に実行させる命令を、その上に記憶しておくことができる。
該プログラム命令またはコードセグメントは、図1に示されるプロセッサ120またはコアプロセッサ116等のプロセッサによる実行のために、プロセッサ読み取り可能媒体内に記憶されてもよい。該プロセッサ読み取り可能媒体は、例えば図1に示されるメモリ122等の、情報を記憶することができる任意の媒体を含むことができる。プロセッサ読み取り可能媒体の例は、電子回路、半導体記憶装置、ROM、フラッシュメモリ、記憶の消去が可能なROM(EROM)、フロッピー(登録商標)ディスク、CD−ROM、光ディスク、ハードディスク、等である。該プログラム命令またはコードセグメントは、インターネットやイントラネット等といったコンピュータネットワークを介してダウンロードされ得る。
本明細書は多くの詳細を含むが、これらは本開示の、または特許請求の範囲の、範囲の限界として解釈されるべきではなく、むしろ、本開示の特定の実施に固有の特性の説明として解釈されるべきである。本明細書中に別々の実施に関連して記載された特定の特性はまた、単一の実施内での組み合わせにおいて実施されることもできる。反対に、単一の実施に関連して記載された様々な特性もまた、複数の実施内で、別々にまたは部分的に組み合わせて実施されてもよい。さらに、特性が特定の組み合わせで行うように上述され、また最初にそのように特許請求され得るとしても、特許請求された組み合わせからの1つ以上の特性は、幾つかの場合において、該組み合わせから除外されることができ、該特許請求された組み合わせは、部分組み合わせまたは部分組み合わせの変化を対象にすることができる。請求された発明は、後述の特許請求の範囲によってのみ限定される。

Claims (12)

  1. 画像プロセッサ[114]を備えている画像化システム[100]であって、
    前記画像プロセッサ[114]は、
    プログラム命令を記憶しているメモリ[122]と、
    プロセッサ[120]と
    を備え、
    前記プロセッサ[120]は、前記プログラム命令を実行することにより、
    画像化デバイスによって捕捉された可視色画像[212]から、低減された色画像[212’]を提供することと、
    第1の捕捉されたデータ[213]を表す第1の画像を第1の可視色で着色することにより第1の強調色画像[213’]を形成することであって、前記低減された色画像は、彩度が低減された画像である、ことと、
    前記低減された色画像と前記第1の強調色画像とを表示デバイスに提供することと
    を実行するように構成され、
    前記表示デバイスは、前記低減された色画像と前記第1の強調色画像との組み合わせを表示するように構成される、画像化システム。
  2. 前記プロセッサは、
    第2の捕捉されたデータを表す第2の画像を第2の可視色で着色することにより第2の強調色画像を形成することであって、前記第1の捕捉されたデータは、前記第2の捕捉されたデータとは異なり、前記第1の可視色は、前記第2の可視色とは異なる、ことと、
    前記第2の強調色画像を前記表示デバイスに提供することと
    を実行するようにさらに構成され、
    前記表示デバイスは、前記低減された色画像と前記第1の強調色画像と前記第2の強調色画像との組み合わせを表示するようにさらに構成される、請求項1に記載の画像化システム。
  3. 外科医療用操作コンソールをさらに備え、
    前記外科医療用操作コンソールは、前記表示デバイス上に表示される前記低減された色画像と前記第1の強調色画像との間の相対輝度を調整するユーザが選択可能なデバイスを含むユーザインターフェースを備えている、請求項1に記載の画像化システム。
  4. 外科医療用操作コンソールをさらに備え、
    前記外科医療用操作コンソールは、前記表示デバイス上に表示された前記低減された色画像の輝度を調整する第1のユーザが選択可能なデバイスと、前記表示デバイス上に表示された第2の強調色画像の輝度を調整する第2のユーザが選択可能なデバイスとを含むユーザインターフェースを備えている、請求項1に記載の画像化システム。
  5. 前記画像化デバイスは、内視鏡カメラを備え、前記内視鏡カメラは、前記画像プロセッサに結合されたカメラユニットを備えており、前記カメラユニットは、
    可視電磁スペクトル内の波長の範囲に敏感な第1のセンサと、
    前記可視電磁スペクトル外の波長の範囲に敏感な第2のセンサと
    を備えている、請求項1に記載の画像化システム。
  6. 前記低減された色画像の一部分が、手術道具の低減された色画像を含む、請求項1に記載の画像化システム。
  7. 前記画像化デバイスに結合された視覚制御カートをさらに備え、
    前記視覚制御カートは、バイオマーカを励起する照明を提供するように構成された照明源を備えており、前記第1の捕捉されたデータは、前記励起されたバイオマーカからのものである、請求項1に記載の画像化システム。
  8. 前記バイオマーカは、インドシアニングリーンを含む、請求項7に記載の画像化システム。
  9. 前記第1の捕捉されたデータは、表面組織下の骨組織のX線から捕捉されたデータである、請求項1に記載の画像化システム。
  10. 前記第1の捕捉されたデータは、近赤外線蛍光画像または可視光蛍光画像のうちの1つである、請求項1に記載の画像化システム。
  11. 外科医療用操作コンソールをさらに備え、
    前記外科医療用操作コンソールは、異なる相対輝度へと前記第1の強調色画像と前記低減された色画像との間の相対輝度を変更させるように構成されたユーザインターフェースを含む、請求項1に記載の画像化システム。
  12. 外科医療用操作コンソールをさらに備え、
    前記外科医療用操作コンソールは、前記可視色画像の不飽和化のレベルを変化させるように構成されたユーザインターフェースを含む、請求項1に記載の画像化システム。
JP2019190849A 2009-10-07 2019-10-18 臨床画像上に強調された画像化データを表示するための方法および装置 Active JP6778807B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/575,093 2009-10-07
US12/575,093 US8706184B2 (en) 2009-10-07 2009-10-07 Methods and apparatus for displaying enhanced imaging data on a clinical image

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018190890A Division JP6671442B2 (ja) 2009-10-07 2018-10-09 臨床画像上に強調された画像化データを表示するための方法および装置

Publications (2)

Publication Number Publication Date
JP2020072873A JP2020072873A (ja) 2020-05-14
JP6778807B2 true JP6778807B2 (ja) 2020-11-04

Family

ID=43502550

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2014190747A Active JP5883096B2 (ja) 2009-10-07 2014-09-19 臨床画像上に強調された画像化データを表示するための方法および装置
JP2016019559A Active JP6212141B2 (ja) 2009-10-07 2016-02-04 臨床画像上に強調された画像化データを表示するための装置
JP2017176732A Active JP6419277B2 (ja) 2009-10-07 2017-09-14 臨床画像上に強調された画像化データを表示するための方法および装置
JP2018190890A Active JP6671442B2 (ja) 2009-10-07 2018-10-09 臨床画像上に強調された画像化データを表示するための方法および装置
JP2019190849A Active JP6778807B2 (ja) 2009-10-07 2019-10-18 臨床画像上に強調された画像化データを表示するための方法および装置

Family Applications Before (4)

Application Number Title Priority Date Filing Date
JP2014190747A Active JP5883096B2 (ja) 2009-10-07 2014-09-19 臨床画像上に強調された画像化データを表示するための方法および装置
JP2016019559A Active JP6212141B2 (ja) 2009-10-07 2016-02-04 臨床画像上に強調された画像化データを表示するための装置
JP2017176732A Active JP6419277B2 (ja) 2009-10-07 2017-09-14 臨床画像上に強調された画像化データを表示するための方法および装置
JP2018190890A Active JP6671442B2 (ja) 2009-10-07 2018-10-09 臨床画像上に強調された画像化データを表示するための方法および装置

Country Status (6)

Country Link
US (1) US8706184B2 (ja)
EP (5) EP3965057B1 (ja)
JP (5) JP5883096B2 (ja)
KR (5) KR102069258B1 (ja)
CN (1) CN102576457B (ja)
WO (1) WO2011043982A1 (ja)

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9107697B2 (en) * 2008-06-04 2015-08-18 Restoration Robotics, Inc. System and method for selecting follicular units for harvesting
US8652186B2 (en) * 2008-06-04 2014-02-18 Restoration Robotics, Inc. System and method for selecting follicular units for harvesting
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
JP5818444B2 (ja) * 2010-02-04 2015-11-18 キヤノン株式会社 機能情報取得装置、機能情報取得方法、及びプログラム
US8295693B2 (en) 2010-07-02 2012-10-23 Intuitive Surgical Operations, Inc. Dual optical path prism and camera in a minimally invasive surgical system
US9019345B2 (en) 2010-07-02 2015-04-28 Intuitive Surgical Operations, Inc. Imaging mode blooming suppression
US9037600B1 (en) 2011-01-28 2015-05-19 Yahoo! Inc. Any-image labeling engine
US9218364B1 (en) * 2011-01-28 2015-12-22 Yahoo! Inc. Monitoring an any-image labeling engine
US9841822B2 (en) * 2011-06-28 2017-12-12 Guangzhou Ucweb Computer Technology Co., Ltd. Method for operating mobile device using vibration sensor
CN104582622B (zh) * 2012-04-16 2017-10-13 儿童国家医疗中心 用于外科和介入医疗程序中的跟踪和控制的双模立体成像系统
JP6187989B2 (ja) * 2012-04-30 2017-08-30 ゼネラル・エレクトリック・カンパニイ 生物組織に共局在するバイオマーカーを解析するためのシステム及び方法
US20130296682A1 (en) * 2012-05-04 2013-11-07 Microsoft Corporation Integrating pre-surgical and surgical images
WO2013169327A1 (en) * 2012-05-07 2013-11-14 St. Jude Medical, Atrial Fibrillation Division, Inc. Medical device navigation system stereoscopic display
US20130325805A1 (en) * 2012-06-02 2013-12-05 Dmitriy Tochilnik System and method for tagging and securely archiving patient radiological information
US9220570B2 (en) * 2012-06-29 2015-12-29 Children's National Medical Center Automated surgical and interventional procedures
US9633272B2 (en) 2013-02-15 2017-04-25 Yahoo! Inc. Real time object scanning using a mobile phone and cloud-based visual search engine
US8983157B2 (en) 2013-03-13 2015-03-17 Restoration Robotics, Inc. System and method for determining the position of a hair tail on a body surface
US9271686B2 (en) 2013-03-14 2016-03-01 West Virginia University Endorectal prostate probe composed of a combined mini gamma camera and ultrasound sensor
KR20160008169A (ko) 2013-03-14 2016-01-21 에스알아이 인터내셔널 컴팩트 로봇 리스트
KR102257034B1 (ko) 2013-03-15 2021-05-28 에스알아이 인터내셔널 하이퍼덱스트러스 수술 시스템
CN105163650B (zh) 2013-05-03 2018-12-07 飞利浦照明控股有限公司 具有经适配的光谱输出的光源
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
US9986983B2 (en) 2014-10-31 2018-06-05 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
KR101630539B1 (ko) * 2014-12-31 2016-06-14 국립암센터 수술현미경용 다중 형광 영상의 실시간 정합 장치 및 방법
CN105225256B (zh) * 2015-06-10 2019-02-01 西安交通大学 一种高灰阶深度图像的显示方法
US10003754B2 (en) * 2015-06-18 2018-06-19 Agilent Technologies, Inc. Full field visual-mid-infrared imaging system
EP3325233A1 (en) 2015-07-23 2018-05-30 SRI International Inc. Robotic arm and robotic surgical system
KR101784063B1 (ko) * 2015-08-03 2017-10-11 국립암센터 펜타입의 의료용 형광 이미지 장치 및 이를 이용한 다중 형광 영상의 정합 시스템
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
JP6745508B2 (ja) * 2015-09-11 2020-08-26 国立研究開発法人産業技術総合研究所 画像処理システム、画像処理装置、投影装置、及び投影方法
WO2017122541A1 (ja) * 2016-01-13 2017-07-20 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び、手術システム
EP3205254B1 (en) 2016-02-15 2020-11-18 Leica Instruments (Singapore) Pte. Ltd. Medical inspection apparatus, such as a microscope or endoscope, using pseudocolors
JP6581923B2 (ja) * 2016-03-03 2019-09-25 富士フイルム株式会社 画像処理装置とその作動方法および作動プログラム
US10708478B2 (en) * 2016-03-23 2020-07-07 Karl Storz Imaging, Inc. Image transformation and display for fluorescent and visible imaging
CN108024833B (zh) 2016-06-30 2021-06-04 直观外科手术操作公司 用于在图像引导过程期间显示引导信息的图形用户界面
KR102420386B1 (ko) * 2016-06-30 2022-07-13 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스
EP3518854A4 (en) 2016-11-28 2020-09-02 Verb Surgical Inc. ROBOT-ASSISTED SURGICAL SYSTEM FOR REDUCING UNWANTED VIBRATIONS
US10918445B2 (en) * 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
US11793579B2 (en) 2017-02-22 2023-10-24 Covidien Lp Integration of multiple data sources for localization and navigation
CN110621252B (zh) 2017-04-18 2024-03-15 直观外科手术操作公司 用于监测图像引导程序的图形用户界面
US10792119B2 (en) 2017-05-22 2020-10-06 Ethicon Llc Robotic arm cart and uses therefor
US10806532B2 (en) 2017-05-24 2020-10-20 KindHeart, Inc. Surgical simulation system using force sensing and optical tracking and robotic surgery system
US10856948B2 (en) 2017-05-31 2020-12-08 Verb Surgical Inc. Cart for robotic arms and method and apparatus for registering cart to surgical table
US10485623B2 (en) 2017-06-01 2019-11-26 Verb Surgical Inc. Robotic arm cart with fine position adjustment features and uses therefor
US10913145B2 (en) 2017-06-20 2021-02-09 Verb Surgical Inc. Cart for robotic arms and method and apparatus for cartridge or magazine loading of arms
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
EP3694412A4 (en) 2017-10-10 2021-08-18 Covidien LP SYSTEM AND METHOD FOR IDENTIFYING AND MARKING A TARGET IN A THREE-DIMENSIONAL FLUOROSCOPIC RECONSTRUCTION
US10893842B2 (en) 2018-02-08 2021-01-19 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
US10930064B2 (en) 2018-02-08 2021-02-23 Covidien Lp Imaging reconstruction system and method
US11205508B2 (en) 2018-05-23 2021-12-21 Verb Surgical Inc. Machine-learning-oriented surgical video analysis system
US20200015904A1 (en) 2018-07-16 2020-01-16 Ethicon Llc Surgical visualization controls
US11071591B2 (en) 2018-07-26 2021-07-27 Covidien Lp Modeling a collapsed lung using CT data
US11705238B2 (en) 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
US20200093420A1 (en) * 2018-09-21 2020-03-26 Covidien Lp Surgical imaging system and methods of use thereof
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
US11877806B2 (en) 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
US11045075B2 (en) 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11801113B2 (en) 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
CN113395928A (zh) * 2019-01-25 2021-09-14 直观外科手术操作公司 增强医疗视觉系统和方法
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11564751B2 (en) 2019-02-01 2023-01-31 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
US11925333B2 (en) 2019-02-01 2024-03-12 Covidien Lp System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11744643B2 (en) 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
US11819285B2 (en) 2019-04-05 2023-11-21 Covidien Lp Magnetic interference detection systems and methods
CN110101876A (zh) * 2019-05-06 2019-08-09 上海师范大学 新型光声探针在制备医学靶向光声成像试剂或药物中的用途
US11291358B2 (en) 2019-06-20 2022-04-05 Cilag Gmbh International Fluorescence videostroboscopy of vocal cords
JP2021021573A (ja) * 2019-07-24 2021-02-18 株式会社島津製作所 イメージング装置
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
US20210052161A1 (en) * 2019-08-23 2021-02-25 Rebound Therapeutics Corporation Fluorescence imaging system
US11864935B2 (en) 2019-09-09 2024-01-09 Covidien Lp Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US11931111B2 (en) 2019-09-09 2024-03-19 Covidien Lp Systems and methods for providing surgical guidance
US11627924B2 (en) 2019-09-24 2023-04-18 Covidien Lp Systems and methods for image-guided navigation of percutaneously-inserted devices
US20210169330A1 (en) * 2019-12-10 2021-06-10 Covidien Lp Lymphatic system tracking
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11744667B2 (en) * 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11380060B2 (en) 2020-01-24 2022-07-05 Covidien Lp System and method for linking a segmentation graph to volumetric data
US11847730B2 (en) 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
US11950950B2 (en) 2020-07-24 2024-04-09 Covidien Lp Zoom detection and fluoroscope movement detection for target overlay
US20220058518A1 (en) * 2020-08-23 2022-02-24 Keith Louis DeSanto Using machine learning algorithms and nanotechnology combinations to clean an indoor environment.
CN114257707A (zh) * 2020-09-21 2022-03-29 安霸国际有限合伙企业 具有彩色夜间模式的智能ip摄像头
US11045271B1 (en) 2021-02-09 2021-06-29 Bao Q Tran Robotic medical system
US11436708B1 (en) * 2021-08-19 2022-09-06 Unity Technologies Sf Removing moving objects from a video scene captured by a moving camera
WO2023041469A1 (en) * 2021-09-16 2023-03-23 Surgvision Gmbh Registration of images acquired with different endoscopic units

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US262017A (en) * 1882-08-01 Collar fasteneb
JPS56128133A (en) * 1980-03-14 1981-10-07 Olympus Optical Co Display apparatus of endoscope
JPS60181720A (ja) * 1984-02-28 1985-09-17 Olympus Optical Co Ltd 固体撮像素子内蔵の内視鏡
SE455646B (sv) * 1984-10-22 1988-07-25 Radians Innova Ab Fluorescensanordning
US5177605A (en) * 1987-04-28 1993-01-05 Olympus Optical Co., Ltd. Optical system for endoscopes and endoscopes using same
JP2666856B2 (ja) * 1988-10-15 1997-10-22 オリンパス光学工業株式会社 内視鏡用光源装置
JPH03182185A (ja) * 1989-12-11 1991-08-08 Fujitsu Ltd 赤外線監視システム
US5438989A (en) 1990-08-10 1995-08-08 Hochman; Darryl Solid tumor, cortical function, and nerve tissue imaging methods and device
US5845639A (en) * 1990-08-10 1998-12-08 Board Of Regents Of The University Of Washington Optical imaging methods
JP2641654B2 (ja) * 1991-07-26 1997-08-20 オリンパス光学工業株式会社 内視鏡装置
JPH05228098A (ja) * 1992-02-20 1993-09-07 Asahi Optical Co Ltd 測温内視鏡
US5711755A (en) * 1995-04-14 1998-01-27 Vipera Systems, Inc. Endoscopic diagnostic systems and associated methods employing infrared radiation
US6293911B1 (en) * 1996-11-20 2001-09-25 Olympus Optical Co., Ltd. Fluorescent endoscope system enabling simultaneous normal light observation and fluorescence observation in infrared spectrum
US6331181B1 (en) 1998-12-08 2001-12-18 Intuitive Surgical, Inc. Surgical robotic tools, data architecture, and use
DE69934482T2 (de) * 1998-02-11 2007-09-27 Non-Invasive Technology, Inc. Nachweis, abbildung und kennzeichnung von brustumoren
JP2000209425A (ja) * 1998-11-09 2000-07-28 Canon Inc 画像処理装置及び方法並びに記憶媒体
US6652452B1 (en) * 1999-10-25 2003-11-25 Advanced Medical Electronics Corporation Infrared endoscope with sensor array at the distal tip
JP2001299676A (ja) * 2000-04-25 2001-10-30 Fuji Photo Film Co Ltd センチネルリンパ節検出方法および検出システム
US6748259B1 (en) * 2000-06-15 2004-06-08 Spectros Corporation Optical imaging of induced signals in vivo under ambient light conditions
US6678398B2 (en) * 2000-09-18 2004-01-13 Sti Medical Systems, Inc. Dual mode real-time screening and rapid full-area, selective-spectral, remote imaging and analysis device and process
JP2002102145A (ja) * 2000-09-28 2002-04-09 Asahi Optical Co Ltd 電子内視鏡システム
JP3809058B2 (ja) * 2000-10-05 2006-08-16 ペンタックス株式会社 電子内視鏡装置
JP3876972B2 (ja) * 2001-10-12 2007-02-07 株式会社デンソー 案内画像生成装置、案内画像表示装置、ナビゲーション装置、及びプログラム
US8620410B2 (en) 2002-03-12 2013-12-31 Beth Israel Deaconess Medical Center Multi-channel medical imaging system
US8229548B2 (en) * 2002-03-12 2012-07-24 Beth Israel Deaconess Medical Center Medical imaging systems
JP2003290128A (ja) * 2002-03-29 2003-10-14 Olympus Optical Co Ltd センチネルリンパ節検出方法
JP2004208716A (ja) * 2002-12-26 2004-07-29 Ge Medical Systems Global Technology Co Llc X線撮像システム
US8473035B2 (en) * 2003-09-15 2013-06-25 Beth Israel Deaconess Medical Center Medical imaging systems
JP4534459B2 (ja) * 2003-10-10 2010-09-01 株式会社島津製作所 外科用x線装置
JP4716673B2 (ja) * 2004-05-21 2011-07-06 オリンパス株式会社 蛍光内視鏡装置
JP2006014868A (ja) * 2004-06-30 2006-01-19 Hamamatsu Photonics Kk リンパ節検出装置
JP2006026015A (ja) * 2004-07-14 2006-02-02 Fuji Photo Film Co Ltd 光断層画像取得システム
JP2006043196A (ja) * 2004-08-05 2006-02-16 Pentax Corp 電子内視鏡システム及び電子内視鏡用プロセッサ
JP2006263044A (ja) * 2005-03-23 2006-10-05 Fuji Photo Film Co Ltd 蛍光検出システム
WO2006111965A2 (en) 2005-04-20 2006-10-26 Visionsense Ltd. System and method for producing an augmented image of an organ of a patient
CN101278059A (zh) * 2005-07-28 2008-10-01 肿瘤疗法科学股份有限公司 诊断和治疗肾细胞癌的方法
EP3162318B1 (en) * 2005-10-20 2019-10-16 Intuitive Surgical Operations, Inc. Auxiliary image display and manipulation on a computer display in a medical robotic system
JP2007199542A (ja) * 2006-01-30 2007-08-09 Matsushita Electric Ind Co Ltd 投射型表示装置
JP2009136454A (ja) * 2007-12-05 2009-06-25 Olympus Corp 内視鏡システム
EP2254456A1 (en) * 2008-01-24 2010-12-01 Lifeguard Surgical Systems Common bile duct surgical imaging system
EP2088556B1 (en) * 2008-02-05 2017-02-01 Siemens Healthcare GmbH Method and system for registration to align at least one preoperative image to at least one intraoperativley acquired image
US8419276B2 (en) * 2008-02-22 2013-04-16 Hitachi Medical Corporation Mobile X-ray apparatus
US8467603B2 (en) * 2008-02-26 2013-06-18 Given Imaging Ltd. Method for enhancing in-vivo image contrast
JP5027011B2 (ja) * 2008-02-29 2012-09-19 富士フイルム株式会社 胸部画像回転装置および方法並びにプログラム
US20090289200A1 (en) * 2008-05-22 2009-11-26 Fujifilm Corporation Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit
JP5229723B2 (ja) * 2008-05-22 2013-07-03 富士フイルム株式会社 蛍光画像取得装置

Also Published As

Publication number Publication date
JP2016101528A (ja) 2016-06-02
EP3731176B1 (en) 2021-11-17
US8706184B2 (en) 2014-04-22
JP5883096B2 (ja) 2016-03-09
JP6419277B2 (ja) 2018-11-07
JP2017213451A (ja) 2017-12-07
EP3109822B1 (en) 2020-07-22
JP2020072873A (ja) 2020-05-14
CN102576457A (zh) 2012-07-11
US20110082369A1 (en) 2011-04-07
EP3731176A1 (en) 2020-10-28
EP3109822A1 (en) 2016-12-28
JP6212141B2 (ja) 2017-10-11
KR20180081168A (ko) 2018-07-13
EP3965057A1 (en) 2022-03-09
EP4191518A1 (en) 2023-06-07
KR20120092573A (ko) 2012-08-21
KR102069258B1 (ko) 2020-01-22
EP3965057B1 (en) 2022-11-02
JP5662457B2 (ja) 2015-01-28
CN102576457B (zh) 2015-11-25
KR20190037374A (ko) 2019-04-05
EP2486540A1 (en) 2012-08-15
WO2011043982A1 (en) 2011-04-14
JP2018202266A (ja) 2018-12-27
KR101876795B1 (ko) 2018-07-10
KR101965753B1 (ko) 2019-04-04
KR20200008067A (ko) 2020-01-22
EP2486540B1 (en) 2016-09-07
KR20170091168A (ko) 2017-08-08
KR101763833B1 (ko) 2017-08-01
JP2015006442A (ja) 2015-01-15
JP6671442B2 (ja) 2020-03-25
KR102172702B1 (ko) 2020-11-02
JP2013507182A (ja) 2013-03-04

Similar Documents

Publication Publication Date Title
JP6778807B2 (ja) 臨床画像上に強調された画像化データを表示するための方法および装置
CN107072644B (zh) 成像装置
WO2009120228A1 (en) Image processing systems and methods for surgical applications
JP6485275B2 (ja) イメージング装置
JP6512320B2 (ja) イメージング装置
JP5662457B6 (ja) 臨床画像上に強調された画像化データを表示するための方法および装置
JP5809850B2 (ja) 画像処理装置
JP6295915B2 (ja) イメージング装置
US11980347B2 (en) Combining near-infrared information with colored images in image-guided surgery
US20220015616A1 (en) Combining near-infrared information with colored images in image-guided surgery

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200923

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201012

R150 Certificate of patent or registration of utility model

Ref document number: 6778807

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250