JP6395995B2 - 医療映像処理方法及び装置 - Google Patents

医療映像処理方法及び装置 Download PDF

Info

Publication number
JP6395995B2
JP6395995B2 JP2012167110A JP2012167110A JP6395995B2 JP 6395995 B2 JP6395995 B2 JP 6395995B2 JP 2012167110 A JP2012167110 A JP 2012167110A JP 2012167110 A JP2012167110 A JP 2012167110A JP 6395995 B2 JP6395995 B2 JP 6395995B2
Authority
JP
Japan
Prior art keywords
image
medical
endoscopic
video
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012167110A
Other languages
English (en)
Other versions
JP2013031660A (ja
Inventor
東 烈 朴
東 烈 朴
錬 ▲ほ▼ 金
錬 ▲ほ▼ 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2013031660A publication Critical patent/JP2013031660A/ja
Application granted granted Critical
Publication of JP6395995B2 publication Critical patent/JP6395995B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/506—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of nerves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Pulmonology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Dentistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Neurology (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、医療映像を処理する方法及び装置に関り、特に映像誘導を利用したロボット手術システムに関する。
ロボット手術は、開腹手術と異なり、医師が患者の体内の手術部位を直接肉眼で見ることができず、モニターに表示された画面のみを通じて手術部位を把握することになる。ロボット手術を執刀する医師は、手術前にコンピュータ断層撮影(Computed Tomography:CT)、磁気共鳴映像(Magnetic Resonance Imaging:MRI)、超音波映像などを通じて手術部位を把握して手術するが、これは、医師の経験に多く依存するという限界がある。また、手術部位映像を獲得するために、腹腔鏡を患者の体内に挿入して、表示された体内の実際の映像を見つつ、ロボット手術を進める方法も試みられた。しかし、手術部位に対して、腹腔鏡のような内視鏡のみで獲得できる映像は、体内の臓器組織の外部表面についての映像だけであるので、手術部位が臓器により隠れて見えない場合や手術部位が臓器の内部である場合には、手術部位についての正確な位置及び形態などを正確に把握し難い。
米国特許第５７０４８９７号明細書
本発明の目的は、医療映像を処理する方法及び装置を提供することである。また、前記方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供することである。さらに、処理された医療映像に基づいて、映像誘導を利用したロボット手術システムを提供することである。ただし、本発明の目的は、前記したような目的に限定されるものではない。
本発明の一側面によれば、医療映像処理方法は、相異なる複数の医療映像撮影装置を利用して撮影された所定の臓器についての医療映像を獲得するステップと、前記獲得された医療映像それぞれから、前記獲得された医療映像それぞれに含まれた前記所定の臓器の表面情報をそれぞれ抽出するステップと、前記抽出されたそれぞれの表面情報を利用して、前記医療映像をマッピングするステップと、前記マッピング結果に基づいて、前記医療映像が整合された合成映像を生成するステップと、を含む。
他の側面によれば、前記医療映像処理方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
さらに他の側面によれば、医療映像処理装置は、相異なる複数の医療映像撮影装置を利用して撮影された所定の臓器についての医療映像を獲得する映像獲得部と、前記獲得された医療映像それぞれから、前記獲得された医療映像それぞれに含まれた前記所定の臓器の表面情報をそれぞれ抽出する表面情報抽出部と、前記抽出されたそれぞれの表面情報を利用して、前記医療映像をマッピングする映像マッピング部と、前記マッピング結果に基づいて、前記医療映像が整合された合成映像を生成する合成映像生成部と、を備える。
さらに他の側面によれば、手術部位についての映像を誘導して、手術用ロボットによるロボット手術を行うロボット手術システムにおいて、被検体内の所定の臓器に対して、医療映像を撮影する内視鏡装置と、前記所定の臓器に対して、医療映像を撮影する、超音波装置、コンピュータ断層撮影（ＣＴ）装置、磁気共鳴映像（ＭＲＩ）装置及び陽電子放射断層撮影(Positron Emission Tomography: PET)装置のうち少なくとも一つを含む非内視鏡装置と、前記複数の医療映像撮影装置を利用して撮影された前記医療映像を獲得し、前記獲得された医療映像それぞれから、前記獲得された医療映像それぞれに含まれた前記所定の臓器の表面情報をそれぞれ抽出し、前記抽出されたそれぞれの表面情報を利用して、前記医療映像をマッピングし、前記マッピング結果に基づいて、前記医療映像が整合された合成映像を生成する医療映像処理装置と、前記生成された合成映像を表示する表示装置と、ユーザーの入力によってロボット手術を行う手術用ロボットと、を備える。
本発明によれば、人工的なマーカーを使用せず、医療映像に含まれた情報のみに基づいて、リアルタイムで医療映像を整合することで、映像整合時にマーカーの使用による面倒さ、不便さなどを減らすことができる。特に、ロボット手術において、金属成分のマーカーと手術用ロボットとの干渉による映像整合の正確度の低下を減らすことができる。
そして、リアルタイムで内視鏡映像及び非内視鏡映像が整合された合成映像を生成することで、医師にさらに正確な患者の診断映像が提供され、ロボット手術システムでさらに正確な映像誘導を行ったりすることができる。また、ロボット手術の場合、このように手術部位についての正確な医療映像が提供されることで、手術すべき部位と保存すべき部位とを正確に把握できるので、手術性能が向上する。さらに、今後ロボット手術が自動化される場合、ロボットを正確に制御することができる情報が提供される。
本発明の一実施形態によるロボット手術システムの構成図である。 本発明の一実施形態によるロボット手術システムの構成図である。 本発明の一実施形態による膀胱についての内視鏡装置と超音波装置との相対的な位置を示す図面である。 本発明の一実施形態による医療映像処理装置の構成図である。 本発明の一実施形態による第１抽出部で第１表面モデルが生成された後、第１表面情報が抽出される過程を示す図面である。 本発明の一実施形態による第２抽出部で第２表面モデルが生成された後、第２表面情報が抽出される過程を示す図面である。 本発明の一実施形態による図１Ｂのロボット手術システムにおいて、内視鏡装置と超音波装置との配置のみを別途に示す図面である。 本発明の一実施形態によって、合成映像生成部で合成映像を生成する時に利用される三次元の超音波映像に含まれた情報の例を示す図面である。 本発明の一実施形態による合成映像を示す図面である。 本発明の一実施形態による医療映像を処理する方法のフローチャートである。 図９の医療映像を処理する方法の詳細なフローチャートである。 本発明の一実施形態による第１表面情報を抽出する過程のフローチャートである。 本発明の一実施形態による第２表面情報を抽出する過程のフローチャートである。
以下、図面を参照して、本発明の実施形態を詳細に説明する。
図１Ａは、本発明の一実施形態によるロボット手術システム１の構成図である。図１Ａを参照すれば、ロボット手術システム１は、第１医療映像撮影装置１１、第２医療映像撮影装置２１、医療映像処理装置３０、手術用ロボット４０及び表示装置５０から構成される。図１Ａでは、本実施形態の特徴が不明確になることを防止するために、本実施形態に関連したハードウェア構成要素のみを記述する。ただし、図１Ａに示すハードウェア構成要素以外に、他の汎用的なハードウェア構成要素が含まれることを当業者ならば理解できるであろう。
図１Ａを参照すれば、ロボット手術システム１は、第１及び第２医療映像撮影装置１１，２１のみを備えるものと示されたが、これに限定されず、本実施形態は、その他にも少なくとも一つの更なる医療映像撮影装置を備えてもよい。
医療映像撮影装置の種類には、内視鏡装置、超音波装置、コンピュータ断層撮影(Computed Tomography:CT)装置、磁気共鳴映像(Magnetic Resonance Imaging:MRI)装置、陽電子放射断層撮影(Positron Emission Tomography:PET)装置など多様な種類がある。以下、内視鏡映像を撮影する医療映像撮影装置以外の医療映像撮影装置は、非内視鏡装置という。すなわち、超音波装置、コンピュータ断層撮影装置、磁気共鳴映像装置及び陽電子放射断層撮影装置は、非内視鏡装置である。
以下、説明の便宜のために、本実施形態によるロボット手術システム１の第１医療映像撮影装置１１は、腹腔鏡装置のような内視鏡装置に該当し、第２医療映像撮影装置２１は、経直腸的超音波(Trans-Rectal Ultrasound:TRUS)装置のような超音波装置に該当するものと説明するが、本実施形態は、これに限定されない。すなわち、第１及び第２医療映像撮影装置１１，２１それぞれは、前記内視鏡装置、超音波装置、コンピュータ断層撮影装置、磁気共鳴映像装置、陽電子放射断層撮影装置のような医療映像撮影装置のうちいずれか一つであってもよい。
図１Ｂは、本発明の一実施形態によるロボット手術システム１００の構成図である。図１Ｂを参照すれば、ロボット手術システム１００は、前述したように、内視鏡装置１０、超音波装置２０、医療映像処理装置３０、手術用ロボット４０及び表示装置５０から構成される。
図１Ｂでも、図１Ａと同様に、本実施形態の特徴が不明確になることを防止するために、本実施形態に関連したハードウェア構成要素のみを記述する。
ロボット手術システム１００は、患者の体にあけられた小さい穴に手術用ロボット４０のアームを挿入し、患者の体外で医師が手術用ロボット４０の動きを制御して、患者を手術するシステムである。
最近、米国のインテュイティヴ・サージカル社製のｄａ Ｖｉｎｃｉ（登録商標）が、かかる手術用ロボット４０として一般的に多く使われている。より詳細に説明すれば、ｄａ Ｖｉｎｃｉ（登録商標）は、患者の体内に直接挿入されるロボットであって、医師の手のように動くことができるので、あたかも医師が直接手術部位に手術するように手術するロボットである。本実施形態では、単に説明の便宜のために、手術用ロボット４０としてｄａ Ｖｉｎｃｉ（登録商標）を例として挙げただけであり、手術用ロボット４０は、患者の体内でロボットの動きを通じて手術する他の装置でもよい。
ロボット手術システム１００で医師が手術用ロボット４０を利用して手術しようとする時、医師は、表示装置５０に表示された患者の体内の医療映像を参考にして手術を進める。すなわち、ロボット手術システム１００において、医師は、患者の体内に特殊レンズを挿入して、肉眼で見られない神経、血管、臓器についての映像を通じて視野を確保した後で手術を進める。
ロボット手術システム１００では、開腹手術と異なり、医師が患者の体内の手術部位を直接肉眼で見ることができず、表示装置５０に表示された画面のみを通じて手術部位を把握できるため、手術部位についての正確な映像が要求される。
特に、ロボット手術は、手術中に周辺神経及び血管に損傷を与えた時、激しい副作用と合併症とが生じる前立腺癌、直腸癌、食道癌、膀胱癌の手術などに一般的に多く使われるので、手術部位についての精巧かつ細密な映像が表示装置５０に表示されることが重要である。
従来は、手術前にＣＴ、ＭＲＩ、超音波、ＰＥＴ映像などを医師に見せることで、診断映像を記憶する医師の頭脳から現在手術すべき部位を思い起こして手術する方法を使用した。しかし、これは、医師の経験に多く依存するので、正確な手術が困難であった。
また、従来のロボット手術の場合、腹腔鏡を患者の体内に挿入して、表示された体内の実際の映像を見つつ、ロボット手術を進めた。しかし、手術部位に対して、腹腔鏡のみで獲得できる映像は、体内の臓器組織の外部表面についての映像だけである。したがって、手術部位が臓器に隠れて見えない場合や手術部位が臓器の内部である場合には、腹腔鏡で手術部位についての実際の映像を獲得しがたかった。特に、前立腺手術の場合がそうであった。
前立腺手術を説明すれば、前立腺は、手術部位が狭く、尿道と連結されている。そして、前立腺が除去される時、前立腺近辺の神経血管束は保存されねばならない。なぜならば、この神経血管束は、尿機能、性機能などに重要な役割を行うためである。しかし、腹腔鏡は、外部表面の組織についての映像のみを提供するので、腹腔鏡のみでは前立腺の位置及び形態などを精巧かつ細密に把握するのに多少困難さがある。
かかる既存の方法を改善するために、従来には、経直腸的超音波（ＴＲＵＳ）装置を利用したが、手術部位の実際の映像ではない超音波映像という限界があった。
また、従来には、光学方式あるいは磁場方式のマーカーを利用して、経直腸的超音波装置の位置と方向をリアルタイムで検出することで、三次元超音波映像を獲得し、それを手術に使用した。しかし、磁場方式を利用する場合、手術ロボットのような金属性物質と磁場との干渉により、マーカーの位置測定が不正確になった。そして、光学方式を利用する場合には、位置測定時に手術用ロボットの活動範囲と重なって、手術用ロボットの動きに制約を与えた。
さらに、従来には、手術ロボット以外のタンデムロボットを利用して、経直腸的超音波装置を回転させ、それから三次元前立腺映像を獲得する方法も使われた。しかし、この方法は、更なるロボットを使用せねばならないので、タンデムロボットによる干渉のために、手術ロボットの移動が制限された。そして、手術ロボットとタンデムロボットとの位置を補正せねばならないので、実際の手術時に超音波映像を全く利用できなかった。
すなわち、前記したように、ロボット手術を行う時、特に前立腺に対するロボット手術のように、周辺神経及び血管に損傷を与えてはならないロボット手術を行う時、従来は、手術部位についての正確な映像を得がたく、患者の安全に問題があるという限界があった。
しかし、本実施形態によるロボット手術システム１００では、相異なる複数の医療映像撮影装置で撮影された相異なる医療映像がリアルタイムで整合された合成映像を利用することで、臓器に隠された手術部位または臓器の内部に位置した手術部位に対しても、正確な映像が提供される。したがって、本実施形態によれば、ロボット手術の性能や患者の安全を保証することができる。
ただし、本実施形態では、ロボット手術システム１００下でロボット手術を行う医師のための医療映像を提供すること、すなわち医療映像誘導について説明するが、本実施形態の医療映像処理装置３０で生成された合成映像は、必ずしもロボット手術システム１００のみで提供されるものに限定されない。すなわち、本実施形態で提供される医療映像は、ロボット手術ではない患者を単純に診察または診断するための他のシステムでも同様に提供される。
以下では、本実施形態によるロボット手術システム１００において、医療映像を処理する過程について詳細に説明する。
ここで、本実施形態による手術部位は、説明の便宜のために、前立腺である場合を例として挙げる。そして、前述したように、手術部位が前立腺である場合、本実施形態による医療映像処理過程は、前立腺の周辺に位置している特定の臓器である膀胱を利用するものと説明する。すなわち、かかる特定の臓器は、手術用ロボット４０により治療される手術部位の臓器または手術部位の周辺の他の臓器であってもよい。
さらに、当業者ならば、本実施形態は、手術部位が患者の他の部位であるか、または他の臓器を利用して医療映像処理が行われることを理解できるであろう。
再び図１Ｂを参照すれば、ロボット手術システム１００下で、内視鏡装置１０は、患者の臓器、例えば、膀胱についての内視鏡映像を獲得する。したがって、内視鏡映像には、膀胱及びその周辺についての映像が含まれる。本実施形態において、内視鏡装置１０は、腹腔鏡装置に該当するが、これに限定されない。
そして、超音波装置２０は、患者の膀胱及びその周辺についての超音波映像を獲得する。したがって、超音波映像には、膀胱及びその内外部の周辺についての映像が含まれる。すなわち、超音波映像には、内視鏡映像と異なり、膀胱の内部の組織についての情報も含まれる。本実施形態において、超音波装置２０は、経直腸的超音波装置に該当するが、これに限定されない。
図１Ｂにおいて、内視鏡装置１０と超音波装置２０とは、相異なる位置で医療映像を撮影する。すなわち、ロボット手術システム１００では、内視鏡装置１０と超音波装置２０の動き及び位置がそれぞれ制御されることで、医療映像が撮影される。この時、ロボット手術システム１００は、制御中である内視鏡装置１０と超音波装置２０それぞれの撮影位置、例えば、ロボット手術テーブル上での仮想的座標などをロボット手術システム１００上の保存部（図示せず）に保存し続ける。
図２は、本発明の一実施形態による膀胱についての内視鏡装置１０と超音波装置２０との相対的な位置を示す図面である。図２を参照すれば、内視鏡装置１０が腹腔鏡装置である場合、膀胱を基準として相対的に膀胱の上方から内視鏡映像を獲得する。そして、超音波装置２０が経直腸的超音波装置である場合、膀胱を基準として相対的に膀胱の下方から超音波映像を獲得する。しかし、かかる内視鏡装置１０及び超音波装置２０それぞれの位置は、例示的なものであって、ロボット手術環境によって変更してもよい。
再び図１Ｂを参照すれば、医療映像処理装置３０は、内視鏡装置１０及び超音波装置２０から獲得された内視鏡映像及び超音波映像を整合することで、合成映像を生成する。本実施形態による医療映像処理装置３０の動作及び機能についてさらに詳細に説明すれば、次の通りである。
図３は、本発明の一実施形態による医療映像処理装置３０の構成図である。図３を参照すれば、医療映像処理装置３０は、検出部３１、映像獲得部３２、表面情報抽出部３３、映像マッピング部３４及び合成映像生成部３５を備える。そして、映像獲得部３２は、内視鏡映像獲得部３２１及び非内視鏡映像獲得部３２２を備え、表面情報抽出部３３は、第１抽出部３３１及び第２抽出部３３２を備え、映像マッピング部３４は、比較部３４１及び位置マッチング部３４２を備える。
かかる医療映像処理装置３０は、プロセッサに該当する。このプロセッサは、多数の論理ゲートのアレイにより具現されてもよく、汎用的なマイクロプロセッサと、このマイクロプロセッサで実行されるプログラムが保存されたメモリとの組み合わせにより具現されてもよい。また、他の形態のハードウェアにより具現されてもよいことを当業者ならば理解できるであろう。
検出部３１は、合成映像を生成しようとする時、前述したロボット手術システム１００上の保存部（図示せず）に保存された医療映像撮影装置それぞれの現在の位置を検出する。
映像獲得部３２は、相異なる複数の医療映像撮影装置を利用して撮影された臓器についての医療映像、すなわち、内視鏡映像及び非内視鏡映像を獲得する。表面情報抽出部３３は、獲得された医療映像それぞれから獲得された医療映像それぞれに含まれた臓器の表面情報をそれぞれ抽出する。特に、表面情報抽出部３３は、獲得された医療映像それぞれから、所定の臓器の表面の位置及び形態のうち少なくとも一つを表す情報を表面情報として抽出する。
映像マッピング部３４は、抽出されたそれぞれの表面情報を利用して、医療映像をマッピングする。特に、表面情報抽出部３３は、抽出されたそれぞれの表面情報を利用して、医療映像撮影装置それぞれの位置をマッチングさせることで、医療映像をマッピングする。
以下、まず、内視鏡映像を処理する過程についてさらに詳細に説明し、次に、超音波映像、ＣＴ映像、ＭＲ(Magnetic Resonance)映像のような非内視鏡映像を処理する過程についてさらに詳細に説明する。
内視鏡映像獲得部３２１は、内視鏡装置１０（図１Ｂ）を利用して撮影された内視鏡映像を獲得する。
第１抽出部３３１は、内視鏡装置１０（図１Ｂ）により撮影された内視鏡映像から、臓器の表面の位置及び形態のうち少なくとも一つを表す第１表面情報を抽出する。すなわち、本実施形態において、第１抽出部３３１は、内視鏡映像に表れた膀胱についての第１表面情報を抽出する。
その方法として、第１抽出部３３１は、膀胱及び周辺の外部組織と内視鏡装置１０（図１Ｂ）との距離情報を獲得することで、視差空間映像を生成する。一実施形態によれば、第１抽出部３３１は、二つのステレオカメラが備えられた内視鏡装置１０（図１Ｂ）を利用して、視差空間映像を獲得する。この時、他の実施形態によれば、第１抽出部３３１は、構造光及びパターン光のうち少なくとも一つを照射するプロジェクタをさらに備えた内視鏡装置１０（図１Ｂ）を利用することで、視差空間映像を生成する。この場合、内視鏡映像獲得部３２１は、膀胱及び周辺の外部組織から反射された構造光またはパターン光についての情報も共に獲得する。すなわち、第１抽出部３３１は、獲得された構造光またはパターン光についての情報を利用して、内視鏡装置１０（図１Ｂ）から膀胱及び周辺の外部組織までの距離を計算する。この時、第１抽出部３３１は、計算された距離に基づいて、視差空間映像のような距離映像を生成する。
次いで、第１抽出部３３１は、獲得された距離情報、すなわち、計算された距離または生成された距離映像を利用することで、内視鏡映像に対応する三次元の第１表面モデルを生成する。
最後に、第１抽出部３３１は、このように生成された第１表面モデルから、膀胱の表面の位置及び形態のうち少なくとも一つを表す第１表面情報を抽出する。
図４は、本発明の一実施形態による第１抽出部３３１（図３）で第１表面モデルが生成された後、第１表面情報が抽出される過程を示す図面である。図４の映像４０１は、内視鏡装置１０（図１Ｂ）で獲得された内視鏡映像であって、実際の膀胱及びその周辺に構造光またはパターン光を照射した映像である。
図４の映像４０２は、視差空間映像であって、構造光及びパターン光のうち少なくとも一つを利用して生成された一種の距離映像に該当する。しかし、前述したように、第１抽出部３３１（図３）は、構造光及びパターン光を利用せずに視差空間映像を生成することも可能である。
図４の映像４０３は、前記のような過程を通じて、第１抽出部３３１（図３）で生成された第１表面モデルである。第１抽出部３３１（図３）は、映像４０３の第１表面モデルから、膀胱の表面の形態及び位置についての第１表面情報４０４を抽出する。
再び図３を参照すれば、非内視鏡映像獲得部３２２は、超音波装置２０（図１Ｂ）のような非内視鏡装置を利用して撮影された非内視鏡映像を獲得する。第２抽出部３３２は、非内視鏡装置により撮影された映像から、臓器の表面の位置及び形態のうち少なくとも一つを表す第２表面情報を抽出する。すなわち、本実施形態において、第２抽出部３３２は、非内視鏡映像に表れた膀胱についての第２表面情報を抽出する。
その方法として、まず、第２抽出部３３２は、非内視鏡装置により撮影された非内視鏡映像から、膀胱の表面を表す境界線についての情報を獲得する。この時、境界線についての情報は、非内視鏡映像に対して、ライン検出及びエッジ検出のうち少なくとも一つを適用することによって獲得する。
非内視鏡映像が超音波映像である場合、超音波の特性上、超音波が臓器の表面組織に対して高いエコー輝度(high echogenicity)を有する性質を利用する。すなわち、第２抽出部３３２は、臓器の表面組織が超音波映像で相対的に明るい線で表れる性質を利用することで、境界線についての情報を獲得する。
非内視鏡映像がＭＲ映像である場合、第２抽出部３３２は、組織の分子構成比の差によるＭＲ映像での映像明度差が発生する点に基づいて、ライン検出またはエッジ検出を利用することで、境界線についての情報を獲得する。
同様に、非内視鏡映像がＣＴ映像である場合、第２抽出部３３２は、組織の密度差によるＣＴ映像での映像明度差が発生する点に基づいて、ライン検出またはエッジ検出を利用することで、境界線についての情報を獲得する。
次いで、第２抽出部３３２は、獲得された境界線情報を利用して、臓器（膀胱）の表面に対応する三次元の第２表面モデルを生成する。この時、第２抽出部３３２は、獲得された境界線情報に基づいて、境界線を三次元的にレンダリングすることで、三次元の第２表面モデルを生成する。
最後に、第２抽出部３３２は、このように生成された第２表面モデルから、膀胱の表面の位置及び形態のうち少なくとも一つを表す第２表面情報を抽出する。
図５は、本発明の一実施形態による第２抽出部３３２（図３）で第２表面モデルが生成された後、第２表面情報が抽出される過程を示す図面である。図５を参照すれば、超音波映像５０１から第２表面情報５０５が抽出される過程、ＭＲ映像５０２から第２表面情報５０５が抽出される過程、及びＣＴ映像５０３から第２表面情報５０５が抽出される過程が示されている。ロボット手術システム１００（図１Ｂ）の環境で、いかなる医療映像撮影装置を利用したかによって、第２抽出部３３２（図３）は、それぞれの過程のうちそれに対応する過程によって、第２表面情報５０５を抽出する。
超音波映像５０１である場合、第２抽出部３３２（図３）は、前述した超音波映像の特性を利用して、膀胱の表面に該当する境界線をそれぞれの映像から抽出する。そして、それぞれの境界線を三次元的にレンダリングすることで、第２表面モデル５０４を生成する。
ＭＲ映像５０２である場合、第２抽出部３３２（図３）は、前述したＭＲ映像の特性を利用して、直腸の表面に該当する境界線をそれぞれの映像から抽出する。そして、それぞれの境界線を三次元的にレンダリングすることで、第２表面モデル５０４を生成する。
ＣＴ映像５０３である場合、第２抽出部３３２（図３）は、前述したＣＴ映像の特性を利用して、直腸の表面に該当する境界線をそれぞれの映像から抽出する。そして、それぞれの境界線を三次元的にレンダリングすることで、第２表面モデル５０４を生成する。
第２抽出部３３２（図３）は、第２表面モデル５０４に表れた境界線情報に基づいて、臓器の表面の形態及び位置のうち少なくとも一つを表す第２表面情報５０５を抽出する。
すなわち、ロボット手術システム１００（図１Ｂ）の環境で、いかなる医療映像撮影装置を利用したかによって、第２抽出部３３２（図３）は、超音波映像５０１、ＭＲ映像５０２及びＣＴ映像５０３についてのそれぞれの過程のうち該当する過程によって、第２表面情報５０５を抽出する。
再び図３を参照すれば、映像マッピング部３４は、抽出されたそれぞれの表面情報を利用して、医療映像をマッピングする。映像マッピング部３４は、抽出された第１表面情報及び第２表面情報を利用して、医療映像撮影装置それぞれの位置をマッチングさせることで、医療映像をマッピングする。前述した図１Ｂのように、内視鏡装置１０（図１Ｂ）及び超音波装置２０（図１Ｂ）を利用する場合、表面情報を利用して、内視鏡装置１０（図１Ｂ）の位置及び超音波装置２０（図１Ｂ）の位置をマッチングさせることで、内視鏡映像及び超音波映像をマッピングする。
マッピング過程についてさらに詳細に説明すれば、映像マッピング部３４は、前述したように、比較部３４１及び位置マッチング部３４２を備える。
比較部３４１は、抽出されたそれぞれの表面情報を比較する。すなわち、比較部３４１は、第１表面情報と第２表面情報とを比較する。その理由は、抽出された第１表面情報及び第２表面情報は、臓器（膀胱）の同じ部位の表面についての情報であるためである。したがって、比較部３４１は、抽出された第１表面情報及び第２表面情報が臓器の同じ部位の表面に対してどのように対応するかを比較する。この時、比較部３４１は、公知のアルゴリズムであるＩＣＰ(Iterative Closest Point)アルゴリズムなどを利用して比較する。
位置マッチング部３４２は、比較結果に基づいて、前記検出部３１で検出された医療映像装置の位置をマッチングさせる。
結局、映像マッピング部３４は、かかる過程によるマッチング結果に基づいて、医療映像をマッピングする。
図６は、本発明の一実施形態による図１Ｂのロボット手術システム１００において、内視鏡装置１０と超音波装置２０との配置のみを別途に示す図面である。図６を参照すれば、内視鏡装置１０は、腹腔鏡装置に該当し、超音波装置２０は、経直腸的超音波装置に該当する。
ロボット手術システム１００（図１Ｂ）上で、内視鏡装置１０の仮想的位置は、Ｘｃａｍｅｒａ座標系による。そして、超音波装置２０の仮想的位置は、ＸＵＳ座標系による。すなわち、内視鏡装置１０の位置と超音波装置２０の位置とは、相異なる座標系を利用しているので、相互の位置は独立している。
しかし、内視鏡装置１０の位置と超音波装置２０の位置とは、同じ基準によりマッチングされる。このために、本実施形態によれば、映像マッピング部３４は、基準として、抽出された第１表面情報及び第２表面情報を利用する。さらに詳細に説明すれば、第１表面情報及び第２表面情報は、臓器（膀胱）の同じ部位の表面についての情報である。したがって、内視鏡映像から抽出された第１表面情報と、超音波映像から抽出された第２表面情報とを基準として、Ｘｃａｍｅｒａ座標系とＸＵＳ座標系とをマッチングさせる。その結果、内視鏡装置１０の位置と超音波装置２０の位置もマッチングされる。
再び図３を参照すれば、合成映像生成部３５は、マッピング結果に基づいて、医療映像が整合された合成映像を生成する。生成された合成映像は、臓器及びその周辺についての三次元医療映像であってもよい。さらに詳しくは、生成された合成映像は、内視鏡装置１０（図１Ｂ）により撮影された映像に含まれた臓器及び周辺についての外部組織の映像と、非内視鏡装置２０（図１Ｂ）により撮影された映像に含まれた臓器及び周辺についての内外部組織の映像とが三次元的に同時に表現された映像である。合成映像は、一種の増強映像に該当する。
合成映像生成部３５で生成された合成映像は、結局、内視鏡映像及び非内視鏡映像それぞれで表れた臓器の位置が同一であるように合成されて生成されるものである。
内視鏡映像は、それ自体で臓器及びその周辺の実際の三次元映像に該当する。しかし、内視鏡映像は、臓器の内外部の組織の形態及び位置などの情報を知りがたい。
一般的に、かかる非内視鏡映像は、臓器を断面で撮影した映像の集合に該当する。しかし、超音波映像、ＣＴ映像及びＭＲ映像のような非内視鏡映像は、臓器及び周辺の内外部の組織の形態及び位置などについての一種の透視情報を含んでいる。したがって、獲得された非内視鏡映像には、臓器の外部組織だけでなく、内部組織の形態及び位置などについての情報も共に含まれている。したがって、内視鏡映像と非内視鏡映像とが合成される場合、実際の臓器及び周辺の内外部にある組織についての情報を正確に知ることができ、それが医師に提供されることで、医師はさらに精巧かつ細密な手術を進めることができる。
ここで、超音波映像、ＣＴ映像及びＭＲ映像のような非内視鏡映像は、その映像を撮影する医療映像撮影装置１１，２１（図１Ａ）の種類によって、二次元映像であってもよく、三次元映像であってもよい。獲得された非内視鏡映像が、図５のように複数の二次元的な非内視鏡映像である場合、合成映像生成部３５は、ボリュームレンダリングなどの既知の方法を通じて、二次元の非内視鏡映像を三次元の非内視鏡映像に生成した後で合成に利用する。
図７は、本発明の一実施形態によって、合成映像生成部３５で合成映像を生成する時に利用される三次元の超音波映像に含まれた情報の例を示す図面である。図７は、経直腸的超音波装置を使用した場合の例示についての図面である。図７を参照すれば、超音波映像は、前述したように、膀胱のような臓器の内外部の組織の形態及び位置などについての一種の透視情報を含んでいる。したがって、三次元の超音波映像には、膀胱の外部表面７０１の形態及び位置、膀胱の内部の前立腺７０２の位置、膀胱の周辺の神経束７０３の位置が三次元的に表現されている。ここで、膀胱の外部表面７０１の形態及び位置は、第２表面情報に含まれた情報である。たとえ図７が三次元の超音波映像ではないとしても、当業者ならば、三次元の超音波映像を通じて、かかる情報（７０１，７０２，７０３の情報）が含まれているということが分かるであろう。
再び図３を参照すれば、合成映像生成部３５は、かかる内視鏡映像及び非内視鏡映像を整合することで、合成映像を生成する。
再び図１Ａ及び図１Ｂを参照すれば、表示装置５０は、合成映像生成部３５で生成された合成映像を表示する。ロボット手術システム１，１００は、表示装置５０を通じてロボット手術を進める医師に、かかる合成映像を提供することで、映像誘導(image guidance)を行う。表示装置５０は、ユーザーに情報を報告するために、視覚情報を表示するための装置、例えば、一般的なモニタ、ＬＣＤ(Liquid Crystal Display)画面、ＬＥＤ(Light Emitting Diode)画面、目盛り表示装置などを含む。
一方、再び図３を参照すれば、位置マッチング部３４２で第１表面情報及び第２表面情報を利用して、内視鏡装置１０（図１Ｂ）の位置と超音波装置２０（図１Ｂ）の位置とがリアルタイムでマッチングされ続ける限り、相異なる位置の相異なる装置で獲得された、同じ臓器についての相異なる映像はマッピングされ続ける。したがって、合成映像生成部３５は、内視鏡映像と超音波映像とを整合し続けて、合成映像を連続的に生成することで、表示装置５０は、内視鏡装置１０（図１Ｂ）及び超音波装置２０（図１Ｂ）の移動に関係なく、リアルタイムで合成映像を表示できる。
一実施形態によれば、表示装置５０は、生成された合成映像そのまま表示できるが、ロボット手術システム１，１００の使用環境によって、合成映像に含まれた映像情報のうち一部の関心領域のみが表示されるように制御される。すなわち、内視鏡映像と非内視鏡映像とが合成された場合、表示装置５０には、非内視鏡映像に含まれた一部の関心領域である前立腺８０１の位置、及び神経束８０２の位置のみが表示されるように制御される。さらに、前立腺８０１及び神経束８０２の位置についての情報が前処理された場合、表示装置５０は、ロボット手術システム１，１００の使用環境によって、合成映像に特定の部位が前立腺８０１及び神経束８０２に該当するという情報を共に表示できる。
図８は、本発明の一実施形態による合成映像を示す図面である。図８を参照すれば、合成映像は、膀胱及び周辺の内視鏡映像に、前立腺及び神経束のような膀胱の内外部の組織位置についての情報を有する超音波映像が合成されたことを示す図面である。
図９は、本発明の一実施形態による医療映像を処理する方法のフローチャートである。図９を参照すれば、本実施形態による医療映像処理方法は、図１Ａ、図１Ｂ及び図３に示すロボット手術システム１，１００の医療映像処理装置３０で時系列的に処理されるステップで構成される。したがって、以下省略された内容であるとしても、前記図面に関して記述された内容は、本実施形態による医療映像処理方法にも適用される。
ステップ９０１で、映像獲得部３２は、相異なる複数の医療映像撮影装置を利用して撮影された臓器についての医療映像を獲得する。ステップ９０２で、表面情報抽出部３３は、獲得された医療映像それぞれから、獲得された医療映像それぞれに含まれた臓器の表面情報をそれぞれ抽出する。
ステップ９０３で、映像マッピング部３４は、抽出されたそれぞれの表面情報を利用して、医療映像をマッピングする。ステップ９０４で、合成映像生成部３５は、マッピング結果に基づいて、医療映像が整合された合成映像を生成する。
図１０は、図９の医療映像を処理する方法の詳細なフローチャートである。同様に、以下省略された内容であるとしても、図１Ａ、図１Ｂ及び図３に関して記述された内容は、本実施形態による医療映像処理方法にも適用される。
ステップ１００１で、内視鏡映像獲得部３２１は、内視鏡装置１０（図１Ｂ）を利用して撮影された内視鏡映像を獲得する。ステップ１００２で、第１抽出部３３１は、内視鏡装置１０（図１Ｂ）により撮影された内視鏡映像から、臓器の表面の位置及び形態のうち少なくとも一つを表す第１表面情報を抽出する。
ステップ１００３で、非内視鏡映像獲得部３２２は、超音波装置２０（図１Ｂ）のような非内視鏡装置を利用して撮影された非内視鏡映像を獲得する。ステップ１００４で、第２抽出部３３２は、非内視鏡装置により撮影された映像から、臓器の表面の位置及び形態のうち少なくとも一つを表す第２表面情報を抽出する。
ここで、ステップ１００１及びステップ１００３の開始は、同時に並列的に進められてもよく、いずれか一つのステップが先に開始されて進められてもよい。すなわち、ステップ１００１及びステップ１００２の進行と、ステップ１００３及びステップ１００４の進行とは、互いに影響なしに独立して進められる。
ステップ１００５で、映像マッピング部３４は、抽出されたそれぞれの表面情報を利用して、医療映像をマッピングする。ステップ１００６で、合成映像生成部３５は、マッピング結果に基づいて、医療映像が整合された合成映像を生成する。
図１１は、本発明の一実施形態による第１表面情報を抽出する過程のフローチャートである。ステップ１１０１で、第１抽出部３３１は、臓器及び周辺についての外部組織と内視鏡装置１０（図１Ｂ）との距離情報を獲得する。
ステップ１１０２で、第１抽出部３３１は、獲得された距離情報を利用して、内視鏡映像に対応する三次元の第１表面モデルを生成する。ステップ１１０３で、第１抽出部３３１は、生成された第１表面モデルから第１表面情報を抽出する。
図１２は、本発明の一実施形態による第２表面情報を抽出する過程のフローチャートである。ステップ１２０１で、第２抽出部３３２は、非内視鏡装置２０（図１Ｂ）により撮影された映像から、臓器の表面を表す境界線についての情報を獲得する。
ステップ１２０２で、第２抽出部３３２は、獲得された境界線情報を利用して、臓器の表面に対応する三次元の第２表面モデルを生成する。ステップ１２０３で、第２抽出部３３２は、生成された第２表面モデルから第２表面情報を抽出する。
一方、前述した本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用のデジタルコンピュータで具現される。また、前述した本発明の実施形態で使われたデータの構造は、コンピュータで読み取り可能な記録媒体に複数の手段を通じて記録される。前記コンピュータで読み取り可能な記録媒体は、磁気記録媒体（例えば、ＲＯＭ(Read Only Memory)、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的な読み取り媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）のような記録媒体を含む。
これまで、本発明について、その望ましい実施形態を中心に述べた。当業者は、本発明が、本発明の本質的な特性から逸脱しない範囲で、変形された形態に具現可能であるということを理解できるであろう。したがって、開示された実施形態は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に表れており、それと同等な範囲内にあるあらゆる相違点は、本発明に含まれていると解釈されねばならない。
本発明は、医療機器関連の技術分野に適用可能である。
１ ロボット手術システム
１０ 内視鏡装置
１１ 第１医療映像撮影装置
２０ 超音波装置
２１ 第２医療映像撮影装置
３０ 医療映像処理装置
３１ 検出部
３２ 映像獲得部
３３ 表面情報抽出部
３４ 映像マッピング部
３５ 合成映像生成部
４０ 手術用ロボット
５０ 表示装置
３２１ 内視鏡映像獲得部
３２２ 非内視鏡映像獲得部
３３１ 第１抽出部
３３２ 第２抽出部
３４１ 比較部
３４２ 位置マッチング部

Claims (18)

  1. 医療映像処理装置が実行する医療映像処理方法であって、
    相異なる複数の医療映像撮影装置を利用して撮影された所定の臓器についての医療映像を獲得するステップであって、前記複数の医療映像撮影装置は、内視鏡装置と非内視鏡装置とを少なくとも含む、ステップと、
    前記獲得された医療映像それぞれから、前記獲得された医療映像それぞれに含まれた前記所定の臓器の表面情報をそれぞれ抽出するステップであって、（１）前記内視鏡装置により撮影された内視鏡映像から、前記所定の臓器及び周辺の外部組織と前記内視鏡装置との間の距離情報を求めることにより、前記所定の臓器の表面の位置及び形態を表す第１表面情報を抽出すること、及び（２）前記非内視鏡装置により撮影された映像から、前記所定の臓器の表面の位置及び形態を表す第２表面情報を抽出することを含む、ステップと、
    前記抽出された第１及び第２表面情報が前記所定の臓器の同じ部位の表面に対してどのように対応するかを比較し、前記内視鏡装置の位置を定める第１座標系と前記第１座標系とは独立した第２座標系であって前記非内視鏡装置の位置を定める第２座標系とをマッチングさせ、前記内視鏡装置の位置と前記非内視鏡装置の位置とをマッチングさせることにより、前記医療映像をマッピングするステップと、
    前記マッピングの結果に基づいて、前記医療映像が整合された合成映像を生成するステップと、
    を含むことを特徴とする医療映像処理方法。
  2. 前記抽出するステップは、前記獲得された医療映像それぞれから、前記所定の臓器の表面の位置及び形態を表す情報を前記表面情報として抽出することを特徴とする請求項１に記載の医療映像処理方法。
  3. 前記マッピングするステップは、前記抽出されたそれぞれの表面情報を利用して、前記医療映像撮影装置それぞれの位置をマッチングさせることで、前記医療映像をマッピングすることを特徴とする請求項１に記載の医療映像処理方法。
  4. 前記非内視鏡装置は、超音波装置、コンピュータ断層撮影（ＣＴ）装置、磁気共鳴映像（ＭＲＩ）装置及び陽電子放射断層撮影（ＰＥＴ）装置のうち少なくとも一つを含むことを特徴とする請求項１に記載の医療映像処理方法。
  5. 前記生成された合成映像は、前記内視鏡装置により撮影された映像に含まれた前記所定の臓器及び周辺の外部組織の映像と、前記非内視鏡装置により撮影された映像に含まれた前記所定の臓器及び前記周辺の内外部組織の映像とが三次元的に同時に表現された映像であることを特徴とする請求項４に記載の医療映像処理方法。
  6. 前記内視鏡装置は、腹腔鏡装置であり、前記非内視鏡装置が超音波装置を含む場合、前記超音波装置は、経直腸的超音波（ＴＲＵＳ）装置であることを特徴とする請求項１に記載の医療映像処理方法。
  7. 前記第１表面情報を抽出するステップは、
    前記所定の臓器及び周辺の外部組織と前記内視鏡装置との距離情報を獲得するステップと、
    前記獲得された距離情報を利用して、前記内視鏡映像に対応する三次元の第１表面モデルを生成するステップと、を含み、
    前記生成された第１表面モデルから前記第１表面情報を抽出することを特徴とする請求項６に記載の医療映像処理方法。
  8. 前記第２表面情報を抽出するステップは、
    前記非内視鏡装置により撮影された映像から、前記所定の臓器の表面を表す境界線についての情報を獲得するステップと、
    前記獲得された境界線情報を利用して、前記所定の臓器の表面に対応する三次元の第２表面モデルを生成するステップと、を含み、
    前記生成された第２表面モデルから前記第２表面情報を抽出することを特徴とする請求項６に記載の医療映像処理方法。
  9. 前記境界線情報を獲得するステップは、
    前記非内視鏡装置により撮影された映像に対して、ライン検出及びエッジ検出のうち少なくとも一つを適用することで、前記境界線を獲得することを特徴とする請求項８に記載の医療映像処理方法。
  10. 前記所定の臓器は、手術用ロボットにより治療される手術部位または前記手術部位の周辺の臓器であることを特徴とする請求項１に記載の医療映像処理方法。
  11. 請求項１ないし１０のうちいずれか一項に記載の医療映像処理方法を前記医療映像処理装置のコンピュータに実行させるコンピュータプログラム。
  12. 相異なる複数の医療映像撮影装置を利用して撮影された所定の臓器についての医療映像を獲得する映像獲得部であって、前記複数の医療映像撮影装置は、内視鏡装置と非内視鏡装置とを少なくとも含む、映像獲得部と、
    前記獲得された医療映像それぞれから、前記獲得された医療映像それぞれに含まれた前記所定の臓器の表面情報をそれぞれ抽出する表面情報抽出部であって、（１）前記内視鏡装置により撮影された内視鏡映像から、前記所定の臓器及び周辺の外部組織と前記内視鏡装置との間の距離情報を求めることにより、前記所定の臓器の表面の位置及び形態を表す第１表面情報を抽出すること、及び（２）前記非内視鏡装置により撮影された映像から、前記所定の臓器の表面の位置及び形態を表す第２表面情報を抽出することを行うように構成された表面情報抽出部と、
    前記抽出された第１及び第２表面情報が前記所定の臓器の同じ部位の表面に対してどのように対応するかを比較し、前記内視鏡装置の位置を定める第１座標系と前記第１座標系とは独立した第２座標系であって前記非内視鏡装置の位置を定める第２座標系とをマッチングさせ、前記内視鏡装置の位置と前記非内視鏡装置の位置とをマッチングさせることにより、前記医療映像をマッピングする映像マッピング部と、
    前記マッピングの結果に基づいて、前記医療映像が整合された合成映像を生成する合成映像生成部と、
    を備えることを特徴とする医療映像処理装置。
  13. 前記表面情報抽出部は、前記獲得された医療映像それぞれから、前記所定の臓器の表面の位置及び形態を表す情報を前記表面情報として抽出することを特徴とする請求項１２に記載の医療映像処理装置。
  14. 前記映像マッピング部は、前記抽出されたそれぞれの表面情報を利用して、前記医療映像撮影装置それぞれの位置をマッチングさせることで、前記医療映像をマッピングすることを特徴とする請求項１２に記載の医療映像処理装置。
  15. 前記複数の医療映像撮影装置は、内視鏡装置と、超音波装置、コンピュータ断層撮影（ＣＴ）装置、磁気共鳴映像（ＭＲＩ）装置及び陽電子放射断層撮影（ＰＥＴ）装置のうち少なくとも一つを含む非内視鏡装置と、を含むことを特徴とする請求項１２に記載の医療映像処理装置。
  16. 前記生成された合成映像は、前記内視鏡装置により撮影された映像に含まれた前記所定の臓器及び周辺の外部組織の映像と、前記非内視鏡装置により撮影された映像に含まれた前記所定の臓器及び前記周辺の内外部組織の映像とが三次元的に同時に表現された映像であることを特徴とする請求項１２に記載の医療映像処理装置。
  17. 前記内視鏡装置は、腹腔鏡装置であり、前記非内視鏡装置が前記超音波装置を含む場合、前記超音波装置は、経直腸的超音波（ＴＲＵＳ）装置であることを特徴とする請求項１５に記載の医療映像処理装置。
  18. 前記所定の臓器は、手術用ロボットにより治療される手術部位または前記手術部位の周辺の臓器であることを特徴とする請求項１２に記載の医療映像処理装置。
JP2012167110A 2011-08-02 2012-07-27 医療映像処理方法及び装置 Expired - Fee Related JP6395995B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0076993 2011-08-02
KR20110076993A KR20130015146A (ko) 2011-08-02 2011-08-02 의료 영상 처리 방법 및 장치, 영상 유도를 이용한 로봇 수술 시스템

Publications (2)

Publication Number Publication Date
JP2013031660A JP2013031660A (ja) 2013-02-14
JP6395995B2 true JP6395995B2 (ja) 2018-09-26

Family

ID=47002530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012167110A Expired - Fee Related JP6395995B2 (ja) 2011-08-02 2012-07-27 医療映像処理方法及び装置

Country Status (5)

Country Link
US (1) US20130035583A1 (ja)
EP (1) EP2554137A3 (ja)
JP (1) JP6395995B2 (ja)
KR (1) KR20130015146A (ja)
CN (1) CN102908158B (ja)

Families Citing this family (134)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8219178B2 (en) 2007-02-16 2012-07-10 Catholic Healthcare West Method and system for performing invasive medical procedures using a surgical robot
US10357184B2 (en) 2012-06-21 2019-07-23 Globus Medical, Inc. Surgical tool systems and method
US10653497B2 (en) 2006-02-16 2020-05-19 Globus Medical, Inc. Surgical tool systems and methods
US10893912B2 (en) 2006-02-16 2021-01-19 Globus Medical Inc. Surgical tool systems and methods
WO2012131660A1 (en) 2011-04-01 2012-10-04 Ecole Polytechnique Federale De Lausanne (Epfl) Robotic system for spinal and other surgeries
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
US11298196B2 (en) 2012-06-21 2022-04-12 Globus Medical Inc. Surgical robotic automation with tracking markers and controlled tool advancement
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
US10758315B2 (en) 2012-06-21 2020-09-01 Globus Medical Inc. Method and system for improving 2D-3D registration convergence
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
US11607149B2 (en) 2012-06-21 2023-03-21 Globus Medical Inc. Surgical tool systems and method
US10350013B2 (en) 2012-06-21 2019-07-16 Globus Medical, Inc. Surgical tool systems and methods
US11974822B2 (en) 2012-06-21 2024-05-07 Globus Medical Inc. Method for a surveillance marker in robotic-assisted surgery
US11116576B2 (en) 2012-06-21 2021-09-14 Globus Medical Inc. Dynamic reference arrays and methods of use
US11864745B2 (en) 2012-06-21 2024-01-09 Globus Medical, Inc. Surgical robotic system with retractor
US11045267B2 (en) 2012-06-21 2021-06-29 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11253327B2 (en) 2012-06-21 2022-02-22 Globus Medical, Inc. Systems and methods for automatically changing an end-effector on a surgical robot
US10231791B2 (en) 2012-06-21 2019-03-19 Globus Medical, Inc. Infrared signal based position recognition system for use with a robot-assisted surgery
US10624710B2 (en) 2012-06-21 2020-04-21 Globus Medical, Inc. System and method for measuring depth of instrumentation
US10136954B2 (en) 2012-06-21 2018-11-27 Globus Medical, Inc. Surgical tool systems and method
US11399900B2 (en) 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US12004905B2 (en) 2012-06-21 2024-06-11 Globus Medical, Inc. Medical imaging systems using robotic actuators and related methods
US11317971B2 (en) 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
JP2015528713A (ja) 2012-06-21 2015-10-01 グローバス メディカル インコーポレイティッド 手術ロボットプラットフォーム
US11395706B2 (en) 2012-06-21 2022-07-26 Globus Medical Inc. Surgical robot platform
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
KR102094502B1 (ko) * 2013-02-21 2020-03-30 삼성전자주식회사 의료 영상들의 정합 방법 및 장치
US9600138B2 (en) 2013-03-15 2017-03-21 Synaptive Medical (Barbados) Inc. Planning, navigation and simulation systems and methods for minimally invasive therapy
US10799316B2 (en) 2013-03-15 2020-10-13 Synaptive Medical (Barbados) Inc. System and method for dynamic validation, correction of registration for surgical navigation
KR102098958B1 (ko) * 2013-06-24 2020-04-14 큐렉소 주식회사 인체 장기 3차원 영상 표시 시스템
US10512511B2 (en) 2013-07-24 2019-12-24 Centre For Surgical Invention And Innovation Multi-function mounting interface for an image-guided robotic system and quick release interventional toolset
US9283048B2 (en) 2013-10-04 2016-03-15 KB Medical SA Apparatus and systems for precise guidance of surgical tools
KR20150074304A (ko) * 2013-12-23 2015-07-02 삼성전자주식회사 의료 영상 정보를 제공하는 방법 및 그 장치
EP3094272B1 (en) 2014-01-15 2021-04-21 KB Medical SA Notched apparatus for guidance of an insertable instrument along an axis during spinal surgery
US9713649B2 (en) 2014-01-24 2017-07-25 The Cleveland Clinic Foundation PSMA-targeting imaging agents
EP3104803B1 (en) 2014-02-11 2021-09-15 KB Medical SA Sterile handle for controlling a robotic surgical system from a sterile field
WO2015149041A1 (en) 2014-03-28 2015-10-01 Dorin Panescu Quantitative three-dimensional visualization of instruments in a field of view
KR102397670B1 (ko) 2014-03-28 2022-05-16 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 정량적 3차원 영상화에 기초한 햅틱 피드백을 갖는 수술 시스템
WO2015149040A1 (en) * 2014-03-28 2015-10-01 Dorin Panescu Quantitative three-dimensional imaging of surgical scenes
US10334227B2 (en) 2014-03-28 2019-06-25 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging of surgical scenes from multiport perspectives
EP3122232B1 (en) * 2014-03-28 2020-10-21 Intuitive Surgical Operations Inc. Alignment of q3d models with 3d images
EP3122281B1 (en) 2014-03-28 2022-07-20 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging and 3d modeling of surgical implants
EP3134022B1 (en) 2014-04-24 2018-01-10 KB Medical SA Surgical instrument holder for use with a robotic surgical system
CN107072673A (zh) 2014-07-14 2017-08-18 Kb医疗公司 用于在骨组织中制备孔的防滑手术器械
US9582916B2 (en) 2014-11-10 2017-02-28 Siemens Healthcare Gmbh Method and system for unsupervised cross-modal medical image synthesis
KR102278893B1 (ko) * 2014-11-28 2021-07-19 삼성전자주식회사 의료영상처리장치 및 이를 이용한 의료영상정합방법
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US10555782B2 (en) 2015-02-18 2020-02-11 Globus Medical, Inc. Systems and methods for performing minimally invasive spinal surgery with a robotic surgical system using a percutaneous technique
US9595120B2 (en) 2015-04-27 2017-03-14 Siemens Healthcare Gmbh Method and system for medical image synthesis across image domain or modality using iterative sparse representation propagation
CN107924459B (zh) * 2015-06-24 2021-08-27 埃达技术股份有限公司 用于肾结石去除程序的交互式3d镜放置和测量的方法和系统
US10058394B2 (en) 2015-07-31 2018-08-28 Globus Medical, Inc. Robot arm and methods of use
US10646298B2 (en) 2015-07-31 2020-05-12 Globus Medical, Inc. Robot arm and methods of use
US10080615B2 (en) 2015-08-12 2018-09-25 Globus Medical, Inc. Devices and methods for temporary mounting of parts to bone
JP6894431B2 (ja) 2015-08-31 2021-06-30 ケービー メディカル エスアー ロボット外科用システム及び方法
US10034716B2 (en) 2015-09-14 2018-07-31 Globus Medical, Inc. Surgical robotic systems and methods thereof
US9771092B2 (en) 2015-10-13 2017-09-26 Globus Medical, Inc. Stabilizer wheel assembly and methods of use
CN105306573B (zh) * 2015-11-03 2019-07-23 浙江格林蓝德信息技术有限公司 医学影像原始数据调度方法和医学影像传输系统
US11883217B2 (en) 2016-02-03 2024-01-30 Globus Medical, Inc. Portable medical imaging system and method
US10448910B2 (en) 2016-02-03 2019-10-22 Globus Medical, Inc. Portable medical imaging system
US11058378B2 (en) 2016-02-03 2021-07-13 Globus Medical, Inc. Portable medical imaging system
US10117632B2 (en) 2016-02-03 2018-11-06 Globus Medical, Inc. Portable medical imaging system with beam scanning collimator
US10842453B2 (en) 2016-02-03 2020-11-24 Globus Medical, Inc. Portable medical imaging system
US10866119B2 (en) 2016-03-14 2020-12-15 Globus Medical, Inc. Metal detector for detecting insertion of a surgical device into a hollow tube
EP3241518A3 (en) 2016-04-11 2018-01-24 Globus Medical, Inc Surgical tool systems and methods
KR101767005B1 (ko) 2016-05-26 2017-08-09 성균관대학교산학협력단 표면정합을 이용한 영상정합방법 및 영상정합장치
US20180049808A1 (en) * 2016-08-17 2018-02-22 Covidien Lp Method of using soft point features to predict breathing cycles and improve end registration
EP3360502A3 (en) 2017-01-18 2018-10-31 KB Medical SA Robotic navigation of robotic surgical systems
US11071594B2 (en) 2017-03-16 2021-07-27 KB Medical SA Robotic navigation of robotic surgical systems
US10675094B2 (en) 2017-07-21 2020-06-09 Globus Medical Inc. Robot surgical platform
JP7148534B2 (ja) * 2017-10-31 2022-10-05 富士フイルム株式会社 画像処理装置、プログラム、及び内視鏡システム
JP6778242B2 (ja) 2017-11-09 2020-10-28 グローバス メディカル インコーポレイティッド 手術用ロッドを曲げるための手術用ロボットシステム、および関連する方法および装置
US11794338B2 (en) 2017-11-09 2023-10-24 Globus Medical Inc. Robotic rod benders and related mechanical and motor housings
US11357548B2 (en) 2017-11-09 2022-06-14 Globus Medical, Inc. Robotic rod benders and related mechanical and motor housings
US11134862B2 (en) 2017-11-10 2021-10-05 Globus Medical, Inc. Methods of selecting surgical implants and related devices
KR102099563B1 (ko) 2017-12-28 2020-04-09 서울대학교 산학협력단 최소 침습 수술을 위한 수술로봇 시스템 및 이를 이용한 충돌방지 방법
US10482600B2 (en) 2018-01-16 2019-11-19 Siemens Healthcare Gmbh Cross-domain image analysis and cross-domain image synthesis using deep image-to-image networks and adversarial networks
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
WO2019164271A1 (ko) * 2018-02-20 2019-08-29 (주)휴톰 가상신체모델 생성 방법 및 장치
KR102018565B1 (ko) * 2018-02-20 2019-09-05 (주)휴톰 수술 시뮬레이션 정보 구축 방법, 장치 및 프로그램
US10573023B2 (en) 2018-04-09 2020-02-25 Globus Medical, Inc. Predictive visualization of medical imaging scanner component movement
US11471151B2 (en) 2018-07-16 2022-10-18 Cilag Gmbh International Safety logic for surgical suturing systems
CN108900815A (zh) * 2018-08-04 2018-11-27 广州高通影像技术有限公司 一种基于ar应用技术的智能内窥镜影像系统
US11337742B2 (en) 2018-11-05 2022-05-24 Globus Medical Inc Compliant orthopedic driver
US11278360B2 (en) 2018-11-16 2022-03-22 Globus Medical, Inc. End-effectors for surgical robotic systems having sealed optical components
US11602402B2 (en) 2018-12-04 2023-03-14 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
US11744655B2 (en) 2018-12-04 2023-09-05 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
WO2020113565A1 (zh) * 2018-12-07 2020-06-11 深圳先进技术研究院 一种胰胆管的多模态成像系统
KR102297517B1 (ko) 2019-03-06 2021-09-02 서울대학교 산학협력단 최소 침습 수술을 위한 수술로봇 시스템 및 상기 수술로봇 시스템의 구동방법
US11918313B2 (en) 2019-03-15 2024-03-05 Globus Medical Inc. Active end effectors for surgical robots
US11571265B2 (en) 2019-03-22 2023-02-07 Globus Medical Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11419616B2 (en) 2019-03-22 2022-08-23 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11317978B2 (en) 2019-03-22 2022-05-03 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11806084B2 (en) 2019-03-22 2023-11-07 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
US20200297357A1 (en) 2019-03-22 2020-09-24 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11382549B2 (en) 2019-03-22 2022-07-12 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
US11045179B2 (en) 2019-05-20 2021-06-29 Global Medical Inc Robot-mounted retractor system
US11628023B2 (en) 2019-07-10 2023-04-18 Globus Medical, Inc. Robotic navigational system for interbody implants
US11571171B2 (en) 2019-09-24 2023-02-07 Globus Medical, Inc. Compound curve cable chain
US11890066B2 (en) 2019-09-30 2024-02-06 Globus Medical, Inc Surgical robot with passive end effector
US11426178B2 (en) 2019-09-27 2022-08-30 Globus Medical Inc. Systems and methods for navigating a pin guide driver
US11864857B2 (en) 2019-09-27 2024-01-09 Globus Medical, Inc. Surgical robot with passive end effector
US11510684B2 (en) 2019-10-14 2022-11-29 Globus Medical, Inc. Rotary motion passive end effector for surgical robots in orthopedic surgeries
KR102235681B1 (ko) * 2019-12-03 2021-04-05 주식회사 딥노이드 수술 위치 항법 장치 및 그 방법
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
KR102373370B1 (ko) * 2019-12-30 2022-03-11 서울대학교산학협력단 Mr 영상유도 방사선 치료를 위한 합성 ct 영상 생성 방법 및 이를 이용한 방사선 치료계획 수립방법
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11253216B2 (en) 2020-04-28 2022-02-22 Globus Medical Inc. Fixtures for fluoroscopic imaging systems and related navigation systems and methods
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11317973B2 (en) 2020-06-09 2022-05-03 Globus Medical, Inc. Camera tracking bar for computer assisted navigation during surgery
US11382713B2 (en) 2020-06-16 2022-07-12 Globus Medical, Inc. Navigated surgical system with eye to XR headset display calibration
US11877807B2 (en) 2020-07-10 2024-01-23 Globus Medical, Inc Instruments for navigated orthopedic surgeries
US11793588B2 (en) 2020-07-23 2023-10-24 Globus Medical, Inc. Sterile draping of robotic arms
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US11523785B2 (en) 2020-09-24 2022-12-13 Globus Medical, Inc. Increased cone beam computed tomography volume length without requiring stitching or longitudinal C-arm movement
US11911112B2 (en) 2020-10-27 2024-02-27 Globus Medical, Inc. Robotic navigational system
US11941814B2 (en) 2020-11-04 2024-03-26 Globus Medical Inc. Auto segmentation using 2-D images taken during 3-D imaging spin
US11717350B2 (en) 2020-11-24 2023-08-08 Globus Medical Inc. Methods for robotic assistance and navigation in spinal surgery and related systems
KR102513394B1 (ko) * 2021-05-10 2023-03-23 주식회사 씨앤에이아이 Gan을 이용한 합성 내시경 이미지 생성 장치 및 방법
US11857273B2 (en) 2021-07-06 2024-01-02 Globus Medical, Inc. Ultrasonic robotic surgical navigation
US11439444B1 (en) 2021-07-22 2022-09-13 Globus Medical, Inc. Screw tower and rod reduction tool
US11911115B2 (en) 2021-12-20 2024-02-27 Globus Medical Inc. Flat panel registration fixture and method of using same
KR102549662B1 (ko) * 2022-09-14 2023-06-30 주식회사 뉴로소나 초음파 뇌 조사를 위한 조사정보 표시방법

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0602730B1 (en) * 1992-12-18 2002-06-19 Koninklijke Philips Electronics N.V. Registration of Volumetric images which are relatively elastically deformed by matching surfaces
JPH11309A (ja) * 1997-06-12 1999-01-06 Hitachi Ltd 画像処理装置
JP4054104B2 (ja) * 1998-04-10 2008-02-27 オリンパス株式会社 内視鏡画像処理装置
JP2002017729A (ja) * 2000-07-11 2002-01-22 Toshiba Corp 超音波内視鏡診断装置
US7117026B2 (en) * 2002-06-12 2006-10-03 Koninklijke Philips Electronics N.V. Physiological model based non-rigid image registration
JP4414682B2 (ja) * 2003-06-06 2010-02-10 オリンパス株式会社 超音波内視鏡装置
DE10340544B4 (de) * 2003-09-01 2006-08-03 Siemens Ag Vorrichtung zur visuellen Unterstützung einer elektrophysiologischen Katheteranwendung im Herzen
US20050085717A1 (en) * 2003-10-21 2005-04-21 Ramin Shahidi Systems and methods for intraoperative targetting
AU2006295455A1 (en) * 2005-09-22 2007-04-05 3M Innovative Properties Company Artifact mitigation in three-dimensional imaging
CN100498839C (zh) * 2006-03-08 2009-06-10 杭州电子科技大学 一种多模态医学体数据三维可视化方法
JP4745131B2 (ja) * 2006-05-29 2011-08-10 株式会社日立製作所 通信カード
EP2081494B1 (en) * 2006-11-16 2018-07-11 Vanderbilt University System and method of compensating for organ deformation
US8672836B2 (en) * 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US8428690B2 (en) * 2007-05-16 2013-04-23 General Electric Company Intracardiac echocardiography image reconstruction in combination with position tracking system
US8052604B2 (en) * 2007-07-31 2011-11-08 Mirabilis Medica Inc. Methods and apparatus for engagement and coupling of an intracavitory imaging and high intensity focused ultrasound probe
US8320711B2 (en) * 2007-12-05 2012-11-27 Biosense Webster, Inc. Anatomical modeling from a 3-D image and a surface mapping
JP2010088699A (ja) * 2008-10-09 2010-04-22 National Center For Child Health & Development 医療画像処理システム
KR101591471B1 (ko) * 2008-11-03 2016-02-04 삼성전자주식회사 물체의 특징 정보를 추출하기 위한 장치와 방법, 및 이를 이용한 특징 지도 생성 장치와 방법
US8823775B2 (en) * 2009-04-30 2014-09-02 Board Of Regents, The University Of Texas System Body surface imaging
CN101567051B (zh) * 2009-06-03 2012-08-22 复旦大学 一种基于特征点的图像配准方法
EP2501320A4 (en) * 2009-11-19 2014-03-26 Univ Johns Hopkins COST-EFFICIENT IMAGE-CONTROLLED NAVIGATION AND INTERVENTION SYSTEMS WITH COOPERATIVE SETS OF LOCAL SENSORS
WO2012169990A2 (en) * 2010-05-04 2012-12-13 Pathfinder Therapeutics, Inc. System and method for abdominal surface matching using pseudo-features
US20130170726A1 (en) * 2010-09-24 2013-07-04 The Research Foundation Of State University Of New York Registration of scanned objects obtained from different orientations
CN103402453B (zh) * 2011-03-03 2016-11-16 皇家飞利浦有限公司 用于导航系统的自动初始化和配准的系统和方法
RU2014140480A (ru) * 2012-03-08 2016-04-27 Конинклейке Филипс Н.В. Интеллектуальный выбор ориентиров для повышения точности совмещения при слиянии изображений, полученных различными устройствами

Also Published As

Publication number Publication date
US20130035583A1 (en) 2013-02-07
CN102908158B (zh) 2016-06-01
EP2554137A2 (en) 2013-02-06
JP2013031660A (ja) 2013-02-14
CN102908158A (zh) 2013-02-06
EP2554137A3 (en) 2015-04-29
KR20130015146A (ko) 2013-02-13

Similar Documents

Publication Publication Date Title
JP6395995B2 (ja) 医療映像処理方法及び装置
US11103200B2 (en) Medical device approaches
US11883118B2 (en) Using augmented reality in surgical navigation
JP6404713B2 (ja) 内視鏡手術におけるガイド下注入のためのシステム及び方法
JP7505081B2 (ja) 狭い通路における侵襲的手順の内視鏡画像
US10543045B2 (en) System and method for providing a contour video with a 3D surface in a medical navigation system
EP2329786A2 (en) Guided surgery
JP2019517291A (ja) 内視鏡画像及び超音波画像の画像ベースの融合
US11116579B2 (en) Intraoperative medical imaging method and system
WO2005092198A1 (en) System for guiding a medical instrument in a patient body
KR101993384B1 (ko) 환자의 자세 변화에 따른 의료 영상을 보정하는 방법, 장치 및 시스템
Nagelhus Hernes et al. Computer‐assisted 3D ultrasound‐guided neurosurgery: technological contributions, including multimodal registration and advanced display, demonstrating future perspectives
US10951837B2 (en) Generating a stereoscopic representation
Stolka et al. A 3D-elastography-guided system for laparoscopic partial nephrectomies
CN116528752A (zh) 自动分割与配准系统及方法
Zenbutsu et al. 3D ultrasound assisted laparoscopic liver surgery by visualization of blood vessels
US11941765B2 (en) Representation apparatus for displaying a graphical representation of an augmented reality
CN117355257A (zh) 荧光镜扫描视频的体积过滤器
CN114868151A (zh) 在外科手术期间确定被切除组织的体积的系统和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161004

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170411

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170419

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20170519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180829

R150 Certificate of patent or registration of utility model

Ref document number: 6395995

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees