KR101671195B1 - 수술 로봇용 확대 입체 가시영상 - Google Patents

수술 로봇용 확대 입체 가시영상 Download PDF

Info

Publication number
KR101671195B1
KR101671195B1 KR1020157035599A KR20157035599A KR101671195B1 KR 101671195 B1 KR101671195 B1 KR 101671195B1 KR 1020157035599 A KR1020157035599 A KR 1020157035599A KR 20157035599 A KR20157035599 A KR 20157035599A KR 101671195 B1 KR101671195 B1 KR 101671195B1
Authority
KR
South Korea
Prior art keywords
image
visibility
stereoscopic
fluorescent
fluorescence
Prior art date
Application number
KR1020157035599A
Other languages
English (en)
Other versions
KR20160008238A (ko
Inventor
데이비드 디. 스코트
웨니 자오
크리스토퍼 제이. 하셔
브라이언 디. 호프만
폴 이. 리라간
이안 엠. 맥도웰
캐더린 제이. 모어
존 디. 스턴
타오 자오
Original Assignee
인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 filed Critical 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Publication of KR20160008238A publication Critical patent/KR20160008238A/ko
Application granted granted Critical
Publication of KR101671195B1 publication Critical patent/KR101671195B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • H04N13/004—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Endoscopes (AREA)
  • Astronomy & Astrophysics (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

로봇 수술 시스템이 내시경을 포지셔닝하고 유지한다. 가시성 이미징 시스템이 상기 내시경에 결합된다. 상기 가시성 이미징 시스템은 조직의 가시성 이미지를 캡처한다. 대안의 이미징 시스템은 조직의 적어도 일부의 형광 이미지를 캡처한다. 입체 비디오 디스플레이 시스템이 상기 가시성 이미징 시스템과 대안의 이미징 시스템에 결합된다. 입체 비디오 디스플레이 시스템은 캡처된 형광 이미지와 가시성 이미지에 연관된 혼합된 형광 이미지의 3차원 프리젠테이션을 구비하는 실시간 입체 이미지를 출력한다.

Description

수술 로봇용 확대 입체 가시영상{AUGMENTED STEREOSCOPIC VISUALIZATION FOR A SURGICAL ROBOT}
본 발명의 측면은 내시경 이미징에 관한 것이고, 특히 외과의에게 개선된 실시간 비디오 디스플레이를 제공하기 위해 가시성 및 대안의 이미지를 혼합하는 것에 관한 것이다.
캘리포니아 서니베일의 Intuitive Surgical, Inc.에 의해 제조된 da Vinci? Surgical System은 신체에 대한 트라우마 감소, 보다 빠른 회복과 더 짧은 입원과 같은 다수의 효익을 환자에게 제공하는 최소 침습 원격조정 로봇 시스템이다. da Vinci? Surgical System의 하나의 키 포인트는 외과의에게 입체 뷰잉을 제공하는 2-채널(즉, 좌우) 비디오 캡처와 3차원(3D) 가시성 이미지의 디스플레이를 제공하는 기능이다.
이러한 전자 입체 이미징 시스템은 외과의에게 고 해상도 비디오 이미지를 출력하고 외과의로 하여금 증가된 정밀도로 작업하는 것 뿐만 아니라 특정한 조직 유형과 특성을 식별하는 "확대"도를 제공하는 줌과 같은 특징을 허용한다. 일반적인 수술실에서, 그러나, 특정한 조직 유형은 식별하기 어렵고, 또는 관심 조직은 적어도 부분적으로 다른 조직에 의해 은폐되어 있을 수 있다.
하나의 측면에서, 로봇 수술 시스템은 내시경을 포지셔닝하고 유지한다. 가시성 이미징 시스템은 내시경에 결합된다. 가시성 이미징 시스템은 조직의 가시성 이미지를 캡처한다. 대안의 이미징 시스템이 또한 내시경에 결합된다. 대안의 이미징 시스템은 조직의 적어도 일부의 형광 이미지를 캡처한다. 입체 비디오 디스플레이 시스템은 가시성 이미징 시스템과 대안의 이미지 시스템에 결합된다. 입체 비디오 디스플레이 시스템은 캡처된 형광 이미지와 가시성 이미지와 연관된 혼합한 형광 이미지의 3차원 프리젠테이션을 구비하는 실시간 입체 이미지를 출력한다.
따라서, 수술 로봇의 입체 비디오 캡처와 뷰잉 기능은 수술하는 동안 임상 대상인 조직을 실시간으로 식별하기 위해 입체 가시성 이미지와 입체 대안의 이미징 모달리티 이미지를 통합함으로써 증가된다.
본 발명의 측면들은 동시에 외과의가 원격조정 수술 시스템을 이용하여 수술동작을 수행할때 일반적으로 사용하는 입체 가시성 이미지에 추가하여 임상 대상인 조직을 식별하는 입체 대안 모달리티 이미지를 제공한다. 이러한 입체 가시성 및 대안의 이미지의 조합은 외과의로 하여금 병든 조직 제거를 위해 실시간으로 양성 종양 마진을 식별하고 신경을 커팅하지 않도록 하기 위해 이들 신경을 식별하도록 하는 것을 포함하는 효익을 제공한다(그러나, 이에 한정되는 것은 아니다).
상기 이미징 조합은 입체경 가시성 및 대안의 이미지의 연속한 오버레이이거나 또는 입체 대안의 이미지의 오버레이가 토클링 온오프된다. 또한, 가시성 이미지와 또다른 형광 이미지의 실시간 3차원 혼합이 하나의 측면에서 입체 이미지의 한 쪽 눈에서만 나타난다.
또다른 측면에서, 가시성 이미징 시스템은 제 1 프레임 속도로 가시성 이미지를 캡처하는 반면, 대안의 이미징 시스템은 제 2 프레임 속도로 형광 이미지를 캡처한다. 제 1 프레임 속도는 제 2 프레임 속도와 상이하다. 대안의 이미징 시스템은 형광 이미지를 가시성 이미지와 동기화시키기 위한 인위적인 형광 이미지를 생성함으로써 제 1 프레임 속도로 형광 이미지를 입체 비디오 디스플레이 시스템으로 제공한다.
따라서, 하나의 측면에서, 로봇 수술 시스템의 머니퓰레이터 조종 암에 의해 유지되고 포지셔닝되는 내시경으로부터, 조직의 가시성 이미지를 캡처하는 단계를 포함하는 방법이 제공된다. 이러한 방법은 또한 내시경으로부터, 조직의 적어도 일부의 대안의 이미지를 캡처한다. 대안의 이미지는 형광 이미지를 포함한다. 본 방법에서, 캡처된 형광 이미지와 가시성 이미지에 연관된 또다른 형광 이미지의 혼합이 실시간 입체 비디오 디스플레이로 출력된다.
또다른 측면에서, 상기 방법은 캡처된 형광 이미지에 연관된 정보를 이용하여 제 2 형광 이미지를 생성한다. 제 2 형광 이미지는 또다른 형광 이미지이다.
또다른 측면에서, 상기 방법은 가시성 이미지에 연관된 정보를 이용하여 제 2 가시성 이미지를 생성한다. 가시성 이미지와 제 2 가시성 이미지는 입체 쌍의 가시성 이미지를 포함한다. 본 측면에서, 상기 방법은 또한 상기 형광 이미지에 연관된 정보를 이용하여 제 2 형광 이미지를 생성한다. 상기 제 2 형광 이미지는 또다른 형광 이미지이다.
하나의 측면에서, 조명 채널이 로봇 수술 시스템에 의해 유지되고 포지셔닝된다. 조명 채널로부터의 광이 조직을 조광한다. 입체 광학 채널이 또한 로봇 수술 시스템에 의해 유지되고 포지셔닝된다. 입체 광학 채널은 조직으로부터의 제 1 광을 전달한다. 또다른 광학 채널이 또한 로봇 수술 시스템에 의해 유지되고 포지셔닝된다. 또다른 광학 채널은 조직으로부터의 제 2 광을 전달한다. 입체 광학 채널은 또다른 광학 채널과는 상이하다.
이미지 캡처 시스템은 입체 광학 채널에 결합된 제 1 캡처 유닛을 포함한다. 제 1 캡처 유닛은 제 1 광으로부터의 입체 가시성 이미지를 캡처한다. 이미지 캡처 시스템은 또한 또다른 광학 채널에 결합된 제 2 캡처 유닛을 포함한다. 제 2 캡처 유닛은 제 2 광으로부터의 형광 이미지를 캡처한다.
인텔리전트 이미지 처리 시스템이 제 1 캡처 유닛 및 제 2 캡처 유닛에 결합된다. 인텔리전트 이미지 처리 시스템은 캡처된 입체 가시성 이미지와 캡처된 형광 이미지를 수신한다. 인텔리전트 이미지 처리 시스템은 입체 쌍의 형광 이미지를 생성한다.
확대 입체 디스플레이 시스템은 인텔리전트 이미지 처리 시스템과 이미지 캡처 시스템에 결합된다. 확대 입체 디스플레이 시스템은 입체 가시성 이미지와 입체 쌍의 형광 이미지의 혼합의 3차원 프리젠테이션을 포함하는 실시간 입체 이미지를 출력한다.
또다른 측면에서, 로봇 시스템에 의해 유지되고 포지셔닝되는 입체 광학 경로로부터의 조직의 입체 가시성 이미지를 캡처하는 단계를 포함하는 방법이 제공된다. 본 방법은 또한 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 또다른 광학 채널로부터의 조직의 형광 이미지를 캡처한다. 상기 입체 광학 채널은 또다른 광학 채널과는 상이하다.
상기 방법은 입체 쌍의 형광 이미지를 생성하기 위해 캡처된 입체 가시성 이미지로부터의 정보를 이용하여 캡처된 형광 이미지를 처리한다. 입체 가시성 이미지와 입체 쌍의 형광 이미지의 혼합의 3차원 프리젠테이션을 구비하는 조직의 실시간 확대 입체 이미지가 생성된다.
하나의 측면에서, 내시경이 로봇 수술 시스템에 의해 유지되고 포지셔닝된다. 내시경은 입체 광학 채널을 포함하고, 이는 조직으로부터의 제 1 광을 전달하는 제 1 채널과 조직으로부터의 제 2 광을 전달하는 제 2 채널을 포함한다.
제 1 캡처 유닛은 제 1 채널에 결합된다. 제 1 캡처 유닛은: 제 1 광으로부터의 형광 좌측 이미지와 조합된 가시성 좌측 이미지의 가시성 제 1 컬러 컴포넌트; 제 1 광으로부터의 가시성 좌측 이미지의 가시성 제 2 컬러 컴포넌트; 및 제 1 광으로부터의 가시성 좌측 이미지의 가시성 제 3 컬러 컴포넌트;를 캡처한다.
제 2 캡처 유닛은 제 2 채널에 결합된다. 제 2 캡처 유닛은: 제 2 광으로부터의 형광 우측 이미지와 조합된 가시성 우측 이미지의 가시성 제 1 컬러 컴포넌트; 제 2 광으로부터의 가시성 우측 이미지의 가시성 제 2 컬러 컴포넌트; 및 제 2 광으로부터의 가시성 우측 이미지의 가시성 제 3 컬러 컴포넌트;를 캡처한다. 상기 2개의 캡처 유닛은 하나의 이미지 캡처 시스템에 포함된다.
확대 입체 디스플레이 시스템은 이미지 캡처 시스템에 결합된다. 확대 입체 디스플레이 시스템은 조직의 적어도 일부의 실시간 입체 이미지를 출력한다. 실시간 입체 이미지는 가시성 좌우측 이미지와 형광 좌우측 이미지를 포함하는 3차원 프리젠테이션을 포함한다.
제 1 캡처 유닛은 프리즘을 포함한다. 프리즘은 제 1 광을 (1) 가시성 좌측 이미지의 가시성 제 1 컬러 컴포넌트, (2) 가시성 좌측 이미지의 가시성 제 2 컬러 컴포넌트, (3) 가시성 좌측 이미지의 제 3 컬러 컴포넌트, 및 (4) 제 1 컬러 컴포넌트의 컬러를 가지고, 제 1, 제 2, 및 제 3 컬러 컴포넌트로부터 분리되거나 제거된, 형광 좌측 이미지인 제 4 컴포넌트;로 분리한다. 제 2 캡처 유닛은 하나의 측면에서 유사한 프리즘을 포함한다.
또다른 측면에서, 본 방법은 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 내시경에서의 입체 광학 경로로부터의 조직의 적어도 일부의 형광 좌측 이미지와 조합된 조직의 가시성 좌측 이미지의 가시성 제 1 컬러 컴포넌트를 캡처한다. 상기 방법은 또한 입체 광학 경로로부터의 가시성 좌측 이미지의 가시성 제 2 컬러 컴포넌트; 입체 광학 경로로부터의 가시성 좌측 이미지의 가시성 제 3 컬러 컴포넌트; 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 내시경에서의 입체 광학 경로로부터의 조직의 적어도 일부의 형광 우측 이미지와 조합된 조직의 가시성 우측 이미지의 가시성 제 1 컬러 컴포넌트; 입체 광학 경로로부터의 가시성 우측 이미지의 가시성 제 2 컬러 컴포넌트; 및 입체 광학 경로로부터의 가시성 우측 이미지의 가시성 제 3 컬러 컴포넌트;를 캡처한다.
상기 방법은 조직의 실시간 확대 입체 이미지를 생성한다. 실시간 확대 입체 이미지는 가시성 좌우측 이미지와 형광 좌우측 이미지를 포함하는 3차원 프리젠테이션을 포함한다.
이러한 방법은 프리즘을 이용하여 입체 광학 경로로부터의 광을 (1) 가시성 제 1 컬러 컴포넌트, (2) 가시성 제 2 컬러 컴포넌트, (3) 가시성 제 3 컬러 컴포넌트, 및 (4) 제 1 컬러 컴포넌트의 컬러를 가지고, 제 1, 제 2, 및 제 3 컬러 컴포넌트로부터 분리되고 제거된, 제 4 컴포넌트;로 분리한다. 상기 제 4 컴포넌트는 형광 이미지이다.
하나의 측면에서, 내시경은 또한 로봇 수술 시스템에 의해 유지되고 포지셔닝된다. 내시경은 조직으로부터의 광을 전달하는 입체 광학 채널을 포함한다. 캡처 유닛은 입체 광학 채널에 결합된다. 캡처 유닛은 (1) 가시성 제 1 이미지, (2) 광으로부터의 형광 제 2 이미지와 조합된 가시성 제 2 이미지;를 캡처한다. 제 1 이미지는 좌우측 이미지 중 하나이다. 제 2 이미지는 좌우측 이미지 중 다른 하나 이다.
인텔리전트 이미지 처리 시스템은 (1) 가시성 제 1 이미지, 및 (2) 형광 제 2 이미지와 조합된 가시성 제 2 이미지;를 수신하기 위해 캡처 유닛에 결합된다. 인텔리전트 이미지 처리 시스템은 입체 쌍의 형광 이미지 중 적어도 하나의 형광 이미지와 가시성 제 2 이미지를 생성한다.
확대 입체 디스플레이 시스템은 인텔리전트 이미지 처리 시스템과 이미지 캡처 시스템에 결합된다. 확대 입체 디스플레이 시스템은 3차원 프리젠테이션을 포함하는 실시간 입체 이미지를 출력한다. 3차원 프리젠테이션은 한 쪽 눈에서, 입체 쌍의 형광 이미지 중 적어도 하나의 형광 이미지와 가시성 제 1 및 제 2 이미지 중 하나의 혼합; 및 다른 눈에서, 가시성 제 1 및 제 2 이미지 중 다른 하나를 포함한다.
추가적인 측면에서, 본 방법은 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 내시경에서의 입체 광학 경로로부터의 조직의 가시성 제 1 이미지를 캡처한다. 상기 방법은 또한 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 내시경에서의 입체 광학 경로로부터의 조직의 형광 제 2 이미지와 조합된 가시성 제 2 이미지를 캡처한다. 상기 제 1 이미지는 좌우측 이미지 중 하나이다. 상기 제 2 이미지는 좌우측 이미지 중 다른 하나이다.
상기 방법은 입체 쌍의 형광 이미지 중 적어도 하나의 형광 이미지와 가시성 제 2 이미지를 생성하기 위해 형광 제 2 이미지와 조합된 가시성 제 2 이미지와 가시성 제 1 이미지를 처리한다. 3차원 프리젠테이션을 구비하는 실시간 입체 이미지가 생성된다. 3차원 프리젠테이션은: 한 쪽 눈에서, 입체 쌍의 형광 이미지 중 적어도 하나의 형광 이미지와 가시성 제 1 및 제 2 이미지 중 하나의 혼합; 및 다른 쪽 눈에서, 가시성 제 1 및 제 2 이미지 중 다른 하나;를 포함한다.
하나의 측면에서, 내시경이 다시 로봇 수술 시스템에 의해 유지되고 포지셔닝된다. 내시경은 조직으로부터의 광을 전달하는 입체 광학 채널을 포함한다. 캡처 유닛은 입체 광학 채널로 결합된다.
캡처 유닛은 (1) 제 1 시간에, 광으로부터의 제 1 이미지; 및 (2) 상기 제 1 시간과 상이한 제 2 시간에, 광으로부터의 제 2 이미지;를 캡처한다. 제 1 이미지와 제 2 이미지 중 하나만이 형광 이미지와 가시성 이미지의 조합을 포함한다. 제 1 이미지와 제 2 이미지 중 다른 하나는 가시성 이미지이다.
인텔리전트 이미지 처리 시스템은 캡처 유닛에 결합된다. 인텔리전트 이미지 처리 시스템은 캡처된 형광 이미지를 이용하여 인위적인 형광 이미지를 생성한다. 확대 입체 디스플레이 시스템이 인텔리전트 이미지 처리 시스템에 결합된다. 확대 입체 디스플레이 시스템은 인위적인 형광 이미지를 구비하는 조직의 적어도 일부분의 확대 입체 이미지를 출력한다.
하나의 측면에서, 형광 이미지는 형광 우측 이미지와 형광 좌측 이미지를 포함한다. 제 1 이미지는 형광 좌측 이미지와 조합된 가시성 좌측 이미지; 및 형광 우측 이미지와 조합된 가시성 우측 이미지;를 포함하는 입체 쌍의 이미지를 구비한다. 로봇 수술 시스템은 형광 좌우측 이미지를 이용하여 제 2 시간 동안 인위적인 입체 쌍의 형광 이미지를 생성하여, 인위적인 입체 쌍의 형광 이미지가 인위적인 형광 이미지가 되도록한다. 인텔리전트 이미지 처리 시스템은 또한 제 1 이미지와 제 2 이미지를 등록하기 위한 임시 이미지 등록부를 포함한다.
또다른 측면에서, 제 1 이미지는 가시성 제 1 컬러 컴포넌트, 가시성 제 2 컬러 컴포넌트, 및 가시성 제 3 컬러 컴포넌트를 차례로 포함하는 가시성 이미지를 포함한다. 제 2 이미지는: 형광 이미지와 조합된 가시성 제 1 컬러 컴포넌트, 가시성 제 2 컬러 컴포넌트, 및 가시성 제 3 컴포넌트를 포함하는, 형광 이미지와 조합된 가시성 이미지를 포함한다. 인텔리전트 이미지 처리 시스템은: (1) 가시성 제 2 및 제 3 컬러 컴포넌트를 위한 인공물, 및 (2) 가시성 제 1 컬러 컴포넌트를 위한 형광 이미지에 인공물을 더한 것;을 생성하기 위한 형광 이미지 및 인공물 생성기를 더 포함한다.
본 측면에서, 인텔리전트 이미지 처리 시스템은 또한 형광 이미지와 인공물 생성기에 결합된 형광 이미지 추출기를 포함한다. 형광 이미지 추출기는 제 2 시간에 대한 제 1 형광 이미지를 생성한다. 형광 이미지 확장 시스템은 형광 이미지 생성기에 결합된다. 형광 이미지 확장 시스템은 제 1 형광 이미지를 수신하고 인위적인 형광 이미지를 생성한다.
추가적인 측면에서, 본 방법은, 제 1 시간에서 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 내시경에서의 입체 광학 경로로부터의 광으로부터의 제 1 이미지를 캡처하는 단계를 포함하고, 여기서, 상기 광은 조직으로부터 나온 것이다. 이러한 방법은 또한 제 1 시간과 상이한 제 2 시간에서 광으로부터의 제 2 이미지를 캡처하는 단계를 포함하고, 여기서 상기 제 1 이미지와 제 2 이미지 중 하나만이 형광 이미지와 가시성 이미지의 조합을 포함하고; 제 1 이미지와 제 2 이미지 중 다른 하나는 가시성 이미지이다. 인위적인 형광 이미지는 캡처된 형광 이미지를 이용하여 생성된다. 인위적인 형광 이미지를 포함하는 조직의 적어도 일부로부터의 확대 입체 이미지가 또한 생성된다.
본 발명에 따르면, 외과의가 원격 조정 수술 시스템을 이용하여 수술동작을 수행할때 일반적으로 사용하는 입체 가시성 이미지에 추가하여 임상 대상인 조직을 식별하는 입체 대안 모달리티 이미지를 제공하고, 이러한 입체 시각 및 대안의 이미지의 조합은 외과의로 하여금 병든 조직 제거를 위해 실시간으로 양성 종양 마진을 식별하고 신경을 커팅하지 않도록 하기 위해 이들 신경을 식별하도록 하는 것을 포함하는 효익을 제공한다.
도 1은 최소 침습 수술 로봇용 확대 입체 가시셩상 시스템을 도시한다.
도 2는 예를 들면, 도 1의 최소 침습 수술 로봇용 확대 입체 가시영상 시스템을 이용하여 수행되는 프로세서의 플로우도를 도시한다.
도 3a는 캡처를 위해 2개의 개별 광학 경로를 사용하는(그러나, 형광 이미징을 위해서는 하나의 카메라만을 사용) 하드웨어 및 소프트웨어(이미지 처리와 사용자 인터페이스) 측면을 도시하는 개략도이다.
도 3b는 2개의 개별 광학 경로를 가진 내시경과 각 광학 경로에 결합된 별개의 카메라 유닛을 도시하는 보다 상세한 도면이다.
도 3c는 광 파이버 케이블에 연결된 조합된 광원의 하나의 측면을 도시한다.
도 3d는 공간 이미지 등록 시스템의 하나의 측면을 도시한다.
도 3e는 최소 침습 수술 로봇 시스템에서의 혼합된 실시간 입체 가시성 이미지와 형광 이미지를 캡처하고, 처리하고, 및 출력하는 2개의 개별 광학 경로와 스테레오 카메라를 이용하는 하드웨어와 소프트웨어(이미지 처리 및 사용자 인터페이스) 측면을 도시하는 대안의 개략도이다.
도 4는 예를 들면, 도 3a의 최소 침습 수술 로봇용 확대 입체 가시영상 시스템을 이용하여 수행되는 프로세스의 프로세스 흐름도이다.
도 5a는 최소 침습 수술 로봇 시스템에서의 혼합된 실시간 입체 가시성 이미지와 형광 이미지를 캡처하고, 처리하고, 및 출력하는 별개의 카메라를 가진 단일한 입체 광학 경로를 이용하는 하드웨어와 소프트웨어(이미지 처리 및 사용자 인터페이스) 측면을 도시하는 개략도이다.
도 5b는 2개의 개별 카메라 유닛이 결합된 내시경을 도시하는 보다 상세한 도면이다.
도 5c-5e, 및 5g는 조합 광원으로부터의 광을 전달하는 데에 사용하는 광 파이버 번들의 측면과 조합 광원의 측면을 도시한다.
도 5f는 조직으로부터 가시성 이미지와 형광 이미지를 분리하는 하나의 측면을 도시한다.
도 6은 예를 들면 도 5a의 최소 침습 수술 로봇용 확대 입체 가시영상 시스템을 이용하여 수행되는 프로세스의 프로세스 흐름도이다.
도 7a는 최소 침습 수술 로봇 시스템에서의 혼합된 실시간 입체 가시성 이미지와 형광 이미지를 캡처하고, 처리하고, 및 출력하는 단일한 입체 광학 경로를 가진 채널 분할을 이용하는 하드웨어 및 소프트웨어(이미지 처리 및 사용자 인터페이스) 측면을 도시하는 개략도이다.
도 7b는 단일한 카메라 유닛이 결합된 내시경을 도시하는 보다 상세한 도면이다.
도 8은 예를 들면 도 7a의 최소 침습 수술 로봇용 확대 입체 가시영상 시스템을 이용하여 수행되는 프로세스의 프로세스 흐름도이다.
도 9a 및 9b는 최소 침습 수술 로봇 시스템에서의 혼합된 입체 가시성 이미지와 형광 이미지를 캡처하고, 처리하고, 및 출력하는 단일한 입체 광학 경로를 가진 시분할을 이용하는 하드웨어 및 소프트웨어(이미지 처리 및 사용자 인터페이스) 측면을 도시하는 개략도이다.
도 9c는 도 9a 및 9b에서의 시스템의 타이밍, 동기화, 및 캡처의 하나의 측면을 도시한다.
도 9d는 최소 침습 수술 로봇 시스템에서의 혼합된 입체 가시성 이미지와 형광 이미지를 캡처하고, 대안으로 처리하고, 및 출력하는 단일한 입체 광학 경로를 가진 시분할을 이용하는 하드웨어 및 소프트웨어(이미지 처리 및 사용자 인터페이스) 측면을 도시하는 개략도이다.
도 9e는 인텔리전트 이미지 처리 시스템의 대안의 측면을 도시하는 개략도이다.
도 10a는 예를 들면 도 9a의 최소 침습 수술 로봇용 확대 입체 가시영상 시스템을 이용하여 수행되는 프로세스의 프로세스 흐름도이다.
도 10b는 도 10a의 프로세스를 이용하여 생성된 타이밍, 동기화, 캡처, 및 인위적인 형광 프레임의 측면을 도시한다.
도 11a는 단일 입체 광학 경로를 이용하여 가시성 컬러 컴포넌트 중 하나로 형광 이미지를 캡처하고, 최소 침습 수술 로봇 시스템에서의 혼합된 입체 가시성 이미지와 형광 이미지를 처리하고, 및 출력하는, 시분할을 이용하는 하드웨어 및 소프트웨어 측면을 도시하는 개략도이다.
도 11b는 도 11a의 시스템의 타이밍, 동기화, 및 캡처의 하나의 측면을 도시한다.
도 12는 도 11a의 인텔리전트 이미지 처리 시스템의 하나의 측면에 대한 프로세스 흐름도이다.
도 13a는 단일 입체 광학 경로를 이용하고, 변형된 프리즘을 가진 카메라 유닛으로 캡처하고, 최소 침습 수술 로봇 시스템에서의 실시간 입체 가시성 이미지와 형광 이미지를 처리하고, 및 출력하는 하드웨어 및 소프트웨어(이미지 처리 및 사용자 인터페이스) 측면을 도시하는 개략도이다.
도 13b는 조직으로부터의 가시성 및 형광 광을 가시성 이미지의 제 1 컬러 컴포넌트, 가시성 이미지의 제 2 컬러 컴포넌트, 가시성 이미지의 제 3 컬러 컴포넌트, 및 컬러 컴포넌트 중 하나의 컬러를 가지고 제 1, 제 2, 제 3 컬러 컴포넌트와 별개이고 분리된 제 4 컴포넌트로 분리하는 프리즘으로부터의 스펙트럼을 도시한다.
도 14는 예를 들면 도 13a의 최소 침습 수술 로봇에 대한 확대 입체 가시영상 시스템을 이용하여 수행된 프로세스의 프로세스 흐름도이다.
도 15는 1-칩 CCD 센서를 가진 입체 내시경을 이용하여 최소 침습 수술 로봇에 대한 확대 입체 가시영상 시스템에서의 시분할 및 채널 분할에 대한 타이밍, 동기화 및 캡처의 하나의 측면을 도시한다.
도면에서, 단일한 숫자의 도면 번호에 대한 도면 번호 중 첫번째 숫자와 이중 숫자의 도면 번호에 대한 도면 번호 중 처음의 2개의 숫자는 그 도면 번호를 가진 엘리먼트가 먼저 나타난 도면을 지시한다.
본문에 사용된 바와 같이, "로봇"은 폭넓게 한정되어야 하며, 텔레로보틱 시스템을 포함한다.
본문에 사용된 바와 같이, 전자 입체 이미징은 2개의 이미징 채널(즉, 좌우측 이미지에 대한 채널)의 사용을 포함한다.
본문에 사용된 바와 같이, 입체 광학 경로는 조직으로부터의 광을 전달하는 내시경에서의 2개 채널(예를 들면, 좌우칙 이미지)을 포함한다. 각 채널에서 전달된 광은 조직의 상이한 관점을 나타내고, 따라서 2개 채널에서 광을 식별하기 위해 제 1 광 및 제 2 광이라고 칭한다. 광은 하나 이상의 이미지를 포함할 수 있다.
본문에 사용된 바와 같이. 조명 경로는 조직에 조광을 제공하는 내시경에서의 경로를 포함한다.
본문에 사용된 바와 같이, 가시성 스펙트럼에서 캡처된 이미지를 가시성 이미지라고 한다.
본문에 사용된 바와 같이, 가시성 이미지를 포함하지 않는, 대안의 이미징 모달리티에서 캡처된 이미지를 대안의 이미지라고 한다. 대안의 이미징 모달리티의 예는 조직 형광을 캡처한 이미지이다.
본문에 사용된 바와 같이, 형광의 결과로서 캡처된 이미지를 본문에서는 형광 이미지라고 한다. 다양한 형광 이미징 모달리티가 있다. 형광은 예를 들면 주사가능한 염료, 형광 단백질, 또는 형광 태그된 항체를 사용한 결과이다. 형광은 예를 들면, 레이저 또는 기타 에너지 원에 의한 여기로 인한 것이다. 형광 이미지는 병리학적 정보(예를 들면, 형광 종양) 또는 해부학적 정보(예를 들면, 형광 태그된 신경)과 같은 수술에 중요한 비보(vivo) 환자 정보에서의 바이탈을 제공할 수 있다.
본문에 사용된 바와 같이, 장파장 투과 필터(long pass filter)가 통과 파장수 보다 더 긴 파장 모두를 통과하게 한다. 예를 들면 510nm 장파장 투과 필터는 510nm 보다 더 큰 모든 파장이 필터를 통과하도록 한다. 일반적으로, 장파장 투과 필터는 형광에서 장벽 필터로서 사용된다. 장파장 투과 필터는 때때로 형광 빛이 필터를 통과하지만 여기 광이 통과하지는 않도록 하기 위해 사용된다.
본문에 사용된 바와 같이, 단파장 투과 필터는 필터의 파장 보다 더 낮은 파자인 광이 필터를 통과하도록 한다. 예를 들면, 480nm 단파장 투과 필터는 480nm 보다 파장이 짧은(480nm 미만의) 빛이 필터를 통과하도록 한다. 단파장 투과 필터는 때때로 형광에 대한 여기 필터로 사용된다.
본문에 사용된 바와 같이, 대역 통과 필터는 일 세트의 파장만 통과하도록 한다. 파장 수는 대역 통과 필터의 중심 파장이라고 한다. 중심 파장은 필터를 통과하게 될 파장의 영역 내에 있는 대부분의 파장이 통과하는 파장이다. 대개, 이는 필터의 중심파장이다. 대역 통과 필터는 중심 파장 및 통과 대역 또는 폭에 의해 정해진다.
본 발명의 측면은, 수술하는 동안 실시간으로, 수술 대상인 조직을 식별하기 위한 입체 가시성 이미지와 입체 대안의 이미징 모달리티 이미지를 모두 통합함으로써, 예를 들면 캘리포니아 서니베일의 Intuitive Surgical, Inc.에 의해 제조된 da Vinci? Surgical Robot System과 같은, 수술 로봇의 입체 비디오 캡처 및 뷰잉 기능을 증대시킨다(da Vinci?는 캘리포니아 서니베일의 Intuitive Surgical, Inc.의 등록 상표이다.).
본 발명의 측면은, 동시에 원격조종된 수술 시스템을 이용하여 수술 동작을 수행할 때 외과의가 일반적으로 사용하는 입체 가시성 이미지에 추가하여 수술 대상의 조직을 식별하는 입체 대안의 모달리티 이미지를 제공한다. 이러한 입체 가시성 및 대안의 이미지의 조합은 외과의로 하여금 실시간으로 병든 조직의 제거를 위한 포지티브 종양을 식별하고 신경을 절단하는 것을 방지하기 위해 이러한 신경을 식별하도록 하는 것을 포함하는 효익을 제공하지만, 그에 한정되는 것은 아니다.
이러한 이미징 조합은 입체 가시성 이미지와 대안의 이미지의 연속한 오버레이가 되거나, 또는 입체 대안의 이미지의 오버레이가 토글링 온 오프될 수 있다(예를 들면, 풋 페달을 이용하거나, 또는 da Vinci? Surgical System 외과의의 콘솔 상의 마스터 핑거 그립을 더블클릭함으로써).
도 1은 예를 들면, 확대 입체 가시영상 시스템(100)을 포함하는, da Vinci? Surgical System과 같은, 하나의 로봇 수술 시스템의 고 레벨의 도면이다. 본 예시에서, 외과의 콘솔(114)을 이용하는 외과의는 원격으로 로봇 머니퓰레이터 암(113)을 이용하여 내시경(112)을 조종한다. da Vinci? Surgical System에 연관된 기타 부분, 케이블 등이 있지만, 이들은 본 개시물의 주의를 다른 곳으로 돌리는 것을 방지하기 위해 도 1에 도시되지 않았다.
하기에 보다 완전하게 설명된 바와 같이, 조명 시스템(도시되지 않음)은 내시경(112)에 결합된다. 일반적으로, 조명 시스템은 백색광 및 적어도 하나의 형광 여기 광을 제공한다. 이들 광의 모두 또는 일부는 광 파이버 번들에 의해 내시경(112)에서의 적어도 하나의 조명 경로에 결합된다. 상기 광은 내시경(112)에서의 적어도 하나의 조명 경로를 통해 지나가고 환자(111)의 조직(103)을 조광한다. 내시경(112)은 또한, 하나의 측면에서, 예를 들면 반사된 백색광 및 형광과 같은, 조직으로부터의 광을 지나가게 하기 위해 2개의 광학 채널을 포함한다. 상기 반사된 백색광은 가시성 이미지인 반면, 형광은 형광 이미지이다.
조직(103)으로부터 반사된 백색광은 이미지 캡처 시스템(120)으로부터 가시성 입체 이미지(121)로서 캡처된다. 유사하게, 형광 이미지 또는 형광 이미지들(122)은 또한 이미지 캡처 하드웨어(120)에 의해 캡처된다. 하기에 보다 완전하게 설명되는 바와 같이, 입체 디스플레이에 필요한 다양한 이미지들이 캡처될 수 있는 다양한 방식이 있다. 일반적으로, 이미지 캡처 하드웨어(120)는 전하결합소자(CCD) 센서를 포함하는 적어도 하나의 카메라를 포함한다. 이미지의 캡처는 이미지 캡처 시스템(120)에서 동시에 또는 거의 동시에 발생한다.
하나의 측면에서, 인텔리전트 이미지 처리 시스템(130)은 광학 채널로부터 제공된 정보로부터 형광 이미지를 추출하도록 이미지 캡처 시스템(120)과 함께 기능한다. 예를 들면, 필터 처리는 형광을 여기하기 위해 사용되는 레이저 광의 주파수가 주어지면 형광 이미지 제거 프로세스에서 가시성 이미지에 대한 임의의 열화를 보상하는 스펙트럼 밸런서와 함께 작동한다.
또한, 캡처된 이미지는 인텔리전트 이미징 처리 시스템(130)에서 입체적으로 후속하는 디스플레이를 위해 처리된다. 예를 들면, 고정된 관계식을 가진 개별 광학 채널이 형광 이미지와 반사된 백색광 이미지를 인텔리전트 이미지 처리 시스템(130)으로 전달하기 위해 사용되고, 하나의 스텝의 조정이 개별 광학 채널의 고정된 상대적 위치에 기초하여 사용된다.
인텔리전트 이미지 처리 시스템(130)은 또한 적절할 때 형광 이미지(들)과 가시성 이미지의 공간 이미지 등록을 수행한다. 공간 이미지 등록은 확대 입체 디스플레이 시스템(140)에서의 형광 이미지의 적합한 오버레이를 허용한다.
또다른 측면에서, 인텔리전트 이미지 처리 시스템(130)은 좌측 채널과 우측 채널의 가시성 이미지의 스테레오 매칭을 수행한다. 또다른 측면에서, 인텔리전트 이미지 처리는 확대 입체 디스플레이가 외과의에 제시될 수 있도록 인위적인 가시성 및/또는 형광 이미지를 생성한다.
따라서, 확대 입체 가시영상(100)을 가진 수술 로봇 시스템을 이용하는 최소 침습 수술을 수행하는 외과의에 대해, 가시성 이미지와 형광 이미지같은 대안의 이미지 모두를 캡처할 수 있도록 하는 조직 조광 프로세스(201)(도 2)에서 조직(103)이 조광된다.
식견이 있는 개인들은 조직 자체가 특정한 파장의 광에 의해 여기될 때, 또는 대안으로, 조직(103)에 부착된 조직에 특정한 형광체(fluorophores)가 특정 파장의 광에 의해 여기될 때, 자연스럽게 발생할 수 있다는 것이 이해될 것이다. 따라서, 본문에 기술된 형광 이미지는 어느 하나의 기술에 의해 획득될 수 있다. 식견이 있는 사람은 또한 일부 형광체가 가시광 스펙트럼내의 에너지를 방출하고, 다른 것들은 가시광 스펙트럼 외(예를 들면, 약 830nm)의 에너지를 방출한다는 것을 이해한다.
본 발명의 측면은 조직 조광 프로세스(201)에서 폭넓은 스펙트럼의 가시성 이미지에 대한 백색광원과 대안의 이미지에 대한 또다른 광원을 이용하는 조직의 조광을 포함한다. 예를 들면, 조직에 특정한 형광체를 여기시키기 위해 협소한 대역의 광이 대안의 이미지에 대한 광원으로서 사용된다.
형광 대안의 이미지에 대해, 여기 파장이 가시광 스펙트럼에서 발생하면, 백색광이 형광체를 여기하도록 기능한다. 여기 파장이 가시광 스펙트럼 외(예를 들면, 적외선(IR) 근방)에서 발생하였거나 또는 추가적인 여기 에너지가 가시광 스펙트럼에서 요구된다면, 레이저 모듈(또는 발광 다이오드(LED) 또는 필터링된 백색광과 같은, 또다른 에너지원)이 조직 조광 프로세스(201)에서 조직을 동시에 조광하기 위해 사용된다. 이러한 동시 발생의 조광은 하기에 보다 완전하게 논의되는 바와 같은 다양한 방식으로 달성될 수 있다.
반사 및 방출된, 조직(103)으로부터의 광은 조직으로부터의 광의 사전 처리프로세스(202)로 조정된다. 예를 들면, 광은 필터링되어 입체 비디오 디스플레이에서의 이미지의 컨트라스트를 개선시킨다. 반사 및 방출된 광이 단일 광 채널에 포함된다면, 조직으로부터의 광의 사전 처리 프로세스(202)는 광을 반사 광과 방출광으로 분리한다.
조직으로부터의 광의 사전 처리 프로세스(202)는 선택이며, 일부 측면에서는 사용되지 않는다. 따라서, 조직(103)으로부터의 사전 처리된 광 또는 조직(103)으로부터의 원래의 광이 이미지 캡처 프로세스(203)로 통과된다.
조직으로부터의 광의 사전 처리 프로세스(202)로부터의 출력이 가시성 이미지 및 대안의 이미지(들)로서 이미지 캡처 프로세스(203)에서 캡처된다. 예를 들면, 상술한 이미지 캡처 시스템(120)을 참조하라.
인텔리전트 처리(204)는 입체 디스플레이를 위해 완전한 세트의 가시성 및 형광 이미지를 제공하도록 캡처된 이미지에 대한 필요한 프로세스를 수행한다.
조직의 입체 비디오 디스플레이 생성 프로세스(205)에서, 가시성 및 형광 이미지의 세트는 조직의 3차원 프리젠테이션을 생성하기 위해 필요한 정도로 혼합된다. 3차원 프리젠테이션은 내시경에 대해 조직의 거리와 지오메트리를 변화시키는 데에 연관된 종래기술에서의 문제점을 제거한다. 특히, 대안의 이미지 및/또는 가시성 이미지를 가진 조직의 실시간 입체 디스플레이는 외과의가 예를 들면 병든 조직의 위치, 신경 또는 다른 기관의 위치와 같은 수술 범위를 판정하는 데에 사용할 수 있는 조직의 정확한 3차원 도면을 제공한다.
조직으로부터의 2개의 개별 광학 경로
도 3a의 실시예에서, 로봇 수술 시스템(도시되지 않음)은 확대 입체 비전 시스템(300)으로 조직(303)으로부터의 광을 전달하는 2개의 별개의 상이한 광학 경로를 포함한다. 2개의 광학 경로로부터의 광은 외과의가 로봇 수술 시스템을 운영하도록 하기 위해 조직(303)의 실시간 입체 비디오 디스플레이를 생성하는 데에 사용된다.
하나의 측면에서, 입체 비디오 디스플레이는 조직(303)의 병든 부분 및/또는 특정한 조직, 처치되어야하는 것과 상이한 신경 또는 기관과 같은 조직에서의 관심 영역을 강조하기 위해 하나 이상의 대안의 이미지를 가지고 확대된 조직(303)의 일반적인 3차원 도면을 포함한다. 일반적으로 대안의 이미지는 예를 들면 청색과 같은 특정한 컬러로 제시된다.
본 예시에서, 2개의 별개의 내시경(301, 302)은 조직(303)으로부터 하드웨어(320)까지의 입체 광학 경로 및 적어도 하나의 다른 광학 경로를 제공하는 것으로 도시된다. 내시경(302)은 입체 광학 경로를 보충하는 2개의 광 채널을 포함하는 반면, 내시경(301)은 적어도 하나의 광 채널을 포함한다. 대안으로, 광 채널 모두는 단일한 내시경에 있을 수 있다. 따라서, 도 3a의 측면은 예시적일 뿐이고, 본 실시예를 도시된 특정한 측면에 한정시키는 것을 의도하지 않는다.
본 예시에서, 내시경(301, 302) 각각은 조합 광원(310)으로부터의 광을 조직(303)에 제공하는 조명 경로를 포함한다. 대안으로, 단일한 조명 경로는 광을 조직(303)에 제공하기 위해 사용될 수 있다. 도시되지는 않았지만, 하나의 측면에서, 내시경(301, 302)은 각각 고정된 관계식으로 로봇 수술 시스템에 의해 유지되고 이동된다. 예를 들면, 도 1을 참조하라. 대안으로, 상이한 로봇 암이 2개의 내시경을 독립하여 유지 및 이동시키기 위해 사용될 수 있다. 이러한 측면에서, 로봇 암으로부터의 실시간 운동학적 정보가 2개의 내시경을 정렬하는 데에 사용된다.
본 예시에서, 확대 입체 비전 시스템(300)은 조합광원(310), 하드웨어(320), 및 복수의 컴퓨터 기반 방법(390)을 포함한다. 도 3a에 도시된 바와 같이, 하드웨어(320)의 일부가 이미지 캡처 시스템(120A)을 보완한다. 하드웨어(320)의 또다른 부분과 복수의 컴퓨터 기반 방법(390)의 일부가 인텔리전트 이미지 처리 시스템(130A)을 보완한다. 그러나, 하드웨어(320)의 또다른 부분 및 복수의 컴퓨터기반 방법(390)의 또다른 부분이 확대 입체 디스플레이 시스템(140A)을 보완한다. 이미지 캡처 시스템(120A) 및 인텔리전트 이미지 처리 시스템(130A)내에서, 가시성 이미지를 처리하는 부분이 가시성 이미징 시스템을 보완하는 반면, 형광 이미지를 처리하는 부분은 대안의 이미징 시스템을 보완한다.
또한, 하나의 측면에서, 확대 입체 비전 시스템(300)을 이용하는 도 4의 방법이 구현된다. 도 4에 도시된 바와 같이, 방법(400)은 복수의 별개의 프로세스들을 포함한다. 방법(400)은 방법(200)(도 2)의 하나의 구현이다.
하나의 측면에서, 하드웨어(320)는 적어도 2개의 카메라 유닛(331, 332)(도 3b)을 포함한다. 하나의 카메라 유닛(332)은 2개의 3-칩 전하결합소자(CCD) 고 해상도 카메라를 포함하고, 또다른 카메라 유닛(331)은 원-칩 CCD 카메라를 포함한다.
본 측면에서, 카메라 유닛(331)은 내시경(301)으로부터의 광을 사전 처리하기 위해, 하기에 보다 상세히 기술된 바와 같이, 필터를 포함하는 필터 블록(333)에 의해 내시경(301)에 결합된다. 유사하게, 카메라 유닛(332)은 내시경(302)으로부터의 광을 사전 처리하기 위해, 하기에 보다 상세히 기술된 바와 같이, 필터를 포함하는 필터 블록(334)에 의해 내시경(302)에 결합된다. 또다른 측면에서, 필터는 카메라 유닛에 일체화될 수 있거나 또는 대안으로 사용될 수 없다. 하드웨어(320)는 또한 하기에 보다 상세히 기술되는 기능을 수행하기 위한 하드웨어 회로를 포함한다. 복수의 컴퓨터 기반 방법(390)은 예를 들면 컴퓨터 프로세서 상에서 실행하는 소프트웨어이다.
이러한 지식을 아는 사람들은 컴퓨터 기반 방법은 또한 하드웨어만을 이용하여 구현되거나, 또는 실행가능한 컴퓨터 코드에서 부분적으로 하드웨어에서 부분적으로 구현되거나, 또는 실행가능한 컴퓨터 코드에서 전적으로 구현될 수 있다는 것을 이해할 것이다. 따라서, 하드웨어 및 컴퓨터 기반 방법에 대한 본문에서 사용된 특성은 예시일 뿐 기술된 특정한 측면을 한정할 것을 의도하지 않는다.
2개의 별개의 광학 경로-조명
조합 광원(310, 310A)(도 3a, 3c)은 백색 광원(312A)과 또다른 광원(311A)을 포함한다. 조합 광원(310)은 조직 조광 프로세스(201A)(도 4)을 수행하기 위해 내시경에서의 조명 경로와 함께 사용된다. 백색 광원(312A)은 예를 들면 조직(303)을 조광하는 제 1 광과 같은 백색광을 제공한다. 다른 광원(311)은 예를 들면 조직(303)의 대안의 이미지를 여기하기 위한 제 2 광과 같은 광을 제공한다. 예를 들면, 광원(311A)로부터의 협소한 대역의 광이 대안의 이미지가 조직(303)내의 특정한 조직의 형광 이미지가 되도록 하기 위해 특정한 조직에 대한 형광체를 여기하도록 사용된다.
형광 이미지인 대안의 이미지에 대해, 형광 여기 파장이 가시성 스펙트럼에서 발생하면, 백색 광원(312A)(도 3b)이 백색 광원 및 형광체를 여기하기 위한 광원 모두로서 사용된다. 형광 여기 파장이 가시성 스펙트럼 외부(예를 들면, 근 적외선(IR))에서 발생하거나 또는 추가적인 여기 에너지가 가시성 스펙트럼에서 필요하다면, 레이저 모듈(317)(또는 발광 다이오드 또는 필터링된 백색광과 같은 기타 에너지원)이 동시에 조직(303) 조광을 위해 사용된다.
따라서, 하나의 측면에서, 레이저 모듈(317)로부터의 광에 의해 형광이 트리거된다. 예시로서, Medarex, Inc.로부터 획득된 항체가 525nm 레이저를 이용하여 여기되었다.
조합 광원(310A)에 대해 선택된 특정한 대안의 광원은 사용되는 형광체 또는 형광체들에 따른다. 비보에서 사용되는 다양한 FDA 입증 형광 염료의 여기 및 방출의 최대치는 표 1에 제시된다.
Figure 112015123215015-pat00001
Figure 112015123215015-pat00002
** 켤레를 위한 근사적인 여기 및 형광 방출 최대값
당업자들은 형광체가 차례로 환자의 특정 조직으로 들러붙는 약제에 흡착될 수 있다는 것을 이해한다. 따라서, 특정한 형광체가 선택될 때, 조합 광원(310A)은, 그 형광체에 대한 여기 최대 파장을 가진 광을 제공하는 광원을 포함한다. 따라서, 관심 대상인 형광체 또는 형광체들이 주어지면, 적절한 광원이 조합 광원(310, 310A)에 포함될 수 있다.
표 1 및 표 2에서의 상기 예시들은 예시일 뿐이며, 제시된 특정한 예시들에 본 측면을 한정할 의도를 가지지 않는다. 본 개시물에 따라, 조직의 대안의 이미지 특성이 선택되어 적절한 광원이, 활용되는 형광체 또는 기타 대안의 이미징 특성에 기초하여 선택될 수 있다.
하나의 측면에서, 조합광원(310A)(도 3c)의 백색 광원(312A)은 가시성 이미지에 대해 광역 백색 조명광을 생성하기 위해 사용되는 (1) 타원형 백 반사기(314A) 및 (2) 장 대역 통과 자외선(W) 필터 코팅(314B)을 가진 크세논 램프(314)를 이용한다. 크세논 램프를 이용하는 것은 예시일 뿐이고 한정을 의도하지 않는다. 예를 들면, 고압 구리 아크 램프, 기타 아크 램프, 또는 기타 광역 광원이 사용될 수 있다.
대역 통과 필터(318)는 백색 조명광으로부터 예측되는 형광 방출 파장을 제거한다. 이는 형광 이미지의 컨트라스트를 증가시킨다. 형광 이미지 캡처 칩(들)은 형광 파장에서 전체 조직으로부터 반사광으로 포화되는 것이 방지된다.
필터(318)로부터의 필터링된 백색광은 광 파이버 번들(316)로 지향된다. 유사하게, 레이저 모듈(317)로부터의 광은 광 파이버 번들(315)로 지향된다. 도 3a에 도시된 바와 같이, 광 파이버 번들(315, 316)은 2개의 별개의 상이한 광 파이버 번들이다. 그러나, 또다른 측면에서, 번들(315, 316)은 공통의 광 파이버 번들에서의 상이한 그룹의 파이버가 될 수 있다.
2개의 별개의 광학 경로-이미지 캡처 시스템(120A)
조직(303)(도 3a)으로부터의 가시성 이미지는 내시경(302)에서의 하나의 입체 광학 경로로부터 캡처되고, 형광 이미지는 내시경(301)에서의 별개의 모노스코픽 또는 입체 광학 경로로부터 캡처된다. 상술한 바와 같이, 도 3a에서 별개의 광학 경로들이 2개의 별개의 내시경에서 도시되지만, 별개의 광학 경로들은 단일한 내시경에 있을 수 있다. 2개의 별개의 광학 경로를 사용하는 이점은 예를 들면 하기에 기술되는 바와 같이 빔 분할을 이용하는 측면에 기인하여 손실이 없기 때문에 광학 효율이 있다는 것이다.
예를 들면, 제 1 광과 같은 내시경(302)의 입체 광학 경로로부터의 광은 가시광 좌우측 이미지를 남기는, 형광 여기 파장 및 형광을 제거하도록 형광 여기 및 형광 필터(334A)로 지나간다. 이는 가시성 입체 이미지와 형광 이미지 사이의 컨트라스트를 개선하고 가시성 이미지의 화질을 개선하는 것을 돕는다.
형광 여기 및 형광 필터(334A)로부터의 필터링된 가시성 이미지는 좌측 CCD(332A)에서 가시성 좌측 이미지(336)로, 우측 CCD(332B)에서 가시성 우측 이미지(338)로서 캡처된다. 좌측 CCD(332A)는 적, 녹, 및 청색 이미지를 가시성 좌측 이미지(336)에 대해 캡처한다. 유사하게, 우측 CCD(332B)는 적, 녹, 및 청색 이미지를 가시성 우측 이미지(338)에 대해 캡처한다. 좌측 CCD(332A) 및 우측 CCD(332B)는 각각의 CCD가 상이한 컬러의 컴포넌트를 캡처하는 다중 CCD; 특정한 컬러 컴포넌트를 캡처하는 CCD의 상이한 영역을 가지는 단일한 CCD가 될 수 있다.
또한, 본문에서 단색 전하결합소자(CCD)가 예시되었만, 단색 CCD 대신에, ICCD(intensified charge coupled device), 전하주입소자(CID:charge injection device), 전하 변조 소자(CMD: charge modulation device), 상보성 금속산화물 반도체 이미지 센서(CMOS) 또는 전자 빔 전하결합소자(EBCCD)형 센서가 또한 사용될 수 있다. 유사하게, 본문에서, 3칩 센서 CCD 센서가 또한 도시되고 컬러 CMOS 이미지 센서 또는 3개의 CMOS 컬러 이미지 센서 어셈블리가 사용될 수 있다. 이러한 코멘트들은 본문에 기술된 다양한 1칩 CCD 센서와 3칩 센서에 적용되며, 본문에 기술된 이러한 센서의 각각의 측면에 대해 반복되지 않는다.
내시경(301)의 광학 경로로부터의 광은 형광 이미지가 아닌 모든 가시성 파장을 제거하기 위해 형광 대역 통과 필터(333A)를 통과한다. 형광 대역 통과 필터(333A)로부터의 형광 이미지(335)는 CCD(331A)에서 캡처되고, 이는 하나의 측면에서 단일한 CCD 센서이다.
본 측면에서, 필터(333A 및 334A)는 조직 수술(202A)(도 4)로부터의 광의 사전 처리를 수행한다. 이미지 캡처 프로세스(203A)는 상술한 바와 같이 CCD에서 다양한 이미지를 캡처함으로써 수행된다.
2개의 별개의 광학 경로-인텔리전트 이미지 처리 시스템(130A)
캡처된 가시성 이미지와 형광 이미지는 상이한 위치에서의 광학 경로로부터의 발생하기 때문에, 캡처된 이미지들은 이미지 처리 방법을 이용하여 정렬된다. 본 예시에서, 일반적으로 정상적인 설정시 카메라 유닛의 사용전에, 일반적으로 가시성 이미지인, 캡처된 이미지가 단일-스텝 조정(391)으로 제공된다. 2개의 광학 경로 사이에 물리적 관계가 일정하다면, 이미지 정렬은 정상 사용 이전에 단일-스텝 조정(391)에서 한번으로 완료되어, 정렬 정보가 모든 캡처된 이미지(고정된 관계 또는 "단일-스텝" 조정)로 적용된다. 단일-스텝 조정(391)은 2개의 광학 경로로부터의 이미지를 적합한 정렬로 가져가는 데에 필요한 변위를 판정한다
단일-스텝 조정(391)의 하나의 측면에서, 적어도 2개의 팩터가 고려된다:
1) 예를 들면, a) 초점 거리, b) 광학 중심, 및 c) 렌즈 수차 파라미터와 같은 이미징의 기하학적 측면에 중요한 각각의 내시경 및 카메라의 내부(intrinsic) 조정; 및
2) 상기 2개의 광학 경로의 상대적 위치와 방향.
이러한 조정에 대한 컴퓨터-기반의 방법은 예를 들면 체크무늬 패턴과 같은 조정 패턴의 이미지를 캡처하기 위한 2개의 내시경 및 연관된 카메라 유닛을 이용하는 것을 포함한다. 광학 경로 사이의 관계가 고정된채로 유지되는 한, 이러한 조정은 유효하다. 본 측면에서, 단일-스텝 조정(391)(도 3a)은 인텔리전트 이미징 프로세스(204A) 내에서의 조정 프로세스(405)(도 4)이다.
단일-스텝 조정(391)의 결과는 등록 프로세스(406)(도 4)의 공간 이미지 등록(392)(도 3a)에 제공된다. 공간 이미지 등록(392)은 또한 입력으로서, 캡처된 이미지(335, 336, 및 338) 각각을 수신한다. 간략히, 공간 이미지 등록은 양 이미지로부터의 임의의 2개의 대응하는 픽셀이, 등록 결과에 기초하여, 세상에서 동일한 신 포인트를 참조하도록 하기 위해 상이한 뷰잉 각도로부터 취해진 이미지를 등록한다.
공간 이미지 등록(392)의 하나의 측면은 도 3d에 도시된다. 표 3은 공간 이미지 등록(392)에서 때때로 사용되는 이미지 모달리티를 제시한다.
Figure 112015123215015-pat00003
공간 이미지 등록(392A)(도 3d)에서, 예를 들면 형광 이미지와 가시성 이미지 중 하나와 같은 2개의 캡처된 이미지가 사전 처리(370)로 Image 1로서 사전 처리(371)로 Image 2로서 입력된다. 가시성 이미지 대 형광 이미지 매칭에 사용된 피처에 따라, 사전 처리(370, 371)가 적절한 정보를 생성한다. 예를 들면, 그래디언트 이미지에 대해, X 및 Y 방향을 따라서 있는 로 이미지의 그래디언트가 생성된다. 유사하게, 이미지 피처는 로 이미지를 사전 처리함으로써 획득된다. 예를 들면, 로컬 영역에서의 이미지 강도의 히스토그램과 같은, 다수의 이미지 피처가 가용하다.
사전 처리(370, 371)의 결과는 매칭 프로세스(372)로 제공된다. 매칭 프로세스(372)에 가용한 다수의 방법이 있다. 제 1 예의 매칭은 위치(x, y)에서의 픽셀을 둘러싼 작은 영역에서의 모든 픽셀을 이용하여 연산된 그래디언트 이미지의 정규화된 상호 상관성(cross-correlation)이다. 또다른 예는 강도 히스토그램인 입력과의 매칭에 기초한 상호 정보이다.
매칭 프로세스(372)의 출력은 하나의 입력 이미지로부터 다른 입력 이미지로 (x, y)에서의 픽셀을 이동시킨 후에 최상의 매칭 점수를 주는 변위(dx, dy)이다. 변위(dx, dy)가 입력시 모든 픽셀에 대해 생성되면, 그 결과는 dx(x, y) 및 dy(x, y)의 2개의 이미지로 구성된 시차(disparity) 맵이라고 한다.
본 측면에서, 캡처된 형광 이미지(335) 또는 저장된 형광 이미지(335)라고 칭해지는, 형광 이미지(335)는 공간 등록(392)에서, 캡처된 가시성 좌측 이미지(336) 또는 저장된 가시성 좌측 이미지(336)라고 칭해지는 가시성 좌측 이미지(336)로 등록된다. 대안으로, 2개의 가시성 이미지(336, 338)가 먼저 등록되고 형광 이미지(335)에 대해 등록될 수 있다. 유사하게, 형광 이미지(335)는 공간 등록(392)에서, 캡처된 가시성 우측 이미지(338) 또는 저장된 가시성 우측 이미지(338)라고 칭해지는 가시성 우측 이미지(338)로 등록된다. 일반적으로, 본문에서, CCD에 도시된 이미지는 때때로 캡처된 이미지 또는 저장된 이미지라고 한다.
공간 이미지 등록(392)의 결과는 이미지 와퍼(340)에 가용하다. 이미지 와퍼(340)는 또한 입력으로서 캡처된 형광 이미지(335)를 수신한다. 공간 이미지 등록 정보를 이용하여, 이미지 와퍼(340)는 형광 이미지의 입체 디스플레이를 생성할 때 사용하기 위해 캡처된 형광 이미지(335)를 예를 들면 인위적인 형광 좌측 이미지(341)와 인위적인 형광 우측 이미지(342)와 같은 입체 형광 쌍으로 변환한다. 본문에서 인위적인 것은 하드웨어, 소프트웨어, 또는 그 둘의 조합에 의해 생성된 이미지를 가리키기 위해 사용되고, 캡처된 이미지에 대해 컨트라스트가 된다.
특히, 이미지 와퍼(340)는 형광 이미지(335)를 형광 좌측 이미지(341)로 왜곡시키기 위해(warp) 가시성 좌측 이미지(336)에 대해 형광 이미지(335)의 등록을 이용한다. 유사하게, 이미지 와퍼(340)는 형광 이미지(335)를 형광 우측 이미지(342)로 왜곡시키기 위해 가시성 우측 이미지(338)에 대해 형광 이미지(335)의 등록을 이용한다. 따라서, 이미지 와퍼(340)는 입체 형광 이미지 생성 프로세스(407)(도 4)를 수행한다. 본 설명이 필수적으로 선형이고 단일 대역 통과 처리를 기술하였지만, 상기 프로세스들은 실시간으로 발생하고, 다양한 이미지들이 내시경(301, 302)을 통해 관찰된 조직(303)의 현재 상태를 반영하기 위해 연속하여 업데이트된다는 것에 유의해야한다.
2개의 별개의 광학 경로-확대 입체 디스플레이 시스템(140A)
하나의 측면에서, 확대 입체 비디오 출력 디스플레이가 다양한 모드로 동작된다. 예를 들면, 제 1 모드에서, 입체 가시성 이미지만이 da Vinci? Surgical System에서와 같이, 외과의로 출력된다. 제 2 모드에서, 형광 이미지가 확대 이미지를 생성하기 위해 가시성 이미지 상에 중첩되고, 입체 확대 이미지가 외과의로 출력된다.
비디오 출력은 예를 들면 풋 스위치, 수술 기기를 제어하는 마스터 그립의 더블클릭, 음성 제어, 기타 스위칭 방법을 이용하여 이들 2개의 모드 사이에서 토글링된다. 2개 모드 사이의 스위칭을 위한 토글링이 디스플레이 모드 선택(360)과 같이, 도 3a에서 표시된다.
사용자 입력(420)(도 4)에 응답하여, 디스플레이 모드 선택(360)(도 3a)으로부터의 신호가 차례로 브렌드 회로(351) 및 브렌드 회로(352)로 제어 신호를 제공하는 사용자 인터페이스(393)에서의 디스플레이 모드 체크 동작(408)으로 제공된다. 외과의가 가시성만을 선택하면, 가시성 좌측 이미지(336)와 가시성 우측 이미지(338)가 조직의 입체 비디오 디스플레이 생성 프로세스(205A)에서 가시성 이미지 프로세스(411)(도 4)의 입체 디스플레이를 통해 입체 디스플레이(350)에서 제시된다. 하나의 측면에서, 인텔리전트 이미지 처리 시스템(130)은 도 5a에 도시된 것들과 유사한, 각각 브렌드 회로(351) 및 브렌드 회로(352)로 제공된 가시성 좌측 이미지와 가시성 우측 이미지를 컬러 밸런싱하기 위한 스펙트럼 밸런서를 포함할 수 있다.
외과의가 혼합 프로세스(409)에서 가시성 이미지에 형광 이미지를 더하는 것을 선택하면, 브렌드 회로(351)는 형광 좌측 이미지(341)와 가시성 좌측 이미지(336)를 혼합하는 반면, 브렌드 회로(352)는 형광 우측 이미지(342)와 가시성 우측 이미지(338)를 혼합한다. 알파 혼합과 같은 상이한 이미지 혼합 옵션이 브렌드 회로(351, 352)에서 구현될 수 있다. 브렌드 회로(351, 352)의 출력은 가시성 및 형광 이미지의 입체 디스플레이 프로세스(410)(도 4)를 통해 입체 디스플레이(350)에서 제시된다.
형광 이미지(341, 342)가 의료 관심 대상인 조직을 도시하기 때문에, 형광 이미지(341, 342)는 외과의의 비디오 디스플레이 프리젠테이션을 개선하도록 처리될 수 있다. 이러한 처리는 인위적 형광 이미지를 산출한다. 예를 들면, 형광 이미지에서의 형광 영역은 공지된 방법을 이용하여 인위적으로 색상이 입혀진다(의사 컬러링). 인위적 형광 이미지가 가시성 비디오 이미지와 혼합되면, 외과의는 가시성 이미지에서 주변 조직에 대해 고 컨트라스트로 형광 조직(예를 들면, 인위적으로 밝은 녹색이 된)을 보게된다. 다시, 알파 브렌딩과 같은, 의사 색상 형광 이미지 및 가시성 이미지의 상이한 이미지 혼합 옵션이 가용하게 이루어진다.
형광 이미지 개선의 다른 측면에서, 고 가시성 경계가 공지된 방법을 이용하여 형광 영역 주변에 배치된다. 빈번하게, 형광 조직은 외과의에 의해 예를 들면 제거 또는 제거하지 않음과 같은 진행(go) 또는 진행하지 않음(no go) 결정에 연관되어 고 가시성 경계가 도움이 된다.
형광 이미지를 개선하는 또다른 측면에서, 로컬 히스토그램의 등화가 로 형광 이미지 데이터(335)에 대해 수행된다. 전체 형광 이미지 프레임에 대해 히스토그램 등화를 수행하는 대신에, 하나 이상의 로컬 영역이 형광 조직을 나타내는 형광 이미지의 부분 주위에서 식별된다. 히스토그램 등화는 개선된 형광 이미지에서의 광의 어두운 형광 형상을 밸런싱하기 위해 하나 이상의 로컬 영역에 대해 수행된다. 이러한 이미지 개선은 또한 공간 이미지 등록에 도움이 된다.
또한, 형광 이미지는 외과의에 대한 비디오 출력에서 인위적으로 지지된다. 예시로서, 형광 이미지는 주입된 약제가 더이상 발광하지 않은 후에 형광 영역이 여전히 외과의에게 보여질 수 있도록 유지된다.
내시경 또는 내시경들을 유지하는 로봇 수술 시스템에 의해 제공되는 안정한 플랫폼은, 핸드-헬드 내시경과 달리, 일반적으로 손으로 가이드되는 내시경에 대해 명료하지 않은 형광 이미지를 가져오는 내시경 또는 내시경들의 불안정성을 보상할 필요가 없기 때문에, 실시간으로 캡처된 형광 이미지의 처리를 보조한다. 추가로, 핸드 헬드 내시경에 비해 보다 예리한 형광 이미지는 캡처된 형광 이미지의 개선된 처리를 보조한다.
2개의 별개의 광학 경로-다중 형광 이미지
2개의 별개의 광학 경로를 이용하는 또다른 측면에서, 다중 형광 이미지는 확대 입체 비전 시스템(300A)(도 3e)을 이용하여 캡처될 수 있다. 시스템(300A)은 시스템(300)과 유사하므로, 그 차이만이 기술된다. 동일한 참조번호를 가진 엘리먼트는 동일하거나 등가인 엘리먼트이다.
도 3e의 실시예에서, 로봇 수술 시스템(도시되지 않음)은 조직(303A)으로부터의 광을 확대 입체 비전 시스템(300A)으로 전달하는 2개의 별개의 상이한 입체 광학 경로를 포함한다. 2개의 광 경로로부터의 광은 외과의로 하여금 로봇 수술 시스템을 운용하도록 하기 위해 조직(303)의 실시간 입체 비디오 디스플레이를 생성하는 데에 사용된다. 입체 비디오 디스플레이는 조직(303A)의 병든 부분과 같은 조직(303A)에서의 관심의 강조 영역과 신경 또는 조직과 같은 조직(303A)에서의 다른 조직에 대한 2개의 대안의 이미지를 가지고 확대된 조직의 정상적인 3차원 도를 포함한다. 일반적으로, 대안의 이미지는 각각 일반적으로 입체 비디오 디스플레이에서 정상적으로 표시되는 색상으로 일반적으로 대비되는 상이한 특정한 색상으로 제시된다.
다시 본 예시에서, 2개의 별개의 내시경(301A, 302)은 조직(303A)으로부터의 2개의 상이한 입체 광학 경로를 하드웨어(320A)로 제공하는 것으로 도시된다. 내시경(302)은 2개의 광 채널을 가지고, 내시경(301A)은 2개의 광 채널을 가진다. 내시경(301A)에서의 2개의 광 채널은 2개의 상이한 형광 이미지인, 형광 이미지(1)과 형광 이미지(2)를 캡처하기 위해 사용된다. 편의를 위해, 형광 이미지(1)이 도 3A에서의 형광 이미지와 동일한 것으로 취해지고, 가시성 이미지는 도 3A에서 동일한 가시성 이미지로서 취해진다. 본 측면에서, 카메라 유닛(331)은 적어도 2개-칩의 CCD 카메라를 포함한다.
따라서, 상기 엘리먼트(333A, 331A, 335, 340, 341, 및 342)의 설명은 본문에 참조에 의해 통합된다. 유사하게, 상기 엘리먼트(333A, 332A, 336, 332B, 및 338)의 설명은 참조에 의해 본문에 통합된다.
본 예시에서, 확대 입체 비전 시스템(300A)은 조합 광원 조명 시스템(310C), 하드웨어(320A), 복수의 컴퓨터 기반 방법(390A)을 포함한다. 도 3e에 도시된 바와 같이, 하드웨어(320A)의 일부는 이미지 캡처 시스템(120B)을 보완한다. 하드웨어(320A)의 또다른 일부와 복수의 컴퓨터 기반 방법(390A) 중 일부는 인텔리전트 이미지 처리 시스템(130B)을 보완한다. 그러나, 하드웨어(320A)의 또다른 일부와 복수의 컴퓨터 기반 방법(390A)의 또다른 일부는 확대 입체 디스플레이 시스템(140B)을 보완한다.
조합 광원(301C)은 백색 광원(312)과 2개의 다른 광원(311A, 311B)을 포함한다. 백색 광원(312)은, 백색 조명광으로부터 형광 이미지(2)에 대한 예측되는 형광 방출 파장을 제거하기 위한 또다른 필터를 필터(318)에 추가하는 것을 제외하고는 광원(312A)(도 3c)과 유사하다.
제 2 광원(311A)은 형광 이미지(1)를 여기시키기 위한 광을 제공하는 반면, 제 3 광원(311B)은 형광 이미지(2)를 여기시키기 위한 광을 제공한다. 본 개시물에 따라, 적절한 광원이 2개의 상이한 형광 이미지에 활용되는 형광 특성에 기초하여 선택될 수 있다.
도 3e에 도시된 측면에서, 하나의 광 파이버 번들(316)은 백색 광원(312)으로부터의 광을 내시경(302)에서의 조명 경로로 결합시킨다. 광 파이버 번들(315A)은 제 2 광원(311A)으로부터의 광과 제 3 광원(311B)으로부터의 광을 내시경(315A)에서의 조명 경로로 결합시킨다. 특히, 광 파이버 번들(315A)내에서의 제 1 세트의 파이버는 제 2 광원(311A)으로부터의 광을 내시경(301A)에서의 제 1 조명 경로로 결합시키고 광 파이버 번들(315A)내에서의 제 2 세트의 파이버는 제 3 광원(311B)으로부터의 광을 내시경(301A)에서의 제 2 조명 경로로 결합시킨다.
본 측면은 예시로서만 도시되고, 한정을 의도하지 않는다. 예를 들면, 2개의 조명 경로가 단일 내시경 내에 있으면, 광 파이버 번들(514A)(도 5e)을 가진 조합 광원(510D)과 같은 조합 광원이 조합 광원(310C) 대신에 사용될 수 있다.
캡처된 가시성 이미지와 2개의 형광 이미지는 상이한 위치에서의 광학 경로로부터 기원되었기 때문에, 캡처된 이미지는 이미지 처리 방법을 이용하여 정렬된다. 본 예시에서, 캡처된 이미지는 단일 스텝 조정(391A)으로 제공된다. 다시, 2개의 입체 광학 경로 사이의 물리적 관계가 일정하면, 이미지 정렬은 단일 스텝 조정(391A)에서 한번에 완료되고, 정렬 정보는 그런다음 모든 캡처된 이미지(고정된 관계 또는 "단일 스텝" 조정)로 적용된다. 단일 스텝 조정(391A)에서의 프로세스는 형광 이미지 각각에 대해 상술한 것과 등가이다.
단일 스텝 조정(391A)으로부터의 결과는 등록 프로세스(406)(도 4)의 공간 이미지 등록(392A)(도 3A)에 제공된다. 공간 이미지 등록(392A)은 또한 입력으로서 캡처된 이미지(335, 335A, 336, 및 338) 각각을 수신한다. 도 3d에 대해 상술한 사전 처리 및 매칭은 형광 이미지 각각에 대해 수행된다. 공간 이미지 등록(392)으로부터의 결과는 이미지 와퍼(340, 340A)에 대해 가용하다.
다시, 하나의 측면에서, 확대 입체 비디오 출력 디스플레이는 다양한 모드에서 동작된다. 예를 들면, 제 1 모드에서, da Vinci? Surgical System에서처럼, 입체 가시성 이미지만이 외과의로 출력된다. 제 2 모드에서, 형광 이미지(1)에 대한 형광 이미지가 확대 이미지를 생성하기 위해 가시성 이미지 상에 중첩되고, 입체 확대 이미지가 외과의로 출력된다. 제 3 모드에서, 형광 이미지(2)에 대한 형광 이미지가 확대 이미지를 생성하기 위해 가시성 이미지에 중첩되고, 입체 확대 이미지가 외과의로 출력된다. 제 4 모드에서, 형광 이미지(1)에 대한 형광 이미지와 형광 이미지(2)에 대한 형광 이미지 모두가 확대 이미지를 생성하기 위해 가시성 이미지에 중첩되고, 입체 확대 이미지가 외과의로 출력된다.
비디오 출력이 예를 들면 풋 스위치, 수술 기기를 제어하는 마스터 그립의 클릭, 음성 제어, 및 기타 유사한 스위칭 방법을 이용하여 이들 4개의 모드 사이에서 토글링된다. 4개 모드 사이의 스위칭을 위한 토글링은 디스플레이 모드 선택(360A)으로서 도 3e에 도시된다.
사용자 입력(420)(도 4)에 응답하여, 디스플레이 모드 선택(360A)(도 3a)으로부터의 신호가 차례로 브렌드 회로(351A) 및 브렌드 회로(352A)로 제어 신호를 제공하는 사용자 인터페이스(393A)로 제공된다. 외과의가 가시성 이미지만을 선택하면, 가시성 좌측 이미지(336)와 가시성 우측 이미지(338)가 입체 디스플레이(350)에서 제시된다.
외과의가 가시성 이미지와 형광 이미지(1)를 선택하면, 브렌드 회로(351A)가 형광 좌측 이미지(341)와 가시성 좌측 이미지(336)를 혼합하는 반면, 브렌드 회로(352A)는 형광 우측 이미지(342)와 가시성 우측 이미지(352)를 혼합한다. 외과의가 가시성 이미지와 형광 이미지(2)를 선택하면, 브렌드 회로(351A)가 형광 좌측 이미지(341A)와 가시성 좌측 이미지(336)를 혼합하는 반면, 브렌드 회로(352A)는 형광 우측 이미지(342A)와 가시성 우측 이미지(352)를 혼합한다. 외과의가 가시성 이미지, 형광 이미지(1) 및 형광 이미지(2)를 선택하면, 브렌드 회로(351A)가 형광 좌측 이미지(341), 형광 좌측 이미지(341A), 및 가시성 좌측 이미지(336)를 혼합하는 반면, 브렌드 회로(352A)는 형광 우측 이미지(342), 형광 우측 이미지(342A) 및 가시성 우측 이미지(352)를 혼합한다.
다시, 형광 이미지에서의 형광 영역은 공지된 방법을 이용하여 인위적으로 채색(의사 컬러링)된다. 인위적 형광 이미지가 가시성 비디오 이미지로 혼합되면, 외과의는 그런다음 가시성 이미지에서의 주변 조직에 대해 고 컨트라스트의 형광 조직(예를 들면, 인위적으로 밝은 녹색이 된)을 본다. 다시, 알파 브렌딩과 같은, 의사 컬러 형광 이미지 및 가시성 이미지의 상이한 이미지 혼합 옵션이 가용하게 이루어진다.
복수의 카메라를 가진 단일 입체 광학 경로
도 5a의 실시예에서, 로봇 수술 시스템(도시되지 않음)은 조직(503)으로부터의 광을 확대 입체 비전 시스템(500)으로 전달하는 단일한 입체 광학 경로를 포함한다. 단일한 입체 광학 경로로부터의 광은 로봇 수술 시스템을 운용하는 외과의에 대해 조직(503)의 실시간 입체 비디오 디스플레이를 생성하기 위해 사용된다. 입체 비디오 디스플레이는 조직(503)의 병든 부분과 같은 조직(503)에서의 관심의 영역 및/또는 신경 또는 조직과 같은 관심의 다른 조직을 강조하기 위한 대안의 이미지로 확대된 조직의 3차원 도를 포함한다. 하나의 측면에서, 대안의 이미지는 예를 들면, 청색과 같은 특정한 컬러로 제시된다.
본 예시에서, 단일한 내시경(501)은 조직(503)으로부터의 입체 광학 경로를 하드웨어(520)로 제공한다. 내시경(501)은 입체 광학 경로를 보완 하는 2개의 광 채널을 포함한다. 내시경(501)은 또한 광을 조직(503)으로 제공하기 위한 조명 경로를 포함한다. 도시되지 않았지만, 내시경(501)은 로봇 수술 시스템에 의해 유지되고 이동된다. 예를 들면, 도 1을 참조하라.
본 예시에서, 확대 입체 비전 시스템(500)은 조합 광원(510), 하드웨어(520), 및 복수의 컴퓨터 기반 방법(590)을 포함한다. 도 5a에 도시된 바와 같이, 하드웨어(520)의 일부가 이미지 캡처 시스템(120C)을 보완한다. 하드웨어(520)의 또다른 일부와 복수의 컴퓨터 기반 방법(590)의 일부가 인텔리전트 이미지 처리 시스템(130C)을 보완한다. 그러나, 하드웨어(520)의 또다른 일부와 복수의 컴퓨터 기반 방법(590)의 또다른 일부는 확대 입체 디스플레이 시스템(140C)을 보완한다. 이미지 캡처 시스템(120C) 및 인텔리전트 이미지 처리 시스템(130C)내에서, 가시성 이미지를 처리하는 부분이 가시성 이미징 시스템을 보완하는 반면, 형광 이미지를 처리하는 부분은 대안의 이미징 시스템을 보완한다.
또한, 도 6의 방법(600)은 확대 입체 비전 시스템(500)을 이용하여 구현된다. 도 6에 도시된 바와 같이, 방법(600)은 복수의 개별 프로세스를 포함한다. 방법(600)은 방법(200)(도 2) 중 하나의 구현이다.
하나의 측면에서, 하드웨어(520)는 적어도 2개의 카메라 유닛(531, 532)(도 5b)을 포함한다. 하나의 카메라 유닛(532)은 3칩 전하 결합소자(CCD) 고 해상도 카메라와 적어도 1칩 CCD 카메라를 포함한다.
본 측면에서, 카메라 유닛(531) 및 카메라 유닛(532)은 하기에 보다 완전히 상술되는 바와 같이, 내시경(501)으로부터의 광을 사전 처리하기 위한 필터 및 빔 스플리터를 포함하는 블록(533)에 의해 내시경(501)에 결합된다. 또다른 측면에서, 필터는 카메라 유닛에 통합될 수 있다.
하드웨어(520)는 또한 하기에 보다 완전히 상술되는 기능들을 수행하기 위한 하드웨어 회로를 포함한다. 복수의 컴퓨터 기반 방법(590)은 예를 들면, 컴퓨터 프로세서를 실행하는 소프트웨어이다.
가시성 이미지 및 형광 이미지는 동일한 입체 광학 경로를 통해 동시에 캡처된다. 하나의 카메라 유닛(531)은 가시성 및 형광 좌측 이미지를 캡처하고, 제 2 카메라 유닛(532)은 가시성 및 형광 우측 이미지를 캡처한다. 하나의 측면에서, 카메라 유닛(531, 532)은 함께 락이 걸린다.
복수의 카메라를 가진 단일 입체 광학 경로-조명
조합 광원(510, 510A, 510B, 510C)(도 5a, 5c, 5d, 5e)은 백색 광원(512A) 및 또다른 광원(511A)을 포함한다. 조합 광원(510)은 조직 조광 프로세스(201B)(도 6)를 수행하기 위해 내시경(501)에서의 조명 경로와 함께 사용된다. 백색 광원(512A)은 조직(503)을 조광하는 광을 제공한다. 다른 광원(511A)은 조직(503)의 대안의 이미지에 대한 광을 제공한다. 예를 들면, 광원(511A)으로부터의 협소한 대역의 광이 대안의 이미지가 조직(503)내에서의 특정한 조직의 형광 이미지가 되도록 조직에 특정한 형광체를 여기시키기 위해 사용된다.
형광 이미지인 대안의 이미지에 대해, 형광 여기 파장이 가시성 스펙트럼에서 발생하면, 백색 광원(512A)(도 5b)이 백색 광원 및 형광체를 여기시키기 위한 소스로서 모두 사용된다. 형광 여기 파장이 가시성 스펙트럼 외부에서 발생하면(예를 들면, 적외선(IR) 근방) 또는 추가적인 여기 에너지가 가시성 스펙트럼에서의 파장에서 요구된다면, 레이저 모듈(517)(또는 발광 다이오드 또는 필터링된 백색광과 같은 기타 에너지원)이 동시에 조직(503)을 조광하도록 사용된다.
하나의 측면에서, 백색 광원(512A)은 백색 광원(312A)과 동일하고, 백색 광원(312A)의 설명은 본 문에 참조에 의해 통합되어있다.
조합 광원(510A)(도 5c)에서, 주입 미러(injection mirror)(513)가 백색 광 램프 유닛(512A)의 초점을 통해 여기광을 반사하기 위해 백색 광 램프 유닛(512A)의 바로 앞에 배치된다. 터닝 미러(516)는 여기광에 대한 광학 경로가 백색광과 정렬되도록 레이저 모듈(517)과 주입 미러(513) 사이에 배치된다. 이러한 미러 배치는 광학 파이버 번들(514)로의 레이저 광의 거의 100%의 효율과 함께 백색 조명광의 초 고 효율적인 커플링을 가져온다.
조합 광원의 다양한 측면에 대해, 레이저 광이 광 파이버 번들로 주입될 때, 레이저 광이 분산되어 기타의 분산 기술을 필요로 하지 않으면서 적절하게 조직(503)을 조광한다.
조합 광원(510B)(도 5d)에서, 빔 스플리터(515)(예를 들면, 50/50 2색성 미러; 다양한 빔 스플리터 기술이 공지된다)가 터닝 미러(516)로부터의 백색 조명광과 레이저 여기광 모두를 광 파이버 번들(514)로 통합시키기 위해 사용된다.
또다른 측면에서(도 5e), 백색 광원(512A)으로부터의 백색 조명광과 레이저 모듈(517)로부터의 레이저 여기광이 광 파이버 번들(514A)로부터의 다수의 파이버가 분산되고 개별적으로 레이저 광이 커플링될 수 있는 커넥터에서 종단하는 광 파이버 번들(514A)을 이용하여 함께 결합된다.
da Vinci? Surgical System의 경우에, 내시경은 2개의 조명 경로를 가진다. 따라서, 광 파이버 번들은, 하나는 백색광을 전달하고, 다른 하나는 여기광을 전달하는 2개 그룹의 파이버가 각각 조명 경로 중 상이한 하나로 지향되도록, 산란된다. 본 측면의 이점은 기존의 da Vinci? Surgical System에 대해, 여기광의 정렬이 필요 없고, 본문에 기술된 바와 같이, 다양한 여기광 파장을 가진 다양한 여기광원이 용이하게 교환될 수 있다. 예를 들면, 상이한 여기 파장을 가진 상이한 형광체(예를 들면 전립선 수술에서처럼, 종양에 연관된 형광체와 인접한 신경에 연관된 형광체)가 동일한 프로시저 동안에 보여진다면, 상이한 형광체에 대한 여기 레이저는 조합 광원에서 용이하게 교환될 수 있다. 하나의 측면에서, 광 파이버 번들 또는 번들들은 조합 광원에 연결된 상태를 유지하는 반면, 광원은 교환된다. 대안으로, 2개 이상의 여기광원은 유사한 방식으로 하나 이상의 내시경 조명 채널로 결합될 수 있다.
각각의 조합광원(510, 510A, 510B, 510C)에서, 대역 통과 필터(518)는 백색 조명광으로부터 예측된 형광 방출 파장을 제거한다. 이는 형광 이미지의 컨트라스트를 증가시킨다. 형광 이미지 캡처 칩(들)은 형광 파장에서의 조직으로부터 반사된 광으로 포화되는 것이 방지된다.
또한, 하나의 측면에서, 전하결합 소자(CCD)가 일반적으로 가시성 스펙트럼 외부의 파장에서 민감하기 때문에, 단역 통과 필터(519)는 원하는 방출 및 가시성 파장을 벗어난 사용되지 않는 IR 파장을 제거한다. 사용되지 않은 IR 파장의 제거는 가시성 광 이미지와 형광 이미지 모두에 대해 컨트라스트를 증가시킨다. 하나의 실시예에서, CCD 카메라로부터의 IR 필터는 적색 및 IR에 인접한 파장에 대한 민감도를 증가시키도록 제거된다. 필터링된 백색 광은 그런다음 상술한 바와 같이 광 파이버 번들로 지향되어, 가시성 이미징을 위해 조직(503) 조광에 사용하도록 입체 내시경에 결합된다.
복수의 카메라를 가진 단일한 입체 광학 경로-이미지 캡처 시스템(120C)
조직(503)으로부터의 형광 우측 이미지(
Figure 112015123215015-pat00004
)와 가시성 이미지(도 5a, 5f)는 내시경(501)에서의 입체 광학 경로의 하나의 경로로 전송된다. 유사하게, 조직(503)으로부터의 형광 좌측 이미지(
Figure 112015123215015-pat00005
)와 가시성 좌측 이미지가 내시경(501)에서 입체 광학 경로의 다른 경로로 전송된다.
내시경(501)의 입체 광학 경로로부터의 이미지는 이미지에서 형광 여기 파장을 제거하기 위해 형광 여기 필터(534)(도 5f)를 통해 전달된다. 이는 가시성 입체 이미지와 형광 이미지 사이의 컨트라스트를 개선하고 가시성 이미지의 질을 개선하도록 돕는다.
필터링된 가시성 좌측 이미지와 형광 좌측 이미지는 필터링된 이미지를 CCD(531A)에서 캡처된 가시성 좌측 이미지(536)와 CCD(531B)에서 캡처된 형광 좌측 이미지(535)로 분리하는 빔 스플리터(533A)와 상호작용한다. 하나의 측면에서, CCD(531A)는 좌측 RGB 이미지를 캡처하는 3-CCD 센서이고, CCD(531B)는 형광 좌측 이미지(535)를 캡처하는 1-CCD 단색 센서이다.
유사하게, 필터링된 가시성 우측 이미지와 형광 우측 이미지는 필터링된 이미지를 CCD(532A)에서 캡처된 가시성 우측 이미지(538)와 CCD(532B)에서 캡처된 형광 우측 이미지(537)로 분리하는 빔 스플리터(533B)와 상호작용한다. 하나의 측면에서, CCD(532A)는 또한 우측 RGB 이미지를 캡처하는 3-CCD 센서이고, CCD(532B)는 형광 우측 이미지(537)를 캡처하는 1-CCD 단색 센서이다.
따라서, 총 4개의 이미지-좌 우측 가시성 및 형광 이미지-가 캡처된다. 이러한 측면의 이점은 가시성 이미지와 형광 이미지 사이의 정렬이 칩이 제조동안 물리적으로 배치될 때 하드웨어로 수행된다는 것이다. 추가로, 단일 CCD가 형광 이미지의 최적의 감지(예를 들면, IR 근방에서)를 위해 선택될 수 있다.
본 측면에서, 블록(533)(도 5f)이 조직으로부터의 광의 사전 처리 동작(202B)(도 6)을 수행하도록 사용된다. 입체 가시성 이미지와 입체 형광 이미지 캡처 프로세스(203B)는 상술한 바와 같이 CCD에서 다양한 이미지를 캡처함으로써 수행된다.
복수의 카메라를 가진 단일한 입체 광학 경로- 인텔리전트 이미지 처리 시 스템(130C)
상술한 필터링은 가시성 좌측 이미지(536)와 가시성 우측 이미지(538) 각각에서 노치를 생성하기 때문에, 스펙트럼 밸런서(541, 542)는 노치에 대한 컬러 밸런스를 보정한다. 컬러 밸런싱은 공통적으로 카메라에서 수행되고 유사한 기술이 본문에서 사용된다. 예를 들면, 카메라는 복수의 빌트-인 컬러 밸런스를 포함할 수 있다. 필터링 처리(594)는 스펙트럼 밸런서(541, 542)에서 사용하기 위해 형광 필터 특징에 기초하여 보정 빌트인 컬러 밸런스를 선택한다. 대안으로, 스펙트럼 밸런서(541, 542)와 조합된 필터 처리(594)는 형광 필터 특징에 기초하여 컬러 밸런싱을 구현할 수 있다.
본 측면에서, 필터 처리(594)와 스펙트럼 밸런서(541, 542)의 조합은 인텔리전트 이미지 처리(204B)에서의 스펙트럼 밸런스 프로세스(605)(도 6)를 수행한다.
복수의 카메라를 가진 단일한 입체 광학 경로-확대 입체 디스플레이 시스 템(140C)
하나의 측면에서, 확대 입체 비디오 출력 디스플레이는 다양한 모드에서 동작될 수 있다. 디스플레이 모드 선택(560), 사용자 인터페이스(593), 및 브렌드 회로(551, 552)와의 상호작용의 동작은 디스플레이 모드 선택(360), 사용자 인터페이스(393), 및 브렌드 회로(351, 352)와의 상호작용에 대한 상기 설명과 동일하고, 이 설명은 참조에 의해 본문에 통합된다.
따라서, 사용자 입력(620)(도 6)에 응답하여, 디스플레이 모드 선택(560)(도 5a)으로부터의 신호가 차례로 제어 신호를 브렌드 회로(551, 552)에 제공하는 사용자 인터페이스(593)에서의 디스플레이 모드 체크 동작(608)으로 제공된다. 외과의가 가시성 이미지만을 선택할 때, 스펙트럼 밸런싱된 가시성 좌측 이미지(536)와 스펙트럼 밸런싱된 가시성 우측 이미지(538)가 조직의 입체 비디오 디스플레이 생성 프로세스(205B)에서 가시성 이미지의 입체 디스플레이 프로세스(611)(도 6)를 통해 입체 디스플레이(550)로 제시된다.
외과의가 가시성 이미지에 형광 이미지를 더해서 선택하면, 혼합 프로세스(609)에서, 브렌드 회로(551)는 형광 좌측 이미지(535)와 스펙트럼 밸런싱된 가시성 좌측 이미지(536)를 혼합하는 반면, 브렌드 회로(552)는 형광 우측 이미지(537)와 스펙트럼 밸런싱된 가시성 우측 이미지(538)를 혼합한다. 알파 브렌딩과 같은, 상이한 이미지 혼합 옵션은 브렌드 회로(551, 552)에서 구현될 수 있다. 브렌드 회로(551, 552)의 출력은 가시성 이미지 및 형광 이미지의 입체 디스플레이 프로세스(610)(도 6)를 통해 입체 디스플레이(550)로 제시된다. 디스플레이된 형광 이미지는 도 3a 내지 도 4에 대해 상술한 것과 등가인 방식으로 처리될 수 있고, 여기서는 그를 반복하지 않는다.
2개의 카메라를 가진 카메라 유닛의 상기 설명은 예시일 뿐, 한정을 의도하는 것이 아니다. 예를 들면, 각각의 카메라 유닛은 인입 광선을 분산시키는 광학기기를 가진 단일한 카메라가 될 수 있다, 본 측면에서, 3-CCD 이미지 센서의 2개의 칩이 가시성 이미지를 캡처하기 위해 사용되고, 제 3 칩이 형광 이미지를 캡처하기 위해 사용된다. 본 측면에서, 광을 3개 CCD 칩으로 지향시키는 프리즘(예를 들면, 3색 빔 스플리터 프리즘 어셈블리)은 형광 파장 광이 하나의 CCD 칩으로 반사되고 가시성 광이 다른 2개의 CCD 칩으로 분리되도록 설계된다. 가시성 이미지에 대한 풀 컬러가, 공통으로 수행되는 것으로서, 2개의 CCD 채널로부터 재구축될 수 있다. 본 측면은 상술한 하드웨어 정렬 이점을 가진다.
또다른 측면에서, 도 3a로부터의 인텔리전트 이미지 처리의 피처는 도 5a의 측면과 조합될 수 있다. 예를 들면, 조합광원(510D)(도 5g)은, 도 5d에 대해 상술한 바와 같이, 광 파이버 케이블(514A)에서의 일 세트의 파이버로 레이저 및 백색 조명광을 투사하기 위해 구성된 백색 광원(512A)과 레이저 모듈(517)을 포함한다. 제 2 레이저 모듈(509)은 광 파이버 케이블(514A)내에서의 제 2 세트의 파이버로 주입된 빔을 제공한다. 2개의 레이저(517, 509)로부터의 광은 상이한 형광 방출을 여기하고, 따라서 내시경(501)에서의 각각의 광 경로는 가시성 이미지와 2개의 형광 이미지를 포함한다.
본 측면에서, 빔 스플리터(533A)는 제 1 형광 이미지에 대해 가시성 좌측 이미지와 형광 좌측 이미지를 분리하도록 구성된다. 빔 스플리터(533B)는 제 2 형광 이미지에 대해 가시성 우측 이미지와 형광 우측 이미지를 분리하도록 구성된다.
따라서, 본 측면에서, 제 1 형광 이미지의 형광 좌측 이미지는 CCD(531B)에서 캡처되고, 제 2 형광 이미지에 대한 형광 우측 이미지는 CCD(532B)에서 캡처된다. 각각의 경우에, 입체 디스플레이를 위해 다른 형광 이미지를 생성하는 것이 필요하다.
제 1 형광 이미지의 형광 좌측 이미지는 공간적으로 가시성 우측 이미지로 등록되고, 그런다음 이미지 와퍼가 제 1 형광 이미지에 대해 형광 우측 이미지를 생성하기 위해 등록에 기초하여 사용된다.
유사하게, 제 2 형광 이미지의 형광 우측 이미지가 가시성 좌측 이미지와 함께 공간적으로 등록되고, 이미지 와퍼가 제 2 형광 이미지에 대해 형광 좌측 이미지를 생성하기 위해 등록에 기초하여 사용된다. 따라서, 가시성 좌측 이미지, 가시성 우측 이미지, 형광 좌측 제 1 이미지, 형광 우측 제 1 이미지, 형광 우측 제 2 이미지, 및 형광 우측 제 2 이미지가 가용하다. 도 3e의 확대 입체 디스플레이 시스템(140B)이 다양한 이미지를 디스플레이 하기 위해 사용된다.
따라서, 일반적으로, 형광 이미지 정보가 하나의 입체 채널에서만 캡처되는 측면에 대해, 다른 채널에 대한 형광 이미지가 입체 가시성 이미지 비디오에 상호 연관되는 외과의에 대한 입체 형광 이미지 디스플레이를 산출하도록 생성되어야 한다. 가시성 이미지 및 형광 이미지가 동일한 광학 경로를 공유하면, 가시성 이미지의 스테레오 매칭이 제 2 입체 채널에 대한 형광 이미지 생성을 위해 사용된다. 가시성 이미지 및 형광 이미지가 상이한 광학 경로를 사용하면, 가시성 이미지 및 형광 이미지가 캡처된 형광 이미지를 포함하는 채널에서 서로에 대해 등록되어, 가시성 이미지의 스테레오 매칭이 제 2 채널에 대해 형광 이미지를 생성하도록 적용된다.
카메라 유닛을 가진 단일한 입체 광학 경로
하나의 예시적인 프로세스에서, 가시성 이미지 및 형광 이미지 모두는 우측의 입체 채널에서 캡처되고, 가시성 이미지 만이 좌측 채널에서 캡처된다. 예를 들면, 도 7a의 실시예에서, 로봇 수술 시스템(도시되지 않음)은 조직(703)으로부터의 광을 확대 입체 비전 시스템(700)으로 전달하는 단일한 입체 광학 경로를 포함한다. 단일한 입체 광학 경로로부터의 광은 로봇 수술 시스템을 운용하는 외과의에 대해 조직(703)의 실시간 입체 비디오 디스플레이를 생성하기 위해 사용된다.
입체 비디오 디스플레이는 조직(503)의 병든 부분과 같은 조직(503)에서의 관심의 영역 및/또는 신경 또는 조직과 같은 관심의 다른 조직을 강조하기 위한 대안의 이미지로 확대된 조직(703)의 3차원 도를 포함한다. 하나의 측면에서, 대안의 이미지는 예를 들면, 입체도에서 우측 눈과 같은, 하나의 눈으로 제공되어, 외과의는 확대된 입체도와 확대되지 않은 입체도 사이에서 토글링하지 않고서 좌우측 눈의 이미지를 비교할 수 있도록 한다. 추가로, 본 측면은 또한 입체 대안의 도면에 입체도를 제공한다. 이는 예를 들면, 도 5a에 사용된 빔 스플리터 없이 달성된다. 하나의 측면에서, 대안의 도면이 예를 들면, 청색과 같은 특정한 컬러로 제시된다.
본 예시에서, 단일한 내시경(701)은 조직(703)으로부터의 입체 광학 경로를 하드웨어(720)로 제공한다. 내시경(701)은 입체 광학 경로를 보완하는 2개의 광 채널과 광을 조직(703)에 제공하는 적어도 하나의 조명 채널을 포함한다. 도시되지 않았지만, 내시경(701)은 로봇 수술 시스템에 의해 유지되고 이동된다. 예를 들면, 도 1을 참조하라.
본 예시에서, 확대 입체 비전 시스템(700)은 조합 광원(710), 하드웨어(720), 및 복수의 컴퓨터 기반 방법(790)을 포함한다. 도 7A에 도시된 바와 같이, 하드웨어(720)의 일부가 이미지 캡처 시스템(120D)을 보완한다. 하드웨어(720)의 또다른 일부와 복수의 컴퓨터 기반 방법(790)의 일부가 인텔리전트 이미지 처리 시스템(130D)을 보완한다. 그러나, 하드웨어(720)의 또다른 일부와 복수의 컴퓨터 기반 방법(790)의 또다른 일부는 확대 입체 디스플레이 시스템(140D)을 보완한다. 이미지 캡처 시스템(120D) 및 인텔리전트 이미지 처리 시스템(130D)내에서, 가시성 이미지를 처리하는 부분이 가시성 이미징 시스템을 보완하는 반면, 형광 이미지를 처리하는 부분은 대안의 이미징 시스템을 보완한다.
또한, 도 8의 방법(800)은 확대 입체 비전 시스템(700)을 이용하여 구현된다. 도 8에 도시된 바와 같이, 방법(800)은 복수의 개별 프로세스를 포함한다. 방법(800)은 방법(200)(도 2) 중 하나의 구현이다.
하나의 측면에서, 하드웨어(720)는 단일한 카메라 유닛(731)(도 7b)을 포함한다. 카메라 유닛(731)은 내시경(701)의 각각의 광학 경로에 대해 3칩 전하 결합소자(CCD) 센서를 포함한다.
본 측면에서, 카메라 유닛(731)(도 7b)은, 내시경(701)의 입체 광학 경로의 좌측 광학 경로로부터의 광을 사전 처리하기 위한 필터(733A)를 포함하는 블록(733)에 의해 내시경(701)에 결합된다. 또다른 측면에서, 필터는 카메라 유닛에 통합될 수 있다. 형광 이미지를 가진 가시성 우측 이미지와 좌측 이미지는 동일한 입체 광학 경로를 통해 동시에 캡처된다.
하드웨어(720)는 또한 하기에 보다 완전히 기술되는 기능을 수행하는 하드웨어 회로를 포함한다. 예를 들면, 복수의 컴퓨터 기반 방법(790)은 컴퓨터 프로세서 상에서 실행하는 소프트웨어이다.
카메라 유닛을 가진 단일 입체 광학 경로-조명
광 파이버 번들(714)로의 조합 광원(710)은, 조합 광원(310A)(도 3c)의 구현에 대해 상술한 다양한 측면과 함께, 조합 광원(510A,(도 5c), 510B,(도 5d), 510C,(도 5e)) 및 연관된 광 파이버 번들 중 임의의 것과 등가이다. 그 설명이 참조에 의해 본문에 통합된 그 조합 광원의 설명을 반복하지 않는다. 조합 광원(710)은 조직 조명 프로세스(201C)(도 8)를 수행하기 위해 내시경(701)에서의 조명 경로와 함께 사용된다.
카메라를 가진 단일한 입체 광학 경로-이미지 캡처 시스템(120D)
조직(703)(도 7a)으로부터의 가시성 좌측 이미지는 내시경(701)에서의 입체 광학 경로의 좌측 광학 채널로부터 캡처되고, 조직(703)으로부터의 형광 이미지와 조합된 가시성 우측 이미지는 내시경(701)에서의 입체 광학 경로의 우측 광학 채널로부터 캡처된다.
가시성 좌측 이미지만을 캡처하기 위해, 좌측 광학 채널로부터의 광이 좌측 CCD(731A)에서 캡처된 가시성 좌측 이미지(736)로부터의 형광 파장(들)을 제거하기 위해 형광 필터(733A)에 의해 필터링된다. 가시성 및 형광 우측 이미지(738)는 우측 CCD(731B)에서 캡처된다. 좌측 CCD(731A)는 가시성 좌측 이미지(731)에 대해 적, 녹 및 청색 이미지를 캡처한다. 유사하게, 우측 CCD(731B)는 가시성 및 형광 우측 이미지(738)에 대해 적, 녹 및 청색 이미지를 캡처한다.
본 측면에서, 필터(733A)는 조직으로부터의 광의 사전 처리 동작(202C)(도 8)을 수행한다. 가시성 좌측 이미지 및 가시성 및 형광 우측 이미지 캡처 프로세스(203C)는 상술한 바와 같이 CCD에서 다양한 이미지를 캡처함으로써 수행된다.
카메라 유닛을 가진 단일한 입체 광학 경로- 인텔리전트 이미지 처리 시스 템(130D)
공간 이미지 등록(792)은 입력으로서, 캡처된 이미지(736, 및 738) 각각을 수신한다. 다시, 공간 이미지 등록은 양 이미지로부터의 임의의 2개의 대응하는 픽셀이, 등록 결과에 기초하여, 세상에서 동일한 신 포인트를 참조하도록 하기 위해 상이한 뷰잉 각도로부터 취해진 이미지를 등록한다. 공간 이미지 등록(792)은 인텔리전트 처리(204C)에서 등록 프로세스(805)(도 8)로 수행된다.
하나의 측면에서, 표 4의 이미지 모달리티에 대해, 공간 이미지 등록(792)은 도 3d에 도시된 것과 동일하다.
Figure 112015123215015-pat00006
공간 이미지 등록(392A)(도 3d)에서, 예를 들면, 가시성 좌측 이미지 및 가시성 및 형광 우측 이미지와 같은, 캡처된 이미지 중 2개가 사전 처리(370)로 Image 1로서 사전 처리(371)로 Image 2로서 입력된다. 가시성 이미지 대 가시성 및 형광 이미지 매칭에 사용된 피처에 따라, 사전 처리(370, 371)가 적절한 정보를 생성한다. 예를 들면, 그래디언트 이미지에 대해, X 및 Y 방향을 따라서 있는 로 이미지의 그래디언트가 생성된다. 유사하게, 이미지 피처는 로 이미지를 사전 처리함으로써 획득된다. 예를 들면, 로컬 영역에서의 이미지 강도의 히스토그램과 같은, 다수의 이미지 피처가 가용하다.
사전 처리(370, 371)의 결과는 매칭 프로세스(372)로 제공된다. 매칭 프로세스(372)에 가용한 다수의 방법이 있다. 제 1 예는 위치(x, y)에서의 픽셀을 둘러싼 작은 영역에서의 모든 픽셀을 이용하여 연산된 로 이미지 또는 그래디언트 이미지 중 어느 하나의 정규화된 상호 상관성이다. 또다른 예는 강도 히스토그램인 입력과의 매칭에 기초한 상호 정보이다.
매칭 프로세스(372)의 출력은 하나의 입력 이미지로부터 다른 입력 이미지로 (x, y)에서의 픽셀을 이동시킨 후에 최상의 매칭 점수를 주는 변위(dx, dy)이다. 변위(dx, dy)가 입력시 모든 픽셀에 대해 생성되면, 그 결과는 dx(x, y) 및 dy(x, y)의 2개의 이미지로 구성된 시차 맵이라고 한다.
공간 이미지 등록(792)에서의 좌우측 이미지에 대한 픽셀 단위의 등록이 이미지 와퍼(740, 741)에 가용하다. 이미지 와퍼(740)는 또한 입력으로서 캡처된 가시성 좌측 이미지(736)를 수신한다.
공간 이미지 등록 정보와 가시성 좌측 이미지(736)를 이용하여, 이미지 와퍼(740)는 가시성 우측 이미지를 생성하고, 차례로, 가시성 우측 이미지는 이미지 감산기(subtractor)(743)로 제공된다. 이미지 감산기(743)는 형광 우측 이미지(744)를 생성하기 위해 캡처된 가시성 및 형광 이미지(738)로부터 가시성 우측 이미지를 감산한다. 공간 이미지 등록 정보와 형광 우측 이미지(744)를 이용하여, 이미지 와퍼(741)는 형광 좌측 이미지(742)를 생성한다. 이미지 감산기(745)는 가시성 우측 이미지(746)를 생성하기 위해 캡처된 가시성 및 형광 이미지(738)로부터 가시성 우측 이미지를 감산한다.
따라서, 본 측면에서, 엘리먼트(792, 740, 743, 744, 736, 738, 및 745)의 조합이 가시성 우측 이미지 생성 프로세스(806)(도 8)에서 사용된다. 엘리먼트(792, 740, 743, 736, 및 738)의 조합은 형광 좌우측 이미지 생성 프로세스(807)에서의 형광 우측 이미지를 생성하기 위해 사용되지만, 엘리먼트(792, 740, 743, 744, 741, 736, 및 738)의 조합은 형광 좌우측 이미지 생성 프로세스(807)에서 형광 좌측 이미지를 생성하는 데에 사용된다.
상술한 프로세스는 예시일 뿐이고 한정을 의도하지 않는다. 가시성 우측 이미지(746) 만이 다양한 방식으로 생성될 수 있다. 예를 들면, 가시성 데이터만을 포함하는 가시성 우측 이미지(746) 만의 영역에 대해, 가시성 데이터는 캡처된 우측 이미지(738)로부터 취해질 수 있고, 형광 이미지를 포함하는 영역에 대해서는, 캡처된 좌측 이미지를 이용하여 왜곡(warp)될 수 있다.
다시, 본 설명이 필수적으로 선형이고 단일 대역 통과 처리를 기술하였지만, 상기 프로세스들은 실시간으로 발생하고, 다양한 이미지들이 내시경(701)을 통해 관찰된 조직(703)의 현재 상태를 반영하기 위해 연속하여 업데이트된다는 것에 유의해야한다. 또한, 다양한 프로세스들이 필수적인 정보가 가용하다면 병렬로 처리될 수 있다.
카메라 유닛을 가진 단일한 입체 광학 경로-확대 입체 디스플레이 시스 템(140D)
하나의 측면에서, 확대 입체 비디오 출력 디스플레이는 다양한 모드에서 동작될 수 있다. 예를 들면, 제 1 모드에서, da Vinci? Surgical System에서처럼, 입체 가시성 이미지만이 외과의로 출력된다. 제 2 모드에서, 형광 이미지가 확대 이미지를 생성하기 위해 가시성 이미지 상에 중첩되고, 입체 확대 이미지가 외과의로 출력된다. 제 3 모드에서, 입체 디스플레이의 하나의 눈에 대한 가시성 이미지가 그 눈에 대한 대응하는 형광 이미지와 혼합되고, 가시성 이미지만이 다른 눈에 대해 제시된다. 따라서, 입체 확대도는 하나의 눈에 대한 확대도를 가지고, 입체 디스플레이에서 다른 눈에 대해 정상적인 도를 가진다.
비디오 출력은 예를 들면 풋 스위치, 수술 기기를 제어하는 마스터 그립의 이중 클릭, 음성 제어, 및 기타 유사한 스위칭 방법을 이용하여 이들 모드 사이에서 토글링된다. 다양한 모드 사이의 스위칭을 위한 토글링은 디스플레이 모드 선택(760)으로서 도 7a에 도시된다.
사용자 입력(820)(도 8)에 응답하여, 디스플레이 모드 선택(760)(도 7a)으로부터의 신호가 차례로 브렌드 회로(751) 및 브렌드 회로(752)로 제어 신호를 제공하는 사용자 인터페이스(793)에서 디스플레이 모드 체크 동작(808)으로 제공된다. 외과의가 가시성 이미지만을 선택하면, 가시성 좌측 이미지(736)와 가시성 우측 이미지(746)가 가시성 이미지 프로세스(811)(도 8)의 입체 디스플레이를 통해 입체 디스플레이(750)에서 제시된다.
외과의가 우측 눈에서만 가시성 이미지 플러스 형광 이미지를 선택하면, 혼합 프로세스(812)에서, 브렌드 회로(751)가 가시성 좌측 이미지(736)를 입체 디스플레이(750)로 전달하는 반면, 브렌드 회로(752)는 형광 우측 이미지(744)와 가시성 우측 이미지(746)를 혼합한다. 대안으로, 브렌드 회로(752)가 가시성 및 형광 우측 이미지(738)를 입체 디스플레이(750)로 전달할 수 있다. 브렌드 회로(751, 752)의 출력은 한쪽의 눈에서만 형광 이미지의 입체 디스플레이를 통해 입체 디스플레이(750)로 조직의 입체 비디오 디스플레이 생성 프로세스(205C)에서의 가시성 이미지 프로세스(813)(도 8)로 제시된다.
외과의가 가시성 플러스 형광 이미지를 선택하면, 혼합 프로세스(809)에서, 브렌드 회로(751)가 형광 좌측 이미지(742) 및 가시성 좌측 이미지(736)를 혼합하는 반면, 브렌드 회로(752)는 형광 우측 이미지(744) 및 가시성 우측 이미지(746)를 혼합한다.
알파 브렌딩과 같은, 상이한 이미지 브렌딩 옵션이 브렌드 회로(751, 752)에서 구현될 수 있다. 브렌드 회로(751, 752)의 출력은 가시성 및 형광 이미지의 입체 디스플레이 프로세스(810)(도 8)를 통해 입체 디스플레이(750)로 제시된다.
입체 디스플레이에서 형광 이미지를 개선하는 상술한 기술은 또한 본 실시예에 적용가능하다.
또한, 상술한 측면에서, 좌우측 이미지는 역전될 수 있다. 따라서, 좌측 이미지는 제 1 이미지의 예이고, 우측 이미지는 제 2 이미지의 예이다.
시분할-카메라 유닛을 가진 단일한 입체 광학 경로
또다른 측면에서, 가시성 및 형광 이미지가 동일한 입체 광학 경로를 통해 캡처되지만, 이미지 캡처는 시분할 멀티플렉싱된다. 본 측면에서, 동일한 카메라 유닛이 가시성 및 형광 이미지 모두에 대한 데이터를 캡처하지만, 상이한 시간에 캡처한다. 이러한 시분할은 광원을 비디오 프레임 캡처와 동기화를 온/오프 함으로써 구현된다.
예를 들면, 도 9a 및 9b의 실시예에서, 로봇 수술 시스템(도시되지 않음)은 조직(903)으로부터의 광을 확대 입체 비전 시스템(900)으로 전달하는 단일한 입체 광학 경로를 포함한다. 단일한 입체 광학 경로로부터의 광은 로봇 수술 시스템을 동작시키는 외과의에 대해 조직(903)의 실시간 입체 비디오 디스플레이를 생성하기 위해 사용된다. 입체 비디오 디스플레이는 조직(903)의 병든 부분과 같은 조직(903)에서의 관심 영역 및/또는 신경 또는 기관과 같은 다른 관심영역의 조직을 강조하기 위한 대안의 이미지로 혼합된 조직(903)의 3차원 도면을 포함한다.
본 예시에서, 단일한 내시경(901)은 조직(903)으로부터 하드웨어(920)로 입체 광학 경로를 제공한다. 내시경(901)은 입체 광학 경로를 보완하기 위해 2개의 광채널과 조직(903)으로 광을 제공하기 위한 적어도 하나의 조명 채널을 포함한다. 도시되지 않았지만, 내시경(901)이 로봇 수술 시스템에 의해 유지되고 이동된다. 예를 들면, 도 1을 참조하라.
본 예시에서, 확대 입체 비전 시스템(900)은 조합 광원(910), 하드웨어(920), 및 복수의 컴퓨터 기반 방법(990)을 포함한다. 도 9a 및 9b에 도시된 바와 같이, 하드웨어(920)의 일부가 이미지 캡처 시스템(120E)을 보완한다. 하드웨어(920)의 또다른 일부와 복수의 컴퓨터 기반 방법(990)의 일부가 인텔리전트 이미지 처리 시스템(130E)을 보완한다. 그러나, 하드웨어(920)의 또다른 일부와 복수의 컴퓨터 기반 방법(990)의 또다른 일부는 확대 입체 디스플레이 시스템(140E)을 보완한다. 이미지 캡처 시스템(120E) 및 인텔리전트 이미지 처리 시스템(130E)내에서, 가시성 이미지를 처리하는 부분이 가시성 이미징 시스템을 보완하는 반면, 형광 이미지를 처리하는 부분은 대안의 이미징 시스템을 보완한다.
또한, 도 10a의 방법(1000)은 확대 입체 비전 시스템(900)을 이용하여 구현된다. 도 10a에 도시된 바와 같이, 방법(1000)은 복수의 개별 프로세스를 포함한다. 방법(1000)은 방법(200)(도 2) 중 하나의 구현이다.
하나의 측면에서, 하드웨어(920)는 카메라 유닛(731)(도 7b)과 같은 단일한 카메라 유닛을 포함한다. 카메라 유닛(731)은 내시경(901)의 각각의 광학 경로에 대해 3칩 전하 결합소자(CCD) 센서를 포함한다.
하드웨어(920)는 또한 하기에 보다 완전히 기술되는 기능을 수행하는 하드웨어 회로를 포함한다. 예를 들면, 복수의 컴퓨터 기반 방법(990)은 컴퓨터 프로세서 상에서 실행하는 소프트웨어이다. 하기의 설명에서, 동일한 기능을 수행하는 다중 하드웨어 유닛이 기술된다. 이는 용이한 설명을 위한 것일 뿐이며, 정확한 수가 표시될 필요를 의도하지 않는다. 구현에 따라, 단일한 인스턴스의 하드웨어 유닛이 사용될 수 있거나, 또는 대안으로, 하드웨어가 연관된 시간 내에 수행하는 한은, 도시된 수보다 적은 수가 사용될 수 있다.
시분할-카메라 유닛을 가진 단일 입체 광학 경로-조명
광 파이버 번들(914)로의 조합 광원(910)(도 9a)은, 조합 광원(310A)(도 3c)의 구현에 대해 상술한 다양한 측면과 함께, 조합 광원(510A,(도 5c), 510B,(도 5d), 510C,(도 5e)) 및 연관된 광 파이버 번들 중 임의의 것과 유사하다. 따라서, 이러한 조합 광원의 설명은 참조에 의해 본문에 통합된다. 그러나, 조합 광원(910)은 적어도 하나의 광원을 턴온 및 턴오프하는 수단을 포함한다.
예시로서, 조합 광원(510A)이 조합 광원(910)에 대한 시작 포인트로서 선택되고, 포켈스 셀(911)이 터닝 미러(516)와 주입 미러(513)사이의 레이저 광의 경로에서 삽입된다. 포켈스 셀(911)은 레이저/카메라 싱크 회로(935)에 연결된다. 보다 완전히 설명된 바와 같이, 시간 t에서의 하나의 측면에서, 포켈스 셀(911)은 레이저 빔이 포켈스 셀(911)을 통해 통과하여 백색 광원(512A)로부터의 광을 가지고 광 파이버 케이블(914)로 주입되도록 레이저/카메라 싱크 회로(935)로부터의 신호를 수신한다. 여기서, 시간 t는 프레임에 연관되는 반면, 시간 (t+1)은 상이한 프레임에 연관된다.
시간 (t+1)에서, 포켈스 셀(911)은 레이저 빔이 포켈스 셀(911)에 의해 차단되고 백색 광원(512A)로부터의 광만이 광 파이버 케이블(914)로 주입되도록 레이저/카메라 싱크 회로(935)로부터의 신호를 수신한다. 따라서, 제 1 시간 간격 동안, 조직(903)은 백색광과 조직(903)으로부터의 형광을 시뮬레이션하는 광을 가지고 조광되어, 제 2 시간 간격 동안, 제 1 시간 간격의 바로 이후에, 조직(903)은 백색광으로만 조광된다. 본 예시에서, 레이저 빔이 모듈레이팅 온오프된다. 그러나, 하기의 설명에 따르면, 시스템(900)은 모듈레이팅 온오프된 백색광원과 연속하여 온으로 유지된 레이저 빔으로 구현될 수 있다.
시분할-카메라를 가진 단일한 입체 광학 경로-이미지 캡처 시스템(120E)
레이저/카메라 싱크 회로(935)는 또한 신호를 이미지 캡처 시스템(120E)에서의 카메라 싱크(934, 933)로 제공한다. 이러한 신호에 응답하여, 카메라 싱크(934)는 프레임이 좌측 CCD 센서(931A)에서 캡처되도록 하고, 카메라 싱크(933)는 프레임이 우측 CCD 센서(931B)에서 캡처되도록 한다. 각각의 CCD 센서는 3칩 CCD 센서이고, 따라서, 캡처된 이미지는 적, 녹, 및 청색 컬러 컴포넌트를 구비한다. 도 9b는 조합 광원(910)과 프레임 캡처 사이의 동기의 예이다.
예를 들면, 시간 t에서, 조직(903)은 백색광과 레이저 광 모두로 조광되고, 신호 Left Opical Path Capture, Right Opical Path Capture는 각각 카메라 싱크(934 및 933)로 전송된다. 따라서, 시간 t에서, 가시성 좌측 이미지 및 형광 좌측 이미지 λL의 제 1 입체 프레임(936A)이 좌측 CCD(931A)에서 캡처된다. 또한, 시간 t에서, 가시성 우측 이미지 및 형광 우측 이미지 λR의 제 1 입체 프레임(938A)이 우측 CCD(931B)에서 캡처된다.
예를 들면, 시간(t+1)에서, 조직(903)은 백색광으로만 조광되고; 레이저 광은 턴오프되며; 신호 Left Opical Path Capture, Right Opical Path Capture는 각각 카메라 싱크(934 및 933)로 전송된다. 따라서, 시간 (t+1)에서, 가시성 좌측 이미지의 제 2 입체 프레임(936B)이 좌측 CCD(931A)에서 캡처된다. 또한, 시간 (t+1)에서, 가시성 우측 이미지의 제 2 입체 프레임(938A)이 우측 CCD(931B)에서 캡처된다.
도 9c에 도시된 바와 같이, 본 예시에 대해, 캡처 프로세스가 진행되고, 형광 이미지 캡처 속도는 가시성 이미지의 캡처 속도의 절반으로, 예를 들면 가시성 데이터는 매 프레임에서 수집되는 반면, 형광 및 가시성 데이터는 하나 걸러서 프레임마다 수집된다. 이러한 캡처 속도는 예시일 뿐이고, 본 개시물에 따라, 형광 이미지에 대한 적절한 캡처 속도가 선택될 수 있다.
조직(903)(도 9a)으로부터의 좌측 이미지는 내시경(901)에서의 입체 광학 경로의 좌측 광학 채널로부터 캡처되고, 조직(903)으로부터의 우측 이미지는 내시경(901)에서의 입체 광학 경로의 우측 광학 채널로부터 캡처된다.
도 9a 및 9b의 예시에서, 2개의 프레임이 CCD 센서에 의해 캡처되는 것으로 도시된다. 이는 설명의 용이성을 위한 것일 뿐이고, 한정을 의도하지 않는다. 공지된 바와 같이, 시간(t+1)에서의 프레임의 캡처전에, CCD 센서에서 캡처된 프레임은 예를 들면, 하기에 보다 완전히 상술된 처리를 위해, 버퍼로 이동될 수 있다.
시분할-카메라 유닛을 가진 단일한 입체 광학 경로- 인텔리전트 이미지 처 리 시스템(130E)
형광 및 가시성 이미지가 상이한 프레임 속도로 캡처되기 때문에, 임시 등록(992)이 상기 형광 이미지와 가시성 이미지의 동기화에서 사용된다. 본 예시에서, 공간 등록은 필요하지 않다. 그러나, 하나의 측면에서 공간 등록이 사용되면, 공간 등록은 임시 등록(992) 이전에 완료된다. 하기에 보다 완전히 기술되는 바와 같이, 임시 등록으로부터의 정보는 가시성 및 형광 이미지가 함께 캡처될 때 개별 이미지 생성뿐 아니라 이미지 왜곡을 통해 누락된 형광 이미지를 생성하기 위한 변환시에 사용된다.
따라서, 본 예시에서, 임시 이미지 등록(992)은 입력으로서, 캡처된 프레임(936A, 936B, 938A, 및 938B) 각각을 수신한다. 임시 이미지 등록(992)은 또한 캡처 모드 선택(945)으로부터 입력을 수신한다. 본 예시에서 3개의 캡처 모드가 고려된다. 제 1 모드는 상술한 바와 같이, 가시성 플러스 형광 이미지 및 가시성 이미지만 캡처되는 시분할 모드(945B)이다. 제 2 캡처 모드인, 연속한 시각 모드(945A)에서, 가시성 이미지만 캡처되고 형광 여기 광원은 차단된다. 확장 모드라고 칭하는 제 3 캡처 모드에서, 하기에 보다 완전히 기술되는 바와 같이, 형광 이미지는 더이상 가용하지 않고 형광 좌우측 이미지가 동기화되기 때문에 가시성 이미지만 캡처된다. 재 2 및 제 3 캡처 모드에서 모드에 대한 설정이 상이하지만, 처리 및 디스플레이 프로세스는 결과적으로 등가임에 유의하라.
시간 t에서 캡처된 가시성 좌측 이미지가 형광 좌측 이미지(936A)와 조합된, 시간 (t+1)에서의 가시성 좌측 이미지(936B)의 임시 이미지 등록 정보를 이용하여, 이미지 와퍼(940A)는 시간(t+1)에 대해 조합된 가시성 좌측 이미지와 형광 좌측 이미지를 생성한다. 이미지 와퍼(940A)는 시간 t와 시간(t+1) 사이의 임의의 동작을 보상한다.
시간(t+1)에 대해 생성된 조합된 가시성 좌측 이미지와 형광 좌측 이미지가 제 1 입력으로서 이미지 감산기(942A)로 제공된다. 이미지 감산기(942A)는 제 2 입력으로서 좌측 CCD(931A)로부터 시간(t+1)에 가시성 좌측 이미지(936B)를 수신한다. 이미지 감산기(942A)는 시간(t+1)에 인위적인 형광 좌측 이미지(947A)를 생성하기 위해 생성된 조합된 가시성 좌측 이미지 및 형광 좌측 이미지로부터 가시성 좌측 이미지(936B)를 감산한다.
시간(t+1)에서 생성된 형광 좌측 이미지(947A)는 이미지 와퍼(940B)에 대한 입력이다. 이미지 와퍼(940B)는 또한 입력으로서 임시 이미지 등록 정보를 수신한다. 이미지 와퍼(940A)는 시간(t+1)에서 생성된 형광 좌측 이미지(947A)로부터 시간 t에서 형광 좌측 이미지(947B)를 생성한다. 이미지 와퍼(940B)는 시간 t와 시간 (t+1) 사이의 임의의 움직임을 보완한다.
시간 t에 대해 생성된 형광 좌측 이미지(947B)가 제 1 입력으로서 이미지 감산기(942B)로 제공된다. 이미지 감산기(942A)는 제 2 입력으로서 좌측 CCD(931A)로부터 시간 t에 형광 좌측 이미지(936A)와 조합된 가시성 좌측 이미지를 수신한다. 이미지 감산기(942B)는 시간 t에서 가시성 좌측 이미지(944L)를 생성하기 위해 시간 t에서 형광 좌측 이미지(936A)와 조합된 캡처된 가시성 좌측 이미지로부터의 시간 t에 대한 생성된 형광 좌측 이미지(947B)를 감산한다.
시간 t에서 캡처된 가시성 우측 이미지가 형광 우측 이미지(938A)와 조합된, 시간 (t+1)에서의 가시성 우측 이미지(938B)의 임시 이미지 등록 정보를 이용하여, 이미지 와퍼(940A)(도 9b)는 시간(t+1)에 대해 조합된 가시성 우측 이미지와 형광 우측 이미지를 생성한다. 이미지 와퍼(940A)는 시간 t와 시간(t+1) 사이의 임의의 동작을 보상한다.
시간(t+1)에 대해 생성된 조합된 가시성 우측 이미지와 형광 우측 이미지가 제 1 입력으로서 이미지 감산기(943A)로 제공된다. 이미지 감산기(932A)는 제 2 입력으로서 우측 CCD(931B)로부터 시간(t+1)에 가시성 우측 이미지(938B)를 수신한다. 이미지 감산기(943A)는 시간(t+1)에 인위적인 형광 우측 이미지(946A)를 생성하기 위해 시간(t+1)에 대해 생성된 조합된 가시성 우측 이미지 및 형광 우측 이미지로부터 가시성 우측 이미지(938B)를 감산한다.
시간(t+1)에서 생성된 인위적 형광 우측 이미지(946A)는 이미지 와퍼(941B)에 대한 입력이다. 이미지 와퍼(941B)는 또한 입력으로서 임시 이미지 등록 정보를 수신한다. 이미지 와퍼(941B)는 시간(t+1)에서 생성된 인위적 형광 우측 이미지(946A)로부터 시간 t에 대해 형광 우측 이미지(946B)를 생성한다. 이미지 와퍼(941B)는 시간 t와 시간 (t+1) 사이의 임의의 움직임을 보완한다.
시간 t에 대해 생성된 형광 우측 이미지(946B)가 제 1 입력으로서 이미지 감산기(943B)로 제공된다. 이미지 감산기(943A)는 제 2 입력으로서 우측 CCD(931B)로부터 시간 t에 형광 우측 이미지(938A)와 조합된 캡처된 가시성 우측 이미지를 수신한다. 이미지 감산기(943B)는 시간 t에서 가시성 우측 이미지(944R)를 생성하기 위해 시간 t에서 형광 우측 이미지(938A)와 조합된 캡처된 가시성 우측 이미지로부터의 시간 t에 대해 생성된 형광 우측 이미지(946B)를 감산한다.
형광 좌측 이미지(947B)와 형광 우측 이미지(946B)는 입체쌍의 형광 이미지이다. 유사하게, 인위적 형광 좌측 이미지(947A)와 인위적 형광 우측 이미지(946A)가 입체쌍의 형광 이미지이다.
도 9a 및 9b에서, 시간 t 및 (t+1)에서의 프레임에 대한 형광 및 가시성 데이터가 브렌드 회로(951, 952) 모두에 제공되는 것으로 도시된다. 이는 용이한 이해를 위한 것일 뿐이다. 2개의 프레임이 적절한 시퀀스로 제공되어, 비디오 시퀀스를 통해서 조차 적절한 시간 시퀀스에서 외과의에 제시된 입체 디스플레이의 흐름이 하나 이상의 프레임에 의해 상술한 처리를 허용하도록 지연될 수 있게 한다.
캡처 모드 선택(945)(도 9a)이 연속한 시각 모드(945A)라면, 레이저 모듈(517)은 턴오프되고 가시성 이미지만 캡처된다. 본 모드에서, 형광 이미지는 생성 또는 디스플레이되지 않고, 캡처된 이미지는 정상적인 방식으로 입체 디스플레이(950) 상에 디스플레이 될 뿐이다.
본 예시에서, 확대 시스템(900)은, 또한 조직에서 약물이 더이상 발광하지 않게된 후에 조차, 장기간 동안 관심의 대상인 조직을 지시하는 형광 이미지를 제공하는 기능을 포함한다. 조합 광원(910)의 구성에 무관한 본 상황에서, 가시성 이미지만 캡처되어 임시 등록(992)에 등록된다. 본 모드를 확장 모드라고 한다.
확장 모드에서, 임시 등록(992)은 확장 모드에서 형광 좌측 이미지(949)를 동기화하고 형광 우측 이미지(948)를 동기화하기 위해 이미지 등록 정보를 제공한다. 형광 좌측 이미지(949) 동기화는 또한 입력으로서 생성된 최종 형광 좌측 이미지, 즉, 형광 좌측 이미지(947A)를 수신한다. 형광 좌측 이미지(949) 동기화는 현재 가시성 좌측 이미지에 대해서만 정확한 위치로 형광 좌측 이미지(947A)를 이동시키기 위해 임시 등록 정보를 이용하여 동기화된 형광 좌측 이미지를 생성한다. 하나의 측면에서, 합성 형광 좌측 이미지를 생성하기 위해 사용되는 프로세스는 상술한 인위적인 형광 좌측 이미지를 생성하기 위한 것과 등가이다.
유사하게, 형광 우측 이미지(948) 동기화는 또한 입력으로서 생성된 최종 형광 우측 이미지, 즉, 형광 우측 이미지(946A)를 수신한다. 형광 우측 이미지(948) 동기화는 현재 가시성 우측 이미지에 대해서만 정확한 위치로 형광 우측 이미지(946A)를 이동시키기 위해 등록 정보를 이용하여 동기화된 형광 우측 이미지를 생성한다. 하나의 측면에서, 합성 형광 우측 이미지를 생성하기 위해 사용되는 프로세스는 상술한 인위적인 형광 우측 이미지를 생성하기 위한 것과 등가이다.
다시, 본 설명은 필수적으로 선형이고 단일 대역 통과 처리를 기술하였지만, 상기 프로세스들은 실시간으로 반복되고, 다양한 이미지들이 상술한 프로세스를 이용하여 내시경(901)을 통해 관찰된 바와 같은 조직(903)의 현재 상태를 반영하기 위해 연속하여 업데이트된다는 것에 유의해야한다.
시분할-카메라 유닛을 가진 단일한 입체 광학 경로-확대 입체 디스플레이 시스템(140E)
하나의 측면에서, 확대 입체 비디오 출력 디스플레이는 다양한 모드에서 동작될 수 있다. 예를 들면, 제 1 모드에서, da Vinci? Surgical System에서처럼, 입체 가시성 이미지만이 외과의로 출력된다. 제 2 모드에서, 형광 이미지가 확대 이미지를 생성하기 위해 가시성 이미지 상에 중첩되고, 입체 확대 이미지가 외과의로 출력된다.
비디오 출력은 예를 들면 풋 스위치, 수술 기기를 제어하는 마스터 그립의 이중 클릭, 음성 제어, 및 기타 유사한 스위칭 방법을 이용하여 이들 모드 사이에서 토글링된다. 2개의 모드 사이의 스위칭을 위한 토글링은 차례로 신호를 브렌드 회로(951, 952)로 출력하는 사용자 인터페이스(993)로 제공되는 신호를 생성하는 디스플레이 모드 선택(960)으로서 도 9a에 도시되고, 이는 다른 브렌드 회로에 대해 상술된 것과 동일한 방식으로 기능한다.
입체 디스플레이에서 형광 이미지를 개선시키기 위해 상술한 기술이 또한 본 실시예에 적용가능하다.
추가로, 일부 측면에서, 형광 및 가시성 이미지를 가진 확대 디스플레이를 생성하는 또다른 디스플레이 모드가 구현될 수 있다. 이러한 디스플레이 모드는 제 1 디스플레이 모드의 변형 또는 완전히 상이한 디스플레이 모드가 될 수 있다. 어느 경우이건, 형광 이미지는 입체 디스플레이에서 점멸하고 연속하여 디스플레이 되지는 않는다. 이러한 피처는 예를 들면 원하는 점멸 속도가 얻어지도록 적절한 프레임을 시스템(140E)으로 제공하도록 인텔리전트 이미지 처리 시스템(130E)을 이용하여 구현될 수 있다. 대안으로, 조합 광원(910)으로부터의 레이저 광은 디스플레이에서의 점멸을 제공하기 위해 변조될 수 있다. 점멸 모드는 본문에 기술된 다른 측면에서 사용될 수 있고, 각각에 대해 반복되지 않는다.
시분할의 상기 설명은 예를 들면 초당 30 프레임과 같은 가시성 이미지에 대한 제 1 프레임 속도, 및 형광 이미지의 캡처를 위한 제 2 프레임 속도에 대해 작용한다. 상기 설명은 임의의 측면에서 시분할을 제공하기 위해 상술한 기타 측면과 조합될 수 있다. 또한, 시분할 멀티플렉싱 측면에 대해, 또는 다른 이미지 캡처 및 처리 측면에서, 내시경 또는 조직이 이동되거나 또는 조명이 변한다면, 필터링이 움직임의 인공물 및/또는 조명의 인공물을 포함하는 인공물을 제거하도록 수행된다.
도 9a 및 9b의 측면은 예시일 뿐이고, 본 개시물에 따라, 당업자는 유사한 결과를 얻기 위해 다양한 구성을 구현할 수 있다. 예를 들면, 도 9d는 하나의 대안의 실시예를 도시한다. 본 예시에서, 시스템(900A)은 대안의 인텔리전트 이미지 처리 시스템(130E)을 포함하는 하드웨어(920A)를 포함한다. 여기서, 현재 프레임은 확대 입체 디스플레이 시스템(140E)으로 전송하기 위해 적절한 저장된 프레임을 선택한다. 예를 들면, 프레임(936A, 936B)은 입체 쌍으로서 액세스되어 시스템(140E)으로 전송된다. 다음으로, 프레임(936B) 및 인위적 형광 좌측 이미지(947A)와 프레임(938D) 및 인위적 형광 우측 이미지(946A)가 시스템(140E)으로 제공된다. 도 9d에서의 다른 엘리먼트가 도 9a 및 9b에서의 동일한 참조 번호를 가진 엘리먼트에 대해 상술한 것과 동일한 방식으로 작용한다.
도 9e는 예를 들면 도 9a 및 9b의 시스템에서 통합될 수 있는 인텔리전트 이미지 처리 시스템(130E)의 또다른 측면을 도시한다. 여기서, 입체 광학 채널에서의 우측 광학 채널로부터 캡처된 이미지의 처리만이 도시된다. 하드웨어 및 좌측 광학 채널로부터의 이미지 캡처에 대한 처리는 동일하며 도시되지 않는다.
본 측면에서, 이미지 와퍼(941B)는 시간 (t+1)에서 캡처된 가시성 우측 이미지와 적절한 등록 정보를 수신한다. 이미지 와퍼(941B)는 시간 t에서 가시성 우측 이미지(944R)를 생성한다. 이미지 감산기(943B)는 입력으로서 시간 t에서 가시성 우측 이미지(944R) 및 시간 t에서 캡처된 가시성 플러스 형광 우측 이미지(938A)를 수신한다. 이미지 감산기(943B)는 시간 t에서 인위적 형광 우측 이미지(946B)를 생성하기 위해 가시성 우측 이미지(944R)를 캡처된 가시성 플러스 형광 우측 이미지(938A)로부터 감산한다.
도 10a는 조합 가시성 형광 이미지 프레임이 캡처되고 N(N은 정수)개의 가시성 이미지 프레임 만이 캡처되는 일반적인 시분할 멀티플렉싱을 위한 프로세스 흐름도이다. 편의를 위해, 도 10a는 도 9a의 장치를 이용하여 설명된다. 도 10a는 임의의 초기화가 완료되고 프로세스(1000)가 동작중이라고 가정한다.
가시성 및 형광 이미지 캡처 프로세스(1001)에서, 이미지 캡처 시스템(120E)은 입체쌍의 조합된 가시성 및 형광 이미지(936A, 936B)를 캡처한다. 혼합된 가시성 및 형광 이미지가 이미지의 입체 디스플레이 프로세스(1002)에서 입체 디스플레이(950) 상에 디스플레이된다.
프레임 카운터 초기화 프로세스(1003)는 프레임 카운터를 N(상술한 예에서, N은 1)으로 초기화하고, 형광 여기 턴오프 프로세스(1004)에서, 레이저/카메라 싱크 회로(935)가 포켈스 셀(911)로 하여금 레이저 광 빔을 차단하도록 한다.
다음으로, 레이저/카메라 싱크 회로(935)는 가시성 이미지(936B, 938B)가 가시성 이미지 캡처 프로세스(1005)에서 캡처되도록 한다. 등록 프로세스(1006)에서, 가시성 좌측 이미지(936B)는 캡처된 조합 좌측 이미지(936A)로 등록되고, 우측 가시성 이미지(938B)는 캡처된 조합 우측 이미지(938A)로 등록된다.
형광 좌우측 이미지 생성 프로세스(1007)는 도 9a 및 9b에 대해 상술한 바와 같이 이들 이미지를 생성하기 위해 인텔리전트 이미지 처리 시스템(130E)을 이용한다. 디스플레이를 위해 시간 시퀀스에서 다음 프레임에 연관된 가시성 및 형광 이미지가 혼합되어 프로세스(1008)에서 입체 디스플레이(950) 상에 디스플레이된다.
프레임 카운터는 프로세스(1009)에서 감소되어 제로 체크 동작(1010)과 동일한 카운터가 가시성 이미지의 또다른 세트 또는 조합 가시성 및 형광 이미지의 또다른 세트를 캡처했는지 여부를 판정한다. 프레임 카운터가 0이 아니라면, 프로세스(1005-1009)는 반복된다. 프레임 카운터가 0이라면, 프로세스(1011)가 형광 여기 소스를 턴온하고 프로세스(1001)로 보낸다.
도 10b는 프로세스(1000)에서의 가시성 및 형광 프레임 스트림을 도시한다. 상술하고 도 10b에 도시된 바와 같이, 시간 t에서, 가시성 및 형광 프레임이 캡처된다.
시간 (t+1)에서 시간 (t+N)까지, 가시성 프레임만 캡처된다. 이러한 시간 간격 동안, 시간 t에서 캡처된 형광 프레임은 임시로 각각의 캡처된 가시성 프레임에 등록되어 시간 t에서 캡처된 형광 프레임은 도 10b에 도시된 바와 같이 대응하는 시간동안 인위적인 형광 프레임을 산출하도록 왜곡된다. 하나의 측면에서, 캡처되고 인위적인 형광 프레임이 통합될 수 있고, 집적 회로가 디스플레이된다. 인위적인 형광 프레임이 입체 디스플레이에서 가시성 이미지의 프레임 속도와 형광 이미지의 프레임 속도를 동기화시키도록 사용된다.
보다 일반적으로, 형광 이미지는 형광 이미지를 캡처하는 프레임 사이에서 외과의로 출력되는 비디오에서 인위적으로 유지될 수 있다. 인위적으로 유지되는 형광 이미지는 카메라가 가시성 이미지 캡처와 형광 이미지 캡처 사이에서 스위칭할 때 가시성 이미지와 혼합된다.
또한, 또다른 예시로서, 상기 지시된 바와 같이, 형광 이미지는 형광 영역이 여전히 외과의에게 가시 상태를 유지하도록 주입된 약물이 더이상 발광하지 않은 후에도 유지될 수 있다. 하나의 측면에서, 유지된 이미지 출력은, 외과의가 형광 및 가시성 이미지의 잘못된 혼합을 보지 않도록 하기 위해 카메라가 이동되면, 자동으로 정지된다. 형광 이미지에서의 형광 영역이 가시성 이미지로 공간적으로 등록되면, 가시성 이미지와 정확하게 혼합되기 때문에 유지된 형광 이미지가 출력될 수 있다. 상술한 바와 같이, 인공물이 출력 디스플레이로부터 필터링 될 수 있다.
시분할-가시성 컬러 컴포넌트와 조합된 형광 이미지를 캡처한 카메라 유닛 을 가진 단일한 입체 광학 경로
또다른 측면에서, 가시성 및 형광 이미지가 동일한 입체 광학 경로를 통해 캡처되지만, 이미지 캡처는 시분할 멀티플렉싱되고 형광 이미지는 예를 들면 적색 컬러 컴포넌트와 같은 가시성 컬러 컴포넌트 중 하나로 캡처된다. 본 측면에서, 동일한 카메라 유닛이 가시성 및 형광 이미지 모두에 대한 데이터를 캡처하지만, 상이한 시간에 캡처한다. 이러한 시분할은 광원을 비디오 프레임 캡처와 동기화를 온/오프 함으로써 구현된다.
예를 들면, 도 11a의 실시예에서, 로봇 수술 시스템(도시되지 않음)은 조직(1103)으로부터의 광을 확대 입체 비전 시스템(1100)으로 전달하는 단일한 입체 광학 경로를 포함한다. 단일한 입체 광학 경로로부터의 광은 로봇 수술 시스템을 동작시키는 외과의에 대해 조직(1103)의 실시간 입체 비디오 디스플레이를 생성하기 위해 사용된다. 입체 비디오 디스플레이는 조직(1103)의 병든 부분과 같은 조직(1103)에서의 관심 영역 및/또는 신경 또는 기관과 같은 다른 관심영역의 조직을 강조하기 위한 대안의 이미지로 혼합된 조직(1103)의, 때때로 프리젠테이션이라고도 하는, 3차원 도면을 포함한다.
본 예시에서, 단일한 내시경(1101)은 조직(1103)으로부터 하드웨어(1120)로 입체 광학 경로를 제공한다. 내시경(1101)은 입체 광학 경로를 보완하기 위한 2개의 광채널과 조직(1103)으로 광을 제공하기 위한 적어도 하나의 조명 채널을 포함한다. 도시되지 않았지만, 내시경(1101)이 로봇 수술 시스템에 의해 유지되고 이동된다. 예를 들면, 도 1을 참조하라.
본 예시에서, 확대 입체 비전 시스템(1100)은 조합 광원(1110), 하드웨어(1120), 및 적어도 하나의 복수의 컴퓨터 기반 방법(1190)을 포함한다. 도 11a에 도시된 바와 같이, 하드웨어(1120)의 일부가 이미지 캡처 시스템(120F)을 보완한다. 하드웨어(1120)의 또다른 일부가 인텔리전트 이미지 처리 시스템(130F)을 보완한다. 그러나, 하드웨어(1120)의 또다른 일부와 복수의 컴퓨터 기반 방법은 확대 입체 디스플레이 시스템(140F)을 보완한다. 이미지 캡처 시스템(120F) 및 인텔리전트 이미지 처리 시스템(130F)내에서, 가시성 이미지를 처리하는 부분이 가시성 이미징 시스템을 보완하는 반면, 형광 이미지를 처리하는 부분은 대안의 이미징 시스템을 보완한다.
또한, 도 12의 방법(1200)은 확대 입체 비전 시스템(1100)을 이용하여 구현된다. 도 12에 도시된 바와 같이, 방법(1200)은 복수의 개별 프로세스를 포함한다.
하나의 측면에서, 하드웨어(1120)는 카메라 유닛(731)(도 7b)과 같은 단일한 카메라 유닛을 포함한다. 카메라 유닛(731)은 내시경(1101)의 각각의 광학 경로에 대해 3칩 전하 결합소자(CCD) 센서를 포함한다.
하드웨어(1120)는 또한 하기에 보다 완전히 기술되는 기능을 수행하는 하드웨어 회로를 포함한다. 예를 들면, 적어도 하나의 컴퓨터 기반 방법(1190)은 컴퓨터 프로세서 상에서 실행하는 소프트웨어이다.
시분할-가시성 컬러 컴포넌트와 조합된 형광 이미지를 캡처하는 카메라 유 닛을 가진 단일한 입체 광학 경로-조명
광 파이버 번들(1114)로의 조합 광원(1110)은, 조합 광원(310A)(도 3c)의 구현에 대해 상술한 다양한 측면과 함께, 조합 광원(510A,(도 5c), 510B,(도 5d), 510C,(도 5e)) 및 연관된 광 파이버 번들 중 임의의 것과 유사하다. 따라서, 이러한 조합 광원의 설명은 참조에 의해 본문에 통합된다. 그러나, 조합 광원(1110)은 적어도 하나의 광원을 턴온 및 턴오프하는 수단을 포함하고, 동일하게 광원(910)이 사용되며, 예시로서, 광원(910A)의 상기 설명이 참조에 의해 본문에 통합된다.
하나의 측면에서, 시간 t에서, 포켈스 셀(911)은 레이저 빔이 포켈스 셀(911)에 의해 차단되고 백색 광원(512A)로부터의 광만이 광 파이버 케이블(1114)로 주입되도록 레이저/카메라 싱크 회로(1135)로부터의 신호를 수신한다. 시간 (t+1)에서, 포켈스 셀(911)은 레이저 빔이 포켈스 셀(911)을 통과하여 백색광원(512A)으로부터의 광과 함께 광 파이버 케이블(1114)로 주입되도록 레이저/카메라 싱크 회로(1135)로부터의 신호를 수신한다. 여기서, 시간 t은 프레임에 연관되는 반면, 시간 (t+1)은 상이한 프레임에 연관된다.
따라서, 제 1 시간 간격 동안, 조직(1103)은 백색광으로만 조광되어, 제 1 시간 간격에 바로 후속하는 제 2 시간 간격 동안, 조직(1103)은 백색광과 조직(1103)으로부터의 형광을 시뮬레이션하는 광으로 조광된다. 본 예시에서, 레이저 빔이 모듈레이팅 온오프된다. 그러나, 하기의 설명에 따르면, 시스템(1100)은 모듈레이팅 온오프된 백색광원과 연속하여 온으로 유지된 레이저 빔으로 구현될 수 있다.
시분할-가시성 컬러 컴포넌트와 조합된 형광 이미지를 캡처하는 카메라 유 닛을 가진 단일한 입체 광학 경로-이미지 캡처 시스템(120F)
레이저/카메라 싱크 회로(1135)는 또한 신호를 카메라 싱크(1134, 1133)로 제공한다. 이러한 신호에 응답하여, 카메라 싱크(1134)는 프레임이 좌측 CCD 센서(1131A)에서 캡처되도록 하고, 카메라 싱크(1133)는 프레임이 우측 CCD 센서(1131B)에서 캡처되도록 한다. 각각의 CCD 센서는 3칩 CCD 센서이다. 도 11b는 조합 광원(1110)과 프레임 캡처 사이의 동기의 예이다.
예를 들면, 시간 t에서, 조직(1103)은 백색광으로 조광되고, 신호 Left Opical Path Capture, Right Opical Path Capture는 각각 카메라 싱크(1134 및 1133)로 전송된다. 따라서, 시간 t에서, 가시성 좌측 이미지의 가시성 적, 녹, 및 청색 컴포넌트의 제 1 입체 프레임(1136A)이 좌측 CCD(1131A)에서 캡처된다. 또한, 시간 t에서, 가시성 우측 이미지의 가시성 적, 녹, 청색 컴포넌트의 제 1 입체 프레임(1138A)이 우측 CCD(1131B)에서 캡처된다.
예를 들면, 시간(t+1)에서, 조직(1103)은 백색광 및 레이저광으로 조광되고, 신호 Left Opical Path Capture, Right Opical Path Capture는 각각 카메라 싱크(1134 및 1133)로 전송된다. 따라서, 시간 (t+1)에서, 가시성 좌측 이미지의 가시성 적, 녹, 청색 컴포넌트의 제 2 입체 프레임(1136B)이 좌측 CCD(1131A)에서 캡처된다. 그러나, 가시성 적색 컴포넌트는 형광 좌측 이미지 λL와 조합되어 조합된 이미지가 좌측 CCD(1131A)에서 캡처되도록 한다. 또한, 시간 (t+1)에서, 가시성 우측 이미지의 가시성 적, 녹, 청색 컴포넌트의 제 2 입체 프레임(1138A)이 우측 CCD(1131B)에서 캡처된다. 그러나, 가시성 적색 컴포넌트는 형광 우측 이미지 λR와 조합되어 조합된 이미지가 우측 CCD(1131B)에서 캡처되도록 한다. 이러한 캡처 속도는 예시일 뿐이며, 본 개시물에 따라, 형광 이미지에 대한 적절한 캡처 속도가 선택될 수 있다.
조직(1103)(도 11a)으로부터의 좌측 이미지는 내시경(1101)에서의 입체 광학 경로의 좌측 광학 채널로부터 캡처되고, 조직(1103)으로부터의 우측 이미지는 내시경(1101)에서의 입체 광학 경로의 우측 광학 채널로부터 캡처된다.
도 11a의 예시에서, 2개의 프레임이 CCD 센서에 의해 캡처되는 것으로 도시된다. 이는 설명의 용이성을 위한 것일 뿐이고, 한정을 의도하지 않는다. 공지된 바와 같이, 시간(t+1)에서의 프레임의 캡처전에, CCD 센서에서 캡처된 프레임은 예를 들면, 하기에 보다 완전히 상술된 처리를 위해, 버퍼로 이동될 수 있다.
시분할-가시성 컬러 컴포넌트와 조합된 형광 이미지를 캡처하는 카메라 유 닛을 가진 단일한 입체 광학 경로-인텔리전트 이미지 처리 시스템(130E)
형광 이미지는 가시성 컬러 컴포넌트 중 하나로 캡처되기 때문에, 입체 가시성 디스플레이로 형광 조직을 강조하기 위해 형광 이미지가 처리될 수 있도록 형광 이미지를 추출하는 것이 필요하다. 좌우측 이미지의 처리는 유사하므로, 하기의 설명에서는 좌측 채널만 고려된다.
여기서, 시간 t에서의 적, 녹, 및 청색 가시성 컴포넌트는 각각 Rt, Gt, Bt로 표시된다. 시간 (t+1)에서 캡처된 컴포넌트는 (R+λ)t+1, Gt+1, Bt+1로 표시된다.
하나의 측면에서, 형광 이미지와 인공물 생성기(1140)(도 11a)는 움직임에 대한 인공물뿐 아니라 조명 변화에 의해 유도되는 가능한 인공물을 가진 형광 이미지를 생성하기 위해 프로세스(1200)(도 12)의 프레임-투-프레임 감산 프로세스(1201)를 이용한다. 프레임-투-프레임 감산 프로세스(1201)는 시간(t+1)에서 캡처된 프레임으로부터 시간 t에서 캡처된 프레임을 감산한다. 예를 들면,
Figure 112015123215015-pat00007
이고,
여기서, IR, IG 및 IB는 각각 적, 녹 및 청색 컴포넌트에 대한 프레임-투-프레임 컬러 컴포넌트 차이다. 보다 특정하게, 프레임-투-프레임 적색 컬러 컴포넌트 차 IR는 적색 컬러 컴포넌트의 가능한 인공물과 조합된 형광 이미지이고; 프레임-투-프레임 녹색 컬럼 컴포넌트 차 IG 및 프레임-투-프레임 청색 컬럼 컴포넌트 차 IB는 각각 녹색 및 청색 컬러 컴포넌트의 가능한 인공물이다. 용어 "가능한 인공물"은, 조직(1103), 내시경(1101) 및 기기가 2개의 프레임 사이에서는 이동하지 않고, 조명은 인공물이 없는 경우에 안정적이기 때문에 사용된다.
형광 이미지로부터 인공물을 분리하기 위해, 하나의 측면에서, 스케일 시스템(1141)(도 11a)이 정규화 프로세스(1202)(도 12)를 구현한다. 스케일 시스템(1141)은 선택이고 모든 측면에서 사용되는 것은 아니다. 그러나, 본 측면에서, 정규화 프로세스(1202)는 차이가 공통의 스케일을 가지도록 프레임-투-프레임 컬러 컴포넌트 차, IR, IG, 및 IB를 처리한다. 예를 들면, 하나의 측면에서, 각각의 컬러 컴포넌트 차에 대한 평균이 컬러 컴포넌트 차로부터 감산되고, 결과가 단위 분산으로 스케일링된다. 예를 들면,
Figure 112015123215015-pat00008
여기서, IR, IG, IB 및 IR, IG, IB는 각각 동일한 엘리먼트이다. 컬러 컴포넌트 차 위의 바는 컬러 컴포넌트 및 σ의 제곱이 분산을 나타내는 평균값을 나타낸다. 평균값과 분산의 정량(determination)은 전체 프레임 또는 대안으로 프레임의 더 작은 영역에 기초할 수 있다.
2개의 프레임의 캡처의 시간 사이에 움직임 또는 조명 변화가 있다면, 2개 프레임 사이의 3개의 컬러 컴포넌트에서의 인공물은 대개 유사하지만, 정확하게 일치하는 것은 아니다. 따라서, 2개의 프레임 사이의 정규화된 녹색 및 청색 컬러 컴포넌트의 인공물은 정규화된 적색 컴포넌트에서의 인위적 조형물을 근사하기 위해 사용될 수 있다. 따라서, 하나의 측면에서, 정규화된 청색 및 녹색 컴포넌트는 형광 이미지에서 2개의 프레임 사이의 인공물의 효과를 개선하기 위해 사용될 수 있다.
따라서, 하나의 측면에서, 형광 이미지 추출기(1142)(도 11a)는 크로스-채널 감산 프로세스(1203)(도 12)를 구현한다. 크로스-채널 감산 프로세스(1203)는 형광 이미지 F를 얻기 위해 형광 이미지 λ를 포함하는 정규화된 프레임-투-프레임 적색 컬러 컴포넌트로부터 정규화된 청색 및 녹색 프레임-투-프레임 컬러 컴포넌트 차를 감산한다. 특히, 하나의 측면에서, 크로스-채널 감산 프로세스(1203)는 하기와 같이 형광 이미지 F를 생성한다:
Figure 112015123215015-pat00009
하나의 측면에서, 형광 이미지 개선(1143)(도 11a)은 형광 이미지 개선 프로세스(1204)(도 12)를 구현한다. 형광 이미지 개선 프로세스(1204)는 선택적으로 형광 이미지 F를 스케일링하고 예를 들면 가성(flase) 컬러 형광 이미지 F와 같이 적색에서 녹색 또는 청색 중 어느 하나로 변하여, 형광 좌측 이미지(1144)가 가시성 이미지와 혼합될 때, 형광 이미지가 두드러지도록 한다. 인위적인 형광 좌측 이미지(1144)와 인위적인 형광 우측 이미지(1149)는 입체쌍의 형광 이미지이다.
하나의 측면에서, 선택적인 산재하는(sparse) 조직의 추적이 포함된다. 예를 들면, 움직임 영역으로 선언된 픽셀에 대한 임시 등록이 실제 각각의 움직임 영역에서 움직임이 있는지를 판정하기 위해 사용된다. 추가로, 이미지 필터링과 임계치가 최종 형광 이미지를 선명하게 하기 위해 사용될 수 있다.
프로세스(1200)의 상기 측면은 예시일 뿐이며, 한정을 의도하지 않는다. 이들 프로세스에 대한 다양한 변형이 하드웨어로 구현될 수 있다. 예를 들면,
프레임=프레임 감산
Figure 112015123215015-pat00010
움직임/조명 변화 영역(MIR) 검출
Figure 112015123215015-pat00011
임계치_1
후처리후에 형광 영역(FR)을 판정
Figure 112015123215015-pat00012
임계치_2
하나의 측면에서, 임계치들은 경험적으로 판정된다.
엘리먼트(1145-1149)는 좌측 채널에 대해 상술한 것에 대해 기능하고 또한 프로세스(1200)를 구현한다. 따라서, 엘리먼트(1145-1149)의 구현은 상술한 설명에 직접적으로 후속한다.
이러한 처리는 각각의 캡처된 프레임의 쌍에 대해 계속한다. 다양한 대안이 가시성 및 형광 이미지의 디스플레이를 위해 필요한 프레임 속도를 제공하기 위해 인위적인 이미지를 생성하는 데에 사용될 수 있다. 예를 들면, 이미지는 단순히 반복될 수 있다. 대안으로, 다중 프레임이 처리되면, 필요할 때 형광 이미지 및/또는 가시성 이미지에 대해 인위적인 프레임을 생성하기 위해 보간법이 사용될 수 있다.
시분할-가시성 컬러 컴포넌트와 조합된 형광 이미지를 캡처하는 카메라 유 닛을 가진 단일한 입체 광학 경로-확대 입체 디스플레이 시스템(140F)
하나의 측면에서, 확대 입체 비디오 출력 디스플레이가 다양한 모드로 동작된다. 예를 들면, 제 1 모드에서, 입체 가시성 이미지만이 da Vinci? Surgical System에서와 같이, 외과의로 출력된다. 제 2 모드에서, 형광 이미지가 확대 이미지를 생성하기 위해 가시성 이미지 상에 중첩되고, 입체 확대 이미지가 외과의로 출력된다.
비디오 출력은 예를 들면 풋 스위치, 수술 기기를 제어하는 마스터 그립의 더블클릭, 음성 제어, 기타 스위칭 방법을 이용하여 이들 모드 사이에서 토글링된다. 2개 모드 사이의 스위칭을 위한 토글링이, 브렌드 회로(1151, 1152)로 제공되는 신호를 생성하는 디스플레이 모드 선택(1160)으로서 도 11a에 표시되고, 이는 다른 브렌드 회로에 대해 상술한 것과 동일한 방식으로 기능한다.
입체 디스플레이에서 형광 이미지를 개선하는 상술한 기술은 본 실시예에도 또한 적용가능하다.
변형된 카메라 유닛을 가진 단일한 입체 광학 경로
또다른 측면에서, 가시성 및 형광 이미지가 동일한 입체 광학 경로를 통해 캡처되지만, 형광 이미지 캡처는 가시성 컬러 컴포넌트 중 하나를 가지고 다시 캡처된다. 본 측면에서, 동일한 카메라 유닛이 가시성 및 형광 입체 이미지 모두에 대한 데이터를 캡처하지만, 하기에 보다 완전히 설명되는 바와 같이, 프리즘이 형광 이미지를 가시성 컬러 컴포넌트 중 하나와 조합한다.
예를 들면, 도 13a의 실시예에서, 로봇 수술 시스템(도시되지 않음)은 조직(1303)으로부터의 광을 확대 입체 비전 시스템(1300)으로 전달하는 단일한 입체 광학 경로를 포함한다. 단일한 입체 광학 경로로부터의 광은 로봇 수술 시스템을 동작시키는 외과의에 대해 조직(1303)의 실시간 입체 비디오 디스플레이를 생성하기 위해 사용된다. 입체 비디오 디스플레이는 조직(1303)의 병든 부분과 같은 조직(1303)에서의 관심 영역 및/또는 신경 또는 기관과 같은 다른 관심영역의 조직을 강조하기 위한 대안의 이미지를 가진 조직(1303)의 3차원 도면을 포함한다.
본 예시에서, 단일한 내시경(1301)은 조직(1303)으로부터 하드웨어(1320)로 입체 광학 경로를 제공한다. 내시경(1301)은 입체 광학 경로를 보완하기 위한 2개의 광채널과 조직(1303)으로 광을 제공하기 위한 적어도 하나의 조명 채널을 포함한다. 도시되지 않았지만, 내시경(1301)이 로봇 수술 시스템에 의해 유지되고 이동된다. 예를 들면, 도 1을 참조하라.
본 예시에서, 확대 입체 비전 시스템(1300)은 조합 광원(1310), 하드웨어(1320), 및 적어도 하나의 컴퓨터 기반 방법(1390)을 포함한다. 도 13a에 도시된 바와 같이, 하드웨어(1320)의 일부가 이미지 캡처 시스템(120G)을 보완한다. 본 측면에서, 인텔리전트 이미지 처리 시스템은 사용되지 않는다. 그러나, 하드웨어(1320)의 또다른 일부와 적어도 하나의 컴퓨터 기반 방법(1390)은 확대 입체 디스플레이 시스템(140G)을 보완한다. 이미지 캡처 시스템(120G)내에서, 가시성 이미지를 처리하는 부분이 가시성 이미징 시스템을 보완하는 반면, 형광 이미지를 처리하는 부분은 대안의 이미징 시스템을 보완한다.
하나의 측면에서, 하드웨어(1320)는 변형된 카메라 유닛(731)(도 7b)과 같은 단일한 카메라 유닛을 포함한다. 카메라 유닛(731)은 내시경(1301)의 각각의 광학 경로에 대해 3칩 전하 결합소자(CCD) 센서를 포함한다.
하드웨어(1320)는 또한 하기에 보다 완전히 기술되는 기능을 수행하는 하드웨어 회로를 포함한다. 예를 들면, 복수의 컴퓨터 기반 방법(1390)은 컴퓨터 프로세서 상에서 실행하는 소프트웨어이다.
변형된 카메라 유닛을 가진 단일 입체 광학 경로-조명
광 파이버 번들(1314)로의 조합 광원(1310)은, 조합 광원(910) 및 광 파이버 번들(914)과 유사하다. 따라서, 이러한 조합 광원의 설명은 참조에 의해 본문에 통합된다. 그러나, 조합 광원(1310)에서 적어도 하나의 광원을 턴온 및 턴오프하는 제어 수단은 조합 광원(910)에서의 것과는 상이하다.
본 측면에서, 포켈스 셀(911)은 차례로 사용자 인터페이스(1393)로부터의 신호를 수신하는 광 컨트롤러(1335)로부터의 제어 신호를 수신한다. 외과의가 가시성만을 선택할 때, 레이저 빔이 포켈스 셀(911)에 의해 차단되고 백색광원(512A)으로부터의 광만이 광 파이버 케이블(1314)로 주입되도록 신호가 포켈스 셀(911)에 적용된다. 외과의가 가시성 플러스 형광 이미지를 선택할 때, 두개의 광원 모두가 광 파이버 케이블(1314)로 주입된 빔을 제공한다.
변형된 카메라 유닛을 가진 단일한 입체 광학 경로-이미지 캡처 시스 템(120G)
본 측면에서, 카메라 유닛은 각각의 광학 경로로부터의 광이 변형된 프리즘(1334, 1333)을 통과하도록 변형된다. 각각의 변형된 프리즘(1334, 1333)은 예를 들면 도 13b에 도시된 특성을 가진다.
변형된 프리즘(1334, 1333)은 광학 경로로부터의 가시성 플러스 형광 이미지를 일반적인 RGB 컴포넌트(1381, 1382, 1383)(컴포넌트의 컬러는 선으로 표시되며, 청색은 대쉬 선; 녹색은 실선; 적색은 점선으로 표시된다는 것에 유의하라.)로 분리한다. 그러나, 본 예시에서, 변형된 프리즘(1334, 1333)은 청색 컬러 컴포넌트(1381) 뿐만 아니라 적외선 영역 근방에 있는 제 2 청색 피크(1384)를 생성한다. 따라서, 형광 이미지는 근 적외선이며, 이러한 프리즘은 조합된 가시성 및 형광 이미지를 가시성 RGB 이미지 및 적외선 근방의 청색 형광 이미지로 분리한다. 변형된 프리즘(1334, 1333)은, 일반적으로 하나의 가시성 컬러 컴포넌트만을 통과시키는 프리즘의 일부가 가시성 컬러 컴포넌트와 컬러 컴포넌트로부터 분리 및 제거된 또다른 컴포넌트 모두를 통과시키도록 변형되는 것을 제외하고는, 종래 방식으로 만들어진다. 또다른 컴포넌트는 형광 이미지에 대응한다.
본 측면에서, 형광 파장에 따라, 이중 피크가 청색 컴포넌트에 대해 제공되지만, 프리즘은 컬러 컴포넌트 중 임의의 것에 대해 원하는 결과를 얻도록 변조될 수 있다. 본 측면에서, 청색 컬러 컴포넌트에 대한 CCD는 양 피크(1481, 1484) 모두를 축적하고, 그 광학 경로로부터의 형광 이미지와 조합된 광학 경로로부터의 가시성 청색 이미지를 캡처한다.
따라서, 도 13a에 도시된 바와 같이, 광원(512A)로부터의 빔과 광원(517)로부터의 빔 모두가 조직(1303)을 조광할 때, 좌측 CCD(1331A)에서의 적색 좌측 CCD는 가시성 적색 좌측 이미지(1336A)를 캡처하고; 좌측 CCD(1331A)에서의 녹색 좌측 CCD는 가시성 녹색 좌측 이미지(1336B)를 캡처하고; 좌측 CCD(1331A)에서의 청색 좌측 CCD는 형광 좌측 이미지(1336C)와 조합된 가시성 청색 좌측 이미지를 캡처한다. 유사하게, 우측 CCD(1331B)에서의 적색 우측 CCD는 가시성 적색 우측 이미지(1338A)를 캡처하고; 우측 CCD(1331B)에서의 녹색 우측 CCD는 가시성 녹색 우측 이미지(1338B)를 캡처하고; 우측 CCD(1331B)에서의 청색 우측 CCD는 형광 우측 이미지(1338C)와 조합된 가시성 청색 우측 이미지를 캡처한다.
레이저 빔은 광 파이버 번들(1314)에 주입되지 않고 광원(512A)로부터의 광만 주입될 때, 좌측 CCD(1331A)에서의 적색 좌측 CCD는 가시성 적색 좌측 이미지(1336A)를 캡처하고; 좌측 CCD(1331A)에서의 녹색 좌측 CCD는 가시성 녹색 좌측 이미지(1336B)를 캡처하고; 좌측 CCD(1331A)에서의 청색 좌측 CCD는 가시성 청색 좌측 이미지(1336C) 만을 캡처한다. 이는 형광 좌측 이미지는 항상 캡처되는 것이 아니기 때문에 "형광 좌측 이미지를 가지는 것이" 도 13a에서의 괄호에 넣어진 것이다. 유사하게, 우측 CCD(1331B)에서의 적색 우측 CCD는 가시성 적색 우측 이미지(1338A)를 캡처하고; 우측 CCD(1331B)에서의 녹색 우측 CCD는 가시성 녹색 우측 이미지(1338B)를 캡처하고; 우측 CCD(1331B)에서의 청색 우측 CCD는 가시성 청색 우측 이미지(1338C) 만을 캡처한다. 이는 형광 우측 이미지는 항상 캡처되는 것이 아니기 때문에 "형광 우측 이미지를 가지는 것이" 또한 도 13a에서의 괄호에 넣어진 것이다.
변형된 카메라 유닛을 가진 단일한 입체 광학 경로-확대 입체 디스플레이 시스템(140G)
하나의 측면에서, 확대 입체 비디오 출력 디스플레이는 다양한 모드에서 동작될 수 있다. 예를 들면, 제 1 모드에서, da Vinci? Surgical System에서처럼, 실시간 입체 가시성 이미지만이 외과의로 출력된다. 제 2 모드에서, 형광 이미지가 확대 이미지를 생성하기 위해 가시성 이미지 상에 중첩되고, 실시간 입체 확대 이미지가 외과의로 출력된다.
상술한 바와 같이, 비디오 출력은 예를 들면 풋 스위치, 수술 기기를 제어하는 마스터 그립의 더블 클릭, 음성 제어, 및 기타 유사한 스위칭 방법을 이용하여 이들 모드 사이에서 토글링된다. 2개의 모드 사이의 스위칭을 위한 토글링은 차례로 제어 신호를 상술한 광 컨트롤러(1335)로 제공하는 사용자 인터페이스(1393)로 제공되는 신호를 생성하는 디스플레이 모드 선택(1360)으로서 도 13a에 도시된다.
입체 디스플레이에서 형광 이미지를 개선시키기 위해 상술한 기술이 또한 본 실시예에 적용가능하다. 이러한 기술이 사용될 때, 인텔리전트 이미지 처리 시스템이 시스템(1300)에 포함된다.
추가로, 일부 측면에서, 형광 및 가시성 이미지를 가진 확대 디스플레이를 생성하는 또다른 디스플레이 모드가 구현될 수 있다. 이러한 디스플레이 모드는 지 1 모드의 변형 또는 완전히 상이한 디스플레이 모드가 될 수 있다. 어느 경우이건, 형광 이미지는 입체 디스플레이에서 점멸하고 연속하여 디스플레이 되지는 않는다. 이러한 피처는 예를 들면 원하는 점멸 속도가 얻어지도록 적절한 프레임을 시스템(140G)으로 제공하도록 인텔리전트 이미지 처리 시스템을 이용하여 구현될 수 있다. 대안으로, 조합 광원(1310)으로부터의 레이저 광은 디스플레이에서의 점멸을 제공하기 위해 변조될 수 있다.
하나의 측면에서, 방법(1400)(도 14)은 확대 입체 비전 시스템(1300)을 이용하여 구현된다. 조직 조광 프로세스(201E)에서, 조합 광원(1310)으로부터의 광이 조직(1303)을 조광한다.
조직(1303)으로부터의 광은 상술한 바와 같이 조직으로부터의 광의 사전 처리 프로세스(202E)에서 다양한 컴포넌트로 분리된다. 형광 이미지와 조합된 컴포넌트를 포함하는 다양한 컴포넌트가 입체 가시성 및 입체 형광 이미지 캡처 프로세스(203E)에서 캡처된다.
사용자 입력 프로세스(1420)로의 사용자 입력에 기초하여, 사용자 인터페이스(1393)에서의 디스플레이 모드 체크 동작(1408)은 조합 광원을 설정하고, 필요한 경우, 가시성 및 형광 이미지의 입체 디스플레이 프로세스(1410) 및 가시성 이미지 만의 입체 디스플레이 프로세스(1411) 중 하나를 수행한다. 프로세스(1410, 1411)는 조직의 입체 비디오 디스플레이 생성 프로세스(205E)에서, 확대 입체 비전 시스템(1300)에 대해 상술한 디스플레이를 생성한다.
시분할-단일한 CCD 카메라 유닛을 가진 단일한 입체 광학 경로
또다른 측면에서, 가시성 및 형광 이미지가 동일한 입체 광학 경로를 통해 캡처되지만, 이미지 캡처는 시분할 멀티플렉싱된다. 본 측면에서, 동일한 카메라 유닛이 가시성 이미지 및 형광 이미지의 컬러 컴포넌트 모두에 대한 데이터를 캡처하지만, 상이한 시간에 캡처한다. 이러한 시분할은 하기에 보다 완전히 기술되는 바와 같이, 회전 필터를 이용하여 필터링하는 캡처 동기화에 의해 구현된다.
예를 들면, 도 15의 실시예에서, 로봇 수술 시스템(도시되지 않음)은 조직(1503)으로부터의 광을 확대 입체 비전 시스템(1500)으로 전달하는 단일한 입체 광학 경로를 포함한다. 단일한 입체 광학 경로로부터의 광은 로봇 수술 시스템을 동작시키는 외과의에 대해 조직(1503)의 실시간 입체 비디오 디스플레이를 생성하기 위해 사용된다. 입체 비디오 디스플레이는 조직(1503)의 병든 부분과 같은 조직(1503)에서의 관심 영역 및/또는 신경 또는 기관과 같은 다른 관심영역의 조직을 강조하기 위한 대안의 이미지로 혼합된 조직(1503)의 3차원 도면을 포함한다.
본 예시에서, 확대 입체 비전 시스템(1500)은 조합 광원(1510), 하드웨어(1520), 및 적어도 하나의 컴퓨터 기반 방법(1590)을 포함한다. 도 15에 도시된 바와 같이, 하드웨어(1520)의 일부가 이미지 캡처 시스템(120H)을 보완한다. 하드웨어(1520)의 또다른 일부는 인텔리전트 이미지 처리 시스템(130H)을 보완한다. 그러나, 하드웨어(1520)의 또다른 일부와 컴퓨터 기반 방법(1590)에서의 사용자 인터페이스(1593)는 확대 입체 디스플레이 시스템(140H)을 보완한다. 이미지 캡처 시스템(120H) 및 인텔리전트 이미지 처리 시스템(130H)내에서, 가시성 이미지를 처리하는 부분이 가시성 이미징 시스템을 보완하는 반면, 형광 이미지를 처리하는 부분은 대안의 이미징 시스템을 보완한다.
하나의 측면에서, 하드웨어(1520)는 변형된 카메라 유닛(731)(도 7b)과 같은 단일한 카메라 유닛을 포함한다. 카메라 유닛(731)은 내시경(1501)의 각각의 광학 경로에 대해 3칩 전하 결합소자(CCD) 센서를 포함한다.
하드웨어(1520)는 또한 하기에 보다 완전히 기술되는 기능을 수행하는 하드웨어 회로를 포함한다. 예를 들면, 컴퓨터 기반 방법(1590)은 컴퓨터 프로세서 상에서 실행하는 소프트웨어이다.
시분할-단일한 CCD 카메라 유닛을 가진 단일 입체 광학 경로-조명
광 파이버 번들(1514)로의 조합 광원(1510)은, 조합 광원(310A)(도 3c)의 구현에 대해 상술한 다양한 측면과 함께, 조합 광원(510A,(도 5c), 510B,(도 5d), 510C,(도 5e)) 및 연관된 광 파이버 번들 중 임의의 것과 유사하다. 따라서, 이러한 조합 광원의 설명은 참조에 의해 본문에 통합된다.
시분할-단일한 CCD 카메라 유닛을 가진 단일한 입체 광학 경로-이미지 캡 처 시스템(120G)
본 측면에서, 조직(1503)은 백색광과 조합 광원(1510)으로부터의 레이저 광으로 조광된다. 좌우측 이미지에 대한 캡처 동작은 동일하다.
회전 필터(1532A)는 가시성 적색 필터; 가시성 녹색 필터; 가시성 청색 필터 및 형광 필터의 4개의 대역 통과 필터를 포함한다. 회전 필터(1532B)는 유사하게 구성되어있다. 회전 필터(1532A, 1532B)는 예를 들면, 내시경(1501)의 좌측 광학 경로로부터의 필터링된 광에 대해서는 좌측 CCD(1531A) 및 내시경(1501)의 우측 광학 경로로부터의 필터링된 광에 대해서는 우측 CCD(1533A)와 같이, 카메라 유닛의 단일한 CCD에서의 이미지의 캡처와 결합된다.
시간 t에서, 회전 필터(1532A)는 적색 필터로 내시경(1501)의 좌측 광학 경로로부터의 광을 필터링하고, 좌측 CCD(1531A)는 시간 t에서 적색 좌측 이미지(1534L)를 캡처한다. 시간 (t+1)에서, 회전 필터(1532A)는 녹색 필터로 내시경(1501)의 좌측 광학 경로로부터의 광을 필터링하고, 좌측 CCD(1531A)는 시간 (t+1)에서 녹색 좌측 이미지(1535L)를 캡처한다. 시간 (t+2)에서, 회전 필터(1532A)는 청색 필터로 내시경(1501)의 좌측 광학 경로로부터의 광을 필터링하고, 좌측 CCD(1531A)는 시간 (t+2)에서 청색 좌측 이미지(1536L)를 캡처한다. 시간 (t+3)에서, 회전 필터(1532A)는 형광 필터로 내시경(1501)의 좌측 광학 경로로부터의 광을 필터링하고, 좌측 CCD(1531A)는 시간 (t+3)에서 형광 좌측 이미지(1537L)를 캡처한다.
시간 t에서, 회전 필터(1532B)는 적색 필터로 내시경(1501)의 우측 광학 경로로부터의 광을 필터링하고, 우측 CCD(1533A)는 시간 t에서 적색 우측 이미지(1534R)를 캡처한다. 시간 (t+1)에서, 회전 필터(1532A)는 녹색 필터로 내시경(1501)의 우측 광학 경로로부터의 광을 필터링하고, 우측 CCD(1533A)는 시간 (t+1)에서 녹색 좌측 이미지(1535R)를 캡처한다. 시간 (t+2)에서, 회전 필터(1532B)는 청색 필터로 내시경(1501)의 우측 광학 경로로부터의 광을 필터링하고, 우측 CCD(1533A)는 시간 (t+2)에서 청색 우측 이미지(1536R)를 캡처한다. 시간 (t+3)에서, 회전 필터(1532B)는 형광 필터로 내시경(1501)의 우측 광학 경로로부터의 광을 필터링하고, 우측 CCD(1533A)는 시간 (t+3)에서 형광 좌측 이미지(1537R)를 캡처한다.
본 측면에서, 캡처 프로세스는 시간 (t+4)에 대해 시작한다. 도 15의 예에서, 4개의 프레임이 CCD 센서에 의해 캡처되는 것으로 도시된다. 이는 예시의 편의를 위한 것일 뿐, 한정을 의도하는 것은 아니다. 공지된 바와 같이, 프레임의 캡처전에, CCD 센서에서 미리 캡처된 프레임이 예를 들면 하기에 보다 완전히 기술되는 처리를 위해 버퍼로 이동될 수 있다.
본 예시에서, 조합 광원에서의 2개의 광원이 연속하여 온으로 유지된다. 또다른 측면에서, 백색 광원은 시간 t, (t+1), (t+2)에서는 캡처에 대해 온으로 유지되고, 시간 (t+3)에서의 캡처 전에 턴오프된다. 시간 (t+3)에서의 캡처에 대해, 레이저가 턴온된다. 본 측면에서, 형광 필터는 사용되지 않는다.
시분할-단일한 CCD 카메라 유닛을 가진 단일한 입체 광학 경로- 인텔리전트 이미지 처리 시스템(130H)
형광 및 가시성 컴포넌트가 상이한 시간 인스턴스에서 캡처되기 때문에, 가시성 좌측 이미지 컬렉터(1541)가 언제 가시성 좌측 이미지 데이터 중 3개의 새로운 프레임이 가용하고 가시성 이미지 프레임으로서 이들 3개의 프레임을 브렌드 회로(1551)로 제공하는 지를 판정한다. 유사하게, 형광 좌측 이미지 컬렉터(1543)가 언제 형광 좌측 이미지 데이터 중 새로운 프레임이 가용하고 그 프레임을 형광 이미지로서 브렌드 회로(1551)로 제공하는 지를 판정한다. 컬렉터(1542)와 컬렉터(1544)는 우측 이미지에 대해 유사하게 동작하고 데이터를 브렌드 회로(1552)로 제공한다.
하나의 측면에서, 캡처 프레임 속도는 정상 비디오 디스플레이 속도의 4배이고, 비디오 디스플레이는 초당 정상수(normal number)의 프레임을 가진다. 그러나, 이러한 측면은 다양한 프레임 속도를 가지고 사용될 수 있다. 예를 들면, 형광 캡처 프레임 속도는 가시성 이미지 캡처 프레임 속도의 분수가 될 수 있다. 형광 프레임이 캡처된 모든 RGB 프레임에 대해 캡처되지 않을 때, 도 9a의 피처가 예를 들면 데이터를 처리하고 인위적인 형광 프레임을 생성하기 위해 사용될 수 있다.
시분할-단일한 CCD 카메라 유닛을 가진 단일한 입체 광학 경로-확대 입체 디스플레이 시스템(140H)
하나의 측면에서, 확대 입체 비디오 출력 디스플레이는 다양한 모드에서 동작될 수 있다. 디스플레이 모드 선택(1560), 사용자 인터페이스(1593), 및 브렌드 회로(1551, 1552)와의 상호작용의 동작은 디스플레이 모드 선택(360), 사용자 인터페이스(393), 및 브렌드 회로(351, 352)와의 상호작용에 대한 상기 설명과 동일하고, 그 설명은 참조에 의해 본문에 통합된다.
확대 디스플레이에서 형광 이미지를 개선시키기 위해 상술한 기술이 또한 본 실시예에 적용가능하다.
상술한 모든 측면에서, 형광 면적은 이미지로부터 추출되고 의사-컬러링으로 식별될 수 있다. 또한, 선택된 임계값 미만의 노이즈를 제거하기 위한 이미지 처리가 이미지 품질을 개선하기 위해 수행될 수 있다.
하나의 실시예에서, CCD 카메라로부터의 IR 필터는 형광 이미지 캡처 개선을 위해 적색 및 근 적외선 파장에 대한 감도를 증가시키기 위해 제거된다.
상술한 가시성 및 형광 이미지에 대한 임의의 다양한 비디오 캡처 측면에서, 프레임 속도는 이미지 캡처를 개선하기 위해 변경될 수 있다. 가시성 이미지는 외과의가 외과의의 콘솔에서 입체 비디오 출력으로 조직과 최소 침습 수술 도구를 보도록하는 수용가능한 이미지를 제공하기 위해 표준 비디오 프레임 속도(예를 들면, 30Hz)로 캡처된다. 형광 이미지에 대한 프레임 속도는 가시성 이미지에 대해 사용되는 것과 동일한 프레임 속도이거나, 또는 상술한 프로세스들을 이용하여 느려질 수 있다(예를 들면, 8Hz). 사용되는 광학 경로와 카메라 유닛에 따라, 상술한 프로세스의 다양한 조합이 가시성 또는 형광 중 하나인, 임의의 누락된 프레임을 생성하기 위해 사용될 수 있다.
일부 예에서, 느린 프레임 속도는 약하게 발광하는 영역에서의 중요한 이미지 정보를 캡처하기 위해 중요하다. 느린 프레임 속도는 형광 이미지를 캡처하는 카메라/칩으로 하여금 관심 조직에서의 여기된 형광체로부터의 형광 에너지를 수신하는 더 많은 시간을 허용한다. 로봇 수술 시스템에 의해 제공되는 이동가능하지만 정지한 내시경 카메라 플랫폼은 일부 형광 이미지에 필요한 느린 프레임 속도의 캡처에 대해 현저한 효익을 가진다. 반대로, 핸드-헬드 내시경은 흐릿하게 되는 느린 프레임 속도의 이미지를 산출한다.
일부 측면에서, 상이한 프레임 속도에서 캡처된 가시성 이미지 및 형광 이미지는 인위적 형광 프레임을 생성함으로써 상술한 것과 동일한 방식으로 동기화된다. da Vinci? Surgical System 플랫폼에 의해 고정되게 유지되는 내시경 카메라와 같은, 고정된 카메라의 경우에, 호흡에 의한 움직임과 같은, 상대적으로 작은 움직임 만 카메라와 조직 사이에 발생한다. 이러한 작은 움직임에 대해, 캡처된 형광 이미지에서의 선명하지 못함은 다수의 상황에서 무시될 수 있다. da Vinci? Surgical System 내시경 카메라가 로봇 카메라 머니퓰레이터 암에 의해 이동될 때와 같은, 이동 카메라의 경우에, 움직임으로 인한 흐릿한 형광 이미지가 뿌옇게 되지 않도록 가시성 이미지의 임시 등록이 먼저 수행된다. 그런다음, 형광 이미지가 상술한 바와 같이 이미지 동기화를 위해 생성될 수 있다.
상술한 바와 같이, 형광 이미지는 의학적 관심 대상인 조직을 나타내기 때문에, 형광 이미지는 외과의의 비디오 디스플레이 프리젠테이션을 개선하기 위해 처리될 수 있다. 이러한 처리는 인위적인 형광 이미지를 산출한다. 예를 들면, 형광 이미지에서의 형광 영역은 공지된 방법을 이용하여 인위적으로 채색된다(의사-컬러링). 인위적 형광 이미지가 가시성 비디오 이미지와 혼합될 때, 외과의는 그런다음 가시성 이미지에서의 주변 조직에 대해 고 컨트라스트로 형광 조직(예를 들면, 밝은 녹색으로 된)을 본다. 알파 혼합과 같은, 의사 컬러의 형광 이미지 및 가시성 이미지의 상이한 이미지 혼합 옵션이 가용하게 될 수 있다.
상술한 측면에 따라, 당업자는 이미지 센서들이 환자의 외부 또는 내시경의 인접단부에 배치되거나, 또는 그것들이 조직에 인접한 내시경의 최단부에 배치될 수 있다는 것을 이해할 것이다. 좌우측 입체 이미지는 개별 칩 또는 카메라에 의해 캡처될 수 있거나 또는, 그것들은 단일한 카메라에서 단일 칩의 상이한 영역에 의해 캡처될 수 있다.
대안의 이미징이 형광에 대해 기술되었지만, 다른 이미징 모달리티가 포함될 수 있다. 일부 측면에서, 가시성 이미지 및 대안의 이미지가 2차원(단일 채널; 모노스코프) 이미지 캡처 및 디스플레이 시스템에서 혼합될 수 있다.
수술 로봇 시스템에서 실시간으로 가시성 및 형광 이미지 모두를 무결절로 혼합하는 것은 외과의에게 현저한 절차상 이점을 제공하고, 환자에게는 현저한 수술의 이점을 제공한다. 수술하는 동안 관심의 형광 조직을 외과의가 볼수 있도록 하는 것은 병든 조직을 식별하고 제거하며, 보존되어야할 건강한 조직을 식별하는 데에 있어서의 정확성과 완전성 모두를 개선시킨다. 예를 들면, 전립선 수술동안, 병든 전립선 중 일부 또는 전부가 제거되지만, 발기부전 및/또는 요실금을 일으키는 것을 방지하기 위해 인접한 신경을 보존하는 것이 필요하다.
(발명의 측면)
(01700으로부터)
수술 로봇용 확대 입체 가시영상에 연관된 측면은 하기를 포함하지만, 그에 한정되는 것은 아니다:
1. 로봇 수술 시스템의 로봇 머니퓰레이터 암에 의해 유지되고 포지셔닝되는 내시경;
상기 내시경에 결합되는 가시성 이미징 시스템으로서, 조직의 가시성 이미지를 캡처하는 가시성 이미징 시스템;
상기 내시경에 결합된 대안의 이미징 시스템으로서, 조직의 적어도 일부의 형광 이미지를 캡처하는 대안의 이미징 시스템; 및
상기 가시성 이미징 시스템과 상기 대안의 이미징 시스템에 결합된 입체 비디오 디스플레이 시스템;을 포함하고,
상기 입체 비디오 디스플레이 시스템은 캡처된 형광 이미지 및 가시성 이미지에 연관된 또다른 형광 이미지의 3차원 혼합을 구비하는 실시간 입체 이미지를 출력하는 것을 특징으로 하는 로봇 수술 시스템.
2. 제 1항의 측면에 있어서,
조합광원으로서,
제 1광원; 및
형광을 발광하는 제 2 광원;
을 구비하는 조합광원; 및
상기 조합 광원 및 내시경에 연결되어 상기 조합광원으로부터의 광을 상기 내시경으로 제공하는 적어도 하나의 광 파이버 번들;을 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
3. 제 2 항의 측면에 있어서, 상기 제 2 광원은 적어도 하나의 광 파이버 번들이 상기 내시경과 조합 광원에 연결되어있는 동안 상이한 광원으로 변경될 수 있는 것을 특징으로 하는 로봇 수술 시스템.
4. 제 1항의 측면에 있어서, 상기 대안의 이미징 시스템은:
인텔리전트 이미지 처리 시스템의 적어도 일부를 포함하고,
상기 인텔리전트 이미지 처리 시스템의 적어도 일부는 입체쌍의 형광 이미지를 생성하기 위해 상기 형광이미지에 연관된 정보를 이용하고, 이는 또다른 형광 이미지인 것을 특징으로 하는 로봇 수술 시스템.
5. 제 1항의 측면에 있어서, 상기 가시성 이미징 시스템은:
인텔리전트 이미지 처리 시스템의 적어도 일부를 포함하고,
상기 인텔리전트 이미지 처리 시스템의 적어도 일부는 제 2 가시성 이미지를 생성하기 위해 상기 가시성 이미지에 연관된 정보를 이용하고, 상기 가시성 이미지와 제 2 가시성 이미지는 입체 쌍의 가시성 이미지를 포함하는 것을 특징으로 하는 로봇 수술 시스템.
6. 제 5항의 측면에 있어서, 상기 대안의 이미징 시스템은:
인텔리전트 이미지 처리 시스템의 또다른 부분을 포함하고, 상기 인텔리전트 이미지 처리 시스템의 또다른 부분은 제 2 형광 이미지를 생성하기 위해 상기 형광 이미지에 연관된 정보를 이용하고, 상기 제 2 형광 이미지는 또다른 형광 이미지인 것을 특징으로 하는 로봇 수술 시스템.
7. 제 1 항의 측면에 있어서, 상기 입체 비디오 디스플레이는 복수의 모드를 구비하는 입체 디스플레이 모드 선택기를 더 포함하고, 상기 복수의 모드는:
제 1 모드의 선택시, 상기 입체 비디오 디스플레이 시스템이 상기 가시성 이미지와 또다른 형광 이미지의 실시간 3차원 혼합을 출력하는 제 1 모드; 및
제 2 모드의 선택시, 상기 입체 비디오 디스플레이 시스템이 실시간 3차원 가시성 이미지만을 출력하는 제 2 모드;를 포함하는 것을 특징으로 하는 로봇 수술 시스템.
8. 제 1 항의 측면에 있어서, 상기 가시성 이미지와 또다른 형광 이미지의 실시간 3차원 혼합은 입체 이미지의 한쪽 눈에서만 제시되는 것을 특징으로 하는 로봇 수술 시스템.
9. 제 1 항의 측면에 있어서,
상기 가시성 이미징 시스템은 제 1 프레임 속도로 가시성 이미지를 캡처하고; 및
상기 대안의 이미징 시스템은 제 2 프레임 속도로 형광 이미지를 캡처하고, 상기 제 1 프레임 속도는 상기 제 2 프레임 속도와 상이한 것을 특징으로 하는 로봇 수술 시스템.
10. 제 9 항의 측면에 있어서, 상기 대안의 이미징 시스템은 제 1 프레임 속도로 형광 이미지를 입체 비디오 디스플레이 시스템으로 제공하고, 상기 대안의 이미징 시스템은 상기 형광 이미지를 가시성 이미지와 동기화시키기 위해 인위적인 형광 이미지를 생성하는 것을 특징으로 하는 로봇 수술 시스템.
11. 로봇 수술 시스템의 로봇 머니퓰레이터 암에 의해 유지되고 포지셔닝되는 내시경으로부터 조직의 가시성 이미지를 캡처하는 단계;
내시경으로부터, 형광 이미지를 포함하는 상기 조직의 적어도 일부의 대안의 이미지를 캡처하는 단계; 및
실시간 입체 비디오 디스플레이에서의 캡처된 형광 이미지 및 가시성 이미지에 연관된 또다른 형광 이미지의 혼합을 로봇 수술 시스템을 동작시키는 사람에게 출력하는 단계;를 포함하는 것을 특징으로 하는 방법.
12. 제 11 항의 측면에 있어서, 조합 광원으로부터의 광을 내시경으로 제공하기 위해 상기 내시경에 조합 광원을 결합시키는 단계;를 더 포함하는 것을 특징으로 하는 방법.
13. 제 12항의 측면에 있어서, 상기 조합 광원이 상기 내시경에 결합상태를 유지하는 동안 상기 조합 광원에서의 광원을 상이한 광원으로 변경시키는 단계를 더 포함하는 것을 특징으로 하는 방법.
14. 제 11항의 측면에 있어서, 또다른 형광 이미지인, 입체 쌍의 형광 이미지를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
15. 제 11 항의 측면에 있어서, 상기 가시성 이미지에 연관된 정보를 이용하여 제 2 가시성 이미지를 생성하는 단계;를 더 포함하고, 상기 가시성 이미지와 제 2 가시성 이미지는 입체쌍의 가시성 이미지를 포함하는 것을 특징으로 하는 방법.
16. 제 15 항의 측면에 있어서, 상기 형광 이미지에 연관된 정보를 이용하여 제 2 형광 이미지를 생성하는 단계;를 더 포함하고, 상기 제 2 형광 이미지는 또다른 형광 이미지인 것을 특징으로 하는 방법.
17. 제 11 항의 측면에 있어서,
제 1 디스플레이 모드를 선택하는 외과의에 대해 실시간 입체 비디오 디스플레이로 가시성 이미지와 형광 이미지의 혼합 출력을 수행하는 단계; 및
제 2 디스플레이 모드를 선택하는 외과의에 대해, 실시간 입체 비디오 디스플레이에서 가시성 이미지만을 출력하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
18. 제 11 항의 측면에 있어서, 상기 로봇 수술 시스템을 동작시키는 사람에게 실시간 입체 비디오 디스플레이에서 캡처된 형광 이미지와 가시성 이미지에 연관된 또다른 형광 이미지의 혼합을 출력하는 단계는 실시간 입체 비디오 디스플레이의 한쪽 눈에서만 상기 가시성 이미지와 또다른 형광 이미지의 혼합을 출력하는 단계를 더 포함하는 것을 특징으로 하는 방법.
19. 제 11 항의 측면에 있어서,
상기 조직의 가시성 이미지를 캡처하는 단계는 제 1 프레임 속도로 상기 가시성 이미지를 캡처하는 단계를 더 포함하고; 및
상기 조직의 적어도 일부의 대안의 이미지를 캡처하는 단계는 제 2 프레임 속도로 상기 대안의 이미지를 캡처하는 단계를 더 포함하고, 상기 제 1 프레임 속도는 상기 제 2 프레임 속도와 상이한 것을 특징으로 하는 방법.
20. 제 19 항의 측면에 있어서, 상기 형광 이미지를 상기 가시성 이미지와 동기화시키기 위해 인위적인 형광 이미지를 생성하는 단계를 더 포함하는 것을 특징으로 하는 방법.
(01701으로부터)
캡처된 형광 이미지 및 캡처된 입체 가시성 이미지를 이용하는 수술 로봇용 확대 입체 가시영상에 연관된 측면은 하기를 포함하지만, 그에 한정되는 것은 아니다:
1. 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 조명 채널로서, 상기 조명 채널로부터의 광이 조직을 조광하는 조명 채널;
상기 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 조직으로부터의 제 1 광을 전달하기 위한 입체 광학 채널;
상기 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 조직으로부터의 제 2 광을 전달하기 위한 또다른 광학 채널로서, 상기 입체 광학 채널은 상기 또다른 광학 채널과는 상이한 광학 채널;
이미지 캡처 시스템;
인텔리전트 이미지 처리 시스템; 및
확대 입체 디스플레이 시스템;을 포함하고,
상기 이미지 캡처 시스템은,
상기 입체 광학 채널에 결합되고, 상기 제 1 광으로부터의 입체 가시성 이미지를 캡처하는 제1 캡처 유닛, 및
상기 또다른 광학 채널에 결합되고, 상기 제 2 광으로부터의 형광 이미지를 캡처하는 제 2 캡처 유닛,을 포함하고,
상기 인텔리전트 이미지 처리 시스템은, 입체 가시성 이미지와 형광 이미지를 수신하기 위해 상기 제 1 캡처 유닛과 상기 제 2 캡처유닛에 결합되고, 입체쌍의 형광 이미지를 생성하고,
상기 확대 입체 디스플레이 시스템은, 상기 인텔리전트 이미지 처리 시스템과 이미지 캡처 시스템에 결합되고, 상기 확대 입체 디스플레이 시스템은 입체 가시성 이미지와 입체 쌍의 형광 이미지의 3차원 혼합을 구비하는 실시간 입체 이미지를 출력하는 것을 특징으로 하는 로봇 수술 시스템.
2. 제 1 항의 측면에 있어서, 상기 조명 채널과 입체 광학 채널은 제 1 내시경에 있고, 상기 또다른 광학 채널은 상기 제 1 내시경과 상이한 제 2 내시경에 있는 것을 특징으로 하는 로봇 수술 시스템.
3. 제 2 항의 측면에 있어서, 상기 제 2 내시경에 또다른 조명 채널을 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
4. 제 1 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은:
단일 스텝 조정을 더 포함하고, 상기 단일 스텝 조정은 입체 광학 채널과 또다른 광학 채널로부터의 이미지를 정렬하도록 하기 위해 필요한 변위를 판정하는 것을 특징으로 하는 로봇 수술 시스템.
5. 제 1 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은:
입체 가시성 이미지에서의 가시성 좌측 이미지로 형광 이미지를 등록하고, 입체 가시성 이미지에서의 가시성 우측 이미지로 형광 이미지를 등록하기 위한 공간 이미지 등록;을 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
6. 제 1 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은:
입체쌍의 형광 이미지로 형광 이미지를 변환하기 위한 이미지 와퍼;를 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
7. 제 1 항의 측면에 있어서, 상기 확대 입체 디스플레이 시스템은:
입체 쌍의 형광 이미지에서의 형광 좌측 이미지, 및 입체 가시성 이미지의 가시성 좌측 이미지로 결합된 제 1 브렌드 회로; 및
입체 쌍의 형광 이미지에서의 형광 우측 이미지, 및 입체 가시성 이미지의 가시성 우측 이미지로 결합된 제 2 브렌드 회로; 및
제 1 브렌드 회로와 제 2 브렌드 회로에 결합된 입체 디스플레이;를 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
8. 제 7 항에 있어서, 상기 확대 입체 디스플레이 시스템은:
상기 제 1 및 제 2 브렌드 회로에 결합되고, 복수의 선택가능한 모드를 구비한 디스플레이 모드 선택;을 더 포함하고,
제 1 모드 선택시, 입체 디스플레이는 입체 가시성 이미지의 실시간 3차원 혼합과 입체쌍의 형광 이미지를 제공하고; 및
제 2 모드의 선택시, 입체 디스플레이는 실시간 입체 가시성 이미지만을 제공하는 것을 특징으로 하는 로봇 수술 시스템.
9. 제 1 항의 측면에 있어서, 조명 경로에 결합된 조합 광원을 더 포함하고, 상기 조합 광원은:
제 1 조명광을 제공하는 제 1 광원; 및
상기 제 1 조명광과 상이한 제 2 조명광을 제공하는 제 2 광원;을 포함하는 것을 특징으로 하는 로봇 수술 시스템.
10. 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 조명 채널로서, 상기 조명 채널로부터의 광이 조직을 조광하는 조명 채널;
상기 로봇 수술 시스템에 의해 유지되고 포지셔닝되는, 조직으로부터의 제 1 광을 전달하기 위한 입체 광학 채널;
상기 로봇 수술 시스템에 의해 유지되고 포지셔닝되는, 조직으로부터의 제 2 광을 전달하기 위한 상기 입체 광학 채널과는 상이한 또다른 광학 채널;
상기 조명 경로에 결합되는 조합 광원;
이미지 캡처 시스템;
인텔리전트 이미지 처리 시스템; 및
확대 입체 디스플레이 시스템;을 포함하고,
상기 조합 광원은,
제 1 조명광을 제공하기 위한 제 1 광원, 및
상기 제 1 조명광과 상이한 제 2 조명광을 제공하기 위한 제 2 광원,을 포함하고,
상기 이미지 캡처 시스템은,
상기 입체 광학 채널에 결합되고, 상기 제 1 광으로부터의 입체 가시성 이미지를 캡처하는 제1 캡처 유닛, 및
상기 또다른 광학 채널에 결합되고, 상기 제 2 광으로부터의 형광 이미지를 캡처하는 제 2 캡처 유닛,을 포함하고,
입체 가시성 이미지와 형광 이미지를 수신하기 위해 상기 제 1 캡처 유닛과 상기 제 2 캡처 유닛에 결합되는, 상기 인텔리전트 이미지 처리 시스템은,
입체 광학 채널 및 또다른 광학 채널로부터의 이미지를 정렬로 가져가는 데에 필요한 변위를 판정하는, 단일-스텝 조정, 및
상기 단일-스텝 조정에 결합되고, 입체 가시성 이미지에서의 가시성 좌측 이미지와 입체 가시성 이미지에서의 가시성 우측 이미지로 형광 이미지를 등록하는 공간 이미지 등록; 및
상기 공간 이미지 등록과 형광 이미지에 결합되고, 상기 형광 이미지를 입체 쌍의 형광 이미지로 변환하기 위한 이미지 와퍼를 포함하고,
상기 인텔리전트 이미지 처리 시스템과 이미지 캡처 시스템에 결합되고, 입체 가시성 이미지와 입체 쌍의 형광 이미지의 3차원 혼합을 구비하는 실시간 입체 이미지를 출력하는 상기 확대 입체 디스플레이 시스템은,
입체 쌍의 형광 이미지에서의 형광 좌측 이미지와 입체 가시성 이미지의 가시성 좌측 이미지에 결합된 제 1 브렌드 회로;
입체 쌍의 형광 이미지에서의 형광 우측 이미지와 입체 가시성 이미지의 가시성 우측 이미지에 결합된 제 2 브렌드 회로;
상기 제 1 브렌드 회로 및 제 2 브렌드 회로에 결합된 입체 디스플레이; 및
복수의 선택가능한 모드를 구비한, 상기 제 1 및 제 2 브렌드 회로에 결합된 디스플레이 모드 선택부;를 구비하고,
제 1 모드의 선택시, 상기 입체 디스플레이는 입체 가시성 이미지 및 입체 쌍의 형광 이미지의 실시간 3차원 혼합을 제공하고,
제 2 모드 선택시, 상기 입체 디스플레이는 실시간 입체 가시성 이미지 만을 제공하는 것을 특징으로 하는 로봇 수술 시스템.
11. 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 입체 광학 경로로부터 조직의 입체 가시성 이미지를 캡처하는 단계;
상기 입체 광학 채널과 상이하고, 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 또다른 광학 채널로부터 조직의 형광 이미지를 캡처하는 단계;
입체 쌍의 형광 이미지를 생성하기 위해 입체 가시성 이미지로부터의 정보를 이용하여 형광 이미지를 처리하는 단계; 및
입체 가시성 이미지와 입체 쌍의 형광 이미지의 3차원 혼합을 구비하는 조직의 실시간 확대 입체 이미지를 생성하는 단계;를 포함하는 것을 특징으로 하는 방법.
12. 제 11 항의 측면에 있어서, 상기 조명 채널과 입체 광학 채널은 제 1 내시경에 있고, 상기 또다른 광학 채널은 제 1 내시경과 상이한 제 2 내시경에 있는 것을 특징으로 하는 방법.
13. 제 11 항의 측면에 있어서, 상기 형광 이미지 처리단계는:
상기 입체 광학 채널과 상기 또다른 광학 채널로부터의 이미지를 정렬로 가져가는 데에 필요한 변위를 판정하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
14. 제 11 항의 측면에 있어서, 상기 형광 이미지 처리단계는:
상기 입체 가시성 이미지에서의 가시성 좌측 이미지와 상기 입체 가시성 이미지에서의 가시성 우측 이미지로 형광 이미지를 공간적으로 등록하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
15. 제 11 항의 측면에 있어서, 상기 형광 이미지 처리 단계는:
상기 형광 이미지를 이미지 와퍼를 이용하여 입체 쌍의 형광 이미지로 변환하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
16. 제 1 항의 측면에 있어서, 실시간 확대 입체 이미지를 생성하는 단계는:
입체쌍의 형광 이미지에서의 형광 좌측 이미지와 입체 가시성 이미지의 가시성 좌측 이미지를 혼합하는 단계; 및
입체쌍의 형광 이미지에서의 형광 우측 이미지와 입체 가시성 이미지의 가시성 우측 이미지를 혼합하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
17. 제 11 항의 측면에 있어서,
외과의가 제 1 디스플레이 모드를 선택할 때, 입체 가시성 이미지와 입체쌍의 형광 이미지의 3차원 혼합을 구비하는 조직의 실시간 확대 입체 이미지 생성을 수행하는 단계; 및
외과의가 제 2 디스플레이 모드를 선택할 때, 입체 가시성 이미지만을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
18. 제12 항의 측면에 있어서, 조합 광원으로부터의 광을 내시경으로 제공하기 위해 조합 광원을 제 1 내시경에 결합하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
19. 제 12 항의 측면에 있어서,
조합 광원에서의 제 1 광원으로부터의 광을 제 1 내시경에서의 조명 경로에 결합하는 단계; 및
조합 광원에서의 제 2 광원으로부터의 광을 제 2 내시경에서의 조명 경로에 결합하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
(01702로부터)
형광 이미지와 조합된 캡처된 가시성 이미지와 캡처된 가시성 이미지를 이용하는 수술 로봇요 확대 입체 가시영상에 연관된 측면은 하기를 포함하지만, 그에 한정된 것은 아니다:
1. 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 내시경으로서,
조직으로부터의 광을 전달하는 입체 광학 채널;
상기 입체 광학 채널에 결합되는 캡처 유닛으로서, 상기 캡처 유닛은 (1) 가시성 제 1 이미지 및 (2) 상기 광으로부터의 형광 제 2 이미지와 조합된 가시성 제 2 이미지를 캡처하고, 상기 제 1 이미지는 좌측 이미지 및 우측 이미지 중 하나이고, 상기 제 2 이미지는 좌측 이미지 및 우측 이미지 중 다른 하나인, 캡처 유닛;
을 포함하는 내시경;
(1) 가시성 제 1 이미지와 (2) 형광 제 2 이미지와 조합된 상기 가시성 제 2 이미지를 수신하도록 캡처 유닛에 결합된 인텔리전트 이미지 처리 시스템으로서, 입체 쌍의 형광 이미지 중 적어도 하나의 형광 이미지와 가시성 제 2 이미지를 생성하는 인텔리전트 이미지 처리 시스템; 및
상기 인텔리전트 이미지 처리 시스템과 상기 이미지 캡처 시스템에 결합되고, 하나의 눈에서는 입체 쌍의 형광 이미지 중 적어도 하나의 형광 이미지와 가시성 제 1 및 제 2 이미지 중 하나의 혼합을; 그리고 다른 눈에서는, 상기 가시성 제 1 및 제 2 이미지 중 다른 하나를 구비하는 3차원 프리젠테이션을 포함하는 실시간 입체 이미지를 출력하는 확대 입체 디스플레이 시스템;을 포함하는 것을 특징으로 하는 로봇 수술 시스템.
2. 제 2 항의 측면에 있어서, 상기 내시경은 조명 채널을 더 포함하고, 상기 로봇 수술 시스템은 상기 조명 채널에 결합된 조합광원을 더 포함하고, 상기 조합 광원은:
제 1 조명광을 제공하는 제 1 광원; 및
상기 제 1 조명광과 상이한 제 2 조명광을 제공하는 제 2 광원;을 구비하는 것을 특징으로 하는 로봇 수술 시스템.
3. 제 2 항의 측면에 있어서, 조명 채널을 조합 광원에 연결하는 광 파이버 번들;을 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
4. 제 3 항의 측면에 있어서, 적어도 하나의 광 파이버 번들이 상기 조명 채널 및 조합 광원에 연결상태를 유지하는 동안 상기 제 2 광원은 상이한 광원으로 변경될 수 있는 것을 특징으로 하는 로봇 수술 시스템.
5. 제 1 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은:
형광 제 2 이미지와 조합된 가시성 제 2 이미지로 상기 가시성 제 1 이미지를 등록하기 위한 공간 이미지 등록;을 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
6. 제 1 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은:
상기 가시성 제 1 이미지를 가시성 제 2 이미지로 변환시키기 위한 제 1 이미지 와퍼;를 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
7. 제 6 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은:
상기 가시성 제 2 이미지를 수신하기 위해 상기 제 1 이미지 와퍼에 결합되고 상기 형광 제 2 이미지에 조합된 가시성 제 2 이미지를 수신하기 위해 캡처 유닛에 결합되는 제 1 이미지 감산기를 더 포함하고, 상기 이미지 감산기는 형광 제 2 이미지를 생성하기 위해 형광 제 2 이미지와 조합된 가시성 제 2 이미지로부터 가시성 제 2 이미지를 감산하는 것을 특징으로 하는 로봇 수술 시스템.
8. 제 7 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은:
(ⅰ) 형광 제 2 이미지를 수신하기 위해 제 1 이미지 감산기로, (ⅱ) 상기 형광 제 2 이미지와 조합된 가시성 제 2 이미지를 수신하기 위해 캡처 유닛으로, 결합된 제 2 이미지 감산기를 더 포함하고, 상기 제 2 이미지 감산기는 또다른 가시성 제 2 이미지를 생성하기 위해 상기 형광 제 2 이미지와 조합된 가시성 제 2 이미지로부터 형광 제 2 이미지를 감산하는 것을 특징으로 하는 로봇 수술 시스템.
9. 제 7 항의 측면에 있어서, 인텔리전트 이미지 처리 시스템은:
형광 제 2 이미지를 형광 제 1 이미지로 변환하는 제 2 이미지 와퍼;를 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
10. 제 7 항의 측면에 있어서, 상기 확대 입체 디스플레이 시스템은:
가시성 제 1 이미지에 결합된 제 1 브렌드 회로;
형광 제 2 이미지 및 가시성 제 2 이미지에 결합된 제 2 브렌드 회로; 및
제 1 브렌드 회로와 제 2 브렌드 회로에 결합된 입체 디스플레이;를 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
11. 제 10 항의 측면에 있어서, 상기 확대 입체 디스플레이 시스템은:
제 1 및 제 2 브렌드 회로에 결합되고, 복수의 선택가능한 모드를 구비하는 디스플레이 모드 선택을 더 포함하고,
제 1 모드 선택시, 상기 입체 디스플레이는 가시성 제 1 및 제 2 이미지로부터 실시간 3차원 가시성 이미지만을 제공하고; 및
제 2 모드 선택시, 한쪽 눈에서는, 입체 쌍의 형광 이미지 중 적어도 하나의 형광 이미지와 가시성 제 1 및 제 2 이미지 중 하나의 혼합; 및 다른 쪽 눈에서는, 상기 가시성 제 1 및 제 2 이미지 중 다른 하나를 구비하는 3차원 프리젠테이션을 상기 입체 디스플레이가 제공하는 것을 특징으로 하는 로봇 수술 시스템.
12. 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 내시경으로서,
조직으로부터의 광을 전달하는 입체 광학 채널;
상기 입체 광학 채널에 결합되는 캡처 유닛으로서, 상기 캡처 유닛은 (1) 가시성 제 1 이미지 및 (2) 상기 광으로부터의 형광 제 2 이미지와 조합된 가시성 제 2 이미지를 캡처하고, 상기 제 1 이미지는 좌측 이미지 및 우측 이미지 중 하나이고, 상기 제 2 이미지는 좌측 이미지 및 우측 이미지 중 다른 하나인, 캡처 유닛;
을 포함하는 내시경;
(1) 가시성 제 1 이미지와 (2) 형광 제 2 이미지와 조합된 가시성 제 2 이미지를 수신하도록 캡처 유닛에 결합된 인텔리전트 이미지 처리 시스템으로서,
형광 제 2 이미지와 조합된 가시성 제 2 이미지로 상기 가시성 제 1 이미지를 등록하는 공간 이미지 등록부;
상기 공간 이미지 등록부에 결합되고, 상기 가시성 제 1 이미지를 가시성 제 2 이미지로 변환하는 제 1 이미지 와퍼;
가시성 제 2 이미지를 수신하기 위해 상기 제 1 이미지 와퍼에 결합되고, 상기 형광 제 2 이미지와 조합된 가시성 제 2 이미지를 수신하기 위해 상기 캡처 유닛에 결합되고, 상기 가시성 제 2 이미지를 상기 형광 제 2 이미지와 조합된 상기 가시성 제 2 이미지로부터 차감하여 형광 제 2 이미지를 생성하는 제 1 이미지 감산기(subtractor);
(ⅰ) 형광 제 2 이미지를 수신하기 위해 제 1 이미지 감산기로 결합되고, (ⅱ) 상기 형광 제 2 이미지와 조합된 가시성 제 2 이미지를 수신하기 위해 상기 캡처 유닛에 결합되고, 상기 형광 제 2 이미지를 상기 형광 제 2 이미지와 조합된 상기 가시성 제 2 이미지로부터 차감하여 또다른 가시성 제 2 이미지를 생성하는 제 2 이미지 감산기;
상기 공간 이미지 등록부와 상기 형광 제 2 이미지에 결합되고, 상기 형광 제 2 이미지를 형광 제 1 이미지로 변환하는 제 2 이미지 와퍼;
를 포함하는 인텔리전트 이미지 처리 시스템; 및
상기 인텔리전트 이미지 처리 시스템과 상기 이미지 캡처 시스템에 결합되고, 하나의 눈에서는 형광 제 1 및 제 2 이미지 중 적어도 하나의 형광 이미지와 가시성 제 1 및 제 2 이미지 중 하나의 혼합을; 그리고 다른 눈에서는, 가시성 제 1 및 제 2 이미지 중 다른 하나를 구비하는 3차원 프리젠테이션을 포함하는 실시간 입체 이미지를 출력하는 확대 입체 디스플레이 시스템;을 포함하는 것을 특징으로 하는 로봇 수술 시스템.
13. 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 내시경에서의 입체 광학 경로로부터 조직의 가시성 제 1 이미지를 캡처하는 단계;
상기 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 내시경에서의 입체 광학 경로로부터 조직의 형광 제 2 이미지와 조합된 가시성 제 2 이미지를 캡처하는 단계로서, 상기 제 1 이미지는 좌측 이미지 및 우측 이미지 중 하나이고, 제 2 이미지는 상기 좌측 이미지 및 우측 이미지 중 다른 하나인 단계;
입체 쌍의 형광 이미지 중 적어도 하나와 가시성 제 2 이미지를 생성하기 위해 형광 제 2 이미지와 조합된 가시성 제 2 이미지와 가시성 제 1 이미지를 처리하는 단계; 및
한쪽의 눈에서는 입체 쌍의 형광 이미지 중 적어도 하나의 형광 이미지와 가시성 제 1 이미지 및 제 2 이미지 중 하나의 혼합; 및 다른 쪽 눈에서는, 가시성 제 1 이미지 및 제 2 이미지 중 다른 하나를 구비하는 3차원 프리젠테이션을 포함하는 실시간 입체 이미지를 생성하는 단계;를 포함하는 것을 특징으로 하는 방법.
14. 제 13 항의 측면에 있어서, 상기 처리단계는:
가시성 제 1 이미지를 형광 제 2 이미지와 조합된 가시성 제 2 이미지로 공간적으로 등록하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
15. 제 13 항의 측면에 있어서, 상기 처리단계는:
이미지 와퍼를 이용하여, 상기 가시성 제 1 이미지를 가시성 제 2 이미지로 변환하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
16. 제 15 항에 있어서, 상기 처리 단계는:
형광 제 2 이미지를 생성하기 위해 형광 제 2 이미지와 조합된 가시성 제 2 이미지로부터 가시성 제 2 이미지를 감산하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
17. 제 16 항의 측면에 있어서, 상기 처리단계는:
또다른 가시성 제 2 이미지를 생성하기 위해 형광 제 2 이미지와 조합된 가시성 제 2 이미지로부터 형광 제 2 이미지를 감산하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
18. 제 17 항의 측면에 있어서, 상기 처리 단계는:
또다른 이미지 와퍼를 이용하여, 형광 제 2 이미지를 형광 제 1 이미지로 변환하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
(01703으로부터)
변형된 프리즘을 가진 카메라 유닛을 이용하는 수술 로봇용 확대 입체 가시영상의 측면은 하기를 포함하지만, 그에 한정되는 것은 아니다:
1. 로봇 수술 시스템에 의해 유지되고 포지셔닝되며, 조직으로부터의 제 1 광을 전달하기 위한 제 1 채널 및 조직으로부터의 제 2 광을 전달하기 위한 제 2 채널을 포함하는 입체 광학 채널을 구비하는, 내시경;
이미지 캡처 시스템; 및
상기 이미지 캡처 시스템에 결합된 확대 입체 디스플레이 시스템;을 포함하고,
상기 이미지 캡처 시스템은,
상기 제 1 채널에 결합되고, 상기 제 1 광으로부터의 형광 좌측 이미지와 조합된 가시성 좌측 이미지의 가시성 제 1 컬러 컴포넌트, 상기 제 1 광으로부터의 상기 가시성 좌측 이미지의 가시성 제 2 컬러 컴포넌트, 및 상기 제 1 광으로부터의 가시성 좌측 이미지의 가시성 제 3 컬러 컴포넌트를 캡처하는 제1 캡처 유닛, 및
상기 제 2 채널에 결합되고, 상기 제 2 광으로부터의 형광 우측 이미지와 조합된 가시성 우측 이미지의 가시성 제 1 컬러 컴포넌트, 상기 제 2 광으로부터의 상기 가시성 우측 이미지의 가시성 제 2 컬러 컴포넌트, 및 상기 제 2 광으로부터의 가시성 우측 이미지의 가시성 제 3 컬러 컴포넌트를 캡처하는 제 2 캡처 유닛,을 포함하고,
상기 확대 입체 디스플레이 시스템은 가시성 좌우측 이미지와 형광 좌우측 이미지를 포함하는 3차원 프리젠테이션을 구비하는 조직의 적어도 일부의 실시간 입체 이미지를 출력하는 것을 특징으로 하는 로봇 수술 시스템.
2. 제 1 항의 측면에 있어서,
상기 제 1 캡처 유닛은 프리즘을 포함하고;
상기 프리즘은 상기 제 1 광을 형광 좌측 이미지의 형광 파장 영역의 컴포넌트와 조합된 가시성 좌측 이미지의 가시성 제 1 컬러 컴포넌트와, 상기 가시성 좌측 이미지의 가시성 제 2 컬러 컴포넌트, 및 상기 가시성 좌측 이미지의 가시성 제 3 컬러 컴포넌트로 분리하고; 및
상기 형광 좌측 이미지의 상기 형광 파장 영역의 컴포넌트는 분리되어 상기 제 1, 제 2, 제 3 가시성 컬러 컴포넌트의 파장 영역으로부터 제거되는 것을 특징으로 하는 로봇 수술 시스템.
3. 제 1 항의 측면에 있어서,
상기 제 2 캡처 유닛은 프리즘을 포함하고;
상기 프리즘은 상기 제 2 광을 형광 우측 이미지의 형광 파장 영역의 컴포넌트와 조합된 가시성 우측 이미지의 가시성 제 1 컬러 컴포넌트와, 상기 가시성 우측 이미지의 가시성 제 2 컬러 컴포넌트, 및 상기 가시성 우측 이미지의 가시성 제 3 컬러 컴포넌트로 분리하고; 및
상기 형광 우측 이미지의 상기 형광 파장 영역의 컴포넌트는 분리되어 상기 제 1, 제 2, 제 3 가시성 컬러 컴포넌트의 파장 영역으로부터 제거되는 것을 특징으로 하는 로봇 수술 시스템.
4. 제 1 항의 측면에 있어서,
상기 가시성 제 1 컬러 컴포넌트는 청색 또는 녹색 컬러 컴포넌트를 구비하는 것을 특징으로 하는 로봇 수술 시스템.
5. 제 1 항의 측면에 있어서,
상기 내시경은 조명 채널을 더 포함하고;
상기 로봇 수술 시스템은 상기 조명 채널에 결합된 조합 광원을 더 포함하고;
상기 조합 광원은,
제 1 조명광을 제공하는 제 1 광원; 및
제 2 조명광을 제공하는 제 2 광원;을 포함하고,
상기 제 2 조명광은 상기 제 1 조명광과 상이하고, 및
상기 제 2 조명광은 형광을 여기하는 것을 특징으로 하는 로봇 수술 시스템.
6. 제 5 항의 측면에 있어서, 조명 채널을 조합 광원에 연결하는 광 파이버 번들을 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
7. 제 5 항의 측면에 있어서, 제 3 광원을 더 포함하고,
상기 제 3 광원은 상기 제 2 광원에 의해 여기되는 형광과 상이한 파장에서 제 2 형광을 여기하고; 및
상기 제 2 및 제 3 광원은 광파이버 번들이 조명 채널과 조합광원에 연결된 상태를 유지하는 동안 서로 교환될 수 있는 것을 특징으로 하는 로봇 수술 시스템.
8. 제 5 항의 측면에 있어서,
상기 확대 입체 디스플레이 시스템은 제 2 조명 광원에 결합된 디스플레이 모드 선택을 더 포함하고;
상기 디스플레이 모드 선택은 복수의 선택가능한 모드를 구비하고;
제 1 모드 선택시, 확대 입체 디스플레이 시스템은 실시간 입체 이미지를 출력하고; 및
제 2 모드 선택시, 제 2 조명광이 중단되고 제 1 조명광만이 조직으로 제공되고; 및
상기 확대 입체 디스플레이 시스템은 가시성 좌우측 이미지만을 구비한 또다른 실시간 입체 이미지를 출력하는 것을 특징으로 하는 로봇 수술 시스템.
9. 제 5 항의 측면에 있어서,
상기 확대 입체 디스플레이 시스템은 제 1 조명 광원에 결합된 디스플레이 모드 선택을 더 포함하고;
상기 디스플레이 모드 선택은 복수의 선택가능한 모드를 구비하고;
제 1 모드 선택시, 확대 입체 디스플레이 시스템은 실시간 입체 이미지를 출력하고;
제 2 모드 선택시, 제 1 조명광이 중단되고 제 2 조명광만이 조직으로 제공되고; 및
상기 확대 입체 디스플레이 시스템은 형광 좌우측 이미지만을 구비한 또다른 실시간 입체 이미지를 출력하는 것을 특징으로 하는 로봇 수술 시스템.
10. 좌측 입체 조직 이미지와 우측 입체 조직 이미지를 캡처하는 입체 내시경;
제 1 센서, 제 2 센서, 및 제 3 센서를 구비하는 좌측 이미지 캡처 유닛; 및
제 4 센서, 제 5 센서, 및 제 6 센서를 구비하는 우측 이미지 캡처 유닛;을 포함하고,
상기 좌측 및 우측 입체 조직 이미지 각각은 제 1 가시성 컬러 컴포넌트 파장 영역에서의 광, 제 2 가시성 컬러 컴포넌트 파장 영역에서의 광, 제 3 가시성 컬러 컴포넌트 파장 영역에서의 광, 형광 컴포넌트 파장 영역에서의 광을 구비하고,
상기 형광 컴포넌트 파장 영역은 실질적으로 제 1, 제 2 및 제 3 가시성 컬러 컴포넌트 파장 영역과 상이하고,
상기 제 1 센서는 실질적으로 상기 제 1 가시성 컬러 컴포넌트 파장 영역에서의 광과 형광 컴포넌트 파장 영역에서의 광만을 수신하고,
상기 제 2 센서는 실질적으로 상기 제 2 가시성 컬러 컴포넌트 파장 영역에서의 광만을 수신하고, 및
상기 제 3 센서는 실질적으로 상기 제 3 가시성 컬러 컴포넌트 파장 영역에서의 광만을 수신하고,
상기 제 4 센서는 실질적으로 상기 제 1 가시성 컬러 컴포넌트 파장 영역에서의 광과 형광 컴포넌트 파장 영역에서의 광만을 수신하고,
상기 제 5 센서는 실질적으로 상기 제 2 가시성 컬러 컴포넌트 파장 영역에서의 광만을 수신하고, 및
상기 제 6 센서는 실질적으로 상기 제 3 가시성 컬러 컴포넌트 파장 영역에서의 광만을 수신하는 것을 특징으로 하는 로봇 수술 시스템.
11. 제 10 항의 측면에 있어서,
상기 제 1 가시성 컬러 컴포넌트 파장 영역은 청색 파장 피크를 구비하고; 및
상기 형광 컴포넌트 파장 영역은 가시광 스펙트럼 바깥의 파장 피크를 구비하는 것을 특징으로 하는 로봇 수술 시스템.
12. 제 10 항의 측면에 있어서,
상기 제 1 가시성 컬러 컴포넌트 파장 영역은 녹색 파장 피크를 구비하고; 및
상기 형광 컴포넌트 파장 영역은 가시광 스펙트럼 바깥의 파장 피크를 구비하는 것을 특징으로 하는 로봇 수술 시스템.
13. 제 10 항의 측면에 있어서,
좌측 이미지 캡처 유닛 및 우측 이미지 캡처 유닛 중 어느 하나 또는 그 모두는 대응하는 입체 조직 이미지를 형광 파장 영역과 조합된 제 1 가시성 컬러 컴포넌트 파장 영역, 제 2 가시성 컬러 컴포넌트 파장 영역, 및 제 3 가시성 컬러 컴포넌트 파장 영역으로 분리하는 프리즘 어셈블리를 포함하는 것을 특징으로 하는 로봇 수술 시스템.
14. 제 10 항의 측면에 있어서,
상기 내시경은 로봇 수술 시스템에 의해 유지 및 포지셔닝되는것을 특징으로 하는 로봇 수술 시스템.
15. 좌측 입체 조직 이미지와 우측 입체 조직 이미지 캡처 단계로서,
상기 좌측 및 우측 입체 조직 이미지는 각각 제 1 가시성 컬럼 컴포넌트 파장 영역에서의 광, 제 2 가시성 컬러 컴포넌트 파장 영역에서의 광, 제 3 가시성 컬러 컴포넌트 파장 영역에서의 광, 및 형광 컴포넌트 파장 영역에서의 광을 포함하고, 및
상기 형광 컴포넌트 파장 영역은 실질적으로 제 1, 제 2 및 제 3 가시성 컬러 컴포넌트 파장 영영과 상이한, 캡처 단계;
상기 제 1 가시성 컬러 컴포넌트 파장 영역에서의 광과 형광 컴포넌트 파장 영역에서의 광만을 제 1 센서로 지향시키고, 제 2 가시성 컬러 컴포넌트 파장 영역에서의 광만을 제 2 센서로 지향시키고, 및 제 3 가시성 컬러 컴포넌트 파장 영역에서의 광만을 제 3 센서로 지향시킴으로써 상기 캡처된 좌측 이미지를 감지하는 단계; 및
상기 제 1 가시성 컬러 컴포넌트 파장 영역에서의 광과 형광 컴포넌트 파장 영역에서의 광만을 실질적으로 제 4 센서로 지향시키고, 제 2 가시성 컬러 컴포넌트 파장 영역에서의 광만을 실질적으로 제 5 센서로 지향시키고, 및 제 3 가시성 컬러 컴포넌트 파장 영역에서의 광만을 실질적으로 제 6 센서로 지향시킴으로써 상기 캡처된 우측 이미지를 감지하는 단계;를 포함하는 것을 특징으로 하는 방법.
16. 제 15 항의 측면에 있어서,
조직 이미지로부터의 광을 제 1 가시성 컬러, 제 2 가시성 컬러, 제 3 가시성 컬러, 및 형광 컴포넌트 파장 영역으로 분리하는 하나 이상의 프리즘을 이용하는 단계를 더 포함하는 것을 특징으로 하는 방법.
17. 제 15 항의 측면에 있어서, 제 1 가시성 컬러 컴포넌트 파장 영역의 광은 청색 파장 피크를 구비하는 것을 특징으로 하는 방법.
18. 제 15 항의 측면에 있어서, 제 1 가시성 컬러 컴포넌트 파장 영역의 광은 녹색 파장 피크를 구비하는 것을 특징으로 하는 방법.
19. 제 15 항의 측면에 있어서,
제 1 광원 및 제 2 광원으로 제 1 인스턴스에서의 조직을 조광하는 단계: 및
제 1 광원 만으로 제 2 인스턴스에서의 조직을 조광하는 단계;를 더 포함하고,
상기 제 1 광원은 제 1, 제 2, 제 3 가시성 컬러 컴포넌트 파장 영역을 감지하기 위해 조직을 조광하고; 및
상기 제 2 광원은 형광 컴포넌트 파장 영역을 감지하기 위해 조직을 조광하는 것을 특징으로 하는 방법.
20. 제 15 항의 측면에 있어서,
제 1 광원 및 제 2 광원으로 제 1 인스턴스에서의 조직을 조광하는 단계: 및
제 2 광원 만으로 제 2 인스턴스에서의 조직을 조광하는 단계;를 더 포함하고,
상기 제 1 광원은 제 1, 제 2, 제 3 가시성 컬러 컴포넌트 파장 영역을 감지하기 위해 조직을 조광하고; 및
상기 제 2 광원은 형광 컴포넌트 파장 영역을 감지하기 위해 조직을 조광하는 것을 특징으로 하는 방법.
21. 제 15 항의 측면에 있어서,
제 1 광원 및 제 2 광원으로 제 1 인스턴스에서의 조직을 조광하는 단계: 및
제 1 광원 및 제 3 광원으로 제 2 인스턴스에서의 조직을 조광하는 단계;를 더 포함하고,
상기 제 1 광원은 제 1, 제 2, 제 3 가시성 컬러 컴포넌트 파장 영역을 감지하기 위해 조직을 조광하고;
상기 제 2 광원은 제 1 형광 컴포넌트 파장 영역을 감지하기 위해 조직을 조광하고; 및
상기 제 3 광원은 제 1 형광 컴포넌트 파장 영역과 상이한 제 2 형광 컴포넌트 파장 영역을 감지하기 위해 조직을 조광하고는 것을 특징으로 하는 방법.
(01704로부터)
시간 멀티플렉싱을 이용하는 로봇 수술용 확대 입체 가시영상의 측면이 하기에 기술되지만, 그에 한정되는 것은 아니다.
1. 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 내시경으로서,
조직으로부터의 광을 전달하는 입체 광학 채널;
상기 입체 광학 채널에 결합되는 캡처 유닛으로서,
(1) 제 1 시간에, 상기 광으로부터의 제 1 이미지, 및
(2) 상기 제 1 시간과 상이한 제 2 시간에, 상기 광으로부터의 제 2 이미지;를 캡처하고,
상기 제 1 이미지와 상기 제 2 이미지 중 하나만이 형광 이미지와 가시성 이미지의 조합을 포함하고, 및 상기 제 1 이미지와 상기 제 2 이미지 중 다른 것은 가시성 이미지인,캡처 유닛;
을 포함하는 내시경;
상기 캡처 유닛에 결합되고, 상기 캡처된 형광 이미지를 이용하여 인위적인 형광 이미지를 생성하는 인텔리전트 이미지 처리 시스템; 및
상기 인텔리전트 이미지 처리 시스템에 결합되고, 인위적인 형광 이미지를 포함하는 조직의 적어도 일부의 확대 입체 이미지를 출력하는 확대 입체 디스플레이 시스템;을 포함하는 것을 특징으로 하는 로봇 수술 시스템.
2. 제 1 항의 측면에 있어서, 상기 형광 이미지는 형광 좌측 이미지 및 형광 우측 이미지를 더 포함하고, 상기 제 1 이미지는,
형광 좌측 이미지와 조합된 가시성 좌측 이미지; 및
형광 우측 이미지와 조합된 가시성 우측 이미지;
를 포함하는 입체쌍의 이미지를 구비하는 것을 특징으로 하는 로봇 수술 시스템.
3. 제2 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은 형광 좌우측 이미지를 이용하여 제 2 시간에 대해 인위적인 입체쌍의 형광 이미지를 생성하여, 상기 인위적인 입체쌍의 형광 이미지가 형광 좌우측 이미지에 연관되어 제 1 이미지가 되도록 하는 것을 특징으로 하는 로봇 수술 시스템.
4. 제 2 항의 측면에 있어서, 상기 제 2 이미지는 입체 가시성 이미지를 포함하고, 상기 확대 입체 이미지는,
제 2 시간에 캡처된 입체 가시성 이미지와 제 2 시간에 대한 인위적인 입체쌍의 형광 이미지의 혼합을 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
5. 제 1 항의 측면에 있어서, 상기 내시경은 조명 채널을 더 포함하고, 상기 로봇 수술 시스템은 상기 조명채널에 결합된 조합 광원을 더 포함하고, 상기 조합 광원은,
제 1 조명광을 제공하는 제1 광원; 및
제 2 조명광을 제공하는 제 2 광원;을 구비하고,
상기 제 2 조명광은 상기 제 1 조명광과 상이하고,
상기 제 2 조명광은 상기 제 1 및 제 2 이미지 중 하나에서의 캡처와 동기되는 것을 특징으로 하는 로봇 수술 시스템.
6. 제 5 항의 측면에 있어서, 상기 조명 채널을 조합 광원에 연결하는 광 파이버 번들을 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
7. 제 6 항의 측면에 있어서, 상기 제 2 광원은, 적어도 광 파이버 번들이 상기 조명 채널과 상기 조합 광원에 연결된 상태를 유지하는 동안, 상이한 광원으로 변경될 수 있는 것을 특징으로 하는 로봇 수술 시스템.
8. 제 3 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은,
제 1 이미지 및 제 2 이미지를 등록하기 위한 임시 이미지 등록을 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
9. 제 8 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은,
상기 임시 이미지 등록에 결합되고, 제 1 시간에 캡처된 형광 우측 이미지와 조합된 가시성 우측 이미지를 제 2 시간에 대해 형광 이미지와 조합된 우측 가시성 이미지로 변환하기 위한 이미지 와퍼를 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
10. 제 3 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은,
제 1 시간에 캡처된 형광 우측 이미지와 조합된 가시성 우측 이미지를 제 2 시간에 대해 형광 이미지와 조합된 우측 가시성 이미지로 변환하기 위한 이미지 와퍼를 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
11. 제 10 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은,
제 2 시간에 대해 형광 이미지와 조합된 우측 가시성 이미지를 수신하기 위해 상기 이미지 와퍼에 결합되고, 제 2 시간에 캡처된 가시성 우측 이미지를 수신하기 위해 캡처 유닛에 결합되는 이미지 감산기를 더 포함하고, 상기 이미지 감산기는 제 2 시간에 대한 입체쌍의 인위적인 형광 이미지에서 제 2 시간에 대해 인위적인 형광 우측 이미지를 생성하기 위해 제 2 시간에 대해 형광 이미지와 조합된 우측 가시성 이미지로부터 제 2 시간에 캡처된 가시성 우측 이미지를 감산하는 것을 특징으로 하는 로봇 수술 시스템.
12. 제 10 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은:
상기 인위적 형광 우측 이미지에 결합된 형광 우측 이미지 동기화 시스템을 더 포함하고, 상기 형광 우측 이미지 동기화 시스템은 동기화된 형광 우측 이미지를 생성하기 위해 상기 인위적 형광 우측 이미지를 이용하는 것을 특징으로 하는 로봇 수술 시스템.
13. 제 1 항의 측면에 있어서,
상기 제 1 이미지는 가시성 제 1 컬러 컴포넌트, 가시성 제 2 컬러 컴포넌트, 및 가시성 제 3 컬러 컴포넌트를 포함하는 가시성 이미지를 구비하고; 및
상기 제 2 이미지는 상기 형광 이미지와 조합된 가시성 제 1 컬러 컴포넌트, 가시성 제 2 컬러 컴포넌트 및 가시성 제 3 컬러 컴포넌트를 포함하는 형광 이미지와 조합된 가시성 이미지를 구비하는 것을 특징으로 하는 로봇 수술 시스템.
14. 제 13 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은 (1) 상기 가시성 제 2 및 제 3 컬러 컴포넌트에 대한 인공물, 및 (2) 상기 가시성 제 1 컬러 컴포넌트에 대한 상기 형광 이미지 플러스 인공물을 생성하기 위한 형광 이미지 및 인공물 생성기를 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
15. 제 14 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은 상기 형광 이미지 및 인공물 생성기에 결합된 형광 이미지 추출기를 더 포함하고, 상기 형광 이미지 추출기는 상기 제 2 시간에 대해 제 1 형광 이미지를 생성하는 것을 특징으로 하는 로봇 수술 시스템.
16. 제 15 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은 상기 형광 이미지 생성기에 결합된 형광 이미지 확장 시스템을 더 포함하고, 상기 형광 이미지 확장 시스템은 상기 제 1 형광 이미지를 수신하여 상기 인위적 형광 이미지를 생성하는 것을 특징으로 하는 로봇 수술 시스템.
17. 제 1 시간에, 로봇 수술 시스템에 의해 유지되고 포지셔닝된 내시경에서의 입체 광학 경로에서 나온, 조직으로부터 광에서의 제 1 이미지를 캡처하는 단계;
상기 제 1 시간과 상이한 제 2 시간에, 상기 광으로부터의 제 2 이미지를 캡처하는 단계로서, 상기 제 1 이미지와 제 2 이미지 중 하나만이 형광 이미지와 가시성 이미지의 조합을 포함하고, 상기 제 1 이미지와 제 2 이미지 중 다른 하나는 가시성 이미지인 단계;
상기 캡처된 형광 이미지를 이용하여 인위적인 형광 이미지를 생성하는 단계; 및
상기 인위적인 형광 이미지를 구비하는 조직의 적어도 일부의 확대 입체 이미지를 생성하는 단계;를 포함하는 것을 특징으로 하는 방법.
18. 제 17 항의 측면에 있어서, 상기 형광 이미지는 형광 좌측 이미지 및 형광 우측 이미지를 구비하고,
상기 제 1 이미지는 입체쌍의 이미지를 더 포함하고, 상기 입체쌍의 이미지는:
상기 형광 좌측 이미지와 조합된 가시성 좌측 이미지; 및
상기 형광 우측 이미지와 조합된 가시성 우측 이미지;를 포함하는 것을 특징으로 하는 방법.
19. 제 17항의 측면에 있어서,
상기 제 1 이미지는 가시성 제 1 컬러 컴포넌트, 가시성 제 2 컬러 컴포넌트, 및 가시성 제 3 컬러 컴포넌트를 포함하는 가시성 이미지를 구비하고, 및
상기 제 2 이미지는 상기 형광 이미지와 조합된 가시성 제 1 컬러 컴포넌트, 가시성 제 2 컬러 컴포넌트, 및 가시성 제 3 컬러 컴포넌트를 포함하는 형광 이미지와 조합된 가시성 이미지를 구비하는 것을 특징으로 하는 방법.
20. 제 19 항의 측면에 있어서,
(1) 상기 가시성 제 2 및 제 3 컬러 컴포넌트에 대한 인공물, 및 (2) 상기 가시성 제 1 컬러 컴포넌트에 대한 상기 형광 이미지 플러스 인공물을 생성하는 단계를 더 포함하는 것을 특징으로 하는 방법.
103: 조직
112: 내시경
113: 로봇 머니퓰레이터 암
310: 조합 광원
316: 광 파이버 번들

Claims (18)

  1. 조직을 조광하는 조명 채널;
    상기 조직으로부터의 제1 광을 전달하기 위한 입체 광학 채널;
    상기 조직으로부터의 제2 광을 전달하기 위한 또 다른 광학 채널;
    이미지 캡처 시스템;
    이미지 처리 시스템; 및
    입체 디스플레이 시스템;을 포함하고,
    상기 입체 광학 채널은 상기 또 다른 광학 채널과는 상이하고,
    상기 이미지 캡처 시스템은,
    상기 입체 광학 채널에 결합되고, 상기 제1 광으로부터의 가시성 좌측 이미지 및 가시성 우측 이미지를 캡처하는 제1 캡처 유닛 및
    상기 또 다른 광학 채널에 결합되고, 상기 제2 광으로부터의 형광 이미지를 캡처하는 제2 캡처 유닛을 포함하고,
    상기 이미지 처리 시스템은, 상기 가시성 좌측 이미지, 상기 가시성 우측 이미지 및 상기 형광 이미지를 수신하기 위해 상기 제1 캡처 유닛과 상기 제2 캡처유닛에 결합되고, 형광 좌측 이미지와 형광 우측 이미지를 생성하기 위해 상기 형광 이미지와 연관된 정보를 사용하고,
    상기 입체 디스플레이 시스템은, 상기 이미지 처리 시스템과 상기 이미지 캡처 시스템에 결합되고, 상기 가시성 좌측 이미지와 상기 형광 좌측 이미지의 혼합 및 상기 가시성 우측 이미지와 상기 형광 우측 이미지의 혼합을 포함하는 입체 이미지를 출력하는 것을 특징으로 하는 수술 시스템.
  2. 제 1 항에 있어서, 상기 조명 채널과 상기 입체 광학 채널을 포함하는 제1 내시경; 및 상기 또 다른 광학 채널을 포함하는 제2 내시경;을 더 포함하고,
    상기 제2 내시경은 상기 제1 내시경과 상이한 것을 특징으로 하는 수술 시스템.
  3. 제 2 항에 있어서, 상기 제2 내시경은 또 다른 조명 채널을 더 포함하는 것을 특징으로 하는 수술 시스템.
  4. 제 1 항에 있어서, 상기 이미지 처리 시스템은 단일 스텝 조정부;를 더 포함하고, 상기 단일 스텝 조정부는 입체 광학 채널과 또 다른 광학 채널로부터의 이미지를 정렬하도록 하기 위해 필요한 변위를 판정하는 것을 특징으로 하는 수술 시스템.
  5. 제 1 항에 있어서, 상기 이미지 처리 시스템은 공간 이미지 등록부;를 더 포함하고, 상기 공간 이미지 등록부는 상기 형광 이미지를 상기 가시성 좌측 이미지와 상기 가시성 우측 이미지로 등록하는 것을 특징으로 하는 수술 시스템.
  6. 제 1 항에 있어서, 상기 이미지 처리 시스템은 상기 형광 이미지를 상기 형광 좌측 이미지 및 상기 형광 우측 이미지로 변환하기 위한 이미지 와퍼;를 더 포함하는 것을 특징으로 하는 수술 시스템.
  7. 제 1 항에 있어서, 상기 입체 디스플레이 시스템은,
    상기 형광 좌측 이미지와 상기 가시성 좌측 이미지를 수신하기 위해 결합된 제1 브렌드 회로; 및
    상기 형광 우측 이미지와 상기 가시성 우측 이미지를 수신하기 위해 결합된 제2 브렌드 회로; 및
    상기 제1 브렌드 회로와 상기 제2 브렌드 회로에 결합된 입체 디스플레이;를 더 포함하는 것을 특징으로 하는 수술 시스템.
  8. 제 7 항에 있어서, 상기 입체 디스플레이 시스템은 디스플레이 모드 선택부;를 더 포함하고, 상기 디스플레이 모드 선택부는 상기 제1 브렌드 회로 및 상기 제2 브렌드 회로에 결합되고, 복수의 선택 가능한 모드를 구비하고,
    복수의 선택 가능한 모드 중 제1 모드 선택시, 상기 입체 디스플레이 시스템은 상기 가시성 좌측 이미지와 상기 형광 좌측 이미지의 혼합 및 상기 가시성 우측 이미지와 상기 형광 우측 이미지의 혼합으로 이루어진 상기 입체 이미지를 출력하고,
    복수의 선택 가능한 모드 중 제2 모드의 선택시, 상기 입체 디스플레이 시스템은 상기 가시성 좌측 이미지 및 상기 가시성 우측 이미지로 이루어진 입체 이미지만을 출력하는 것을 특징으로 하는 수술 시스템.
  9. 제 1 항에 있어서, 상기 조명 채널에 결합된 조합 광원;을 더 포함하고, 상기 조합 광원은,
    제1 광원; 및
    제2 광원;을 포함하고,
    상기 제2 광원으로부터의 조명광은 상기 제1 광원으로부터의 조명광과 상이한 것을 특징으로 하는 수술 시스템.
  10. 입체 광학 채널로부터 조직의 가시성 좌측 이미지 및 가시성 우측 이미지를 캡처하는 단계;
    상기 입체 광학 채널과는 상이한 또 다른 광학 채널로부터 조직의 형광 이미지를 캡처하는 단계;
    형광 좌측 이미지와 형광 우측 이미지를 생성하기 위해 상기 형광 이미지와 연관된 정보를 처리하는 단계; 및
    상기 가시성 좌측 이미지와 상기 형광 좌측 이미지의 혼합 및 상기 가시성 우측 이미지와 상기 형광 우측 이미지의 혼합을 포함하는 조직의 확대 입체 이미지를 생성하는 단계;를 포함하는 것을 특징으로 하는 확대 입체 이미지를 제공하는 방법.
  11. 제 10 항에 있어서, 상기 입체 광학 채널은 제1 내시경에 있고, 상기 또 다른 광학 채널은 제1 내시경과 상이한 제2 내시경에 있는 것을 특징으로 하는 확대 입체 이미지를 제공하는 방법.
  12. 제 10 항에 있어서, 형광 이미지와 연관된 정보를 처리하는 단계는,
    상기 입체 광학 채널과 상기 또 다른 광학 채널로부터의 이미지를 정렬하기 위해 필요한 변위를 판정하는 단계;를 더 포함하는 것을 특징으로 하는 확대 입체 이미지를 제공하는 방법.
  13. 제 10 항에 있어서, 형광 이미지와 연관된 정보를 처리하는 단계는,
    상기 형광 이미지를 상기 가시성 좌측 이미지와 상기 가시성 우측 이미지로 공간적으로 등록하는 단계;를 더 포함하는 것을 특징으로 하는 확대 입체 이미지를 제공하는 방법.
  14. 제 10 항에 있어서, 형광 이미지와 연관된 정보를 처리하는 단계는,
    이미지 와퍼를 이용하여 형광 이미지와 연관된 정보를 상기 형광 좌측 이미지와 상기 형광 우측 이미지로 변환하는 단계;를 더 포함하는 것을 특징으로 하는 확대 입체 이미지를 제공하는 방법.
  15. 제 14 항에 있어서, 확대 입체 이미지를 생성하는 단계는,
    상기 형광 좌측 이미지와 상기 가시성 좌측 이미지를 혼합하는 단계; 및
    상기 형광 우측 이미지와 상기 가시성 우측 이미지를 혼합하는 단계;를 더 포함하는 것을 특징으로 하는 확대 입체 이미지를 제공하는 방법.
  16. 제 10 항에 있어서,
    외과의가 제1 디스플레이 모드를 선택할 때, 상기 가시성 좌측 이미지와 상기 형광 좌측 이미지의 혼합 및 상기 가시성 우측 이미지와 상기 형광 우측 이미지의 혼합을 포함하는 조직의 확대 입체 이미지의 생성을 수행하는 단계; 및
    외과의가 제2 디스플레이 모드를 선택할 때, 상기 가시성 좌측 이미지와 상기 가시성 우측 이미지를 포함하는 입체 이미지만을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 확대 입체 이미지를 제공하는 방법.
  17. 제 11 항에 있어서, 조합 광원으로부터의 광을 제1 내시경에서의 조명 경로로 제공하는 단계;를 더 포함하는 것을 특징으로 하는 확대 입체 이미지를 제공하는 방법.
  18. 제 11 항에 있어서,
    조합 광원에서의 제1 광원으로부터의 광을 제1 내시경에서의 조명 경로로 제공하는 단계; 및
    조합 광원에서의 제2 광원으로부터의 광을 제2 내시경에서의 조명 경로로 제공하는 단계;를 더 포함하는 것을 특징으로 하는 확대 입체 이미지를 제공하는 방법.
KR1020157035599A 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상 KR101671195B1 (ko)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US4817908P 2008-04-26 2008-04-26
US61/048,179 2008-04-26
US12/164,976 US8228368B2 (en) 2008-04-26 2008-06-30 Augmented stereoscopic visualization for a surgical robot using a captured fluorescence image and captured stereoscopic visible images
US12/165,189 2008-06-30
US12/165,121 2008-06-30
US12/164,976 2008-06-30
US12/164,363 2008-06-30
US12/164,363 US8169468B2 (en) 2008-04-26 2008-06-30 Augmented stereoscopic visualization for a surgical robot
US12/165,194 2008-06-30
US12/165,121 US8803955B2 (en) 2008-04-26 2008-06-30 Augmented stereoscopic visualization for a surgical robot using a camera unit with a modified prism
US12/165,189 US8167793B2 (en) 2008-04-26 2008-06-30 Augmented stereoscopic visualization for a surgical robot using time duplexing
US12/165,194 US8810631B2 (en) 2008-04-26 2008-06-30 Augmented stereoscopic visualization for a surgical robot using a captured visible image combined with a fluorescence image and a captured visible image
PCT/US2009/040020 WO2009131840A1 (en) 2008-04-26 2009-04-09 Augmented stereoscopic visualization for a surgical robot

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020107026616A Division KR101580117B1 (ko) 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020167029853A Division KR101802271B1 (ko) 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상

Publications (2)

Publication Number Publication Date
KR20160008238A KR20160008238A (ko) 2016-01-21
KR101671195B1 true KR101671195B1 (ko) 2016-11-01

Family

ID=41214577

Family Applications (12)

Application Number Title Priority Date Filing Date
KR1020187023620A KR101926039B1 (ko) 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상
KR1020187034859A KR101977135B1 (ko) 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상
KR1020107026616A KR101580117B1 (ko) 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상
KR1020207004641A KR102180739B1 (ko) 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상
KR1020197012848A KR102080551B1 (ko) 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상
KR1020217031111A KR102435851B1 (ko) 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상
KR1020177033731A KR101854189B1 (ko) 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상
KR1020207032670A KR102309075B1 (ko) 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상
KR1020167029853A KR101802271B1 (ko) 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상
KR1020157035599A KR101671195B1 (ko) 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상
KR1020187011779A KR101891121B1 (ko) 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상
KR1020157016619A KR101581026B1 (ko) 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상

Family Applications Before (9)

Application Number Title Priority Date Filing Date
KR1020187023620A KR101926039B1 (ko) 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상
KR1020187034859A KR101977135B1 (ko) 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상
KR1020107026616A KR101580117B1 (ko) 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상
KR1020207004641A KR102180739B1 (ko) 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상
KR1020197012848A KR102080551B1 (ko) 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상
KR1020217031111A KR102435851B1 (ko) 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상
KR1020177033731A KR101854189B1 (ko) 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상
KR1020207032670A KR102309075B1 (ko) 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상
KR1020167029853A KR101802271B1 (ko) 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020187011779A KR101891121B1 (ko) 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상
KR1020157016619A KR101581026B1 (ko) 2008-04-26 2009-04-09 수술 로봇용 확대 입체 가시영상

Country Status (5)

Country Link
US (8) US8167793B2 (ko)
EP (5) EP3332687B1 (ko)
KR (12) KR101926039B1 (ko)
CN (5) CN102197991B (ko)
WO (1) WO2009131840A1 (ko)

Families Citing this family (344)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9155544B2 (en) * 2002-03-20 2015-10-13 P Tech, Llc Robotic systems and methods
US8971597B2 (en) 2005-05-16 2015-03-03 Intuitive Surgical Operations, Inc. Efficient vision and kinematic data fusion for robotic surgical instruments and other applications
US8073528B2 (en) 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US9492240B2 (en) 2009-06-16 2016-11-15 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US7907166B2 (en) * 2005-12-30 2011-03-15 Intuitive Surgical Operations, Inc. Stereo telestration for robotic surgery
US8219178B2 (en) 2007-02-16 2012-07-10 Catholic Healthcare West Method and system for performing invasive medical procedures using a surgical robot
US10653497B2 (en) 2006-02-16 2020-05-19 Globus Medical, Inc. Surgical tool systems and methods
US10357184B2 (en) 2012-06-21 2019-07-23 Globus Medical, Inc. Surgical tool systems and method
US10893912B2 (en) 2006-02-16 2021-01-19 Globus Medical Inc. Surgical tool systems and methods
US9232959B2 (en) 2007-01-02 2016-01-12 Aquabeam, Llc Multi fluid tissue resection methods and devices
US8814921B2 (en) 2008-03-06 2014-08-26 Aquabeam Llc Tissue ablation and cautery with optical energy carried in fluid stream
JP4987790B2 (ja) * 2008-04-15 2012-07-25 オリンパスメディカルシステムズ株式会社 撮像装置
US8167793B2 (en) 2008-04-26 2012-05-01 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot using time duplexing
EP3501384A3 (en) 2008-05-20 2019-10-16 University Health Network Method for fluorescence-based imaging and monitoring
US8830224B2 (en) 2008-12-31 2014-09-09 Intuitive Surgical Operations, Inc. Efficient 3-D telestration for local robotic proctoring
US8184880B2 (en) * 2008-12-31 2012-05-22 Intuitive Surgical Operations, Inc. Robust sparse image matching for robotic surgery
CA2760905C (en) * 2009-05-06 2017-12-19 Real Imaging Ltd. System and methods for providing information related to a tissue region of a subject
US9155592B2 (en) * 2009-06-16 2015-10-13 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
US11864734B2 (en) 2009-06-18 2024-01-09 Endochoice, Inc. Multi-camera endoscope
US9901244B2 (en) 2009-06-18 2018-02-27 Endochoice, Inc. Circuit board assembly of a multiple viewing elements endoscope
US9554692B2 (en) 2009-06-18 2017-01-31 EndoChoice Innovation Ctr. Ltd. Multi-camera endoscope
US9101268B2 (en) 2009-06-18 2015-08-11 Endochoice Innovation Center Ltd. Multi-camera endoscope
US9402533B2 (en) 2011-03-07 2016-08-02 Endochoice Innovation Center Ltd. Endoscope circuit board assembly
US9492063B2 (en) 2009-06-18 2016-11-15 Endochoice Innovation Center Ltd. Multi-viewing element endoscope
US9101287B2 (en) 2011-03-07 2015-08-11 Endochoice Innovation Center Ltd. Multi camera endoscope assembly having multiple working channels
US9713417B2 (en) 2009-06-18 2017-07-25 Endochoice, Inc. Image capture assembly for use in a multi-viewing elements endoscope
US9706903B2 (en) 2009-06-18 2017-07-18 Endochoice, Inc. Multiple viewing elements endoscope system with modular imaging units
US9872609B2 (en) 2009-06-18 2018-01-23 Endochoice Innovation Center Ltd. Multi-camera endoscope
US11278190B2 (en) 2009-06-18 2022-03-22 Endochoice, Inc. Multi-viewing element endoscope
US10165929B2 (en) 2009-06-18 2019-01-01 Endochoice, Inc. Compact multi-viewing element endoscope system
US8926502B2 (en) 2011-03-07 2015-01-06 Endochoice, Inc. Multi camera endoscope having a side service channel
US11547275B2 (en) 2009-06-18 2023-01-10 Endochoice, Inc. Compact multi-viewing element endoscope system
US9642513B2 (en) 2009-06-18 2017-05-09 Endochoice Inc. Compact multi-viewing element endoscope system
DE102009040093A1 (de) 2009-09-04 2011-04-07 Olympus Winter & Ibe Gmbh Medizinische Leuchte für Hintergrundlicht und Anregungslicht
US8996173B2 (en) 2010-09-21 2015-03-31 Intuitive Surgical Operations, Inc. Method and apparatus for hand gesture control in a minimally invasive surgical system
US8521331B2 (en) 2009-11-13 2013-08-27 Intuitive Surgical Operations, Inc. Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument
US8543240B2 (en) * 2009-11-13 2013-09-24 Intuitive Surgical Operations, Inc. Master finger tracking device and method of use in a minimally invasive surgical system
US8935003B2 (en) * 2010-09-21 2015-01-13 Intuitive Surgical Operations Method and system for hand presence detection in a minimally invasive surgical system
DE102010013308A1 (de) * 2010-03-29 2011-09-29 Karl Storz Gmbh & Co. Kg Vorrichtung zur Bereitstellung von weißem Beleuchtungslicht
EP2564755B1 (en) * 2010-04-28 2017-07-05 Olympus Corporation Image processing device and fluoroscopy device
US8295693B2 (en) * 2010-07-02 2012-10-23 Intuitive Surgical Operations, Inc. Dual optical path prism and camera in a minimally invasive surgical system
US9211058B2 (en) * 2010-07-02 2015-12-15 Intuitive Surgical Operations, Inc. Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra
US10682198B2 (en) 2010-07-02 2020-06-16 Intuitive Surgical Operations, Inc. Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra
US9019345B2 (en) * 2010-07-02 2015-04-28 Intuitive Surgical Operations, Inc. Imaging mode blooming suppression
US9560953B2 (en) 2010-09-20 2017-02-07 Endochoice, Inc. Operational interface in a multi-viewing element endoscope
EP3718466B1 (en) 2010-09-20 2023-06-07 EndoChoice, Inc. Endoscope distal section comprising a unitary fluid channeling component
EP3540495A1 (en) 2010-10-28 2019-09-18 EndoChoice Innovation Center Ltd. Optical systems for multi-sensor endoscopes
US9486189B2 (en) 2010-12-02 2016-11-08 Hitachi Aloka Medical, Ltd. Assembly for use with surgery system
KR20140023264A (ko) * 2010-12-03 2014-02-26 포스 애널리터컬 에이/에스 유동 비균질 물질의 중간 적외선 스펙트럼 분석
US11889986B2 (en) 2010-12-09 2024-02-06 Endochoice, Inc. Flexible electronic circuit board for a multi-camera endoscope
JP6054874B2 (ja) 2010-12-09 2016-12-27 エンドチョイス イノベーション センター リミテッド マルチカメラ内視鏡用フレキシブル電子回路基板
EP3420886B8 (en) 2010-12-09 2020-07-15 EndoChoice, Inc. Flexible electronic circuit board multi-camera endoscope
JP5269921B2 (ja) * 2011-01-24 2013-08-21 富士フイルム株式会社 電子内視鏡システム及び電子内視鏡システムの作動方法
CN103491854B (zh) 2011-02-07 2016-08-24 恩多卓斯创新中心有限公司 用于多摄影机内窥镜的多元件罩
US9128036B2 (en) * 2011-03-21 2015-09-08 Federal-Mogul Corporation Multi-spectral imaging system and method of surface inspection therewith
US8900126B2 (en) 2011-03-23 2014-12-02 United Sciences, Llc Optical scanning device
US9026247B2 (en) 2011-03-30 2015-05-05 University of Washington through its Center for Communication Motion and video capture for tracking and evaluating robotic surgery and associated systems and methods
US9308050B2 (en) 2011-04-01 2016-04-12 Ecole Polytechnique Federale De Lausanne (Epfl) Robotic system and method for spinal and other surgeries
CN103561626B (zh) * 2011-06-03 2015-12-02 奥林巴斯株式会社 荧光观察装置和荧光观察方法
JP5784388B2 (ja) * 2011-06-29 2015-09-24 オリンパス株式会社 医療用マニピュレータシステム
CN103607971B (zh) * 2011-07-07 2016-08-31 奥林巴斯株式会社 医疗主从操作器
JP5800616B2 (ja) * 2011-07-15 2015-10-28 オリンパス株式会社 マニピュレータシステム
DE102011084920B4 (de) * 2011-10-20 2014-03-20 Digital Endoscopy OEM GmbH Endoskopiesystem, steuersystem und verwendung eines steuersystems bei einem endoskopiesystem
JP5940288B2 (ja) * 2011-11-30 2016-06-29 オリンパス株式会社 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
EP2604172B1 (en) 2011-12-13 2015-08-12 EndoChoice Innovation Center Ltd. Rotatable connector for an endoscope
EP3659491A1 (en) 2011-12-13 2020-06-03 EndoChoice Innovation Center Ltd. Removable tip endoscope
US9504604B2 (en) 2011-12-16 2016-11-29 Auris Surgical Robotics, Inc. Lithotripsy eye treatment
KR20130099403A (ko) * 2012-02-29 2013-09-06 삼성전자주식회사 이미지 프로세싱 방법 및 이를 이용한 이미지 프로세싱 유닛
CN108606773B (zh) 2012-02-29 2020-08-11 普罗赛普特生物机器人公司 自动化图像引导的组织切除和处理
US9271759B2 (en) 2012-03-09 2016-03-01 Institute Of Musculoskeletal Science And Education, Ltd. Pedicle screw assembly with locking cap
US8900125B2 (en) 2012-03-12 2014-12-02 United Sciences, Llc Otoscanning with 3D modeling
US20130274596A1 (en) * 2012-04-16 2013-10-17 Children's National Medical Center Dual-mode stereo imaging system for tracking and control in surgical and interventional procedures
CN104394754A (zh) * 2012-04-18 2015-03-04 昂科福禄尔有限公司 用于人和动物的病变组织可视化的发光二极管内窥镜装置
US10383765B2 (en) 2012-04-24 2019-08-20 Auris Health, Inc. Apparatus and method for a global coordinate system for use in robotic surgery
US20140142591A1 (en) * 2012-04-24 2014-05-22 Auris Surgical Robotics, Inc. Method, apparatus and a system for robotic assisted surgery
US9445058B2 (en) 2012-05-14 2016-09-13 Intuitive Surgical Operations, Inc Method for video processing using a buffer
US9258549B2 (en) 2012-05-14 2016-02-09 Intuitive Surgical Operations, Inc. Single-chip sensor multi-function imaging
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US11116576B2 (en) 2012-06-21 2021-09-14 Globus Medical Inc. Dynamic reference arrays and methods of use
US10624710B2 (en) 2012-06-21 2020-04-21 Globus Medical, Inc. System and method for measuring depth of instrumentation
US10350013B2 (en) 2012-06-21 2019-07-16 Globus Medical, Inc. Surgical tool systems and methods
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
WO2013192598A1 (en) 2012-06-21 2013-12-27 Excelsius Surgical, L.L.C. Surgical robot platform
US10758315B2 (en) 2012-06-21 2020-09-01 Globus Medical Inc. Method and system for improving 2D-3D registration convergence
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
US10231791B2 (en) 2012-06-21 2019-03-19 Globus Medical, Inc. Infrared signal based position recognition system for use with a robot-assisted surgery
US11607149B2 (en) 2012-06-21 2023-03-21 Globus Medical Inc. Surgical tool systems and method
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
US11298196B2 (en) 2012-06-21 2022-04-12 Globus Medical Inc. Surgical robotic automation with tracking markers and controlled tool advancement
US11045267B2 (en) 2012-06-21 2021-06-29 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11395706B2 (en) 2012-06-21 2022-07-26 Globus Medical Inc. Surgical robot platform
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
US10136954B2 (en) 2012-06-21 2018-11-27 Globus Medical, Inc. Surgical tool systems and method
US11253327B2 (en) 2012-06-21 2022-02-22 Globus Medical, Inc. Systems and methods for automatically changing an end-effector on a surgical robot
US11399900B2 (en) 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US11864745B2 (en) 2012-06-21 2024-01-09 Globus Medical, Inc. Surgical robotic system with retractor
US11317971B2 (en) 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
US11974822B2 (en) 2012-06-21 2024-05-07 Globus Medical Inc. Method for a surveillance marker in robotic-assisted surgery
US9642606B2 (en) 2012-06-27 2017-05-09 Camplex, Inc. Surgical visualization system
US9216068B2 (en) 2012-06-27 2015-12-22 Camplex, Inc. Optics for video cameras on a surgical visualization system
US9560954B2 (en) 2012-07-24 2017-02-07 Endochoice, Inc. Connector for use with endoscope
DE102012106890A1 (de) * 2012-07-30 2014-01-30 Carl Zeiss Microscopy Gmbh Dreidimensionale Darstellung von Objekten
US9729831B2 (en) * 2012-11-29 2017-08-08 Sony Corporation Wireless surgical loupe
WO2014093367A1 (en) 2012-12-10 2014-06-19 Intuitive Surgical Operations, Inc. Collision avoidance during controlled movement of image capturing device and manipulatable device movable arms
US9681982B2 (en) 2012-12-17 2017-06-20 Alcon Research, Ltd. Wearable user interface for use with ocular surgical console
WO2014100688A2 (en) * 2012-12-20 2014-06-26 Accenture Global Services Limited Context based augmented reality
US20140176661A1 (en) 2012-12-21 2014-06-26 G. Anthony Reina System and method for surgical telementoring and training with virtualized telestration and haptic holograms, including metadata tagging, encapsulation and saving multi-modal streaming medical imagery together with multi-dimensional [4-d] virtual mesh and multi-sensory annotation in standard file formats used for digital imaging and communications in medicine (dicom)
US20140188440A1 (en) * 2012-12-31 2014-07-03 Intuitive Surgical Operations, Inc. Systems And Methods For Interventional Procedure Planning
US10231867B2 (en) 2013-01-18 2019-03-19 Auris Health, Inc. Method, apparatus and system for a water jet
JP2014147630A (ja) * 2013-02-04 2014-08-21 Canon Inc 立体内視鏡装置
US10149720B2 (en) 2013-03-08 2018-12-11 Auris Health, Inc. Method, apparatus, and a system for facilitating bending of an instrument in a surgical or medical robotic environment
US9867635B2 (en) 2013-03-08 2018-01-16 Auris Surgical Robotics, Inc. Method, apparatus and system for a water jet
US10080576B2 (en) 2013-03-08 2018-09-25 Auris Health, Inc. Method, apparatus, and a system for facilitating bending of an instrument in a surgical or medical robotic environment
US9860510B2 (en) 2013-03-15 2018-01-02 Intuitive Surgical Operations, Inc. Depth based modification of captured images
US9503624B2 (en) * 2013-03-20 2016-11-22 Electronics And Telecommunications Research Institute Optical imaging system using multiple light sources and driving control method thereof
US9993142B2 (en) 2013-03-28 2018-06-12 Endochoice, Inc. Fluid distribution device for a multiple viewing elements endoscope
US9986899B2 (en) 2013-03-28 2018-06-05 Endochoice, Inc. Manifold for a multiple viewing elements endoscope
EP2988654B1 (en) * 2013-04-23 2020-06-17 Cedars-Sinai Medical Center Systems and methods for recording simultaneously visible light image and infrared light image from fluorophores
US9407838B2 (en) 2013-04-23 2016-08-02 Cedars-Sinai Medical Center Systems and methods for recording simultaneously visible light image and infrared light image from fluorophores
US10499794B2 (en) 2013-05-09 2019-12-10 Endochoice, Inc. Operational interface in a multi-viewing element endoscope
EP2999414B1 (en) 2013-05-21 2018-08-08 Camplex, Inc. Surgical visualization systems
US10744035B2 (en) 2013-06-11 2020-08-18 Auris Health, Inc. Methods for robotic assisted cataract surgery
KR101514204B1 (ko) * 2013-07-12 2015-04-23 한국전기연구원 감시림프절의 근적외선 형광 검출 장치 및 방법
US10426661B2 (en) 2013-08-13 2019-10-01 Auris Health, Inc. Method and apparatus for laser assisted cataract surgery
US10744646B2 (en) * 2013-08-29 2020-08-18 Wayne State University Camera control system and method
WO2015042483A2 (en) 2013-09-20 2015-03-26 Camplex, Inc. Surgical visualization systems
WO2015042460A1 (en) 2013-09-20 2015-03-26 Camplex, Inc. Surgical visualization systems and displays
US9270919B2 (en) * 2013-09-24 2016-02-23 Karl Storz Imaging, Inc. Simultaneous display of two or more different sequentially processed images
US9283048B2 (en) 2013-10-04 2016-03-15 KB Medical SA Apparatus and systems for precise guidance of surgical tools
US9763741B2 (en) 2013-10-24 2017-09-19 Auris Surgical Robotics, Inc. System for robotic-assisted endolumenal surgery and related methods
US9737373B2 (en) 2013-10-24 2017-08-22 Auris Surgical Robotics, Inc. Instrument device manipulator and surgical drape
CN103654699B (zh) * 2013-12-10 2016-05-25 西安电子科技大学 一种激发荧光双目内窥系统的成像方法
CN105189659B (zh) * 2013-12-19 2018-05-18 Dic株式会社 低胺含量的喹吖啶酮颜料以及其制造方法
EP3094272B1 (en) 2014-01-15 2021-04-21 KB Medical SA Notched apparatus for guidance of an insertable instrument along an axis during spinal surgery
JP6334714B2 (ja) * 2014-01-24 2018-05-30 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ロボット手術のための連続画像統合を行う制御ユニット又はロボットガイドシステム
WO2015121311A1 (en) 2014-02-11 2015-08-20 KB Medical SA Sterile handle for controlling a robotic surgical system from a sterile field
CN105722450B (zh) * 2014-02-14 2018-01-23 奥林巴斯株式会社 内窥镜系统
CN111616666A (zh) 2014-03-19 2020-09-04 直观外科手术操作公司 使用眼球凝视跟踪的医疗装置、系统和方法
WO2015143073A1 (en) * 2014-03-19 2015-09-24 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods integrating eye gaze tracking for stereo viewer
CN106132276B (zh) * 2014-04-08 2018-08-07 奥林巴斯株式会社 荧光观察内窥镜系统
EP3134022B1 (en) 2014-04-24 2018-01-10 KB Medical SA Surgical instrument holder for use with a robotic surgical system
CN111904600A (zh) 2014-05-05 2020-11-10 维卡瑞斯外科手术股份有限公司 虚拟现实手术装置
TWI480536B (zh) * 2014-05-20 2015-04-11 Univ Nat Taiwan 螢光強度分析與螢光影像合成系統及其方法
US10792464B2 (en) 2014-07-01 2020-10-06 Auris Health, Inc. Tool and method for using surgical endoscope with spiral lumens
US9788910B2 (en) 2014-07-01 2017-10-17 Auris Surgical Robotics, Inc. Instrument-mounted tension sensing mechanism for robotically-driven medical instruments
US10357257B2 (en) 2014-07-14 2019-07-23 KB Medical SA Anti-skid surgical instrument for use in preparing holes in bone tissue
JP6357377B2 (ja) * 2014-07-24 2018-07-11 オリンパス株式会社 観察装置
CN106714670A (zh) 2014-07-24 2017-05-24 大学健康网络 用于诊断目的的数据的收集和分析
US10251714B2 (en) 2014-07-25 2019-04-09 Covidien Lp Augmented surgical reality environment for a robotic surgical system
CN112862775A (zh) 2014-07-25 2021-05-28 柯惠Lp公司 增强手术现实环境
US20170035280A1 (en) * 2015-08-07 2017-02-09 Reinroth Gmbh Stereoscopic endoscope system with concurrent imaging at visible and infrared wavelengths
US10456040B2 (en) * 2014-09-18 2019-10-29 Shimadzu Corporation Imaging device
US9833254B1 (en) 2014-10-03 2017-12-05 Verily Life Sciences Llc Controlled dissection of biological tissue
CN104539828B (zh) * 2014-12-03 2017-11-17 侯昌禾 基于智能眼镜设备的荧光照相、摄像系统及其控制方法
US10702353B2 (en) 2014-12-05 2020-07-07 Camplex, Inc. Surgical visualizations systems and displays
WO2016116821A1 (en) * 2015-01-22 2016-07-28 Koninklijke Philips N.V. Robotic control of an endovascular deployment device with optical shape sensing feedback
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
EP3254234A4 (en) * 2015-02-06 2018-07-11 The University of Akron Optical imaging system and methods thereof
US10295815B2 (en) 2015-02-09 2019-05-21 Arizona Board Of Regents On Behalf Of The University Of Arizona Augmented stereoscopic microscopy
EP3258872B1 (en) 2015-02-18 2023-04-26 KB Medical SA Systems for performing minimally invasive spinal surgery with a robotic surgical system using a percutaneous technique
WO2016154589A1 (en) 2015-03-25 2016-09-29 Camplex, Inc. Surgical visualization systems and displays
EP3278704A4 (en) * 2015-03-30 2019-01-09 Olympus Corporation ENDOSCOPE DEVICE
CN108282997B (zh) 2015-06-25 2020-12-25 肌肉骨骼科学教育研究所有限公司 用于植入的椎间融合装置和系统
EP3869184A1 (en) 2015-06-26 2021-08-25 Li-Cor, Inc. Fluorescence biopsy specimen imager and methods
DE102015111120A1 (de) * 2015-07-09 2017-01-12 Chromasens Gmbh Verfahren und Vorrichtung zum Abtasten von Oberflächen mit einer Stereokamera
US10222619B2 (en) 2015-07-12 2019-03-05 Steven Sounyoung Yu Head-worn image display apparatus for stereoscopic microsurgery
US10598914B2 (en) * 2015-07-14 2020-03-24 Massachusetts Institute Of Technology Enhancement of video-rate fluorescence imagery collected in the second near-infrared optical window
EP3329832A1 (en) * 2015-07-30 2018-06-06 Olympus Corporation Camera head for endoscopes, and endoscopic device provided with same
US10058394B2 (en) 2015-07-31 2018-08-28 Globus Medical, Inc. Robot arm and methods of use
US10646298B2 (en) 2015-07-31 2020-05-12 Globus Medical, Inc. Robot arm and methods of use
KR101717362B1 (ko) 2015-08-05 2017-03-16 왕용진 평면 스캔 비디오 카이모그라피와 후두 스트로보스코피 기능이 있는 비디오 후두 내시경 시스템
US10080615B2 (en) 2015-08-12 2018-09-25 Globus Medical, Inc. Devices and methods for temporary mounting of parts to bone
EP3344179B1 (en) 2015-08-31 2021-06-30 KB Medical SA Robotic surgical systems
CN113229942A (zh) 2015-09-09 2021-08-10 奥瑞斯健康公司 手术器械装置操纵器
US10034716B2 (en) 2015-09-14 2018-07-31 Globus Medical, Inc. Surgical robotic systems and methods thereof
US9771092B2 (en) 2015-10-13 2017-09-26 Globus Medical, Inc. Stabilizer wheel assembly and methods of use
DE102015221337A1 (de) 2015-10-30 2017-05-04 Keba Ag Verfahren und Steuerungssystem zum Steuern der Bewegungen von Gelenkarmen eines Industrieroboters sowie dabei eingesetztes Bewegungsvorgabemittel
US10966798B2 (en) 2015-11-25 2021-04-06 Camplex, Inc. Surgical visualization systems and displays
EP3391030A4 (en) * 2015-12-14 2019-06-12 Intuitive Surgical Operations Inc. APPARATUS AND METHOD FOR GENERATING ANATOMIC TARGET 3D DATA USING OPTICAL FIBER SHAPE DETECTION
CN106921857A (zh) * 2015-12-25 2017-07-04 珠海明医医疗科技有限公司 立体显示系统及立体显示方法
US10842453B2 (en) 2016-02-03 2020-11-24 Globus Medical, Inc. Portable medical imaging system
US11883217B2 (en) 2016-02-03 2024-01-30 Globus Medical, Inc. Portable medical imaging system and method
US11058378B2 (en) 2016-02-03 2021-07-13 Globus Medical, Inc. Portable medical imaging system
US10117632B2 (en) 2016-02-03 2018-11-06 Globus Medical, Inc. Portable medical imaging system with beam scanning collimator
US10448910B2 (en) 2016-02-03 2019-10-22 Globus Medical, Inc. Portable medical imaging system
EP3205254B1 (en) * 2016-02-15 2020-11-18 Leica Instruments (Singapore) Pte. Ltd. Medical inspection apparatus, such as a microscope or endoscope, using pseudocolors
US10866119B2 (en) 2016-03-14 2020-12-15 Globus Medical, Inc. Metal detector for detecting insertion of a surgical device into a hollow tube
JP2017176318A (ja) * 2016-03-29 2017-10-05 ソニー・オリンパスメディカルソリューションズ株式会社 医療用立体観察装置、医療用立体観察方法、プログラム、及び医療用立体観察システム
EP3241518A3 (en) 2016-04-11 2018-01-24 Globus Medical, Inc Surgical tool systems and methods
US10447906B2 (en) 2016-05-02 2019-10-15 Visionsense Ltd. Dual path endoscope
EP3248531A1 (en) * 2016-05-23 2017-11-29 Leica Instruments (Singapore) Pte. Ltd. Medical observation device, such as a microscope or an endoscope, and method using a pseudo-color pattern having temporal and/or spatial modulation
WO2017223378A1 (en) 2016-06-23 2017-12-28 Li-Cor, Inc. Complementary color flashing for multichannel image presentation
DE102016113000A1 (de) * 2016-07-14 2018-01-18 Aesculap Ag Endoskopische Vorrichtung und Verfahren zur endoskopischen Untersuchung
DE102017119847B4 (de) 2016-08-29 2023-12-28 Elmos Semiconductor Se Fehlerrobuste und energieeffiziente Energieversorgung Vorrichtung zur Versorgung einer Mehrzahl von LED-Gruppen mit elektrischer Energie basierend auf der Erfassung der Spannungsabfälle über deren Stromquellen
DE102017119848B4 (de) 2016-08-29 2023-12-28 Elmos Semiconductor Se Fehlerrobuste und energieeffiziente Vorrichtung zur Versorgung einer Mehrzahl von LED-Gruppen mit elektrischer Energie basierend auf der Erfassung der Spannungsabfälle über die LEDs
DE102017119851B4 (de) 2016-08-29 2023-12-28 Elmos Semiconductor Se Verfahren zur drahtlosen Regelung der Betriebsspannung für Verbraucher mit verbraucherbedingter fester Betriebsspannung (insbes. LEDs)
DE102017119852B4 (de) 2016-08-29 2023-12-28 Elmos Semiconductor Se Verfahren zur Power-Line basierenden Regelung der Betriebsspannung für Verbraucher mit verbraucherbedingter fester Betriebsspannung (insbes. LEDs)
DE102017119853B4 (de) 2016-08-29 2023-12-28 Elmos Semiconductor Se Verfahren zur drahtlosen Regelung der Betriebsspannung für LED Beleuchtungen
DE102017119849B4 (de) 2016-08-29 2023-12-28 Elmos Semiconductor Se Verfahren zur fehlerrobusten und energieeffizienten Energieversorgung für LEDs
DE102017119850B4 (de) 2016-08-29 2023-12-28 Elmos Semiconductor Se Verfahren zur Power-Line basierenden Regelung der Versorgungsspannung von LEDs
EP3509529A4 (en) 2016-09-09 2020-06-03 Intuitive Surgical Operations Inc. IMAGING SYSTEMS WITH SIMULTANEOUS WHITE LIGHT AND HYPERSPECTRAL LIGHT
US10307265B2 (en) 2016-10-18 2019-06-04 Institute for Musculoskeletal Science and Education, Ltd. Implant with deployable blades
US10405992B2 (en) 2016-10-25 2019-09-10 Institute for Musculoskeletal Science and Education, Ltd. Spinal fusion implant
JP6368886B1 (ja) * 2016-11-08 2018-08-01 オリンパス株式会社 内視鏡システム
CN106420057B (zh) * 2016-11-23 2023-09-08 北京锐视康科技发展有限公司 一种pet-荧光双模态术中导航成像系统及其成像方法
US20180140375A1 (en) * 2016-11-23 2018-05-24 Roger de la Torre Videoscopic surgery and endoscopic surgery procedures employing oscillating images
EP3545488A1 (en) * 2016-11-23 2019-10-02 Li-Cor, Inc. Motion-adaptive interactive imaging method
US20200093544A1 (en) * 2017-01-06 2020-03-26 Intuitive Surgical Operations, Inc. System and method for registration and coordinated manipulation of augmented reality image components
JP7233841B2 (ja) 2017-01-18 2023-03-07 ケービー メディカル エスアー ロボット外科手術システムのロボットナビゲーション
ES2923898T3 (es) * 2017-02-18 2022-10-03 Univ Rochester Dispositivos de obtención de imágenes médicas y visualización quirúrgica que utilizan polímeros fluorescentes de infrarrojo cercano
DE102017203448B9 (de) 2017-03-02 2021-12-23 Carl Zeiss Meditec Ag Mikroskopiesystem und Mikroskopieverfahren zum Quantifizieren einer Fluoreszenz
US11071594B2 (en) 2017-03-16 2021-07-27 KB Medical SA Robotic navigation of robotic surgical systems
CA3057105A1 (en) * 2017-03-21 2018-09-27 Stryker Corporation Methods and systems to automate surgical interventions
US10386301B2 (en) 2017-04-25 2019-08-20 Li-Cor, Inc. Top-down and rotational side view biopsy specimen imager and methods
WO2018208691A1 (en) 2017-05-08 2018-11-15 Camplex, Inc. Variable light source
US10806532B2 (en) 2017-05-24 2020-10-20 KindHeart, Inc. Surgical simulation system using force sensing and optical tracking and robotic surgery system
WO2018225122A1 (ja) * 2017-06-05 2018-12-13 オリンパス株式会社 内視鏡装置
WO2018232280A1 (en) 2017-06-15 2018-12-20 The Johns Hopkins University Psma targeted fluorescent agents for image guided surgery
EP3417763A1 (en) * 2017-06-22 2018-12-26 Helmholtz Zentrum München - Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) System for endoscopic imaging
US10675094B2 (en) 2017-07-21 2020-06-09 Globus Medical Inc. Robot surgical platform
CA2983780C (en) 2017-10-25 2020-07-14 Synaptive Medical (Barbados) Inc. Surgical imaging sensor and display unit, and surgical navigation system associated therewith
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11925373B2 (en) 2017-10-30 2024-03-12 Cilag Gmbh International Surgical suturing instrument comprising a non-circular needle
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US10898252B2 (en) 2017-11-09 2021-01-26 Globus Medical, Inc. Surgical robotic systems for bending surgical rods, and related methods and devices
US11357548B2 (en) 2017-11-09 2022-06-14 Globus Medical, Inc. Robotic rod benders and related mechanical and motor housings
US11794338B2 (en) 2017-11-09 2023-10-24 Globus Medical Inc. Robotic rod benders and related mechanical and motor housings
WO2019094639A1 (en) 2017-11-09 2019-05-16 Rebellion Photonics, Inc. Window obscuration sensors for mobile gas and chemical imaging cameras
US11134862B2 (en) 2017-11-10 2021-10-05 Globus Medical, Inc. Methods of selecting surgical implants and related devices
US11612444B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US10595887B2 (en) 2017-12-28 2020-03-24 Ethicon Llc Systems for adjusting end effector parameters based on perioperative information
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11771487B2 (en) 2017-12-28 2023-10-03 Cilag Gmbh International Mechanisms for controlling different electromechanical systems of an electrosurgical instrument
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11026751B2 (en) 2017-12-28 2021-06-08 Cilag Gmbh International Display of alignment of staple cartridge to prior linear staple line
US10892995B2 (en) * 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US20190201139A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Communication arrangements for robot-assisted surgical platforms
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
KR101903423B1 (ko) * 2018-02-20 2018-10-04 한국광기술원 광진단 및 광치료를 위한 하이브리드 이미징 시스템
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11986233B2 (en) 2018-03-08 2024-05-21 Cilag Gmbh International Adjustment of complex impedance to compensate for lost power in an articulating ultrasonic device
US11389188B2 (en) 2018-03-08 2022-07-19 Cilag Gmbh International Start temperature of blade
CN111867441A (zh) * 2018-03-23 2020-10-30 索尼奥林巴斯医疗解决方案公司 医疗显示控制装置和显示控制方法
US11589865B2 (en) 2018-03-28 2023-02-28 Cilag Gmbh International Methods for controlling a powered surgical stapler that has separate rotary closure and firing systems
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US10573023B2 (en) 2018-04-09 2020-02-25 Globus Medical, Inc. Predictive visualization of medical imaging scanner component movement
CN111989065A (zh) * 2018-04-20 2020-11-24 柯惠Lp公司 具有立体显示器的机器人手术系统中的观察者移动的补偿
DE102018110640B4 (de) * 2018-05-03 2020-01-23 Carl Zeiss Meditec Ag Verfahren und Mikroskop zum Abbilden eines Objekts
US10895757B2 (en) * 2018-07-03 2021-01-19 Verb Surgical Inc. Systems and methods for three-dimensional visualization during robotic surgery
JP6461411B1 (ja) * 2018-07-13 2019-01-30 パナソニック株式会社 内視鏡システム
US20210307597A1 (en) * 2018-07-23 2021-10-07 The Regents Of The University Of California Oral and oropharyngeal cancer screening system and methods of use
CN109259717B (zh) * 2018-08-27 2020-08-14 彭波 一种立体内窥镜及内窥镜测量方法
CN109151273B (zh) * 2018-08-27 2020-09-04 彭波 一种光扇立体摄像机及立体测量方法
US20220031166A1 (en) * 2018-09-18 2022-02-03 The Johns Hopkins University Neuromodulation based nerve identification
JP7325173B2 (ja) * 2018-10-06 2023-08-14 シスメックス株式会社 手術支援ロボットの遠隔支援方法、および遠隔支援システム
JP7277108B2 (ja) * 2018-10-30 2023-05-18 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察システム、および医療用観察システムの作動方法
US11337742B2 (en) 2018-11-05 2022-05-24 Globus Medical Inc Compliant orthopedic driver
JP7286948B2 (ja) * 2018-11-07 2023-06-06 ソニーグループ株式会社 医療用観察システム、信号処理装置及び医療用観察方法
US11278360B2 (en) 2018-11-16 2022-03-22 Globus Medical, Inc. End-effectors for surgical robotic systems having sealed optical components
US11744655B2 (en) 2018-12-04 2023-09-05 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
US11602402B2 (en) 2018-12-04 2023-03-14 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
RU2697062C1 (ru) * 2018-12-10 2019-08-09 Закрытое акционерное общество "МНИТИ" (ЗАО "МНИТИ") Способ наблюдения объектов
US11357593B2 (en) * 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11517309B2 (en) 2019-02-19 2022-12-06 Cilag Gmbh International Staple cartridge retainer with retractable authentication key
US11918313B2 (en) 2019-03-15 2024-03-05 Globus Medical Inc. Active end effectors for surgical robots
US11806084B2 (en) 2019-03-22 2023-11-07 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
US11317978B2 (en) 2019-03-22 2022-05-03 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11419616B2 (en) 2019-03-22 2022-08-23 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US20200297357A1 (en) 2019-03-22 2020-09-24 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11382549B2 (en) 2019-03-22 2022-07-12 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
US11571265B2 (en) 2019-03-22 2023-02-07 Globus Medical Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11045179B2 (en) 2019-05-20 2021-06-29 Global Medical Inc Robot-mounted retractor system
DE102019114817B4 (de) * 2019-06-03 2021-12-02 Karl Storz Se & Co. Kg Bildgebungssystem und Verfahren zur Beobachtung
US11360028B2 (en) 2019-06-20 2022-06-14 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11288772B2 (en) * 2019-06-20 2022-03-29 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11793399B2 (en) 2019-06-20 2023-10-24 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system
US11276148B2 (en) * 2019-06-20 2022-03-15 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11398011B2 (en) 2019-06-20 2022-07-26 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed laser mapping imaging system
US11589819B2 (en) 2019-06-20 2023-02-28 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a laser mapping imaging system
US11628023B2 (en) 2019-07-10 2023-04-18 Globus Medical, Inc. Robotic navigational system for interbody implants
CN110432856A (zh) * 2019-09-02 2019-11-12 太原理工大学 一种用于检查鼻窦的内窥镜控制系统
US11571171B2 (en) 2019-09-24 2023-02-07 Globus Medical, Inc. Compound curve cable chain
US11890066B2 (en) 2019-09-30 2024-02-06 Globus Medical, Inc Surgical robot with passive end effector
US11864857B2 (en) 2019-09-27 2024-01-09 Globus Medical, Inc. Surgical robot with passive end effector
US11426178B2 (en) 2019-09-27 2022-08-30 Globus Medical Inc. Systems and methods for navigating a pin guide driver
US11510684B2 (en) 2019-10-14 2022-11-29 Globus Medical, Inc. Rotary motion passive end effector for surgical robots in orthopedic surgeries
US11472036B2 (en) * 2019-12-23 2022-10-18 Intrinsic Innovation Llc Reducing motion blur for robot-mounted cameras
JP2021108793A (ja) * 2020-01-07 2021-08-02 ソニーグループ株式会社 医療画像生成装置、医療画像生成方法および医療画像生成プログラム
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
JP7449736B2 (ja) 2020-03-18 2024-03-14 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
CN111449611B (zh) * 2020-04-10 2021-04-09 深圳迈瑞生物医疗电子股份有限公司 一种内窥镜系统及其成像方法
CN113633378B (zh) * 2020-04-27 2022-08-12 成都术通科技有限公司 位置确定方法、装置、设备及存储介质
US11253216B2 (en) 2020-04-28 2022-02-22 Globus Medical Inc. Fixtures for fluoroscopic imaging systems and related navigation systems and methods
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11087557B1 (en) * 2020-06-03 2021-08-10 Tovy Kamine Methods and systems for remote augmented reality communication for guided surgery
US11317973B2 (en) 2020-06-09 2022-05-03 Globus Medical, Inc. Camera tracking bar for computer assisted navigation during surgery
US11382713B2 (en) 2020-06-16 2022-07-12 Globus Medical, Inc. Navigated surgical system with eye to XR headset display calibration
US11877807B2 (en) 2020-07-10 2024-01-23 Globus Medical, Inc Instruments for navigated orthopedic surgeries
DE102020118814A1 (de) * 2020-07-16 2022-01-20 avateramedical GmBH Stereoendoskop
US11793588B2 (en) 2020-07-23 2023-10-24 Globus Medical, Inc. Sterile draping of robotic arms
DE102020121650A1 (de) 2020-08-18 2022-02-24 Carl Zeiss Meditec Ag Verfahren zum Unterdrücken von Störlicht, laserchirurgische Vorrichtung, optisches Beobachtungsgerät und Computerprogramm
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US11523785B2 (en) 2020-09-24 2022-12-13 Globus Medical, Inc. Increased cone beam computed tomography volume length without requiring stitching or longitudinal C-arm movement
US20220110527A1 (en) * 2020-10-09 2022-04-14 QuantuMed Pty Ltd Cellular ionic activity visualisation
US11911112B2 (en) 2020-10-27 2024-02-27 Globus Medical, Inc. Robotic navigational system
US11941814B2 (en) 2020-11-04 2024-03-26 Globus Medical Inc. Auto segmentation using 2-D images taken during 3-D imaging spin
DE102020129739B4 (de) 2020-11-11 2023-03-02 Karl Storz Se & Co. Kg Endoskopische und/oder exoskopische Bildgebungsvorrichtung zur spektralen Bildgebung, Endoskop und/oder Exoskop mit einer Bildgebungsvorrichtung
USD1022197S1 (en) 2020-11-19 2024-04-09 Auris Health, Inc. Endoscope
US11717350B2 (en) 2020-11-24 2023-08-08 Globus Medical Inc. Methods for robotic assistance and navigation in spinal surgery and related systems
CN112869789B (zh) * 2021-01-12 2022-02-22 曹天生 一种用于肝胆胰外科的手术辅助系统
US11599999B2 (en) 2021-02-03 2023-03-07 Verily Life Sciences Llc Apparatus, system, and method for fluorescence imaging with stray light reduction
US20220331048A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International Utilization of surgical data values and situational awareness to control the overlay in surgical field view
CN113208567A (zh) * 2021-06-07 2021-08-06 上海微创医疗机器人（集团）股份有限公司 多光谱成像系统、成像方法和存储介质
US11857273B2 (en) 2021-07-06 2024-01-02 Globus Medical, Inc. Ultrasonic robotic surgical navigation
US11439444B1 (en) 2021-07-22 2022-09-13 Globus Medical, Inc. Screw tower and rod reduction tool
US20230121709A1 (en) * 2021-10-15 2023-04-20 Verb Surgical Inc. Method and system for controlling and displaying video streams
WO2023101968A1 (en) 2021-11-30 2023-06-08 Endoquest Robotics, Inc. Steerable overtube assemblies for robotic surgical systems
US11911115B2 (en) 2021-12-20 2024-02-27 Globus Medical Inc. Flat panel registration fixture and method of using same
US20230360216A1 (en) * 2022-05-03 2023-11-09 Covidien Lp Systems and methods for detecting perfusion in surgery

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5940830A (ja) 1982-08-31 1984-03-06 浜松ホトニクス株式会社 レ−ザ光パルスを用いた癌の診断装置
US4541438A (en) * 1983-06-02 1985-09-17 The Johns Hopkins University Localization of cancerous tissue by monitoring infrared fluorescence emitted by intravenously injected porphyrin tumor-specific markers excited by long wavelength light
US4930516B1 (en) 1985-11-13 1998-08-04 Laser Diagnostic Instr Inc Method for detecting cancerous tissue using visible native luminescence
JPS63122421A (ja) * 1986-11-12 1988-05-26 株式会社東芝 内視鏡装置
US5092331A (en) 1989-01-30 1992-03-03 Olympus Optical Co., Ltd. Fluorescence endoscopy and endoscopic device therefor
JP3461499B2 (ja) 1991-03-11 2003-10-27 オリンパス光学工業株式会社 画像処理装置
CA2042075C (en) 1991-05-08 2001-01-23 Branko Palcic Endoscopic imaging system
US5769792A (en) 1991-07-03 1998-06-23 Xillix Technologies Corp. Endoscopic imaging system for diseased tissue
JP3169998B2 (ja) * 1991-10-04 2001-05-28 オリンパス光学工業株式会社 内視鏡装置
JP3285265B2 (ja) * 1993-12-03 2002-05-27 オリンパス光学工業株式会社 蛍光観察装置
US5749830A (en) 1993-12-03 1998-05-12 Olympus Optical Co., Ltd. Fluorescent endoscope apparatus
US5590660A (en) 1994-03-28 1997-01-07 Xillix Technologies Corp. Apparatus and method for imaging diseased tissue using integrated autofluorescence
DE19535114B4 (de) * 1994-09-21 2013-09-05 Hoya Corp. Endoskopsystem mit Fluoreszenzdiagnose
US7179222B2 (en) 1996-11-20 2007-02-20 Olympus Corporation Fluorescent endoscope system enabling simultaneous achievement of normal light observation based on reflected light and fluorescence observation based on light with wavelengths in infrared spectrum
US6110106A (en) * 1998-06-24 2000-08-29 Biomax Technologies, Inc. Endoscopes and methods relating to direct viewing of a target tissue
US7683926B2 (en) 1999-02-25 2010-03-23 Visionsense Ltd. Optical device
US6635011B1 (en) * 2000-01-14 2003-10-21 Pentax Corporation Electronic endoscope system
IL135571A0 (en) * 2000-04-10 2001-05-20 Doron Adler Minimal invasive surgery imaging system
US6468204B2 (en) * 2000-05-25 2002-10-22 Fuji Photo Film Co., Ltd. Fluorescent endoscope apparatus
JP2002000560A (ja) 2000-06-16 2002-01-08 Matsushita Electric Ind Co Ltd 撮影装置
US6975898B2 (en) 2000-06-19 2005-12-13 University Of Washington Medical imaging, diagnosis, and therapy using a scanning single optical fiber system
WO2002007587A2 (en) 2000-07-14 2002-01-31 Xillix Technologies Corporation Compact fluorescent endoscopy video system
JP3579638B2 (ja) * 2000-08-08 2004-10-20 ペンタックス株式会社 内視鏡装置
US6582363B2 (en) 2000-08-25 2003-06-24 Pentax Corporation Video endoscope system and illumination optical system
US6826424B1 (en) 2000-12-19 2004-11-30 Haishan Zeng Methods and apparatus for fluorescence and reflectance imaging and spectroscopy and for contemporaneous measurements of electromagnetic radiation with multiple measuring devices
JP3762646B2 (ja) 2001-02-01 2006-04-05 オリンパス株式会社 蛍光観察装置
SE519062C2 (sv) 2001-05-03 2003-01-07 Alfa Laval Corp Ab Sätt att sammanlöda tunna värmeväxlarplattor samt lödd plattvärmeväxlare framställd enligt sättet
DE60228165D1 (de) 2001-05-16 2008-09-25 Olympus Corp Endoskop mit Bildverarbeitungseinrichtung
US7172553B2 (en) 2001-05-16 2007-02-06 Olympus Corporation Endoscope system using normal light and fluorescence
WO2003053226A2 (en) * 2001-12-11 2003-07-03 C2Cure Inc. Apparatus, method and system for intravascular photographic imaging
CA2472197A1 (en) 2002-01-09 2003-07-24 Neoguide Systems, Inc. Apparatus and method for spectroscopic examination of the colon
US7170677B1 (en) * 2002-01-25 2007-01-30 Everest Vit Stereo-measurement borescope with 3-D viewing
US6857746B2 (en) * 2002-07-01 2005-02-22 Io2 Technology, Llc Method and system for free-space imaging display and interface
JP2004248721A (ja) * 2003-02-18 2004-09-09 Pentax Corp 診断補助用装置
JP2004289545A (ja) 2003-03-24 2004-10-14 Victor Co Of Japan Ltd 色分解光学系及びこれを用いた撮像装置
US20050027166A1 (en) 2003-06-17 2005-02-03 Shinya Matsumoto Endoscope system for fluorescent observation
EP1688083B1 (en) 2003-11-20 2018-09-12 Hamamatsu Photonics K.K. Lymph node detector
JP2007527249A (ja) 2003-12-19 2007-09-27 フォント‐レオーラックス‐ロハス， エンリケ デ リアルタイム画像又は静止画像の立体視システム
JP4611674B2 (ja) 2004-06-29 2011-01-12 Ｈｏｙａ株式会社 電子内視鏡システム
JP2006006834A (ja) 2004-06-29 2006-01-12 Pentax Corp 電子内視鏡システム
JP2006014868A (ja) 2004-06-30 2006-01-19 Hamamatsu Photonics Kk リンパ節検出装置
JP4575720B2 (ja) 2004-07-23 2010-11-04 Ｈｏｙａ株式会社 電子内視鏡システム
JP5197916B2 (ja) 2004-09-08 2013-05-15 オリンパス株式会社 内視鏡装置
JP2006256191A (ja) 2005-03-18 2006-09-28 Seiko Epson Corp 液体噴射ヘッド駆動回路、該液体噴射ヘッド駆動回路を備えた液体噴射装置
JP4723281B2 (ja) 2005-05-16 2011-07-13 Ｈｏｙａ株式会社 電子内視鏡システム
EP1889563B1 (en) * 2005-06-08 2015-07-29 Olympus Medical Systems Corp. Endoscope and image processing device
JP4681981B2 (ja) 2005-08-18 2011-05-11 Ｈｏｙａ株式会社 電子内視鏡装置
US20070047834A1 (en) * 2005-08-31 2007-03-01 International Business Machines Corporation Method and apparatus for visual background subtraction with one or more preprocessing modules
EP1763258B1 (en) 2005-09-09 2010-11-03 Olympus Medical Systems Corp. Medical stereo observation system
JP2007143624A (ja) 2005-11-24 2007-06-14 Hamamatsu Photonics Kk 蛍光観察装置
US20070165942A1 (en) * 2006-01-18 2007-07-19 Eastman Kodak Company Method for rectifying stereoscopic display systems
JP4574596B2 (ja) 2006-07-06 2010-11-04 富士フイルム株式会社 カプセル内視鏡
US8498695B2 (en) 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
US7787121B2 (en) 2007-07-18 2010-08-31 Fujifilm Corporation Imaging apparatus
JP5024113B2 (ja) 2008-02-26 2012-09-12 日立電線株式会社 中空ファイバの製造方法
BRPI0906187A2 (pt) 2008-03-18 2020-07-14 Novadaq Technologies Inc. método e sistema de representação de imagens para aquisição de imagens nir e imagens em cor total
US8167793B2 (en) * 2008-04-26 2012-05-01 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot using time duplexing
JP5476923B2 (ja) 2009-10-27 2014-04-23 日本電気株式会社 展開構造体保持ブラケット
JP6226325B2 (ja) 2014-01-31 2017-11-08 飛栄建設株式会社 破壊検知センサ、破壊検知システムおよび構造物

Also Published As

Publication number Publication date
KR102435851B1 (ko) 2022-08-24
CN102076259B (zh) 2013-11-13
EP2641529B1 (en) 2018-01-03
EP3332687A1 (en) 2018-06-13
KR101891121B1 (ko) 2018-09-28
EP3332687B1 (en) 2022-08-17
KR20180049155A (ko) 2018-05-10
CN102197991B (zh) 2014-10-15
US8803955B2 (en) 2014-08-12
WO2009131840A9 (en) 2011-01-06
KR20110018330A (ko) 2011-02-23
CN102076259A (zh) 2011-05-25
KR20160008238A (ko) 2016-01-21
CN102197990B (zh) 2014-07-16
KR101581026B1 (ko) 2015-12-30
US20090270678A1 (en) 2009-10-29
CN102197990A (zh) 2011-09-28
KR20180131646A (ko) 2018-12-10
KR20150082646A (ko) 2015-07-15
KR20210122895A (ko) 2021-10-12
KR102180739B1 (ko) 2020-11-19
EP2641531B1 (en) 2016-08-10
KR20200020018A (ko) 2020-02-25
CN102188229B (zh) 2015-02-11
US8228368B2 (en) 2012-07-24
WO2009131840A1 (en) 2009-10-29
EP2641530A1 (en) 2013-09-25
US10524644B2 (en) 2020-01-07
CN102188229A (zh) 2011-09-21
EP2641531A1 (en) 2013-09-25
US20200093357A1 (en) 2020-03-26
KR101854189B1 (ko) 2018-05-04
US20090268015A1 (en) 2009-10-29
KR20160128442A (ko) 2016-11-07
KR20200130873A (ko) 2020-11-20
KR20190051085A (ko) 2019-05-14
US8167793B2 (en) 2012-05-01
US8169468B2 (en) 2012-05-01
EP2303096A1 (en) 2011-04-06
KR101926039B1 (ko) 2018-12-06
KR102080551B1 (ko) 2020-02-24
CN102188222B (zh) 2014-05-07
US20150077519A1 (en) 2015-03-19
KR101580117B1 (ko) 2015-12-28
US9775499B2 (en) 2017-10-03
US20090268012A1 (en) 2009-10-29
US20180000329A1 (en) 2018-01-04
KR20170132340A (ko) 2017-12-01
US20090268011A1 (en) 2009-10-29
US8810631B2 (en) 2014-08-19
CN102197991A (zh) 2011-09-28
US20090268010A1 (en) 2009-10-29
KR20180095128A (ko) 2018-08-24
CN102188222A (zh) 2011-09-21
KR101802271B1 (ko) 2017-11-28
KR101977135B1 (ko) 2019-05-10
EP2641529A1 (en) 2013-09-25
KR102309075B1 (ko) 2021-10-07

Similar Documents

Publication Publication Date Title
KR101671195B1 (ko) 수술 로봇용 확대 입체 가시영상
US9211058B2 (en) Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant