KR20150082646A - 수술 로봇용 확대 입체 가시영상 - Google Patents
수술 로봇용 확대 입체 가시영상 Download PDFInfo
- Publication number
- KR20150082646A KR20150082646A KR1020157016619A KR20157016619A KR20150082646A KR 20150082646 A KR20150082646 A KR 20150082646A KR 1020157016619 A KR1020157016619 A KR 1020157016619A KR 20157016619 A KR20157016619 A KR 20157016619A KR 20150082646 A KR20150082646 A KR 20150082646A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- visibility
- fluorescence
- stereoscopic
- fluorescent
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title 1
- 238000012800 visualization Methods 0.000 title 1
- 238000002073 fluorescence micrograph Methods 0.000 claims abstract description 254
- 238000003384 imaging method Methods 0.000 claims abstract description 68
- 238000002432 robotic surgery Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims description 279
- 238000012545 processing Methods 0.000 claims description 127
- 239000000203 mixture Substances 0.000 claims description 68
- 239000013307 optical fiber Substances 0.000 claims description 47
- 238000001356 surgical procedure Methods 0.000 claims description 10
- 230000008520 organization Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 4
- 210000001519 tissue Anatomy 0.000 description 246
- 230000003287 optical effect Effects 0.000 description 225
- 230000008569 process Effects 0.000 description 142
- 238000005286 illumination Methods 0.000 description 96
- 230000005284 excitation Effects 0.000 description 33
- 238000002156 mixing Methods 0.000 description 25
- 238000007781 pre-processing Methods 0.000 description 15
- 210000004027 cell Anatomy 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 210000005036 nerve Anatomy 0.000 description 12
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 11
- 230000008901 benefit Effects 0.000 description 11
- 238000001228 spectrum Methods 0.000 description 9
- 238000006073 displacement reaction Methods 0.000 description 8
- 239000000835 fiber Substances 0.000 description 8
- 230000003595 spectral effect Effects 0.000 description 8
- 238000001429 visible spectrum Methods 0.000 description 8
- 206010028980 Neoplasm Diseases 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 238000001444 catalytic combustion detection Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000000799 fluorescence microscopy Methods 0.000 description 4
- 238000002347 injection Methods 0.000 description 4
- 239000007924 injection Substances 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 238000004040 coloring Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 229940079593 drug Drugs 0.000 description 3
- 210000002307 prostate Anatomy 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 230000001502 supplementing effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000009738 saturating Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 229910052724 xenon Inorganic materials 0.000 description 2
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 208000010228 Erectile Dysfunction Diseases 0.000 description 1
- 206010046543 Urinary incontinence Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 102000034287 fluorescent proteins Human genes 0.000 description 1
- 108091006047 fluorescent proteins Proteins 0.000 description 1
- 201000001881 impotence Diseases 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
Images
Classifications
-
- A61B19/2203—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/00149—Holding or positioning arrangements using articulated arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00186—Optical arrangements with imaging filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00194—Optical arrangements adapted for three-dimensional imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
-
- A61B19/5202—
-
- A61B19/5212—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Robotics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biochemistry (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Immunology (AREA)
- Remote Sensing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Radar, Positioning & Navigation (AREA)
- Endoscopes (AREA)
- Astronomy & Astrophysics (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
로봇 수술 시스템이 내시경을 포지셔닝하고 유지한다. 가시성 이미징 시스템이 상기 내시경에 결합된다. 상기 가시성 이미징 시스템은 조직의 가시성 이미지를 캡처한다. 대안의 이미징 시스템은 조직의 적어도 일부의 형광 이미지를 캡처한다. 입체 비디오 디스플레이 시스템이 상기 가시성 이미징 시스템과 대안의 이미징 시스템에 결합된다. 입체 비디오 디스플레이 시스템은 캡처된 형광 이미지와 가시성 이미지에 연관된 혼합된 형광 이미지의 3차원 프리젠테이션을 구비하는 실시간 입체 이미지를 출력한다.
Description
본 발명의 측면은 내시경 이미징에 관한 것이고, 특히 외과의에게 개선된 실시간 비디오 디스플레이를 제공하기 위해 가시성 및 대안의 이미지를 혼합하는 것에 관한 것이다.
캘리포니아 서니베일의 Intuitive Surgical, Inc.에 의해 제조된 da Vinci® Surgical System은 신체에 대한 트라우마 감소, 보다 빠른 회복과 더 짧은 입원과 같은 다수의 효익을 환자에게 제공하는 최소 침습 원격조정 로봇 시스템이다. da Vinci® Surgical System의 하나의 키 포인트는 외과의에게 입체 뷰잉을 제공하는 2-채널(즉, 좌우) 비디오 캡처와 3차원(3D) 가시성 이미지의 디스플레이를 제공하는 기능이다.
이러한 전자 입체 이미징 시스템은 외과의에게 고 해상도 비디오 이미지를 출력하고 외과의로 하여금 증가된 정밀도로 작업하는 것 뿐만 아니라 특정한 조직 유형과 특성을 식별하는 "확대"도를 제공하는 줌과 같은 특징을 허용한다. 일반적인 수술실에서, 그러나, 특정한 조직 유형은 식별하기 어렵고, 또는 관심 조직은 적어도 부분적으로 다른 조직에 의해 은폐되어 있을 수 있다.
하나의 측면에서, 로봇 수술 시스템은 내시경을 포지셔닝하고 유지한다. 가시성 이미징 시스템은 내시경에 결합된다. 가시성 이미징 시스템은 조직의 가시성 이미지를 캡처한다. 대안의 이미징 시스템이 또한 내시경에 결합된다. 대안의 이미징 시스템은 조직의 적어도 일부의 형광 이미지를 캡처한다. 입체 비디오 디스플레이 시스템은 가시성 이미징 시스템과 대안의 이미지 시스템에 결합된다. 입체 비디오 디스플레이 시스템은 캡처된 형광 이미지와 가시성 이미지와 연관된 혼합한 형광 이미지의 3차원 프리젠테이션을 구비하는 실시간 입체 이미지를 출력한다.
따라서, 수술 로봇의 입체 비디오 캡처와 뷰잉 기능은 수술하는 동안 임상 대상인 조직을 실시간으로 식별하기 위해 입체 가시성 이미지와 입체 대안의 이미징 모달리티 이미지를 통합함으로써 증가된다.
본 발명의 측면들은 동시에 외과의가 원격조정 수술 시스템을 이용하여 수술동작을 수행할때 일반적으로 사용하는 입체 가시성 이미지에 추가하여 임상 대상인 조직을 식별하는 입체 대안 모달리티 이미지를 제공한다. 이러한 입체 가시성 및 대안의 이미지의 조합은 외과의로 하여금 병든 조직 제거를 위해 실시간으로 양성 종양 마진을 식별하고 신경을 커팅하지 않도록 하기 위해 이들 신경을 식별하도록 하는 것을 포함하는 효익을 제공한다(그러나, 이에 한정되는 것은 아니다).
상기 이미징 조합은 입체경 가시성 및 대안의 이미지의 연속한 오버레이이거나 또는 입체 대안의 이미지의 오버레이가 토클링 온오프된다. 또한, 가시성 이미지와 또다른 형광 이미지의 실시간 3차원 혼합이 하나의 측면에서 입체 이미지의 한 쪽 눈에서만 나타난다.
또다른 측면에서, 가시성 이미징 시스템은 제 1 프레임 속도로 가시성 이미지를 캡처하는 반면, 대안의 이미징 시스템은 제 2 프레임 속도로 형광 이미지를 캡처한다. 제 1 프레임 속도는 제 2 프레임 속도와 상이하다. 대안의 이미징 시스템은 형광 이미지를 가시성 이미지와 동기화시키기 위한 인위적인 형광 이미지를 생성함으로써 제 1 프레임 속도로 형광 이미지를 입체 비디오 디스플레이 시스템으로 제공한다.
따라서, 하나의 측면에서, 로봇 수술 시스템의 머니퓰레이터 조종 암에 의해 유지되고 포지셔닝되는 내시경으로부터, 조직의 가시성 이미지를 캡처하는 단계를 포함하는 방법이 제공된다. 이러한 방법은 또한 내시경으로부터, 조직의 적어도 일부의 대안의 이미지를 캡처한다. 대안의 이미지는 형광 이미지를 포함한다. 본 방법에서, 캡처된 형광 이미지와 가시성 이미지에 연관된 또다른 형광 이미지의 혼합이 실시간 입체 비디오 디스플레이로 출력된다.
또다른 측면에서, 상기 방법은 캡처된 형광 이미지에 연관된 정보를 이용하여 제 2 형광 이미지를 생성한다. 제 2 형광 이미지는 또다른 형광 이미지이다.
또다른 측면에서, 상기 방법은 가시성 이미지에 연관된 정보를 이용하여 제 2 가시성 이미지를 생성한다. 가시성 이미지와 제 2 가시성 이미지는 입체 쌍의 가시성 이미지를 포함한다. 본 측면에서, 상기 방법은 또한 상기 형광 이미지에 연관된 정보를 이용하여 제 2 형광 이미지를 생성한다. 상기 제 2 형광 이미지는 또다른 형광 이미지이다.
하나의 측면에서, 조명 채널이 로봇 수술 시스템에 의해 유지되고 포지셔닝된다. 조명 채널로부터의 광이 조직을 조광한다. 입체 광학 채널이 또한 로봇 수술 시스템에 의해 유지되고 포지셔닝된다. 입체 광학 채널은 조직으로부터의 제 1 광을 전달한다. 또다른 광학 채널이 또한 로봇 수술 시스템에 의해 유지되고 포지셔닝된다. 또다른 광학 채널은 조직으로부터의 제 2 광을 전달한다. 입체 광학 채널은 또다른 광학 채널과는 상이하다.
이미지 캡처 시스템은 입체 광학 채널에 결합된 제 1 캡처 유닛을 포함한다. 제 1 캡처 유닛은 제 1 광으로부터의 입체 가시성 이미지를 캡처한다. 이미지 캡처 시스템은 또한 또다른 광학 채널에 결합된 제 2 캡처 유닛을 포함한다. 제 2 캡처 유닛은 제 2 광으로부터의 형광 이미지를 캡처한다.
인텔리전트 이미지 처리 시스템이 제 1 캡처 유닛 및 제 2 캡처 유닛에 결합된다. 인텔리전트 이미지 처리 시스템은 캡처된 입체 가시성 이미지와 캡처된 형광 이미지를 수신한다. 인텔리전트 이미지 처리 시스템은 입체 쌍의 형광 이미지를 생성한다.
확대 입체 디스플레이 시스템은 인텔리전트 이미지 처리 시스템과 이미지 캡처 시스템에 결합된다. 확대 입체 디스플레이 시스템은 입체 가시성 이미지와 입체 쌍의 형광 이미지의 혼합의 3차원 프리젠테이션을 포함하는 실시간 입체 이미지를 출력한다.
또다른 측면에서, 로봇 시스템에 의해 유지되고 포지셔닝되는 입체 광학 경로로부터의 조직의 입체 가시성 이미지를 캡처하는 단계를 포함하는 방법이 제공된다. 본 방법은 또한 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 또다른 광학 채널로부터의 조직의 형광 이미지를 캡처한다. 상기 입체 광학 채널은 또다른 광학 채널과는 상이하다.
상기 방법은 입체 쌍의 형광 이미지를 생성하기 위해 캡처된 입체 가시성 이미지로부터의 정보를 이용하여 캡처된 형광 이미지를 처리한다. 입체 가시성 이미지와 입체 쌍의 형광 이미지의 혼합의 3차원 프리젠테이션을 구비하는 조직의 실시간 확대 입체 이미지가 생성된다.
하나의 측면에서, 내시경이 로봇 수술 시스템에 의해 유지되고 포지셔닝된다. 내시경은 입체 광학 채널을 포함하고, 이는 조직으로부터의 제 1 광을 전달하는 제 1 채널과 조직으로부터의 제 2 광을 전달하는 제 2 채널을 포함한다.
제 1 캡처 유닛은 제 1 채널에 결합된다. 제 1 캡처 유닛은: 제 1 광으로부터의 형광 좌측 이미지와 조합된 가시성 좌측 이미지의 가시성 제 1 컬러 컴포넌트; 제 1 광으로부터의 가시성 좌측 이미지의 가시성 제 2 컬러 컴포넌트; 및 제 1 광으로부터의 가시성 좌측 이미지의 가시성 제 3 컬러 컴포넌트;를 캡처한다.
제 2 캡처 유닛은 제 2 채널에 결합된다. 제 2 캡처 유닛은: 제 2 광으로부터의 형광 우측 이미지와 조합된 가시성 우측 이미지의 가시성 제 1 컬러 컴포넌트; 제 2 광으로부터의 가시성 우측 이미지의 가시성 제 2 컬러 컴포넌트; 및 제 2 광으로부터의 가시성 우측 이미지의 가시성 제 3 컬러 컴포넌트;를 캡처한다. 상기 2개의 캡처 유닛은 하나의 이미지 캡처 시스템에 포함된다.
확대 입체 디스플레이 시스템은 이미지 캡처 시스템에 결합된다. 확대 입체 디스플레이 시스템은 조직의 적어도 일부의 실시간 입체 이미지를 출력한다. 실시간 입체 이미지는 가시성 좌우측 이미지와 형광 좌우측 이미지를 포함하는 3차원 프리젠테이션을 포함한다.
제 1 캡처 유닛은 프리즘을 포함한다. 프리즘은 제 1 광을 (1) 가시성 좌측 이미지의 가시성 제 1 컬러 컴포넌트, (2) 가시성 좌측 이미지의 가시성 제 2 컬러 컴포넌트, (3) 가시성 좌측 이미지의 제 3 컬러 컴포넌트, 및 (4) 제 1 컬러 컴포넌트의 컬러를 가지고, 제 1, 제 2, 및 제 3 컬러 컴포넌트로부터 분리되거나 제거된, 형광 좌측 이미지인 제 4 컴포넌트;로 분리한다. 제 2 캡처 유닛은 하나의 측면에서 유사한 프리즘을 포함한다.
또다른 측면에서, 본 방법은 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 내시경에서의 입체 광학 경로로부터의 조직의 적어도 일부의 형광 좌측 이미지와 조합된 조직의 가시성 좌측 이미지의 가시성 제 1 컬러 컴포넌트를 캡처한다. 상기 방법은 또한 입체 광학 경로로부터의 가시성 좌측 이미지의 가시성 제 2 컬러 컴포넌트; 입체 광학 경로로부터의 가시성 좌측 이미지의 가시성 제 3 컬러 컴포넌트; 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 내시경에서의 입체 광학 경로로부터의 조직의 적어도 일부의 형광 우측 이미지와 조합된 조직의 가시성 우측 이미지의 가시성 제 1 컬러 컴포넌트; 입체 광학 경로로부터의 가시성 우측 이미지의 가시성 제 2 컬러 컴포넌트; 및 입체 광학 경로로부터의 가시성 우측 이미지의 가시성 제 3 컬러 컴포넌트;를 캡처한다.
상기 방법은 조직의 실시간 확대 입체 이미지를 생성한다. 실시간 확대 입체 이미지는 가시성 좌우측 이미지와 형광 좌우측 이미지를 포함하는 3차원 프리젠테이션을 포함한다.
이러한 방법은 프리즘을 이용하여 입체 광학 경로로부터의 광을 (1) 가시성 제 1 컬러 컴포넌트, (2) 가시성 제 2 컬러 컴포넌트, (3) 가시성 제 3 컬러 컴포넌트, 및 (4) 제 1 컬러 컴포넌트의 컬러를 가지고, 제 1, 제 2, 및 제 3 컬러 컴포넌트로부터 분리되고 제거된, 제 4 컴포넌트;로 분리한다. 상기 제 4 컴포넌트는 형광 이미지이다.
하나의 측면에서, 내시경은 또한 로봇 수술 시스템에 의해 유지되고 포지셔닝된다. 내시경은 조직으로부터의 광을 전달하는 입체 광학 채널을 포함한다. 캡처 유닛은 입체 광학 채널에 결합된다. 캡처 유닛은 (1) 가시성 제 1 이미지, (2) 광으로부터의 형광 제 2 이미지와 조합된 가시성 제 2 이미지;를 캡처한다. 제 1 이미지는 좌우측 이미지 중 하나이다. 제 2 이미지는 좌우측 이미지 중 다른 하나 이다.
인텔리전트 이미지 처리 시스템은 (1) 가시성 제 1 이미지, 및 (2) 형광 제 2 이미지와 조합된 가시성 제 2 이미지;를 수신하기 위해 캡처 유닛에 결합된다. 인텔리전트 이미지 처리 시스템은 입체 쌍의 형광 이미지 중 적어도 하나의 형광 이미지와 가시성 제 2 이미지를 생성한다.
확대 입체 디스플레이 시스템은 인텔리전트 이미지 처리 시스템과 이미지 캡처 시스템에 결합된다. 확대 입체 디스플레이 시스템은 3차원 프리젠테이션을 포함하는 실시간 입체 이미지를 출력한다. 3차원 프리젠테이션은 한 쪽 눈에서, 입체 쌍의 형광 이미지 중 적어도 하나의 형광 이미지와 가시성 제 1 및 제 2 이미지 중 하나의 혼합; 및 다른 눈에서, 가시성 제 1 및 제 2 이미지 중 다른 하나를 포함한다.
추가적인 측면에서, 본 방법은 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 내시경에서의 입체 광학 경로로부터의 조직의 가시성 제 1 이미지를 캡처한다. 상기 방법은 또한 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 내시경에서의 입체 광학 경로로부터의 조직의 형광 제 2 이미지와 조합된 가시성 제 2 이미지를 캡처한다. 상기 제 1 이미지는 좌우측 이미지 중 하나이다. 상기 제 2 이미지는 좌우측 이미지 중 다른 하나이다.
상기 방법은 입체 쌍의 형광 이미지 중 적어도 하나의 형광 이미지와 가시성 제 2 이미지를 생성하기 위해 형광 제 2 이미지와 조합된 가시성 제 2 이미지와 가시성 제 1 이미지를 처리한다. 3차원 프리젠테이션을 구비하는 실시간 입체 이미지가 생성된다. 3차원 프리젠테이션은: 한 쪽 눈에서, 입체 쌍의 형광 이미지 중 적어도 하나의 형광 이미지와 가시성 제 1 및 제 2 이미지 중 하나의 혼합; 및 다른 쪽 눈에서, 가시성 제 1 및 제 2 이미지 중 다른 하나;를 포함한다.
하나의 측면에서, 내시경이 다시 로봇 수술 시스템에 의해 유지되고 포지셔닝된다. 내시경은 조직으로부터의 광을 전달하는 입체 광학 채널을 포함한다. 캡처 유닛은 입체 광학 채널로 결합된다.
캡처 유닛은 (1) 제 1 시간에, 광으로부터의 제 1 이미지; 및 (2) 상기 제 1 시간과 상이한 제 2 시간에, 광으로부터의 제 2 이미지;를 캡처한다. 제 1 이미지와 제 2 이미지 중 하나만이 형광 이미지와 가시성 이미지의 조합을 포함한다. 제 1 이미지와 제 2 이미지 중 다른 하나는 가시성 이미지이다.
인텔리전트 이미지 처리 시스템은 캡처 유닛에 결합된다. 인텔리전트 이미지 처리 시스템은 캡처된 형광 이미지를 이용하여 인위적인 형광 이미지를 생성한다. 확대 입체 디스플레이 시스템이 인텔리전트 이미지 처리 시스템에 결합된다. 확대 입체 디스플레이 시스템은 인위적인 형광 이미지를 구비하는 조직의 적어도 일부분의 확대 입체 이미지를 출력한다.
하나의 측면에서, 형광 이미지는 형광 우측 이미지와 형광 좌측 이미지를 포함한다. 제 1 이미지는 형광 좌측 이미지와 조합된 가시성 좌측 이미지; 및 형광 우측 이미지와 조합된 가시성 우측 이미지;를 포함하는 입체 쌍의 이미지를 구비한다. 로봇 수술 시스템은 형광 좌우측 이미지를 이용하여 제 2 시간 동안 인위적인 입체 쌍의 형광 이미지를 생성하여, 인위적인 입체 쌍의 형광 이미지가 인위적인 형광 이미지가 되도록한다. 인텔리전트 이미지 처리 시스템은 또한 제 1 이미지와 제 2 이미지를 등록하기 위한 임시 이미지 등록부를 포함한다.
또다른 측면에서, 제 1 이미지는 가시성 제 1 컬러 컴포넌트, 가시성 제 2 컬러 컴포넌트, 및 가시성 제 3 컬러 컴포넌트를 차례로 포함하는 가시성 이미지를 포함한다. 제 2 이미지는: 형광 이미지와 조합된 가시성 제 1 컬러 컴포넌트, 가시성 제 2 컬러 컴포넌트, 및 가시성 제 3 컴포넌트를 포함하는, 형광 이미지와 조합된 가시성 이미지를 포함한다. 인텔리전트 이미지 처리 시스템은: (1) 가시성 제 2 및 제 3 컬러 컴포넌트를 위한 인공물, 및 (2) 가시성 제 1 컬러 컴포넌트를 위한 형광 이미지에 인공물을 더한 것;을 생성하기 위한 형광 이미지 및 인공물 생성기를 더 포함한다.
본 측면에서, 인텔리전트 이미지 처리 시스템은 또한 형광 이미지와 인공물 생성기에 결합된 형광 이미지 추출기를 포함한다. 형광 이미지 추출기는 제 2 시간에 대한 제 1 형광 이미지를 생성한다. 형광 이미지 확장 시스템은 형광 이미지 생성기에 결합된다. 형광 이미지 확장 시스템은 제 1 형광 이미지를 수신하고 인위적인 형광 이미지를 생성한다.
추가적인 측면에서, 본 방법은, 제 1 시간에서 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 내시경에서의 입체 광학 경로로부터의 광으로부터의 제 1 이미지를 캡처하는 단계를 포함하고, 여기서, 상기 광은 조직으로부터 나온 것이다. 이러한 방법은 또한 제 1 시간과 상이한 제 2 시간에서 광으로부터의 제 2 이미지를 캡처하는 단계를 포함하고, 여기서 상기 제 1 이미지와 제 2 이미지 중 하나만이 형광 이미지와 가시성 이미지의 조합을 포함하고; 제 1 이미지와 제 2 이미지 중 다른 하나는 가시성 이미지이다. 인위적인 형광 이미지는 캡처된 형광 이미지를 이용하여 생성된다. 인위적인 형광 이미지를 포함하는 조직의 적어도 일부로부터의 확대 입체 이미지가 또한 생성된다.
본 발명에 따르면, 외과의가 원격 조정 수술 시스템을 이용하여 수술동작을 수행할때 일반적으로 사용하는 입체 가시성 이미지에 추가하여 임상 대상인 조직을 식별하는 입체 대안 모달리티 이미지를 제공하고, 이러한 입체 시각 및 대안의 이미지의 조합은 외과의로 하여금 병든 조직 제거를 위해 실시간으로 양성 종양 마진을 식별하고 신경을 커팅하지 않도록 하기 위해 이들 신경을 식별하도록 하는 것을 포함하는 효익을 제공한다.
도 1은 최소 침습 수술 로봇용 확대 입체 가시셩상 시스템을 도시한다.
도 2는 예를 들면, 도 1의 최소 침습 수술 로봇용 확대 입체 가시영상 시스템을 이용하여 수행되는 프로세서의 플로우도를 도시한다.
도 3a는 캡처를 위해 2개의 개별 광학 경로를 사용하는(그러나, 형광 이미징을 위해서는 하나의 카메라만을 사용) 하드웨어 및 소프트웨어(이미지 처리와 사용자 인터페이스) 측면을 도시하는 개략도이다.
도 3b는 2개의 개별 광학 경로를 가진 내시경과 각 광학 경로에 결합된 별개의 카메라 유닛을 도시하는 보다 상세한 도면이다.
도 3c는 광 파이버 케이블에 연결된 조합된 광원의 하나의 측면을 도시한다.
도 3d는 공간 이미지 등록 시스템의 하나의 측면을 도시한다.
도 3e는 최소 침습 수술 로봇 시스템에서의 혼합된 실시간 입체 가시성 이미지와 형광 이미지를 캡처하고, 처리하고, 및 출력하는 2개의 개별 광학 경로와 스테레오 카메라를 이용하는 하드웨어와 소프트웨어(이미지 처리 및 사용자 인터페이스) 측면을 도시하는 대안의 개략도이다.
도 4는 예를 들면, 도 3a의 최소 침습 수술 로봇용 확대 입체 가시영상 시스템을 이용하여 수행되는 프로세스의 프로세스 흐름도이다.
도 5a는 최소 침습 수술 로봇 시스템에서의 혼합된 실시간 입체 가시성 이미지와 형광 이미지를 캡처하고, 처리하고, 및 출력하는 별개의 카메라를 가진 단일한 입체 광학 경로를 이용하는 하드웨어와 소프트웨어(이미지 처리 및 사용자 인터페이스) 측면을 도시하는 개략도이다.
도 5b는 2개의 개별 카메라 유닛이 결합된 내시경을 도시하는 보다 상세한 도면이다.
도 5c-5e, 및 5g는 조합 광원으로부터의 광을 전달하는 데에 사용하는 광 파이버 번들의 측면과 조합 광원의 측면을 도시한다.
도 5f는 조직으로부터 가시성 이미지와 형광 이미지를 분리하는 하나의 측면을 도시한다.
도 6은 예를 들면 도 5a의 최소 침습 수술 로봇용 확대 입체 가시영상 시스템을 이용하여 수행되는 프로세스의 프로세스 흐름도이다.
도 7a는 최소 침습 수술 로봇 시스템에서의 혼합된 실시간 입체 가시성 이미지와 형광 이미지를 캡처하고, 처리하고, 및 출력하는 단일한 입체 광학 경로를 가진 채널 분할을 이용하는 하드웨어 및 소프트웨어(이미지 처리 및 사용자 인터페이스) 측면을 도시하는 개략도이다.
도 7b는 단일한 카메라 유닛이 결합된 내시경을 도시하는 보다 상세한 도면이다.
도 8은 예를 들면 도 7a의 최소 침습 수술 로봇용 확대 입체 가시영상 시스템을 이용하여 수행되는 프로세스의 프로세스 흐름도이다.
도 9a 및 9b는 최소 침습 수술 로봇 시스템에서의 혼합된 입체 가시성 이미지와 형광 이미지를 캡처하고, 처리하고, 및 출력하는 단일한 입체 광학 경로를 가진 시분할을 이용하는 하드웨어 및 소프트웨어(이미지 처리 및 사용자 인터페이스) 측면을 도시하는 개략도이다.
도 9c는 도 9a 및 9b에서의 시스템의 타이밍, 동기화, 및 캡처의 하나의 측면을 도시한다.
도 9d는 최소 침습 수술 로봇 시스템에서의 혼합된 입체 가시성 이미지와 형광 이미지를 캡처하고, 대안으로 처리하고, 및 출력하는 단일한 입체 광학 경로를 가진 시분할을 이용하는 하드웨어 및 소프트웨어(이미지 처리 및 사용자 인터페이스) 측면을 도시하는 개략도이다.
도 9e는 인텔리전트 이미지 처리 시스템의 대안의 측면을 도시하는 개략도이다.
도 10a는 예를 들면 도 9a의 최소 침습 수술 로봇용 확대 입체 가시영상 시스템을 이용하여 수행되는 프로세스의 프로세스 흐름도이다.
도 10b는 도 10a의 프로세스를 이용하여 생성된 타이밍, 동기화, 캡처, 및 인위적인 형광 프레임의 측면을 도시한다.
도 11a는 단일 입체 광학 경로를 이용하여 가시성 컬러 컴포넌트 중 하나로 형광 이미지를 캡처하고, 최소 침습 수술 로봇 시스템에서의 혼합된 입체 가시성 이미지와 형광 이미지를 처리하고, 및 출력하는, 시분할을 이용하는 하드웨어 및 소프트웨어 측면을 도시하는 개략도이다.
도 11b는 도 11a의 시스템의 타이밍, 동기화, 및 캡처의 하나의 측면을 도시한다.
도 12는 도 11a의 인텔리전트 이미지 처리 시스템의 하나의 측면에 대한 프로세스 흐름도이다.
도 13a는 단일 입체 광학 경로를 이용하고, 변형된 프리즘을 가진 카메라 유닛으로 캡처하고, 최소 침습 수술 로봇 시스템에서의 실시간 입체 가시성 이미지와 형광 이미지를 처리하고, 및 출력하는 하드웨어 및 소프트웨어(이미지 처리 및 사용자 인터페이스) 측면을 도시하는 개략도이다.
도 13b는 조직으로부터의 가시성 및 형광 광을 가시성 이미지의 제 1 컬러 컴포넌트, 가시성 이미지의 제 2 컬러 컴포넌트, 가시성 이미지의 제 3 컬러 컴포넌트, 및 컬러 컴포넌트 중 하나의 컬러를 가지고 제 1, 제 2, 제 3 컬러 컴포넌트와 별개이고 분리된 제 4 컴포넌트로 분리하는 프리즘으로부터의 스펙트럼을 도시한다.
도 14는 예를 들면 도 13a의 최소 침습 수술 로봇에 대한 확대 입체 가시영상 시스템을 이용하여 수행된 프로세스의 프로세스 흐름도이다.
도 15는 1-칩 CCD 센서를 가진 입체 내시경을 이용하여 최소 침습 수술 로봇에 대한 확대 입체 가시영상 시스템에서의 시분할 및 채널 분할에 대한 타이밍, 동기화 및 캡처의 하나의 측면을 도시한다.
도면에서, 단일한 숫자의 도면 번호에 대한 도면 번호 중 첫번째 숫자와 이중 숫자의 도면 번호에 대한 도면 번호 중 처음의 2개의 숫자는 그 도면 번호를 가진 엘리먼트가 먼저 나타난 도면을 지시한다.
본문에 사용된 바와 같이, "로봇"은 폭넓게 한정되어야 하며, 텔레로보틱 시스템을 포함한다.
본문에 사용된 바와 같이, 전자 입체 이미징은 2개의 이미징 채널(즉, 좌우측 이미지에 대한 채널)의 사용을 포함한다.
본문에 사용된 바와 같이, 입체 광학 경로는 조직으로부터의 광을 전달하는 내시경에서의 2개 채널(예를 들면, 좌우칙 이미지)을 포함한다. 각 채널에서 전달된 광은 조직의 상이한 관점을 나타내고, 따라서 2개 채널에서 광을 식별하기 위해 제 1 광 및 제 2 광이라고 칭한다. 광은 하나 이상의 이미지를 포함할 수 있다.
본문에 사용된 바와 같이. 조명 경로는 조직에 조광을 제공하는 내시경에서의 경로를 포함한다.
본문에 사용된 바와 같이, 가시성 스펙트럼에서 캡처된 이미지를 가시성 이미지라고 한다.
본문에 사용된 바와 같이, 가시성 이미지를 포함하지 않는, 대안의 이미징 모달리티에서 캡처된 이미지를 대안의 이미지라고 한다. 대안의 이미징 모달리티의 예는 조직 형광을 캡처한 이미지이다.
본문에 사용된 바와 같이, 형광의 결과로서 캡처된 이미지를 본문에서는 형광 이미지라고 한다. 다양한 형광 이미징 모달리티가 있다. 형광은 예를 들면 주사가능한 염료, 형광 단백질, 또는 형광 태그된 항체를 사용한 결과이다. 형광은 예를 들면, 레이저 또는 기타 에너지 원에 의한 여기로 인한 것이다. 형광 이미지는 병리학적 정보(예를 들면, 형광 종양) 또는 해부학적 정보(예를 들면, 형광 태그된 신경)과 같은 수술에 중요한 비보(vivo) 환자 정보에서의 바이탈을 제공할 수 있다.
본문에 사용된 바와 같이, 장파장 투과 필터(long pass filter)가 통과 파장수 보다 더 긴 파장 모두를 통과하게 한다. 예를 들면 510nm 장파장 투과 필터는 510nm 보다 더 큰 모든 파장이 필터를 통과하도록 한다. 일반적으로, 장파장 투과 필터는 형광에서 장벽 필터로서 사용된다. 장파장 투과 필터는 때때로 형광 빛이 필터를 통과하지만 여기 광이 통과하지는 않도록 하기 위해 사용된다.
본문에 사용된 바와 같이, 단파장 투과 필터는 필터의 파장 보다 더 낮은 파자인 광이 필터를 통과하도록 한다. 예를 들면, 480nm 단파장 투과 필터는 480nm 보다 파장이 짧은(480nm 미만의) 빛이 필터를 통과하도록 한다. 단파장 투과 필터는 때때로 형광에 대한 여기 필터로 사용된다.
본문에 사용된 바와 같이, 대역 통과 필터는 일 세트의 파장만 통과하도록 한다. 파장 수는 대역 통과 필터의 중심 파장이라고 한다. 중심 파장은 필터를 통과하게 될 파장의 영역 내에 있는 대부분의 파장이 통과하는 파장이다. 대개, 이는 필터의 중심파장이다. 대역 통과 필터는 중심 파장 및 통과 대역 또는 폭에 의해 정해진다.
도 2는 예를 들면, 도 1의 최소 침습 수술 로봇용 확대 입체 가시영상 시스템을 이용하여 수행되는 프로세서의 플로우도를 도시한다.
도 3a는 캡처를 위해 2개의 개별 광학 경로를 사용하는(그러나, 형광 이미징을 위해서는 하나의 카메라만을 사용) 하드웨어 및 소프트웨어(이미지 처리와 사용자 인터페이스) 측면을 도시하는 개략도이다.
도 3b는 2개의 개별 광학 경로를 가진 내시경과 각 광학 경로에 결합된 별개의 카메라 유닛을 도시하는 보다 상세한 도면이다.
도 3c는 광 파이버 케이블에 연결된 조합된 광원의 하나의 측면을 도시한다.
도 3d는 공간 이미지 등록 시스템의 하나의 측면을 도시한다.
도 3e는 최소 침습 수술 로봇 시스템에서의 혼합된 실시간 입체 가시성 이미지와 형광 이미지를 캡처하고, 처리하고, 및 출력하는 2개의 개별 광학 경로와 스테레오 카메라를 이용하는 하드웨어와 소프트웨어(이미지 처리 및 사용자 인터페이스) 측면을 도시하는 대안의 개략도이다.
도 4는 예를 들면, 도 3a의 최소 침습 수술 로봇용 확대 입체 가시영상 시스템을 이용하여 수행되는 프로세스의 프로세스 흐름도이다.
도 5a는 최소 침습 수술 로봇 시스템에서의 혼합된 실시간 입체 가시성 이미지와 형광 이미지를 캡처하고, 처리하고, 및 출력하는 별개의 카메라를 가진 단일한 입체 광학 경로를 이용하는 하드웨어와 소프트웨어(이미지 처리 및 사용자 인터페이스) 측면을 도시하는 개략도이다.
도 5b는 2개의 개별 카메라 유닛이 결합된 내시경을 도시하는 보다 상세한 도면이다.
도 5c-5e, 및 5g는 조합 광원으로부터의 광을 전달하는 데에 사용하는 광 파이버 번들의 측면과 조합 광원의 측면을 도시한다.
도 5f는 조직으로부터 가시성 이미지와 형광 이미지를 분리하는 하나의 측면을 도시한다.
도 6은 예를 들면 도 5a의 최소 침습 수술 로봇용 확대 입체 가시영상 시스템을 이용하여 수행되는 프로세스의 프로세스 흐름도이다.
도 7a는 최소 침습 수술 로봇 시스템에서의 혼합된 실시간 입체 가시성 이미지와 형광 이미지를 캡처하고, 처리하고, 및 출력하는 단일한 입체 광학 경로를 가진 채널 분할을 이용하는 하드웨어 및 소프트웨어(이미지 처리 및 사용자 인터페이스) 측면을 도시하는 개략도이다.
도 7b는 단일한 카메라 유닛이 결합된 내시경을 도시하는 보다 상세한 도면이다.
도 8은 예를 들면 도 7a의 최소 침습 수술 로봇용 확대 입체 가시영상 시스템을 이용하여 수행되는 프로세스의 프로세스 흐름도이다.
도 9a 및 9b는 최소 침습 수술 로봇 시스템에서의 혼합된 입체 가시성 이미지와 형광 이미지를 캡처하고, 처리하고, 및 출력하는 단일한 입체 광학 경로를 가진 시분할을 이용하는 하드웨어 및 소프트웨어(이미지 처리 및 사용자 인터페이스) 측면을 도시하는 개략도이다.
도 9c는 도 9a 및 9b에서의 시스템의 타이밍, 동기화, 및 캡처의 하나의 측면을 도시한다.
도 9d는 최소 침습 수술 로봇 시스템에서의 혼합된 입체 가시성 이미지와 형광 이미지를 캡처하고, 대안으로 처리하고, 및 출력하는 단일한 입체 광학 경로를 가진 시분할을 이용하는 하드웨어 및 소프트웨어(이미지 처리 및 사용자 인터페이스) 측면을 도시하는 개략도이다.
도 9e는 인텔리전트 이미지 처리 시스템의 대안의 측면을 도시하는 개략도이다.
도 10a는 예를 들면 도 9a의 최소 침습 수술 로봇용 확대 입체 가시영상 시스템을 이용하여 수행되는 프로세스의 프로세스 흐름도이다.
도 10b는 도 10a의 프로세스를 이용하여 생성된 타이밍, 동기화, 캡처, 및 인위적인 형광 프레임의 측면을 도시한다.
도 11a는 단일 입체 광학 경로를 이용하여 가시성 컬러 컴포넌트 중 하나로 형광 이미지를 캡처하고, 최소 침습 수술 로봇 시스템에서의 혼합된 입체 가시성 이미지와 형광 이미지를 처리하고, 및 출력하는, 시분할을 이용하는 하드웨어 및 소프트웨어 측면을 도시하는 개략도이다.
도 11b는 도 11a의 시스템의 타이밍, 동기화, 및 캡처의 하나의 측면을 도시한다.
도 12는 도 11a의 인텔리전트 이미지 처리 시스템의 하나의 측면에 대한 프로세스 흐름도이다.
도 13a는 단일 입체 광학 경로를 이용하고, 변형된 프리즘을 가진 카메라 유닛으로 캡처하고, 최소 침습 수술 로봇 시스템에서의 실시간 입체 가시성 이미지와 형광 이미지를 처리하고, 및 출력하는 하드웨어 및 소프트웨어(이미지 처리 및 사용자 인터페이스) 측면을 도시하는 개략도이다.
도 13b는 조직으로부터의 가시성 및 형광 광을 가시성 이미지의 제 1 컬러 컴포넌트, 가시성 이미지의 제 2 컬러 컴포넌트, 가시성 이미지의 제 3 컬러 컴포넌트, 및 컬러 컴포넌트 중 하나의 컬러를 가지고 제 1, 제 2, 제 3 컬러 컴포넌트와 별개이고 분리된 제 4 컴포넌트로 분리하는 프리즘으로부터의 스펙트럼을 도시한다.
도 14는 예를 들면 도 13a의 최소 침습 수술 로봇에 대한 확대 입체 가시영상 시스템을 이용하여 수행된 프로세스의 프로세스 흐름도이다.
도 15는 1-칩 CCD 센서를 가진 입체 내시경을 이용하여 최소 침습 수술 로봇에 대한 확대 입체 가시영상 시스템에서의 시분할 및 채널 분할에 대한 타이밍, 동기화 및 캡처의 하나의 측면을 도시한다.
도면에서, 단일한 숫자의 도면 번호에 대한 도면 번호 중 첫번째 숫자와 이중 숫자의 도면 번호에 대한 도면 번호 중 처음의 2개의 숫자는 그 도면 번호를 가진 엘리먼트가 먼저 나타난 도면을 지시한다.
본문에 사용된 바와 같이, "로봇"은 폭넓게 한정되어야 하며, 텔레로보틱 시스템을 포함한다.
본문에 사용된 바와 같이, 전자 입체 이미징은 2개의 이미징 채널(즉, 좌우측 이미지에 대한 채널)의 사용을 포함한다.
본문에 사용된 바와 같이, 입체 광학 경로는 조직으로부터의 광을 전달하는 내시경에서의 2개 채널(예를 들면, 좌우칙 이미지)을 포함한다. 각 채널에서 전달된 광은 조직의 상이한 관점을 나타내고, 따라서 2개 채널에서 광을 식별하기 위해 제 1 광 및 제 2 광이라고 칭한다. 광은 하나 이상의 이미지를 포함할 수 있다.
본문에 사용된 바와 같이. 조명 경로는 조직에 조광을 제공하는 내시경에서의 경로를 포함한다.
본문에 사용된 바와 같이, 가시성 스펙트럼에서 캡처된 이미지를 가시성 이미지라고 한다.
본문에 사용된 바와 같이, 가시성 이미지를 포함하지 않는, 대안의 이미징 모달리티에서 캡처된 이미지를 대안의 이미지라고 한다. 대안의 이미징 모달리티의 예는 조직 형광을 캡처한 이미지이다.
본문에 사용된 바와 같이, 형광의 결과로서 캡처된 이미지를 본문에서는 형광 이미지라고 한다. 다양한 형광 이미징 모달리티가 있다. 형광은 예를 들면 주사가능한 염료, 형광 단백질, 또는 형광 태그된 항체를 사용한 결과이다. 형광은 예를 들면, 레이저 또는 기타 에너지 원에 의한 여기로 인한 것이다. 형광 이미지는 병리학적 정보(예를 들면, 형광 종양) 또는 해부학적 정보(예를 들면, 형광 태그된 신경)과 같은 수술에 중요한 비보(vivo) 환자 정보에서의 바이탈을 제공할 수 있다.
본문에 사용된 바와 같이, 장파장 투과 필터(long pass filter)가 통과 파장수 보다 더 긴 파장 모두를 통과하게 한다. 예를 들면 510nm 장파장 투과 필터는 510nm 보다 더 큰 모든 파장이 필터를 통과하도록 한다. 일반적으로, 장파장 투과 필터는 형광에서 장벽 필터로서 사용된다. 장파장 투과 필터는 때때로 형광 빛이 필터를 통과하지만 여기 광이 통과하지는 않도록 하기 위해 사용된다.
본문에 사용된 바와 같이, 단파장 투과 필터는 필터의 파장 보다 더 낮은 파자인 광이 필터를 통과하도록 한다. 예를 들면, 480nm 단파장 투과 필터는 480nm 보다 파장이 짧은(480nm 미만의) 빛이 필터를 통과하도록 한다. 단파장 투과 필터는 때때로 형광에 대한 여기 필터로 사용된다.
본문에 사용된 바와 같이, 대역 통과 필터는 일 세트의 파장만 통과하도록 한다. 파장 수는 대역 통과 필터의 중심 파장이라고 한다. 중심 파장은 필터를 통과하게 될 파장의 영역 내에 있는 대부분의 파장이 통과하는 파장이다. 대개, 이는 필터의 중심파장이다. 대역 통과 필터는 중심 파장 및 통과 대역 또는 폭에 의해 정해진다.
본 발명의 측면은, 수술하는 동안 실시간으로, 수술 대상인 조직을 식별하기 위한 입체 가시성 이미지와 입체 대안의 이미징 모달리티 이미지를 모두 통합함으로써, 예를 들면 캘리포니아 서니베일의 Intuitive Surgical, Inc.에 의해 제조된 da Vinci® Surgical Robot System과 같은, 수술 로봇의 입체 비디오 캡처 및 뷰잉 기능을 증대시킨다(da Vinci®는 캘리포니아 서니베일의 Intuitive Surgical, Inc.의 등록 상표이다.).
본 발명의 측면은, 동시에 원격조종된 수술 시스템을 이용하여 수술 동작을 수행할 때 외과의가 일반적으로 사용하는 입체 가시성 이미지에 추가하여 수술 대상의 조직을 식별하는 입체 대안의 모달리티 이미지를 제공한다. 이러한 입체 가시성 및 대안의 이미지의 조합은 외과의로 하여금 실시간으로 병든 조직의 제거를 위한 포지티브 종양을 식별하고 신경을 절단하는 것을 방지하기 위해 이러한 신경을 식별하도록 하는 것을 포함하는 효익을 제공하지만, 그에 한정되는 것은 아니다.
이러한 이미징 조합은 입체 가시성 이미지와 대안의 이미지의 연속한 오버레이가 되거나, 또는 입체 대안의 이미지의 오버레이가 토글링 온 오프될 수 있다(예를 들면, 풋 페달을 이용하거나, 또는 da Vinci® Surgical System 외과의의 콘솔 상의 마스터 핑거 그립을 더블클릭함으로써).
도 1은 예를 들면, 확대 입체 가시영상 시스템(100)을 포함하는, da Vinci® Surgical System과 같은, 하나의 로봇 수술 시스템의 고 레벨의 도면이다. 본 예시에서, 외과의 콘솔(114)을 이용하는 외과의는 원격으로 로봇 머니퓰레이터 암(113)을 이용하여 내시경(112)을 조종한다. da Vinci® Surgical System에 연관된 기타 부분, 케이블 등이 있지만, 이들은 본 개시물의 주의를 다른 곳으로 돌리는 것을 방지하기 위해 도 1에 도시되지 않았다.
하기에 보다 완전하게 설명된 바와 같이, 조명 시스템(도시되지 않음)은 내시경(112)에 결합된다. 일반적으로, 조명 시스템은 백색광 및 적어도 하나의 형광 여기 광을 제공한다. 이들 광의 모두 또는 일부는 광 파이버 번들에 의해 내시경(112)에서의 적어도 하나의 조명 경로에 결합된다. 상기 광은 내시경(112)에서의 적어도 하나의 조명 경로를 통해 지나가고 환자(111)의 조직(103)을 조광한다. 내시경(112)은 또한, 하나의 측면에서, 예를 들면 반사된 백색광 및 형광과 같은, 조직으로부터의 광을 지나가게 하기 위해 2개의 광학 채널을 포함한다. 상기 반사된 백색광은 가시성 이미지인 반면, 형광은 형광 이미지이다.
조직(103)으로부터 반사된 백색광은 이미지 캡처 시스템(120)으로부터 가시성 입체 이미지(121)로서 캡처된다. 유사하게, 형광 이미지 또는 형광 이미지들(122)은 또한 이미지 캡처 하드웨어(120)에 의해 캡처된다. 하기에 보다 완전하게 설명되는 바와 같이, 입체 디스플레이에 필요한 다양한 이미지들이 캡처될 수 있는 다양한 방식이 있다. 일반적으로, 이미지 캡처 하드웨어(120)는 전하결합소자(CCD) 센서를 포함하는 적어도 하나의 카메라를 포함한다. 이미지의 캡처는 이미지 캡처 시스템(120)에서 동시에 또는 거의 동시에 발생한다.
하나의 측면에서, 인텔리전트 이미지 처리 시스템(130)은 광학 채널로부터 제공된 정보로부터 형광 이미지를 추출하도록 이미지 캡처 시스템(120)과 함께 기능한다. 예를 들면, 필터 처리는 형광을 여기하기 위해 사용되는 레이저 광의 주파수가 주어지면 형광 이미지 제거 프로세스에서 가시성 이미지에 대한 임의의 열화를 보상하는 스펙트럼 밸런서와 함께 작동한다.
또한, 캡처된 이미지는 인텔리전트 이미징 처리 시스템(130)에서 입체적으로 후속하는 디스플레이를 위해 처리된다. 예를 들면, 고정된 관계식을 가진 개별 광학 채널이 형광 이미지와 반사된 백색광 이미지를 인텔리전트 이미지 처리 시스템(130)으로 전달하기 위해 사용되고, 하나의 스텝의 조정이 개별 광학 채널의 고정된 상대적 위치에 기초하여 사용된다.
인텔리전트 이미지 처리 시스템(130)은 또한 적절할 때 형광 이미지(들)과 가시성 이미지의 공간 이미지 등록을 수행한다. 공간 이미지 등록은 확대 입체 디스플레이 시스템(140)에서의 형광 이미지의 적합한 오버레이를 허용한다.
또다른 측면에서, 인텔리전트 이미지 처리 시스템(130)은 좌측 채널과 우측 채널의 가시성 이미지의 스테레오 매칭을 수행한다. 또다른 측면에서, 인텔리전트 이미지 처리는 확대 입체 디스플레이가 외과의에 제시될 수 있도록 인위적인 가시성 및/또는 형광 이미지를 생성한다.
따라서, 확대 입체 가시영상(100)을 가진 수술 로봇 시스템을 이용하는 최소 침습 수술을 수행하는 외과의에 대해, 가시성 이미지와 형광 이미지같은 대안의 이미지 모두를 캡처할 수 있도록 하는 조직 조광 프로세스(201)(도 2)에서 조직(103)이 조광된다.
식견이 있는 개인들은 조직 자체가 특정한 파장의 광에 의해 여기될 때, 또는 대안으로, 조직(103)에 부착된 조직에 특정한 형광체(fluorophores)가 특정 파장의 광에 의해 여기될 때, 자연스럽게 발생할 수 있다는 것이 이해될 것이다. 따라서, 본문에 기술된 형광 이미지는 어느 하나의 기술에 의해 획득될 수 있다. 식견이 있는 사람은 또한 일부 형광체가 가시광 스펙트럼내의 에너지를 방출하고, 다른 것들은 가시광 스펙트럼 외(예를 들면, 약 830nm)의 에너지를 방출한다는 것을 이해한다.
본 발명의 측면은 조직 조광 프로세스(201)에서 폭넓은 스펙트럼의 가시성 이미지에 대한 백색광원과 대안의 이미지에 대한 또다른 광원을 이용하는 조직의 조광을 포함한다. 예를 들면, 조직에 특정한 형광체를 여기시키기 위해 협소한 대역의 광이 대안의 이미지에 대한 광원으로서 사용된다.
형광 대안의 이미지에 대해, 여기 파장이 가시광 스펙트럼에서 발생하면, 백색광이 형광체를 여기하도록 기능한다. 여기 파장이 가시광 스펙트럼 외(예를 들면, 적외선(IR) 근방)에서 발생하였거나 또는 추가적인 여기 에너지가 가시광 스펙트럼에서 요구된다면, 레이저 모듈(또는 발광 다이오드(LED) 또는 필터링된 백색광과 같은, 또다른 에너지원)이 조직 조광 프로세스(201)에서 조직을 동시에 조광하기 위해 사용된다. 이러한 동시 발생의 조광은 하기에 보다 완전하게 논의되는 바와 같은 다양한 방식으로 달성될 수 있다.
반사 및 방출된, 조직(103)으로부터의 광은 조직으로부터의 광의 사전 처리프로세스(202)로 조정된다. 예를 들면, 광은 필터링되어 입체 비디오 디스플레이에서의 이미지의 컨트라스트를 개선시킨다. 반사 및 방출된 광이 단일 광 채널에 포함된다면, 조직으로부터의 광의 사전 처리 프로세스(202)는 광을 반사 광과 방출광으로 분리한다.
조직으로부터의 광의 사전 처리 프로세스(202)는 선택이며, 일부 측면에서는 사용되지 않는다. 따라서, 조직(103)으로부터의 사전 처리된 광 또는 조직(103)으로부터의 원래의 광이 이미지 캡처 프로세스(203)로 통과된다.
조직으로부터의 광의 사전 처리 프로세스(202)로부터의 출력이 가시성 이미지 및 대안의 이미지(들)로서 이미지 캡처 프로세스(203)에서 캡처된다. 예를 들면, 상술한 이미지 캡처 시스템(120)을 참조하라.
인텔리전트 처리(204)는 입체 디스플레이를 위해 완전한 세트의 가시성 및 형광 이미지를 제공하도록 캡처된 이미지에 대한 필요한 프로세스를 수행한다.
조직의 입체 비디오 디스플레이 생성 프로세스(205)에서, 가시성 및 형광 이미지의 세트는 조직의 3차원 프리젠테이션을 생성하기 위해 필요한 정도로 혼합된다. 3차원 프리젠테이션은 내시경에 대해 조직의 거리와 지오메트리를 변화시키는 데에 연관된 종래기술에서의 문제점을 제거한다. 특히, 대안의 이미지 및/또는 가시성 이미지를 가진 조직의 실시간 입체 디스플레이는 외과의가 예를 들면 병든 조직의 위치, 신경 또는 다른 기관의 위치와 같은 수술 범위를 판정하는 데에 사용할 수 있는 조직의 정확한 3차원 도면을 제공한다.
조직으로부터의 2개의 개별 광학 경로
도 3a의 실시예에서, 로봇 수술 시스템(도시되지 않음)은 확대 입체 비전 시스템(300)으로 조직(303)으로부터의 광을 전달하는 2개의 별개의 상이한 광학 경로를 포함한다. 2개의 광학 경로로부터의 광은 외과의가 로봇 수술 시스템을 운영하도록 하기 위해 조직(303)의 실시간 입체 비디오 디스플레이를 생성하는 데에 사용된다.
하나의 측면에서, 입체 비디오 디스플레이는 조직(303)의 병든 부분 및/또는 특정한 조직, 처치되어야하는 것과 상이한 신경 또는 기관과 같은 조직에서의 관심 영역을 강조하기 위해 하나 이상의 대안의 이미지를 가지고 확대된 조직(303)의 일반적인 3차원 도면을 포함한다. 일반적으로 대안의 이미지는 예를 들면 청색과 같은 특정한 컬러로 제시된다.
본 예시에서, 2개의 별개의 내시경(301, 302)은 조직(303)으로부터 하드웨어(320)까지의 입체 광학 경로 및 적어도 하나의 다른 광학 경로를 제공하는 것으로 도시된다. 내시경(302)은 입체 광학 경로를 보충하는 2개의 광 채널을 포함하는 반면, 내시경(301)은 적어도 하나의 광 채널을 포함한다. 대안으로, 광 채널 모두는 단일한 내시경에 있을 수 있다. 따라서, 도 3a의 측면은 예시적일 뿐이고, 본 실시예를 도시된 특정한 측면에 한정시키는 것을 의도하지 않는다.
본 예시에서, 내시경(301, 302) 각각은 조합 광원(310)으로부터의 광을 조직(303)에 제공하는 조명 경로를 포함한다. 대안으로, 단일한 조명 경로는 광을 조직(303)에 제공하기 위해 사용될 수 있다. 도시되지는 않았지만, 하나의 측면에서, 내시경(301, 302)은 각각 고정된 관계식으로 로봇 수술 시스템에 의해 유지되고 이동된다. 예를 들면, 도 1을 참조하라. 대안으로, 상이한 로봇 암이 2개의 내시경을 독립하여 유지 및 이동시키기 위해 사용될 수 있다. 이러한 측면에서, 로봇 암으로부터의 실시간 운동학적 정보가 2개의 내시경을 정렬하는 데에 사용된다.
본 예시에서, 확대 입체 비전 시스템(300)은 조합광원(310), 하드웨어(320), 및 복수의 컴퓨터 기반 방법(390)을 포함한다. 도 3a에 도시된 바와 같이, 하드웨어(320)의 일부가 이미지 캡처 시스템(120A)을 보완한다. 하드웨어(320)의 또다른 부분과 복수의 컴퓨터 기반 방법(390)의 일부가 인텔리전트 이미지 처리 시스템(130A)을 보완한다. 그러나, 하드웨어(320)의 또다른 부분 및 복수의 컴퓨터기반 방법(390)의 또다른 부분이 확대 입체 디스플레이 시스템(140A)을 보완한다. 이미지 캡처 시스템(120A) 및 인텔리전트 이미지 처리 시스템(130A)내에서, 가시성 이미지를 처리하는 부분이 가시성 이미징 시스템을 보완하는 반면, 형광 이미지를 처리하는 부분은 대안의 이미징 시스템을 보완한다.
또한, 하나의 측면에서, 확대 입체 비전 시스템(300)을 이용하는 도 4의 방법이 구현된다. 도 4에 도시된 바와 같이, 방법(400)은 복수의 별개의 프로세스들을 포함한다. 방법(400)은 방법(200)(도 2)의 하나의 구현이다.
하나의 측면에서, 하드웨어(320)는 적어도 2개의 카메라 유닛(331, 332)(도 3b)을 포함한다. 하나의 카메라 유닛(332)은 2개의 3-칩 전하결합소자(CCD) 고 해상도 카메라를 포함하고, 또다른 카메라 유닛(331)은 원-칩 CCD 카메라를 포함한다.
본 측면에서, 카메라 유닛(331)은 내시경(301)으로부터의 광을 사전 처리하기 위해, 하기에 보다 상세히 기술된 바와 같이, 필터를 포함하는 필터 블록(333)에 의해 내시경(301)에 결합된다. 유사하게, 카메라 유닛(332)은 내시경(302)으로부터의 광을 사전 처리하기 위해, 하기에 보다 상세히 기술된 바와 같이, 필터를 포함하는 필터 블록(334)에 의해 내시경(302)에 결합된다. 또다른 측면에서, 필터는 카메라 유닛에 일체화될 수 있거나 또는 대안으로 사용될 수 없다. 하드웨어(320)는 또한 하기에 보다 상세히 기술되는 기능을 수행하기 위한 하드웨어 회로를 포함한다. 복수의 컴퓨터 기반 방법(390)은 예를 들면 컴퓨터 프로세서 상에서 실행하는 소프트웨어이다.
이러한 지식을 아는 사람들은 컴퓨터 기반 방법은 또한 하드웨어만을 이용하여 구현되거나, 또는 실행가능한 컴퓨터 코드에서 부분적으로 하드웨어에서 부분적으로 구현되거나, 또는 실행가능한 컴퓨터 코드에서 전적으로 구현될 수 있다는 것을 이해할 것이다. 따라서, 하드웨어 및 컴퓨터 기반 방법에 대한 본문에서 사용된 특성은 예시일 뿐 기술된 특정한 측면을 한정할 것을 의도하지 않는다.
2개의 별개의 광학 경로-조명
조합 광원(310, 310A)(도 3a, 3c)은 백색 광원(312A)과 또다른 광원(311A)을 포함한다. 조합 광원(310)은 조직 조광 프로세스(201A)(도 4)을 수행하기 위해 내시경에서의 조명 경로와 함께 사용된다. 백색 광원(312A)은 예를 들면 조직(303)을 조광하는 제 1 광과 같은 백색광을 제공한다. 다른 광원(311)은 예를 들면 조직(303)의 대안의 이미지를 여기하기 위한 제 2 광과 같은 광을 제공한다. 예를 들면, 광원(311A)로부터의 협소한 대역의 광이 대안의 이미지가 조직(303)내의 특정한 조직의 형광 이미지가 되도록 하기 위해 특정한 조직에 대한 형광체를 여기하도록 사용된다.
형광 이미지인 대안의 이미지에 대해, 형광 여기 파장이 가시성 스펙트럼에서 발생하면, 백색 광원(312A)(도 3b)이 백색 광원 및 형광체를 여기하기 위한 광원 모두로서 사용된다. 형광 여기 파장이 가시성 스펙트럼 외부(예를 들면, 근 적외선(IR))에서 발생하거나 또는 추가적인 여기 에너지가 가시성 스펙트럼에서 필요하다면, 레이저 모듈(317)(또는 발광 다이오드 또는 필터링된 백색광과 같은 기타 에너지원)이 동시에 조직(303) 조광을 위해 사용된다.
따라서, 하나의 측면에서, 레이저 모듈(317)로부터의 광에 의해 형광이 트리거된다. 예시로서, Medarex, Inc.로부터 획득된 항체가 525nm 레이저를 이용하여 여기되었다.
조합 광원(310A)에 대해 선택된 특정한 대안의 광원은 사용되는 형광체 또는 형광체들에 따른다. 비보에서 사용되는 다양한 FDA 입증 형광 염료의 여기 및 방출의 최대치는 표 1에 제시된다.
** 켤레를 위한 근사적인 여기 및 형광 방출 최대값
당업자들은 형광체가 차례로 환자의 특정 조직으로 들러붙는 약제에 흡착될 수 있다는 것을 이해한다. 따라서, 특정한 형광체가 선택될 때, 조합 광원(310A)은, 그 형광체에 대한 여기 최대 파장을 가진 광을 제공하는 광원을 포함한다. 따라서, 관심 대상인 형광체 또는 형광체들이 주어지면, 적절한 광원이 조합 광원(310, 310A)에 포함될 수 있다.
표 1 및 표 2에서의 상기 예시들은 예시일 뿐이며, 제시된 특정한 예시들에 본 측면을 한정할 의도를 가지지 않는다. 본 개시물에 따라, 조직의 대안의 이미지 특성이 선택되어 적절한 광원이, 활용되는 형광체 또는 기타 대안의 이미징 특성에 기초하여 선택될 수 있다.
하나의 측면에서, 조합광원(310A)(도 3c)의 백색 광원(312A)은 가시성 이미지에 대해 광역 백색 조명광을 생성하기 위해 사용되는 (1) 타원형 백 반사기(314A) 및 (2) 장 대역 통과 자외선(W) 필터 코팅(314B)을 가진 크세논 램프(314)를 이용한다. 크세논 램프를 이용하는 것은 예시일 뿐이고 한정을 의도하지 않는다. 예를 들면, 고압 구리 아크 램프, 기타 아크 램프, 또는 기타 광역 광원이 사용될 수 있다.
대역 통과 필터(318)는 백색 조명광으로부터 예측되는 형광 방출 파장을 제거한다. 이는 형광 이미지의 컨트라스트를 증가시킨다. 형광 이미지 캡처 칩(들)은 형광 파장에서 전체 조직으로부터 반사광으로 포화되는 것이 방지된다.
필터(318)로부터의 필터링된 백색광은 광 파이버 번들(316)로 지향된다. 유사하게, 레이저 모듈(317)로부터의 광은 광 파이버 번들(315)로 지향된다. 도 3a에 도시된 바와 같이, 광 파이버 번들(315, 316)은 2개의 별개의 상이한 광 파이버 번들이다. 그러나, 또다른 측면에서, 번들(315, 316)은 공통의 광 파이버 번들에서의 상이한 그룹의 파이버가 될 수 있다.
2개의 별개의 광학 경로-이미지 캡처 시스템(120A)
조직(303)(도 3a)으로부터의 가시성 이미지는 내시경(302)에서의 하나의 입체 광학 경로로부터 캡처되고, 형광 이미지는 내시경(301)에서의 별개의 모노스코픽 또는 입체 광학 경로로부터 캡처된다. 상술한 바와 같이, 도 3a에서 별개의 광학 경로들이 2개의 별개의 내시경에서 도시되지만, 별개의 광학 경로들은 단일한 내시경에 있을 수 있다. 2개의 별개의 광학 경로를 사용하는 이점은 예를 들면 하기에 기술되는 바와 같이 빔 분할을 이용하는 측면에 기인하여 손실이 없기 때문에 광학 효율이 있다는 것이다.
예를 들면, 제 1 광과 같은 내시경(302)의 입체 광학 경로로부터의 광은 가시광 좌우측 이미지를 남기는, 형광 여기 파장 및 형광을 제거하도록 형광 여기 및 형광 필터(334A)로 지나간다. 이는 가시성 입체 이미지와 형광 이미지 사이의 컨트라스트를 개선하고 가시성 이미지의 화질을 개선하는 것을 돕는다.
형광 여기 및 형광 필터(334A)로부터의 필터링된 가시성 이미지는 좌측 CCD(332A)에서 가시성 좌측 이미지(336)로, 우측 CCD(332B)에서 가시성 우측 이미지(338)로서 캡처된다. 좌측 CCD(332A)는 적, 녹, 및 청색 이미지를 가시성 좌측 이미지(336)에 대해 캡처한다. 유사하게, 우측 CCD(332B)는 적, 녹, 및 청색 이미지를 가시성 우측 이미지(338)에 대해 캡처한다. 좌측 CCD(332A) 및 우측 CCD(332B)는 각각의 CCD가 상이한 컬러의 컴포넌트를 캡처하는 다중 CCD; 특정한 컬러 컴포넌트를 캡처하는 CCD의 상이한 영역을 가지는 단일한 CCD가 될 수 있다.
또한, 본문에서 단색 전하결합소자(CCD)가 예시되었만, 단색 CCD 대신에, ICCD(intensified charge coupled device), 전하주입소자(CID:charge injection device), 전하 변조 소자(CMD: charge modulation device), 상보성 금속산화물 반도체 이미지 센서(CMOS) 또는 전자 빔 전하결합소자(EBCCD)형 센서가 또한 사용될 수 있다. 유사하게, 본문에서, 3칩 센서 CCD 센서가 또한 도시되고 컬러 CMOS 이미지 센서 또는 3개의 CMOS 컬러 이미지 센서 어셈블리가 사용될 수 있다. 이러한 코멘트들은 본문에 기술된 다양한 1칩 CCD 센서와 3칩 센서에 적용되며, 본문에 기술된 이러한 센서의 각각의 측면에 대해 반복되지 않는다.
내시경(301)의 광학 경로로부터의 광은 형광 이미지가 아닌 모든 가시성 파장을 제거하기 위해 형광 대역 통과 필터(333A)를 통과한다. 형광 대역 통과 필터(333A)로부터의 형광 이미지(335)는 CCD(331A)에서 캡처되고, 이는 하나의 측면에서 단일한 CCD 센서이다.
본 측면에서, 필터(333A 및 334A)는 조직 수술(202A)(도 4)로부터의 광의 사전 처리를 수행한다. 이미지 캡처 프로세스(203A)는 상술한 바와 같이 CCD에서 다양한 이미지를 캡처함으로써 수행된다.
2개의 별개의 광학 경로-
인텔리전트
이미지 처리 시스템(130A)
캡처된 가시성 이미지와 형광 이미지는 상이한 위치에서의 광학 경로로부터의 발생하기 때문에, 캡처된 이미지들은 이미지 처리 방법을 이용하여 정렬된다. 본 예시에서, 일반적으로 정상적인 설정시 카메라 유닛의 사용전에, 일반적으로 가시성 이미지인, 캡처된 이미지가 단일-스텝 조정(391)으로 제공된다. 2개의 광학 경로 사이에 물리적 관계가 일정하다면, 이미지 정렬은 정상 사용 이전에 단일-스텝 조정(391)에서 한번으로 완료되어, 정렬 정보가 모든 캡처된 이미지(고정된 관계 또는 "단일-스텝" 조정)로 적용된다. 단일-스텝 조정(391)은 2개의 광학 경로로부터의 이미지를 적합한 정렬로 가져가는 데에 필요한 변위를 판정한다
단일-스텝 조정(391)의 하나의 측면에서, 적어도 2개의 팩터가 고려된다:
1) 예를 들면, a) 초점 거리, b) 광학 중심, 및 c) 렌즈 수차 파라미터와 같은 이미징의 기하학적 측면에 중요한 각각의 내시경 및 카메라의 내부(intrinsic) 조정; 및
2) 상기 2개의 광학 경로의 상대적 위치와 방향.
이러한 조정에 대한 컴퓨터-기반의 방법은 예를 들면 체크무늬 패턴과 같은 조정 패턴의 이미지를 캡처하기 위한 2개의 내시경 및 연관된 카메라 유닛을 이용하는 것을 포함한다. 광학 경로 사이의 관계가 고정된채로 유지되는 한, 이러한 조정은 유효하다. 본 측면에서, 단일-스텝 조정(391)(도 3a)은 인텔리전트 이미징 프로세스(204A) 내에서의 조정 프로세스(405)(도 4)이다.
단일-스텝 조정(391)의 결과는 등록 프로세스(406)(도 4)의 공간 이미지 등록(392)(도 3a)에 제공된다. 공간 이미지 등록(392)은 또한 입력으로서, 캡처된 이미지(335, 336, 및 338) 각각을 수신한다. 간략히, 공간 이미지 등록은 양 이미지로부터의 임의의 2개의 대응하는 픽셀이, 등록 결과에 기초하여, 세상에서 동일한 신 포인트를 참조하도록 하기 위해 상이한 뷰잉 각도로부터 취해진 이미지를 등록한다.
공간 이미지 등록(392)의 하나의 측면은 도 3d에 도시된다. 표 3은 공간 이미지 등록(392)에서 때때로 사용되는 이미지 모달리티를 제시한다.
공간 이미지 등록(392A)(도 3d)에서, 예를 들면 형광 이미지와 가시성 이미지 중 하나와 같은 2개의 캡처된 이미지가 사전 처리(370)로 Image 1로서 사전 처리(371)로 Image 2로서 입력된다. 가시성 이미지 대 형광 이미지 매칭에 사용된 피처에 따라, 사전 처리(370, 371)가 적절한 정보를 생성한다. 예를 들면, 그래디언트 이미지에 대해, X 및 Y 방향을 따라서 있는 로 이미지의 그래디언트가 생성된다. 유사하게, 이미지 피처는 로 이미지를 사전 처리함으로써 획득된다. 예를 들면, 로컬 영역에서의 이미지 강도의 히스토그램과 같은, 다수의 이미지 피처가 가용하다.
사전 처리(370, 371)의 결과는 매칭 프로세스(372)로 제공된다. 매칭 프로세스(372)에 가용한 다수의 방법이 있다. 제 1 예의 매칭은 위치(x, y)에서의 픽셀을 둘러싼 작은 영역에서의 모든 픽셀을 이용하여 연산된 그래디언트 이미지의 정규화된 상호 상관성(cross-correlation)이다. 또다른 예는 강도 히스토그램인 입력과의 매칭에 기초한 상호 정보이다.
매칭 프로세스(372)의 출력은 하나의 입력 이미지로부터 다른 입력 이미지로 (x, y)에서의 픽셀을 이동시킨 후에 최상의 매칭 점수를 주는 변위(dx, dy)이다. 변위(dx, dy)가 입력시 모든 픽셀에 대해 생성되면, 그 결과는 dx(x, y) 및 dy(x, y)의 2개의 이미지로 구성된 시차(disparity) 맵이라고 한다.
본 측면에서, 캡처된 형광 이미지(335) 또는 저장된 형광 이미지(335)라고 칭해지는, 형광 이미지(335)는 공간 등록(392)에서, 캡처된 가시성 좌측 이미지(336) 또는 저장된 가시성 좌측 이미지(336)라고 칭해지는 가시성 좌측 이미지(336)로 등록된다. 대안으로, 2개의 가시성 이미지(336, 338)가 먼저 등록되고 형광 이미지(335)에 대해 등록될 수 있다. 유사하게, 형광 이미지(335)는 공간 등록(392)에서, 캡처된 가시성 우측 이미지(338) 또는 저장된 가시성 우측 이미지(338)라고 칭해지는 가시성 우측 이미지(338)로 등록된다. 일반적으로, 본문에서, CCD에 도시된 이미지는 때때로 캡처된 이미지 또는 저장된 이미지라고 한다.
공간 이미지 등록(392)의 결과는 이미지 와퍼(340)에 가용하다. 이미지 와퍼(340)는 또한 입력으로서 캡처된 형광 이미지(335)를 수신한다. 공간 이미지 등록 정보를 이용하여, 이미지 와퍼(340)는 형광 이미지의 입체 디스플레이를 생성할 때 사용하기 위해 캡처된 형광 이미지(335)를 예를 들면 인위적인 형광 좌측 이미지(341)와 인위적인 형광 우측 이미지(342)와 같은 입체 형광 쌍으로 변환한다. 본문에서 인위적인 것은 하드웨어, 소프트웨어, 또는 그 둘의 조합에 의해 생성된 이미지를 가리키기 위해 사용되고, 캡처된 이미지에 대해 컨트라스트가 된다.
특히, 이미지 와퍼(340)는 형광 이미지(335)를 형광 좌측 이미지(341)로 왜곡시키기 위해(warp) 가시성 좌측 이미지(336)에 대해 형광 이미지(335)의 등록을 이용한다. 유사하게, 이미지 와퍼(340)는 형광 이미지(335)를 형광 우측 이미지(342)로 왜곡시키기 위해 가시성 우측 이미지(338)에 대해 형광 이미지(335)의 등록을 이용한다. 따라서, 이미지 와퍼(340)는 입체 형광 이미지 생성 프로세스(407)(도 4)를 수행한다. 본 설명이 필수적으로 선형이고 단일 대역 통과 처리를 기술하였지만, 상기 프로세스들은 실시간으로 발생하고, 다양한 이미지들이 내시경(301, 302)을 통해 관찰된 조직(303)의 현재 상태를 반영하기 위해 연속하여 업데이트된다는 것에 유의해야한다.
2개의 별개의 광학 경로-확대 입체 디스플레이 시스템(140A)
하나의 측면에서, 확대 입체 비디오 출력 디스플레이가 다양한 모드로 동작된다. 예를 들면, 제 1 모드에서, 입체 가시성 이미지만이 da Vinci® Surgical System에서와 같이, 외과의로 출력된다. 제 2 모드에서, 형광 이미지가 확대 이미지를 생성하기 위해 가시성 이미지 상에 중첩되고, 입체 확대 이미지가 외과의로 출력된다.
비디오 출력은 예를 들면 풋 스위치, 수술 기기를 제어하는 마스터 그립의 더블클릭, 음성 제어, 기타 스위칭 방법을 이용하여 이들 2개의 모드 사이에서 토글링된다. 2개 모드 사이의 스위칭을 위한 토글링이 디스플레이 모드 선택(360)과 같이, 도 3a에서 표시된다.
사용자 입력(420)(도 4)에 응답하여, 디스플레이 모드 선택(360)(도 3a)으로부터의 신호가 차례로 브렌드 회로(351) 및 브렌드 회로(352)로 제어 신호를 제공하는 사용자 인터페이스(393)에서의 디스플레이 모드 체크 동작(408)으로 제공된다. 외과의가 가시성만을 선택하면, 가시성 좌측 이미지(336)와 가시성 우측 이미지(338)가 조직의 입체 비디오 디스플레이 생성 프로세스(205A)에서 가시성 이미지 프로세스(411)(도 4)의 입체 디스플레이를 통해 입체 디스플레이(350)에서 제시된다. 하나의 측면에서, 인텔리전트 이미지 처리 시스템(130)은 도 5a에 도시된 것들과 유사한, 각각 브렌드 회로(351) 및 브렌드 회로(352)로 제공된 가시성 좌측 이미지와 가시성 우측 이미지를 컬러 밸런싱하기 위한 스펙트럼 밸런서를 포함할 수 있다.
외과의가 혼합 프로세스(409)에서 가시성 이미지에 형광 이미지를 더하는 것을 선택하면, 브렌드 회로(351)는 형광 좌측 이미지(341)와 가시성 좌측 이미지(336)를 혼합하는 반면, 브렌드 회로(352)는 형광 우측 이미지(342)와 가시성 우측 이미지(338)를 혼합한다. 알파 혼합과 같은 상이한 이미지 혼합 옵션이 브렌드 회로(351, 352)에서 구현될 수 있다. 브렌드 회로(351, 352)의 출력은 가시성 및 형광 이미지의 입체 디스플레이 프로세스(410)(도 4)를 통해 입체 디스플레이(350)에서 제시된다.
형광 이미지(341, 342)가 의료 관심 대상인 조직을 도시하기 때문에, 형광 이미지(341, 342)는 외과의의 비디오 디스플레이 프리젠테이션을 개선하도록 처리될 수 있다. 이러한 처리는 인위적 형광 이미지를 산출한다. 예를 들면, 형광 이미지에서의 형광 영역은 공지된 방법을 이용하여 인위적으로 색상이 입혀진다(의사 컬러링). 인위적 형광 이미지가 가시성 비디오 이미지와 혼합되면, 외과의는 가시성 이미지에서 주변 조직에 대해 고 컨트라스트로 형광 조직(예를 들면, 인위적으로 밝은 녹색이 된)을 보게된다. 다시, 알파 브렌딩과 같은, 의사 색상 형광 이미지 및 가시성 이미지의 상이한 이미지 혼합 옵션이 가용하게 이루어진다.
형광 이미지 개선의 다른 측면에서, 고 가시성 경계가 공지된 방법을 이용하여 형광 영역 주변에 배치된다. 빈번하게, 형광 조직은 외과의에 의해 예를 들면 제거 또는 제거하지 않음과 같은 진행(go) 또는 진행하지 않음(no go) 결정에 연관되어 고 가시성 경계가 도움이 된다.
형광 이미지를 개선하는 또다른 측면에서, 로컬 히스토그램의 등화가 로 형광 이미지 데이터(335)에 대해 수행된다. 전체 형광 이미지 프레임에 대해 히스토그램 등화를 수행하는 대신에, 하나 이상의 로컬 영역이 형광 조직을 나타내는 형광 이미지의 부분 주위에서 식별된다. 히스토그램 등화는 개선된 형광 이미지에서의 광의 어두운 형광 형상을 밸런싱하기 위해 하나 이상의 로컬 영역에 대해 수행된다. 이러한 이미지 개선은 또한 공간 이미지 등록에 도움이 된다.
또한, 형광 이미지는 외과의에 대한 비디오 출력에서 인위적으로 지지된다. 예시로서, 형광 이미지는 주입된 약제가 더이상 발광하지 않은 후에 형광 영역이 여전히 외과의에게 보여질 수 있도록 유지된다.
내시경 또는 내시경들을 유지하는 로봇 수술 시스템에 의해 제공되는 안정한 플랫폼은, 핸드-헬드 내시경과 달리, 일반적으로 손으로 가이드되는 내시경에 대해 명료하지 않은 형광 이미지를 가져오는 내시경 또는 내시경들의 불안정성을 보상할 필요가 없기 때문에, 실시간으로 캡처된 형광 이미지의 처리를 보조한다. 추가로, 핸드 헬드 내시경에 비해 보다 예리한 형광 이미지는 캡처된 형광 이미지의 개선된 처리를 보조한다.
2개의 별개의 광학 경로-다중 형광 이미지
2개의 별개의 광학 경로를 이용하는 또다른 측면에서, 다중 형광 이미지는 확대 입체 비전 시스템(300A)(도 3e)을 이용하여 캡처될 수 있다. 시스템(300A)은 시스템(300)과 유사하므로, 그 차이만이 기술된다. 동일한 참조번호를 가진 엘리먼트는 동일하거나 등가인 엘리먼트이다.
도 3e의 실시예에서, 로봇 수술 시스템(도시되지 않음)은 조직(303A)으로부터의 광을 확대 입체 비전 시스템(300A)으로 전달하는 2개의 별개의 상이한 입체 광학 경로를 포함한다. 2개의 광 경로로부터의 광은 외과의로 하여금 로봇 수술 시스템을 운용하도록 하기 위해 조직(303)의 실시간 입체 비디오 디스플레이를 생성하는 데에 사용된다. 입체 비디오 디스플레이는 조직(303A)의 병든 부분과 같은 조직(303A)에서의 관심의 강조 영역과 신경 또는 조직과 같은 조직(303A)에서의 다른 조직에 대한 2개의 대안의 이미지를 가지고 확대된 조직의 정상적인 3차원 도를 포함한다. 일반적으로, 대안의 이미지는 각각 일반적으로 입체 비디오 디스플레이에서 정상적으로 표시되는 색상으로 일반적으로 대비되는 상이한 특정한 색상으로 제시된다.
다시 본 예시에서, 2개의 별개의 내시경(301A, 302)은 조직(303A)으로부터의 2개의 상이한 입체 광학 경로를 하드웨어(320A)로 제공하는 것으로 도시된다. 내시경(302)은 2개의 광 채널을 가지고, 내시경(301A)은 2개의 광 채널을 가진다. 내시경(301A)에서의 2개의 광 채널은 2개의 상이한 형광 이미지인, 형광 이미지(1)과 형광 이미지(2)를 캡처하기 위해 사용된다. 편의를 위해, 형광 이미지(1)이 도 3A에서의 형광 이미지와 동일한 것으로 취해지고, 가시성 이미지는 도 3A에서 동일한 가시성 이미지로서 취해진다. 본 측면에서, 카메라 유닛(331)은 적어도 2개-칩의 CCD 카메라를 포함한다.
따라서, 상기 엘리먼트(333A, 331A, 335, 340, 341, 및 342)의 설명은 본문에 참조에 의해 통합된다. 유사하게, 상기 엘리먼트(333A, 332A, 336, 332B, 및 338)의 설명은 참조에 의해 본문에 통합된다.
본 예시에서, 확대 입체 비전 시스템(300A)은 조합 광원 조명 시스템(310C), 하드웨어(320A), 복수의 컴퓨터 기반 방법(390A)을 포함한다. 도 3e에 도시된 바와 같이, 하드웨어(320A)의 일부는 이미지 캡처 시스템(120B)을 보완한다. 하드웨어(320A)의 또다른 일부와 복수의 컴퓨터 기반 방법(390A) 중 일부는 인텔리전트 이미지 처리 시스템(130B)을 보완한다. 그러나, 하드웨어(320A)의 또다른 일부와 복수의 컴퓨터 기반 방법(390A)의 또다른 일부는 확대 입체 디스플레이 시스템(140B)을 보완한다.
조합 광원(301C)은 백색 광원(312)과 2개의 다른 광원(311A, 311B)을 포함한다. 백색 광원(312)은, 백색 조명광으로부터 형광 이미지(2)에 대한 예측되는 형광 방출 파장을 제거하기 위한 또다른 필터를 필터(318)에 추가하는 것을 제외하고는 광원(312A)(도 3c)과 유사하다.
제 2 광원(311A)은 형광 이미지(1)를 여기시키기 위한 광을 제공하는 반면, 제 3 광원(311B)은 형광 이미지(2)를 여기시키기 위한 광을 제공한다. 본 개시물에 따라, 적절한 광원이 2개의 상이한 형광 이미지에 활용되는 형광 특성에 기초하여 선택될 수 있다.
도 3e에 도시된 측면에서, 하나의 광 파이버 번들(316)은 백색 광원(312)으로부터의 광을 내시경(302)에서의 조명 경로로 결합시킨다. 광 파이버 번들(315A)은 제 2 광원(311A)으로부터의 광과 제 3 광원(311B)으로부터의 광을 내시경(315A)에서의 조명 경로로 결합시킨다. 특히, 광 파이버 번들(315A)내에서의 제 1 세트의 파이버는 제 2 광원(311A)으로부터의 광을 내시경(301A)에서의 제 1 조명 경로로 결합시키고 광 파이버 번들(315A)내에서의 제 2 세트의 파이버는 제 3 광원(311B)으로부터의 광을 내시경(301A)에서의 제 2 조명 경로로 결합시킨다.
본 측면은 예시로서만 도시되고, 한정을 의도하지 않는다. 예를 들면, 2개의 조명 경로가 단일 내시경 내에 있으면, 광 파이버 번들(514A)(도 5e)을 가진 조합 광원(510D)과 같은 조합 광원이 조합 광원(310C) 대신에 사용될 수 있다.
캡처된 가시성 이미지와 2개의 형광 이미지는 상이한 위치에서의 광학 경로로부터 기원되었기 때문에, 캡처된 이미지는 이미지 처리 방법을 이용하여 정렬된다. 본 예시에서, 캡처된 이미지는 단일 스텝 조정(391A)으로 제공된다. 다시, 2개의 입체 광학 경로 사이의 물리적 관계가 일정하면, 이미지 정렬은 단일 스텝 조정(391A)에서 한번에 완료되고, 정렬 정보는 그런다음 모든 캡처된 이미지(고정된 관계 또는 "단일 스텝" 조정)로 적용된다. 단일 스텝 조정(391A)에서의 프로세스는 형광 이미지 각각에 대해 상술한 것과 등가이다.
단일 스텝 조정(391A)으로부터의 결과는 등록 프로세스(406)(도 4)의 공간 이미지 등록(392A)(도 3A)에 제공된다. 공간 이미지 등록(392A)은 또한 입력으로서 캡처된 이미지(335, 335A, 336, 및 338) 각각을 수신한다. 도 3d에 대해 상술한 사전 처리 및 매칭은 형광 이미지 각각에 대해 수행된다. 공간 이미지 등록(392)으로부터의 결과는 이미지 와퍼(340, 340A)에 대해 가용하다.
다시, 하나의 측면에서, 확대 입체 비디오 출력 디스플레이는 다양한 모드에서 동작된다. 예를 들면, 제 1 모드에서, da Vinci® Surgical System에서처럼, 입체 가시성 이미지만이 외과의로 출력된다. 제 2 모드에서, 형광 이미지(1)에 대한 형광 이미지가 확대 이미지를 생성하기 위해 가시성 이미지 상에 중첩되고, 입체 확대 이미지가 외과의로 출력된다. 제 3 모드에서, 형광 이미지(2)에 대한 형광 이미지가 확대 이미지를 생성하기 위해 가시성 이미지에 중첩되고, 입체 확대 이미지가 외과의로 출력된다. 제 4 모드에서, 형광 이미지(1)에 대한 형광 이미지와 형광 이미지(2)에 대한 형광 이미지 모두가 확대 이미지를 생성하기 위해 가시성 이미지에 중첩되고, 입체 확대 이미지가 외과의로 출력된다.
비디오 출력이 예를 들면 풋 스위치, 수술 기기를 제어하는 마스터 그립의 클릭, 음성 제어, 및 기타 유사한 스위칭 방법을 이용하여 이들 4개의 모드 사이에서 토글링된다. 4개 모드 사이의 스위칭을 위한 토글링은 디스플레이 모드 선택(360A)으로서 도 3e에 도시된다.
사용자 입력(420)(도 4)에 응답하여, 디스플레이 모드 선택(360A)(도 3a)으로부터의 신호가 차례로 브렌드 회로(351A) 및 브렌드 회로(352A)로 제어 신호를 제공하는 사용자 인터페이스(393A)로 제공된다. 외과의가 가시성 이미지만을 선택하면, 가시성 좌측 이미지(336)와 가시성 우측 이미지(338)가 입체 디스플레이(350)에서 제시된다.
외과의가 가시성 이미지와 형광 이미지(1)를 선택하면, 브렌드 회로(351A)가 형광 좌측 이미지(341)와 가시성 좌측 이미지(336)를 혼합하는 반면, 브렌드 회로(352A)는 형광 우측 이미지(342)와 가시성 우측 이미지(352)를 혼합한다. 외과의가 가시성 이미지와 형광 이미지(2)를 선택하면, 브렌드 회로(351A)가 형광 좌측 이미지(341A)와 가시성 좌측 이미지(336)를 혼합하는 반면, 브렌드 회로(352A)는 형광 우측 이미지(342A)와 가시성 우측 이미지(352)를 혼합한다. 외과의가 가시성 이미지, 형광 이미지(1) 및 형광 이미지(2)를 선택하면, 브렌드 회로(351A)가 형광 좌측 이미지(341), 형광 좌측 이미지(341A), 및 가시성 좌측 이미지(336)를 혼합하는 반면, 브렌드 회로(352A)는 형광 우측 이미지(342), 형광 우측 이미지(342A) 및 가시성 우측 이미지(352)를 혼합한다.
다시, 형광 이미지에서의 형광 영역은 공지된 방법을 이용하여 인위적으로 채색(의사 컬러링)된다. 인위적 형광 이미지가 가시성 비디오 이미지로 혼합되면, 외과의는 그런다음 가시성 이미지에서의 주변 조직에 대해 고 컨트라스트의 형광 조직(예를 들면, 인위적으로 밝은 녹색이 된)을 본다. 다시, 알파 브렌딩과 같은, 의사 컬러 형광 이미지 및 가시성 이미지의 상이한 이미지 혼합 옵션이 가용하게 이루어진다.
복수의 카메라를 가진 단일 입체 광학 경로
도 5a의 실시예에서, 로봇 수술 시스템(도시되지 않음)은 조직(503)으로부터의 광을 확대 입체 비전 시스템(500)으로 전달하는 단일한 입체 광학 경로를 포함한다. 단일한 입체 광학 경로로부터의 광은 로봇 수술 시스템을 운용하는 외과의에 대해 조직(503)의 실시간 입체 비디오 디스플레이를 생성하기 위해 사용된다. 입체 비디오 디스플레이는 조직(503)의 병든 부분과 같은 조직(503)에서의 관심의 영역 및/또는 신경 또는 조직과 같은 관심의 다른 조직을 강조하기 위한 대안의 이미지로 확대된 조직의 3차원 도를 포함한다. 하나의 측면에서, 대안의 이미지는 예를 들면, 청색과 같은 특정한 컬러로 제시된다.
본 예시에서, 단일한 내시경(501)은 조직(503)으로부터의 입체 광학 경로를 하드웨어(520)로 제공한다. 내시경(501)은 입체 광학 경로를 보완 하는 2개의 광 채널을 포함한다. 내시경(501)은 또한 광을 조직(503)으로 제공하기 위한 조명 경로를 포함한다. 도시되지 않았지만, 내시경(501)은 로봇 수술 시스템에 의해 유지되고 이동된다. 예를 들면, 도 1을 참조하라.
본 예시에서, 확대 입체 비전 시스템(500)은 조합 광원(510), 하드웨어(520), 및 복수의 컴퓨터 기반 방법(590)을 포함한다. 도 5a에 도시된 바와 같이, 하드웨어(520)의 일부가 이미지 캡처 시스템(120C)을 보완한다. 하드웨어(520)의 또다른 일부와 복수의 컴퓨터 기반 방법(590)의 일부가 인텔리전트 이미지 처리 시스템(130C)을 보완한다. 그러나, 하드웨어(520)의 또다른 일부와 복수의 컴퓨터 기반 방법(590)의 또다른 일부는 확대 입체 디스플레이 시스템(140C)을 보완한다. 이미지 캡처 시스템(120C) 및 인텔리전트 이미지 처리 시스템(130C)내에서, 가시성 이미지를 처리하는 부분이 가시성 이미징 시스템을 보완하는 반면, 형광 이미지를 처리하는 부분은 대안의 이미징 시스템을 보완한다.
또한, 도 6의 방법(600)은 확대 입체 비전 시스템(500)을 이용하여 구현된다. 도 6에 도시된 바와 같이, 방법(600)은 복수의 개별 프로세스를 포함한다. 방법(600)은 방법(200)(도 2) 중 하나의 구현이다.
하나의 측면에서, 하드웨어(520)는 적어도 2개의 카메라 유닛(531, 532)(도 5b)을 포함한다. 하나의 카메라 유닛(532)은 3칩 전하 결합소자(CCD) 고 해상도 카메라와 적어도 1칩 CCD 카메라를 포함한다.
본 측면에서, 카메라 유닛(531) 및 카메라 유닛(532)은 하기에 보다 완전히 상술되는 바와 같이, 내시경(501)으로부터의 광을 사전 처리하기 위한 필터 및 빔 스플리터를 포함하는 블록(533)에 의해 내시경(501)에 결합된다. 또다른 측면에서, 필터는 카메라 유닛에 통합될 수 있다.
하드웨어(520)는 또한 하기에 보다 완전히 상술되는 기능들을 수행하기 위한 하드웨어 회로를 포함한다. 복수의 컴퓨터 기반 방법(590)은 예를 들면, 컴퓨터 프로세서를 실행하는 소프트웨어이다.
가시성 이미지 및 형광 이미지는 동일한 입체 광학 경로를 통해 동시에 캡처된다. 하나의 카메라 유닛(531)은 가시성 및 형광 좌측 이미지를 캡처하고, 제 2 카메라 유닛(532)은 가시성 및 형광 우측 이미지를 캡처한다. 하나의 측면에서, 카메라 유닛(531, 532)은 함께 락이 걸린다.
복수의 카메라를 가진 단일 입체 광학 경로-조명
조합 광원(510, 510A, 510B, 510C)(도 5a, 5c, 5d, 5e)은 백색 광원(512A) 및 또다른 광원(511A)을 포함한다. 조합 광원(510)은 조직 조광 프로세스(201B)(도 6)를 수행하기 위해 내시경(501)에서의 조명 경로와 함께 사용된다. 백색 광원(512A)은 조직(503)을 조광하는 광을 제공한다. 다른 광원(511A)은 조직(503)의 대안의 이미지에 대한 광을 제공한다. 예를 들면, 광원(511A)으로부터의 협소한 대역의 광이 대안의 이미지가 조직(503)내에서의 특정한 조직의 형광 이미지가 되도록 조직에 특정한 형광체를 여기시키기 위해 사용된다.
형광 이미지인 대안의 이미지에 대해, 형광 여기 파장이 가시성 스펙트럼에서 발생하면, 백색 광원(512A)(도 5b)이 백색 광원 및 형광체를 여기시키기 위한 소스로서 모두 사용된다. 형광 여기 파장이 가시성 스펙트럼 외부에서 발생하면(예를 들면, 적외선(IR) 근방) 또는 추가적인 여기 에너지가 가시성 스펙트럼에서의 파장에서 요구된다면, 레이저 모듈(517)(또는 발광 다이오드 또는 필터링된 백색광과 같은 기타 에너지원)이 동시에 조직(503)을 조광하도록 사용된다.
하나의 측면에서, 백색 광원(512A)은 백색 광원(312A)과 동일하고, 백색 광원(312A)의 설명은 본 문에 참조에 의해 통합되어있다.
조합 광원(510A)(도 5c)에서, 주입 미러(injection mirror)(513)가 백색 광 램프 유닛(512A)의 초점을 통해 여기광을 반사하기 위해 백색 광 램프 유닛(512A)의 바로 앞에 배치된다. 터닝 미러(516)는 여기광에 대한 광학 경로가 백색광과 정렬되도록 레이저 모듈(517)과 주입 미러(513) 사이에 배치된다. 이러한 미러 배치는 광학 파이버 번들(514)로의 레이저 광의 거의 100%의 효율과 함께 백색 조명광의 초 고 효율적인 커플링을 가져온다.
조합 광원의 다양한 측면에 대해, 레이저 광이 광 파이버 번들로 주입될 때, 레이저 광이 분산되어 기타의 분산 기술을 필요로 하지 않으면서 적절하게 조직(503)을 조광한다.
조합 광원(510B)(도 5d)에서, 빔 스플리터(515)(예를 들면, 50/50 2색성 미러; 다양한 빔 스플리터 기술이 공지된다)가 터닝 미러(516)로부터의 백색 조명광과 레이저 여기광 모두를 광 파이버 번들(514)로 통합시키기 위해 사용된다.
또다른 측면에서(도 5e), 백색 광원(512A)으로부터의 백색 조명광과 레이저 모듈(517)로부터의 레이저 여기광이 광 파이버 번들(514A)로부터의 다수의 파이버가 분산되고 개별적으로 레이저 광이 커플링될 수 있는 커넥터에서 종단하는 광 파이버 번들(514A)을 이용하여 함께 결합된다.
da Vinci® Surgical System의 경우에, 내시경은 2개의 조명 경로를 가진다. 따라서, 광 파이버 번들은, 하나는 백색광을 전달하고, 다른 하나는 여기광을 전달하는 2개 그룹의 파이버가 각각 조명 경로 중 상이한 하나로 지향되도록, 산란된다. 본 측면의 이점은 기존의 da Vinci® Surgical System에 대해, 여기광의 정렬이 필요 없고, 본문에 기술된 바와 같이, 다양한 여기광 파장을 가진 다양한 여기광원이 용이하게 교환될 수 있다. 예를 들면, 상이한 여기 파장을 가진 상이한 형광체(예를 들면 전립선 수술에서처럼, 종양에 연관된 형광체와 인접한 신경에 연관된 형광체)가 동일한 프로시저 동안에 보여진다면, 상이한 형광체에 대한 여기 레이저는 조합 광원에서 용이하게 교환될 수 있다. 하나의 측면에서, 광 파이버 번들 또는 번들들은 조합 광원에 연결된 상태를 유지하는 반면, 광원은 교환된다. 대안으로, 2개 이상의 여기광원은 유사한 방식으로 하나 이상의 내시경 조명 채널로 결합될 수 있다.
각각의 조합광원(510, 510A, 510B, 510C)에서, 대역 통과 필터(518)는 백색 조명광으로부터 예측된 형광 방출 파장을 제거한다. 이는 형광 이미지의 컨트라스트를 증가시킨다. 형광 이미지 캡처 칩(들)은 형광 파장에서의 조직으로부터 반사된 광으로 포화되는 것이 방지된다.
또한, 하나의 측면에서, 전하결합 소자(CCD)가 일반적으로 가시성 스펙트럼 외부의 파장에서 민감하기 때문에, 단역 통과 필터(519)는 원하는 방출 및 가시성 파장을 벗어난 사용되지 않는 IR 파장을 제거한다. 사용되지 않은 IR 파장의 제거는 가시성 광 이미지와 형광 이미지 모두에 대해 컨트라스트를 증가시킨다. 하나의 실시예에서, CCD 카메라로부터의 IR 필터는 적색 및 IR에 인접한 파장에 대한 민감도를 증가시키도록 제거된다. 필터링된 백색 광은 그런다음 상술한 바와 같이 광 파이버 번들로 지향되어, 가시성 이미징을 위해 조직(503) 조광에 사용하도록 입체 내시경에 결합된다.
복수의 카메라를 가진 단일한 입체 광학 경로-이미지 캡처 시스템(120C)
조직(503)으로부터의 형광 우측 이미지(
)와 가시성 이미지(도 5a, 5f)는 내시경(501)에서의 입체 광학 경로의 하나의 경로로 전송된다. 유사하게, 조직(503)으로부터의 형광 좌측 이미지(
)와 가시성 좌측 이미지가 내시경(501)에서 입체 광학 경로의 다른 경로로 전송된다.
내시경(501)의 입체 광학 경로로부터의 이미지는 이미지에서 형광 여기 파장을 제거하기 위해 형광 여기 필터(534)(도 5f)를 통해 전달된다. 이는 가시성 입체 이미지와 형광 이미지 사이의 컨트라스트를 개선하고 가시성 이미지의 질을 개선하도록 돕는다.
필터링된 가시성 좌측 이미지와 형광 좌측 이미지는 필터링된 이미지를 CCD(531A)에서 캡처된 가시성 좌측 이미지(536)와 CCD(531B)에서 캡처된 형광 좌측 이미지(535)로 분리하는 빔 스플리터(533A)와 상호작용한다. 하나의 측면에서, CCD(531A)는 좌측 RGB 이미지를 캡처하는 3-CCD 센서이고, CCD(531B)는 형광 좌측 이미지(535)를 캡처하는 1-CCD 단색 센서이다.
유사하게, 필터링된 가시성 우측 이미지와 형광 우측 이미지는 필터링된 이미지를 CCD(532A)에서 캡처된 가시성 우측 이미지(538)와 CCD(532B)에서 캡처된 형광 우측 이미지(537)로 분리하는 빔 스플리터(533B)와 상호작용한다. 하나의 측면에서, CCD(532A)는 또한 우측 RGB 이미지를 캡처하는 3-CCD 센서이고, CCD(532B)는 형광 우측 이미지(537)를 캡처하는 1-CCD 단색 센서이다.
따라서, 총 4개의 이미지-좌 우측 가시성 및 형광 이미지-가 캡처된다. 이러한 측면의 이점은 가시성 이미지와 형광 이미지 사이의 정렬이 칩이 제조동안 물리적으로 배치될 때 하드웨어로 수행된다는 것이다. 추가로, 단일 CCD가 형광 이미지의 최적의 감지(예를 들면, IR 근방에서)를 위해 선택될 수 있다.
본 측면에서, 블록(533)(도 5f)이 조직으로부터의 광의 사전 처리 동작(202B)(도 6)을 수행하도록 사용된다. 입체 가시성 이미지와 입체 형광 이미지 캡처 프로세스(203B)는 상술한 바와 같이 CCD에서 다양한 이미지를 캡처함으로써 수행된다.
복수의 카메라를 가진 단일한 입체 광학 경로- 인텔리전트 이미지 처리 시 스템(130C)
상술한 필터링은 가시성 좌측 이미지(536)와 가시성 우측 이미지(538) 각각에서 노치를 생성하기 때문에, 스펙트럼 밸런서(541, 542)는 노치에 대한 컬러 밸런스를 보정한다. 컬러 밸런싱은 공통적으로 카메라에서 수행되고 유사한 기술이 본문에서 사용된다. 예를 들면, 카메라는 복수의 빌트-인 컬러 밸런스를 포함할 수 있다. 필터링 처리(594)는 스펙트럼 밸런서(541, 542)에서 사용하기 위해 형광 필터 특징에 기초하여 보정 빌트인 컬러 밸런스를 선택한다. 대안으로, 스펙트럼 밸런서(541, 542)와 조합된 필터 처리(594)는 형광 필터 특징에 기초하여 컬러 밸런싱을 구현할 수 있다.
본 측면에서, 필터 처리(594)와 스펙트럼 밸런서(541, 542)의 조합은 인텔리전트 이미지 처리(204B)에서의 스펙트럼 밸런스 프로세스(605)(도 6)를 수행한다.
복수의 카메라를 가진 단일한 입체 광학 경로-확대 입체 디스플레이 시스 템(140C)
하나의 측면에서, 확대 입체 비디오 출력 디스플레이는 다양한 모드에서 동작될 수 있다. 디스플레이 모드 선택(560), 사용자 인터페이스(593), 및 브렌드 회로(551, 552)와의 상호작용의 동작은 디스플레이 모드 선택(360), 사용자 인터페이스(393), 및 브렌드 회로(351, 352)와의 상호작용에 대한 상기 설명과 동일하고, 이 설명은 참조에 의해 본문에 통합된다.
따라서, 사용자 입력(620)(도 6)에 응답하여, 디스플레이 모드 선택(560)(도 5a)으로부터의 신호가 차례로 제어 신호를 브렌드 회로(551, 552)에 제공하는 사용자 인터페이스(593)에서의 디스플레이 모드 체크 동작(608)으로 제공된다. 외과의가 가시성 이미지만을 선택할 때, 스펙트럼 밸런싱된 가시성 좌측 이미지(536)와 스펙트럼 밸런싱된 가시성 우측 이미지(538)가 조직의 입체 비디오 디스플레이 생성 프로세스(205B)에서 가시성 이미지의 입체 디스플레이 프로세스(611)(도 6)를 통해 입체 디스플레이(550)로 제시된다.
외과의가 가시성 이미지에 형광 이미지를 더해서 선택하면, 혼합 프로세스(609)에서, 브렌드 회로(551)는 형광 좌측 이미지(535)와 스펙트럼 밸런싱된 가시성 좌측 이미지(536)를 혼합하는 반면, 브렌드 회로(552)는 형광 우측 이미지(537)와 스펙트럼 밸런싱된 가시성 우측 이미지(538)를 혼합한다. 알파 브렌딩과 같은, 상이한 이미지 혼합 옵션은 브렌드 회로(551, 552)에서 구현될 수 있다. 브렌드 회로(551, 552)의 출력은 가시성 이미지 및 형광 이미지의 입체 디스플레이 프로세스(610)(도 6)를 통해 입체 디스플레이(550)로 제시된다. 디스플레이된 형광 이미지는 도 3a 내지 도 4에 대해 상술한 것과 등가인 방식으로 처리될 수 있고, 여기서는 그를 반복하지 않는다.
2개의 카메라를 가진 카메라 유닛의 상기 설명은 예시일 뿐, 한정을 의도하는 것이 아니다. 예를 들면, 각각의 카메라 유닛은 인입 광선을 분산시키는 광학기기를 가진 단일한 카메라가 될 수 있다, 본 측면에서, 3-CCD 이미지 센서의 2개의 칩이 가시성 이미지를 캡처하기 위해 사용되고, 제 3 칩이 형광 이미지를 캡처하기 위해 사용된다. 본 측면에서, 광을 3개 CCD 칩으로 지향시키는 프리즘(예를 들면, 3색 빔 스플리터 프리즘 어셈블리)은 형광 파장 광이 하나의 CCD 칩으로 반사되고 가시성 광이 다른 2개의 CCD 칩으로 분리되도록 설계된다. 가시성 이미지에 대한 풀 컬러가, 공통으로 수행되는 것으로서, 2개의 CCD 채널로부터 재구축될 수 있다. 본 측면은 상술한 하드웨어 정렬 이점을 가진다.
또다른 측면에서, 도 3a로부터의 인텔리전트 이미지 처리의 피처는 도 5a의 측면과 조합될 수 있다. 예를 들면, 조합광원(510D)(도 5g)은, 도 5d에 대해 상술한 바와 같이, 광 파이버 케이블(514A)에서의 일 세트의 파이버로 레이저 및 백색 조명광을 투사하기 위해 구성된 백색 광원(512A)과 레이저 모듈(517)을 포함한다. 제 2 레이저 모듈(509)은 광 파이버 케이블(514A)내에서의 제 2 세트의 파이버로 주입된 빔을 제공한다. 2개의 레이저(517, 509)로부터의 광은 상이한 형광 방출을 여기하고, 따라서 내시경(501)에서의 각각의 광 경로는 가시성 이미지와 2개의 형광 이미지를 포함한다.
본 측면에서, 빔 스플리터(533A)는 제 1 형광 이미지에 대해 가시성 좌측 이미지와 형광 좌측 이미지를 분리하도록 구성된다. 빔 스플리터(533B)는 제 2 형광 이미지에 대해 가시성 우측 이미지와 형광 우측 이미지를 분리하도록 구성된다.
따라서, 본 측면에서, 제 1 형광 이미지의 형광 좌측 이미지는 CCD(531B)에서 캡처되고, 제 2 형광 이미지에 대한 형광 우측 이미지는 CCD(532B)에서 캡처된다. 각각의 경우에, 입체 디스플레이를 위해 다른 형광 이미지를 생성하는 것이 필요하다.
제 1 형광 이미지의 형광 좌측 이미지는 공간적으로 가시성 우측 이미지로 등록되고, 그런다음 이미지 와퍼가 제 1 형광 이미지에 대해 형광 우측 이미지를 생성하기 위해 등록에 기초하여 사용된다.
유사하게, 제 2 형광 이미지의 형광 우측 이미지가 가시성 좌측 이미지와 함께 공간적으로 등록되고, 이미지 와퍼가 제 2 형광 이미지에 대해 형광 좌측 이미지를 생성하기 위해 등록에 기초하여 사용된다. 따라서, 가시성 좌측 이미지, 가시성 우측 이미지, 형광 좌측 제 1 이미지, 형광 우측 제 1 이미지, 형광 우측 제 2 이미지, 및 형광 우측 제 2 이미지가 가용하다. 도 3e의 확대 입체 디스플레이 시스템(140B)이 다양한 이미지를 디스플레이 하기 위해 사용된다.
따라서, 일반적으로, 형광 이미지 정보가 하나의 입체 채널에서만 캡처되는 측면에 대해, 다른 채널에 대한 형광 이미지가 입체 가시성 이미지 비디오에 상호 연관되는 외과의에 대한 입체 형광 이미지 디스플레이를 산출하도록 생성되어야 한다. 가시성 이미지 및 형광 이미지가 동일한 광학 경로를 공유하면, 가시성 이미지의 스테레오 매칭이 제 2 입체 채널에 대한 형광 이미지 생성을 위해 사용된다. 가시성 이미지 및 형광 이미지가 상이한 광학 경로를 사용하면, 가시성 이미지 및 형광 이미지가 캡처된 형광 이미지를 포함하는 채널에서 서로에 대해 등록되어, 가시성 이미지의 스테레오 매칭이 제 2 채널에 대해 형광 이미지를 생성하도록 적용된다.
카메라 유닛을 가진 단일한 입체 광학 경로
하나의 예시적인 프로세스에서, 가시성 이미지 및 형광 이미지 모두는 우측의 입체 채널에서 캡처되고, 가시성 이미지 만이 좌측 채널에서 캡처된다. 예를 들면, 도 7a의 실시예에서, 로봇 수술 시스템(도시되지 않음)은 조직(703)으로부터의 광을 확대 입체 비전 시스템(700)으로 전달하는 단일한 입체 광학 경로를 포함한다. 단일한 입체 광학 경로로부터의 광은 로봇 수술 시스템을 운용하는 외과의에 대해 조직(703)의 실시간 입체 비디오 디스플레이를 생성하기 위해 사용된다.
입체 비디오 디스플레이는 조직(503)의 병든 부분과 같은 조직(503)에서의 관심의 영역 및/또는 신경 또는 조직과 같은 관심의 다른 조직을 강조하기 위한 대안의 이미지로 확대된 조직(703)의 3차원 도를 포함한다. 하나의 측면에서, 대안의 이미지는 예를 들면, 입체도에서 우측 눈과 같은, 하나의 눈으로 제공되어, 외과의는 확대된 입체도와 확대되지 않은 입체도 사이에서 토글링하지 않고서 좌우측 눈의 이미지를 비교할 수 있도록 한다. 추가로, 본 측면은 또한 입체 대안의 도면에 입체도를 제공한다. 이는 예를 들면, 도 5a에 사용된 빔 스플리터 없이 달성된다. 하나의 측면에서, 대안의 도면이 예를 들면, 청색과 같은 특정한 컬러로 제시된다.
본 예시에서, 단일한 내시경(701)은 조직(703)으로부터의 입체 광학 경로를 하드웨어(720)로 제공한다. 내시경(701)은 입체 광학 경로를 보완하는 2개의 광 채널과 광을 조직(703)에 제공하는 적어도 하나의 조명 채널을 포함한다. 도시되지 않았지만, 내시경(701)은 로봇 수술 시스템에 의해 유지되고 이동된다. 예를 들면, 도 1을 참조하라.
본 예시에서, 확대 입체 비전 시스템(700)은 조합 광원(710), 하드웨어(720), 및 복수의 컴퓨터 기반 방법(790)을 포함한다. 도 7A에 도시된 바와 같이, 하드웨어(720)의 일부가 이미지 캡처 시스템(120D)을 보완한다. 하드웨어(720)의 또다른 일부와 복수의 컴퓨터 기반 방법(790)의 일부가 인텔리전트 이미지 처리 시스템(130D)을 보완한다. 그러나, 하드웨어(720)의 또다른 일부와 복수의 컴퓨터 기반 방법(790)의 또다른 일부는 확대 입체 디스플레이 시스템(140D)을 보완한다. 이미지 캡처 시스템(120D) 및 인텔리전트 이미지 처리 시스템(130D)내에서, 가시성 이미지를 처리하는 부분이 가시성 이미징 시스템을 보완하는 반면, 형광 이미지를 처리하는 부분은 대안의 이미징 시스템을 보완한다.
또한, 도 8의 방법(800)은 확대 입체 비전 시스템(700)을 이용하여 구현된다. 도 8에 도시된 바와 같이, 방법(800)은 복수의 개별 프로세스를 포함한다. 방법(800)은 방법(200)(도 2) 중 하나의 구현이다.
하나의 측면에서, 하드웨어(720)는 단일한 카메라 유닛(731)(도 7b)을 포함한다. 카메라 유닛(731)은 내시경(701)의 각각의 광학 경로에 대해 3칩 전하 결합소자(CCD) 센서를 포함한다.
본 측면에서, 카메라 유닛(731)(도 7b)은, 내시경(701)의 입체 광학 경로의 좌측 광학 경로로부터의 광을 사전 처리하기 위한 필터(733A)를 포함하는 블록(733)에 의해 내시경(701)에 결합된다. 또다른 측면에서, 필터는 카메라 유닛에 통합될 수 있다. 형광 이미지를 가진 가시성 우측 이미지와 좌측 이미지는 동일한 입체 광학 경로를 통해 동시에 캡처된다.
하드웨어(720)는 또한 하기에 보다 완전히 기술되는 기능을 수행하는 하드웨어 회로를 포함한다. 예를 들면, 복수의 컴퓨터 기반 방법(790)은 컴퓨터 프로세서 상에서 실행하는 소프트웨어이다.
카메라 유닛을 가진 단일 입체 광학 경로-조명
광 파이버 번들(714)로의 조합 광원(710)은, 조합 광원(310A)(도 3c)의 구현에 대해 상술한 다양한 측면과 함께, 조합 광원(510A,(도 5c), 510B,(도 5d), 510C,(도 5e)) 및 연관된 광 파이버 번들 중 임의의 것과 등가이다. 그 설명이 참조에 의해 본문에 통합된 그 조합 광원의 설명을 반복하지 않는다. 조합 광원(710)은 조직 조명 프로세스(201C)(도 8)를 수행하기 위해 내시경(701)에서의 조명 경로와 함께 사용된다.
카메라를 가진 단일한 입체 광학 경로-이미지 캡처 시스템(120D)
조직(703)(도 7a)으로부터의 가시성 좌측 이미지는 내시경(701)에서의 입체 광학 경로의 좌측 광학 채널로부터 캡처되고, 조직(703)으로부터의 형광 이미지와 조합된 가시성 우측 이미지는 내시경(701)에서의 입체 광학 경로의 우측 광학 채널로부터 캡처된다.
가시성 좌측 이미지만을 캡처하기 위해, 좌측 광학 채널로부터의 광이 좌측 CCD(731A)에서 캡처된 가시성 좌측 이미지(736)로부터의 형광 파장(들)을 제거하기 위해 형광 필터(733A)에 의해 필터링된다. 가시성 및 형광 우측 이미지(738)는 우측 CCD(731B)에서 캡처된다. 좌측 CCD(731A)는 가시성 좌측 이미지(731)에 대해 적, 녹 및 청색 이미지를 캡처한다. 유사하게, 우측 CCD(731B)는 가시성 및 형광 우측 이미지(738)에 대해 적, 녹 및 청색 이미지를 캡처한다.
본 측면에서, 필터(733A)는 조직으로부터의 광의 사전 처리 동작(202C)(도 8)을 수행한다. 가시성 좌측 이미지 및 가시성 및 형광 우측 이미지 캡처 프로세스(203C)는 상술한 바와 같이 CCD에서 다양한 이미지를 캡처함으로써 수행된다.
카메라 유닛을 가진 단일한 입체 광학 경로- 인텔리전트 이미지 처리 시스 템(130D)
공간 이미지 등록(792)은 입력으로서, 캡처된 이미지(736, 및 738) 각각을 수신한다. 다시, 공간 이미지 등록은 양 이미지로부터의 임의의 2개의 대응하는 픽셀이, 등록 결과에 기초하여, 세상에서 동일한 신 포인트를 참조하도록 하기 위해 상이한 뷰잉 각도로부터 취해진 이미지를 등록한다. 공간 이미지 등록(792)은 인텔리전트 처리(204C)에서 등록 프로세스(805)(도 8)로 수행된다.
하나의 측면에서, 표 4의 이미지 모달리티에 대해, 공간 이미지 등록(792)은 도 3d에 도시된 것과 동일하다.
공간 이미지 등록(392A)(도 3d)에서, 예를 들면, 가시성 좌측 이미지 및 가시성 및 형광 우측 이미지와 같은, 캡처된 이미지 중 2개가 사전 처리(370)로 Image 1로서 사전 처리(371)로 Image 2로서 입력된다. 가시성 이미지 대 가시성 및 형광 이미지 매칭에 사용된 피처에 따라, 사전 처리(370, 371)가 적절한 정보를 생성한다. 예를 들면, 그래디언트 이미지에 대해, X 및 Y 방향을 따라서 있는 로 이미지의 그래디언트가 생성된다. 유사하게, 이미지 피처는 로 이미지를 사전 처리함으로써 획득된다. 예를 들면, 로컬 영역에서의 이미지 강도의 히스토그램과 같은, 다수의 이미지 피처가 가용하다.
사전 처리(370, 371)의 결과는 매칭 프로세스(372)로 제공된다. 매칭 프로세스(372)에 가용한 다수의 방법이 있다. 제 1 예는 위치(x, y)에서의 픽셀을 둘러싼 작은 영역에서의 모든 픽셀을 이용하여 연산된 로 이미지 또는 그래디언트 이미지 중 어느 하나의 정규화된 상호 상관성이다. 또다른 예는 강도 히스토그램인 입력과의 매칭에 기초한 상호 정보이다.
매칭 프로세스(372)의 출력은 하나의 입력 이미지로부터 다른 입력 이미지로 (x, y)에서의 픽셀을 이동시킨 후에 최상의 매칭 점수를 주는 변위(dx, dy)이다. 변위(dx, dy)가 입력시 모든 픽셀에 대해 생성되면, 그 결과는 dx(x, y) 및 dy(x, y)의 2개의 이미지로 구성된 시차 맵이라고 한다.
공간 이미지 등록(792)에서의 좌우측 이미지에 대한 픽셀 단위의 등록이 이미지 와퍼(740, 741)에 가용하다. 이미지 와퍼(740)는 또한 입력으로서 캡처된 가시성 좌측 이미지(736)를 수신한다.
공간 이미지 등록 정보와 가시성 좌측 이미지(736)를 이용하여, 이미지 와퍼(740)는 가시성 우측 이미지를 생성하고, 차례로, 가시성 우측 이미지는 이미지 감산기(subtractor)(743)로 제공된다. 이미지 감산기(743)는 형광 우측 이미지(744)를 생성하기 위해 캡처된 가시성 및 형광 이미지(738)로부터 가시성 우측 이미지를 감산한다. 공간 이미지 등록 정보와 형광 우측 이미지(744)를 이용하여, 이미지 와퍼(741)는 형광 좌측 이미지(742)를 생성한다. 이미지 감산기(745)는 가시성 우측 이미지(746)를 생성하기 위해 캡처된 가시성 및 형광 이미지(738)로부터 가시성 우측 이미지를 감산한다.
따라서, 본 측면에서, 엘리먼트(792, 740, 743, 744, 736, 738, 및 745)의 조합이 가시성 우측 이미지 생성 프로세스(806)(도 8)에서 사용된다. 엘리먼트(792, 740, 743, 736, 및 738)의 조합은 형광 좌우측 이미지 생성 프로세스(807)에서의 형광 우측 이미지를 생성하기 위해 사용되지만, 엘리먼트(792, 740, 743, 744, 741, 736, 및 738)의 조합은 형광 좌우측 이미지 생성 프로세스(807)에서 형광 좌측 이미지를 생성하는 데에 사용된다.
상술한 프로세스는 예시일 뿐이고 한정을 의도하지 않는다. 가시성 우측 이미지(746) 만이 다양한 방식으로 생성될 수 있다. 예를 들면, 가시성 데이터만을 포함하는 가시성 우측 이미지(746) 만의 영역에 대해, 가시성 데이터는 캡처된 우측 이미지(738)로부터 취해질 수 있고, 형광 이미지를 포함하는 영역에 대해서는, 캡처된 좌측 이미지를 이용하여 왜곡(warp)될 수 있다.
다시, 본 설명이 필수적으로 선형이고 단일 대역 통과 처리를 기술하였지만, 상기 프로세스들은 실시간으로 발생하고, 다양한 이미지들이 내시경(701)을 통해 관찰된 조직(703)의 현재 상태를 반영하기 위해 연속하여 업데이트된다는 것에 유의해야한다. 또한, 다양한 프로세스들이 필수적인 정보가 가용하다면 병렬로 처리될 수 있다.
카메라 유닛을 가진 단일한 입체 광학 경로-확대 입체 디스플레이 시스 템(140D)
하나의 측면에서, 확대 입체 비디오 출력 디스플레이는 다양한 모드에서 동작될 수 있다. 예를 들면, 제 1 모드에서, da Vinci® Surgical System에서처럼, 입체 가시성 이미지만이 외과의로 출력된다. 제 2 모드에서, 형광 이미지가 확대 이미지를 생성하기 위해 가시성 이미지 상에 중첩되고, 입체 확대 이미지가 외과의로 출력된다. 제 3 모드에서, 입체 디스플레이의 하나의 눈에 대한 가시성 이미지가 그 눈에 대한 대응하는 형광 이미지와 혼합되고, 가시성 이미지만이 다른 눈에 대해 제시된다. 따라서, 입체 확대도는 하나의 눈에 대한 확대도를 가지고, 입체 디스플레이에서 다른 눈에 대해 정상적인 도를 가진다.
비디오 출력은 예를 들면 풋 스위치, 수술 기기를 제어하는 마스터 그립의 이중 클릭, 음성 제어, 및 기타 유사한 스위칭 방법을 이용하여 이들 모드 사이에서 토글링된다. 다양한 모드 사이의 스위칭을 위한 토글링은 디스플레이 모드 선택(760)으로서 도 7a에 도시된다.
사용자 입력(820)(도 8)에 응답하여, 디스플레이 모드 선택(760)(도 7a)으로부터의 신호가 차례로 브렌드 회로(751) 및 브렌드 회로(752)로 제어 신호를 제공하는 사용자 인터페이스(793)에서 디스플레이 모드 체크 동작(808)으로 제공된다. 외과의가 가시성 이미지만을 선택하면, 가시성 좌측 이미지(736)와 가시성 우측 이미지(746)가 가시성 이미지 프로세스(811)(도 8)의 입체 디스플레이를 통해 입체 디스플레이(750)에서 제시된다.
외과의가 우측 눈에서만 가시성 이미지 플러스 형광 이미지를 선택하면, 혼합 프로세스(812)에서, 브렌드 회로(751)가 가시성 좌측 이미지(736)를 입체 디스플레이(750)로 전달하는 반면, 브렌드 회로(752)는 형광 우측 이미지(744)와 가시성 우측 이미지(746)를 혼합한다. 대안으로, 브렌드 회로(752)가 가시성 및 형광 우측 이미지(738)를 입체 디스플레이(750)로 전달할 수 있다. 브렌드 회로(751, 752)의 출력은 한쪽의 눈에서만 형광 이미지의 입체 디스플레이를 통해 입체 디스플레이(750)로 조직의 입체 비디오 디스플레이 생성 프로세스(205C)에서의 가시성 이미지 프로세스(813)(도 8)로 제시된다.
외과의가 가시성 플러스 형광 이미지를 선택하면, 혼합 프로세스(809)에서, 브렌드 회로(751)가 형광 좌측 이미지(742) 및 가시성 좌측 이미지(736)를 혼합하는 반면, 브렌드 회로(752)는 형광 우측 이미지(744) 및 가시성 우측 이미지(746)를 혼합한다.
알파 브렌딩과 같은, 상이한 이미지 브렌딩 옵션이 브렌드 회로(751, 752)에서 구현될 수 있다. 브렌드 회로(751, 752)의 출력은 가시성 및 형광 이미지의 입체 디스플레이 프로세스(810)(도 8)를 통해 입체 디스플레이(750)로 제시된다.
입체 디스플레이에서 형광 이미지를 개선하는 상술한 기술은 또한 본 실시예에 적용가능하다.
또한, 상술한 측면에서, 좌우측 이미지는 역전될 수 있다. 따라서, 좌측 이미지는 제 1 이미지의 예이고, 우측 이미지는 제 2 이미지의 예이다.
시분할-카메라 유닛을 가진 단일한 입체 광학 경로
또다른 측면에서, 가시성 및 형광 이미지가 동일한 입체 광학 경로를 통해 캡처되지만, 이미지 캡처는 시분할 멀티플렉싱된다. 본 측면에서, 동일한 카메라 유닛이 가시성 및 형광 이미지 모두에 대한 데이터를 캡처하지만, 상이한 시간에 캡처한다. 이러한 시분할은 광원을 비디오 프레임 캡처와 동기화를 온/오프 함으로써 구현된다.
예를 들면, 도 9a 및 9b의 실시예에서, 로봇 수술 시스템(도시되지 않음)은 조직(903)으로부터의 광을 확대 입체 비전 시스템(900)으로 전달하는 단일한 입체 광학 경로를 포함한다. 단일한 입체 광학 경로로부터의 광은 로봇 수술 시스템을 동작시키는 외과의에 대해 조직(903)의 실시간 입체 비디오 디스플레이를 생성하기 위해 사용된다. 입체 비디오 디스플레이는 조직(903)의 병든 부분과 같은 조직(903)에서의 관심 영역 및/또는 신경 또는 기관과 같은 다른 관심영역의 조직을 강조하기 위한 대안의 이미지로 혼합된 조직(903)의 3차원 도면을 포함한다.
본 예시에서, 단일한 내시경(901)은 조직(903)으로부터 하드웨어(920)로 입체 광학 경로를 제공한다. 내시경(901)은 입체 광학 경로를 보완하기 위해 2개의 광채널과 조직(903)으로 광을 제공하기 위한 적어도 하나의 조명 채널을 포함한다. 도시되지 않았지만, 내시경(901)이 로봇 수술 시스템에 의해 유지되고 이동된다. 예를 들면, 도 1을 참조하라.
본 예시에서, 확대 입체 비전 시스템(900)은 조합 광원(910), 하드웨어(920), 및 복수의 컴퓨터 기반 방법(990)을 포함한다. 도 9a 및 9b에 도시된 바와 같이, 하드웨어(920)의 일부가 이미지 캡처 시스템(120E)을 보완한다. 하드웨어(920)의 또다른 일부와 복수의 컴퓨터 기반 방법(990)의 일부가 인텔리전트 이미지 처리 시스템(130E)을 보완한다. 그러나, 하드웨어(920)의 또다른 일부와 복수의 컴퓨터 기반 방법(990)의 또다른 일부는 확대 입체 디스플레이 시스템(140E)을 보완한다. 이미지 캡처 시스템(120E) 및 인텔리전트 이미지 처리 시스템(130E)내에서, 가시성 이미지를 처리하는 부분이 가시성 이미징 시스템을 보완하는 반면, 형광 이미지를 처리하는 부분은 대안의 이미징 시스템을 보완한다.
또한, 도 10a의 방법(1000)은 확대 입체 비전 시스템(900)을 이용하여 구현된다. 도 10a에 도시된 바와 같이, 방법(1000)은 복수의 개별 프로세스를 포함한다. 방법(1000)은 방법(200)(도 2) 중 하나의 구현이다.
하나의 측면에서, 하드웨어(920)는 카메라 유닛(731)(도 7b)과 같은 단일한 카메라 유닛을 포함한다. 카메라 유닛(731)은 내시경(901)의 각각의 광학 경로에 대해 3칩 전하 결합소자(CCD) 센서를 포함한다.
하드웨어(920)는 또한 하기에 보다 완전히 기술되는 기능을 수행하는 하드웨어 회로를 포함한다. 예를 들면, 복수의 컴퓨터 기반 방법(990)은 컴퓨터 프로세서 상에서 실행하는 소프트웨어이다. 하기의 설명에서, 동일한 기능을 수행하는 다중 하드웨어 유닛이 기술된다. 이는 용이한 설명을 위한 것일 뿐이며, 정확한 수가 표시될 필요를 의도하지 않는다. 구현에 따라, 단일한 인스턴스의 하드웨어 유닛이 사용될 수 있거나, 또는 대안으로, 하드웨어가 연관된 시간 내에 수행하는 한은, 도시된 수보다 적은 수가 사용될 수 있다.
시분할-카메라 유닛을 가진 단일 입체 광학 경로-조명
광 파이버 번들(914)로의 조합 광원(910)(도 9a)은, 조합 광원(310A)(도 3c)의 구현에 대해 상술한 다양한 측면과 함께, 조합 광원(510A,(도 5c), 510B,(도 5d), 510C,(도 5e)) 및 연관된 광 파이버 번들 중 임의의 것과 유사하다. 따라서, 이러한 조합 광원의 설명은 참조에 의해 본문에 통합된다. 그러나, 조합 광원(910)은 적어도 하나의 광원을 턴온 및 턴오프하는 수단을 포함한다.
예시로서, 조합 광원(510A)이 조합 광원(910)에 대한 시작 포인트로서 선택되고, 포켈스 셀(911)이 터닝 미러(516)와 주입 미러(513)사이의 레이저 광의 경로에서 삽입된다. 포켈스 셀(911)은 레이저/카메라 싱크 회로(935)에 연결된다. 보다 완전히 설명된 바와 같이, 시간 t에서의 하나의 측면에서, 포켈스 셀(911)은 레이저 빔이 포켈스 셀(911)을 통해 통과하여 백색 광원(512A)로부터의 광을 가지고 광 파이버 케이블(914)로 주입되도록 레이저/카메라 싱크 회로(935)로부터의 신호를 수신한다. 여기서, 시간 t는 프레임에 연관되는 반면, 시간 (t+1)은 상이한 프레임에 연관된다.
시간 (t+1)에서, 포켈스 셀(911)은 레이저 빔이 포켈스 셀(911)에 의해 차단되고 백색 광원(512A)로부터의 광만이 광 파이버 케이블(914)로 주입되도록 레이저/카메라 싱크 회로(935)로부터의 신호를 수신한다. 따라서, 제 1 시간 간격 동안, 조직(903)은 백색광과 조직(903)으로부터의 형광을 시뮬레이션하는 광을 가지고 조광되어, 제 2 시간 간격 동안, 제 1 시간 간격의 바로 이후에, 조직(903)은 백색광으로만 조광된다. 본 예시에서, 레이저 빔이 모듈레이팅 온오프된다. 그러나, 하기의 설명에 따르면, 시스템(900)은 모듈레이팅 온오프된 백색광원과 연속하여 온으로 유지된 레이저 빔으로 구현될 수 있다.
시분할-카메라를 가진 단일한 입체 광학 경로-이미지 캡처 시스템(120E)
레이저/카메라 싱크 회로(935)는 또한 신호를 이미지 캡처 시스템(120E)에서의 카메라 싱크(934, 933)로 제공한다. 이러한 신호에 응답하여, 카메라 싱크(934)는 프레임이 좌측 CCD 센서(931A)에서 캡처되도록 하고, 카메라 싱크(933)는 프레임이 우측 CCD 센서(931B)에서 캡처되도록 한다. 각각의 CCD 센서는 3칩 CCD 센서이고, 따라서, 캡처된 이미지는 적, 녹, 및 청색 컬러 컴포넌트를 구비한다. 도 9b는 조합 광원(910)과 프레임 캡처 사이의 동기의 예이다.
예를 들면, 시간 t에서, 조직(903)은 백색광과 레이저 광 모두로 조광되고, 신호 Left Opical Path Capture, Right Opical Path Capture는 각각 카메라 싱크(934 및 933)로 전송된다. 따라서, 시간 t에서, 가시성 좌측 이미지 및 형광 좌측 이미지 λL의 제 1 입체 프레임(936A)이 좌측 CCD(931A)에서 캡처된다. 또한, 시간 t에서, 가시성 우측 이미지 및 형광 우측 이미지 λR의 제 1 입체 프레임(938A)이 우측 CCD(931B)에서 캡처된다.
예를 들면, 시간(t+1)에서, 조직(903)은 백색광으로만 조광되고; 레이저 광은 턴오프되며; 신호 Left Opical Path Capture, Right Opical Path Capture는 각각 카메라 싱크(934 및 933)로 전송된다. 따라서, 시간 (t+1)에서, 가시성 좌측 이미지의 제 2 입체 프레임(936B)이 좌측 CCD(931A)에서 캡처된다. 또한, 시간 (t+1)에서, 가시성 우측 이미지의 제 2 입체 프레임(938A)이 우측 CCD(931B)에서 캡처된다.
도 9c에 도시된 바와 같이, 본 예시에 대해, 캡처 프로세스가 진행되고, 형광 이미지 캡처 속도는 가시성 이미지의 캡처 속도의 절반으로, 예를 들면 가시성 데이터는 매 프레임에서 수집되는 반면, 형광 및 가시성 데이터는 하나 걸러서 프레임마다 수집된다. 이러한 캡처 속도는 예시일 뿐이고, 본 개시물에 따라, 형광 이미지에 대한 적절한 캡처 속도가 선택될 수 있다.
조직(903)(도 9a)으로부터의 좌측 이미지는 내시경(901)에서의 입체 광학 경로의 좌측 광학 채널로부터 캡처되고, 조직(903)으로부터의 우측 이미지는 내시경(901)에서의 입체 광학 경로의 우측 광학 채널로부터 캡처된다.
도 9a 및 9b의 예시에서, 2개의 프레임이 CCD 센서에 의해 캡처되는 것으로 도시된다. 이는 설명의 용이성을 위한 것일 뿐이고, 한정을 의도하지 않는다. 공지된 바와 같이, 시간(t+1)에서의 프레임의 캡처전에, CCD 센서에서 캡처된 프레임은 예를 들면, 하기에 보다 완전히 상술된 처리를 위해, 버퍼로 이동될 수 있다.
시분할-카메라 유닛을 가진 단일한 입체 광학 경로- 인텔리전트 이미지 처 리 시스템(130E)
형광 및 가시성 이미지가 상이한 프레임 속도로 캡처되기 때문에, 임시 등록(992)이 상기 형광 이미지와 가시성 이미지의 동기화에서 사용된다. 본 예시에서, 공간 등록은 필요하지 않다. 그러나, 하나의 측면에서 공간 등록이 사용되면, 공간 등록은 임시 등록(992) 이전에 완료된다. 하기에 보다 완전히 기술되는 바와 같이, 임시 등록으로부터의 정보는 가시성 및 형광 이미지가 함께 캡처될 때 개별 이미지 생성뿐 아니라 이미지 왜곡을 통해 누락된 형광 이미지를 생성하기 위한 변환시에 사용된다.
따라서, 본 예시에서, 임시 이미지 등록(992)은 입력으로서, 캡처된 프레임(936A, 936B, 938A, 및 938B) 각각을 수신한다. 임시 이미지 등록(992)은 또한 캡처 모드 선택(945)으로부터 입력을 수신한다. 본 예시에서 3개의 캡처 모드가 고려된다. 제 1 모드는 상술한 바와 같이, 가시성 플러스 형광 이미지 및 가시성 이미지만 캡처되는 시분할 모드(945B)이다. 제 2 캡처 모드인, 연속한 시각 모드(945A)에서, 가시성 이미지만 캡처되고 형광 여기 광원은 차단된다. 확장 모드라고 칭하는 제 3 캡처 모드에서, 하기에 보다 완전히 기술되는 바와 같이, 형광 이미지는 더이상 가용하지 않고 형광 좌우측 이미지가 동기화되기 때문에 가시성 이미지만 캡처된다. 재 2 및 제 3 캡처 모드에서 모드에 대한 설정이 상이하지만, 처리 및 디스플레이 프로세스는 결과적으로 등가임에 유의하라.
시간 t에서 캡처된 가시성 좌측 이미지가 형광 좌측 이미지(936A)와 조합된, 시간 (t+1)에서의 가시성 좌측 이미지(936B)의 임시 이미지 등록 정보를 이용하여, 이미지 와퍼(940A)는 시간(t+1)에 대해 조합된 가시성 좌측 이미지와 형광 좌측 이미지를 생성한다. 이미지 와퍼(940A)는 시간 t와 시간(t+1) 사이의 임의의 동작을 보상한다.
시간(t+1)에 대해 생성된 조합된 가시성 좌측 이미지와 형광 좌측 이미지가 제 1 입력으로서 이미지 감산기(942A)로 제공된다. 이미지 감산기(942A)는 제 2 입력으로서 좌측 CCD(931A)로부터 시간(t+1)에 가시성 좌측 이미지(936B)를 수신한다. 이미지 감산기(942A)는 시간(t+1)에 인위적인 형광 좌측 이미지(947A)를 생성하기 위해 생성된 조합된 가시성 좌측 이미지 및 형광 좌측 이미지로부터 가시성 좌측 이미지(936B)를 감산한다.
시간(t+1)에서 생성된 형광 좌측 이미지(947A)는 이미지 와퍼(940B)에 대한 입력이다. 이미지 와퍼(940B)는 또한 입력으로서 임시 이미지 등록 정보를 수신한다. 이미지 와퍼(940A)는 시간(t+1)에서 생성된 형광 좌측 이미지(947A)로부터 시간 t에서 형광 좌측 이미지(947B)를 생성한다. 이미지 와퍼(940B)는 시간 t와 시간 (t+1) 사이의 임의의 움직임을 보완한다.
시간 t에 대해 생성된 형광 좌측 이미지(947B)가 제 1 입력으로서 이미지 감산기(942B)로 제공된다. 이미지 감산기(942A)는 제 2 입력으로서 좌측 CCD(931A)로부터 시간 t에 형광 좌측 이미지(936A)와 조합된 가시성 좌측 이미지를 수신한다. 이미지 감산기(942B)는 시간 t에서 가시성 좌측 이미지(944L)를 생성하기 위해 시간 t에서 형광 좌측 이미지(936A)와 조합된 캡처된 가시성 좌측 이미지로부터의 시간 t에 대한 생성된 형광 좌측 이미지(947B)를 감산한다.
시간 t에서 캡처된 가시성 우측 이미지가 형광 우측 이미지(938A)와 조합된, 시간 (t+1)에서의 가시성 우측 이미지(938B)의 임시 이미지 등록 정보를 이용하여, 이미지 와퍼(940A)(도 9b)는 시간(t+1)에 대해 조합된 가시성 우측 이미지와 형광 우측 이미지를 생성한다. 이미지 와퍼(940A)는 시간 t와 시간(t+1) 사이의 임의의 동작을 보상한다.
시간(t+1)에 대해 생성된 조합된 가시성 우측 이미지와 형광 우측 이미지가 제 1 입력으로서 이미지 감산기(943A)로 제공된다. 이미지 감산기(932A)는 제 2 입력으로서 우측 CCD(931B)로부터 시간(t+1)에 가시성 우측 이미지(938B)를 수신한다. 이미지 감산기(943A)는 시간(t+1)에 인위적인 형광 우측 이미지(946A)를 생성하기 위해 시간(t+1)에 대해 생성된 조합된 가시성 우측 이미지 및 형광 우측 이미지로부터 가시성 우측 이미지(938B)를 감산한다.
시간(t+1)에서 생성된 인위적 형광 우측 이미지(946A)는 이미지 와퍼(941B)에 대한 입력이다. 이미지 와퍼(941B)는 또한 입력으로서 임시 이미지 등록 정보를 수신한다. 이미지 와퍼(941B)는 시간(t+1)에서 생성된 인위적 형광 우측 이미지(946A)로부터 시간 t에 대해 형광 우측 이미지(946B)를 생성한다. 이미지 와퍼(941B)는 시간 t와 시간 (t+1) 사이의 임의의 움직임을 보완한다.
시간 t에 대해 생성된 형광 우측 이미지(946B)가 제 1 입력으로서 이미지 감산기(943B)로 제공된다. 이미지 감산기(943A)는 제 2 입력으로서 우측 CCD(931B)로부터 시간 t에 형광 우측 이미지(938A)와 조합된 캡처된 가시성 우측 이미지를 수신한다. 이미지 감산기(943B)는 시간 t에서 가시성 우측 이미지(944R)를 생성하기 위해 시간 t에서 형광 우측 이미지(938A)와 조합된 캡처된 가시성 우측 이미지로부터의 시간 t에 대해 생성된 형광 우측 이미지(946B)를 감산한다.
형광 좌측 이미지(947B)와 형광 우측 이미지(946B)는 입체쌍의 형광 이미지이다. 유사하게, 인위적 형광 좌측 이미지(947A)와 인위적 형광 우측 이미지(946A)가 입체쌍의 형광 이미지이다.
도 9a 및 9b에서, 시간 t 및 (t+1)에서의 프레임에 대한 형광 및 가시성 데이터가 브렌드 회로(951, 952) 모두에 제공되는 것으로 도시된다. 이는 용이한 이해를 위한 것일 뿐이다. 2개의 프레임이 적절한 시퀀스로 제공되어, 비디오 시퀀스를 통해서 조차 적절한 시간 시퀀스에서 외과의에 제시된 입체 디스플레이의 흐름이 하나 이상의 프레임에 의해 상술한 처리를 허용하도록 지연될 수 있게 한다.
캡처 모드 선택(945)(도 9a)이 연속한 시각 모드(945A)라면, 레이저 모듈(517)은 턴오프되고 가시성 이미지만 캡처된다. 본 모드에서, 형광 이미지는 생성 또는 디스플레이되지 않고, 캡처된 이미지는 정상적인 방식으로 입체 디스플레이(950) 상에 디스플레이 될 뿐이다.
본 예시에서, 확대 시스템(900)은, 또한 조직에서 약물이 더이상 발광하지 않게된 후에 조차, 장기간 동안 관심의 대상인 조직을 지시하는 형광 이미지를 제공하는 기능을 포함한다. 조합 광원(910)의 구성에 무관한 본 상황에서, 가시성 이미지만 캡처되어 임시 등록(992)에 등록된다. 본 모드를 확장 모드라고 한다.
확장 모드에서, 임시 등록(992)은 확장 모드에서 형광 좌측 이미지(949)를 동기화하고 형광 우측 이미지(948)를 동기화하기 위해 이미지 등록 정보를 제공한다. 형광 좌측 이미지(949) 동기화는 또한 입력으로서 생성된 최종 형광 좌측 이미지, 즉, 형광 좌측 이미지(947A)를 수신한다. 형광 좌측 이미지(949) 동기화는 현재 가시성 좌측 이미지에 대해서만 정확한 위치로 형광 좌측 이미지(947A)를 이동시키기 위해 임시 등록 정보를 이용하여 동기화된 형광 좌측 이미지를 생성한다. 하나의 측면에서, 합성 형광 좌측 이미지를 생성하기 위해 사용되는 프로세스는 상술한 인위적인 형광 좌측 이미지를 생성하기 위한 것과 등가이다.
유사하게, 형광 우측 이미지(948) 동기화는 또한 입력으로서 생성된 최종 형광 우측 이미지, 즉, 형광 우측 이미지(946A)를 수신한다. 형광 우측 이미지(948) 동기화는 현재 가시성 우측 이미지에 대해서만 정확한 위치로 형광 우측 이미지(946A)를 이동시키기 위해 등록 정보를 이용하여 동기화된 형광 우측 이미지를 생성한다. 하나의 측면에서, 합성 형광 우측 이미지를 생성하기 위해 사용되는 프로세스는 상술한 인위적인 형광 우측 이미지를 생성하기 위한 것과 등가이다.
다시, 본 설명은 필수적으로 선형이고 단일 대역 통과 처리를 기술하였지만, 상기 프로세스들은 실시간으로 반복되고, 다양한 이미지들이 상술한 프로세스를 이용하여 내시경(901)을 통해 관찰된 바와 같은 조직(903)의 현재 상태를 반영하기 위해 연속하여 업데이트된다는 것에 유의해야한다.
시분할-카메라 유닛을 가진 단일한 입체 광학 경로-확대 입체 디스플레이 시스템(140E)
하나의 측면에서, 확대 입체 비디오 출력 디스플레이는 다양한 모드에서 동작될 수 있다. 예를 들면, 제 1 모드에서, da Vinci® Surgical System에서처럼, 입체 가시성 이미지만이 외과의로 출력된다. 제 2 모드에서, 형광 이미지가 확대 이미지를 생성하기 위해 가시성 이미지 상에 중첩되고, 입체 확대 이미지가 외과의로 출력된다.
비디오 출력은 예를 들면 풋 스위치, 수술 기기를 제어하는 마스터 그립의 이중 클릭, 음성 제어, 및 기타 유사한 스위칭 방법을 이용하여 이들 모드 사이에서 토글링된다. 2개의 모드 사이의 스위칭을 위한 토글링은 차례로 신호를 브렌드 회로(951, 952)로 출력하는 사용자 인터페이스(993)로 제공되는 신호를 생성하는 디스플레이 모드 선택(960)으로서 도 9a에 도시되고, 이는 다른 브렌드 회로에 대해 상술된 것과 동일한 방식으로 기능한다.
입체 디스플레이에서 형광 이미지를 개선시키기 위해 상술한 기술이 또한 본 실시예에 적용가능하다.
추가로, 일부 측면에서, 형광 및 가시성 이미지를 가진 확대 디스플레이를 생성하는 또다른 디스플레이 모드가 구현될 수 있다. 이러한 디스플레이 모드는 제 1 디스플레이 모드의 변형 또는 완전히 상이한 디스플레이 모드가 될 수 있다. 어느 경우이건, 형광 이미지는 입체 디스플레이에서 점멸하고 연속하여 디스플레이 되지는 않는다. 이러한 피처는 예를 들면 원하는 점멸 속도가 얻어지도록 적절한 프레임을 시스템(140E)으로 제공하도록 인텔리전트 이미지 처리 시스템(130E)을 이용하여 구현될 수 있다. 대안으로, 조합 광원(910)으로부터의 레이저 광은 디스플레이에서의 점멸을 제공하기 위해 변조될 수 있다. 점멸 모드는 본문에 기술된 다른 측면에서 사용될 수 있고, 각각에 대해 반복되지 않는다.
시분할의 상기 설명은 예를 들면 초당 30 프레임과 같은 가시성 이미지에 대한 제 1 프레임 속도, 및 형광 이미지의 캡처를 위한 제 2 프레임 속도에 대해 작용한다. 상기 설명은 임의의 측면에서 시분할을 제공하기 위해 상술한 기타 측면과 조합될 수 있다. 또한, 시분할 멀티플렉싱 측면에 대해, 또는 다른 이미지 캡처 및 처리 측면에서, 내시경 또는 조직이 이동되거나 또는 조명이 변한다면, 필터링이 움직임의 인공물 및/또는 조명의 인공물을 포함하는 인공물을 제거하도록 수행된다.
도 9a 및 9b의 측면은 예시일 뿐이고, 본 개시물에 따라, 당업자는 유사한 결과를 얻기 위해 다양한 구성을 구현할 수 있다. 예를 들면, 도 9d는 하나의 대안의 실시예를 도시한다. 본 예시에서, 시스템(900A)은 대안의 인텔리전트 이미지 처리 시스템(130E)을 포함하는 하드웨어(920A)를 포함한다. 여기서, 현재 프레임은 확대 입체 디스플레이 시스템(140E)으로 전송하기 위해 적절한 저장된 프레임을 선택한다. 예를 들면, 프레임(936A, 936B)은 입체 쌍으로서 액세스되어 시스템(140E)으로 전송된다. 다음으로, 프레임(936B) 및 인위적 형광 좌측 이미지(947A)와 프레임(938D) 및 인위적 형광 우측 이미지(946A)가 시스템(140E)으로 제공된다. 도 9d에서의 다른 엘리먼트가 도 9a 및 9b에서의 동일한 참조 번호를 가진 엘리먼트에 대해 상술한 것과 동일한 방식으로 작용한다.
도 9e는 예를 들면 도 9a 및 9b의 시스템에서 통합될 수 있는 인텔리전트 이미지 처리 시스템(130E)의 또다른 측면을 도시한다. 여기서, 입체 광학 채널에서의 우측 광학 채널로부터 캡처된 이미지의 처리만이 도시된다. 하드웨어 및 좌측 광학 채널로부터의 이미지 캡처에 대한 처리는 동일하며 도시되지 않는다.
본 측면에서, 이미지 와퍼(941B)는 시간 (t+1)에서 캡처된 가시성 우측 이미지와 적절한 등록 정보를 수신한다. 이미지 와퍼(941B)는 시간 t에서 가시성 우측 이미지(944R)를 생성한다. 이미지 감산기(943B)는 입력으로서 시간 t에서 가시성 우측 이미지(944R) 및 시간 t에서 캡처된 가시성 플러스 형광 우측 이미지(938A)를 수신한다. 이미지 감산기(943B)는 시간 t에서 인위적 형광 우측 이미지(946B)를 생성하기 위해 가시성 우측 이미지(944R)를 캡처된 가시성 플러스 형광 우측 이미지(938A)로부터 감산한다.
도 10a는 조합 가시성 형광 이미지 프레임이 캡처되고 N(N은 정수)개의 가시성 이미지 프레임 만이 캡처되는 일반적인 시분할 멀티플렉싱을 위한 프로세스 흐름도이다. 편의를 위해, 도 10a는 도 9a의 장치를 이용하여 설명된다. 도 10a는 임의의 초기화가 완료되고 프로세스(1000)가 동작중이라고 가정한다.
가시성 및 형광 이미지 캡처 프로세스(1001)에서, 이미지 캡처 시스템(120E)은 입체쌍의 조합된 가시성 및 형광 이미지(936A, 936B)를 캡처한다. 혼합된 가시성 및 형광 이미지가 이미지의 입체 디스플레이 프로세스(1002)에서 입체 디스플레이(950) 상에 디스플레이된다.
프레임 카운터 초기화 프로세스(1003)는 프레임 카운터를 N(상술한 예에서, N은 1)으로 초기화하고, 형광 여기 턴오프 프로세스(1004)에서, 레이저/카메라 싱크 회로(935)가 포켈스 셀(911)로 하여금 레이저 광 빔을 차단하도록 한다.
다음으로, 레이저/카메라 싱크 회로(935)는 가시성 이미지(936B, 938B)가 가시성 이미지 캡처 프로세스(1005)에서 캡처되도록 한다. 등록 프로세스(1006)에서, 가시성 좌측 이미지(936B)는 캡처된 조합 좌측 이미지(936A)로 등록되고, 우측 가시성 이미지(938B)는 캡처된 조합 우측 이미지(938A)로 등록된다.
형광 좌우측 이미지 생성 프로세스(1007)는 도 9a 및 9b에 대해 상술한 바와 같이 이들 이미지를 생성하기 위해 인텔리전트 이미지 처리 시스템(130E)을 이용한다. 디스플레이를 위해 시간 시퀀스에서 다음 프레임에 연관된 가시성 및 형광 이미지가 혼합되어 프로세스(1008)에서 입체 디스플레이(950) 상에 디스플레이된다.
프레임 카운터는 프로세스(1009)에서 감소되어 제로 체크 동작(1010)과 동일한 카운터가 가시성 이미지의 또다른 세트 또는 조합 가시성 및 형광 이미지의 또다른 세트를 캡처했는지 여부를 판정한다. 프레임 카운터가 0이 아니라면, 프로세스(1005-1009)는 반복된다. 프레임 카운터가 0이라면, 프로세스(1011)가 형광 여기 소스를 턴온하고 프로세스(1001)로 보낸다.
도 10b는 프로세스(1000)에서의 가시성 및 형광 프레임 스트림을 도시한다. 상술하고 도 10b에 도시된 바와 같이, 시간 t에서, 가시성 및 형광 프레임이 캡처된다.
시간 (t+1)에서 시간 (t+N)까지, 가시성 프레임만 캡처된다. 이러한 시간 간격 동안, 시간 t에서 캡처된 형광 프레임은 임시로 각각의 캡처된 가시성 프레임에 등록되어 시간 t에서 캡처된 형광 프레임은 도 10b에 도시된 바와 같이 대응하는 시간동안 인위적인 형광 프레임을 산출하도록 왜곡된다. 하나의 측면에서, 캡처되고 인위적인 형광 프레임이 통합될 수 있고, 집적 회로가 디스플레이된다. 인위적인 형광 프레임이 입체 디스플레이에서 가시성 이미지의 프레임 속도와 형광 이미지의 프레임 속도를 동기화시키도록 사용된다.
보다 일반적으로, 형광 이미지는 형광 이미지를 캡처하는 프레임 사이에서 외과의로 출력되는 비디오에서 인위적으로 유지될 수 있다. 인위적으로 유지되는 형광 이미지는 카메라가 가시성 이미지 캡처와 형광 이미지 캡처 사이에서 스위칭할 때 가시성 이미지와 혼합된다.
또한, 또다른 예시로서, 상기 지시된 바와 같이, 형광 이미지는 형광 영역이 여전히 외과의에게 가시 상태를 유지하도록 주입된 약물이 더이상 발광하지 않은 후에도 유지될 수 있다. 하나의 측면에서, 유지된 이미지 출력은, 외과의가 형광 및 가시성 이미지의 잘못된 혼합을 보지 않도록 하기 위해 카메라가 이동되면, 자동으로 정지된다. 형광 이미지에서의 형광 영역이 가시성 이미지로 공간적으로 등록되면, 가시성 이미지와 정확하게 혼합되기 때문에 유지된 형광 이미지가 출력될 수 있다. 상술한 바와 같이, 인공물이 출력 디스플레이로부터 필터링 될 수 있다.
시분할-가시성 컬러 컴포넌트와 조합된 형광 이미지를 캡처한 카메라 유닛 을 가진 단일한 입체 광학 경로
또다른 측면에서, 가시성 및 형광 이미지가 동일한 입체 광학 경로를 통해 캡처되지만, 이미지 캡처는 시분할 멀티플렉싱되고 형광 이미지는 예를 들면 적색 컬러 컴포넌트와 같은 가시성 컬러 컴포넌트 중 하나로 캡처된다. 본 측면에서, 동일한 카메라 유닛이 가시성 및 형광 이미지 모두에 대한 데이터를 캡처하지만, 상이한 시간에 캡처한다. 이러한 시분할은 광원을 비디오 프레임 캡처와 동기화를 온/오프 함으로써 구현된다.
예를 들면, 도 11a의 실시예에서, 로봇 수술 시스템(도시되지 않음)은 조직(1103)으로부터의 광을 확대 입체 비전 시스템(1100)으로 전달하는 단일한 입체 광학 경로를 포함한다. 단일한 입체 광학 경로로부터의 광은 로봇 수술 시스템을 동작시키는 외과의에 대해 조직(1103)의 실시간 입체 비디오 디스플레이를 생성하기 위해 사용된다. 입체 비디오 디스플레이는 조직(1103)의 병든 부분과 같은 조직(1103)에서의 관심 영역 및/또는 신경 또는 기관과 같은 다른 관심영역의 조직을 강조하기 위한 대안의 이미지로 혼합된 조직(1103)의, 때때로 프리젠테이션이라고도 하는, 3차원 도면을 포함한다.
본 예시에서, 단일한 내시경(1101)은 조직(1103)으로부터 하드웨어(1120)로 입체 광학 경로를 제공한다. 내시경(1101)은 입체 광학 경로를 보완하기 위한 2개의 광채널과 조직(1103)으로 광을 제공하기 위한 적어도 하나의 조명 채널을 포함한다. 도시되지 않았지만, 내시경(1101)이 로봇 수술 시스템에 의해 유지되고 이동된다. 예를 들면, 도 1을 참조하라.
본 예시에서, 확대 입체 비전 시스템(1100)은 조합 광원(1110), 하드웨어(1120), 및 적어도 하나의 복수의 컴퓨터 기반 방법(1190)을 포함한다. 도 11a에 도시된 바와 같이, 하드웨어(1120)의 일부가 이미지 캡처 시스템(120F)을 보완한다. 하드웨어(1120)의 또다른 일부가 인텔리전트 이미지 처리 시스템(130F)을 보완한다. 그러나, 하드웨어(1120)의 또다른 일부와 복수의 컴퓨터 기반 방법은 확대 입체 디스플레이 시스템(140F)을 보완한다. 이미지 캡처 시스템(120F) 및 인텔리전트 이미지 처리 시스템(130F)내에서, 가시성 이미지를 처리하는 부분이 가시성 이미징 시스템을 보완하는 반면, 형광 이미지를 처리하는 부분은 대안의 이미징 시스템을 보완한다.
또한, 도 12의 방법(1200)은 확대 입체 비전 시스템(1100)을 이용하여 구현된다. 도 12에 도시된 바와 같이, 방법(1200)은 복수의 개별 프로세스를 포함한다.
하나의 측면에서, 하드웨어(1120)는 카메라 유닛(731)(도 7b)과 같은 단일한 카메라 유닛을 포함한다. 카메라 유닛(731)은 내시경(1101)의 각각의 광학 경로에 대해 3칩 전하 결합소자(CCD) 센서를 포함한다.
하드웨어(1120)는 또한 하기에 보다 완전히 기술되는 기능을 수행하는 하드웨어 회로를 포함한다. 예를 들면, 적어도 하나의 컴퓨터 기반 방법(1190)은 컴퓨터 프로세서 상에서 실행하는 소프트웨어이다.
시분할-가시성 컬러 컴포넌트와 조합된 형광 이미지를 캡처하는 카메라 유 닛을 가진 단일한 입체 광학 경로-조명
광 파이버 번들(1114)로의 조합 광원(1110)은, 조합 광원(310A)(도 3c)의 구현에 대해 상술한 다양한 측면과 함께, 조합 광원(510A,(도 5c), 510B,(도 5d), 510C,(도 5e)) 및 연관된 광 파이버 번들 중 임의의 것과 유사하다. 따라서, 이러한 조합 광원의 설명은 참조에 의해 본문에 통합된다. 그러나, 조합 광원(1110)은 적어도 하나의 광원을 턴온 및 턴오프하는 수단을 포함하고, 동일하게 광원(910)이 사용되며, 예시로서, 광원(910A)의 상기 설명이 참조에 의해 본문에 통합된다.
하나의 측면에서, 시간 t에서, 포켈스 셀(911)은 레이저 빔이 포켈스 셀(911)에 의해 차단되고 백색 광원(512A)로부터의 광만이 광 파이버 케이블(1114)로 주입되도록 레이저/카메라 싱크 회로(1135)로부터의 신호를 수신한다. 시간 (t+1)에서, 포켈스 셀(911)은 레이저 빔이 포켈스 셀(911)을 통과하여 백색광원(512A)으로부터의 광과 함께 광 파이버 케이블(1114)로 주입되도록 레이저/카메라 싱크 회로(1135)로부터의 신호를 수신한다. 여기서, 시간 t은 프레임에 연관되는 반면, 시간 (t+1)은 상이한 프레임에 연관된다.
따라서, 제 1 시간 간격 동안, 조직(1103)은 백색광으로만 조광되어, 제 1 시간 간격에 바로 후속하는 제 2 시간 간격 동안, 조직(1103)은 백색광과 조직(1103)으로부터의 형광을 시뮬레이션하는 광으로 조광된다. 본 예시에서, 레이저 빔이 모듈레이팅 온오프된다. 그러나, 하기의 설명에 따르면, 시스템(1100)은 모듈레이팅 온오프된 백색광원과 연속하여 온으로 유지된 레이저 빔으로 구현될 수 있다.
시분할-가시성 컬러 컴포넌트와 조합된 형광 이미지를 캡처하는 카메라 유 닛을 가진 단일한 입체 광학 경로-이미지 캡처 시스템(120F)
레이저/카메라 싱크 회로(1135)는 또한 신호를 카메라 싱크(1134, 1133)로 제공한다. 이러한 신호에 응답하여, 카메라 싱크(1134)는 프레임이 좌측 CCD 센서(1131A)에서 캡처되도록 하고, 카메라 싱크(1133)는 프레임이 우측 CCD 센서(1131B)에서 캡처되도록 한다. 각각의 CCD 센서는 3칩 CCD 센서이다. 도 11b는 조합 광원(1110)과 프레임 캡처 사이의 동기의 예이다.
예를 들면, 시간 t에서, 조직(1103)은 백색광으로 조광되고, 신호 Left Opical Path Capture, Right Opical Path Capture는 각각 카메라 싱크(1134 및 1133)로 전송된다. 따라서, 시간 t에서, 가시성 좌측 이미지의 가시성 적, 녹, 및 청색 컴포넌트의 제 1 입체 프레임(1136A)이 좌측 CCD(1131A)에서 캡처된다. 또한, 시간 t에서, 가시성 우측 이미지의 가시성 적, 녹, 청색 컴포넌트의 제 1 입체 프레임(1138A)이 우측 CCD(1131B)에서 캡처된다.
예를 들면, 시간(t+1)에서, 조직(1103)은 백색광 및 레이저광으로 조광되고, 신호 Left Opical Path Capture, Right Opical Path Capture는 각각 카메라 싱크(1134 및 1133)로 전송된다. 따라서, 시간 (t+1)에서, 가시성 좌측 이미지의 가시성 적, 녹, 청색 컴포넌트의 제 2 입체 프레임(1136B)이 좌측 CCD(1131A)에서 캡처된다. 그러나, 가시성 적색 컴포넌트는 형광 좌측 이미지 λL와 조합되어 조합된 이미지가 좌측 CCD(1131A)에서 캡처되도록 한다. 또한, 시간 (t+1)에서, 가시성 우측 이미지의 가시성 적, 녹, 청색 컴포넌트의 제 2 입체 프레임(1138A)이 우측 CCD(1131B)에서 캡처된다. 그러나, 가시성 적색 컴포넌트는 형광 우측 이미지 λR와 조합되어 조합된 이미지가 우측 CCD(1131B)에서 캡처되도록 한다. 이러한 캡처 속도는 예시일 뿐이며, 본 개시물에 따라, 형광 이미지에 대한 적절한 캡처 속도가 선택될 수 있다.
조직(1103)(도 11a)으로부터의 좌측 이미지는 내시경(1101)에서의 입체 광학 경로의 좌측 광학 채널로부터 캡처되고, 조직(1103)으로부터의 우측 이미지는 내시경(1101)에서의 입체 광학 경로의 우측 광학 채널로부터 캡처된다.
도 11a의 예시에서, 2개의 프레임이 CCD 센서에 의해 캡처되는 것으로 도시된다. 이는 설명의 용이성을 위한 것일 뿐이고, 한정을 의도하지 않는다. 공지된 바와 같이, 시간(t+1)에서의 프레임의 캡처전에, CCD 센서에서 캡처된 프레임은 예를 들면, 하기에 보다 완전히 상술된 처리를 위해, 버퍼로 이동될 수 있다.
시분할-가시성 컬러 컴포넌트와 조합된 형광 이미지를 캡처하는 카메라 유 닛을 가진 단일한 입체 광학 경로-인텔리전트 이미지 처리 시스템(130E)
형광 이미지는 가시성 컬러 컴포넌트 중 하나로 캡처되기 때문에, 입체 가시성 디스플레이로 형광 조직을 강조하기 위해 형광 이미지가 처리될 수 있도록 형광 이미지를 추출하는 것이 필요하다. 좌우측 이미지의 처리는 유사하므로, 하기의 설명에서는 좌측 채널만 고려된다.
여기서, 시간 t에서의 적, 녹, 및 청색 가시성 컴포넌트는 각각 Rt, Gt, Bt로 표시된다. 시간 (t+1)에서 캡처된 컴포넌트는 (R+λ)t +1, Gt +1, Bt +1로 표시된다.
하나의 측면에서, 형광 이미지와 인공물 생성기(1140)(도 11a)는 움직임에 대한 인공물뿐 아니라 조명 변화에 의해 유도되는 가능한 인공물을 가진 형광 이미지를 생성하기 위해 프로세스(1200)(도 12)의 프레임-투-프레임 감산 프로세스(1201)를 이용한다. 프레임-투-프레임 감산 프로세스(1201)는 시간(t+1)에서 캡처된 프레임으로부터 시간 t에서 캡처된 프레임을 감산한다. 예를 들면,
여기서, IR, IG 및 IB는 각각 적, 녹 및 청색 컴포넌트에 대한 프레임-투-프레임 컬러 컴포넌트 차이다. 보다 특정하게, 프레임-투-프레임 적색 컬러 컴포넌트 차 IR는 적색 컬러 컴포넌트의 가능한 인공물과 조합된 형광 이미지이고; 프레임-투-프레임 녹색 컬럼 컴포넌트 차 IG 및 프레임-투-프레임 청색 컬럼 컴포넌트 차 IB는 각각 녹색 및 청색 컬러 컴포넌트의 가능한 인공물이다. 용어 "가능한 인공물"은, 조직(1103), 내시경(1101) 및 기기가 2개의 프레임 사이에서는 이동하지 않고, 조명은 인공물이 없는 경우에 안정적이기 때문에 사용된다.
형광 이미지로부터 인공물을 분리하기 위해, 하나의 측면에서, 스케일 시스템(1141)(도 11a)이 정규화 프로세스(1202)(도 12)를 구현한다. 스케일 시스템(1141)은 선택이고 모든 측면에서 사용되는 것은 아니다. 그러나, 본 측면에서, 정규화 프로세스(1202)는 차이가 공통의 스케일을 가지도록 프레임-투-프레임 컬러 컴포넌트 차, IR, IG, 및 IB를 처리한다. 예를 들면, 하나의 측면에서, 각각의 컬러 컴포넌트 차에 대한 평균이 컬러 컴포넌트 차로부터 감산되고, 결과가 단위 분산으로 스케일링된다. 예를 들면,
여기서, IR, IG, IB 및 IR, IG, IB는 각각 동일한 엘리먼트이다. 컬러 컴포넌트 차 위의 바는 컬러 컴포넌트 및 σ의 제곱이 분산을 나타내는 평균값을 나타낸다. 평균값과 분산의 정량(determination)은 전체 프레임 또는 대안으로 프레임의 더 작은 영역에 기초할 수 있다.
2개의 프레임의 캡처의 시간 사이에 움직임 또는 조명 변화가 있다면, 2개 프레임 사이의 3개의 컬러 컴포넌트에서의 인공물은 대개 유사하지만, 정확하게 일치하는 것은 아니다. 따라서, 2개의 프레임 사이의 정규화된 녹색 및 청색 컬러 컴포넌트의 인공물은 정규화된 적색 컴포넌트에서의 인위적 조형물을 근사하기 위해 사용될 수 있다. 따라서, 하나의 측면에서, 정규화된 청색 및 녹색 컴포넌트는 형광 이미지에서 2개의 프레임 사이의 인공물의 효과를 개선하기 위해 사용될 수 있다.
따라서, 하나의 측면에서, 형광 이미지 추출기(1142)(도 11a)는 크로스-채널 감산 프로세스(1203)(도 12)를 구현한다. 크로스-채널 감산 프로세스(1203)는 형광 이미지 F를 얻기 위해 형광 이미지 λ를 포함하는 정규화된 프레임-투-프레임 적색 컬러 컴포넌트로부터 정규화된 청색 및 녹색 프레임-투-프레임 컬러 컴포넌트 차를 감산한다. 특히, 하나의 측면에서, 크로스-채널 감산 프로세스(1203)는 하기와 같이 형광 이미지 F를 생성한다:
하나의 측면에서, 형광 이미지 개선(1143)(도 11a)은 형광 이미지 개선 프로세스(1204)(도 12)를 구현한다. 형광 이미지 개선 프로세스(1204)는 선택적으로 형광 이미지 F를 스케일링하고 예를 들면 가성(flase) 컬러 형광 이미지 F와 같이 적색에서 녹색 또는 청색 중 어느 하나로 변하여, 형광 좌측 이미지(1144)가 가시성 이미지와 혼합될 때, 형광 이미지가 두드러지도록 한다. 인위적인 형광 좌측 이미지(1144)와 인위적인 형광 우측 이미지(1149)는 입체쌍의 형광 이미지이다.
하나의 측면에서, 선택적인 산재하는(sparse) 조직의 추적이 포함된다. 예를 들면, 움직임 영역으로 선언된 픽셀에 대한 임시 등록이 실제 각각의 움직임 영역에서 움직임이 있는지를 판정하기 위해 사용된다. 추가로, 이미지 필터링과 임계치가 최종 형광 이미지를 선명하게 하기 위해 사용될 수 있다.
프로세스(1200)의 상기 측면은 예시일 뿐이며, 한정을 의도하지 않는다. 이들 프로세스에 대한 다양한 변형이 하드웨어로 구현될 수 있다. 예를 들면,
프레임=프레임 감산
움직임/조명 변화 영역(MIR) 검출
후처리후에 형광 영역(FR)을 판정
하나의 측면에서, 임계치들은 경험적으로 판정된다.
엘리먼트(1145-1149)는 좌측 채널에 대해 상술한 것에 대해 기능하고 또한 프로세스(1200)를 구현한다. 따라서, 엘리먼트(1145-1149)의 구현은 상술한 설명에 직접적으로 후속한다.
이러한 처리는 각각의 캡처된 프레임의 쌍에 대해 계속한다. 다양한 대안이 가시성 및 형광 이미지의 디스플레이를 위해 필요한 프레임 속도를 제공하기 위해 인위적인 이미지를 생성하는 데에 사용될 수 있다. 예를 들면, 이미지는 단순히 반복될 수 있다. 대안으로, 다중 프레임이 처리되면, 필요할 때 형광 이미지 및/또는 가시성 이미지에 대해 인위적인 프레임을 생성하기 위해 보간법이 사용될 수 있다.
시분할-가시성 컬러 컴포넌트와 조합된 형광 이미지를 캡처하는 카메라 유 닛을 가진 단일한 입체 광학 경로-확대 입체 디스플레이 시스템(140F)
하나의 측면에서, 확대 입체 비디오 출력 디스플레이가 다양한 모드로 동작된다. 예를 들면, 제 1 모드에서, 입체 가시성 이미지만이 da Vinci® Surgical System에서와 같이, 외과의로 출력된다. 제 2 모드에서, 형광 이미지가 확대 이미지를 생성하기 위해 가시성 이미지 상에 중첩되고, 입체 확대 이미지가 외과의로 출력된다.
비디오 출력은 예를 들면 풋 스위치, 수술 기기를 제어하는 마스터 그립의 더블클릭, 음성 제어, 기타 스위칭 방법을 이용하여 이들 모드 사이에서 토글링된다. 2개 모드 사이의 스위칭을 위한 토글링이, 브렌드 회로(1151, 1152)로 제공되는 신호를 생성하는 디스플레이 모드 선택(1160)으로서 도 11a에 표시되고, 이는 다른 브렌드 회로에 대해 상술한 것과 동일한 방식으로 기능한다.
입체 디스플레이에서 형광 이미지를 개선하는 상술한 기술은 본 실시예에도 또한 적용가능하다.
변형된 카메라 유닛을 가진 단일한 입체 광학 경로
또다른 측면에서, 가시성 및 형광 이미지가 동일한 입체 광학 경로를 통해 캡처되지만, 형광 이미지 캡처는 가시성 컬러 컴포넌트 중 하나를 가지고 다시 캡처된다. 본 측면에서, 동일한 카메라 유닛이 가시성 및 형광 입체 이미지 모두에 대한 데이터를 캡처하지만, 하기에 보다 완전히 설명되는 바와 같이, 프리즘이 형광 이미지를 가시성 컬러 컴포넌트 중 하나와 조합한다.
예를 들면, 도 13a의 실시예에서, 로봇 수술 시스템(도시되지 않음)은 조직(1303)으로부터의 광을 확대 입체 비전 시스템(1300)으로 전달하는 단일한 입체 광학 경로를 포함한다. 단일한 입체 광학 경로로부터의 광은 로봇 수술 시스템을 동작시키는 외과의에 대해 조직(1303)의 실시간 입체 비디오 디스플레이를 생성하기 위해 사용된다. 입체 비디오 디스플레이는 조직(1303)의 병든 부분과 같은 조직(1303)에서의 관심 영역 및/또는 신경 또는 기관과 같은 다른 관심영역의 조직을 강조하기 위한 대안의 이미지를 가진 조직(1303)의 3차원 도면을 포함한다.
본 예시에서, 단일한 내시경(1301)은 조직(1303)으로부터 하드웨어(1320)로 입체 광학 경로를 제공한다. 내시경(1301)은 입체 광학 경로를 보완하기 위한 2개의 광채널과 조직(1303)으로 광을 제공하기 위한 적어도 하나의 조명 채널을 포함한다. 도시되지 않았지만, 내시경(1301)이 로봇 수술 시스템에 의해 유지되고 이동된다. 예를 들면, 도 1을 참조하라.
본 예시에서, 확대 입체 비전 시스템(1300)은 조합 광원(1310), 하드웨어(1320), 및 적어도 하나의 컴퓨터 기반 방법(1390)을 포함한다. 도 13a에 도시된 바와 같이, 하드웨어(1320)의 일부가 이미지 캡처 시스템(120G)을 보완한다. 본 측면에서, 인텔리전트 이미지 처리 시스템은 사용되지 않는다. 그러나, 하드웨어(1320)의 또다른 일부와 적어도 하나의 컴퓨터 기반 방법(1390)은 확대 입체 디스플레이 시스템(140G)을 보완한다. 이미지 캡처 시스템(120G)내에서, 가시성 이미지를 처리하는 부분이 가시성 이미징 시스템을 보완하는 반면, 형광 이미지를 처리하는 부분은 대안의 이미징 시스템을 보완한다.
하나의 측면에서, 하드웨어(1320)는 변형된 카메라 유닛(731)(도 7b)과 같은 단일한 카메라 유닛을 포함한다. 카메라 유닛(731)은 내시경(1301)의 각각의 광학 경로에 대해 3칩 전하 결합소자(CCD) 센서를 포함한다.
하드웨어(1320)는 또한 하기에 보다 완전히 기술되는 기능을 수행하는 하드웨어 회로를 포함한다. 예를 들면, 복수의 컴퓨터 기반 방법(1390)은 컴퓨터 프로세서 상에서 실행하는 소프트웨어이다.
변형된 카메라 유닛을 가진 단일 입체 광학 경로-조명
광 파이버 번들(1314)로의 조합 광원(1310)은, 조합 광원(910) 및 광 파이버 번들(914)과 유사하다. 따라서, 이러한 조합 광원의 설명은 참조에 의해 본문에 통합된다. 그러나, 조합 광원(1310)에서 적어도 하나의 광원을 턴온 및 턴오프하는 제어 수단은 조합 광원(910)에서의 것과는 상이하다.
본 측면에서, 포켈스 셀(911)은 차례로 사용자 인터페이스(1393)로부터의 신호를 수신하는 광 컨트롤러(1335)로부터의 제어 신호를 수신한다. 외과의가 가시성만을 선택할 때, 레이저 빔이 포켈스 셀(911)에 의해 차단되고 백색광원(512A)으로부터의 광만이 광 파이버 케이블(1314)로 주입되도록 신호가 포켈스 셀(911)에 적용된다. 외과의가 가시성 플러스 형광 이미지를 선택할 때, 두개의 광원 모두가 광 파이버 케이블(1314)로 주입된 빔을 제공한다.
변형된 카메라 유닛을 가진 단일한 입체 광학 경로-이미지 캡처 시스 템(120G)
본 측면에서, 카메라 유닛은 각각의 광학 경로로부터의 광이 변형된 프리즘(1334, 1333)을 통과하도록 변형된다. 각각의 변형된 프리즘(1334, 1333)은 예를 들면 도 13b에 도시된 특성을 가진다.
변형된 프리즘(1334, 1333)은 광학 경로로부터의 가시성 플러스 형광 이미지를 일반적인 RGB 컴포넌트(1381, 1382, 1383)(컴포넌트의 컬러는 선으로 표시되며, 청색은 대쉬 선; 녹색은 실선; 적색은 점선으로 표시된다는 것에 유의하라.)로 분리한다. 그러나, 본 예시에서, 변형된 프리즘(1334, 1333)은 청색 컬러 컴포넌트(1381) 뿐만 아니라 적외선 영역 근방에 있는 제 2 청색 피크(1384)를 생성한다. 따라서, 형광 이미지는 근 적외선이며, 이러한 프리즘은 조합된 가시성 및 형광 이미지를 가시성 RGB 이미지 및 적외선 근방의 청색 형광 이미지로 분리한다. 변형된 프리즘(1334, 1333)은, 일반적으로 하나의 가시성 컬러 컴포넌트만을 통과시키는 프리즘의 일부가 가시성 컬러 컴포넌트와 컬러 컴포넌트로부터 분리 및 제거된 또다른 컴포넌트 모두를 통과시키도록 변형되는 것을 제외하고는, 종래 방식으로 만들어진다. 또다른 컴포넌트는 형광 이미지에 대응한다.
본 측면에서, 형광 파장에 따라, 이중 피크가 청색 컴포넌트에 대해 제공되지만, 프리즘은 컬러 컴포넌트 중 임의의 것에 대해 원하는 결과를 얻도록 변조될 수 있다. 본 측면에서, 청색 컬러 컴포넌트에 대한 CCD는 양 피크(1481, 1484) 모두를 축적하고, 그 광학 경로로부터의 형광 이미지와 조합된 광학 경로로부터의 가시성 청색 이미지를 캡처한다.
따라서, 도 13a에 도시된 바와 같이, 광원(512A)로부터의 빔과 광원(517)로부터의 빔 모두가 조직(1303)을 조광할 때, 좌측 CCD(1331A)에서의 적색 좌측 CCD는 가시성 적색 좌측 이미지(1336A)를 캡처하고; 좌측 CCD(1331A)에서의 녹색 좌측 CCD는 가시성 녹색 좌측 이미지(1336B)를 캡처하고; 좌측 CCD(1331A)에서의 청색 좌측 CCD는 형광 좌측 이미지(1336C)와 조합된 가시성 청색 좌측 이미지를 캡처한다. 유사하게, 우측 CCD(1331B)에서의 적색 우측 CCD는 가시성 적색 우측 이미지(1338A)를 캡처하고; 우측 CCD(1331B)에서의 녹색 우측 CCD는 가시성 녹색 우측 이미지(1338B)를 캡처하고; 우측 CCD(1331B)에서의 청색 우측 CCD는 형광 우측 이미지(1338C)와 조합된 가시성 청색 우측 이미지를 캡처한다.
레이저 빔은 광 파이버 번들(1314)에 주입되지 않고 광원(512A)로부터의 광만 주입될 때, 좌측 CCD(1331A)에서의 적색 좌측 CCD는 가시성 적색 좌측 이미지(1336A)를 캡처하고; 좌측 CCD(1331A)에서의 녹색 좌측 CCD는 가시성 녹색 좌측 이미지(1336B)를 캡처하고; 좌측 CCD(1331A)에서의 청색 좌측 CCD는 가시성 청색 좌측 이미지(1336C) 만을 캡처한다. 이는 형광 좌측 이미지는 항상 캡처되는 것이 아니기 때문에 "형광 좌측 이미지를 가지는 것이" 도 13a에서의 괄호에 넣어진 것이다. 유사하게, 우측 CCD(1331B)에서의 적색 우측 CCD는 가시성 적색 우측 이미지(1338A)를 캡처하고; 우측 CCD(1331B)에서의 녹색 우측 CCD는 가시성 녹색 우측 이미지(1338B)를 캡처하고; 우측 CCD(1331B)에서의 청색 우측 CCD는 가시성 청색 우측 이미지(1338C) 만을 캡처한다. 이는 형광 우측 이미지는 항상 캡처되는 것이 아니기 때문에 "형광 우측 이미지를 가지는 것이" 또한 도 13a에서의 괄호에 넣어진 것이다.
변형된 카메라 유닛을 가진 단일한 입체 광학 경로-확대 입체 디스플레이 시스템(140G)
하나의 측면에서, 확대 입체 비디오 출력 디스플레이는 다양한 모드에서 동작될 수 있다. 예를 들면, 제 1 모드에서, da Vinci® Surgical System에서처럼, 실시간 입체 가시성 이미지만이 외과의로 출력된다. 제 2 모드에서, 형광 이미지가 확대 이미지를 생성하기 위해 가시성 이미지 상에 중첩되고, 실시간 입체 확대 이미지가 외과의로 출력된다.
상술한 바와 같이, 비디오 출력은 예를 들면 풋 스위치, 수술 기기를 제어하는 마스터 그립의 더블 클릭, 음성 제어, 및 기타 유사한 스위칭 방법을 이용하여 이들 모드 사이에서 토글링된다. 2개의 모드 사이의 스위칭을 위한 토글링은 차례로 제어 신호를 상술한 광 컨트롤러(1335)로 제공하는 사용자 인터페이스(1393)로 제공되는 신호를 생성하는 디스플레이 모드 선택(1360)으로서 도 13a에 도시된다.
입체 디스플레이에서 형광 이미지를 개선시키기 위해 상술한 기술이 또한 본 실시예에 적용가능하다. 이러한 기술이 사용될 때, 인텔리전트 이미지 처리 시스템이 시스템(1300)에 포함된다.
추가로, 일부 측면에서, 형광 및 가시성 이미지를 가진 확대 디스플레이를 생성하는 또다른 디스플레이 모드가 구현될 수 있다. 이러한 디스플레이 모드는 지 1 모드의 변형 또는 완전히 상이한 디스플레이 모드가 될 수 있다. 어느 경우이건, 형광 이미지는 입체 디스플레이에서 점멸하고 연속하여 디스플레이 되지는 않는다. 이러한 피처는 예를 들면 원하는 점멸 속도가 얻어지도록 적절한 프레임을 시스템(140G)으로 제공하도록 인텔리전트 이미지 처리 시스템을 이용하여 구현될 수 있다. 대안으로, 조합 광원(1310)으로부터의 레이저 광은 디스플레이에서의 점멸을 제공하기 위해 변조될 수 있다.
하나의 측면에서, 방법(1400)(도 14)은 확대 입체 비전 시스템(1300)을 이용하여 구현된다. 조직 조광 프로세스(201E)에서, 조합 광원(1310)으로부터의 광이 조직(1303)을 조광한다.
조직(1303)으로부터의 광은 상술한 바와 같이 조직으로부터의 광의 사전 처리 프로세스(202E)에서 다양한 컴포넌트로 분리된다. 형광 이미지와 조합된 컴포넌트를 포함하는 다양한 컴포넌트가 입체 가시성 및 입체 형광 이미지 캡처 프로세스(203E)에서 캡처된다.
사용자 입력 프로세스(1420)로의 사용자 입력에 기초하여, 사용자 인터페이스(1393)에서의 디스플레이 모드 체크 동작(1408)은 조합 광원을 설정하고, 필요한 경우, 가시성 및 형광 이미지의 입체 디스플레이 프로세스(1410) 및 가시성 이미지 만의 입체 디스플레이 프로세스(1411) 중 하나를 수행한다. 프로세스(1410, 1411)는 조직의 입체 비디오 디스플레이 생성 프로세스(205E)에서, 확대 입체 비전 시스템(1300)에 대해 상술한 디스플레이를 생성한다.
시분할-단일한 CCD 카메라 유닛을 가진 단일한 입체 광학 경로
또다른 측면에서, 가시성 및 형광 이미지가 동일한 입체 광학 경로를 통해 캡처되지만, 이미지 캡처는 시분할 멀티플렉싱된다. 본 측면에서, 동일한 카메라 유닛이 가시성 이미지 및 형광 이미지의 컬러 컴포넌트 모두에 대한 데이터를 캡처하지만, 상이한 시간에 캡처한다. 이러한 시분할은 하기에 보다 완전히 기술되는 바와 같이, 회전 필터를 이용하여 필터링하는 캡처 동기화에 의해 구현된다.
예를 들면, 도 15의 실시예에서, 로봇 수술 시스템(도시되지 않음)은 조직(1503)으로부터의 광을 확대 입체 비전 시스템(1500)으로 전달하는 단일한 입체 광학 경로를 포함한다. 단일한 입체 광학 경로로부터의 광은 로봇 수술 시스템을 동작시키는 외과의에 대해 조직(1503)의 실시간 입체 비디오 디스플레이를 생성하기 위해 사용된다. 입체 비디오 디스플레이는 조직(1503)의 병든 부분과 같은 조직(1503)에서의 관심 영역 및/또는 신경 또는 기관과 같은 다른 관심영역의 조직을 강조하기 위한 대안의 이미지로 혼합된 조직(1503)의 3차원 도면을 포함한다.
본 예시에서, 확대 입체 비전 시스템(1500)은 조합 광원(1510), 하드웨어(1520), 및 적어도 하나의 컴퓨터 기반 방법(1590)을 포함한다. 도 15에 도시된 바와 같이, 하드웨어(1520)의 일부가 이미지 캡처 시스템(120H)을 보완한다. 하드웨어(1520)의 또다른 일부는 인텔리전트 이미지 처리 시스템(130H)을 보완한다. 그러나, 하드웨어(1520)의 또다른 일부와 컴퓨터 기반 방법(1590)에서의 사용자 인터페이스(1593)는 확대 입체 디스플레이 시스템(140H)을 보완한다. 이미지 캡처 시스템(120H) 및 인텔리전트 이미지 처리 시스템(130H)내에서, 가시성 이미지를 처리하는 부분이 가시성 이미징 시스템을 보완하는 반면, 형광 이미지를 처리하는 부분은 대안의 이미징 시스템을 보완한다.
하나의 측면에서, 하드웨어(1520)는 변형된 카메라 유닛(731)(도 7b)과 같은 단일한 카메라 유닛을 포함한다. 카메라 유닛(731)은 내시경(1501)의 각각의 광학 경로에 대해 3칩 전하 결합소자(CCD) 센서를 포함한다.
하드웨어(1520)는 또한 하기에 보다 완전히 기술되는 기능을 수행하는 하드웨어 회로를 포함한다. 예를 들면, 컴퓨터 기반 방법(1590)은 컴퓨터 프로세서 상에서 실행하는 소프트웨어이다.
시분할-단일한 CCD 카메라 유닛을 가진 단일 입체 광학 경로-조명
광 파이버 번들(1514)로의 조합 광원(1510)은, 조합 광원(310A)(도 3c)의 구현에 대해 상술한 다양한 측면과 함께, 조합 광원(510A,(도 5c), 510B,(도 5d), 510C,(도 5e)) 및 연관된 광 파이버 번들 중 임의의 것과 유사하다. 따라서, 이러한 조합 광원의 설명은 참조에 의해 본문에 통합된다.
시분할-단일한 CCD 카메라 유닛을 가진 단일한 입체 광학 경로-이미지 캡 처 시스템(120G)
본 측면에서, 조직(1503)은 백색광과 조합 광원(1510)으로부터의 레이저 광으로 조광된다. 좌우측 이미지에 대한 캡처 동작은 동일하다.
회전 필터(1532A)는 가시성 적색 필터; 가시성 녹색 필터; 가시성 청색 필터 및 형광 필터의 4개의 대역 통과 필터를 포함한다. 회전 필터(1532B)는 유사하게 구성되어있다. 회전 필터(1532A, 1532B)는 예를 들면, 내시경(1501)의 좌측 광학 경로로부터의 필터링된 광에 대해서는 좌측 CCD(1531A) 및 내시경(1501)의 우측 광학 경로로부터의 필터링된 광에 대해서는 우측 CCD(1533A)와 같이, 카메라 유닛의 단일한 CCD에서의 이미지의 캡처와 결합된다.
시간 t에서, 회전 필터(1532A)는 적색 필터로 내시경(1501)의 좌측 광학 경로로부터의 광을 필터링하고, 좌측 CCD(1531A)는 시간 t에서 적색 좌측 이미지(1534L)를 캡처한다. 시간 (t+1)에서, 회전 필터(1532A)는 녹색 필터로 내시경(1501)의 좌측 광학 경로로부터의 광을 필터링하고, 좌측 CCD(1531A)는 시간 (t+1)에서 녹색 좌측 이미지(1535L)를 캡처한다. 시간 (t+2)에서, 회전 필터(1532A)는 청색 필터로 내시경(1501)의 좌측 광학 경로로부터의 광을 필터링하고, 좌측 CCD(1531A)는 시간 (t+2)에서 청색 좌측 이미지(1536L)를 캡처한다. 시간 (t+3)에서, 회전 필터(1532A)는 형광 필터로 내시경(1501)의 좌측 광학 경로로부터의 광을 필터링하고, 좌측 CCD(1531A)는 시간 (t+3)에서 형광 좌측 이미지(1537L)를 캡처한다.
시간 t에서, 회전 필터(1532B)는 적색 필터로 내시경(1501)의 우측 광학 경로로부터의 광을 필터링하고, 우측 CCD(1533A)는 시간 t에서 적색 우측 이미지(1534R)를 캡처한다. 시간 (t+1)에서, 회전 필터(1532A)는 녹색 필터로 내시경(1501)의 우측 광학 경로로부터의 광을 필터링하고, 우측 CCD(1533A)는 시간 (t+1)에서 녹색 좌측 이미지(1535R)를 캡처한다. 시간 (t+2)에서, 회전 필터(1532B)는 청색 필터로 내시경(1501)의 우측 광학 경로로부터의 광을 필터링하고, 우측 CCD(1533A)는 시간 (t+2)에서 청색 우측 이미지(1536R)를 캡처한다. 시간 (t+3)에서, 회전 필터(1532B)는 형광 필터로 내시경(1501)의 우측 광학 경로로부터의 광을 필터링하고, 우측 CCD(1533A)는 시간 (t+3)에서 형광 좌측 이미지(1537R)를 캡처한다.
본 측면에서, 캡처 프로세스는 시간 (t+4)에 대해 시작한다. 도 15의 예에서, 4개의 프레임이 CCD 센서에 의해 캡처되는 것으로 도시된다. 이는 예시의 편의를 위한 것일 뿐, 한정을 의도하는 것은 아니다. 공지된 바와 같이, 프레임의 캡처전에, CCD 센서에서 미리 캡처된 프레임이 예를 들면 하기에 보다 완전히 기술되는 처리를 위해 버퍼로 이동될 수 있다.
본 예시에서, 조합 광원에서의 2개의 광원이 연속하여 온으로 유지된다. 또다른 측면에서, 백색 광원은 시간 t, (t+1), (t+2)에서는 캡처에 대해 온으로 유지되고, 시간 (t+3)에서의 캡처 전에 턴오프된다. 시간 (t+3)에서의 캡처에 대해, 레이저가 턴온된다. 본 측면에서, 형광 필터는 사용되지 않는다.
시분할-단일한 CCD 카메라 유닛을 가진 단일한 입체 광학 경로- 인텔리전트 이미지 처리 시스템(130H)
형광 및 가시성 컴포넌트가 상이한 시간 인스턴스에서 캡처되기 때문에, 가시성 좌측 이미지 컬렉터(1541)가 언제 가시성 좌측 이미지 데이터 중 3개의 새로운 프레임이 가용하고 가시성 이미지 프레임으로서 이들 3개의 프레임을 브렌드 회로(1551)로 제공하는 지를 판정한다. 유사하게, 형광 좌측 이미지 컬렉터(1543)가 언제 형광 좌측 이미지 데이터 중 새로운 프레임이 가용하고 그 프레임을 형광 이미지로서 브렌드 회로(1551)로 제공하는 지를 판정한다. 컬렉터(1542)와 컬렉터(1544)는 우측 이미지에 대해 유사하게 동작하고 데이터를 브렌드 회로(1552)로 제공한다.
하나의 측면에서, 캡처 프레임 속도는 정상 비디오 디스플레이 속도의 4배이고, 비디오 디스플레이는 초당 정상수(normal number)의 프레임을 가진다. 그러나, 이러한 측면은 다양한 프레임 속도를 가지고 사용될 수 있다. 예를 들면, 형광 캡처 프레임 속도는 가시성 이미지 캡처 프레임 속도의 분수가 될 수 있다. 형광 프레임이 캡처된 모든 RGB 프레임에 대해 캡처되지 않을 때, 도 9a의 피처가 예를 들면 데이터를 처리하고 인위적인 형광 프레임을 생성하기 위해 사용될 수 있다.
시분할-단일한 CCD 카메라 유닛을 가진 단일한 입체 광학 경로-확대 입체 디스플레이 시스템(140H)
하나의 측면에서, 확대 입체 비디오 출력 디스플레이는 다양한 모드에서 동작될 수 있다. 디스플레이 모드 선택(1560), 사용자 인터페이스(1593), 및 브렌드 회로(1551, 1552)와의 상호작용의 동작은 디스플레이 모드 선택(360), 사용자 인터페이스(393), 및 브렌드 회로(351, 352)와의 상호작용에 대한 상기 설명과 동일하고, 그 설명은 참조에 의해 본문에 통합된다.
확대 디스플레이에서 형광 이미지를 개선시키기 위해 상술한 기술이 또한 본 실시예에 적용가능하다.
상술한 모든 측면에서, 형광 면적은 이미지로부터 추출되고 의사-컬러링으로 식별될 수 있다. 또한, 선택된 임계값 미만의 노이즈를 제거하기 위한 이미지 처리가 이미지 품질을 개선하기 위해 수행될 수 있다.
하나의 실시예에서, CCD 카메라로부터의 IR 필터는 형광 이미지 캡처 개선을 위해 적색 및 근 적외선 파장에 대한 감도를 증가시키기 위해 제거된다.
상술한 가시성 및 형광 이미지에 대한 임의의 다양한 비디오 캡처 측면에서, 프레임 속도는 이미지 캡처를 개선하기 위해 변경될 수 있다. 가시성 이미지는 외과의가 외과의의 콘솔에서 입체 비디오 출력으로 조직과 최소 침습 수술 도구를 보도록하는 수용가능한 이미지를 제공하기 위해 표준 비디오 프레임 속도(예를 들면, 30Hz)로 캡처된다. 형광 이미지에 대한 프레임 속도는 가시성 이미지에 대해 사용되는 것과 동일한 프레임 속도이거나, 또는 상술한 프로세스들을 이용하여 느려질 수 있다(예를 들면, 8Hz). 사용되는 광학 경로와 카메라 유닛에 따라, 상술한 프로세스의 다양한 조합이 가시성 또는 형광 중 하나인, 임의의 누락된 프레임을 생성하기 위해 사용될 수 있다.
일부 예에서, 느린 프레임 속도는 약하게 발광하는 영역에서의 중요한 이미지 정보를 캡처하기 위해 중요하다. 느린 프레임 속도는 형광 이미지를 캡처하는 카메라/칩으로 하여금 관심 조직에서의 여기된 형광체로부터의 형광 에너지를 수신하는 더 많은 시간을 허용한다. 로봇 수술 시스템에 의해 제공되는 이동가능하지만 정지한 내시경 카메라 플랫폼은 일부 형광 이미지에 필요한 느린 프레임 속도의 캡처에 대해 현저한 효익을 가진다. 반대로, 핸드-헬드 내시경은 흐릿하게 되는 느린 프레임 속도의 이미지를 산출한다.
일부 측면에서, 상이한 프레임 속도에서 캡처된 가시성 이미지 및 형광 이미지는 인위적 형광 프레임을 생성함으로써 상술한 것과 동일한 방식으로 동기화된다. da Vinci® Surgical System 플랫폼에 의해 고정되게 유지되는 내시경 카메라와 같은, 고정된 카메라의 경우에, 호흡에 의한 움직임과 같은, 상대적으로 작은 움직임 만 카메라와 조직 사이에 발생한다. 이러한 작은 움직임에 대해, 캡처된 형광 이미지에서의 선명하지 못함은 다수의 상황에서 무시될 수 있다. da Vinci® Surgical System 내시경 카메라가 로봇 카메라 머니퓰레이터 암에 의해 이동될 때와 같은, 이동 카메라의 경우에, 움직임으로 인한 흐릿한 형광 이미지가 뿌옇게 되지 않도록 가시성 이미지의 임시 등록이 먼저 수행된다. 그런다음, 형광 이미지가 상술한 바와 같이 이미지 동기화를 위해 생성될 수 있다.
상술한 바와 같이, 형광 이미지는 의학적 관심 대상인 조직을 나타내기 때문에, 형광 이미지는 외과의의 비디오 디스플레이 프리젠테이션을 개선하기 위해 처리될 수 있다. 이러한 처리는 인위적인 형광 이미지를 산출한다. 예를 들면, 형광 이미지에서의 형광 영역은 공지된 방법을 이용하여 인위적으로 채색된다(의사-컬러링). 인위적 형광 이미지가 가시성 비디오 이미지와 혼합될 때, 외과의는 그런다음 가시성 이미지에서의 주변 조직에 대해 고 컨트라스트로 형광 조직(예를 들면, 밝은 녹색으로 된)을 본다. 알파 혼합과 같은, 의사 컬러의 형광 이미지 및 가시성 이미지의 상이한 이미지 혼합 옵션이 가용하게 될 수 있다.
상술한 측면에 따라, 당업자는 이미지 센서들이 환자의 외부 또는 내시경의 인접단부에 배치되거나, 또는 그것들이 조직에 인접한 내시경의 최단부에 배치될 수 있다는 것을 이해할 것이다. 좌우측 입체 이미지는 개별 칩 또는 카메라에 의해 캡처될 수 있거나 또는, 그것들은 단일한 카메라에서 단일 칩의 상이한 영역에 의해 캡처될 수 있다.
대안의 이미징이 형광에 대해 기술되었지만, 다른 이미징 모달리티가 포함될 수 있다. 일부 측면에서, 가시성 이미지 및 대안의 이미지가 2차원(단일 채널; 모노스코프) 이미지 캡처 및 디스플레이 시스템에서 혼합될 수 있다.
수술 로봇 시스템에서 실시간으로 가시성 및 형광 이미지 모두를 무결절로 혼합하는 것은 외과의에게 현저한 절차상 이점을 제공하고, 환자에게는 현저한 수술의 이점을 제공한다. 수술하는 동안 관심의 형광 조직을 외과의가 볼수 있도록 하는 것은 병든 조직을 식별하고 제거하며, 보존되어야할 건강한 조직을 식별하는 데에 있어서의 정확성과 완전성 모두를 개선시킨다. 예를 들면, 전립선 수술동안, 병든 전립선 중 일부 또는 전부가 제거되지만, 발기부전 및/또는 요실금을 일으키는 것을 방지하기 위해 인접한 신경을 보존하는 것이 필요하다.
(발명의 측면)
(01700으로부터)
수술 로봇용 확대 입체 가시영상에 연관된 측면은 하기를 포함하지만, 그에 한정되는 것은 아니다:
1. 로봇 수술 시스템의 로봇 머니퓰레이터 암에 의해 유지되고 포지셔닝되는 내시경;
상기 내시경에 결합되는 가시성 이미징 시스템으로서, 조직의 가시성 이미지를 캡처하는 가시성 이미징 시스템;
상기 내시경에 결합된 대안의 이미징 시스템으로서, 조직의 적어도 일부의 형광 이미지를 캡처하는 대안의 이미징 시스템; 및
상기 가시성 이미징 시스템과 상기 대안의 이미징 시스템에 결합된 입체 비디오 디스플레이 시스템;을 포함하고,
상기 입체 비디오 디스플레이 시스템은 캡처된 형광 이미지 및 가시성 이미지에 연관된 또다른 형광 이미지의 3차원 혼합을 구비하는 실시간 입체 이미지를 출력하는 것을 특징으로 하는 로봇 수술 시스템.
2. 제 1항의 측면에 있어서,
조합광원으로서,
제 1광원; 및
형광을 발광하는 제 2 광원;
을 구비하는 조합광원; 및
상기 조합 광원 및 내시경에 연결되어 상기 조합광원으로부터의 광을 상기 내시경으로 제공하는 적어도 하나의 광 파이버 번들;을 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
3. 제 2 항의 측면에 있어서, 상기 제 2 광원은 적어도 하나의 광 파이버 번들이 상기 내시경과 조합 광원에 연결되어있는 동안 상이한 광원으로 변경될 수 있는 것을 특징으로 하는 로봇 수술 시스템.
4. 제 1항의 측면에 있어서, 상기 대안의 이미징 시스템은:
인텔리전트 이미지 처리 시스템의 적어도 일부를 포함하고,
상기 인텔리전트 이미지 처리 시스템의 적어도 일부는 입체쌍의 형광 이미지를 생성하기 위해 상기 형광이미지에 연관된 정보를 이용하고, 이는 또다른 형광 이미지인 것을 특징으로 하는 로봇 수술 시스템.
5. 제 1항의 측면에 있어서, 상기 가시성 이미징 시스템은:
인텔리전트 이미지 처리 시스템의 적어도 일부를 포함하고,
상기 인텔리전트 이미지 처리 시스템의 적어도 일부는 제 2 가시성 이미지를 생성하기 위해 상기 가시성 이미지에 연관된 정보를 이용하고, 상기 가시성 이미지와 제 2 가시성 이미지는 입체 쌍의 가시성 이미지를 포함하는 것을 특징으로 하는 로봇 수술 시스템.
6. 제 5항의 측면에 있어서, 상기 대안의 이미징 시스템은:
인텔리전트 이미지 처리 시스템의 또다른 부분을 포함하고, 상기 인텔리전트 이미지 처리 시스템의 또다른 부분은 제 2 형광 이미지를 생성하기 위해 상기 형광 이미지에 연관된 정보를 이용하고, 상기 제 2 형광 이미지는 또다른 형광 이미지인 것을 특징으로 하는 로봇 수술 시스템.
7. 제 1 항의 측면에 있어서, 상기 입체 비디오 디스플레이는 복수의 모드를 구비하는 입체 디스플레이 모드 선택기를 더 포함하고, 상기 복수의 모드는:
제 1 모드의 선택시, 상기 입체 비디오 디스플레이 시스템이 상기 가시성 이미지와 또다른 형광 이미지의 실시간 3차원 혼합을 출력하는 제 1 모드; 및
제 2 모드의 선택시, 상기 입체 비디오 디스플레이 시스템이 실시간 3차원 가시성 이미지만을 출력하는 제 2 모드;를 포함하는 것을 특징으로 하는 로봇 수술 시스템.
8. 제 1 항의 측면에 있어서, 상기 가시성 이미지와 또다른 형광 이미지의 실시간 3차원 혼합은 입체 이미지의 한쪽 눈에서만 제시되는 것을 특징으로 하는 로봇 수술 시스템.
9. 제 1 항의 측면에 있어서,
상기 가시성 이미징 시스템은 제 1 프레임 속도로 가시성 이미지를 캡처하고; 및
상기 대안의 이미징 시스템은 제 2 프레임 속도로 형광 이미지를 캡처하고, 상기 제 1 프레임 속도는 상기 제 2 프레임 속도와 상이한 것을 특징으로 하는 로봇 수술 시스템.
*10. 제 9 항의 측면에 있어서, 상기 대안의 이미징 시스템은 제 1 프레임 속도로 형광 이미지를 입체 비디오 디스플레이 시스템으로 제공하고, 상기 대안의 이미징 시스템은 상기 형광 이미지를 가시성 이미지와 동기화시키기 위해 인위적인 형광 이미지를 생성하는 것을 특징으로 하는 로봇 수술 시스템.
11. 로봇 수술 시스템의 로봇 머니퓰레이터 암에 의해 유지되고 포지셔닝되는 내시경으로부터 조직의 가시성 이미지를 캡처하는 단계;
내시경으로부터, 형광 이미지를 포함하는 상기 조직의 적어도 일부의 대안의 이미지를 캡처하는 단계; 및
실시간 입체 비디오 디스플레이에서의 캡처된 형광 이미지 및 가시성 이미지에 연관된 또다른 형광 이미지의 혼합을 로봇 수술 시스템을 동작시키는 사람에게 출력하는 단계;를 포함하는 것을 특징으로 하는 방법.
12. 제 11 항의 측면에 있어서, 조합 광원으로부터의 광을 내시경으로 제공하기 위해 상기 내시경에 조합 광원을 결합시키는 단계;를 더 포함하는 것을 특징으로 하는 방법.
13. 제 12항의 측면에 있어서, 상기 조합 광원이 상기 내시경에 결합상태를 유지하는 동안 상기 조합 광원에서의 광원을 상이한 광원으로 변경시키는 단계를 더 포함하는 것을 특징으로 하는 방법.
14. 제 11항의 측면에 있어서, 또다른 형광 이미지인, 입체 쌍의 형광 이미지를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
15. 제 11 항의 측면에 있어서, 상기 가시성 이미지에 연관된 정보를 이용하여 제 2 가시성 이미지를 생성하는 단계;를 더 포함하고, 상기 가시성 이미지와 제 2 가시성 이미지는 입체쌍의 가시성 이미지를 포함하는 것을 특징으로 하는 방법.
16. 제 15 항의 측면에 있어서, 상기 형광 이미지에 연관된 정보를 이용하여 제 2 형광 이미지를 생성하는 단계;를 더 포함하고, 상기 제 2 형광 이미지는 또다른 형광 이미지인 것을 특징으로 하는 방법.
17. 제 11 항의 측면에 있어서,
제 1 디스플레이 모드를 선택하는 외과의에 대해 실시간 입체 비디오 디스플레이로 가시성 이미지와 형광 이미지의 혼합 출력을 수행하는 단계; 및
제 2 디스플레이 모드를 선택하는 외과의에 대해, 실시간 입체 비디오 디스플레이에서 가시성 이미지만을 출력하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
18. 제 11 항의 측면에 있어서, 상기 로봇 수술 시스템을 동작시키는 사람에게 실시간 입체 비디오 디스플레이에서 캡처된 형광 이미지와 가시성 이미지에 연관된 또다른 형광 이미지의 혼합을 출력하는 단계는 실시간 입체 비디오 디스플레이의 한쪽 눈에서만 상기 가시성 이미지와 또다른 형광 이미지의 혼합을 출력하는 단계를 더 포함하는 것을 특징으로 하는 방법.
19. 제 11 항의 측면에 있어서,
상기 조직의 가시성 이미지를 캡처하는 단계는 제 1 프레임 속도로 상기 가시성 이미지를 캡처하는 단계를 더 포함하고; 및
상기 조직의 적어도 일부의 대안의 이미지를 캡처하는 단계는 제 2 프레임 속도로 상기 대안의 이미지를 캡처하는 단계를 더 포함하고, 상기 제 1 프레임 속도는 상기 제 2 프레임 속도와 상이한 것을 특징으로 하는 방법.
20. 제 19 항의 측면에 있어서, 상기 형광 이미지를 상기 가시성 이미지와 동기화시키기 위해 인위적인 형광 이미지를 생성하는 단계를 더 포함하는 것을 특징으로 하는 방법.
(01701으로부터)
캡처된 형광 이미지 및 캡처된 입체 가시성 이미지를 이용하는 수술 로봇용 확대 입체 가시영상에 연관된 측면은 하기를 포함하지만, 그에 한정되는 것은 아니다:
1. 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 조명 채널로서, 상기 조명 채널로부터의 광이 조직을 조광하는 조명 채널;
상기 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 조직으로부터의 제 1 광을 전달하기 위한 입체 광학 채널;
상기 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 조직으로부터의 제 2 광을 전달하기 위한 또다른 광학 채널로서, 상기 입체 광학 채널은 상기 또다른 광학 채널과는 상이한 광학 채널;
이미지 캡처 시스템;
인텔리전트 이미지 처리 시스템; 및
확대 입체 디스플레이 시스템;을 포함하고,
상기 이미지 캡처 시스템은,
상기 입체 광학 채널에 결합되고, 상기 제 1 광으로부터의 입체 가시성 이미지를 캡처하는 제1 캡처 유닛, 및
상기 또다른 광학 채널에 결합되고, 상기 제 2 광으로부터의 형광 이미지를 캡처하는 제 2 캡처 유닛,을 포함하고,
상기 인텔리전트 이미지 처리 시스템은, 입체 가시성 이미지와 형광 이미지를 수신하기 위해 상기 제 1 캡처 유닛과 상기 제 2 캡처유닛에 결합되고, 입체쌍의 형광 이미지를 생성하고,
상기 확대 입체 디스플레이 시스템은, 상기 인텔리전트 이미지 처리 시스템과 이미지 캡처 시스템에 결합되고, 상기 확대 입체 디스플레이 시스템은 입체 가시성 이미지와 입체 쌍의 형광 이미지의 3차원 혼합을 구비하는 실시간 입체 이미지를 출력하는 것을 특징으로 하는 로봇 수술 시스템.
2. 제 1 항의 측면에 있어서, 상기 조명 채널과 입체 광학 채널은 제 1 내시경에 있고, 상기 또다른 광학 채널은 상기 제 1 내시경과 상이한 제 2 내시경에 있는 것을 특징으로 하는 로봇 수술 시스템.
3. 제 2 항의 측면에 있어서, 상기 제 2 내시경에 또다른 조명 채널을 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
4. 제 1 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은:
단일 스텝 조정을 더 포함하고, 상기 단일 스텝 조정은 입체 광학 채널과 또다른 광학 채널로부터의 이미지를 정렬하도록 하기 위해 필요한 변위를 판정하는 것을 특징으로 하는 로봇 수술 시스템.
5. 제 1 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은:
입체 가시성 이미지에서의 가시성 좌측 이미지로 형광 이미지를 등록하고, 입체 가시성 이미지에서의 가시성 우측 이미지로 형광 이미지를 등록하기 위한 공간 이미지 등록;을 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
6. 제 1 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은:
입체쌍의 형광 이미지로 형광 이미지를 변환하기 위한 이미지 와퍼;를 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
7. 제 1 항의 측면에 있어서, 상기 확대 입체 디스플레이 시스템은:
입체 쌍의 형광 이미지에서의 형광 좌측 이미지, 및 입체 가시성 이미지의 가시성 좌측 이미지로 결합된 제 1 브렌드 회로; 및
입체 쌍의 형광 이미지에서의 형광 우측 이미지, 및 입체 가시성 이미지의 가시성 우측 이미지로 결합된 제 2 브렌드 회로; 및
제 1 브렌드 회로와 제 2 브렌드 회로에 결합된 입체 디스플레이;를 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
8. 제 7 항에 있어서, 상기 확대 입체 디스플레이 시스템은:
상기 제 1 및 제 2 브렌드 회로에 결합되고, 복수의 선택가능한 모드를 구비한 디스플레이 모드 선택;을 더 포함하고,
제 1 모드 선택시, 입체 디스플레이는 입체 가시성 이미지의 실시간 3차원 혼합과 입체쌍의 형광 이미지를 제공하고; 및
제 2 모드의 선택시, 입체 디스플레이는 실시간 입체 가시성 이미지만을 제공하는 것을 특징으로 하는 로봇 수술 시스템.
9. 제 1 항의 측면에 있어서, 조명 경로에 결합된 조합 광원을 더 포함하고, 상기 조합 광원은:
제 1 조명광을 제공하는 제 1 광원; 및
상기 제 1 조명광과 상이한 제 2 조명광을 제공하는 제 2 광원;을 포함하는 것을 특징으로 하는 로봇 수술 시스템.
10. 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 조명 채널로서, 상기 조명 채널로부터의 광이 조직을 조광하는 조명 채널;
상기 로봇 수술 시스템에 의해 유지되고 포지셔닝되는, 조직으로부터의 제 1 광을 전달하기 위한 입체 광학 채널;
상기 로봇 수술 시스템에 의해 유지되고 포지셔닝되는, 조직으로부터의 제 2 광을 전달하기 위한 상기 입체 광학 채널과는 상이한 또다른 광학 채널;
상기 조명 경로에 결합되는 조합 광원;
이미지 캡처 시스템;
인텔리전트 이미지 처리 시스템; 및
확대 입체 디스플레이 시스템;을 포함하고,
상기 조합 광원은,
제 1 조명광을 제공하기 위한 제 1 광원, 및
상기 제 1 조명광과 상이한 제 2 조명광을 제공하기 위한 제 2 광원,을 포함하고,
상기 이미지 캡처 시스템은,
상기 입체 광학 채널에 결합되고, 상기 제 1 광으로부터의 입체 가시성 이미지를 캡처하는 제1 캡처 유닛, 및
상기 또다른 광학 채널에 결합되고, 상기 제 2 광으로부터의 형광 이미지를 캡처하는 제 2 캡처 유닛,을 포함하고,
입체 가시성 이미지와 형광 이미지를 수신하기 위해 상기 제 1 캡처 유닛과 상기 제 2 캡처 유닛에 결합되는, 상기 인텔리전트 이미지 처리 시스템은,
입체 광학 채널 및 또다른 광학 채널로부터의 이미지를 정렬로 가져가는 데에 필요한 변위를 판정하는, 단일-스텝 조정, 및
상기 단일-스텝 조정에 결합되고, 입체 가시성 이미지에서의 가시성 좌측 이미지와 입체 가시성 이미지에서의 가시성 우측 이미지로 형광 이미지를 등록하는 공간 이미지 등록; 및
상기 공간 이미지 등록과 형광 이미지에 결합되고, 상기 형광 이미지를 입체 쌍의 형광 이미지로 변환하기 위한 이미지 와퍼를 포함하고,
상기 인텔리전트 이미지 처리 시스템과 이미지 캡처 시스템에 결합되고, 입체 가시성 이미지와 입체 쌍의 형광 이미지의 3차원 혼합을 구비하는 실시간 입체 이미지를 출력하는 상기 확대 입체 디스플레이 시스템은,
입체 쌍의 형광 이미지에서의 형광 좌측 이미지와 입체 가시성 이미지의 가시성 좌측 이미지에 결합된 제 1 브렌드 회로;
입체 쌍의 형광 이미지에서의 형광 우측 이미지와 입체 가시성 이미지의 가시성 우측 이미지에 결합된 제 2 브렌드 회로;
상기 제 1 브렌드 회로 및 제 2 브렌드 회로에 결합된 입체 디스플레이; 및
복수의 선택가능한 모드를 구비한, 상기 제 1 및 제 2 브렌드 회로에 결합된 디스플레이 모드 선택부;를 구비하고,
제 1 모드의 선택시, 상기 입체 디스플레이는 입체 가시성 이미지 및 입체 쌍의 형광 이미지의 실시간 3차원 혼합을 제공하고,
제 2 모드 선택시, 상기 입체 디스플레이는 실시간 입체 가시성 이미지 만을 제공하는 것을 특징으로 하는 로봇 수술 시스템.
11. 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 입체 광학 경로로부터 조직의 입체 가시성 이미지를 캡처하는 단계;
상기 입체 광학 채널과 상이하고, 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 또다른 광학 채널로부터 조직의 형광 이미지를 캡처하는 단계;
입체 쌍의 형광 이미지를 생성하기 위해 입체 가시성 이미지로부터의 정보를 이용하여 형광 이미지를 처리하는 단계; 및
입체 가시성 이미지와 입체 쌍의 형광 이미지의 3차원 혼합을 구비하는 조직의 실시간 확대 입체 이미지를 생성하는 단계;를 포함하는 것을 특징으로 하는 방법.
12. 제 11 항의 측면에 있어서, 상기 조명 채널과 입체 광학 채널은 제 1 내시경에 있고, 상기 또다른 광학 채널은 제 1 내시경과 상이한 제 2 내시경에 있는 것을 특징으로 하는 방법.
13. 제 11 항의 측면에 있어서, 상기 형광 이미지 처리단계는:
상기 입체 광학 채널과 상기 또다른 광학 채널로부터의 이미지를 정렬로 가져가는 데에 필요한 변위를 판정하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
14. 제 11 항의 측면에 있어서, 상기 형광 이미지 처리단계는:
상기 입체 가시성 이미지에서의 가시성 좌측 이미지와 상기 입체 가시성 이미지에서의 가시성 우측 이미지로 형광 이미지를 공간적으로 등록하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
15. 제 11 항의 측면에 있어서, 상기 형광 이미지 처리 단계는:
상기 형광 이미지를 이미지 와퍼를 이용하여 입체 쌍의 형광 이미지로 변환하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
16. 제 1 항의 측면에 있어서, 실시간 확대 입체 이미지를 생성하는 단계는:
입체쌍의 형광 이미지에서의 형광 좌측 이미지와 입체 가시성 이미지의 가시성 좌측 이미지를 혼합하는 단계; 및
입체쌍의 형광 이미지에서의 형광 우측 이미지와 입체 가시성 이미지의 가시성 우측 이미지를 혼합하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
17. 제 11 항의 측면에 있어서,
외과의가 제 1 디스플레이 모드를 선택할 때, 입체 가시성 이미지와 입체쌍의 형광 이미지의 3차원 혼합을 구비하는 조직의 실시간 확대 입체 이미지 생성을 수행하는 단계; 및
외과의가 제 2 디스플레이 모드를 선택할 때, 입체 가시성 이미지만을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
18. 제12 항의 측면에 있어서, 조합 광원으로부터의 광을 내시경으로 제공하기 위해 조합 광원을 제 1 내시경에 결합하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
19. 제 12 항의 측면에 있어서,
조합 광원에서의 제 1 광원으로부터의 광을 제 1 내시경에서의 조명 경로에 결합하는 단계; 및
조합 광원에서의 제 2 광원으로부터의 광을 제 2 내시경에서의 조명 경로에 결합하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
(01702로부터)
형광 이미지와 조합된 캡처된 가시성 이미지와 캡처된 가시성 이미지를 이용하는 수술 로봇요 확대 입체 가시영상에 연관된 측면은 하기를 포함하지만, 그에 한정된 것은 아니다:
1. 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 내시경으로서,
조직으로부터의 광을 전달하는 입체 광학 채널;
상기 입체 광학 채널에 결합되는 캡처 유닛으로서, 상기 캡처 유닛은 (1) 가시성 제 1 이미지 및 (2) 상기 광으로부터의 형광 제 2 이미지와 조합된 가시성 제 2 이미지를 캡처하고, 상기 제 1 이미지는 좌측 이미지 및 우측 이미지 중 하나이고, 상기 제 2 이미지는 좌측 이미지 및 우측 이미지 중 다른 하나인, 캡처 유닛;
을 포함하는 내시경;
(1) 가시성 제 1 이미지와 (2) 형광 제 2 이미지와 조합된 상기 가시성 제 2 이미지를 수신하도록 캡처 유닛에 결합된 인텔리전트 이미지 처리 시스템으로서, 입체 쌍의 형광 이미지 중 적어도 하나의 형광 이미지와 가시성 제 2 이미지를 생성하는 인텔리전트 이미지 처리 시스템; 및
상기 인텔리전트 이미지 처리 시스템과 상기 이미지 캡처 시스템에 결합되고, 하나의 눈에서는 입체 쌍의 형광 이미지 중 적어도 하나의 형광 이미지와 가시성 제 1 및 제 2 이미지 중 하나의 혼합을; 그리고 다른 눈에서는, 상기 가시성 제 1 및 제 2 이미지 중 다른 하나를 구비하는 3차원 프리젠테이션을 포함하는 실시간 입체 이미지를 출력하는 확대 입체 디스플레이 시스템;을 포함하는 것을 특징으로 하는 로봇 수술 시스템.
2. 제 2 항의 측면에 있어서, 상기 내시경은 조명 채널을 더 포함하고, 상기 로봇 수술 시스템은 상기 조명 채널에 결합된 조합광원을 더 포함하고, 상기 조합 광원은:
제 1 조명광을 제공하는 제 1 광원; 및
상기 제 1 조명광과 상이한 제 2 조명광을 제공하는 제 2 광원;을 구비하는 것을 특징으로 하는 로봇 수술 시스템.
3. 제 2 항의 측면에 있어서, 조명 채널을 조합 광원에 연결하는 광 파이버 번들;을 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
4. 제 3 항의 측면에 있어서, 적어도 하나의 광 파이버 번들이 상기 조명 채널 및 조합 광원에 연결상태를 유지하는 동안 상기 제 2 광원은 상이한 광원으로 변경될 수 있는 것을 특징으로 하는 로봇 수술 시스템.
5. 제 1 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은:
형광 제 2 이미지와 조합된 가시성 제 2 이미지로 상기 가시성 제 1 이미지를 등록하기 위한 공간 이미지 등록;을 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
6. 제 1 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은:
상기 가시성 제 1 이미지를 가시성 제 2 이미지로 변환시키기 위한 제 1 이미지 와퍼;를 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
7. 제 6 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은:
상기 가시성 제 2 이미지를 수신하기 위해 상기 제 1 이미지 와퍼에 결합되고 상기 형광 제 2 이미지에 조합된 가시성 제 2 이미지를 수신하기 위해 캡처 유닛에 결합되는 제 1 이미지 감산기를 더 포함하고, 상기 이미지 감산기는 형광 제 2 이미지를 생성하기 위해 형광 제 2 이미지와 조합된 가시성 제 2 이미지로부터 가시성 제 2 이미지를 감산하는 것을 특징으로 하는 로봇 수술 시스템.
8. 제 7 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은:
(ⅰ) 형광 제 2 이미지를 수신하기 위해 제 1 이미지 감산기로, (ⅱ) 상기 형광 제 2 이미지와 조합된 가시성 제 2 이미지를 수신하기 위해 캡처 유닛으로, 결합된 제 2 이미지 감산기를 더 포함하고, 상기 제 2 이미지 감산기는 또다른 가시성 제 2 이미지를 생성하기 위해 상기 형광 제 2 이미지와 조합된 가시성 제 2 이미지로부터 형광 제 2 이미지를 감산하는 것을 특징으로 하는 로봇 수술 시스템.
9. 제 7 항의 측면에 있어서, 인텔리전트 이미지 처리 시스템은:
형광 제 2 이미지를 형광 제 1 이미지로 변환하는 제 2 이미지 와퍼;를 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
10. 제 7 항의 측면에 있어서, 상기 확대 입체 디스플레이 시스템은:
가시성 제 1 이미지에 결합된 제 1 브렌드 회로;
형광 제 2 이미지 및 가시성 제 2 이미지에 결합된 제 2 브렌드 회로; 및
제 1 브렌드 회로와 제 2 브렌드 회로에 결합된 입체 디스플레이;를 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
11. 제 10 항의 측면에 있어서, 상기 확대 입체 디스플레이 시스템은:
제 1 및 제 2 브렌드 회로에 결합되고, 복수의 선택가능한 모드를 구비하는 디스플레이 모드 선택을 더 포함하고,
제 1 모드 선택시, 상기 입체 디스플레이는 가시성 제 1 및 제 2 이미지로부터 실시간 3차원 가시성 이미지만을 제공하고; 및
제 2 모드 선택시, 한쪽 눈에서는, 입체 쌍의 형광 이미지 중 적어도 하나의 형광 이미지와 가시성 제 1 및 제 2 이미지 중 하나의 혼합; 및 다른 쪽 눈에서는, 상기 가시성 제 1 및 제 2 이미지 중 다른 하나를 구비하는 3차원 프리젠테이션을 상기 입체 디스플레이가 제공하는 것을 특징으로 하는 로봇 수술 시스템.
12. 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 내시경으로서,
조직으로부터의 광을 전달하는 입체 광학 채널;
상기 입체 광학 채널에 결합되는 캡처 유닛으로서, 상기 캡처 유닛은 (1) 가시성 제 1 이미지 및 (2) 상기 광으로부터의 형광 제 2 이미지와 조합된 가시성 제 2 이미지를 캡처하고, 상기 제 1 이미지는 좌측 이미지 및 우측 이미지 중 하나이고, 상기 제 2 이미지는 좌측 이미지 및 우측 이미지 중 다른 하나인, 캡처 유닛;
을 포함하는 내시경;
(1) 가시성 제 1 이미지와 (2) 형광 제 2 이미지와 조합된 가시성 제 2 이미지를 수신하도록 캡처 유닛에 결합된 인텔리전트 이미지 처리 시스템으로서,
형광 제 2 이미지와 조합된 가시성 제 2 이미지로 상기 가시성 제 1 이미지를 등록하는 공간 이미지 등록부;
상기 공간 이미지 등록부에 결합되고, 상기 가시성 제 1 이미지를 가시성 제 2 이미지로 변환하는 제 1 이미지 와퍼;
가시성 제 2 이미지를 수신하기 위해 상기 제 1 이미지 와퍼에 결합되고, 상기 형광 제 2 이미지와 조합된 가시성 제 2 이미지를 수신하기 위해 상기 캡처 유닛에 결합되고, 상기 가시성 제 2 이미지를 상기 형광 제 2 이미지와 조합된 상기 가시성 제 2 이미지로부터 차감하여 형광 제 2 이미지를 생성하는 제 1 이미지 감산기(subtractor);
(ⅰ) 형광 제 2 이미지를 수신하기 위해 제 1 이미지 감산기로 결합되고, (ⅱ) 상기 형광 제 2 이미지와 조합된 가시성 제 2 이미지를 수신하기 위해 상기 캡처 유닛에 결합되고, 상기 형광 제 2 이미지를 상기 형광 제 2 이미지와 조합된 상기 가시성 제 2 이미지로부터 차감하여 또다른 가시성 제 2 이미지를 생성하는 제 2 이미지 감산기;
상기 공간 이미지 등록부와 상기 형광 제 2 이미지에 결합되고, 상기 형광 제 2 이미지를 형광 제 1 이미지로 변환하는 제 2 이미지 와퍼;
를 포함하는 인텔리전트 이미지 처리 시스템; 및
상기 인텔리전트 이미지 처리 시스템과 상기 이미지 캡처 시스템에 결합되고, 하나의 눈에서는 형광 제 1 및 제 2 이미지 중 적어도 하나의 형광 이미지와 가시성 제 1 및 제 2 이미지 중 하나의 혼합을; 그리고 다른 눈에서는, 가시성 제 1 및 제 2 이미지 중 다른 하나를 구비하는 3차원 프리젠테이션을 포함하는 실시간 입체 이미지를 출력하는 확대 입체 디스플레이 시스템;을 포함하는 것을 특징으로 하는 로봇 수술 시스템.
13. 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 내시경에서의 입체 광학 경로로부터 조직의 가시성 제 1 이미지를 캡처하는 단계;
상기 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 내시경에서의 입체 광학 경로로부터 조직의 형광 제 2 이미지와 조합된 가시성 제 2 이미지를 캡처하는 단계로서, 상기 제 1 이미지는 좌측 이미지 및 우측 이미지 중 하나이고, 제 2 이미지는 상기 좌측 이미지 및 우측 이미지 중 다른 하나인 단계;
입체 쌍의 형광 이미지 중 적어도 하나와 가시성 제 2 이미지를 생성하기 위해 형광 제 2 이미지와 조합된 가시성 제 2 이미지와 가시성 제 1 이미지를 처리하는 단계; 및
한쪽의 눈에서는 입체 쌍의 형광 이미지 중 적어도 하나의 형광 이미지와 가시성 제 1 이미지 및 제 2 이미지 중 하나의 혼합; 및 다른 쪽 눈에서는, 가시성 제 1 이미지 및 제 2 이미지 중 다른 하나를 구비하는 3차원 프리젠테이션을 포함하는 실시간 입체 이미지를 생성하는 단계;를 포함하는 것을 특징으로 하는 방법.
14. 제 13 항의 측면에 있어서, 상기 처리단계는:
가시성 제 1 이미지를 형광 제 2 이미지와 조합된 가시성 제 2 이미지로 공간적으로 등록하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
15. 제 13 항의 측면에 있어서, 상기 처리단계는:
이미지 와퍼를 이용하여, 상기 가시성 제 1 이미지를 가시성 제 2 이미지로 변환하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
16. 제 15 항에 있어서, 상기 처리 단계는:
형광 제 2 이미지를 생성하기 위해 형광 제 2 이미지와 조합된 가시성 제 2 이미지로부터 가시성 제 2 이미지를 감산하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
17. 제 16 항의 측면에 있어서, 상기 처리단계는:
또다른 가시성 제 2 이미지를 생성하기 위해 형광 제 2 이미지와 조합된 가시성 제 2 이미지로부터 형광 제 2 이미지를 감산하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
18. 제 17 항의 측면에 있어서, 상기 처리 단계는:
또다른 이미지 와퍼를 이용하여, 형광 제 2 이미지를 형광 제 1 이미지로 변환하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
(01703으로부터)
변형된 프리즘을 가진 카메라 유닛을 이용하는 수술 로봇용 확대 입체 가시영상의 측면은 하기를 포함하지만, 그에 한정되는 것은 아니다:
1. 로봇 수술 시스템에 의해 유지되고 포지셔닝되며, 조직으로부터의 제 1 광을 전달하기 위한 제 1 채널 및 조직으로부터의 제 2 광을 전달하기 위한 제 2 채널을 포함하는 입체 광학 채널을 구비하는, 내시경;
이미지 캡처 시스템; 및
상기 이미지 캡처 시스템에 결합된 확대 입체 디스플레이 시스템;을 포함하고,
상기 이미지 캡처 시스템은,
상기 제 1 채널에 결합되고, 상기 제 1 광으로부터의 형광 좌측 이미지와 조합된 가시성 좌측 이미지의 가시성 제 1 컬러 컴포넌트, 상기 제 1 광으로부터의 상기 가시성 좌측 이미지의 가시성 제 2 컬러 컴포넌트, 및 상기 제 1 광으로부터의 가시성 좌측 이미지의 가시성 제 3 컬러 컴포넌트를 캡처하는 제1 캡처 유닛, 및
상기 제 2 채널에 결합되고, 상기 제 2 광으로부터의 형광 우측 이미지와 조합된 가시성 우측 이미지의 가시성 제 1 컬러 컴포넌트, 상기 제 2 광으로부터의 상기 가시성 우측 이미지의 가시성 제 2 컬러 컴포넌트, 및 상기 제 2 광으로부터의 가시성 우측 이미지의 가시성 제 3 컬러 컴포넌트를 캡처하는 제 2 캡처 유닛,을 포함하고,
상기 확대 입체 디스플레이 시스템은 가시성 좌우측 이미지와 형광 좌우측 이미지를 포함하는 3차원 프리젠테이션을 구비하는 조직의 적어도 일부의 실시간 입체 이미지를 출력하는 것을 특징으로 하는 로봇 수술 시스템.
2. 제 1 항의 측면에 있어서,
상기 제 1 캡처 유닛은 프리즘을 포함하고;
상기 프리즘은 상기 제 1 광을 형광 좌측 이미지의 형광 파장 영역의 컴포넌트와 조합된 가시성 좌측 이미지의 가시성 제 1 컬러 컴포넌트와, 상기 가시성 좌측 이미지의 가시성 제 2 컬러 컴포넌트, 및 상기 가시성 좌측 이미지의 가시성 제 3 컬러 컴포넌트로 분리하고; 및
상기 형광 좌측 이미지의 상기 형광 파장 영역의 컴포넌트는 분리되어 상기 제 1, 제 2, 제 3 가시성 컬러 컴포넌트의 파장 영역으로부터 제거되는 것을 특징으로 하는 로봇 수술 시스템.
3. 제 1 항의 측면에 있어서,
상기 제 2 캡처 유닛은 프리즘을 포함하고;
상기 프리즘은 상기 제 2 광을 형광 우측 이미지의 형광 파장 영역의 컴포넌트와 조합된 가시성 우측 이미지의 가시성 제 1 컬러 컴포넌트와, 상기 가시성 우측 이미지의 가시성 제 2 컬러 컴포넌트, 및 상기 가시성 우측 이미지의 가시성 제 3 컬러 컴포넌트로 분리하고; 및
상기 형광 우측 이미지의 상기 형광 파장 영역의 컴포넌트는 분리되어 상기 제 1, 제 2, 제 3 가시성 컬러 컴포넌트의 파장 영역으로부터 제거되는 것을 특징으로 하는 로봇 수술 시스템.
4. 제 1 항의 측면에 있어서,
상기 가시성 제 1 컬러 컴포넌트는 청색 또는 녹색 컬러 컴포넌트를 구비하는 것을 특징으로 하는 로봇 수술 시스템.
5. 제 1 항의 측면에 있어서,
상기 내시경은 조명 채널을 더 포함하고;
상기 로봇 수술 시스템은 상기 조명 채널에 결합된 조합 광원을 더 포함하고;
상기 조합 광원은,
제 1 조명광을 제공하는 제 1 광원; 및
제 2 조명광을 제공하는 제 2 광원;을 포함하고,
상기 제 2 조명광은 상기 제 1 조명광과 상이하고, 및
상기 제 2 조명광은 형광을 여기하는 것을 특징으로 하는 로봇 수술 시스템.
6. 제 5 항의 측면에 있어서, 조명 채널을 조합 광원에 연결하는 광 파이버 번들을 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
7. 제 5 항의 측면에 있어서, 제 3 광원을 더 포함하고,
상기 제 3 광원은 상기 제 2 광원에 의해 여기되는 형광과 상이한 파장에서 제 2 형광을 여기하고; 및
상기 제 2 및 제 3 광원은 광파이버 번들이 조명 채널과 조합광원에 연결된 상태를 유지하는 동안 서로 교환될 수 있는 것을 특징으로 하는 로봇 수술 시스템.
8. 제 5 항의 측면에 있어서,
상기 확대 입체 디스플레이 시스템은 제 2 조명 광원에 결합된 디스플레이 모드 선택을 더 포함하고;
상기 디스플레이 모드 선택은 복수의 선택가능한 모드를 구비하고;
제 1 모드 선택시, 확대 입체 디스플레이 시스템은 실시간 입체 이미지를 출력하고; 및
제 2 모드 선택시, 제 2 조명광이 중단되고 제 1 조명광만이 조직으로 제공되고; 및
상기 확대 입체 디스플레이 시스템은 가시성 좌우측 이미지만을 구비한 또다른 실시간 입체 이미지를 출력하는 것을 특징으로 하는 로봇 수술 시스템.
9. 제 5 항의 측면에 있어서,
상기 확대 입체 디스플레이 시스템은 제 1 조명 광원에 결합된 디스플레이 모드 선택을 더 포함하고;
상기 디스플레이 모드 선택은 복수의 선택가능한 모드를 구비하고;
제 1 모드 선택시, 확대 입체 디스플레이 시스템은 실시간 입체 이미지를 출력하고;
제 2 모드 선택시, 제 1 조명광이 중단되고 제 2 조명광만이 조직으로 제공되고; 및
상기 확대 입체 디스플레이 시스템은 형광 좌우측 이미지만을 구비한 또다른 실시간 입체 이미지를 출력하는 것을 특징으로 하는 로봇 수술 시스템.
10. 좌측 입체 조직 이미지와 우측 입체 조직 이미지를 캡처하는 입체 내시경;
제 1 센서, 제 2 센서, 및 제 3 센서를 구비하는 좌측 이미지 캡처 유닛; 및
제 4 센서, 제 5 센서, 및 제 6 센서를 구비하는 우측 이미지 캡처 유닛;을 포함하고,
상기 좌측 및 우측 입체 조직 이미지 각각은 제 1 가시성 컬러 컴포넌트 파장 영역에서의 광, 제 2 가시성 컬러 컴포넌트 파장 영역에서의 광, 제 3 가시성 컬러 컴포넌트 파장 영역에서의 광, 형광 컴포넌트 파장 영역에서의 광을 구비하고,
상기 형광 컴포넌트 파장 영역은 실질적으로 제 1, 제 2 및 제 3 가시성 컬러 컴포넌트 파장 영역과 상이하고,
상기 제 1 센서는 실질적으로 상기 제 1 가시성 컬러 컴포넌트 파장 영역에서의 광과 형광 컴포넌트 파장 영역에서의 광만을 수신하고,
상기 제 2 센서는 실질적으로 상기 제 2 가시성 컬러 컴포넌트 파장 영역에서의 광만을 수신하고, 및
상기 제 3 센서는 실질적으로 상기 제 3 가시성 컬러 컴포넌트 파장 영역에서의 광만을 수신하고,
상기 제 4 센서는 실질적으로 상기 제 1 가시성 컬러 컴포넌트 파장 영역에서의 광과 형광 컴포넌트 파장 영역에서의 광만을 수신하고,
상기 제 5 센서는 실질적으로 상기 제 2 가시성 컬러 컴포넌트 파장 영역에서의 광만을 수신하고, 및
상기 제 6 센서는 실질적으로 상기 제 3 가시성 컬러 컴포넌트 파장 영역에서의 광만을 수신하는 것을 특징으로 하는 로봇 수술 시스템.
11. 제 10 항의 측면에 있어서,
상기 제 1 가시성 컬러 컴포넌트 파장 영역은 청색 파장 피크를 구비하고; 및
상기 형광 컴포넌트 파장 영역은 가시광 스펙트럼 바깥의 파장 피크를 구비하는 것을 특징으로 하는 로봇 수술 시스템.
12. 제 10 항의 측면에 있어서,
상기 제 1 가시성 컬러 컴포넌트 파장 영역은 녹색 파장 피크를 구비하고; 및
상기 형광 컴포넌트 파장 영역은 가시광 스펙트럼 바깥의 파장 피크를 구비하는 것을 특징으로 하는 로봇 수술 시스템.
13. 제 10 항의 측면에 있어서,
좌측 이미지 캡처 유닛 및 우측 이미지 캡처 유닛 중 어느 하나 또는 그 모두는 대응하는 입체 조직 이미지를 형광 파장 영역과 조합된 제 1 가시성 컬러 컴포넌트 파장 영역, 제 2 가시성 컬러 컴포넌트 파장 영역, 및 제 3 가시성 컬러 컴포넌트 파장 영역으로 분리하는 프리즘 어셈블리를 포함하는 것을 특징으로 하는 로봇 수술 시스템.
14. 제 10 항의 측면에 있어서,
상기 내시경은 로봇 수술 시스템에 의해 유지 및 포지셔닝되는것을 특징으로 하는 로봇 수술 시스템.
15. 좌측 입체 조직 이미지와 우측 입체 조직 이미지 캡처 단계로서,
상기 좌측 및 우측 입체 조직 이미지는 각각 제 1 가시성 컬럼 컴포넌트 파장 영역에서의 광, 제 2 가시성 컬러 컴포넌트 파장 영역에서의 광, 제 3 가시성 컬러 컴포넌트 파장 영역에서의 광, 및 형광 컴포넌트 파장 영역에서의 광을 포함하고, 및
상기 형광 컴포넌트 파장 영역은 실질적으로 제 1, 제 2 및 제 3 가시성 컬러 컴포넌트 파장 영영과 상이한, 캡처 단계;
상기 제 1 가시성 컬러 컴포넌트 파장 영역에서의 광과 형광 컴포넌트 파장 영역에서의 광만을 제 1 센서로 지향시키고, 제 2 가시성 컬러 컴포넌트 파장 영역에서의 광만을 제 2 센서로 지향시키고, 및 제 3 가시성 컬러 컴포넌트 파장 영역에서의 광만을 제 3 센서로 지향시킴으로써 상기 캡처된 좌측 이미지를 감지하는 단계; 및
상기 제 1 가시성 컬러 컴포넌트 파장 영역에서의 광과 형광 컴포넌트 파장 영역에서의 광만을 실질적으로 제 4 센서로 지향시키고, 제 2 가시성 컬러 컴포넌트 파장 영역에서의 광만을 실질적으로 제 5 센서로 지향시키고, 및 제 3 가시성 컬러 컴포넌트 파장 영역에서의 광만을 실질적으로 제 6 센서로 지향시킴으로써 상기 캡처된 우측 이미지를 감지하는 단계;를 포함하는 것을 특징으로 하는 방법.
16. 제 15 항의 측면에 있어서,
조직 이미지로부터의 광을 제 1 가시성 컬러, 제 2 가시성 컬러, 제 3 가시성 컬러, 및 형광 컴포넌트 파장 영역으로 분리하는 하나 이상의 프리즘을 이용하는 단계를 더 포함하는 것을 특징으로 하는 방법.
17. 제 15 항의 측면에 있어서, 제 1 가시성 컬러 컴포넌트 파장 영역의 광은 청색 파장 피크를 구비하는 것을 특징으로 하는 방법.
18. 제 15 항의 측면에 있어서, 제 1 가시성 컬러 컴포넌트 파장 영역의 광은 녹색 파장 피크를 구비하는 것을 특징으로 하는 방법.
19. 제 15 항의 측면에 있어서,
제 1 광원 및 제 2 광원으로 제 1 인스턴스에서의 조직을 조광하는 단계: 및
제 1 광원 만으로 제 2 인스턴스에서의 조직을 조광하는 단계;를 더 포함하고,
상기 제 1 광원은 제 1, 제 2, 제 3 가시성 컬러 컴포넌트 파장 영역을 감지하기 위해 조직을 조광하고; 및
상기 제 2 광원은 형광 컴포넌트 파장 영역을 감지하기 위해 조직을 조광하는 것을 특징으로 하는 방법.
20. 제 15 항의 측면에 있어서,
제 1 광원 및 제 2 광원으로 제 1 인스턴스에서의 조직을 조광하는 단계: 및
제 2 광원 만으로 제 2 인스턴스에서의 조직을 조광하는 단계;를 더 포함하고,
상기 제 1 광원은 제 1, 제 2, 제 3 가시성 컬러 컴포넌트 파장 영역을 감지하기 위해 조직을 조광하고; 및
상기 제 2 광원은 형광 컴포넌트 파장 영역을 감지하기 위해 조직을 조광하는 것을 특징으로 하는 방법.
21. 제 15 항의 측면에 있어서,
제 1 광원 및 제 2 광원으로 제 1 인스턴스에서의 조직을 조광하는 단계: 및
제 1 광원 및 제 3 광원으로 제 2 인스턴스에서의 조직을 조광하는 단계;를 더 포함하고,
상기 제 1 광원은 제 1, 제 2, 제 3 가시성 컬러 컴포넌트 파장 영역을 감지하기 위해 조직을 조광하고;
상기 제 2 광원은 제 1 형광 컴포넌트 파장 영역을 감지하기 위해 조직을 조광하고; 및
상기 제 3 광원은 제 1 형광 컴포넌트 파장 영역과 상이한 제 2 형광 컴포넌트 파장 영역을 감지하기 위해 조직을 조광하고는 것을 특징으로 하는 방법.
(01704로부터)
시간 멀티플렉싱을 이용하는 로봇 수술용 확대 입체 가시영상의 측면이 하기에 기술되지만, 그에 한정되는 것은 아니다.
1. 로봇 수술 시스템에 의해 유지되고 포지셔닝되는 내시경으로서,
조직으로부터의 광을 전달하는 입체 광학 채널;
상기 입체 광학 채널에 결합되는 캡처 유닛으로서,
(1) 제 1 시간에, 상기 광으로부터의 제 1 이미지, 및
(2) 상기 제 1 시간과 상이한 제 2 시간에, 상기 광으로부터의 제 2 이미지;를 캡처하고,
상기 제 1 이미지와 상기 제 2 이미지 중 하나만이 형광 이미지와 가시성 이미지의 조합을 포함하고, 및 상기 제 1 이미지와 상기 제 2 이미지 중 다른 것은 가시성 이미지인,캡처 유닛;
을 포함하는 내시경;
상기 캡처 유닛에 결합되고, 상기 캡처된 형광 이미지를 이용하여 인위적인 형광 이미지를 생성하는 인텔리전트 이미지 처리 시스템; 및
상기 인텔리전트 이미지 처리 시스템에 결합되고, 인위적인 형광 이미지를 포함하는 조직의 적어도 일부의 확대 입체 이미지를 출력하는 확대 입체 디스플레이 시스템;을 포함하는 것을 특징으로 하는 로봇 수술 시스템.
2. 제 1 항의 측면에 있어서, 상기 형광 이미지는 형광 좌측 이미지 및 형광 우측 이미지를 더 포함하고, 상기 제 1 이미지는,
형광 좌측 이미지와 조합된 가시성 좌측 이미지; 및
형광 우측 이미지와 조합된 가시성 우측 이미지;
를 포함하는 입체쌍의 이미지를 구비하는 것을 특징으로 하는 로봇 수술 시스템.
3. 제2 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은 형광 좌우측 이미지를 이용하여 제 2 시간에 대해 인위적인 입체쌍의 형광 이미지를 생성하여, 상기 인위적인 입체쌍의 형광 이미지가 형광 좌우측 이미지에 연관되어 제 1 이미지가 되도록 하는 것을 특징으로 하는 로봇 수술 시스템.
4. 제 2 항의 측면에 있어서, 상기 제 2 이미지는 입체 가시성 이미지를 포함하고, 상기 확대 입체 이미지는,
제 2 시간에 캡처된 입체 가시성 이미지와 제 2 시간에 대한 인위적인 입체쌍의 형광 이미지의 혼합을 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
5. 제 1 항의 측면에 있어서, 상기 내시경은 조명 채널을 더 포함하고, 상기 로봇 수술 시스템은 상기 조명채널에 결합된 조합 광원을 더 포함하고, 상기 조합 광원은,
제 1 조명광을 제공하는 제1 광원; 및
제 2 조명광을 제공하는 제 2 광원;을 구비하고,
상기 제 2 조명광은 상기 제 1 조명광과 상이하고,
상기 제 2 조명광은 상기 제 1 및 제 2 이미지 중 하나에서의 캡처와 동기되는 것을 특징으로 하는 로봇 수술 시스템.
6. 제 5 항의 측면에 있어서, 상기 조명 채널을 조합 광원에 연결하는 광 파이버 번들을 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
7. 제 6 항의 측면에 있어서, 상기 제 2 광원은, 적어도 광 파이버 번들이 상기 조명 채널과 상기 조합 광원에 연결된 상태를 유지하는 동안, 상이한 광원으로 변경될 수 있는 것을 특징으로 하는 로봇 수술 시스템.
8. 제 3 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은,
제 1 이미지 및 제 2 이미지를 등록하기 위한 임시 이미지 등록을 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
9. 제 8 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은,
상기 임시 이미지 등록에 결합되고, 제 1 시간에 캡처된 형광 우측 이미지와 조합된 가시성 우측 이미지를 제 2 시간에 대해 형광 이미지와 조합된 우측 가시성 이미지로 변환하기 위한 이미지 와퍼를 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
10. 제 3 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은,
제 1 시간에 캡처된 형광 우측 이미지와 조합된 가시성 우측 이미지를 제 2 시간에 대해 형광 이미지와 조합된 우측 가시성 이미지로 변환하기 위한 이미지 와퍼를 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
11. 제 10 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은,
제 2 시간에 대해 형광 이미지와 조합된 우측 가시성 이미지를 수신하기 위해 상기 이미지 와퍼에 결합되고, 제 2 시간에 캡처된 가시성 우측 이미지를 수신하기 위해 캡처 유닛에 결합되는 이미지 감산기를 더 포함하고, 상기 이미지 감산기는 제 2 시간에 대한 입체쌍의 인위적인 형광 이미지에서 제 2 시간에 대해 인위적인 형광 우측 이미지를 생성하기 위해 제 2 시간에 대해 형광 이미지와 조합된 우측 가시성 이미지로부터 제 2 시간에 캡처된 가시성 우측 이미지를 감산하는 것을 특징으로 하는 로봇 수술 시스템.
12. 제 10 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은:
상기 인위적 형광 우측 이미지에 결합된 형광 우측 이미지 동기화 시스템을 더 포함하고, 상기 형광 우측 이미지 동기화 시스템은 동기화된 형광 우측 이미지를 생성하기 위해 상기 인위적 형광 우측 이미지를 이용하는 것을 특징으로 하는 로봇 수술 시스템.
13. 제 1 항의 측면에 있어서,
상기 제 1 이미지는 가시성 제 1 컬러 컴포넌트, 가시성 제 2 컬러 컴포넌트, 및 가시성 제 3 컬러 컴포넌트를 포함하는 가시성 이미지를 구비하고; 및
상기 제 2 이미지는 상기 형광 이미지와 조합된 가시성 제 1 컬러 컴포넌트, 가시성 제 2 컬러 컴포넌트 및 가시성 제 3 컬러 컴포넌트를 포함하는 형광 이미지와 조합된 가시성 이미지를 구비하는 것을 특징으로 하는 로봇 수술 시스템.
14. 제 13 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은 (1) 상기 가시성 제 2 및 제 3 컬러 컴포넌트에 대한 인공물, 및 (2) 상기 가시성 제 1 컬러 컴포넌트에 대한 상기 형광 이미지 플러스 인공물을 생성하기 위한 형광 이미지 및 인공물 생성기를 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
15. 제 14 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은 상기 형광 이미지 및 인공물 생성기에 결합된 형광 이미지 추출기를 더 포함하고, 상기 형광 이미지 추출기는 상기 제 2 시간에 대해 제 1 형광 이미지를 생성하는 것을 특징으로 하는 로봇 수술 시스템.
16. 제 15 항의 측면에 있어서, 상기 인텔리전트 이미지 처리 시스템은 상기 형광 이미지 생성기에 결합된 형광 이미지 확장 시스템을 더 포함하고, 상기 형광 이미지 확장 시스템은 상기 제 1 형광 이미지를 수신하여 상기 인위적 형광 이미지를 생성하는 것을 특징으로 하는 로봇 수술 시스템.
17. 제 1 시간에, 로봇 수술 시스템에 의해 유지되고 포지셔닝된 내시경에서의 입체 광학 경로에서 나온, 조직으로부터 광에서의 제 1 이미지를 캡처하는 단계;
상기 제 1 시간과 상이한 제 2 시간에, 상기 광으로부터의 제 2 이미지를 캡처하는 단계로서, 상기 제 1 이미지와 제 2 이미지 중 하나만이 형광 이미지와 가시성 이미지의 조합을 포함하고, 상기 제 1 이미지와 제 2 이미지 중 다른 하나는 가시성 이미지인 단계;
상기 캡처된 형광 이미지를 이용하여 인위적인 형광 이미지를 생성하는 단계; 및
상기 인위적인 형광 이미지를 구비하는 조직의 적어도 일부의 확대 입체 이미지를 생성하는 단계;를 포함하는 것을 특징으로 하는 방법.
18. 제 17 항의 측면에 있어서, 상기 형광 이미지는 형광 좌측 이미지 및 형광 우측 이미지를 구비하고,
상기 제 1 이미지는 입체쌍의 이미지를 더 포함하고, 상기 입체쌍의 이미지는:
상기 형광 좌측 이미지와 조합된 가시성 좌측 이미지; 및
상기 형광 우측 이미지와 조합된 가시성 우측 이미지;를 포함하는 것을 특징으로 하는 방법.
19. 제 17항의 측면에 있어서,
상기 제 1 이미지는 가시성 제 1 컬러 컴포넌트, 가시성 제 2 컬러 컴포넌트, 및 가시성 제 3 컬러 컴포넌트를 포함하는 가시성 이미지를 구비하고, 및
상기 제 2 이미지는 상기 형광 이미지와 조합된 가시성 제 1 컬러 컴포넌트, 가시성 제 2 컬러 컴포넌트, 및 가시성 제 3 컬러 컴포넌트를 포함하는 형광 이미지와 조합된 가시성 이미지를 구비하는 것을 특징으로 하는 방법.
20. 제 19 항의 측면에 있어서,
(1) 상기 가시성 제 2 및 제 3 컬러 컴포넌트에 대한 인공물, 및 (2) 상기 가시성 제 1 컬러 컴포넌트에 대한 상기 형광 이미지 플러스 인공물을 생성하는 단계를 더 포함하는 것을 특징으로 하는 방법.
103: 조직
112: 내시경
113: 로봇 머니퓰레이터 암
310: 조합 광원
316: 광 파이버 번들
112: 내시경
113: 로봇 머니퓰레이터 암
310: 조합 광원
316: 광 파이버 번들
Claims (16)
- 로봇 수술 시스템의 로봇 머니퓰레이터 암에 의해 유지되고 포지셔닝되는 내시경;
상기 내시경에 결합되고, 조직의 가시성 이미지를 캡처하는 가시성 이미징 시스템;
상기 내시경에 결합된 대안의 이미징 시스템으로서,
조직의 적어도 일부의 제1 형광 이미지를 캡처하는 캡처 유닛; 및
상기 캡처 유닛에 결합되고, 한 쌍의 형광 이미지에서의 제2 형광 이미지를 생성하기 위해 제1 형광 이미지와 연관된 정보를 사용하는 디바이스;를 포함하는 대안의 이미징 시스템; 및
상기 가시성 이미징 시스템 및 상기 대안의 이미징 시스템에 결합된 입체 비디오 디스플레이 시스템;을 포함하고,
상기 입체 비디오 디스플레이 시스템은 가시성 이미지, 제2 형광 이미지 및 캡처된 형광 이미지에 연관된 또다른 형광 이미지의 혼합을 구비하는 입체 이미지를 출력하는 것을 특징으로 하는 로봇 수술 시스템. - 제1항에 있어서,
조합 광원; 및
상기 조합 광원으로부터 상기 내시경으로 광을 제공하기 위하여 상기 조합 광원 및 상기 내시경에 연결된 적어도 하나의 광 파이버 번들;을 더 포함하고,
상기 조합 광원은,
제1 광원 및
형광을 여기하는 제2 광원을 포함하는 것을 특징으로 하는 로봇 수술 시스템. - 제2항에 있어서,
적어도 하나의 광 파이버 번들이 상기 내시경 및 상기 조합 광원에 연결되어 있는 동안 상기 제2 광원은 상이한 광원으로 변경될 수 있는 것을 특징으로 하는 로봇 수술 시스템. - 제1항에 있어서,
상기 가시성 이미지 시스템은 이미지 처리 시스템의 적어도 일부를 더 포함하고, 이미지 처리 시스템의 적어도 일부는 제2 가시성 이미지를 생성하기 위하여 가시성 이미지에 연관된 정보를 사용하고, 상기 가시성 이미지와 상기 제2 가시성 이미지는 입체 쌍의 가시성 이미지를 포함하는 것을 특징으로 하는 로봇 수술 시스템. - 제1항에 있어서,
제1 형광 이미지는 가시성 이미지와 제1 형광 이미지의 조합 이미지로서 캡처되고,
상기 대안의 이미징 시스템은 이미지 처리 시스템의 또다른 일부를 포함하고, 이미지 처리 시스템의 또다른 일부는 조합 이미지와 가시성 이미지를 수신하는 이미지 감산기를 포함하고, 상기 이미지 감산기는 제3 형광 이미지를 출력하고, 상기 제3 형광 이미지는 제1 형광 이미지와 연관된 정보인 것을 특징으로 하는 로봇 수술 시스템. - 제1항에 있어서,
상기 입체 비디오 디스플레이 시스템은 복수의 모드를 구비하는 입체 디스플레이 모드 선택기를 더 포함하고, 상기 복수의 모드는,
복수의 모드 중 제 1 모드의 선택시, 상기 입체 비디오 디스플레이 시스템이 상기 가시성 이미지와 제2 형광 이미지의 혼합을 포함하는 입체 이미지를 출력하는, 제 1 모드; 및
복수의 모드 중 제 2 모드의 선택시, 상기 입체 비디오 디스플레이 시스템이 입체 가시성 이미지만을 출력하는, 제 2 모드;를 포함하는 것을 특징으로 하는 로봇 수술 시스템. - 제1항에 있어서,
상기 가시성 이미징 시스템은 제 1 프레임 속도로 가시성 이미지를 캡처하고,
상기 대안의 이미징 시스템은 제 2 프레임 속도로 제1 형광 이미지를 캡처하고, 상기 제 1 프레임 속도는 상기 제 2 프레임 속도와 상이한 것을 특징으로 하는 로봇 수술 시스템. - 제7항에 있어서,
상기 대안의 이미징 시스템은 제 1 프레임 속도로 형광 이미지를 입체 비디오 디스플레이 시스템에 제공하고, 상기 대안의 이미징 시스템은 상기 형광 이미지를 가시성 이미지와 동기화시키기 위해 인위적인 형광 이미지를 생성하는 것을 특징으로 하는 로봇 수술 시스템. - 로봇 수술 시스템의 로봇 머니퓰레이터 암에 의해 유지되고 포지셔닝되는 내시경으로부터 조직의 가시성 이미지를 캡처하는 단계;
상기 내시경으로부터 조직의 적어도 일부의 대안의 이미지를 캡처하는 단계로서, 상기 대안의 이미지는 제1 형광 이미지를 포함하는, 단계; 및
제1 형광 이미지와 연관된 정보로부터 한 쌍의 형광 이미지에 포함되는 제2 형광 이미지를 생성하는 단계;
입체 비디오 디스플레이에서 제2 형광 이미지 및 가시성 이미지의 혼합을 포함하는 입체 이미지를 로봇 수술 시스템을 동작시키는 사람에게 출력하는 단계;를 포함하는 것을 특징으로 하는 방법. - 제9항에 있어서,
조합 광원으로부터 내시경으로 제1 광원을 제공하기 위하여 상기 내시경에 결합된 조합 광원으로부터의 제1 광원에 의해 씬(scene)을 조명하는 단계;를 더 포함하는 것을 특징으로 하는 방법. - 제10항에 있어서,
상기 조합 광원이 상기 내시경에 결합상태를 유지하는 동안 상기 조합 광원에서의 광원이 상이한 광원으로 변경된 후에 상기 조합 광원으로부터의 제2 광원에 의해 씬을 조명하는 단계;를 더 포함하는 것을 특징으로 하는 방법. - 제9항에 있어서,
가시성 이미지와 연관된 정보를 사용하여 제2 가시성 이미지를 생성하는 단계;를 더 포함하고, 상기 가시성 이미지와 상기 제2 가시성 이미지는 입체 쌍의 가시성 이미지를 포함하는 것을 특징으로 하는 방법. - 제9항에 있어서,
대안의 이미지는 가시성 이미지와 형광 이미지의 조합 이미지를 포함하고,
상기 방법은,
조합 이미지로부터 가시성 이미지를 감산하는 이미지 감산기에 의해 제3 형광 이미지를 생성하는 단계;를 더 포함하고,
상기 제3 형광 이미지는 제1 형광 이미지와 연관된 정보인 것을 특징으로 하는 방법. - 제9항에 있어서,
외과의가 제 1 디스플레이 모드 선택시, 입체 비디오 디스플레이에서 가시성 이미지와 제2 형광 이미지의 혼합 출력을 수행하는 단계; 및
외과의가 제 2 디스플레이 모드 선택시, 입체 비디오 디스플레이에서 가시성 이미지만을 출력하는 단계;를 더 포함하는 것을 특징으로 하는 방법. - 제9항에 있어서,
조직의 가시성 이미지를 캡처하는 단계는, 제1 프레임 속도로 가시성 이미지를 캡처하는 단계를 더 포함하고,
조직의 적어도 일부의 대안의 이미지를 캡처하는 단계는, 제2 프레임 속도로 대안의 이미지를 캡처하는 단계를 더 포함하고,
상기 제1 프레임 속도는 상기 제2 프레임 속도와 상이한 것을 특징으로 하는 방법. - 제15항에 있어서,
인위적인 형광 이미지를 생성하는 단계; 및
상기 인위적인 형광 이미지를 사용하여 상기 가시성 이미지와 형광 이미지를 동기화시키는 단계;를 더 포함하는 것을 특징으로 하는 방법.
Applications Claiming Priority (13)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US4817908P | 2008-04-26 | 2008-04-26 | |
| US61/048,179 | 2008-04-26 | ||
| US12/164,976 | 2008-06-30 | ||
| US12/164,976 US8228368B2 (en) | 2008-04-26 | 2008-06-30 | Augmented stereoscopic visualization for a surgical robot using a captured fluorescence image and captured stereoscopic visible images |
| US12/165,194 US8810631B2 (en) | 2008-04-26 | 2008-06-30 | Augmented stereoscopic visualization for a surgical robot using a captured visible image combined with a fluorescence image and a captured visible image |
| US12/164,363 | 2008-06-30 | ||
| US12/164,363 US8169468B2 (en) | 2008-04-26 | 2008-06-30 | Augmented stereoscopic visualization for a surgical robot |
| US12/165,121 US8803955B2 (en) | 2008-04-26 | 2008-06-30 | Augmented stereoscopic visualization for a surgical robot using a camera unit with a modified prism |
| US12/165,189 US8167793B2 (en) | 2008-04-26 | 2008-06-30 | Augmented stereoscopic visualization for a surgical robot using time duplexing |
| US12/165,121 | 2008-06-30 | ||
| US12/165,194 | 2008-06-30 | ||
| US12/165,189 | 2008-06-30 | ||
| PCT/US2009/040020 WO2009131840A1 (en) | 2008-04-26 | 2009-04-09 | Augmented stereoscopic visualization for a surgical robot |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020107026616A Division KR101580117B1 (ko) | 2008-04-26 | 2009-04-09 | 수술 로봇용 확대 입체 가시영상 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150082646A true KR20150082646A (ko) | 2015-07-15 |
| KR101581026B1 KR101581026B1 (ko) | 2015-12-30 |
Family
ID=41214577
Family Applications (12)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020177033731A KR101854189B1 (ko) | 2008-04-26 | 2009-04-09 | 수술 로봇용 확대 입체 가시영상 |
| KR1020187034859A KR101977135B1 (ko) | 2008-04-26 | 2009-04-09 | 수술 로봇용 확대 입체 가시영상 |
| KR1020157016619A KR101581026B1 (ko) | 2008-04-26 | 2009-04-09 | 수술 로봇용 확대 입체 가시영상 |
| KR1020167029853A KR101802271B1 (ko) | 2008-04-26 | 2009-04-09 | 수술 로봇용 확대 입체 가시영상 |
| KR1020187011779A KR101891121B1 (ko) | 2008-04-26 | 2009-04-09 | 수술 로봇용 확대 입체 가시영상 |
| KR1020107026616A KR101580117B1 (ko) | 2008-04-26 | 2009-04-09 | 수술 로봇용 확대 입체 가시영상 |
| KR1020157035599A KR101671195B1 (ko) | 2008-04-26 | 2009-04-09 | 수술 로봇용 확대 입체 가시영상 |
| KR1020207032670A KR102309075B1 (ko) | 2008-04-26 | 2009-04-09 | 수술 로봇용 확대 입체 가시영상 |
| KR1020217031111A KR102435851B1 (ko) | 2008-04-26 | 2009-04-09 | 수술 로봇용 확대 입체 가시영상 |
| KR1020207004641A KR102180739B1 (ko) | 2008-04-26 | 2009-04-09 | 수술 로봇용 확대 입체 가시영상 |
| KR1020187023620A KR101926039B1 (ko) | 2008-04-26 | 2009-04-09 | 수술 로봇용 확대 입체 가시영상 |
| KR1020197012848A KR102080551B1 (ko) | 2008-04-26 | 2009-04-09 | 수술 로봇용 확대 입체 가시영상 |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020177033731A KR101854189B1 (ko) | 2008-04-26 | 2009-04-09 | 수술 로봇용 확대 입체 가시영상 |
| KR1020187034859A KR101977135B1 (ko) | 2008-04-26 | 2009-04-09 | 수술 로봇용 확대 입체 가시영상 |
Family Applications After (9)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167029853A KR101802271B1 (ko) | 2008-04-26 | 2009-04-09 | 수술 로봇용 확대 입체 가시영상 |
| KR1020187011779A KR101891121B1 (ko) | 2008-04-26 | 2009-04-09 | 수술 로봇용 확대 입체 가시영상 |
| KR1020107026616A KR101580117B1 (ko) | 2008-04-26 | 2009-04-09 | 수술 로봇용 확대 입체 가시영상 |
| KR1020157035599A KR101671195B1 (ko) | 2008-04-26 | 2009-04-09 | 수술 로봇용 확대 입체 가시영상 |
| KR1020207032670A KR102309075B1 (ko) | 2008-04-26 | 2009-04-09 | 수술 로봇용 확대 입체 가시영상 |
| KR1020217031111A KR102435851B1 (ko) | 2008-04-26 | 2009-04-09 | 수술 로봇용 확대 입체 가시영상 |
| KR1020207004641A KR102180739B1 (ko) | 2008-04-26 | 2009-04-09 | 수술 로봇용 확대 입체 가시영상 |
| KR1020187023620A KR101926039B1 (ko) | 2008-04-26 | 2009-04-09 | 수술 로봇용 확대 입체 가시영상 |
| KR1020197012848A KR102080551B1 (ko) | 2008-04-26 | 2009-04-09 | 수술 로봇용 확대 입체 가시영상 |
Country Status (5)
| Country | Link |
|---|---|
| US (8) | US8169468B2 (ko) |
| EP (5) | EP2303096A1 (ko) |
| KR (12) | KR101854189B1 (ko) |
| CN (5) | CN102076259B (ko) |
| WO (1) | WO2009131840A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170017135A (ko) * | 2015-08-05 | 2017-02-15 | 왕용진 | 평면 스캔 비디오 카이모그라피와 후두 스트로보스코피 기능이 있는 비디오 후두 내시경 시스템 |
Families Citing this family (368)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9155544B2 (en) * | 2002-03-20 | 2015-10-13 | P Tech, Llc | Robotic systems and methods |
| US8073528B2 (en) | 2007-09-30 | 2011-12-06 | Intuitive Surgical Operations, Inc. | Tool tracking systems, methods and computer products for image guided surgery |
| US8971597B2 (en) | 2005-05-16 | 2015-03-03 | Intuitive Surgical Operations, Inc. | Efficient vision and kinematic data fusion for robotic surgical instruments and other applications |
| US9492240B2 (en) | 2009-06-16 | 2016-11-15 | Intuitive Surgical Operations, Inc. | Virtual measurement tool for minimally invasive surgery |
| US10555775B2 (en) | 2005-05-16 | 2020-02-11 | Intuitive Surgical Operations, Inc. | Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery |
| US7907166B2 (en) * | 2005-12-30 | 2011-03-15 | Intuitive Surgical Operations, Inc. | Stereo telestration for robotic surgery |
| US8219178B2 (en) | 2007-02-16 | 2012-07-10 | Catholic Healthcare West | Method and system for performing invasive medical procedures using a surgical robot |
| US10357184B2 (en) | 2012-06-21 | 2019-07-23 | Globus Medical, Inc. | Surgical tool systems and method |
| US10653497B2 (en) | 2006-02-16 | 2020-05-19 | Globus Medical, Inc. | Surgical tool systems and methods |
| US10893912B2 (en) | 2006-02-16 | 2021-01-19 | Globus Medical Inc. | Surgical tool systems and methods |
| US9232959B2 (en) | 2007-01-02 | 2016-01-12 | Aquabeam, Llc | Multi fluid tissue resection methods and devices |
| US20220096112A1 (en) | 2007-01-02 | 2022-03-31 | Aquabeam, Llc | Tissue resection with pressure sensing |
| EP2259742B1 (en) | 2008-03-06 | 2020-01-01 | AquaBeam LLC | Tissue ablation and cautery with optical energy carried in fluid stream |
| JP4987790B2 (ja) * | 2008-04-15 | 2012-07-25 | オリンパスメディカルシステムズ株式会社 | 撮像装置 |
| US8169468B2 (en) * | 2008-04-26 | 2012-05-01 | Intuitive Surgical Operations, Inc. | Augmented stereoscopic visualization for a surgical robot |
| TR201901658T4 (tr) | 2008-05-20 | 2019-02-21 | Univ Health Network | Floresan bazli görüntüleme ve i̇zleme i̇çi̇n ci̇haz ve metot |
| US8184880B2 (en) | 2008-12-31 | 2012-05-22 | Intuitive Surgical Operations, Inc. | Robust sparse image matching for robotic surgery |
| US8830224B2 (en) * | 2008-12-31 | 2014-09-09 | Intuitive Surgical Operations, Inc. | Efficient 3-D telestration for local robotic proctoring |
| WO2010128508A1 (en) * | 2009-05-06 | 2010-11-11 | Real Imaging Ltd. | System and methods for providing information related to a tissue region of a subject |
| US9155592B2 (en) * | 2009-06-16 | 2015-10-13 | Intuitive Surgical Operations, Inc. | Virtual measurement tool for minimally invasive surgery |
| WO2012056453A2 (en) | 2010-10-28 | 2012-05-03 | Peermedical Ltd. | Optical systems for multi-sensor endoscopes |
| US9101287B2 (en) | 2011-03-07 | 2015-08-11 | Endochoice Innovation Center Ltd. | Multi camera endoscope assembly having multiple working channels |
| US11864734B2 (en) | 2009-06-18 | 2024-01-09 | Endochoice, Inc. | Multi-camera endoscope |
| US11278190B2 (en) | 2009-06-18 | 2022-03-22 | Endochoice, Inc. | Multi-viewing element endoscope |
| US9713417B2 (en) | 2009-06-18 | 2017-07-25 | Endochoice, Inc. | Image capture assembly for use in a multi-viewing elements endoscope |
| US9101268B2 (en) | 2009-06-18 | 2015-08-11 | Endochoice Innovation Center Ltd. | Multi-camera endoscope |
| US9402533B2 (en) | 2011-03-07 | 2016-08-02 | Endochoice Innovation Center Ltd. | Endoscope circuit board assembly |
| US9554692B2 (en) | 2009-06-18 | 2017-01-31 | EndoChoice Innovation Ctr. Ltd. | Multi-camera endoscope |
| US9872609B2 (en) | 2009-06-18 | 2018-01-23 | Endochoice Innovation Center Ltd. | Multi-camera endoscope |
| US9901244B2 (en) | 2009-06-18 | 2018-02-27 | Endochoice, Inc. | Circuit board assembly of a multiple viewing elements endoscope |
| US9642513B2 (en) | 2009-06-18 | 2017-05-09 | Endochoice Inc. | Compact multi-viewing element endoscope system |
| US9492063B2 (en) | 2009-06-18 | 2016-11-15 | Endochoice Innovation Center Ltd. | Multi-viewing element endoscope |
| US8926502B2 (en) | 2011-03-07 | 2015-01-06 | Endochoice, Inc. | Multi camera endoscope having a side service channel |
| WO2012038958A2 (en) | 2010-09-20 | 2012-03-29 | Peermedical Ltd. | Multi-camera endoscope having fluid channels |
| US9706903B2 (en) | 2009-06-18 | 2017-07-18 | Endochoice, Inc. | Multiple viewing elements endoscope system with modular imaging units |
| US10165929B2 (en) | 2009-06-18 | 2019-01-01 | Endochoice, Inc. | Compact multi-viewing element endoscope system |
| US11547275B2 (en) | 2009-06-18 | 2023-01-10 | Endochoice, Inc. | Compact multi-viewing element endoscope system |
| DE102009040093A1 (de) | 2009-09-04 | 2011-04-07 | Olympus Winter & Ibe Gmbh | Medizinische Leuchte für Hintergrundlicht und Anregungslicht |
| US8521331B2 (en) * | 2009-11-13 | 2013-08-27 | Intuitive Surgical Operations, Inc. | Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument |
| US8996173B2 (en) | 2010-09-21 | 2015-03-31 | Intuitive Surgical Operations, Inc. | Method and apparatus for hand gesture control in a minimally invasive surgical system |
| US8935003B2 (en) | 2010-09-21 | 2015-01-13 | Intuitive Surgical Operations | Method and system for hand presence detection in a minimally invasive surgical system |
| US8543240B2 (en) * | 2009-11-13 | 2013-09-24 | Intuitive Surgical Operations, Inc. | Master finger tracking device and method of use in a minimally invasive surgical system |
| DE102010013308A1 (de) * | 2010-03-29 | 2011-09-29 | Karl Storz Gmbh & Co. Kg | Vorrichtung zur Bereitstellung von weißem Beleuchtungslicht |
| JP5669828B2 (ja) | 2010-04-28 | 2015-02-18 | オリンパス株式会社 | 画像処理装置および蛍光観察装置 |
| US9019345B2 (en) * | 2010-07-02 | 2015-04-28 | Intuitive Surgical Operations, Inc. | Imaging mode blooming suppression |
| US8295693B2 (en) * | 2010-07-02 | 2012-10-23 | Intuitive Surgical Operations, Inc. | Dual optical path prism and camera in a minimally invasive surgical system |
| US10682198B2 (en) | 2010-07-02 | 2020-06-16 | Intuitive Surgical Operations, Inc. | Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra |
| US9211058B2 (en) * | 2010-07-02 | 2015-12-15 | Intuitive Surgical Operations, Inc. | Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra |
| US9560953B2 (en) | 2010-09-20 | 2017-02-07 | Endochoice, Inc. | Operational interface in a multi-viewing element endoscope |
| US9486189B2 (en) | 2010-12-02 | 2016-11-08 | Hitachi Aloka Medical, Ltd. | Assembly for use with surgery system |
| UA105995C2 (uk) * | 2010-12-03 | 2014-07-10 | Фосс Аналітікал А/С | Спектральний аналіз середнього інфрачервоного випромінювання плинних неоднорідних матеріалів |
| US11889986B2 (en) | 2010-12-09 | 2024-02-06 | Endochoice, Inc. | Flexible electronic circuit board for a multi-camera endoscope |
| EP3420886B8 (en) | 2010-12-09 | 2020-07-15 | EndoChoice, Inc. | Flexible electronic circuit board multi-camera endoscope |
| CN103348470B (zh) | 2010-12-09 | 2017-05-03 | 恩多巧爱思创新中心有限公司 | 用于多摄像头内窥镜的柔性电子电路板 |
| JP5269921B2 (ja) * | 2011-01-24 | 2013-08-21 | 富士フイルム株式会社 | 電子内視鏡システム及び電子内視鏡システムの作動方法 |
| EP2672878B1 (en) | 2011-02-07 | 2017-11-22 | Endochoice Innovation Center Ltd. | Multi-element cover for a multi-camera endoscope |
| US9128036B2 (en) * | 2011-03-21 | 2015-09-08 | Federal-Mogul Corporation | Multi-spectral imaging system and method of surface inspection therewith |
| US8900126B2 (en) | 2011-03-23 | 2014-12-02 | United Sciences, Llc | Optical scanning device |
| US9026247B2 (en) | 2011-03-30 | 2015-05-05 | University of Washington through its Center for Communication | Motion and video capture for tracking and evaluating robotic surgery and associated systems and methods |
| WO2012131660A1 (en) | 2011-04-01 | 2012-10-04 | Ecole Polytechnique Federale De Lausanne (Epfl) | Robotic system for spinal and other surgeries |
| WO2012165553A1 (ja) * | 2011-06-03 | 2012-12-06 | オリンパス株式会社 | 蛍光観察装置および蛍光観察方法 |
| JP5784388B2 (ja) * | 2011-06-29 | 2015-09-24 | オリンパス株式会社 | 医療用マニピュレータシステム |
| EP2729084A4 (en) * | 2011-07-07 | 2015-03-04 | Olympus Corp | MEDICAL MASTER SLAVE MANIPULATOR |
| JP5800616B2 (ja) * | 2011-07-15 | 2015-10-28 | オリンパス株式会社 | マニピュレータシステム |
| DE102011084920B4 (de) * | 2011-10-20 | 2014-03-20 | Digital Endoscopy OEM GmbH | Endoskopiesystem, steuersystem und verwendung eines steuersystems bei einem endoskopiesystem |
| JP5940288B2 (ja) * | 2011-11-30 | 2016-06-29 | オリンパス株式会社 | 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム |
| EP2604175B1 (en) | 2011-12-13 | 2019-11-20 | EndoChoice Innovation Center Ltd. | Removable tip endoscope |
| EP2604172B1 (en) | 2011-12-13 | 2015-08-12 | EndoChoice Innovation Center Ltd. | Rotatable connector for an endoscope |
| US9504604B2 (en) | 2011-12-16 | 2016-11-29 | Auris Surgical Robotics, Inc. | Lithotripsy eye treatment |
| KR20130099403A (ko) * | 2012-02-29 | 2013-09-06 | 삼성전자주식회사 | 이미지 프로세싱 방법 및 이를 이용한 이미지 프로세싱 유닛 |
| BR112014021482B1 (pt) | 2012-02-29 | 2021-12-21 | Procept Biorobotics Corporation | Aparelho de ressecção de próstata |
| US9271759B2 (en) | 2012-03-09 | 2016-03-01 | Institute Of Musculoskeletal Science And Education, Ltd. | Pedicle screw assembly with locking cap |
| US8900125B2 (en) | 2012-03-12 | 2014-12-02 | United Sciences, Llc | Otoscanning with 3D modeling |
| KR102214789B1 (ko) * | 2012-04-16 | 2021-02-09 | 칠드런스 내셔널 메디컬 센터 | 수술 및 중재 시술에서 추적 및 제어를 위한 듀얼-모드 스테레오 이미징 시스템 |
| EP2838415A4 (en) * | 2012-04-18 | 2016-01-27 | Oncofluor Inc | ENDOSCOPIC LED DEVICES FOR VISUALIZING ANCHORED TISSUE IN HUMANS AND ANIMALS |
| US10383765B2 (en) | 2012-04-24 | 2019-08-20 | Auris Health, Inc. | Apparatus and method for a global coordinate system for use in robotic surgery |
| US20140142591A1 (en) * | 2012-04-24 | 2014-05-22 | Auris Surgical Robotics, Inc. | Method, apparatus and a system for robotic assisted surgery |
| US9445058B2 (en) * | 2012-05-14 | 2016-09-13 | Intuitive Surgical Operations, Inc | Method for video processing using a buffer |
| US9277205B2 (en) | 2012-05-14 | 2016-03-01 | Intuitive Surgical Operations, Inc. | Single-chip sensor multi-function imaging |
| US11871901B2 (en) | 2012-05-20 | 2024-01-16 | Cilag Gmbh International | Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage |
| US11298196B2 (en) | 2012-06-21 | 2022-04-12 | Globus Medical Inc. | Surgical robotic automation with tracking markers and controlled tool advancement |
| US11857266B2 (en) | 2012-06-21 | 2024-01-02 | Globus Medical, Inc. | System for a surveillance marker in robotic-assisted surgery |
| US11116576B2 (en) | 2012-06-21 | 2021-09-14 | Globus Medical Inc. | Dynamic reference arrays and methods of use |
| US11793570B2 (en) | 2012-06-21 | 2023-10-24 | Globus Medical Inc. | Surgical robotic automation with tracking markers |
| US10758315B2 (en) | 2012-06-21 | 2020-09-01 | Globus Medical Inc. | Method and system for improving 2D-3D registration convergence |
| US11857149B2 (en) | 2012-06-21 | 2024-01-02 | Globus Medical, Inc. | Surgical robotic systems with target trajectory deviation monitoring and related methods |
| JP2015528713A (ja) | 2012-06-21 | 2015-10-01 | グローバス メディカル インコーポレイティッド | 手術ロボットプラットフォーム |
| US11045267B2 (en) | 2012-06-21 | 2021-06-29 | Globus Medical, Inc. | Surgical robotic automation with tracking markers |
| US11317971B2 (en) | 2012-06-21 | 2022-05-03 | Globus Medical, Inc. | Systems and methods related to robotic guidance in surgery |
| US11399900B2 (en) | 2012-06-21 | 2022-08-02 | Globus Medical, Inc. | Robotic systems providing co-registration using natural fiducials and related methods |
| US12004905B2 (en) | 2012-06-21 | 2024-06-11 | Globus Medical, Inc. | Medical imaging systems using robotic actuators and related methods |
| US11864839B2 (en) | 2012-06-21 | 2024-01-09 | Globus Medical Inc. | Methods of adjusting a virtual implant and related surgical navigation systems |
| US11607149B2 (en) | 2012-06-21 | 2023-03-21 | Globus Medical Inc. | Surgical tool systems and method |
| US10350013B2 (en) | 2012-06-21 | 2019-07-16 | Globus Medical, Inc. | Surgical tool systems and methods |
| US10624710B2 (en) | 2012-06-21 | 2020-04-21 | Globus Medical, Inc. | System and method for measuring depth of instrumentation |
| US11253327B2 (en) | 2012-06-21 | 2022-02-22 | Globus Medical, Inc. | Systems and methods for automatically changing an end-effector on a surgical robot |
| US10136954B2 (en) | 2012-06-21 | 2018-11-27 | Globus Medical, Inc. | Surgical tool systems and method |
| US10231791B2 (en) | 2012-06-21 | 2019-03-19 | Globus Medical, Inc. | Infrared signal based position recognition system for use with a robot-assisted surgery |
| US11864745B2 (en) | 2012-06-21 | 2024-01-09 | Globus Medical, Inc. | Surgical robotic system with retractor |
| US11974822B2 (en) | 2012-06-21 | 2024-05-07 | Globus Medical Inc. | Method for a surveillance marker in robotic-assisted surgery |
| US11395706B2 (en) | 2012-06-21 | 2022-07-26 | Globus Medical Inc. | Surgical robot platform |
| US8882662B2 (en) | 2012-06-27 | 2014-11-11 | Camplex, Inc. | Interface for viewing video from cameras on a surgical visualization system |
| US9642606B2 (en) | 2012-06-27 | 2017-05-09 | Camplex, Inc. | Surgical visualization system |
| US9560954B2 (en) | 2012-07-24 | 2017-02-07 | Endochoice, Inc. | Connector for use with endoscope |
| DE102012106890A1 (de) * | 2012-07-30 | 2014-01-30 | Carl Zeiss Microscopy Gmbh | Dreidimensionale Darstellung von Objekten |
| US9729831B2 (en) * | 2012-11-29 | 2017-08-08 | Sony Corporation | Wireless surgical loupe |
| KR102218244B1 (ko) | 2012-12-10 | 2021-02-22 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 영상 포착 장치 및 조작 가능 장치 가동 아암들의 제어된 이동 중의 충돌 회피 |
| US9681982B2 (en) | 2012-12-17 | 2017-06-20 | Alcon Research, Ltd. | Wearable user interface for use with ocular surgical console |
| CA2895778C (en) * | 2012-12-20 | 2021-10-19 | Accenture Global Services Limited | Context based augmented reality |
| US20140176661A1 (en) | 2012-12-21 | 2014-06-26 | G. Anthony Reina | System and method for surgical telementoring and training with virtualized telestration and haptic holograms, including metadata tagging, encapsulation and saving multi-modal streaming medical imagery together with multi-dimensional [4-d] virtual mesh and multi-sensory annotation in standard file formats used for digital imaging and communications in medicine (dicom) |
| US20140188440A1 (en) | 2012-12-31 | 2014-07-03 | Intuitive Surgical Operations, Inc. | Systems And Methods For Interventional Procedure Planning |
| US10231867B2 (en) | 2013-01-18 | 2019-03-19 | Auris Health, Inc. | Method, apparatus and system for a water jet |
| JP2014147630A (ja) * | 2013-02-04 | 2014-08-21 | Canon Inc | 立体内視鏡装置 |
| US10080576B2 (en) | 2013-03-08 | 2018-09-25 | Auris Health, Inc. | Method, apparatus, and a system for facilitating bending of an instrument in a surgical or medical robotic environment |
| US9867635B2 (en) | 2013-03-08 | 2018-01-16 | Auris Surgical Robotics, Inc. | Method, apparatus and system for a water jet |
| US10149720B2 (en) | 2013-03-08 | 2018-12-11 | Auris Health, Inc. | Method, apparatus, and a system for facilitating bending of an instrument in a surgical or medical robotic environment |
| US9860510B2 (en) | 2013-03-15 | 2018-01-02 | Intuitive Surgical Operations, Inc. | Depth based modification of captured images |
| US9503624B2 (en) * | 2013-03-20 | 2016-11-22 | Electronics And Telecommunications Research Institute | Optical imaging system using multiple light sources and driving control method thereof |
| US9993142B2 (en) | 2013-03-28 | 2018-06-12 | Endochoice, Inc. | Fluid distribution device for a multiple viewing elements endoscope |
| US9986899B2 (en) | 2013-03-28 | 2018-06-05 | Endochoice, Inc. | Manifold for a multiple viewing elements endoscope |
| CN111329450A (zh) * | 2013-04-23 | 2020-06-26 | 雪松-西奈医学中心 | 用于从荧光团同时录制可见光图像和红外光图像的系统和方法 |
| US9407838B2 (en) | 2013-04-23 | 2016-08-02 | Cedars-Sinai Medical Center | Systems and methods for recording simultaneously visible light image and infrared light image from fluorophores |
| US10499794B2 (en) | 2013-05-09 | 2019-12-10 | Endochoice, Inc. | Operational interface in a multi-viewing element endoscope |
| WO2014189969A1 (en) | 2013-05-21 | 2014-11-27 | Camplex, Inc. | Surgical visualization systems |
| US10744035B2 (en) | 2013-06-11 | 2020-08-18 | Auris Health, Inc. | Methods for robotic assisted cataract surgery |
| KR101514204B1 (ko) * | 2013-07-12 | 2015-04-23 | 한국전기연구원 | 감시림프절의 근적외선 형광 검출 장치 및 방법 |
| US10426661B2 (en) | 2013-08-13 | 2019-10-01 | Auris Health, Inc. | Method and apparatus for laser assisted cataract surgery |
| WO2015031777A1 (en) * | 2013-08-29 | 2015-03-05 | Wayne State University | Camera control system and method |
| EP3046458B1 (en) | 2013-09-20 | 2020-10-21 | Camplex, Inc. | Surgical visualization systems |
| WO2015042460A1 (en) | 2013-09-20 | 2015-03-26 | Camplex, Inc. | Surgical visualization systems and displays |
| US9270919B2 (en) * | 2013-09-24 | 2016-02-23 | Karl Storz Imaging, Inc. | Simultaneous display of two or more different sequentially processed images |
| US9283048B2 (en) | 2013-10-04 | 2016-03-15 | KB Medical SA | Apparatus and systems for precise guidance of surgical tools |
| US9737373B2 (en) | 2013-10-24 | 2017-08-22 | Auris Surgical Robotics, Inc. | Instrument device manipulator and surgical drape |
| JP6656148B2 (ja) | 2013-10-24 | 2020-03-04 | オーリス ヘルス インコーポレイテッド | ロボット支援管腔内手術のためのシステムおよび関連する方法 |
| CN103654699B (zh) * | 2013-12-10 | 2016-05-25 | 西安电子科技大学 | 一种激发荧光双目内窥系统的成像方法 |
| WO2015093144A1 (ja) * | 2013-12-19 | 2015-06-25 | Dic株式会社 | 低アミン含有量のキナクリドン顔料、およびその製造方法 |
| WO2015107099A1 (en) | 2014-01-15 | 2015-07-23 | KB Medical SA | Notched apparatus for guidance of an insertable instrument along an axis during spinal surgery |
| CN105934216B (zh) * | 2014-01-24 | 2019-09-17 | 皇家飞利浦有限公司 | 机器人引导系统、控制单元和装置 |
| WO2015121311A1 (en) | 2014-02-11 | 2015-08-20 | KB Medical SA | Sterile handle for controlling a robotic surgical system from a sterile field |
| CN105722450B (zh) * | 2014-02-14 | 2018-01-23 | 奥林巴斯株式会社 | 内窥镜系统 |
| CN106456148B (zh) | 2014-03-19 | 2020-06-12 | 直观外科手术操作公司 | 使用眼球凝视跟踪的医疗装置、系统和方法 |
| US10432922B2 (en) * | 2014-03-19 | 2019-10-01 | Intuitive Surgical Operations, Inc. | Medical devices, systems, and methods using eye gaze tracking for stereo viewer |
| CN106132276B (zh) * | 2014-04-08 | 2018-08-07 | 奥林巴斯株式会社 | 荧光观察内窥镜系统 |
| WO2015162256A1 (en) | 2014-04-24 | 2015-10-29 | KB Medical SA | Surgical instrument holder for use with a robotic surgical system |
| CA2946595A1 (en) | 2014-05-05 | 2015-11-12 | Vicarious Surgical Inc. | Virtual reality surgical device |
| TWI480536B (zh) * | 2014-05-20 | 2015-04-11 | Univ Nat Taiwan | 螢光強度分析與螢光影像合成系統及其方法 |
| US9788910B2 (en) | 2014-07-01 | 2017-10-17 | Auris Surgical Robotics, Inc. | Instrument-mounted tension sensing mechanism for robotically-driven medical instruments |
| US10792464B2 (en) | 2014-07-01 | 2020-10-06 | Auris Health, Inc. | Tool and method for using surgical endoscope with spiral lumens |
| CN107072673A (zh) | 2014-07-14 | 2017-08-18 | Kb医疗公司 | 用于在骨组织中制备孔的防滑手术器械 |
| CN106714670A (zh) | 2014-07-24 | 2017-05-24 | 大学健康网络 | 用于诊断目的的数据的收集和分析 |
| JP6357377B2 (ja) * | 2014-07-24 | 2018-07-11 | オリンパス株式会社 | 観察装置 |
| WO2016014384A2 (en) | 2014-07-25 | 2016-01-28 | Covidien Lp | Augmented surgical reality environment |
| CN106535805B (zh) | 2014-07-25 | 2019-06-18 | 柯惠Lp公司 | 用于机器人手术系统的增强手术现实环境 |
| US20170035280A1 (en) * | 2015-08-07 | 2017-02-09 | Reinroth Gmbh | Stereoscopic endoscope system with concurrent imaging at visible and infrared wavelengths |
| JP6319449B2 (ja) * | 2014-09-18 | 2018-05-09 | 株式会社島津製作所 | イメージング装置 |
| US9833254B1 (en) | 2014-10-03 | 2017-12-05 | Verily Life Sciences Llc | Controlled dissection of biological tissue |
| CN104539828B (zh) * | 2014-12-03 | 2017-11-17 | 侯昌禾 | 基于智能眼镜设备的荧光照相、摄像系统及其控制方法 |
| WO2016090336A1 (en) | 2014-12-05 | 2016-06-09 | Camplex, Inc. | Surgical visualization systems and displays |
| WO2016116821A1 (en) * | 2015-01-22 | 2016-07-28 | Koninklijke Philips N.V. | Robotic control of an endovascular deployment device with optical shape sensing feedback |
| US10013808B2 (en) | 2015-02-03 | 2018-07-03 | Globus Medical, Inc. | Surgeon head-mounted display apparatuses |
| US10666928B2 (en) * | 2015-02-06 | 2020-05-26 | The University Of Akron | Optical imaging system and methods thereof |
| US10295815B2 (en) | 2015-02-09 | 2019-05-21 | Arizona Board Of Regents On Behalf Of The University Of Arizona | Augmented stereoscopic microscopy |
| WO2016131903A1 (en) | 2015-02-18 | 2016-08-25 | KB Medical SA | Systems and methods for performing minimally invasive spinal surgery with a robotic surgical system using a percutaneous technique |
| EP3277152A4 (en) | 2015-03-25 | 2018-12-26 | Camplex, Inc. | Surgical visualization systems and displays |
| CN107072479B (zh) * | 2015-03-30 | 2019-01-29 | 奥林巴斯株式会社 | 内窥镜装置 |
| US9707100B2 (en) | 2015-06-25 | 2017-07-18 | Institute for Musculoskeletal Science and Education, Ltd. | Interbody fusion device and system for implantation |
| EP3314234B1 (en) | 2015-06-26 | 2021-05-19 | Li-Cor, Inc. | Fluorescence biopsy specimen imager |
| DE102015111120A1 (de) * | 2015-07-09 | 2017-01-12 | Chromasens Gmbh | Verfahren und Vorrichtung zum Abtasten von Oberflächen mit einer Stereokamera |
| US10222619B2 (en) | 2015-07-12 | 2019-03-05 | Steven Sounyoung Yu | Head-worn image display apparatus for stereoscopic microsurgery |
| US10598914B2 (en) * | 2015-07-14 | 2020-03-24 | Massachusetts Institute Of Technology | Enhancement of video-rate fluorescence imagery collected in the second near-infrared optical window |
| EP3329832A1 (en) * | 2015-07-30 | 2018-06-06 | Olympus Corporation | Camera head for endoscopes, and endoscopic device provided with same |
| US10058394B2 (en) | 2015-07-31 | 2018-08-28 | Globus Medical, Inc. | Robot arm and methods of use |
| US10646298B2 (en) | 2015-07-31 | 2020-05-12 | Globus Medical, Inc. | Robot arm and methods of use |
| US10080615B2 (en) | 2015-08-12 | 2018-09-25 | Globus Medical, Inc. | Devices and methods for temporary mounting of parts to bone |
| US10687905B2 (en) | 2015-08-31 | 2020-06-23 | KB Medical SA | Robotic surgical systems and methods |
| CN113229942A (zh) | 2015-09-09 | 2021-08-10 | 奥瑞斯健康公司 | 手术器械装置操纵器 |
| US10034716B2 (en) | 2015-09-14 | 2018-07-31 | Globus Medical, Inc. | Surgical robotic systems and methods thereof |
| US9771092B2 (en) | 2015-10-13 | 2017-09-26 | Globus Medical, Inc. | Stabilizer wheel assembly and methods of use |
| DE102015221337A1 (de) | 2015-10-30 | 2017-05-04 | Keba Ag | Verfahren und Steuerungssystem zum Steuern der Bewegungen von Gelenkarmen eines Industrieroboters sowie dabei eingesetztes Bewegungsvorgabemittel |
| WO2017091704A1 (en) | 2015-11-25 | 2017-06-01 | Camplex, Inc. | Surgical visualization systems and displays |
| EP3391030A4 (en) * | 2015-12-14 | 2019-06-12 | Intuitive Surgical Operations Inc. | APPARATUS AND METHOD FOR GENERATING ANATOMIC TARGET 3D DATA USING OPTICAL FIBER SHAPE DETECTION |
| CN106921857A (zh) * | 2015-12-25 | 2017-07-04 | 珠海明医医疗科技有限公司 | 立体显示系统及立体显示方法 |
| US11883217B2 (en) | 2016-02-03 | 2024-01-30 | Globus Medical, Inc. | Portable medical imaging system and method |
| US10117632B2 (en) | 2016-02-03 | 2018-11-06 | Globus Medical, Inc. | Portable medical imaging system with beam scanning collimator |
| US10448910B2 (en) | 2016-02-03 | 2019-10-22 | Globus Medical, Inc. | Portable medical imaging system |
| US11058378B2 (en) | 2016-02-03 | 2021-07-13 | Globus Medical, Inc. | Portable medical imaging system |
| US10842453B2 (en) | 2016-02-03 | 2020-11-24 | Globus Medical, Inc. | Portable medical imaging system |
| EP3205254B1 (en) * | 2016-02-15 | 2020-11-18 | Leica Instruments (Singapore) Pte. Ltd. | Medical inspection apparatus, such as a microscope or endoscope, using pseudocolors |
| US10866119B2 (en) | 2016-03-14 | 2020-12-15 | Globus Medical, Inc. | Metal detector for detecting insertion of a surgical device into a hollow tube |
| JP2017176318A (ja) * | 2016-03-29 | 2017-10-05 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用立体観察装置、医療用立体観察方法、プログラム、及び医療用立体観察システム |
| EP3241518B1 (en) | 2016-04-11 | 2024-10-23 | Globus Medical, Inc | Surgical tool systems |
| US20170296679A1 (en) * | 2016-04-18 | 2017-10-19 | Intuitive Surgical Operations, Inc. | Compositions of Near IR Closed Chain, Sulfo-Cyanine Dyes and Prostate Specific Membrane Antigen Ligands |
| US10447906B2 (en) * | 2016-05-02 | 2019-10-15 | Visionsense Ltd. | Dual path endoscope |
| EP3248531A1 (en) * | 2016-05-23 | 2017-11-29 | Leica Instruments (Singapore) Pte. Ltd. | Medical observation device, such as a microscope or an endoscope, and method using a pseudo-color pattern having temporal and/or spatial modulation |
| US10278586B2 (en) | 2016-06-23 | 2019-05-07 | Li-Cor, Inc. | Complementary color flashing for multichannel image presentation |
| DE102016113000A1 (de) | 2016-07-14 | 2018-01-18 | Aesculap Ag | Endoskopische Vorrichtung und Verfahren zur endoskopischen Untersuchung |
| DE102017119850B4 (de) | 2016-08-29 | 2023-12-28 | Elmos Semiconductor Se | Verfahren zur Power-Line basierenden Regelung der Versorgungsspannung von LEDs |
| DE102017119847B4 (de) | 2016-08-29 | 2023-12-28 | Elmos Semiconductor Se | Fehlerrobuste und energieeffiziente Energieversorgung Vorrichtung zur Versorgung einer Mehrzahl von LED-Gruppen mit elektrischer Energie basierend auf der Erfassung der Spannungsabfälle über deren Stromquellen |
| DE102017119853B4 (de) | 2016-08-29 | 2023-12-28 | Elmos Semiconductor Se | Verfahren zur drahtlosen Regelung der Betriebsspannung für LED Beleuchtungen |
| DE102017119848B4 (de) | 2016-08-29 | 2023-12-28 | Elmos Semiconductor Se | Fehlerrobuste und energieeffiziente Vorrichtung zur Versorgung einer Mehrzahl von LED-Gruppen mit elektrischer Energie basierend auf der Erfassung der Spannungsabfälle über die LEDs |
| DE102017119851B4 (de) | 2016-08-29 | 2023-12-28 | Elmos Semiconductor Se | Verfahren zur drahtlosen Regelung der Betriebsspannung für Verbraucher mit verbraucherbedingter fester Betriebsspannung (insbes. LEDs) |
| DE102017119849B4 (de) | 2016-08-29 | 2023-12-28 | Elmos Semiconductor Se | Verfahren zur fehlerrobusten und energieeffizienten Energieversorgung für LEDs |
| DE102017119852B4 (de) | 2016-08-29 | 2023-12-28 | Elmos Semiconductor Se | Verfahren zur Power-Line basierenden Regelung der Betriebsspannung für Verbraucher mit verbraucherbedingter fester Betriebsspannung (insbes. LEDs) |
| US11911003B2 (en) | 2016-09-09 | 2024-02-27 | Intuitive Surgical Operations, Inc. | Simultaneous white light and hyperspectral light imaging systems |
| US10307265B2 (en) | 2016-10-18 | 2019-06-04 | Institute for Musculoskeletal Science and Education, Ltd. | Implant with deployable blades |
| US10405992B2 (en) | 2016-10-25 | 2019-09-10 | Institute for Musculoskeletal Science and Education, Ltd. | Spinal fusion implant |
| JP6368886B1 (ja) * | 2016-11-08 | 2018-08-01 | オリンパス株式会社 | 内視鏡システム |
| US20180140375A1 (en) * | 2016-11-23 | 2018-05-24 | Roger de la Torre | Videoscopic surgery and endoscopic surgery procedures employing oscillating images |
| CN106420057B (zh) * | 2016-11-23 | 2023-09-08 | 北京锐视康科技发展有限公司 | 一种pet-荧光双模态术中导航成像系统及其成像方法 |
| WO2018098162A1 (en) * | 2016-11-23 | 2018-05-31 | Li-Cor, Inc. | Motion-adaptive interactive imaging method |
| EP3566212A4 (en) * | 2017-01-06 | 2020-08-19 | Intuitive Surgical Operations Inc. | SYSTEM AND PROCEDURE FOR REGISTRATION AND COORDINATED MANIPULATION OF IMAGE COMPONENTS WITH EXTENDED REALITY |
| EP3360502A3 (en) | 2017-01-18 | 2018-10-31 | KB Medical SA | Robotic navigation of robotic surgical systems |
| ES2923898T3 (es) | 2017-02-18 | 2022-10-03 | Univ Rochester | Dispositivos de obtención de imágenes médicas y visualización quirúrgica que utilizan polímeros fluorescentes de infrarrojo cercano |
| DE102017203448B9 (de) | 2017-03-02 | 2021-12-23 | Carl Zeiss Meditec Ag | Mikroskopiesystem und Mikroskopieverfahren zum Quantifizieren einer Fluoreszenz |
| US11071594B2 (en) | 2017-03-16 | 2021-07-27 | KB Medical SA | Robotic navigation of robotic surgical systems |
| WO2018175583A1 (en) * | 2017-03-21 | 2018-09-27 | Stryker Corporation | Methods and systems to automate surgical interventions |
| WO2018200261A1 (en) | 2017-04-25 | 2018-11-01 | Li-Cor, Inc. | Top-down and rotational side view biopsy specimen imager and methods |
| US10918455B2 (en) | 2017-05-08 | 2021-02-16 | Camplex, Inc. | Variable light source |
| US10806532B2 (en) | 2017-05-24 | 2020-10-20 | KindHeart, Inc. | Surgical simulation system using force sensing and optical tracking and robotic surgery system |
| WO2018225122A1 (ja) * | 2017-06-05 | 2018-12-13 | オリンパス株式会社 | 内視鏡装置 |
| WO2018232280A1 (en) | 2017-06-15 | 2018-12-20 | The Johns Hopkins University | Psma targeted fluorescent agents for image guided surgery |
| EP3417763A1 (en) * | 2017-06-22 | 2018-12-26 | Helmholtz Zentrum München - Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) | System for endoscopic imaging |
| US10675094B2 (en) | 2017-07-21 | 2020-06-09 | Globus Medical Inc. | Robot surgical platform |
| CA2983780C (en) | 2017-10-25 | 2020-07-14 | Synaptive Medical (Barbados) Inc. | Surgical imaging sensor and display unit, and surgical navigation system associated therewith |
| US11793537B2 (en) | 2017-10-30 | 2023-10-24 | Cilag Gmbh International | Surgical instrument comprising an adaptive electrical system |
| US11911045B2 (en) | 2017-10-30 | 2024-02-27 | Cllag GmbH International | Method for operating a powered articulating multi-clip applier |
| US11801098B2 (en) | 2017-10-30 | 2023-10-31 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
| US11564756B2 (en) | 2017-10-30 | 2023-01-31 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
| US11510741B2 (en) | 2017-10-30 | 2022-11-29 | Cilag Gmbh International | Method for producing a surgical instrument comprising a smart electrical system |
| US10898252B2 (en) | 2017-11-09 | 2021-01-26 | Globus Medical, Inc. | Surgical robotic systems for bending surgical rods, and related methods and devices |
| US11357548B2 (en) | 2017-11-09 | 2022-06-14 | Globus Medical, Inc. | Robotic rod benders and related mechanical and motor housings |
| WO2019094639A1 (en) * | 2017-11-09 | 2019-05-16 | Rebellion Photonics, Inc. | Window obscuration sensors for mobile gas and chemical imaging cameras |
| US11794338B2 (en) | 2017-11-09 | 2023-10-24 | Globus Medical Inc. | Robotic rod benders and related mechanical and motor housings |
| US11134862B2 (en) | 2017-11-10 | 2021-10-05 | Globus Medical, Inc. | Methods of selecting surgical implants and related devices |
| US11903601B2 (en) | 2017-12-28 | 2024-02-20 | Cilag Gmbh International | Surgical instrument comprising a plurality of drive systems |
| US11464559B2 (en) | 2017-12-28 | 2022-10-11 | Cilag Gmbh International | Estimating state of ultrasonic end effector and control system therefor |
| US11666331B2 (en) | 2017-12-28 | 2023-06-06 | Cilag Gmbh International | Systems for detecting proximity of surgical end effector to cancerous tissue |
| US11026751B2 (en) | 2017-12-28 | 2021-06-08 | Cilag Gmbh International | Display of alignment of staple cartridge to prior linear staple line |
| US11389164B2 (en) | 2017-12-28 | 2022-07-19 | Cilag Gmbh International | Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices |
| US11076921B2 (en) | 2017-12-28 | 2021-08-03 | Cilag Gmbh International | Adaptive control program updates for surgical hubs |
| US20190206569A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Method of cloud based data analytics for use with the hub |
| US11109866B2 (en) | 2017-12-28 | 2021-09-07 | Cilag Gmbh International | Method for circular stapler control algorithm adjustment based on situational awareness |
| US11744604B2 (en) | 2017-12-28 | 2023-09-05 | Cilag Gmbh International | Surgical instrument with a hardware-only control circuit |
| US11376002B2 (en) | 2017-12-28 | 2022-07-05 | Cilag Gmbh International | Surgical instrument cartridge sensor assemblies |
| US11179175B2 (en) | 2017-12-28 | 2021-11-23 | Cilag Gmbh International | Controlling an ultrasonic surgical instrument according to tissue location |
| US11612444B2 (en) | 2017-12-28 | 2023-03-28 | Cilag Gmbh International | Adjustment of a surgical device function based on situational awareness |
| US11969142B2 (en) | 2017-12-28 | 2024-04-30 | Cilag Gmbh International | Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws |
| US11132462B2 (en) | 2017-12-28 | 2021-09-28 | Cilag Gmbh International | Data stripping method to interrogate patient records and create anonymized record |
| US11771487B2 (en) | 2017-12-28 | 2023-10-03 | Cilag Gmbh International | Mechanisms for controlling different electromechanical systems of an electrosurgical instrument |
| US11896322B2 (en) | 2017-12-28 | 2024-02-13 | Cilag Gmbh International | Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub |
| US11257589B2 (en) | 2017-12-28 | 2022-02-22 | Cilag Gmbh International | Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes |
| US10758310B2 (en) | 2017-12-28 | 2020-09-01 | Ethicon Llc | Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices |
| US11678881B2 (en) | 2017-12-28 | 2023-06-20 | Cilag Gmbh International | Spatial awareness of surgical hubs in operating rooms |
| US11166772B2 (en) | 2017-12-28 | 2021-11-09 | Cilag Gmbh International | Surgical hub coordination of control and communication of operating room devices |
| US11013563B2 (en) | 2017-12-28 | 2021-05-25 | Ethicon Llc | Drive arrangements for robot-assisted surgical platforms |
| US11818052B2 (en) | 2017-12-28 | 2023-11-14 | Cilag Gmbh International | Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs |
| US10892995B2 (en) * | 2017-12-28 | 2021-01-12 | Ethicon Llc | Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs |
| US12062442B2 (en) | 2017-12-28 | 2024-08-13 | Cilag Gmbh International | Method for operating surgical instrument systems |
| US11969216B2 (en) | 2017-12-28 | 2024-04-30 | Cilag Gmbh International | Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution |
| US11998193B2 (en) | 2017-12-28 | 2024-06-04 | Cilag Gmbh International | Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation |
| US11864728B2 (en) | 2017-12-28 | 2024-01-09 | Cilag Gmbh International | Characterization of tissue irregularities through the use of mono-chromatic light refractivity |
| US20190201146A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Safety systems for smart powered surgical stapling |
| US11202570B2 (en) | 2017-12-28 | 2021-12-21 | Cilag Gmbh International | Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems |
| US11832899B2 (en) | 2017-12-28 | 2023-12-05 | Cilag Gmbh International | Surgical systems with autonomously adjustable control programs |
| US11786251B2 (en) | 2017-12-28 | 2023-10-17 | Cilag Gmbh International | Method for adaptive control schemes for surgical network control and interaction |
| US11857152B2 (en) | 2017-12-28 | 2024-01-02 | Cilag Gmbh International | Surgical hub spatial awareness to determine devices in operating theater |
| US11937769B2 (en) | 2017-12-28 | 2024-03-26 | Cilag Gmbh International | Method of hub communication, processing, storage and display |
| US12096916B2 (en) | 2017-12-28 | 2024-09-24 | Cilag Gmbh International | Method of sensing particulate from smoke evacuated from a patient, adjusting the pump speed based on the sensed information, and communicating the functional parameters of the system to the hub |
| US11896443B2 (en) | 2017-12-28 | 2024-02-13 | Cilag Gmbh International | Control of a surgical system through a surgical barrier |
| US20190254753A1 (en) | 2018-02-19 | 2019-08-22 | Globus Medical, Inc. | Augmented reality navigation systems for use with robotic surgical systems and methods of their use |
| KR101903423B1 (ko) * | 2018-02-20 | 2018-10-04 | 한국광기술원 | 광진단 및 광치료를 위한 하이브리드 이미징 시스템 |
| US11259830B2 (en) | 2018-03-08 | 2022-03-01 | Cilag Gmbh International | Methods for controlling temperature in ultrasonic device |
| US11399858B2 (en) | 2018-03-08 | 2022-08-02 | Cilag Gmbh International | Application of smart blade technology |
| US11678927B2 (en) | 2018-03-08 | 2023-06-20 | Cilag Gmbh International | Detection of large vessels during parenchymal dissection using a smart blade |
| CN111867441B (zh) * | 2018-03-23 | 2024-08-02 | 索尼奥林巴斯医疗解决方案公司 | 医疗显示控制装置和显示控制方法 |
| US11090047B2 (en) | 2018-03-28 | 2021-08-17 | Cilag Gmbh International | Surgical instrument comprising an adaptive control system |
| US11259806B2 (en) | 2018-03-28 | 2022-03-01 | Cilag Gmbh International | Surgical stapling devices with features for blocking advancement of a camming assembly of an incompatible cartridge installed therein |
| US10573023B2 (en) | 2018-04-09 | 2020-02-25 | Globus Medical, Inc. | Predictive visualization of medical imaging scanner component movement |
| US11647888B2 (en) | 2018-04-20 | 2023-05-16 | Covidien Lp | Compensation for observer movement in robotic surgical systems having stereoscopic displays |
| DE102018110640B4 (de) * | 2018-05-03 | 2020-01-23 | Carl Zeiss Meditec Ag | Verfahren und Mikroskop zum Abbilden eines Objekts |
| US10895757B2 (en) | 2018-07-03 | 2021-01-19 | Verb Surgical Inc. | Systems and methods for three-dimensional visualization during robotic surgery |
| JP6461411B1 (ja) * | 2018-07-13 | 2019-01-30 | パナソニック株式会社 | 内視鏡システム |
| US20210307597A1 (en) * | 2018-07-23 | 2021-10-07 | The Regents Of The University Of California | Oral and oropharyngeal cancer screening system and methods of use |
| CN109151273B (zh) * | 2018-08-27 | 2020-09-04 | 彭波 | 一种光扇立体摄像机及立体测量方法 |
| CN109259717B (zh) * | 2018-08-27 | 2020-08-14 | 彭波 | 一种立体内窥镜及内窥镜测量方法 |
| WO2020061097A1 (en) * | 2018-09-18 | 2020-03-26 | The Johns Hopkins University | Neuromodulation based nerve identification |
| JP7325173B2 (ja) * | 2018-10-06 | 2023-08-14 | シスメックス株式会社 | 手術支援ロボットの遠隔支援方法、および遠隔支援システム |
| JP7277108B2 (ja) * | 2018-10-30 | 2023-05-18 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用観察システム、および医療用観察システムの作動方法 |
| US11337742B2 (en) | 2018-11-05 | 2022-05-24 | Globus Medical Inc | Compliant orthopedic driver |
| JP7286948B2 (ja) * | 2018-11-07 | 2023-06-06 | ソニーグループ株式会社 | 医療用観察システム、信号処理装置及び医療用観察方法 |
| US11278360B2 (en) | 2018-11-16 | 2022-03-22 | Globus Medical, Inc. | End-effectors for surgical robotic systems having sealed optical components |
| US11602402B2 (en) | 2018-12-04 | 2023-03-14 | Globus Medical, Inc. | Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems |
| US11744655B2 (en) | 2018-12-04 | 2023-09-05 | Globus Medical, Inc. | Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems |
| WO2020117744A1 (en) * | 2018-12-05 | 2020-06-11 | Intuitive Surgical Operations, Inc. | Illumination corrected near-infrared (nir) imaging for image guided surgery |
| RU2697062C1 (ru) * | 2018-12-10 | 2019-08-09 | Закрытое акционерное общество "МНИТИ" (ЗАО "МНИТИ") | Способ наблюдения объектов |
| US11357593B2 (en) * | 2019-01-10 | 2022-06-14 | Covidien Lp | Endoscopic imaging with augmented parallax |
| US11625825B2 (en) | 2019-01-30 | 2023-04-11 | Covidien Lp | Method for displaying tumor location within endoscopic images |
| US11331100B2 (en) | 2019-02-19 | 2022-05-17 | Cilag Gmbh International | Staple cartridge retainer system with authentication keys |
| US11918313B2 (en) | 2019-03-15 | 2024-03-05 | Globus Medical Inc. | Active end effectors for surgical robots |
| US11571265B2 (en) | 2019-03-22 | 2023-02-07 | Globus Medical Inc. | System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices |
| US11806084B2 (en) | 2019-03-22 | 2023-11-07 | Globus Medical, Inc. | System for neuronavigation registration and robotic trajectory guidance, and related methods and devices |
| US11419616B2 (en) | 2019-03-22 | 2022-08-23 | Globus Medical, Inc. | System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices |
| US11317978B2 (en) | 2019-03-22 | 2022-05-03 | Globus Medical, Inc. | System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices |
| US11382549B2 (en) | 2019-03-22 | 2022-07-12 | Globus Medical, Inc. | System for neuronavigation registration and robotic trajectory guidance, and related methods and devices |
| US20200297357A1 (en) | 2019-03-22 | 2020-09-24 | Globus Medical, Inc. | System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices |
| US11045179B2 (en) | 2019-05-20 | 2021-06-29 | Global Medical Inc | Robot-mounted retractor system |
| DE102019114817B4 (de) * | 2019-06-03 | 2021-12-02 | Karl Storz Se & Co. Kg | Bildgebungssystem und Verfahren zur Beobachtung |
| US11288772B2 (en) * | 2019-06-20 | 2022-03-29 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed fluorescence imaging system |
| US11276148B2 (en) * | 2019-06-20 | 2022-03-15 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed fluorescence imaging system |
| US11398011B2 (en) | 2019-06-20 | 2022-07-26 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed laser mapping imaging system |
| US11280737B2 (en) | 2019-06-20 | 2022-03-22 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed fluorescence imaging system |
| US11793399B2 (en) | 2019-06-20 | 2023-10-24 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system |
| US11589819B2 (en) * | 2019-06-20 | 2023-02-28 | Cilag Gmbh International | Offset illumination of a scene using multiple emitters in a laser mapping imaging system |
| US11628023B2 (en) | 2019-07-10 | 2023-04-18 | Globus Medical, Inc. | Robotic navigational system for interbody implants |
| CN110432856A (zh) * | 2019-09-02 | 2019-11-12 | 太原理工大学 | 一种用于检查鼻窦的内窥镜控制系统 |
| US11571171B2 (en) | 2019-09-24 | 2023-02-07 | Globus Medical, Inc. | Compound curve cable chain |
| US11864857B2 (en) | 2019-09-27 | 2024-01-09 | Globus Medical, Inc. | Surgical robot with passive end effector |
| US11890066B2 (en) | 2019-09-30 | 2024-02-06 | Globus Medical, Inc | Surgical robot with passive end effector |
| US11426178B2 (en) | 2019-09-27 | 2022-08-30 | Globus Medical Inc. | Systems and methods for navigating a pin guide driver |
| US11510684B2 (en) | 2019-10-14 | 2022-11-29 | Globus Medical, Inc. | Rotary motion passive end effector for surgical robots in orthopedic surgeries |
| CN114786592A (zh) * | 2019-11-08 | 2022-07-22 | 直观外科手术操作公司 | 使用器械方位数据的变化将器械配准到图像的系统和方法 |
| US11992373B2 (en) | 2019-12-10 | 2024-05-28 | Globus Medical, Inc | Augmented reality headset with varied opacity for navigated robotic surgery |
| US12064189B2 (en) | 2019-12-13 | 2024-08-20 | Globus Medical, Inc. | Navigated instrument for use in robotic guided surgery |
| US11472036B2 (en) * | 2019-12-23 | 2022-10-18 | Intrinsic Innovation Llc | Reducing motion blur for robot-mounted cameras |
| JP2021108793A (ja) * | 2020-01-07 | 2021-08-02 | ソニーグループ株式会社 | 医療画像生成装置、医療画像生成方法および医療画像生成プログラム |
| US11464581B2 (en) | 2020-01-28 | 2022-10-11 | Globus Medical, Inc. | Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums |
| US11382699B2 (en) | 2020-02-10 | 2022-07-12 | Globus Medical Inc. | Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery |
| US11207150B2 (en) | 2020-02-19 | 2021-12-28 | Globus Medical, Inc. | Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment |
| JP7449736B2 (ja) * | 2020-03-18 | 2024-03-14 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置及び医療用観察システム |
| CN111449611B (zh) * | 2020-04-10 | 2021-04-09 | 深圳迈瑞生物医疗电子股份有限公司 | 一种内窥镜系统及其成像方法 |
| CN113633378B (zh) * | 2020-04-27 | 2022-08-12 | 成都术通科技有限公司 | 位置确定方法、装置、设备及存储介质 |
| US11253216B2 (en) | 2020-04-28 | 2022-02-22 | Globus Medical Inc. | Fixtures for fluoroscopic imaging systems and related navigation systems and methods |
| US11607277B2 (en) | 2020-04-29 | 2023-03-21 | Globus Medical, Inc. | Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery |
| US11510750B2 (en) | 2020-05-08 | 2022-11-29 | Globus Medical, Inc. | Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications |
| US11153555B1 (en) | 2020-05-08 | 2021-10-19 | Globus Medical Inc. | Extended reality headset camera system for computer assisted navigation in surgery |
| US11382700B2 (en) | 2020-05-08 | 2022-07-12 | Globus Medical Inc. | Extended reality headset tool tracking and control |
| US11087557B1 (en) * | 2020-06-03 | 2021-08-10 | Tovy Kamine | Methods and systems for remote augmented reality communication for guided surgery |
| US11317973B2 (en) | 2020-06-09 | 2022-05-03 | Globus Medical, Inc. | Camera tracking bar for computer assisted navigation during surgery |
| US12070276B2 (en) | 2020-06-09 | 2024-08-27 | Globus Medical Inc. | Surgical object tracking in visible light via fiducial seeding and synthetic image registration |
| US11382713B2 (en) | 2020-06-16 | 2022-07-12 | Globus Medical, Inc. | Navigated surgical system with eye to XR headset display calibration |
| US11877807B2 (en) | 2020-07-10 | 2024-01-23 | Globus Medical, Inc | Instruments for navigated orthopedic surgeries |
| DE102020118814A1 (de) | 2020-07-16 | 2022-01-20 | avateramedical GmBH | Stereoendoskop |
| US11793588B2 (en) | 2020-07-23 | 2023-10-24 | Globus Medical, Inc. | Sterile draping of robotic arms |
| DE102020121650A1 (de) | 2020-08-18 | 2022-02-24 | Carl Zeiss Meditec Ag | Verfahren zum Unterdrücken von Störlicht, laserchirurgische Vorrichtung, optisches Beobachtungsgerät und Computerprogramm |
| US11737831B2 (en) | 2020-09-02 | 2023-08-29 | Globus Medical Inc. | Surgical object tracking template generation for computer assisted navigation during surgical procedure |
| US11523785B2 (en) | 2020-09-24 | 2022-12-13 | Globus Medical, Inc. | Increased cone beam computed tomography volume length without requiring stitching or longitudinal C-arm movement |
| US12016656B2 (en) * | 2020-10-09 | 2024-06-25 | QuantuMed Pty Ltd | Cellular ionic activity visualisation |
| US12076091B2 (en) | 2020-10-27 | 2024-09-03 | Globus Medical, Inc. | Robotic navigational system |
| US11911112B2 (en) | 2020-10-27 | 2024-02-27 | Globus Medical, Inc. | Robotic navigational system |
| US11941814B2 (en) | 2020-11-04 | 2024-03-26 | Globus Medical Inc. | Auto segmentation using 2-D images taken during 3-D imaging spin |
| DE102020129739B4 (de) | 2020-11-11 | 2023-03-02 | Karl Storz Se & Co. Kg | Endoskopische und/oder exoskopische Bildgebungsvorrichtung zur spektralen Bildgebung, Endoskop und/oder Exoskop mit einer Bildgebungsvorrichtung |
| USD1022197S1 (en) | 2020-11-19 | 2024-04-09 | Auris Health, Inc. | Endoscope |
| US11717350B2 (en) | 2020-11-24 | 2023-08-08 | Globus Medical Inc. | Methods for robotic assistance and navigation in spinal surgery and related systems |
| US12070286B2 (en) | 2021-01-08 | 2024-08-27 | Globus Medical, Inc | System and method for ligament balancing with robotic assistance |
| CN112869789B (zh) * | 2021-01-12 | 2022-02-22 | 曹天生 | 一种用于肝胆胰外科的手术辅助系统 |
| US11599999B2 (en) | 2021-02-03 | 2023-03-07 | Verily Life Sciences Llc | Apparatus, system, and method for fluorescence imaging with stray light reduction |
| US20220336097A1 (en) * | 2021-04-14 | 2022-10-20 | Cilag Gmbh International | Risk based prioritization of display aspects in surgical field view |
| CN113208567A (zh) * | 2021-06-07 | 2021-08-06 | 上海微创医疗机器人（集团）股份有限公司 | 多光谱成像系统、成像方法和存储介质 |
| US11857273B2 (en) | 2021-07-06 | 2024-01-02 | Globus Medical, Inc. | Ultrasonic robotic surgical navigation |
| US11439444B1 (en) | 2021-07-22 | 2022-09-13 | Globus Medical, Inc. | Screw tower and rod reduction tool |
| CN118695823A (zh) * | 2021-10-15 | 2024-09-24 | 威博外科公司 | 用于术中可视化的装置、系统和方法 |
| EP4440479A1 (en) | 2021-11-30 | 2024-10-09 | Endoquest Robotics, Inc. | Steerable overtube assemblies for robotic surgical systems |
| TW202419071A (zh) | 2021-11-30 | 2024-05-16 | 美商安督奎斯特機器人公司 | 機器人手術系統及其控制模組 |
| US11918304B2 (en) | 2021-12-20 | 2024-03-05 | Globus Medical, Inc | Flat panel registration fixture and method of using same |
| US12103480B2 (en) | 2022-03-18 | 2024-10-01 | Globus Medical Inc. | Omni-wheel cable pusher |
| US12048493B2 (en) | 2022-03-31 | 2024-07-30 | Globus Medical, Inc. | Camera tracking system identifying phantom markers during computer assisted surgery navigation |
| US20230360216A1 (en) * | 2022-05-03 | 2023-11-09 | Covidien Lp | Systems and methods for detecting perfusion in surgery |
| DE102023200671B3 (de) | 2023-01-27 | 2024-08-01 | Carl Zeiss Meditec Ag | Verfahren zum Bereitstellen einer Abbildung mittels eines Operationsmikroskops und Operationsmikroskop |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3285265B2 (ja) * | 1993-12-03 | 2002-05-27 | オリンパス光学工業株式会社 | 蛍光観察装置 |
Family Cites Families (58)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5940830A (ja) * | 1982-08-31 | 1984-03-06 | 浜松ホトニクス株式会社 | レ−ザ光パルスを用いた癌の診断装置 |
| US4541438A (en) | 1983-06-02 | 1985-09-17 | The Johns Hopkins University | Localization of cancerous tissue by monitoring infrared fluorescence emitted by intravenously injected porphyrin tumor-specific markers excited by long wavelength light |
| US4930516B1 (en) | 1985-11-13 | 1998-08-04 | Laser Diagnostic Instr Inc | Method for detecting cancerous tissue using visible native luminescence |
| JPS63122421A (ja) * | 1986-11-12 | 1988-05-26 | 株式会社東芝 | 内視鏡装置 |
| US5092331A (en) | 1989-01-30 | 1992-03-03 | Olympus Optical Co., Ltd. | Fluorescence endoscopy and endoscopic device therefor |
| JP3461499B2 (ja) | 1991-03-11 | 2003-10-27 | オリンパス光学工業株式会社 | 画像処理装置 |
| CA2042075C (en) | 1991-05-08 | 2001-01-23 | Branko Palcic | Endoscopic imaging system |
| US5769792A (en) * | 1991-07-03 | 1998-06-23 | Xillix Technologies Corp. | Endoscopic imaging system for diseased tissue |
| JP3169998B2 (ja) * | 1991-10-04 | 2001-05-28 | オリンパス光学工業株式会社 | 内視鏡装置 |
| US5749830A (en) * | 1993-12-03 | 1998-05-12 | Olympus Optical Co., Ltd. | Fluorescent endoscope apparatus |
| US5590660A (en) | 1994-03-28 | 1997-01-07 | Xillix Technologies Corp. | Apparatus and method for imaging diseased tissue using integrated autofluorescence |
| DE19535114B4 (de) * | 1994-09-21 | 2013-09-05 | Hoya Corp. | Endoskopsystem mit Fluoreszenzdiagnose |
| US7179222B2 (en) | 1996-11-20 | 2007-02-20 | Olympus Corporation | Fluorescent endoscope system enabling simultaneous achievement of normal light observation based on reflected light and fluorescence observation based on light with wavelengths in infrared spectrum |
| US6110106A (en) * | 1998-06-24 | 2000-08-29 | Biomax Technologies, Inc. | Endoscopes and methods relating to direct viewing of a target tissue |
| US7683926B2 (en) * | 1999-02-25 | 2010-03-23 | Visionsense Ltd. | Optical device |
| US6635011B1 (en) | 2000-01-14 | 2003-10-21 | Pentax Corporation | Electronic endoscope system |
| IL135571A0 (en) * | 2000-04-10 | 2001-05-20 | Doron Adler | Minimal invasive surgery imaging system |
| US6468204B2 (en) * | 2000-05-25 | 2002-10-22 | Fuji Photo Film Co., Ltd. | Fluorescent endoscope apparatus |
| JP2002000560A (ja) | 2000-06-16 | 2002-01-08 | Matsushita Electric Ind Co Ltd | 撮影装置 |
| US6975898B2 (en) * | 2000-06-19 | 2005-12-13 | University Of Washington | Medical imaging, diagnosis, and therapy using a scanning single optical fiber system |
| EP1301118B1 (en) | 2000-07-14 | 2006-09-06 | Xillix Technologies Corp. | Compact fluorescence endoscopy video system |
| JP3579638B2 (ja) * | 2000-08-08 | 2004-10-20 | ペンタックス株式会社 | 内視鏡装置 |
| US6582363B2 (en) * | 2000-08-25 | 2003-06-24 | Pentax Corporation | Video endoscope system and illumination optical system |
| US6826424B1 (en) * | 2000-12-19 | 2004-11-30 | Haishan Zeng | Methods and apparatus for fluorescence and reflectance imaging and spectroscopy and for contemporaneous measurements of electromagnetic radiation with multiple measuring devices |
| JP3762646B2 (ja) | 2001-02-01 | 2006-04-05 | オリンパス株式会社 | 蛍光観察装置 |
| SE519062C2 (sv) | 2001-05-03 | 2003-01-07 | Alfa Laval Corp Ab | Sätt att sammanlöda tunna värmeväxlarplattor samt lödd plattvärmeväxlare framställd enligt sättet |
| US6960165B2 (en) * | 2001-05-16 | 2005-11-01 | Olympus Corporation | Endoscope with a single image pick-up element for fluorescent and normal-light images |
| US7172553B2 (en) * | 2001-05-16 | 2007-02-06 | Olympus Corporation | Endoscope system using normal light and fluorescence |
| US7588535B2 (en) * | 2001-12-11 | 2009-09-15 | C2Cure Inc. | Apparatus, method and system for intravascular photographic imaging |
| EP1469777A4 (en) | 2002-01-09 | 2007-04-04 | Neoguide Systems Inc | APPARATUS AND METHOD FOR SPECTROSCOPIC COLON EXAMINATION |
| US7170677B1 (en) | 2002-01-25 | 2007-01-30 | Everest Vit | Stereo-measurement borescope with 3-D viewing |
| US6857746B2 (en) * | 2002-07-01 | 2005-02-22 | Io2 Technology, Llc | Method and system for free-space imaging display and interface |
| JP2004248721A (ja) * | 2003-02-18 | 2004-09-09 | Pentax Corp | 診断補助用装置 |
| JP2004289545A (ja) | 2003-03-24 | 2004-10-14 | Victor Co Of Japan Ltd | 色分解光学系及びこれを用いた撮像装置 |
| US20050027166A1 (en) * | 2003-06-17 | 2005-02-03 | Shinya Matsumoto | Endoscope system for fluorescent observation |
| WO2005048826A1 (ja) | 2003-11-20 | 2005-06-02 | Hamamatsu Photonics K.K. | リンパ節検出装置 |
| EP1705513A1 (en) | 2003-12-19 | 2006-09-27 | Enrique De Font-Réaulx-Rojas | System for the stereoscopic viewing of real-time or static images |
| JP4611674B2 (ja) * | 2004-06-29 | 2011-01-12 | Ｈｏｙａ株式会社 | 電子内視鏡システム |
| JP2006006834A (ja) | 2004-06-29 | 2006-01-12 | Pentax Corp | 電子内視鏡システム |
| JP2006014868A (ja) | 2004-06-30 | 2006-01-19 | Hamamatsu Photonics Kk | リンパ節検出装置 |
| JP4575720B2 (ja) | 2004-07-23 | 2010-11-04 | Ｈｏｙａ株式会社 | 電子内視鏡システム |
| JP5197916B2 (ja) | 2004-09-08 | 2013-05-15 | オリンパス株式会社 | 内視鏡装置 |
| JP2006256191A (ja) | 2005-03-18 | 2006-09-28 | Seiko Epson Corp | 液体噴射ヘッド駆動回路、該液体噴射ヘッド駆動回路を備えた液体噴射装置 |
| JP4723281B2 (ja) | 2005-05-16 | 2011-07-13 | Ｈｏｙａ株式会社 | 電子内視鏡システム |
| US8690765B2 (en) * | 2005-06-08 | 2014-04-08 | Olympus Medical Systems Corp. | Endoscope apparatus and image processing apparatus |
| JP4681981B2 (ja) | 2005-08-18 | 2011-05-11 | Ｈｏｙａ株式会社 | 電子内視鏡装置 |
| US20070047834A1 (en) * | 2005-08-31 | 2007-03-01 | International Business Machines Corporation | Method and apparatus for visual background subtraction with one or more preprocessing modules |
| DE602006017940D1 (de) | 2005-09-09 | 2010-12-16 | Olympus Medical Systems Corp | Medizinisches Stereo-Beobachtungssystem |
| JP2007143624A (ja) | 2005-11-24 | 2007-06-14 | Hamamatsu Photonics Kk | 蛍光観察装置 |
| US20070165942A1 (en) * | 2006-01-18 | 2007-07-19 | Eastman Kodak Company | Method for rectifying stereoscopic display systems |
| JP4574596B2 (ja) | 2006-07-06 | 2010-11-04 | 富士フイルム株式会社 | カプセル内視鏡 |
| US8498695B2 (en) * | 2006-12-22 | 2013-07-30 | Novadaq Technologies Inc. | Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy |
| US7787121B2 (en) | 2007-07-18 | 2010-08-31 | Fujifilm Corporation | Imaging apparatus |
| JP5024113B2 (ja) | 2008-02-26 | 2012-09-12 | 日立電線株式会社 | 中空ファイバの製造方法 |
| RU2510235C2 (ru) | 2008-03-18 | 2014-03-27 | Новадак Текнолоджиз Инк. | Система визуализации для получения комбинированного изображения из полноцветного изображения в отраженном свете и изображение в ближней инфракрасной области |
| US8169468B2 (en) * | 2008-04-26 | 2012-05-01 | Intuitive Surgical Operations, Inc. | Augmented stereoscopic visualization for a surgical robot |
| JP5476923B2 (ja) | 2009-10-27 | 2014-04-23 | 日本電気株式会社 | 展開構造体保持ブラケット |
| JP6226325B2 (ja) | 2014-01-31 | 2017-11-08 | 飛栄建設株式会社 | 破壊検知センサ、破壊検知システムおよび構造物 |
-
2008
- 2008-06-30 US US12/164,363 patent/US8169468B2/en active Active
- 2008-06-30 US US12/165,121 patent/US8803955B2/en active Active
- 2008-06-30 US US12/165,189 patent/US8167793B2/en active Active
- 2008-06-30 US US12/165,194 patent/US8810631B2/en active Active
- 2008-06-30 US US12/164,976 patent/US8228368B2/en active Active
-
2009
- 2009-04-09 KR KR1020177033731A patent/KR101854189B1/ko active IP Right Grant
- 2009-04-09 KR KR1020187034859A patent/KR101977135B1/ko active IP Right Grant
- 2009-04-09 KR KR1020157016619A patent/KR101581026B1/ko active IP Right Grant
- 2009-04-09 KR KR1020167029853A patent/KR101802271B1/ko active IP Right Grant
- 2009-04-09 EP EP09734830A patent/EP2303096A1/en not_active Withdrawn
- 2009-04-09 EP EP17205283.9A patent/EP3332687B1/en active Active
- 2009-04-09 KR KR1020187011779A patent/KR101891121B1/ko active Application Filing
- 2009-04-09 KR KR1020107026616A patent/KR101580117B1/ko active IP Right Grant
- 2009-04-09 CN CN2009801243332A patent/CN102076259B/zh active Active
- 2009-04-09 CN CN201110092204.9A patent/CN102188229B/zh active Active
- 2009-04-09 EP EP13172353.8A patent/EP2641531B1/en active Active
- 2009-04-09 CN CN201110092201.5A patent/CN102188222B/zh active Active
- 2009-04-09 KR KR1020157035599A patent/KR101671195B1/ko active IP Right Grant
- 2009-04-09 EP EP13172346.2A patent/EP2641529B1/en active Active
- 2009-04-09 KR KR1020207032670A patent/KR102309075B1/ko active IP Right Grant
- 2009-04-09 KR KR1020217031111A patent/KR102435851B1/ko active IP Right Grant
- 2009-04-09 KR KR1020207004641A patent/KR102180739B1/ko active IP Right Grant
- 2009-04-09 KR KR1020187023620A patent/KR101926039B1/ko active IP Right Grant
- 2009-04-09 CN CN201110092202.XA patent/CN102197990B/zh active Active
- 2009-04-09 CN CN201110092205.3A patent/CN102197991B/zh active Active
- 2009-04-09 EP EP13172350.4A patent/EP2641530A1/en not_active Withdrawn
- 2009-04-09 WO PCT/US2009/040020 patent/WO2009131840A1/en active Application Filing
- 2009-04-09 KR KR1020197012848A patent/KR102080551B1/ko active IP Right Grant
-
2014
- 2014-07-16 US US14/332,684 patent/US9775499B2/en active Active
-
2017
- 2017-09-14 US US15/704,479 patent/US10524644B2/en active Active
-
2019
- 2019-11-27 US US16/697,586 patent/US20200093357A1/en not_active Abandoned
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3285265B2 (ja) * | 1993-12-03 | 2002-05-27 | オリンパス光学工業株式会社 | 蛍光観察装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170017135A (ko) * | 2015-08-05 | 2017-02-15 | 왕용진 | 평면 스캔 비디오 카이모그라피와 후두 스트로보스코피 기능이 있는 비디오 후두 내시경 시스템 |
| US10888218B2 (en) | 2015-08-05 | 2021-01-12 | Umedical Co., Ltd. | Video laryngeal endoscope system including 2D scan video kymography and laryngeal stroboscopy |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101581026B1 (ko) | 수술 로봇용 확대 입체 가시영상 | |
| KR101913622B1 (ko) | 선택형 조명 스펙트럼으로 구성된 배경 수술 이미지에 의한 형광 이미징 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20181213 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20191219 Year of fee payment: 5 |