KR101876795B1 - 임상 영상 상에 강화된 영상화 데이터를 표시하기 위한 방법 및 장치 - Google Patents
임상 영상 상에 강화된 영상화 데이터를 표시하기 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR101876795B1 KR101876795B1 KR1020177020980A KR20177020980A KR101876795B1 KR 101876795 B1 KR101876795 B1 KR 101876795B1 KR 1020177020980 A KR1020177020980 A KR 1020177020980A KR 20177020980 A KR20177020980 A KR 20177020980A KR 101876795 B1 KR101876795 B1 KR 101876795B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- visible
- color
- enhanced
- captured
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 69
- 238000003384 imaging method Methods 0.000 title description 25
- 238000001228 spectrum Methods 0.000 claims abstract description 41
- 210000001519 tissue Anatomy 0.000 claims description 64
- 239000000090 biomarker Substances 0.000 claims description 18
- 238000005286 illumination Methods 0.000 claims description 13
- 238000002073 fluorescence micrograph Methods 0.000 claims description 6
- 210000000988 bone and bone Anatomy 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 43
- 238000010894 electron beam technology Methods 0.000 description 23
- 238000001429 visible spectrum Methods 0.000 description 15
- 239000000463 material Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 150000001875 compounds Chemical class 0.000 description 10
- 230000004044 response Effects 0.000 description 8
- 238000004040 coloring Methods 0.000 description 7
- 230000005670 electromagnetic radiation Effects 0.000 description 7
- 230000005855 radiation Effects 0.000 description 7
- 230000003595 spectral effect Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 239000013307 optical fiber Substances 0.000 description 5
- 238000002324 minimally invasive surgery Methods 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000001069 Raman spectroscopy Methods 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000005251 gamma ray Effects 0.000 description 1
- 238000009396 hybridization Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 239000012217 radiopharmaceutical Substances 0.000 description 1
- 229940121896 radiopharmaceutical Drugs 0.000 description 1
- 230000002799 radiopharmaceutical effect Effects 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Robotics (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- High Energy & Nuclear Physics (AREA)
- Computer Hardware Design (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
본 발명은 내시경 카메라; 상기 내시경 카메라에 결합되는 비전 컨트롤 카트; 및 상기 비전 컨트롤 카트에 결합된 의사 콘솔;을 포함하는 장치에 관한 것으로, 상기 비전 컨트롤 카트는 영상 프로세서를 포함하고, 상기 영상 프로세서는 캡처된 가시 컬러 영상을 저채도 영상으로 채도를 낮추기 위하여 구성되고, 상기 가시 컬러 영상은 상기 내시경 카메라에 의하여 캡처되고, 상기 가시 컬러 영상은 가시 전자기 스펙트럼 광으로부터 캡처된 반사된 백색광 영상이며, 상기 영상 프로세서는 제 1 캡처된 데이터를 나타내는 제 1 강화된 영상을 제 1 가시 컬러로 채색하여 제 1의 색 강화된 컬러 영상을 형성하도록 구성되고, 상기 의사 콘솔은 상기 영상 프로세서에 연결된 디스플레이 장치를 포함하고, 상기 디스플레이 장치는 상기 저채도 영상과 상기 색 강화된 영상을 함께 중첩하여 표시하여 혼성된 영상을 형성하도록 구성된다.
Description
본 발명의 구체예들은 일반적으로 의학적 영상의 표시에 관한 것이다.
최소 침습 의료기법은 진단이나 수술 과정 동안 손상되는 무관한 조직의 양을 감소시킴으로써 환자의 회복 시간, 불편함, 및 해로운 부작용들을 줄이는 것을 목표로 한다. 또한, 최소 침습 수술기법을 사용하면 평균 입원 기간이 표준 수술의 경우보다 상당히 단축될 수 있다. 따라서, 최소 침습 기법의 증가된 채택은 수백만 일의 입원일, 및 수백만 달러의 연간 입원 비용을 줄일 수 있다. 환자 회복 시간, 환자 불편함, 수술 부작용, 및 휴직 기간 또한 최소 침습 수술에 의해 감소될 수 있다.
수술 부위를 보기 위해서 조명 수단이 달린 내시경 카메라를 환자의 체내에 삽입하여 수술 부위의 컬러 영상을 캡처할 수 있다. 수술 부위의 컬러 영상은 모니터 또는 디스플레이 상에서 의사에게 보일 수 있다.
픽처 인 픽처(PIP) 디스플레이의 사용에 의해서 수술 부위에 대한 추가 영상 정보가 동시에 의사에게 표시될 수 있다. 추가 영상 정보는 수술 결과를 개선하는데 있어서 의사에게 유용하게 사용될 수 있다. 그러나, PIP 디스플레이의 작은 그림은 바람직한 수준의 상세한 정보를 나타내기에는 너무 작을 수 있다. 또한, 별도의 영상 프레임이 사용되므로 의사는 2개의 분리된 영상 또는 영상화 방식을 머릿속에서 함께 병합해야 하는데, 이것은 피로를 유발할 수 있다. 또는 달리, 디스플레이 장치 상에 표시되는 컬러 영상과 다른 추가 영상을 앞뒤로 전환해서 나타냄으로써 추가 영상 정보가 풀 스크린에 보일 수 있다. 그러나, 영상의 앞뒤 전환에는 시간이 걸리기 때문에 결과적으로는 수술을 덜 효과적으로 만든다. 또한, 의사는 백색광 영상으로 다시 전환하는데 실패함으로써, 다른 영상화 모드에 있는 동안 필요한 것보다 더 많이 절단하거나, 중요한 조직에 의도치 않게 손상을 입힐 수 있다.
본 발명은 의학적 영상의 표시에 있어서 더 효과적이고 안전한 최소 침습 수술을 제공하는 것을 목적으로 한다.
본 발명에 의한 장치는 내시경 카메라; 상기 내시경 카메라에 결합되는 비전 컨트롤 카트; 및 상기 비전 컨트롤 카트에 결합된 의사 콘솔;을 포함하고, 상기 비전 컨트롤 카트는 영상 프로세서를 포함하고, 상기 영상 프로세서는 캡처된 가시 컬러 영상을 저채도 영상으로 채도를 낮추기 위하여 구성되고, 상기 가시 컬러 영상은 상기 내시경 카메라에 의하여 캡처되고, 상기 가시 컬러 영상은 가시 전자기 스펙트럼 광으로부터 캡처된 반사된 백색광 영상이며, 상기 영상 프로세서는 제 1 캡처된 데이터를 나타내는 제 1 강화된 영상을 제 1 가시 컬러로 채색하여 제 1의 색 강화된 컬러 영상을 형성하도록 구성되고, 상기 의사 콘솔은 상기 영상 프로세서에 연결된 디스플레이 장치를 포함하고, 상기 디스플레이 장치는 상기 저채도 영상과 상기 색 강화된 영상을 함께 중첩하여 표시하여 혼성된 영상을 형성하도록 구성된다.
상기 영상 프로세서는 제 2 캡처된 데이터를 나타내는 제 2 강화된 영상을 제 2 가시 컬러로 채색하여 제 2 색 강화된 영상을 더 형성하도록 구성되고, 상기 제 1 데이터와 상기 제 2 데이터는 서로 다르고, 상기 제 1 컬러는 상기 제 2 컬러와 다르고, 상기 디스플레이 장치는 상기 저채도 영상, 상기 제 1의 색 강화된 영상 및 상기 제 2의 색 강화된 영상을 함께 중첩하여 표시하여 상기 혼성된 영상을 더 형성하도록 구성되는 것을 특징으로 한다.
상기 의사 콘솔은, 상기 디스플레이 장치 상에 혼성된 영상으로 표시되는 상기 저채도 영상과 상기 제 1의 색 강화된 영상 사이의 상대적 밝기를 조정하기 위한 사용자 선택가능한 장치를 포함하는 사용자 인터페이스를 더 포함하는 것을 특징으로 한다.
상기 의사 콘솔은, 상기 디스플레이 장치 상에 표시되는 상기 저채도 영상의 밝기를 조정하기 위한 제 1의 사용자 선택가능한 장치 및 상기 디스플레이 장치 상에 표시되는 상기 제 2의 색 강화된 영상의 밝기를 조정하기 위한 제 2의 사용자 선택가능한 장치를 포함하는 사용자 인터페이스를 더 포함하는 것을 특징으로 한다.
상기 내시경 카메라는 상기 영상 프로세서에 연결된 카메라 유닛을 더 포함하고, 상기 카메라 유닛은 상기 가시 전자기 스펙트럼 내의 파장 범위에 감응하는 제 1 센서와, 상기 가시 전자기 스펙트럼 밖의 파장 범위에 감응하는 제 2 센서를 포함하는 것을 특징으로 한다.
상기 저채도 영상의 일부는 수술 도구의 저채도 영상을 포함하는 것을 특징으로 한다.
상기 비전 컨트롤 카트는 바이오마커를 여기시키는 조명을 제공하도록 구성된 조명 수단을 더 포함하고, 상기 제 1 데이터는 상기 여기된 바이오마커로부터 캡처되는 것을 특징으로 한다.
상기 바이오마커는 인도시아닌 그린을 포함하는 것을 특징으로 한다.
상기 제1 캡처된 데이터는 표면 조직 밑의 골 조직의 X-선으로부터 캡처된 데이터인 것을 특징으로 한다.
상기 제1 캡처된 데이터는 공간적 변동을 가진 임상 정보를 포함하는 수술 부위의 분광학적 특징들에 대한 근적외선 형광 영상, 가시광 형광 영상, 또는 래스터 스캔 중 하나인 것을 특징으로 한다.
상기 의사 콘솔은 상기 제 1 색 강화된 영상과 상기 저채도 영상 사이의 상대적 밝기를 다른 상대적 밝기로 변경하도록 구성된 사용자 인터페이스를 포함하는 것을 특징으로 한다.
상기 의사 콘솔은 상기 가시 컬러 영상의 채도를 낮추는 저채도화의 수준을 변경하도록 구성된 사용자 인터페이스를 포함하는 것을 특징으로 한다.
본 발명에 의하면 백색광 영상의 충분한 임상적 세부사항을 제공함으로써 사용자로 하여금 수술 기구가 조직에 부주의하게 부딪히는 것을 피할 수 있도록 하고, 의사가 해부구조에서 헤매지 않도록 충분한 표지들을 제공하는 동시에, 백색광 영상의 세부사항으로부터 강화된 영상화 정보를 쉽게 구별할 수 있는 방식으로 강화된 영상에서 이용할 수 있는 정보의 세부사항을 제공할 수 있다.
본 특허 또는 출원 제출서는 적어도 하나의 컬러 도면을 함유한다. 컬러 도면(들)이 첨부된 본 특허 또는 특허출원 공보의 사본은 요청시 필요한 비용을 지불하면 사무국에 의해 제공될 것이다.
도 1은 최소 침습 수술을 위한 영상화 시스템의 블록 다이어그램이다.
도 2는 본 발명의 구체예들의 양태들에 대한 그림으로 표현된 다이어그램이다.
도 3은 본 발명의 구체예들에 있어서 영상화 방법의 요소들을 예시하는 순서도이다.
도 4a는 수술 부위의 가시 범위의 백색광 컬러 영상을 캡처한 것을 예시하는 컬러 다이어그램이다.
도 4b는 도 4a의 가시 범위의 백색광 컬러 영상을 흑백 또는 회색 스케일의 저채도 영상으로 채도를 낮춘 것을 예시하는 비-컬러 다이어그램이다.
도 5a는 비-가시 스펙트럼 내의 데이터를 캡처하여 수술 부위 내의 특징적인 조직의 영상을 형성한 것을 예시하는 흑백 다이어그램이다.
도 5b는 도 5a의 특징적인 조직 특징부에 색을 입혀서 색 강화된 영상을 형성한 것을 예시하는 다이어그램이다.
도 6은 임상 영상과 조합된(예를 들어, 위에 오버레이된) 도 5b의 색 강화된 영상과 혼성된 영상을 표시한 다이어그램이다.
도 7은 구성 영상들의 밝기 또는 혼성된 영상 내의 구성 영상들 간의 상대적 밝기를 조정하기 위한 사용자 인터페이스를 예시하는 다이어그램이다.
도 8은 채도를 낮춘 영상으로 수술 부위의 컬러 영상의 저채도 수준을 조정하기 위해 사용될 수 있는 사용자 인터페이스를 예시하는 다이어그램이다.
상이한 도면들에 사용된 유사한 참조번호들은 상이한 구성형태를 가질 수 있는 동일하거나 유사한 요소와 관련된다.
도 1은 최소 침습 수술을 위한 영상화 시스템의 블록 다이어그램이다.
도 2는 본 발명의 구체예들의 양태들에 대한 그림으로 표현된 다이어그램이다.
도 3은 본 발명의 구체예들에 있어서 영상화 방법의 요소들을 예시하는 순서도이다.
도 4a는 수술 부위의 가시 범위의 백색광 컬러 영상을 캡처한 것을 예시하는 컬러 다이어그램이다.
도 4b는 도 4a의 가시 범위의 백색광 컬러 영상을 흑백 또는 회색 스케일의 저채도 영상으로 채도를 낮춘 것을 예시하는 비-컬러 다이어그램이다.
도 5a는 비-가시 스펙트럼 내의 데이터를 캡처하여 수술 부위 내의 특징적인 조직의 영상을 형성한 것을 예시하는 흑백 다이어그램이다.
도 5b는 도 5a의 특징적인 조직 특징부에 색을 입혀서 색 강화된 영상을 형성한 것을 예시하는 다이어그램이다.
도 6은 임상 영상과 조합된(예를 들어, 위에 오버레이된) 도 5b의 색 강화된 영상과 혼성된 영상을 표시한 다이어그램이다.
도 7은 구성 영상들의 밝기 또는 혼성된 영상 내의 구성 영상들 간의 상대적 밝기를 조정하기 위한 사용자 인터페이스를 예시하는 다이어그램이다.
도 8은 채도를 낮춘 영상으로 수술 부위의 컬러 영상의 저채도 수준을 조정하기 위해 사용될 수 있는 사용자 인터페이스를 예시하는 다이어그램이다.
상이한 도면들에 사용된 유사한 참조번호들은 상이한 구성형태를 가질 수 있는 동일하거나 유사한 요소와 관련된다.
이 상세한 설명은 본 발명을 예시하는 예시적인 실시형태를 설명하며, 따라서 제한이 아닌 설명을 위한 것이다. 본 발명은 특허청구된 청구항들에 의해서만 제한된다. 도면에서 일부 요소들은 본 발명의 구체예들을 더 명확히 나타내기 위해서 생략되었다.
서론
본 발명의 구체예들은 반사된 백색광 조직 영상, 및 동일 수술 부위에서 별도로 또는 동시에 취득된 강화된 조직 영상을 동시에 표시하는 것의 임상 활용성의 개선을 목표로 한다. 강화된 조직 영상은, 제한은 아니지만 근적외선(NIR) 형광, 가시광선 형광, 멀티스펙트럼 영상화, 형광 수명주기 영상화, 또는 공간 변동을 가진 임상 정보를 함유하는 비-가시광 특징을 가진 래스터 스캔과 같은 기법들에 의해서 캡처될 수 있다. 이에 더하여, 강화된 영상은 조직 임피던스, 암의 점 검출, 또는 임상 백색광 영상 상의 특정 세포 타입과 같은 상이한 타입의 측정가능한 조직 변수들의 점 측정들을 오버레이함으로써 구축된 영상일 수 있다.
일반적으로, 본 발명의 한 구체예에서, 가시적 영상, 백색광 영상, 또는 컬러 임상 영상을 색이 반영된 백색광 영상 대신에 회색 스케일 영상 또는 흑백 영상으로 채도를 낮춰서 의사 또는 임상의에게 표시해 주는 표시 방법이 개시된다. 저채도화는 적색, 녹색 및 청색 색조를 회색으로 접근시켜 영상으로부터 색을 제거한다. 임상 영상과 관련된 강화된 정보가 하나 이상의 강화된 영상화 기법을 사용하여 캡처되고, 채도를 낮춘 백색광 영상과 나란히 하나 이상의 색으로 가시 스펙트럼 내에 표시된다. 강화된 정보, 전형적으로는 보조기를 착용하지 않은 눈에는 보이지 않는 정보가 가시 스펙트럼 내에서 표시된 때, 그것은 거짓 색을 가진다. 강화된 영상을 채색하는 거짓 색(강화된 색이라고도 한다)의 예들은, 제한은 아니지만 녹색, 청색 및 자주색이며, 이들은 강화된 영상에서 강화된 영상화 기법에 의해 검출되는 비-가시 전자기 스펙트럼 내의 하나 이상의 신호 타입을 표시하기 위해서 사용될 수 있다. 강화된 영상의 컬러 버전이 저채도 백색광 임상 영상과 나란히 놓여, 저채도 임상 영상과 혼성되거나, 영상 맨 위에 중첩되거나, 또는 오버레이된다(다르게는 조합된다고도 한다). 혼성된 영상으로 이들 두 영상의 조합이 의사에게 표시되며, 임상적으로 관련 있는 정보량이 증가할 수 있고, 수술 동안 수술 부위의 색 강화된 영상에서 낮은 신호 수준의 검출력이 개선될 수 있다.
임상 영상의 채도를 낮춤에 따라, 영상의 색 정보는 제거되지만, 세부사항은 거의 손실되지 않는다. 저채도 임상 영상은 해부구조, 조직 표지, 및 수술 기구를 확인하기에 충분하며, 따라서 수술 기구의 안전한 조작이 가능하다. 또한, 저채도 임상 영상에서는 백색광 임상 영상의 색 표시에 의한 간섭으로 인한 강화된 영상의 콘트라스트에 손실이 없다. 저채도 임상 영상 위에 오버레이된 색 강화된 영상은 수술 부위에 관한 개선된 정보 내용을 제공하며, 환자에 대한 손상 위험을 줄일 수 있고, 수술 효율을 개선할 수 있다.
색 강화된 영상은 미리 설정된 상대적 밝기로 저채도 임상 영상 위에 오버레이될 수 있으며, 조직의 가시적 영상에 비해서 조직의 비-가시적 정보로부터의 강화된 정보를 강조할 수 있다. 또는 달리, 슬라이드-타입 제어와 같은 사용자 인터페이스 장치가 제공될 수 있으며, 이로써 두 영상의 혼성이 가능해져서 두 영상의 상대적 밝기가 연속하여 변경될 수 있다. 이러한 혼성 방식을 통한 상대적 밝기의 조정은 사용자로 하여금 강화된 영상 정보를 가지고 수행하고자 하는 일의 임상 요건과 일치되도록 오버레이 밝기를 재단할 수 있도록 한다. 예를 들어, 얇고 희미한 라인을 찾을 때, 사용자는 상대적 밝기를 강화된 영상 쪽으로 더 강하게 가중할 수 있다. 강화된 영상 내에서 밝게 빛나는 커다란 덩어리를 절제할 경우에는, 예를 들어 영상의 상대적 밝기가 저채도 백색광 영상 쪽으로 더 강하게 가중될 수 있다.
영상화 시스템
이제, 도 1과 관련하여, 최소 침습 수술을 위한 영상화 시스템(100)의 블록 다이어그램이 예시된다. 영상화 시스템(100)은 내시경 카메라(101), 비전 컨트롤 카트(102), 및 의사 콘솔(104)를 포함하며, 이들은 함께 결합되어 도시된다.
내시경 카메라(101)는 환자측 조작기의 로봇 암(111)에 탈착식 결합할 수 있는 기계적 인터페이스를 포함하며, 이로써 환자의 수술 부위 내에서 주변을 이동할 수 있다. 내시경 카메라(101)는 환자의 체강 내의 수술 부위(210) 전반에서 로봇 암(111)에 의해 지지되며, 거기서 디지털 영상을 캡처한다.
비전 컨트롤 카트(102)는 조명장치(112), 영상 프로세서(114), 코어 프로세서(116), 및 모니터(118)를 포함한다. 내시경 카메라(101)가 조명장치(112)에 결합되며, 가시광(VL)을 수용하여 그것을 카메라 끝으로부터 수술 부위로 보내서 조직을 가시성 있게 조명하여 컬러 또는 분광 카메라로 조직을 캡처한다. 또한, 내시경 카메라(101)는 조명장치(112)에 결합되어 비-가시 전자기선(NVE)을 수용할 수 있으며, 그것을 카메라 끝으로부터 수술 부위로 보내서 재료를 여기시켜 조직에 형광을 부가하여 센서 또는 분광 카메라로 조직을 캡처한다. 내시경 카메라(101)는 가시광(VL)에 응답하여 수술 부위 내의 조직의 컬러 가시 영상(VI)의 하나 이상의 프레임을 캡처하고, 이들은 영상 프로세서(114)에서 결합된다. 또한, 내시경 카메라(101)는 비-가시 전자기선(NVE)에 응답하여 수술 부위 내에서 조직으로부터 비-가시 범위의 공간적으로 암호화된 데이터의 하나 이상의 프레임을 캡처하고, 이 데이터를 영상 프로세서(114)에서 결합할 수 있다. 입체 영상화의 경우에는, 내시경 카메라(101)는 수술 부위의 좌우 영상을 동시에 캡처하는 입체 카메라이다. 내시경 카메라(101)와 그것의 센서를 사용하여 광학적인 비-가시 영상(예를 들어, 근적외선, 자외선)을 캡처할 수 있지만, 다른 영상화 장치 및 기법을 사용해서도 다른 비-가시 스펙트럼 데이터를 캡처할 수 있으며, 제한은 아니지만 분광 데이터, 라만 산란값, 임피던스 데이터, 2-광자 형광, 초음파, 감마선 및/또는 X-선 영상을 예로 들 수 있으며, 이들의 데이터는 가시 스펙트럼 범위의 영상으로서 표시되고, 저채도 영상과 조합될 수 있다. 추가로, 전체 영상의 일부 또는 전부를 커버하는 빛을 캡처해서 분석하여 임상적으로 관련 있는 2-차원(2D) 영상을 만들 수 있다. 이러한 2D 영상은 편광, 산란, 및 빛과 조직의 상호작용과 관련된 다른 유사한 특징들과 같은 빛의 특성들로부터 추출된 특징부를 캡처할 수 있으며, 이 경우 조직은 다양한 임상적으로 관련 있는 마커들로 보강될 수 있다. 강화된 영상은 일련의 가시 영상들에 대해 컴퓨터 작업된 영상일 수 있다. 예를 들어, 일련의 영상들을 사용하여 혈류를 컴퓨터 계산할 수 있고, 이것이 2D 영상으로 표시될 수 있다.
조명장치(112)는 코어 프로세서(116)로부터 수신될 수 있는 제어 신호(126)에 응답하여 가시광(VL), 가시성 전자기선 스펙트럼에서 발생되는 빛, 및 비-가시 전자기선(NVE)을 생성할 수 있다. 조명장치(112)는 가시광(VL)과 비-가시 전자기선(NVE)을 생성하여, 제어 신호에 응답해서 비-가시 스펙트럼 데이터를 캡처하고, 강화된 영상의 프레임을 형성하는 것과 동기적으로, 컬러 가시 영상(VI)의 프레임을 동시에 캡처할 수 있다. 또는 달리, 조명장치(112)는 가시광(VL)과 비-가시 전자기선(NVE)을 교대로 생성할 수 있으며, 이로써 제어 신호에 응답하여 비-가시 스펙트럼 데이터를 캡처하고, 강화된 영상의 프레임을 형성하는 것과 비동기적으로, 컬러 가시 영상(VI)의 프레임을 캡처할 수 있다.
가시광(VL)과 비-가시 전자기선(NVE)은 내시경 카메라(101)에서 하나 이상의 광섬유 또는 광섬유 다발에 의해 결합될 수 있다. 유사하게, 가시 조직의 풀 컬러 가시 영상(VI)들이 수술 부위 내에서 캡처되어 광섬유를 통해 영상 프로세서(114)에서 결합되거나, 또는 센서에 의해 캡처되어 와이어 케이블에 의해서 영상 프로세서에서 결합될 수 있다. 또한, 수술 부위 내의 조직의 비-가시 스펙트럼 데이터가 광섬유를 통해 영상 프로세서(114)에서 결합될 수 있거나, 또는 센서에 의해 캡처되어 와이어 케이블에 의해서 영상 프로세서에서 결합될 수 있다. 하나 이상의 센서에 의해 캡처된 전자기선은 가시 범위의 적색, 녹색, 청색 EM 스펙트럼과 비-가시 범위의 EM 스펙트럼(예를 들어, 근적외선)으로 보관될 수 있다.
영상 프로세서(114)는 캡처된 영상을 처리하기 위한 하나 이상의 프로세서 P(120)와 영상 데이터의 하나 이상의 프레임을 저장하기 위한 하나 이상의 저장 장치(예를 들어, 메모리) M(122)를 포함한다. 입체 영상화의 경우에는, 영상 프로세서(114)는 캡처된 좌우 영상을 처리하기 위한 한 쌍의 프로세서 P(120)와 좌우 영상 프레임을 저장하기 위한 한 쌍의 저장 장치(예를 들어, 메모리) M(122)를 포함할 수 있다.
강화된 표시 방식에서, 영상 프로세서(114)의 하나 이상의 프로세서 P(120)는 디지털 영상 데이터의 각 프레임의 픽셀 조작을 수행할 수 있으며, 이로써 여기 개시된 영상 프로세싱 및 표시 방법을 수행할 수 있다. 영상 프로세서(114)는 코어 프로세서(116)로부터 명령(125)을 받아서, 영상(124)들을 코어 프로세서(116)에서 결합하여 컨트롤 카트(102)의 의사 콘솔(104) 및/또는 모니터(118)의 디스플레이(140) 상에 표시한다. 또는 달리, 코어 프로세서(116)는 디지털 영상을 수신해서 디지털 영상 데이터의 각 프레임의 픽셀 조작을 수행할 수 있으며, 이로써 여기 개시된 영상 프로세싱 및 표시 방법을 수행할 수 있다.
의사 콘솔(104)은 디지털 제어 및 영상 정보의 고속 통신을 위한 광섬유 케이블(129)을 통해서 코어 프로세서(116)에 결합될 수 있다. 의사 콘솔(104)은 좌우 입체 영상을 의사에게 표시해 줄 수 있는 입체 디스플레이 장치(140)를 포함할 수 있다. 입체 디스플레이 장치(140)는 여기 개시된 표시 방법에 따라서 좌우 혼성된 영상을 표시할 수 있다.
최소 침습 수술 시스템에 관한 추가의 정보는, 예를 들어 2007년 6월 13일자로 David Q. Larkin 등에 의해서 제출된 미국 특허출원 제11/762,165호, 발명의 명칭 "최소 침습 수술 시스템"; 및 2001년 12월 18일자로 Tierney 등의 이름으로 발행된 미국특허 제6,331,181호, 발명의 명칭 "수술용 로봇 도구, 데이터 구조 및 사용"에서 찾을 수 있으며, 이들은 모두 본원에 참고자료로 포함된다.
비-가시 범위의 특징적인 조직 특징부의 조명
이제, 도 2와 관련하여, 본 발명의 구체예들의 양태들에 대한 그림으로 표현된 다이어그램이 예시된다. 내시경(101)은 가시광(VL) 및 비-가시 전자기선(NVE)을 방출하여 수술 부위(210)로 보내기 위한 하나 이상의 광섬유(201A-201B)를 포함할 수 있다. 내시경(101)은 카메라와 같은, 가시 스펙트럼 내의 전자기선을 캡처하기 위한 센서(202A)를 포함할 수 있다. 센서(202A)는 가시 범위의 입체 컬러 영상을 캡처하기 위한 입체 컬러 카메라일 수 있다. 내시경(101)은 비-가시 스펙트럼 내의 전자기선 또는 정상적으로는 육안으로 보이지 않는 다른 종류의 정보(예를 들어, 초음파)를 캡처하기 위한 또 다른 센서(202B)를 더 포함할 수 있다. 예를 들어, 센서(202B)는 수술 부위의 NIR 강화된 영상을 캡처하기 위한 근적외선(NIR) 검출기일 수 있다. 또는 달리, 내시경(101)은 가시광 및 비-가시 스펙트럼 데이터를 환자의 몸 밖의 외부 센서/카메라로 다시 보내기 위한 도관일 수 있다.
수술 부위(210)는 가시광에 의해 조명되었을 때 백색광 또는 컬러 영상을 반사할 수 있는 조직(212)을 포함한다. 또한, 수술 부위(210)는 가시 범위의 전자기 스펙트럼 내의 빛에 의해 조명되었을 때 보조기를 착용하지 않은 눈에는 보이지 않는 특징적인 조직 특징부(213, 214)를 가진다.
다양한 비-가시 범위의 특징적인 조직 특징부(213, 214)가 형광, 발광, 추적 또는 반사 재료(총괄하여 바이오마커라고 한다)를 동반하거나 동반하지 않고 비-가시 전자기선(NVE)으로 조명될 수 있다. 일부 경우, 비-가시 범위의 특징적인 조직 특징부에는 형광, 발광, 추적 또는 반사 재료 또는 화합물(총괄하여 바이오마커라고 한다)로 생화학적으로 택이 붙을 수 있으며, 이들은 가시광 또는 전자기선(VL) 또는 비-가시 전자기선(NVE)에 의해 여기되어 가시광 카메라나 센서에 의해 캡처될 수 있다. 다른 경우, 일부 비-가시 범위의 특징적인 조직 특징부에는 형광, 발광, 추적, 마크 또는 반사 재료/화합물(총괄하여 바이오마커라고 한다)로 생화학적으로 택이 붙을 수 있으며, 이들은 비-가시 전자기선(NVE)에 의해 여기되어 비-가시 전자기선(NVE)의 파장에서 발광하여 해당 파장에 감응하는 센서에 의해 캡처된다.
반사된 백색광을 내는 보이지 않는 조직은 다양한 방식으로 영상화될 수 있다. 예를 들어, 반사된 백색광을 내는 보이지 않는 조직은 유체를 주사하거나, 또는 환자의 조직에 형광, 발광, 추적 재료, 염료 또는 화합물(총괄하여 바이오마커라고 한다)로 택을 붙이고, 그것에 전자기 선을 조명하거나, 그것을 전자기선에 노출함으로써 영상화될 수 있다. 바이오마커의 형광단이 분자에 꼬리처럼 붙고, 그것이 대략 여기 파장에서 EM 선을 흡수한 다음, 대략 방출 파장에서 EM 선을 재방출한다. 형광 재료 또는 화합물(바이오마커)의 한 예는 인도시아닌 그린(ICG)으로서, 이것은 근적외선(NIR) 전자기선에 의해 여기되었을 때 광자 또는 비-가시 파장의 전자기선을 방출하면서 형광을 발한다. 바람직한 여기 파장에서 여기하고 바람직한 방출 파장에서 발광하는, 관심의 조직에 택으로 사용될 수 있는 다양한 형광 화합물이 있다. 사용될 수 있는 예시적인 형광단, 발광단, 추적자, 마커 등(총괄하여 바이오마커라고 한다)이 본 명세서의 끝 부분의 표에 기재된다.
또한, 반사된 백색광을 내는 보이지 않는 조직은 특정 조직 타입에 결합하여 양전자 방출 단층촬영(PET)에서 사용되는 방사성의약 또는 방사성추적자와 같은 자발적으로 EM 선을 방출하는 재료, 염료, 또는 화합물(총괄하여 바이오마커라고 한다)을 주사함으로써 영상화될 수 있다.
가시 EM 스펙트럼 밖의 다른 영상화 출처(211)(예를 들어, x-선, 초음파)를 사용해서 일부 비-가시 범위의 특징적인 조직 특징부(214)(예를 들어, 골 조직)를 조명하고, 바이오마커를 사용하거나 사용하지 않고 강화된 영상을 캡처할 수 있으며, 이로써 가시 조직의 임상 영상과 조합된다. 예를 들어, 골 조직은 바이오마커 없이 수술 동안 수술 부위 내에서 X-선에 의해 캡처될 수 있다. 다른 예로서, 수술 부위 내의 표면밑 조직은 부가된 형광, 발광, 추적, 마크 또는 반사 재료/화합물(총괄하여 바이오마커라고 한다) 없이 초음파로 수술 동안 캡처될 수 있다.
가시 조직(212)은 사람의 눈으로 인식할 수 있는 전자기선 스펙트럼(VL) 내의 가시 부분에서 가시광, 전자기선에 의해 조명된다. 조명은 백색광으로 이루어질 수 있으며, 백색광은 넓은 스펙트럼이거나, 또는 몇 가지 분리된 좁은 스펙트럼 컬러들의 혼합일 수 있으며, 적색(R), 녹색(G) 및 청색(B)의 주요 컬러들 중 하나 이상을 포함한다. 전자기선 스펙트럼의 가시 부분은 파장 약 400 나노미터(nm)에서 700nm까지의 범위이다. 가시광에 의해서 여기될 수 있는 형광, 발광, 추적, 마크 또는 반사 재료 또는 화합물(총괄하여 바이오마커라고 한다)로 택을 붙인 특징적인 조직 특징부는 그것이 가지 전자기선 스펙트럼 내에서 형광을 발하거나 발광할 경우 카메라 또는 가시광 센서로 캡처될 수 있다.
또한, 반사된 백색광을 내는 보이지 않는 특징적인 조직 특징부(213, 214)에는 택이 붙을 수 있고, 보조기를 착용하지 않은 사람의 눈은 인식할 수 없는 전자기선 스펙트럼(NVE)의 하부 또는 상부 비-가시 부분 내의 가시 EM 스펙트럼 범위를 벗어난 전자기선에 의해 조명될 수 있다. 전자기선 스펙트럼의 하부 및 상부 비-가시 부분은 전자기선 스펙트럼의 가시 부분 밖에 체류한다. 전자기선 스펙트럼의 상부 비-가시 부분은 감마선, x-선, 및 자외선 전자기선을 포함하는 파장에서 대략 400 나노미터(nm)에서 옹스트롬(A)의 1/10까지의 범위이다. 전자기선 스펙트럼의 하부 비-가시 부분은 적외선(근적외선, 열적외선, 원적외선), 마이크로파, 및 라디오파를 포함하는 파장에서 대략 600 나노미터(nm)에서 10 미터(m)까지의 범위이다. 약 600nm 내지 1200nm의 범위의 파장을 가진 근적외선 EM 선이 일부 경우 바람직할 수 있으며, 마찬가지로 많은 생물학적 조직은 가시 스펙트럼에서보다 이들 파장에서 더 투명하고, 따라서 바이오마커로 택을 붙인 표면 아래의 조직 특징부 또는 구조가 더 쉽게 영상화될 수 있다.
비-가시 전자기선에 의해 여기된 형광 또는 반사 재료 또는 화합물을 사용하여, 반사된 백색광 영상에서 보이지 않는 조직은 형광을 발하여 비-가시 전자기 스펙트럼 내의 EM 선을 방출할 수 있다. 비-가시 전자기선에 감응하는 센서가 비-가시 전자기 스펙트럼 내의 EM 선을 캡처할 수 있으며, 이로써 강화된 영상이 구축되어 가시 스펙트럼 내에 표시될 수 있다. 또는 달리, 비-가시 전자기선에 의해 여기된 형광 또는 반사 재료 또는 화합물이 가시 전자기 스펙트럼 내에서 일부 EM 선을 방출할 수 있는 경우, 그것은 가시광 스펙트럼에서 감응하는 카메라 또는 센서에 의해 캡처될 수 있다. 무관하게, 비-가시 스펙트럼 내의 수술 부위로부터 비-가시 범위의 정보가 캡처되어 디지털 영상 내의 가시 스펙트럼에 표시된다.
본 발명의 구체예들은 일반적으로 전자기 스펙트럼의 가시 부분에서 캡처된 조직의 영상의 채도를 낮추고, 전자기 스펙트럼의 비-가시 부분에서 캡처된 조직의 영상을 채색을 통해서 전자기 스펙트럼의 가시 부분으로 이동시키고, 채색된 영상을 채도를 낮춘 영상 위에 조합하거나 오버레이하여 혼성화된 영상을 형성해서 디스플레이 장치 상에 표시한다.
예를 들어, 가시 전자기 스펙트럼 내의 빛으로 조명되고 컬러 카메라로 캡처된 가시 조직(212)의 영상은 회색 스케일, 흑/백, 또는 단색 영상(212')으로 채도가 낮춰진다(그것의 색이 감소된다). 가시 조직 영상(212)의 각 픽셀의 적색, 녹색, 청색 컬러 데이터는 회색 스케일 또는 흑/백으로 동등하게 감소될 수 있다.
가시 스펙트럼 영상에서는 보이지 않는 비-가시 범위의 특징적인 조직 특징부(213)는 비-가시 전자기 조명에 의해 조명되어 센서로 캡처될 수 있다. 캡처된 데이터는 강화된 영상을 형성한 다음, 그것을 제 1의 가시 컬러로 채색하여 제 1의 채색된 강화된 영상을 형성함으로써 강화될 수 있다. 예를 들어, 가시 스펙트럼에서 보이지 않는 특징적인 조직 특징부(213)는 그것을 녹색으로 채색하여 녹색 채색된 강화된 영상(213')을 형성함으로써 가시 범위의 전자기 스펙트럼으로 이동될 수 있다. 가시 스펙트럼에서 보이지 않는 비-가시 범위의 특징적인 조직 특징부(214)는 비-가시 전자기 조명에 의해 조명되어 센서로 캡처될 수 있다. 다음에, 캡처된 데이터는 강화된 영상을 형성한 다음, 그것을 제 2의 가시 컬러와 같은 제 2의 가시 컬러로 채색하여 제 2의 채색된 강화된 영상을 형성함으로써 강화될 수 있다. 예를 들어, 비-가시 범위의 특징적인 조직 특징부(214)는 그것을 청색 컬러로 채색하여 청색 착색된 강화된 영상(214')을 형성함으로써 가시 전자기 스펙트럼으로 이동될 수 있다. 녹색 채색된 강화된 영상(213')과 청색 착색된 강화된 영상(214')은 회색 스케일 또는 흑백 영상(212') 위에 오버레이되어 수술 부위(210)의 혼성된 영상(250)을 형성할 수 있다.
가시 범위의 조직(212)은 표면 조직일 수 있으며, 다양한 비-가시 범위의 조직(213, 214)은 표면 조직의 아래에서 발견되는 표면밑 조직일 수 있다. 결과적으로, 표면밑 조직의 영상은 캡처되었을 때 희미하며 번진 상태일 수 있다. 상대적 밝기 또는 저채도화 수준을 조정하여 희미한 영상을 보상할 수 있다.
표시 방법
이제, 도 3과 관련하여, 순서도는 강화된 표시 방식에서의 영상화 방법의 요소들을 예시한다. 상이한 타입의 강화된 영상들을 캡처하는 경우, 도 3에 도시된 요소들 중 하나 이상이 영상화 방법을 수행하는데 있어서의 선택사항이다. 이 과정은 과정 블록 (300)에서 시작하여 과정 블록 (302)로 진행된다.
과정 블록 (302)에서는, 상부 또는 하부 비-가시 전자기 스펙트럼 내의 전자기(EM) 선에 의해 여기될 수 있는 여기가능한 물질이 환자의 몸에 도입될 수 있다. 또는 달리, 도입된 물질은 외부 여기 없이 감마선과 같은 EM 선을 자발적으로 방출할 수 있다. 다음에, 이 과정은 과정 블록 (304)로 진행될 수 있다.
과정 블록 (304)에서는, 환자의 몸 안의 수술 부위가 백색광과 같은 가시 전자기 스펙트럼 내의 가시광 또는 전자기선으로 조명된다. 다음에, 이 과정은 과정 블록 (306)으로 진행된다.
과정 블록 (306)에서는, 수술 부위의 컬러 임상 영상이 가시 전자기선에 응답하여 컬러 CMOS(상보성 금속산화물 반도체) 카메라와 같은 센서로 환자의 몸 안에서 캡처된다. 도 4a는 컬러 CMOS 카메라에 의해 캡처된 컬러 임상 영상(400A)을 예시한다. 컬러 임상 영상(400)은 컬러 가시 조직(402) 내에 한 쌍의 가시적 로봇 수술 도구(404A-404B), 및 가시적 바늘과 봉합사(406)를 포함하며, 이들은 가시 전자기 스펙트럼 내의 빛을 반사한다. 이 과정은 과정 블록 (308)으로 진행된다.
과정 블록 (308)에서는, 환자 몸 안의 수술 부위가 상부 및 하부 비-가시 전자기 스펙트럼 내의 비-가시 전자기선으로 조명되거나 그에 노출될 수 있다. 또는 달리 또는 동시에, 환자의 몸은 전자기 스펙트럼에 걸친 가시선과 비-가시 전자기선의 둘 다에 의해 조명되거나 그에 노출될 수 있다. 다음에, 이 과정은 과정 블록 (310)으로 진행될 수 있다.
과정 블록 (310)에서는, 환자 몸의 수술 부위의 강화된 영상을 형성하기 위한 데이터가 비-가시 전자기선에 응답하여 센서로 캡처될 수 있다. 캡처된 데이터는 비-가시 스펙트럼 데이터라고 할 수 있다. 또는 달리 또는 동시에, 수술 부위의 가시 영상 및 비-가시 스펙트럼 데이터가 캡처될 수 있다. 또는 달리, 예를 들어, 강화된 영상의 형성을 위한 가시 영상 및 데이터의 프레임들이 수술 부위에서 캡처될 수 있다. 다음에, 이 과정은 과정 블록 (311)로 진행된다.
과정 블록 (311)에서, 비-가시 스펙트럼 데이터에 응답하여 수술 부위의 강화된 영상이 형성된다. 도 5a는 환자의 체내 데이터의 캡처로부터 생성된 수술 부위의 강화된 영상(500A)을 예시한다. 강화된 영상(500A)은 채색되어야 하는 상태이다. 강화된 영상(500A)은 조직 표면 밑의 혈관이나, 또는 다른 마크된, 여기된, 또는 자발적으로 발광하는 조직과 같은, 특징적인 조직 특징부(502)를 포함한다. 다음에, 이 과정은 과정 블록 (312)로 진행할 수 있다.
과정 블록 (312)에서, 컬러 임상 영상(400A)이 정해진 저채도화 수준으로 저채도 영상으로 채도가 낮춰진다(흑백 컬러로 감소된다). 저채도화 수준(색 감소)은 변화될 수 있다. 도 4b는 도 4a의 컬러 임상 영상(400A)의 색보다 감소된 색을 가진 채도가 낮춰진 임상 영상(400B)을 예시한다. 가시 조직(402'), 가시적 도구(404A'-404B'), 및 가시적 바늘과 봉합사(406')가 흑백 또는 회색 스케일로 색이 감소된다. 다음에, 이 과정은 과정 블록 (314)으로 진행된다.
과정 블록 (314)에서는, 이미 형성된 강화된 영상이 색으로 채색되어 색 강화된 영상이 형성된다. 도 5b는 색 강화된 영상(500B)을 예시한다. 색 강화된 영상(500B) 내의 특징적인 조직 특징부(502)는 녹색 컬러로 채색된다. 다음에, 이 과정은 과정 블록 (316)으로 진행된다.
과정 블록 (316)에서는, 저채도 영상(400B)과 색 강화된 영상(500B)의 밝기가 제 1 수준의 상대적 밝기로 설정된다. 저채도 영상의 밝기와 색 강화된 영상의 밝기는 독립적으로 설정됨으로써 제 1 수준의 상대적 밝기를 제공할 수 있다. 다음에, 이 과정은 과정 블록 (318)로 진행된다.
과정 블록(318)에서는, 색 강화된 영상이 채도를 낮춘 영상과 조합되어(예를 들어, 위에 오버레이되어) 혼성된 영상을 형성한다. 혼성 영상에는 컬러 임상 영상만에 비하여 정보 내용이 추가된다. 컬러는 혼성된 영상 내의 색 강화된 영상의 정보를 강조한다.
도 6은 혼성된 영상(600)을 예시한다. 혼성된 영상(600)은 채도를 낮춘 영상(400B)의 저채도 조직 특징부(402'), 도구(404A'-404B') 및 바늘과 봉합사(406')와 조합된 색 강화된 영상(500B)의 채색된 특징적인 조직 특징부(502')를 포함한다.
색 강화된 영상(500B)이 저채도 영상(400B)과 나란히 놓일 수 있으며, 이로써 이들은 혼성된 영상(600)으로 함께 조합될 수 있다. 공간상의 정합을 수행하여 색 강화된 영상(500B)과 저채도 영상(400B)을 함께 조합할 수 있다. 공간상의 정합을 제공하기 위해서 영상들이 상이한 프레임 크기나 배향을 가질 경우 상이한 데이터 출처들 사이의 좌표 변형 작업을 컴퓨터로 수행할 수 있다. 또한, 색 강화된 영상(500B)과 저채도 영상(400B)이 동기적이 아니라면 시간적 정합을 수행하여 이들을 함께 조합할 수 있다. 시간에 대해서 동기성을 벗어난 영상들의 프레임들을 함께 동기화해서 색 강화된 영상(500B)과 저채도 영상(400B)의 프레임들을 시간에 대해서 함께 적절히 조합할 수 있다. 영상 정보를 함께 조합한 후, 이 과정은 과정 블록 (320)으로 진행될 수 있다.
과정 블록 (320)에서, 혼성된 영상(600)이 의사 콘솔(104)의 입체 뷰어(140)와 같은 디스플레이 장치 및/또는 상이한 모니터 또는 디스플레이 장치(예를 들어, 모니터(181)) 상에 표시된다. 다음에, 이 과정은 과정 블록 (322)으로 진행될 수 있다.
과정 블록 (322)에서는, 저채도 영상(400B)과 색 강화된 영상(500B)의 밝기가 각각 상대적 밝기의 수준까지 혼성된 영상(600)들에서 조정될 수 있으며, 이로써 디스플레이 장치 상에 표시된 혼성된 영상의 정보 내용이 변경될 수 있다. 소프트웨어 및/또는 물리적 사용자 인터페이스를 사용하여 저채도 영상(400B) 및 색 강화된 영상(500B)의 각각의 밝기 또는 이들의 상대적 밝기를 조정할 수 있다.
수술이 끝나거나, 또는 색 강화된 영상(500B)이 더 이상 필요하지 않을 때까지 과정들 중 하나 이상이 각 프레임에서 중복해서 반복하여 디스플레이 장치 상에 혼성된 영상(600)들을 연속하여 표시할 수 있다. 이 경우, 영상화 시스템의 표시 방식이 정상 방식으로 다시 전환될 수 있으며, 이로써 강화된 영상 없이 수술 부위의 컬러 임상 영상(400A)을 표시할 수 있다. 다음에, 이 강화된 표시 방식 과정은 과정 블록 (399)로 진행될 수 있다.
과정 블록 (399)에서는, 수술이 종료되거나, 또는 과정이 더 이상 반복되지 않는다면 해당 과정을 끝낼 수 있다.
대안적인 표시 방법이 형광 영상과 관련하여 더 구체적으로 설명될 수 있다. 대안적인 표시 방법은 가시광에 의해서 조명된 수술 부위의 가시 컬러 영상을 얻는 단계; 수술 부위의 가시 컬러 영상을 가시 회색 영상으로 채도를 낮추는 단계; 수술 부위에서 형광 조직의 형광 영상을 얻는 단계로서, 형광 조직은 가시 컬러를 나타내는 단계; 및 가시 형광 영상과 가시 회색 영상의 조합을 포함하는 표시가능한 영상을 생성하는 단계를 포함할 수 있다.
사용자 인터페이스
이미 언급된 대로, 소프트웨어 및/또는 물리적 사용자 인터페이스를 사용하여 저채도 영상과 색 강화된 영상을 함께 조합하여 표시하기 위한 강화된 표시 방식을 지원할 수 있다.
제어 신호를 생성하는 사용자 인터페이스 스위치의 미리 정해진 순서의 선택에 의해서, 예를 들어 의사 콘솔(104)의 좌우 마스터 그립 및/또는 풋 페달에서 스위치의 선택에 의해서 의사 콘솔에서 강화된 표시 방식에 선택적으로 진입할 수 있다. 또는 달리, 강화된 표시 방식에 선택적으로 진입하기 위한 제어 신호를 발생하는데 사용될 수 있는 마우스형 마스터 방식의 마스터 그립에 의해서 메뉴 리스트의 메뉴 항목이 선택될 수 있다. 예를 들어, 본원에 참고자료로 포함되는 2009년 3월 9일자로 Paul Mohr 등에 의해서 제출된 미국출원 제12/400,738호, 발명의 명칭 "로봇 수술 시스템의 전기수술 도구를 위한 사용자 인터페이스"에 설명된 마스터 그립 스위치를 사용하여 영상화 시스템의 강화된 표시 방식을 활성화할 수 있다. 두 번째에 해당하는 사용자 인터페이스 스위치의 미리 정해진 순서의 선택을 입력하여 수술 부위의 컬러 영상의 정상 표시 방식으로 복귀시키는 제어 신호를 생성함으로써 강화된 표시 방식에서 선택적으로 빠져나올 수 있다.
강화된 표시 방식에서, 이들의 특징을 선택적으로 제어하기 위한 사용자 인터페이스가 제공될 수 있다. 강화된 표시 방식의 제어가능한 특징들의 일부는 채색된 강화된 영상과 저채도 영상의 상대적 밝기, 및/또는 저채도 영상의 저채도화의 수준을 포함한다.
이제, 도 7과 관련하여, 강화된 표시 방식을 위한 사용자 인터페이스(701)를 포함하는 디스플레이(700)가 도시된다. 사용자 인터페이스(701)는 영상화 시스템이 어떤 표시 방식(정상 또는 강화된)에 있는지를 사용자에게 지시해 주기 위한 강화된 디스플레이 아이콘(702)을 포함할 수 있다. 사용자 인터페이스는 저채도 영상과 색 강화된 영상 사이의 상대적 밝기를 조정하기 위한 혼성형 슬라이더 스위치(704)를 더 포함할 수 있다. 도 7에서, 슬라이더 스위치(704)는 백색광이 적게 나타나도록 조정되며, 이로써 채색된 강화된 영상이 디스플레이(700)의 저채도 영상에 비해 강조된다. 또는 달리, 채색된 강화된 영상의 밝기와 저채도 영상의 밝기를 따로 조정하여 이들 사이에 원하는 상대적 밝기를 달성할 수 있는 한 쌍의 슬라이더 스위치(706-707)가 사용자 인터페이스에 제공될 수 있다. 밝기 조정 장치는 흑/백 또는 회색 스케일 영상에 백색광이 어느 정도 형성되는지에 관해서 저채도 영상을 처리하는 것을 제어하기 위한 제어 신호를 생성할 수 있다. 또는 달리, 밝기 조정 장치는 조명장치(112)를 제어하기 위한 제어 신호를 생성할 수 있으며, 이로써 영상 캡처 동안 수술 부위를 조명하기 위해서 생성된 백색광의 밝기 수준을 조정할 수 있다.
이제, 도 8과 관련하여, 아이콘(702) 및 상대적 밝기 선택장치(704)를 포함하는, 사용자 인터페이스(701)와 유사한, 사용자 인터페이스(801)를 포함하는 디스플레이(800)가 도시된다. 사용자 인터페이스(801)는 도 7과 관련하여 설명된 상대적 밝기의 조정(예를 들어, 슬라이더(704))에 더하여 컬러 영상의 저채도화의 사용자 인터페이스 조정을 포함한다.
사용자 인터페이스(801)는 저채도 영상(402')의 저채도화의 수준을 조정하기 위한 슬라이더 스위치(804A)를 포함할 수 있다. 저채도화 조정 장치는 저채도 영상을 형성하기 위해서 각 픽셀에서 적색, 녹색, 청색(RGB) 정보를 감소시킴으로써 가시 컬러 영상으로부터 어느 정도의 색이 제거되는지에 관해서 가시 컬러 영상을 저채도 영상으로 처리하는 것을 제어하기 위한 제어 신호를 생성할 수 있다. 슬라이더 스위치(804A)는 도 8의 디스플레이(800)가 완전한 컬러보다는 적지만 일부 색을 가진 저채도 영상(402')을 나타내도록 설정된다. 슬라이더 스위치(804A) 대신에, 업다운 푸시 버튼 스위치(804B)를 사용하여 저채도 영상(402')에서 저채도화의 수준을 조정할 수 있다. 또는 달리, 회전식 원형 손잡이(804C)를 사용하여 저채도 영상(402')에서 저채도화의 수준을 조정할 수 있다.
어떤 경우, 체강으로부터 가시 전자기(EM) 스펙트럼에서 캡처된 조직의 저채도 영상, 및 저채도 영상과 조합된 제 1의 색 강화된 영상을 표시할 수 있는 디스플레이 장치가 개시된다. 제 1의 색 강화된 영상은 가시 전자기 스펙트럼 밖의 체강으로부터 캡처된 데이터를 표시한다. 저채도 영상과 제 1의 색 강화된 영상 사이의 상대적 밝기는 가시 전자기(EM) 스펙트럼에서 캡처된 조직에 비해 캡처된 데이터를 강조하도록 설정될 수 있으며, 이로써 사용자에게 개선된 정보 내용을 제공할 수 있다.
결론
개시된 방법은 백색광 영상의 충분한 임상적 세부사항을 제공함으로써 사용자로 하여금 수술 기구가 조직에 부주의하게 부딪히는 것을 피할 수 있도록 하고, 의사가 해부구조에서 헤매지 않도록 충분한 표지들을 제공하는 동시에, 백색광 영상의 세부사항으로부터 강화된 영상화 정보를 쉽게 구별할 수 있는 방식으로 강화된 영상에서 이용할 수 있는 정보의 세부사항을 제공할 수 있다.
본 발명의 구체예들의 하나 이상의 요소는 소프트웨어에서 실행될 수 있고, 이로써 하나 이상의 작업이 프로세서와 같은 기계에서 자동으로 수행될 수 있다. 소프트웨어에서 실행될 때, 본 발명의 구체예들의 요소들은 필수적으로 여기 개시된 방법들의 하나 이상의 작업을 수행하기 위한 프로그램 명령 또는 코드 세그먼트이다. 예를 들어, 기계 판독가능한 매체에 명령이 저장될 수 있으며, 기계에 의해서 실행되었을 때, 기계는 환자 안의 가시 전자기(EM) 스펙트럼 내의 수술 부위 조직의 캡처된 컬러 영상에서 색을 감소시킴으로써 저채도 영상을 형성하는 단계; 수술 부위에서 캡처된 비-가시 범위의 특징적인 조직을 색 강화된 영상에서 볼 수 있도록 하는 단계; 및 색 강화된 영상과 저채도 영상을 함께 조합해서 적어도 하나의 디스플레이 장치 상에 표시되는 조합된 영상을 형성하는 단계를 포함하는 작업들을 자동으로 수행할 수 있다.
프로그램 명령 또는 코드 세그먼트는 도 1에 도시된 프로세서(120) 또는 코어 프로세서(116)와 같은 프로세서에 의한 실행을 위해 프로세서 판독가능한 매체에 저장될 수 있다. 프로세서 판독가능한 매체는, 예를 들어 도 1에 예시된 메모리(122)와 같은 정보를 저장할 수 있는 어떤 매체를 포함할 수 있다. 프로세서 판독가능한 매체의 예는 전기 회로, 반도체 메모리 장치, ROM, 플래시 메모리, 지울 수 있는 ROM(EROM), 플로피 디스켓, CD-ROM, 광 디스크, 하드 디스크 등을 포함한다. 프로그램 명령 또는 코드 세그먼트는 인터넷, 인트라넷 등과 같은 컴퓨터 네트워크를 통해서 다운로드될 수 있다.
본 명세서는 많은 구체적인 내용을 포함하지만, 이들은 개시된 내용이나 청구된 내용의 범위에 대해 제한으로서 해석되어서는 안 되며, 개시된 내용의 특정한 실시에 따른 구체적인 특징들에 대한 설명으로서 해석되어야 한다. 개별적인 실시의 측면에서 본 명세서에 설명된 특정 특징들은 또한 하나의 실시로서 조합해서 실시될 수도 있다. 반면에, 단일 실시의 측면에서 설명된 다양한 특징들은 또한 개별적으로 또는 하위 조합으로 여러 번 실시되는 형태로도 실시될 수 있다. 또한, 특정 조합으로 작용하는 것으로서 특징들은 상기 설명되고, 심지어 이와 같이 처음에는 청구될 수 있지만, 청구된 조합의 하나 이상의 특징들은 일부 경우에는 그 조합에서 제외될 수 있으며, 청구된 조합은 하위 조합이나 하위 조합의 변형과 관련될 수 있다. 청구된 발명은 이후의 특허청구된 청구항들에 의해서만 제한된다.
100 : 영상화 시스템 101 : 내시경 카메라
102 : 비전 컨트롤 카트 104 : 의사 콘솔
111 : 로봇 암 112 : 조명장치
114 : 영상 프로세서 116 : 코어 프로세서
118 : 모니터 126 : 제어 신호
140 : 디스플레이 장치 210 : 수술 부위
212 : 가시 조직 213, 214 : 조직 특징부
701, 801 : 사용자 인터페이스 702 : 디스플레이 아이콘
704 : 슬라이더
102 : 비전 컨트롤 카트 104 : 의사 콘솔
111 : 로봇 암 112 : 조명장치
114 : 영상 프로세서 116 : 코어 프로세서
118 : 모니터 126 : 제어 신호
140 : 디스플레이 장치 210 : 수술 부위
212 : 가시 조직 213, 214 : 조직 특징부
701, 801 : 사용자 인터페이스 702 : 디스플레이 아이콘
704 : 슬라이더
Claims (12)
- 내시경 카메라;
상기 내시경 카메라에 결합되는 비전 컨트롤 카트; 및
상기 비전 컨트롤 카트에 결합된 의사 콘솔;을 포함하는 장치에서,
상기 비전 컨트롤 카트는 영상 프로세서를 포함하고, 상기 영상 프로세서는 캡처된 가시 컬러 영상을 저채도 영상으로 채도를 낮추기 위하여 구성되고, 상기 가시 컬러 영상은 상기 내시경 카메라에 의하여 캡처되고, 상기 가시 컬러 영상은 가시 전자기 스펙트럼 광으로부터 캡처된 반사된 백색광 영상이며, 상기 영상 프로세서는 제 1 캡처된 데이터를 나타내는 제 1 강화된 영상을 제 1 가시 컬러로 채색하여 제 1 강화된 컬러 영상을 형성하도록 구성되고,
상기 의사 콘솔은 상기 영상 프로세서에 연결된 디스플레이 장치를 포함하고, 상기 디스플레이 장치는 상기 저채도 영상과 상기 제 1 강화된 컬러 영상을 함께 중첩하여 표시하여 혼성된 영상을 형성하도록 구성된 장치. - 제 1 항에 있어서,
상기 영상 프로세서는 제 2 캡처된 데이터를 나타내는 제 2 강화된 영상을 제 2 가시 컬러로 채색하여 제 2 강화된 컬러 영상을 더 형성하도록 구성되고, 상기 제 1 캡처된 데이터와 상기 제 2 캡처된 데이터는 서로 다르고, 상기 제 1 가시 컬러는 상기 제 2 가시 컬러와 다르고,
상기 디스플레이 장치는 상기 저채도 영상, 상기 제 1 강화된 컬러 영상 및 상기 제 2 강화된 컬러 영상을 함께 중첩하여 표시하여 상기 혼성된 영상을 더 형성하도록 구성되는 것을 특징으로 하는 장치. - 제 1 항에 있어서,
상기 의사 콘솔은, 상기 디스플레이 장치 상에 혼성된 영상으로 표시되는 상기 저채도 영상과 상기 제 1 강화된 컬러 영상 사이의 상대적 밝기를 조정하기 위한 사용자 선택가능한 장치를 포함하는 사용자 인터페이스를 더 포함하는 것을 특징으로 하는 장치. - 제 1 항에 있어서,
상기 의사 콘솔은, 상기 디스플레이 장치 상에 표시되는 상기 저채도 영상의 밝기를 조정하기 위한 제 1의 사용자 선택가능한 장치 및 상기 디스플레이 장치 상에 표시되는 상기 제 1 강화된 컬러 영상의 밝기를 조정하기 위한 제 2의 사용자 선택가능한 장치를 포함하는 사용자 인터페이스를 더 포함하는 것을 특징으로 하는 장치. - 제 1 항에 있어서,
상기 내시경 카메라는 상기 영상 프로세서에 연결된 카메라 유닛을 더 포함하고,
상기 카메라 유닛은 상기 가시 전자기 스펙트럼 내의 파장 범위에 감응하는 제 1 센서와, 상기 가시 전자기 스펙트럼 밖의 파장 범위에 감응하는 제 2 센서를 포함하는 것을 특징으로 하는 장치. - 제 1 항에 있어서,
상기 저채도 영상의 일부는 수술 도구의 저채도 영상을 포함하는 것을 특징으로 하는 장치. - 제 1 항에 있어서,
상기 비전 컨트롤 카트는 바이오마커를 여기시키는 조명을 제공하도록 구성된 조명 수단을 더 포함하고,
상기 제 1 캡처된 데이터는 상기 여기된 바이오마커로부터 캡처되는 것을 특징으로 하는 장치. - 제 7 항에 있어서,
상기 바이오마커는 인도시아닌 그린을 포함하는 것을 특징으로 하는 장치. - 제 1 항에 있어서,
상기 제1 캡처된 데이터는 표면 조직 밑의 골 조직의 X-선으로부터 캡처된 데이터인 것을 특징으로 하는 장치. - 제 1 항에 있어서,
상기 제1 캡처된 데이터는 공간적 변동을 가진 임상 정보를 포함하는 수술 부위의 분광학적 특징들에 대한 근적외선 형광 영상, 가시광 형광 영상, 또는 래스터 스캔 중 하나인 것을 특징으로 하는 장치. - 제 1 항에 있어서,
상기 의사 콘솔은 상기 제 1 강화된 컬러 영상과 상기 저채도 영상 사이의 상대적 밝기를 다른 상대적 밝기로 변경하도록 구성된 사용자 인터페이스를 포함하는 것을 특징으로 하는 장치. - 제 1 항에 있어서,
상기 의사 콘솔은 상기 캡처된 가시 컬러 영상의 채도를 낮추는 저채도화의 수준을 변경하도록 구성된 사용자 인터페이스를 포함하는 것을 특징으로 하는 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/575,093 US8706184B2 (en) | 2009-10-07 | 2009-10-07 | Methods and apparatus for displaying enhanced imaging data on a clinical image |
| US12/575,093 | 2009-10-07 | ||
| PCT/US2010/050980 WO2011043982A1 (en) | 2009-10-07 | 2010-09-30 | Methods and apparatus for displaying enhanced imaging data on a clinical image |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020127007466A Division KR101763833B1 (ko) | 2009-10-07 | 2010-09-30 | 임상 영상 상에 강화된 영상화 데이터를 표시하기 위한 방법 및 장치 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187019032A Division KR101965753B1 (ko) | 2009-10-07 | 2010-09-30 | 임상 영상 상에 강화된 영상화 데이터를 표시하기 위한 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170091168A KR20170091168A (ko) | 2017-08-08 |
| KR101876795B1 true KR101876795B1 (ko) | 2018-07-10 |
Family
ID=43502550
Family Applications (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020177020980A KR101876795B1 (ko) | 2009-10-07 | 2010-09-30 | 임상 영상 상에 강화된 영상화 데이터를 표시하기 위한 방법 및 장치 |
| KR1020207001543A KR102172702B1 (ko) | 2009-10-07 | 2010-09-30 | 임상 영상 상에 강화된 영상화 데이터를 표시하기 위한 수술 시스템 |
| KR1020187019032A KR101965753B1 (ko) | 2009-10-07 | 2010-09-30 | 임상 영상 상에 강화된 영상화 데이터를 표시하기 위한 방법 및 장치 |
| KR1020197009195A KR102069258B1 (ko) | 2009-10-07 | 2010-09-30 | 임상 영상 상에 강화된 영상화 데이터를 표시하기 위한 수술 시스템 |
| KR1020127007466A KR101763833B1 (ko) | 2009-10-07 | 2010-09-30 | 임상 영상 상에 강화된 영상화 데이터를 표시하기 위한 방법 및 장치 |
Family Applications After (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207001543A KR102172702B1 (ko) | 2009-10-07 | 2010-09-30 | 임상 영상 상에 강화된 영상화 데이터를 표시하기 위한 수술 시스템 |
| KR1020187019032A KR101965753B1 (ko) | 2009-10-07 | 2010-09-30 | 임상 영상 상에 강화된 영상화 데이터를 표시하기 위한 방법 및 장치 |
| KR1020197009195A KR102069258B1 (ko) | 2009-10-07 | 2010-09-30 | 임상 영상 상에 강화된 영상화 데이터를 표시하기 위한 수술 시스템 |
| KR1020127007466A KR101763833B1 (ko) | 2009-10-07 | 2010-09-30 | 임상 영상 상에 강화된 영상화 데이터를 표시하기 위한 방법 및 장치 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US8706184B2 (ko) |
| EP (5) | EP4191518A1 (ko) |
| JP (5) | JP5883096B2 (ko) |
| KR (5) | KR101876795B1 (ko) |
| CN (1) | CN102576457B (ko) |
| WO (1) | WO2011043982A1 (ko) |
Families Citing this family (95)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9107697B2 (en) * | 2008-06-04 | 2015-08-18 | Restoration Robotics, Inc. | System and method for selecting follicular units for harvesting |
| US8652186B2 (en) * | 2008-06-04 | 2014-02-18 | Restoration Robotics, Inc. | System and method for selecting follicular units for harvesting |
| US8218847B2 (en) | 2008-06-06 | 2012-07-10 | Superdimension, Ltd. | Hybrid registration method |
| JP5818444B2 (ja) * | 2010-02-04 | 2015-11-18 | キヤノン株式会社 | 機能情報取得装置、機能情報取得方法、及びプログラム |
| US8295693B2 (en) | 2010-07-02 | 2012-10-23 | Intuitive Surgical Operations, Inc. | Dual optical path prism and camera in a minimally invasive surgical system |
| US9019345B2 (en) | 2010-07-02 | 2015-04-28 | Intuitive Surgical Operations, Inc. | Imaging mode blooming suppression |
| US9218364B1 (en) * | 2011-01-28 | 2015-12-22 | Yahoo! Inc. | Monitoring an any-image labeling engine |
| US9037600B1 (en) | 2011-01-28 | 2015-05-19 | Yahoo! Inc. | Any-image labeling engine |
| US9841822B2 (en) * | 2011-06-28 | 2017-12-12 | Guangzhou Ucweb Computer Technology Co., Ltd. | Method for operating mobile device using vibration sensor |
| WO2013158636A1 (en) * | 2012-04-16 | 2013-10-24 | Azizian Mahdi | Dual-mode stereo imaging system for tracking and control in surgical and interventional procedures |
| EP2845139A2 (en) * | 2012-04-30 | 2015-03-11 | General Electric Company | Systems and methods for performing correlation analysis on clinical outcome and characteristics of biological tissue |
| US20130296682A1 (en) * | 2012-05-04 | 2013-11-07 | Microsoft Corporation | Integrating pre-surgical and surgical images |
| EP2822516A4 (en) * | 2012-05-07 | 2015-11-25 | St Jude Medical Atrial Fibrill | STEREOSCOPIC DISPLAY OF A NAVIGATION SYSTEM OF A MEDICAL DEVICE |
| US20130325805A1 (en) * | 2012-06-02 | 2013-12-05 | Dmitriy Tochilnik | System and method for tagging and securely archiving patient radiological information |
| US9220570B2 (en) | 2012-06-29 | 2015-12-29 | Children's National Medical Center | Automated surgical and interventional procedures |
| US9633272B2 (en) | 2013-02-15 | 2017-04-25 | Yahoo! Inc. | Real time object scanning using a mobile phone and cloud-based visual search engine |
| US8983157B2 (en) | 2013-03-13 | 2015-03-17 | Restoration Robotics, Inc. | System and method for determining the position of a hair tail on a body surface |
| WO2014151952A1 (en) | 2013-03-14 | 2014-09-25 | Sri International | Compact robotic wrist |
| US9271686B2 (en) | 2013-03-14 | 2016-03-01 | West Virginia University | Endorectal prostate probe composed of a combined mini gamma camera and ultrasound sensor |
| CN105188592B (zh) | 2013-03-15 | 2018-07-27 | Sri国际公司 | 超灵巧型手术系统 |
| RU2665121C2 (ru) | 2013-05-03 | 2018-08-28 | Филипс Лайтинг Холдинг Б.В. | Источник света с настроенным спектральным распределением |
| US9603668B2 (en) | 2014-07-02 | 2017-03-28 | Covidien Lp | Dynamic 3D lung map view for tool navigation inside the lung |
| US9633431B2 (en) | 2014-07-02 | 2017-04-25 | Covidien Lp | Fluoroscopic pose estimation |
| US9986983B2 (en) | 2014-10-31 | 2018-06-05 | Covidien Lp | Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same |
| KR101630539B1 (ko) * | 2014-12-31 | 2016-06-14 | 국립암센터 | 수술현미경용 다중 형광 영상의 실시간 정합 장치 및 방법 |
| CN105225256B (zh) * | 2015-06-10 | 2019-02-01 | 西安交通大学 | 一种高灰阶深度图像的显示方法 |
| US10003754B2 (en) * | 2015-06-18 | 2018-06-19 | Agilent Technologies, Inc. | Full field visual-mid-infrared imaging system |
| CN108025445A (zh) | 2015-07-23 | 2018-05-11 | 斯里国际 | 机器人臂及机器人手术系统 |
| KR101784063B1 (ko) * | 2015-08-03 | 2017-10-11 | 국립암센터 | 펜타입의 의료용 형광 이미지 장치 및 이를 이용한 다중 형광 영상의 정합 시스템 |
| US10702226B2 (en) | 2015-08-06 | 2020-07-07 | Covidien Lp | System and method for local three dimensional volume reconstruction using a standard fluoroscope |
| US10674982B2 (en) | 2015-08-06 | 2020-06-09 | Covidien Lp | System and method for local three dimensional volume reconstruction using a standard fluoroscope |
| US10716525B2 (en) | 2015-08-06 | 2020-07-21 | Covidien Lp | System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction |
| JP6745508B2 (ja) * | 2015-09-11 | 2020-08-26 | 国立研究開発法人産業技術総合研究所 | 画像処理システム、画像処理装置、投影装置、及び投影方法 |
| JP6764574B2 (ja) * | 2016-01-13 | 2020-10-07 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、及び、手術システム |
| EP3205254B1 (en) | 2016-02-15 | 2020-11-18 | Leica Instruments (Singapore) Pte. Ltd. | Medical inspection apparatus, such as a microscope or endoscope, using pseudocolors |
| JP6581923B2 (ja) * | 2016-03-03 | 2019-09-25 | 富士フイルム株式会社 | 画像処理装置とその作動方法および作動プログラム |
| US10708478B2 (en) * | 2016-03-23 | 2020-07-07 | Karl Storz Imaging, Inc. | Image transformation and display for fluorescent and visible imaging |
| EP4374768A2 (en) * | 2016-06-30 | 2024-05-29 | Intuitive Surgical Operations, Inc. | Graphical user interface for displaying guidance information in a plurality of modes during an image-guided procedure |
| WO2018005861A1 (en) | 2016-06-30 | 2018-01-04 | Intuitive Surgical Operations, Inc. | Graphical user interface for displaying guidance information during an image-guided procedure |
| WO2018098444A1 (en) | 2016-11-28 | 2018-05-31 | Verb Surgical Inc. | Robotic surgical system to reduce unwanted vibration |
| US10918445B2 (en) | 2016-12-19 | 2021-02-16 | Ethicon Llc | Surgical system with augmented reality display |
| US11793579B2 (en) | 2017-02-22 | 2023-10-24 | Covidien Lp | Integration of multiple data sources for localization and navigation |
| WO2018195216A1 (en) | 2017-04-18 | 2018-10-25 | Intuitive Surgical Operations, Inc. | Graphical user interface for monitoring an image-guided procedure |
| US10792119B2 (en) | 2017-05-22 | 2020-10-06 | Ethicon Llc | Robotic arm cart and uses therefor |
| US10806532B2 (en) | 2017-05-24 | 2020-10-20 | KindHeart, Inc. | Surgical simulation system using force sensing and optical tracking and robotic surgery system |
| US10856948B2 (en) | 2017-05-31 | 2020-12-08 | Verb Surgical Inc. | Cart for robotic arms and method and apparatus for registering cart to surgical table |
| US10485623B2 (en) | 2017-06-01 | 2019-11-26 | Verb Surgical Inc. | Robotic arm cart with fine position adjustment features and uses therefor |
| US10913145B2 (en) | 2017-06-20 | 2021-02-09 | Verb Surgical Inc. | Cart for robotic arms and method and apparatus for cartridge or magazine loading of arms |
| US10699448B2 (en) | 2017-06-29 | 2020-06-30 | Covidien Lp | System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data |
| EP3694412A4 (en) | 2017-10-10 | 2021-08-18 | Covidien LP | SYSTEM AND METHOD FOR IDENTIFYING AND MARKING A TARGET IN A THREE-DIMENSIONAL FLUOROSCOPIC RECONSTRUCTION |
| US10893842B2 (en) | 2018-02-08 | 2021-01-19 | Covidien Lp | System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target |
| US10930064B2 (en) | 2018-02-08 | 2021-02-23 | Covidien Lp | Imaging reconstruction system and method |
| US10905498B2 (en) | 2018-02-08 | 2021-02-02 | Covidien Lp | System and method for catheter detection in fluoroscopic images and updating displayed position of catheter |
| US11205508B2 (en) | 2018-05-23 | 2021-12-21 | Verb Surgical Inc. | Machine-learning-oriented surgical video analysis system |
| US11754712B2 (en) | 2018-07-16 | 2023-09-12 | Cilag Gmbh International | Combination emitter and camera assembly |
| US11071591B2 (en) | 2018-07-26 | 2021-07-27 | Covidien Lp | Modeling a collapsed lung using CT data |
| US11705238B2 (en) | 2018-07-26 | 2023-07-18 | Covidien Lp | Systems and methods for providing assistance during surgery |
| US20200093420A1 (en) * | 2018-09-21 | 2020-03-26 | Covidien Lp | Surgical imaging system and methods of use thereof |
| US11944388B2 (en) | 2018-09-28 | 2024-04-02 | Covidien Lp | Systems and methods for magnetic interference correction |
| US11877806B2 (en) | 2018-12-06 | 2024-01-23 | Covidien Lp | Deformable registration of computer-generated airway models to airway trees |
| US11045075B2 (en) | 2018-12-10 | 2021-06-29 | Covidien Lp | System and method for generating a three-dimensional model of a surgical site |
| US11801113B2 (en) | 2018-12-13 | 2023-10-31 | Covidien Lp | Thoracic imaging, distance measuring, and notification system and method |
| US11617493B2 (en) | 2018-12-13 | 2023-04-04 | Covidien Lp | Thoracic imaging, distance measuring, surgical awareness, and notification system and method |
| US11357593B2 (en) | 2019-01-10 | 2022-06-14 | Covidien Lp | Endoscopic imaging with augmented parallax |
| WO2020154351A1 (en) * | 2019-01-25 | 2020-07-30 | Intuitive Surgical Operations, Inc. | Augmented medical vision systems and methods |
| US11625825B2 (en) | 2019-01-30 | 2023-04-11 | Covidien Lp | Method for displaying tumor location within endoscopic images |
| US11925333B2 (en) | 2019-02-01 | 2024-03-12 | Covidien Lp | System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network |
| US11564751B2 (en) | 2019-02-01 | 2023-01-31 | Covidien Lp | Systems and methods for visualizing navigation of medical devices relative to targets |
| US11744643B2 (en) | 2019-02-04 | 2023-09-05 | Covidien Lp | Systems and methods facilitating pre-operative prediction of post-operative tissue function |
| US11819285B2 (en) | 2019-04-05 | 2023-11-21 | Covidien Lp | Magnetic interference detection systems and methods |
| CN110101876A (zh) * | 2019-05-06 | 2019-08-09 | 上海师范大学 | 新型光声探针在制备医学靶向光声成像试剂或药物中的用途 |
| US11291358B2 (en) | 2019-06-20 | 2022-04-05 | Cilag Gmbh International | Fluorescence videostroboscopy of vocal cords |
| JP2021021573A (ja) * | 2019-07-24 | 2021-02-18 | 株式会社島津製作所 | イメージング装置 |
| US11269173B2 (en) | 2019-08-19 | 2022-03-08 | Covidien Lp | Systems and methods for displaying medical video images and/or medical 3D models |
| US20210052161A1 (en) * | 2019-08-23 | 2021-02-25 | Rebound Therapeutics Corporation | Fluorescence imaging system |
| US11864935B2 (en) | 2019-09-09 | 2024-01-09 | Covidien Lp | Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures |
| US11931111B2 (en) | 2019-09-09 | 2024-03-19 | Covidien Lp | Systems and methods for providing surgical guidance |
| US11627924B2 (en) | 2019-09-24 | 2023-04-18 | Covidien Lp | Systems and methods for image-guided navigation of percutaneously-inserted devices |
| US20210169330A1 (en) * | 2019-12-10 | 2021-06-10 | Covidien Lp | Lymphatic system tracking |
| US11896442B2 (en) | 2019-12-30 | 2024-02-13 | Cilag Gmbh International | Surgical systems for proposing and corroborating organ portion removals |
| US11776144B2 (en) | 2019-12-30 | 2023-10-03 | Cilag Gmbh International | System and method for determining, adjusting, and managing resection margin about a subject tissue |
| US11744667B2 (en) * | 2019-12-30 | 2023-09-05 | Cilag Gmbh International | Adaptive visualization by a surgical system |
| US11759283B2 (en) | 2019-12-30 | 2023-09-19 | Cilag Gmbh International | Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto |
| US11219501B2 (en) | 2019-12-30 | 2022-01-11 | Cilag Gmbh International | Visualization systems using structured light |
| US11648060B2 (en) | 2019-12-30 | 2023-05-16 | Cilag Gmbh International | Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ |
| US11284963B2 (en) | 2019-12-30 | 2022-03-29 | Cilag Gmbh International | Method of using imaging devices in surgery |
| US11832996B2 (en) | 2019-12-30 | 2023-12-05 | Cilag Gmbh International | Analyzing surgical trends by a surgical system |
| US11380060B2 (en) | 2020-01-24 | 2022-07-05 | Covidien Lp | System and method for linking a segmentation graph to volumetric data |
| US11847730B2 (en) | 2020-01-24 | 2023-12-19 | Covidien Lp | Orientation detection in fluoroscopic images |
| US11950950B2 (en) | 2020-07-24 | 2024-04-09 | Covidien Lp | Zoom detection and fluoroscope movement detection for target overlay |
| US20220058518A1 (en) * | 2020-08-23 | 2022-02-24 | Keith Louis DeSanto | Using machine learning algorithms and nanotechnology combinations to clean an indoor environment. |
| CN114257707A (zh) * | 2020-09-21 | 2022-03-29 | 安霸国际有限合伙企业 | 具有彩色夜间模式的智能ip摄像头 |
| US11045271B1 (en) | 2021-02-09 | 2021-06-29 | Bao Q Tran | Robotic medical system |
| US11430132B1 (en) * | 2021-08-19 | 2022-08-30 | Unity Technologies Sf | Replacing moving objects with background information in a video scene |
| WO2023041469A1 (en) * | 2021-09-16 | 2023-03-23 | Surgvision Gmbh | Registration of images acquired with different endoscopic units |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003290128A (ja) * | 2002-03-29 | 2003-10-14 | Olympus Optical Co Ltd | センチネルリンパ節検出方法 |
| JP2004255180A (ja) * | 1992-06-08 | 2004-09-16 | Univ Of Washington | 患者の注目部位の光学特性の変化を画像化する方法 |
| JP2006014868A (ja) * | 2004-06-30 | 2006-01-19 | Hamamatsu Photonics Kk | リンパ節検出装置 |
| KR20080068640A (ko) * | 2005-10-20 | 2008-07-23 | 인튜어티브 서지컬 인코포레이티드 | 의료용 로봇 시스템의 컴퓨터 표시부 상에 보조 이미지의표시 및 조작 |
Family Cites Families (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US262017A (en) * | 1882-08-01 | Collar fasteneb | ||
| JPS56128133A (en) * | 1980-03-14 | 1981-10-07 | Olympus Optical Co | Display apparatus of endoscope |
| JPS60181720A (ja) * | 1984-02-28 | 1985-09-17 | Olympus Optical Co Ltd | 固体撮像素子内蔵の内視鏡 |
| SE455646B (sv) * | 1984-10-22 | 1988-07-25 | Radians Innova Ab | Fluorescensanordning |
| US5177605A (en) * | 1987-04-28 | 1993-01-05 | Olympus Optical Co., Ltd. | Optical system for endoscopes and endoscopes using same |
| JP2666856B2 (ja) * | 1988-10-15 | 1997-10-22 | オリンパス光学工業株式会社 | 内視鏡用光源装置 |
| JPH03182185A (ja) * | 1989-12-11 | 1991-08-08 | Fujitsu Ltd | 赤外線監視システム |
| US5845639A (en) * | 1990-08-10 | 1998-12-08 | Board Of Regents Of The University Of Washington | Optical imaging methods |
| JP2641654B2 (ja) * | 1991-07-26 | 1997-08-20 | オリンパス光学工業株式会社 | 内視鏡装置 |
| JPH05228098A (ja) * | 1992-02-20 | 1993-09-07 | Asahi Optical Co Ltd | 測温内視鏡 |
| US5711755A (en) * | 1995-04-14 | 1998-01-27 | Vipera Systems, Inc. | Endoscopic diagnostic systems and associated methods employing infrared radiation |
| US6293911B1 (en) * | 1996-11-20 | 2001-09-25 | Olympus Optical Co., Ltd. | Fluorescent endoscope system enabling simultaneous normal light observation and fluorescence observation in infrared spectrum |
| US6331181B1 (en) | 1998-12-08 | 2001-12-18 | Intuitive Surgical, Inc. | Surgical robotic tools, data architecture, and use |
| DE69934482T2 (de) * | 1998-02-11 | 2007-09-27 | Non-Invasive Technology, Inc. | Nachweis, abbildung und kennzeichnung von brustumoren |
| JP2000209425A (ja) * | 1998-11-09 | 2000-07-28 | Canon Inc | 画像処理装置及び方法並びに記憶媒体 |
| US6652452B1 (en) * | 1999-10-25 | 2003-11-25 | Advanced Medical Electronics Corporation | Infrared endoscope with sensor array at the distal tip |
| JP2001299676A (ja) * | 2000-04-25 | 2001-10-30 | Fuji Photo Film Co Ltd | センチネルリンパ節検出方法および検出システム |
| US6748259B1 (en) * | 2000-06-15 | 2004-06-08 | Spectros Corporation | Optical imaging of induced signals in vivo under ambient light conditions |
| US6678398B2 (en) * | 2000-09-18 | 2004-01-13 | Sti Medical Systems, Inc. | Dual mode real-time screening and rapid full-area, selective-spectral, remote imaging and analysis device and process |
| JP2002102145A (ja) * | 2000-09-28 | 2002-04-09 | Asahi Optical Co Ltd | 電子内視鏡システム |
| JP3809058B2 (ja) * | 2000-10-05 | 2006-08-16 | ペンタックス株式会社 | 電子内視鏡装置 |
| JP3876972B2 (ja) * | 2001-10-12 | 2007-02-07 | 株式会社デンソー | 案内画像生成装置、案内画像表示装置、ナビゲーション装置、及びプログラム |
| ES2406697T3 (es) * | 2002-03-12 | 2013-06-07 | Beth Israel Deaconess Medical Center | Sistema de obtención de imágenes médicas |
| US8620410B2 (en) | 2002-03-12 | 2013-12-31 | Beth Israel Deaconess Medical Center | Multi-channel medical imaging system |
| JP2004208716A (ja) * | 2002-12-26 | 2004-07-29 | Ge Medical Systems Global Technology Co Llc | Ｘ線撮像システム |
| AU2003272531A1 (en) | 2003-09-15 | 2005-04-27 | Beth Israel Deaconess Medical Center | Medical imaging systems |
| JP4534459B2 (ja) * | 2003-10-10 | 2010-09-01 | 株式会社島津製作所 | 外科用ｘ線装置 |
| JP4716673B2 (ja) * | 2004-05-21 | 2011-07-06 | オリンパス株式会社 | 蛍光内視鏡装置 |
| JP2006026015A (ja) * | 2004-07-14 | 2006-02-02 | Fuji Photo Film Co Ltd | 光断層画像取得システム |
| JP2006043196A (ja) * | 2004-08-05 | 2006-02-16 | Pentax Corp | 電子内視鏡システム及び電子内視鏡用プロセッサ |
| JP2006263044A (ja) * | 2005-03-23 | 2006-10-05 | Fuji Photo Film Co Ltd | 蛍光検出システム |
| US7480402B2 (en) * | 2005-04-20 | 2009-01-20 | Visionsense Ltd. | System and method for producing an augmented image of an organ of a patient |
| CN101278059A (zh) * | 2005-07-28 | 2008-10-01 | 肿瘤疗法科学股份有限公司 | 诊断和治疗肾细胞癌的方法 |
| JP2007199542A (ja) * | 2006-01-30 | 2007-08-09 | Matsushita Electric Ind Co Ltd | 投射型表示装置 |
| JP2009136454A (ja) * | 2007-12-05 | 2009-06-25 | Olympus Corp | 内視鏡システム |
| WO2009094465A1 (en) * | 2008-01-24 | 2009-07-30 | Lifeguard Surgical Systems | Common bile duct surgical imaging system |
| EP2088556B1 (en) * | 2008-02-05 | 2017-02-01 | Siemens Healthcare GmbH | Method and system for registration to align at least one preoperative image to at least one intraoperativley acquired image |
| WO2009104318A1 (ja) * | 2008-02-22 | 2009-08-27 | 株式会社 日立メディコ | 移動型ｘ線装置 |
| JP5594711B2 (ja) * | 2008-02-26 | 2014-09-24 | ギブン イメージング リミテッド | 生体内画像コントラストを強化するための方法 |
| JP5027011B2 (ja) * | 2008-02-29 | 2012-09-19 | 富士フイルム株式会社 | 胸部画像回転装置および方法並びにプログラム |
| US20090289200A1 (en) * | 2008-05-22 | 2009-11-26 | Fujifilm Corporation | Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit |
| JP5229723B2 (ja) * | 2008-05-22 | 2013-07-03 | 富士フイルム株式会社 | 蛍光画像取得装置 |
-
2009
- 2009-10-07 US US12/575,093 patent/US8706184B2/en active Active
-
2010
- 2010-09-30 EP EP22204582.5A patent/EP4191518A1/en not_active Withdrawn
- 2010-09-30 KR KR1020177020980A patent/KR101876795B1/ko active IP Right Grant
- 2010-09-30 EP EP21201264.5A patent/EP3965057B1/en active Active
- 2010-09-30 KR KR1020207001543A patent/KR102172702B1/ko active IP Right Grant
- 2010-09-30 KR KR1020187019032A patent/KR101965753B1/ko active IP Right Grant
- 2010-09-30 EP EP16182007.1A patent/EP3109822B1/en active Active
- 2010-09-30 CN CN201080044928.XA patent/CN102576457B/zh active Active
- 2010-09-30 KR KR1020197009195A patent/KR102069258B1/ko active IP Right Grant
- 2010-09-30 EP EP10782457.5A patent/EP2486540B1/en active Active
- 2010-09-30 EP EP20179969.9A patent/EP3731176B1/en active Active
- 2010-09-30 KR KR1020127007466A patent/KR101763833B1/ko active IP Right Grant
- 2010-09-30 WO PCT/US2010/050980 patent/WO2011043982A1/en active Application Filing
-
2014
- 2014-09-19 JP JP2014190747A patent/JP5883096B2/ja active Active
-
2016
- 2016-02-04 JP JP2016019559A patent/JP6212141B2/ja active Active
-
2017
- 2017-09-14 JP JP2017176732A patent/JP6419277B2/ja active Active
-
2018
- 2018-10-09 JP JP2018190890A patent/JP6671442B2/ja active Active
-
2019
- 2019-10-18 JP JP2019190849A patent/JP6778807B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004255180A (ja) * | 1992-06-08 | 2004-09-16 | Univ Of Washington | 患者の注目部位の光学特性の変化を画像化する方法 |
| JP2003290128A (ja) * | 2002-03-29 | 2003-10-14 | Olympus Optical Co Ltd | センチネルリンパ節検出方法 |
| JP2006014868A (ja) * | 2004-06-30 | 2006-01-19 | Hamamatsu Photonics Kk | リンパ節検出装置 |
| KR20080068640A (ko) * | 2005-10-20 | 2008-07-23 | 인튜어티브 서지컬 인코포레이티드 | 의료용 로봇 시스템의 컴퓨터 표시부 상에 보조 이미지의표시 및 조작 |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101876795B1 (ko) | 임상 영상 상에 강화된 영상화 데이터를 표시하기 위한 방법 및 장치 | |
| US11381759B2 (en) | Multi-function imaging | |
| EP3110314B1 (en) | System and method for specular reflection detection and reduction | |
| CN107072644B (zh) | 成像装置 | |
| WO2009120228A1 (en) | Image processing systems and methods for surgical applications | |
| CN113256545A (zh) | 时间和/或空间调制的伪彩色图案的医学观察设备和方法 | |
| JP6512320B2 (ja) | イメージング装置 | |
| JP6295915B2 (ja) | イメージング装置 | |
| JP5662457B6 (ja) | 臨床画像上に強調された画像化データを表示するための方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |