KR102544975B1 - 동시 백색 광 및 하이퍼스펙트럴 광 이미징 시스템들 - Google Patents

동시 백색 광 및 하이퍼스펙트럴 광 이미징 시스템들 Download PDF

Info

Publication number
KR102544975B1
KR102544975B1 KR1020197009664A KR20197009664A KR102544975B1 KR 102544975 B1 KR102544975 B1 KR 102544975B1 KR 1020197009664 A KR1020197009664 A KR 1020197009664A KR 20197009664 A KR20197009664 A KR 20197009664A KR 102544975 B1 KR102544975 B1 KR 102544975B1
Authority
KR
South Korea
Prior art keywords
hyperspectral
visible
light
image capture
frames
Prior art date
Application number
KR1020197009664A
Other languages
English (en)
Other versions
KR20190040512A (ko
Inventor
이안 이 맥도월
제프리 엠 디카를로
브라이언 디 호프먼
윌리엄 제이슨 컬맨
Original Assignee
인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 filed Critical 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority to KR1020237019987A priority Critical patent/KR20230093070A/ko
Publication of KR20190040512A publication Critical patent/KR20190040512A/ko
Application granted granted Critical
Publication of KR102544975B1 publication Critical patent/KR102544975B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/106—Beam splitting or combining systems for splitting or combining a plurality of identical beams or images, e.g. image replication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

컴퓨터 보조 수술 시스템은 컴퓨터 보조 수술 시스템을 사용하여 수술 처치(surgical intervention)를 수행할 때 외과의가 통상적으로 사용하는, 조직을 식별해주거나 임상적 관심 피처들의 시각적 현저성(visual salience)을 증가시키는 가시 광 및 대안 모달리티 이미지들을 동시에 제공한다. 관심 조직으로부터의 하이퍼스펙트럴 광은, 비록 조직이 수술 필드의 통상적인 가시 이미지에서 가려질 수 있더라도, 그 조직을 안전하게 그리고 효율적으로 이미징하는 데 사용된다. 이전에는 이용가능하지 않았던 조직 또는 다른 신체 기능에 관한 상세 및 정보를 제공하기 위해 가시 및 하이퍼스펙트럴 이미지들의 조합이 분석된다.

Description

동시 백색 광 및 하이퍼스펙트럴 광 이미징 시스템들
관련 출원들
본 출원은: 미국 특허 출원 제62/385,700호(2016년 9월 9일자로 출원됨, Ian E. McDowall 등에 의한 "SIMULTANEOUS WHITE LIGHT AND HYPERSPECTRAL LIGHT IMAGING SYSTEMS"을 개시함)에 대한 우선권 및 그의 이익을 주장한다.
발명의 분야
본 발명은 일반적으로 수술 절차들에서 사용되는 이미징 기법들에 관한 것으로, 보다 상세하게는 시각 이미징(visual imaging)과 결합된 하이퍼스펙트럴 이미징(hyperspectral imaging)에 관한 것이다.
컴퓨터 보조 수술 시스템은 신체에 대한 감소된 외상(trauma), 보다 빠른 회복, 및 보다 짧은 입원 기간(hospital stay)과 같은, 많은 혜택들을 환자들에게 제공한다. 컴퓨터 보조 수술 시스템의 하나의 핵심 컴포넌트는 외과의에게 스테레오스코픽 뷰잉(stereoscopic viewing)을 제공하기 위해 가시 이미지들의 2-채널(즉, 좌 및 우) 비디오 캡처 및 디스플레이를 제공하는 능력이다.
그러한 전자 스테레오스코픽 이미징 시스템들은 고화질(high definition) 비디오 이미지들을 외과의에게 출력할 수 있고, 줌(zoom)과 같은 피처들이 "확대된" 뷰를 제공할 수 있게 해줄 수 있으며, 이 확대된 뷰는 외과의가 특정 조직 타입들 및 특성들을 식별하는 것은 물론 증가된 정밀도를 사용하여 작업할 수 있게 해준다.
전형적인 최소 침습 수술 필드(surgical field)에서, 특정 조직 타입들은 식별하기 어렵거나, 또는 관심 조직이 다른 조직에 의해 적어도 부분적으로 가려질(obscured) 수 있다. 이것은 수술 절차를 복잡하게 한다. 일부 응용들에서, 형광 이미지들 및 반사된 백색 광 이미지들이 최소 침습 수술에서 사용된다. 형광 이미지들은 관심 조직을 식별하는 데 도움을 준다.
다양한 형광 이미징 모달리티들(fluorescence imaging modalities)이 있다. 형광은, 예를 들어, 주사용 염료들, 형광 단백질들, 또는 형광 태깅된 항체들(fluorescent tagged antibodies)의 사용으로 인해 발생할 수 있다. 형광은, 예를 들어, 레이저 또는 다른 에너지 소스에 의한 여기(excitation)로 인해 발생할 수 있다. 형광 이미지들은, 병리학 정보(예컨대, 형광성 종양들) 또는 해부학적 정보(예컨대, 형광성 태깅된 힘줄들(fluorescing tagged tendons))와 같은, 수술에 중요한 바이탈 생체내 환자 정보(vital in vivo patient information)를 제공할 수 있다.
따라서, 형광 이미징을 사용한 조직의 시각화는 최소 침습 수술에서 알려져 있다. 게다가, 형광제로서의 인도시아닌 그린(indocyanine green)(ICG; Akorn, 미국 일리노이주 레이크 포레스트 소재)과 함께 근적외선(NIR) 광 기술을 사용하는 것은 da Vinci Si Surgical System을 사용한 최소 침습 수술에서 사용되어 왔다.
예를 들어, 문헌 [Hellen et al., "The influence of fluorescence imaging on the location of bowel transection during robotic left-sided colorectal surgery," Surg. Endosc., 03 January　2014, DOI　10.1007/s00464-013-3377-6]은 인도시아닌 그린(ICG) 및 근적외선 광 기술을 사용한 관류(perfusion)의 평가에 기초하여 결장 및 직장 절단 라인들(colonic and rectal transection lines)의 위치에 대한 형광 이미징의 영향을 체계적으로 평가하는 것을 설명한다.
예를 들어, 수뇨관들(ureters)을 위치확인하는 데 형광을 사용하는 것이 또한 알려져 있다. 근적외선(NIR) 형광단의 IV 주사(IV injection) 또는 카테터 기반 역행 주사(catheter-based retrograde injection)가 적외선 조명을 사용하여 수뇨관들을 이미징하는 데 사용되었다. 수뇨관들이, 주변 조직에 매립되어 있을 때에도, 시각화될 수 있고, 손상이 비가시 광을 사용하여 실시간으로 평가될 수 있다고 보고되었다. 문헌 [Eiichi Tanaka, et al. "Real-Time Intraoperative Ureteral Guidance Using Near-Infrared Fluorescence," J. Urol.　178(5), pgs.　2197-2201 (2007)]은 인도시아닌 그린(ICG) 및, LI-COR(미국 네브래스카주 링컨 소재)로부터의, IRDye™　800CW NIR 염료의 카르복실산 형태인, CW800-CA를 NIR 형광단들로서 사용하는 것을 설명하고 있다. 문헌 [Aya Matsui, M.D., et al., "Real-Time Near-Infrared Fluorescence-Guided Identification of the Ureters using Methylene Blue," Surgery,　148(1) pgs.　78-86 (2010)]은 메틸렌 블루(methylene blue)를 NIR 형광단으로서 사용한다.
수뇨관들을 위치확인하기 위한 다른 접근법은 적외선 서모그래피(infrared thermography)를 사용하였다. 수술 필드(operative field) 전체가 일시적으로 냉각되도록 실온 식염수가 수술 필드에서 세척제(irrigant)로서 사용되었다. 수술 필드가 차별적으로 재가온(rewarm)되기 때문에, 혈관들과 같은 구조들은 빠르게 재가온되어 적외선 이미지에서 어두운 배경에 대비하여 백색 라인들로서 나타났다. 이 동일한 개념의 제2 응용은 상부 비뇨기계(upper urinary system)에 실온 식염수를 채우는 것을 수반하였다. 골반 및 수뇨관은, 적외선 이미지에서 백색으로 나타나는, 보다 따뜻한 배경에 대비하여 흑색으로 나타났다. 문헌 [Jeffrey A. Cadeddu, M.D., et al, "Laparoscopic Infrared Imaging," Journal of Endourology, Vol.　15, No.　1, pgs.　111-116 (2001)]을 참조한다.
수술 시스템은 조명기 및 카메라를 포함한다. 조명기는 백색 광 조명 소스 및 하이퍼스펙트럴 조명 소스를 포함한다. 카메라는 센서 어셈블리를 포함한다. 센서 어셈블리는 제1 이미지 캡처 센서 및 제2 이미지 캡처 센서를 포함한다. 제1 이미지 캡처 센서는 가시 컬러 프레임을 캡처하도록 구성되고, 제2 이미지 캡처 센서는 하이퍼스펙트럴 프레임을 캡처하도록 구성된다. 제1 및 제2 이미지 캡처 센서들은 가시 컬러 프레임 및 하이퍼스펙트럴 프레임을 실질적으로 동시에 캡처한다.
일 양태에서, 카메라는 수술 시스템의 로봇 암(robotic arm) 상에 마운팅된다. 수술 시스템의 제어기는 조명기에 커플링되고 카메라에 커플링된다. 제어기는 카메라를 복수의 위치들 각각으로 이동시키라고 로봇 암에 명령하도록 구성되며, 제어기는 복수의 위치들 각각에서 가시 컬러 프레임 및 하이퍼스펙트럴 프레임을 동시에 캡처하라고 카메라에 명령하도록 구성된다.
다른 양태에서, 제어기는 하이퍼스펙트럴 주파대들(hyperspectral wavebands)의 시간 시퀀스를 출력하라고 조명기에 명령하도록 구성된다. 이 양태에서, 제어기는, 복수의 하이퍼스펙트럴 주파대들 각각에 대해, 가시 컬러 프레임 및 하이퍼스펙트럴 프레임을 실질적으로 동시에 캡처하라고 카메라에 명령하도록 구성된다.
또 다른 양태에서, 제어기는 하이퍼스펙트럴 프레임 세트를 캡처하라고 그리고 가시 프레임을 캡처하라고 카메라에 명령하도록 구성된다. 제어기는 하이퍼스펙트럴 프레임 세트로부터 합성 프레임(composite frame)을 생성하도록 구성된다. 가시 프레임은 수술 부위(surgical site)의 가시 장면을 포함하고, 합성 프레임은 가시 장면에서 가시적으로 현저한(visibly salient) 수술 부위의 피처(feature)를 포함한다.
수술 시스템은 합성 프레임 및 가시 프레임을 수신하도록 제어기에 커플링된 디스플레이 유닛을 또한 포함한다. 프레임들은 피처(들)를 식별하기 위해(피처들의 시인성(visibility)을 향상시키기 위해) 프로세싱되고, 디스플레이 유닛은 가시 장면과 중첩된 피처(들)를 디스플레이한다. 다른 양태에서, 디스플레이 유닛은 가시 장면과 중첩된 피처를 픽처 내 픽처(a picture within a picture)로 디스플레이하도록 구성된다.
카메라는 제1 이미지 캡처 센서 및 제2 이미지 캡처 센서에 공통인 렌즈 어셈블리를 포함한다. 카메라는 렌즈 어셈블리와 제1 및 제2 이미지 캡처 센서들 사이에 배치된 빔 스플리터를 또한 포함한다. 일 양태에서, 카메라는 빔 스플리터와 제2 이미지 캡처 센서 사이에 배치된 필터 어셈블리를 포함한다.
필터 어셈블리는 제2 이미지 캡처 센서 상에 포커싱된 광을 필터링하도록 배치된다. 일 양태에서, 필터 어셈블리는 스트라이프형 필터(striped filter)이다. 다른 양태에서, 필터 어셈블리는 하나의 차원에서 파장에 따라 선형 가변(linearly variable)인 필터이다.
일 양태에서, 내시경은 조명기 및 카메라를 포함한다. 다른 양태에서, 내시경은 제1 머니퓰레이터(manipulator) 상에 마운팅된다. 내시경은 카메라를 포함한다. 수술 디바이스는 제2 머니퓰레이터 상에 마운팅된다. 수술 디바이스는 조명기를 포함한다.
또 다른 양태에서, 수술 시스템은 가시 컬러 프레임들의 시퀀스 및 하이퍼스펙트럴 프레임들의 시퀀스를 수신하도록 구성된 제어기를 포함한다. 제어기는 컬러 프레임들의 시퀀스 내의 가시 컬러 프레임들 각각에 대응하는 하이퍼스펙트럴 프레임들의 시퀀스 내의 하이퍼스펙트럴 프레임 세트로부터 합성 하이퍼스펙트럴 프레임을 생성하도록 구성된다. 디스플레이 유닛은 가시 프레임들의 시퀀스 및 가시 프레임들 각각에 대한 합성 프레임을 수신하도록 제어기에 커플링된다.
일 양태에서, 디스플레이 유닛은 가시 프레임들의 시퀀스를 디스플레이하도록 구성되고, 가시 프레임들의 시퀀스의 디스플레이 내에 픽처-인-픽처를 디스플레이하도록 구성되며, 픽처-인-픽처는 대응하는 합성 프레임과 중첩되는 가시 프레임들 각각의 시퀀스이다.
추가의 양태에서, 수술 시스템은 제1 수술 디바이스 및 제2 수술 디바이스를 포함한다. 제1 수술 디바이스는 가시 컬러 프레임을 캡처하도록 구성된 제1 이미지 캡처 유닛을 포함한다. 제2 수술 디바이스는 하이퍼스펙트럴 프레임을 캡처하도록 구성된 제2 이미지 캡처 유닛을 포함한다. 제1 및 제2 이미지 캡처 유닛들은 가시 컬러 프레임 및 하이퍼스펙트럴 프레임을 실질적으로 동시에 캡처하고 이미지들을 이미지 프로세싱 유닛에 제공한다.
일 양태에서, 제2 수술 디바이스는 깊이 감지 유닛을 포함한다. 다른 양태에서, 제2 수술 디바이스는 캐뉼라(cannula)이다.
도 1은 동시 시각 및 하이퍼스펙트럴 이미징 능력을 포함하는, 컴퓨터 보조 수술 시스템의 하이 레벨 개략도(high level diagrammatic view)이다.
도 2는 도 1의 컴퓨터 보조 수술 시스템(100)의 일 예의 양태들의 보다 상세한 예시이다.
도 3은 도 2에서의 시스템의 동작에 대한 프로세스 흐름 다이어그램이다.
도 4는 도 2의 시스템에서의 조직의 조명 및 이미지들의 캡처에 대한 타이밍 다이어그램이다.
도 5a는 가시 프레임에 포함된 가시 수술 부위 장면의 추상적 표현이다.
도 5b는 도 5a의 수술 부위 장면의 스캔의 추상적 표현이다.
도 5c는 도 5a의 수술 부위 장면에 대한 픽처 내 픽처의 예시이다.
도 6은 도 3의 공간 정합(SPATIAL REGISTRATION) 프로세스의 일 구현의 블록 다이어그램이다.
도 7은 시간 순차(time sequential) 하이퍼스펙트럴 조명을 사용하여 캡처된 하이퍼스펙트럴 프레임들의 표현이다.
도 8a는 가시 프레임 및 하이퍼스펙트럴 프레임을 동시에 캡처하는, 시간 일정(time constant) 하이퍼스펙트럴 조명과 함께 사용되는 카메라의 다이어그램이다.
도 8b는 도 8a의 카메라에 사용하기 적당한 제1 타입의 필터의 예시이다.
도 8c는 도 8a의 카메라에 사용하기 적당한 제2 타입의 필터의 예시이다.
도 9는 가시 프레임 및 하이퍼스펙트럴 프레임을 동시에 캡처하는, 시간 일정 하이퍼스펙트럴 조명과 함께 사용되는 다른 카메라의 다이어그램이다.
도 10a는 도 8a, 도 9, 또는 도 10b의 카메라들 중 하나를 포함하는 수술 디바이스의 예시이다.
도 10b는 가시 프레임 및 하이퍼스펙트럴 프레임을 동시에 캡처하는, 시간 순차 하이퍼스펙트럴 조명과 함께 사용되는 카메라의 다이어그램이다.
도 11a는 본 명세서에 설명된 수술 디바이스들을 사용하는 다른 컴퓨터 보조 수술 시스템의 예시이다.
도 11b는 도 1의 컴퓨터 보조 수술 시스템에서 또는 도 11a의 컴퓨터 보조 수술 시스템에서 사용되는 2개의 수술 디바이스의 보다 상세한 예시이다.
도 12a는 도 11a의 제1 수술 기구(surgical instrument)에서 시간 일정 하이퍼스펙트럴 조명과 함께 사용되는 카메라의 다이어그램이다.
도 12b는 도 11a의 제1 수술 기구에서 시간 순차 하이퍼스펙트럴 조명과 함께 사용되는 카메라의 다이어그램이다.
본 발명의 양태들은 수술 동안 조직 또는 다른 임상적 관심 양태들을 식별하기 위해 가시 이미지들 및 대안 모달리티 이미지들 둘 다를 통합시키는 것에 의해 수술 디바이스들, 예컨대, 캘리포니아주 서니베일 소재의 Intuitive Surgical, Inc.에 의해 상업화된 da Vinci® Surgical System과 같은 컴퓨터 보조 수술 시스템의 비디오 캡처링 및 비디오 뷰잉 능력을 증강시킨다. (da Vinci®는 캘리포니아주 서니베일 소재의 Intuitive Surgical, Inc.의 등록 상표이다.) 컴퓨터 보조 수술 시스템이 본 명세서에서 일 예로서 사용되지만, 본 발명의 양태들은 수술 절차 동안 외과의를 보조하기 위해 수술 필드의 이미지를 디스플레이하는 임의의 디바이스 또는 시스템과 함께 사용될 수 있다.
본 발명의 양태들은 컴퓨터 보조 수술 시스템을 사용하여 외과 수술을 수행할 때 외과의가 통상적으로 사용하는 가시 이미지들에 부가하여 조직 또는 다른 임상적 관심 피처들을 식별해주는 대안 모달리티 이미지들을 동시에 제공한다. 일 양태에서, 관심 조직으로부터의 하이퍼스펙트럴 광은, 비록 조직이 수술 필드의 통상적인 가시 이미지에서 가려질 수 있더라도, 그 조직을 안전하게 그리고 효율적으로 이미징하는 데 사용된다. 다른 양태에서, 이전에는 이용가능하지 않았던 조직 또는 다른 신체 기능에 관한 상세 및 정보를 제공하기 위해 가시 및 하이퍼스펙트럴 이미징의 결합이 분석된다. 본 명세서에서, 하이퍼스펙트럴 광은 인간이 볼 수 있는 피처에 관련되지 않는 광에서의 스펙트럼 정보를 지칭한다.
이러한 이미징 결합은 가시 및 대안 이미지들의 오버레이일 수 있으며, 대안 이미지들의 오버레이는 (예컨대, 풋 페달을 사용하는 것에 의해 또는 da Vinci® Surgical System 외과의 콘솔(surgeon's console) 상의 마스터 핑거 그립들(master finger grips)을 더블 클릭하는 것에 의해) 토글 온 및 오프될(toggled on and off) 수 있다. 일 양태에서, 가시 및 대안 이미지들의 중첩 - 결합 픽처(combination picture) - 은 픽처 내 픽처로서 제시되고, 여기서 결합 픽처는 외과의에 의해 관찰되는 수술 부위의 통상적으로 디스플레이된 장면들 내에 픽처로서 제시되거나, 대안적으로 수술 부위의 통상적으로 디스플레이된 장면들이 결합 픽처 내에 픽처로서 제시된다. 일 양태에서, 결합 픽처에서의 장면은 결합 픽처를 생성하는 데 요구된 프로세싱으로 인해 외과의에게 통상적으로 디스플레이되는 장면보다 시간상 뒤진다(trails in time).
도 1은 컴퓨터 보조 수술 시스템(100), 예를 들어, da Vinci® Surgical System의 하이 레벨 개략도이다. 이 예에서, 외과의는, 외과의 콘솔(114)을 사용하여, 내시경(101)을 로봇 머니퓰레이터 암(113)을 사용하여 원격으로 조작한다. 외과의는 다른 로봇 머니퓰레이터 암들 상에 마운팅된 수술 기구들을 또한 조작할 수 있다. 컴퓨터 보조 수술 시스템(100)과 연관된 다른 부분들, 케이블들 등이 있지만, 이것들은 본 개시내용으로부터 벗어나는 것을 피하기 위해 도 1에 예시되어 있지 않다. 컴퓨터 보조 수술 시스템들에 관한 추가 정보는, 예를 들어, 미국 특허 출원 공개 제US 2008-0065105 A1호(2007년 6월 13일자로 출원됨; Minimally Invasive Surgical System을 개시함) 및 미국 특허 제6,331,181호(2001년 12월 18일자로 출원됨; Surgical Robotic Tools, Data Architecture, and Use를 개시함)에서 발견될 수 있으며, 이들 둘 다는 참고로 본 명세서에 포함된다.
이하에서 보다 완전히 설명되는 바와 같이, 조명 시스템(도시되지 않음)은 내시경(101)에 커플링되거나 대안적으로 내시경(101) 내에 포함된다. 일 양태에서, 조명 시스템은 백색 광 조명 또는 백색 광 조명과 하이퍼스펙트럴 광 조명의 조합을 제공한다. 일 양태에서, 이 광의 전부 또는 일부는 내시경(101)에서의 적어도 하나의 조명 경로에 커플링된다. 다른 양태에서, 조명 소스들은 내시경(101)의 원위 팁(distal tip)에 또는 그 근방에 또는 내시경(101)의 백엔드 하우징(backend housing)에 위치된다. 일 양태에서, 가시 백색 광 조명 및 하이퍼스펙트럴 조명 둘 다는 수술 절차 동안 일정하다(constant). 다른 양태에서, 가시 조명은 시간상 일정하지만, 하이퍼스펙트럴 조명의 스펙트럼은 시간에 따라 변한다.
이 양태에서, 내시경(101)으로부터의 광은 환자(111)의 조직(103)을 조명한다. 내시경(101)은, 일 양태에서, 조직으로부터의 광, 예컨대, 반사된 백색 광 및 반사된 또는 방출된 하이퍼스펙트럴 광을 통과시키기 위한 2개의 광학 채널, 예컨대, 좌측 광학 채널 및 우측 광학 채널을 포함하는, 스테레오스코픽 내시경(stereoscopic endoscope)이다. 내시경(101)은, 다른 양태에서, 조직으로부터의 광, 예컨대, 반사된 백색 광 및 반사된 또는 방출된 하이퍼스펙트럴 광을 통과시키기 위한 단일 광학 채널을 포함하는, 모노스코픽 내시경(monoscopic endoscope)이다.
이하에서 보다 완전히 설명되는 바와 같이, 양쪽 타입의 내시경들에 대해, 반사된 백색 광은 이미지 캡처 시스템(120)에 의해 가시 광 프레임들(121)로서 캡처된다. 가시 광 프레임들(121)은 조직(103)의 이미지들을 포함하는 가시 장면들을 포함하고, 가시 광 프레임들(121)은 때때로 가시 프레임들(121)이라고 지칭된다.
반사된 및/또는 방출된 하이퍼스펙트럴 광은 이미지 캡처 시스템(120)에 의해 하이퍼스펙트럴 광 프레임들(122)로서 캡처된다. 하이퍼스펙트럴 광 프레임들(122)은 내시경(101)의 시야(field of view) 내의 조직(103) 또는 다른 피처들의 하이퍼스펙트럴 장면들을 포함한다. 하이퍼스펙트럴 광 프레임들(122)은 때때로 하이퍼스펙트럴 프레임들(122)이라고 지칭된다. 이미지 캡처 유닛(120)은 가시 프레임 및 하이퍼스펙트럴 프레임을 실질적으로 동시에 캡처한다. 여기서, 가시 프레임 및 하이퍼스펙트럴 프레임을 실질적으로 동시에(substantially simultaneously), 사실상 동시에(effectively simultaneously), 거의 동시에(nearly simultaneously), 및 실질적으로 동시발생적으로(substantially concurrently) 캡처한다는 것은 인간의 관점에서 2개의 프레임이 동일한 시점에서 캡처되는 것처럼 보인다는 것을 의미한다.
일 양태에서, 이미지 캡처 시스템(120) 내의 카메라들은 내시경(101)의 근위 단부(proximal end) 상에 마운팅된다. 다른 양태에서, 카메라는 내시경(101)의 원위 단부(distal end)에 마운팅된다. 여기서, 원위는 수술 부위에 보다 가까운 것을 의미하고, 근위는 수술 부위로부터 보다 먼 것을 의미한다. 이하에서 보다 완전히 설명되는 바와 같이, 카메라들은, 일 양태에서, 동일한 프런트 엔드 광학계를 통해 가시 및 하이퍼스펙트럴 프레임들을 캡처한다. 이것은 하이퍼스펙트럴 프레임들을 캡처하기 위해 특수 프런트 엔드 광학계를 이용하는 시스템들과 대조적이다.
일 양태에서, 미리 결정된 시간 간격으로, 하이퍼스펙트럴 프레임들(122)의 스테레오스코픽 쌍은 스테레오스코픽 가시 프레임들(121)의 대응하는 쌍과 실질적으로 동시에 캡처된다. 따라서, 이미지 캡처 시스템(120)은 백색 광 장면, 예컨대, 가시 컬러 장면을 갖는 프레임(121)의 캡처를 가능하게 해주고, 가시 컬러 장면에서 현저하지 않은 정보의 캡처, 즉 하이퍼스펙트럴 프레임(122)의 캡처를 또한 가능하게 해준다. 전형적으로, 캡처된 하이퍼스펙트럴 프레임들(122)은 캡처된 가시 프레임들(121)과 동일한 해상도를 반드시 가지는 것은 아닌데, 그 이유는 하이퍼스펙트럴 프레임들(122)을 캡처하는 데 사용되는 센서의 분해능이, 일부 경우들에서, 가시 프레임들(121)을 캡처하는 데 사용되는 센서의 분해능보다 작을 수 있기 때문이다. 가시 및 하이퍼스펙트럴 이미지들에 대한 이미지 센서들을 구현하는 데 사용되는 기술은 이미징에 필요한 요구된 파장 범위들에서의 최상의 감도, 노이즈 감소, 및 이미징 성능을 위한 구현 상세들에 기초하여 상이할 수 있다.
결과적으로, 하나 이상의 하이퍼스펙트럴 프레임의 세트가 캡처되고, 이 하이퍼스펙트럴 프레임 세트는 대응하는 캡처된 가시 프레임에 공간적으로 정합된다(spatially registered). 공간적으로 정합된다는 것은 하이퍼스펙트럴 프레임 세트가 합성 하이퍼스펙트럴 프레임을 형성하기 위해 중첩되거나 대략적으로 중첩될 수 있도록 캡처된 하이퍼스펙트럴 프레임들 각각의 공통 공간 지점들(spatial points)이 정렬될 수 있도록 하이퍼스펙트럴 프레임들 각각 내의 공간 지점들이 매핑된다는 것, 및 때때로 증강된 장면(augmented scene)이라고 지칭되는, 결합 프레임(combination frame)을 형성하기 위해 합성 하이퍼스펙트럴 프레임과 가시 프레임이 중첩될 수 있도록 합성 하이퍼스펙트럴 프레임들의 공간 지점들이 가시 프레임 내의 대응하는 공간 지점들에 매핑된다는 것을 의미한다.
수술 부위에 있는 조직은 전형적으로, 예를 들어, 호흡, 심장의 박동, 다른 신체 운동(body motion) 또는 연동운동(peristalsis), 및/또는 혈류 중 임의의 것 또는 이들의 임의의 조합으로 인해 움직인다. 이러한 움직임은 공간 정합을 보다 어렵게 만들지만, 컴퓨터 보조 수술 시스템에서, 카메라의 포즈(pose)(위치 좌표들 및 배향 좌표들)가 캡처된 각각의 이미지에 대해 알려져 있고 공간 정합 프로세스에 사용될 수 있다.
일 양태에서, 이미지 프로세싱 시스템(130)은 증강된 장면(141)을 생성하며, 즉 가시 프레임 내의 가시 장면이 하이퍼스펙트럴 프레임 세트의 중첩에 의해 형성된 합성 장면과 중첩된다. 일부 양태들에서, 가시 데이터와 하이퍼스펙트럴 데이터의 결합은 외과의에게 제시하기 위해 변환되며, 예컨대, 특정 관심 피처들을 식별해주기 위해 데이터가 프로세싱된다. 증강된 장면(141)은 외과의 콘솔(114)의 스테레오스코픽 뷰어에 디스플레이된다. 하이퍼스펙트럴 프레임 세트가 가시 장면에서 현저하지 않은 피처들, 예컨대, 가시 프레임들의 장면들에서 보이지 않거나 명확하게 보이지 않는 피처들을 캡처하기 때문에, 증강된 이미지는 가시 장면에서 이용가능한 것보다 더 많은 정보, 예컨대, 발병된 조직(diseased tissue), 신경들, 수뇨관들과 같은 관심 조직의 위치를 외과의에게 제공한다.
다른 양태에서, 외과의 콘솔(114)의 스테레오스코픽 뷰어는 픽처 인 픽처 능력을 갖는다. 시스템(100)의 사용자가 픽처 인 픽처 보기 모드(view mode)를 선택할 때, 수술 부위의 정상 뷰(normal view)가 제시되고 픽처 내 픽처는 비-현저 피처들(non-salient features)이 하이라이트되어 있는 수술 부위의 다른 뷰를 외과의에게 제시한다. 대안적으로, 픽처 인 픽처 보기 모드에서, 외과의는 비-현저 피처들이 하이라이트되어 있는 수술 부위의 뷰를 제시받고, 픽처 인 픽처는 수술 부위의 정상 뷰를 제시한다. 양쪽 경우들에서, 동일한 가시 수술 부위 장면이 양쪽 픽처들에 제시되지만, 증강된 장면에서는, 가시 수술 부위 장면이 정상 뷰에서의 동일한 수술 부위 장면보다 시간상 뒤질 수 있다.
또한, 깊이 정보가, 예컨대, 스테레오스코픽 카메라에 의해 캡처된 프레임들으로부터 또는 깊이 감지 디바이스를 포함하는 내시경으로부터, 이용가능할 때, 조직의, 상대 반사율(relative reflectance)과 비교하여, 절대 반사율(absolute reflectance)을 결정하기 위해 하이퍼스펙트럴 프레임들 내의 정보가 분석될 수 있다. 절대 반사율은, 예를 들어, 발병된 조직의 결정, 또는 절대 용어들에 의한(in absolute terms) 간 기능의 등급(rate)에 대한 임상적 평가를 가능하게 해준다.
도 2는 도 1의 컴퓨터 보조 수술 시스템(100)의 일 예의 양태들의 보다 상세한 예시이다. 도 3은 도 2에서의 시스템의 동작에 대한 프로세스 흐름 다이어그램이다. 도 4는 도 2의 시스템에서의 조직의 조명 및 이미지들의 캡처에 대한 타이밍 다이어그램이다. 타이밍 다이어그램은 일정 하이퍼스펙트럴 조명 및 시간 순차 하이퍼스펙트럴 조명 둘 다에 적용된다.
도 2의 실시예에서, 컴퓨터 보조 수술 시스템(100)은 조합 광 소스(combination light source)(210)인 조명기를 포함한다. 조합 광 소스(210)는 가시 광 조명기(211), 예컨대, 백색 광 소스, 및 하이퍼스펙트럴 광 조명기(212)를 포함한다. 조합 광 소스(210)가 이하에서 보다 완전히 설명되는 능력을 갖는 한, 조명기들(211 및 212)의 특정 구현은 중요하지 않다.
이 양태에서, 조직(103)을 조명하기 위해 스테레오스코픽 내시경(101) 내의 적어도 하나의 조명 경로와 관련하여 조합 광 소스(210)가 사용된다. 일 양태에서, 조합 광 소스(210)는 적어도 2개의 동작 모드: 정상 뷰잉 모드(normal viewing mode) 및 증강 뷰잉 모드(augmented viewing mode)를 갖는다. 일 양태에서, 증강 뷰잉 모드는 일정 하이퍼스펙트럴 조명 모드 및 시간 순차 하이퍼스펙트럴 조명 모드로 나누어진다.
정상 뷰잉 모드에서, 가시 광 조명기(211)는 백색 광으로 조직(103)을 조명하는 조명을 제공한다. 하이퍼스펙트럴 광 조명기(212)가 정상 뷰잉 모드에서는 사용되지 않는다.
증강 뷰잉 모드에서, 가시 광 조명기(211)는 백색 광으로 조직(103)을 조명하는 조명을 제공한다. 일 양태에서, 하이퍼스펙트럴 광 조명기(212)는 하이퍼스펙트럴 광, 예컨대, 적외선 스펙트럼 내의 광의 시간 일정 스펙트럼(constant in time spectrum)으로 조직(103)을 조명하는 조명을 제공한다. 다른 양태에서, 하이퍼스펙트럴 광 조명기(212)는 하이퍼스펙트럴 광의 시간 순차 주파대들, 예컨대, 적외선 스펙트럼 내의 광의 주파대들로 조직(103)을 조명하는 조명을 제공한다.
적외선 또는 근적외선 광을 하이퍼스펙트럴 조명의 일 예로서 사용하는 것은 예시적인 것에 불과하고, 이 특정 양태로 제한하는 것으로 의도되지 않는다. 본 개시내용을 고려하여, 본 기술분야에 통상의 지식을 가진 자는 캡처된 가시 프레임들 내의 비-현저 피처들을 캡처된 하이퍼스펙트럴 프레임들에서 현저하게 만들어주는 하이퍼스펙트럴 조명을 선택할 수 있다.
일 양태에서, 가시 광 조명기(211)는 상이한 가시 컬러 조명 컴포넌트들 각각에 대한 소스를 포함한다. 적색-녹색-청색 구현의 경우, 일 예에서, 소스들은 레이저들, 하나의 적색 레이저, 2개의 녹색 레이저 및 하나의 청색 레이저이다.
가시 광 조명기(211)에서 레이저들을 사용하는 것은 예시적인 것에 불과하고 제한하는 것으로 의도되지 않는다. 가시 광 조명기(211)는, 예를 들어, 레이저들 대신에 다수의 LED 소스들로 또한 구현될 수 있다. 대안적으로, 가시 광 조명기(211)는 가시 이미지들에 대한 광대역 백색 조명 광을 생성하기 위해 타원형 후방 반사기(back reflector) 및 대역 통과 필터 코팅을 갖는 크세논 램프를 사용할 수 있다. 크세논 램프의 사용이 또한 예시적인 것에 불과하고 제한하는 것으로 의도되지 않는다. 예를 들어, 고압 수은 아크 램프, 다른 아크 램프들, 또는 다른 광대역 광 소스들이 사용될 수 있다.
하이퍼스펙트럴 광 조명기(212)의 구현은 관심 하이퍼스펙트럴 스펙트럼에 의존한다. 전형적으로, 하나의 레이저 모듈, 레이저 모듈들, 하나의 발광 다이오드 또는 발광 다이오드들이 하이퍼스펙트럴 광 조명기(212)로서 사용된다. 하이퍼스펙트럴 광 조명기(212)가 하이퍼스펙트럴 광의 시간 일정 스펙트럼을 제공하는 경우, 하이퍼스펙트럴 광 조명기(212)의 출력을 필터링하고 따라서 하이퍼스펙트럴 광의 시간 순차 주파대들을 생성하기 위해 회전 필터(rotating filter)가 사용될 수 있다. 선형 가변 필터가 또한 사용되고 광 경로를 가로질러 슬라이딩될 수 있다. 2개의 그러한 필터가 일정 대역의 조명(a band of illumination)을 선택적으로 생성하는 데 또한 사용될 수 있다. 이러한 방식으로 사용되는 필터들은 또한, 서로에 상대적으로 이동될 때, 원하는 스펙트럼 발광체(spectral illuminant)가 생성되도록 하는 방식으로 패터닝될 수 있다.
정상 및 증강 뷰잉 모드들에서, 가시 광 조명기(211)로부터의 광 또는 가시 광 조명기(211)로부터의 광 및 하이퍼스펙트럴 광 조명기(212)로부터의 광이 커넥터(216) 내로 지향된다. 커넥터(216)는 광을 스테레오스코픽 내시경(101) 내의 조명 경로에 제공하고, 이 조명 경로는 차례로 광을 조직(103)으로 지향시킨다. 커넥터(216) 및 스테레오스코픽 내시경(101) 내의 조명 경로 각각은, 예를 들어, 광섬유 번들(fiber optic bundle), 단일의 경성 또는 가요성 로드(stiff or flexible rod), 또는 광섬유(optical fiber)로 구현될 수 있다.
수술 부위(103)(도 2)로부터의 광은 내시경(101) 내의 스테레오스코픽 광학 채널, 예컨대, 좌측 광학 채널 및 우측 광학 채널, 또는 대안적으로, 제1 광학 채널 및 제2 광학 채널에 의해 카메라들(220L, 220R)로 전달된다. 이하에서 보다 완전히 설명되는 바와 같이, 좌측 카메라(220L)는 좌측 가시 컬러 이미지 캡처 센서(221L_V) 및 좌측 하이퍼스펙트럴 이미지 캡처 센서(221L_HS)를 포함한다. 좌측 가시 컬러 이미지 캡처 센서(221L_V)는 스테레오스코픽 내시경(101)의 좌측 채널로부터 수용된(received) 가시 광을 좌측 가시 프레임(222L_V)으로서 캡처한다. 좌측 하이퍼스펙트럴 이미지 캡처 센서(221L_HS)는 스테레오스코픽 내시경(101)의 좌측 채널로부터 수용된 하이퍼스펙트럴 광, 또는 하이퍼스펙트럴 및 가시 광을 좌측 하이퍼스펙트럴 프레임(222L_HS)으로서 캡처한다.
이와 유사하게, 우측 카메라(220R)는 우측 가시 컬러 이미지 캡처 센서(221R_V) 및 우측 하이퍼스펙트럴 이미지 캡처 센서(221R_HS)를 포함한다. 우측 가시 컬러 이미지 캡처 센서(221R_V)는 스테레오스코픽 내시경(101)의 우측 채널로부터 수용된 가시 광을 우측 가시 프레임(222R_V)으로서 캡처한다. 우측 하이퍼스펙트럴 이미지 캡처 센서(221R_HS)는 스테레오스코픽 내시경(101)의 우측 채널로부터 수용된 하이퍼스펙트럴 광, 또는 하이퍼스펙트럴 및 가시 광을 우측 하이퍼스펙트럴 프레임(222R_HS)으로서 캡처한다.
좌측 카메라(220L) 및 우측 카메라(220R) 둘 다는 가시 프레임 및 하이퍼스펙트럴 프레임을 실질적으로 동시에 캡처한다. 캡처된 가시 프레임 및 캡처된 하이퍼스펙트럴 프레임은 동일한 프런트 엔드 광학계를 통해 캡처된다. 이것은 하이퍼스펙트럴 이미지들을 캡처하기 위해 특수 프런트 엔드 광학계를 사용하는 종래의 하이퍼스펙트럴 이미지 캡처 시스템들과 대조적이다.
전형적으로, 하이퍼스펙트럴 이미지 캡처 센서들의 분해능은 가시 컬러 이미지 캡처 센서들의 분해능보다 작지만, 반드시 그러한 것은 아니다. 예를 들어, 가시 컬러 이미지 캡처 센서들 내의 픽셀들은 1.2 내지 2.2 마이크로미터 범위의 크기를 가지는 반면, 하이퍼스펙트럴 이미지 캡처 센서들 내의 픽셀들은 2 내지 10 마이크로미터 범위의 크기를 가진다. 따라서, 유용한 하이퍼스펙트럴 이미지를 획득하기 위해, 이하에서 보다 완전히 설명되는 바와 같이, 복수의 하이퍼스펙트럴 프레임들이 일정 시점에 대한 합성 하이퍼스펙트럴 프레임을 생성하는 데 사용된다. 합성 하이퍼스펙트럴 프레임은 캡처된 가시 프레임에서 전형적으로 현저하지 않은 정보를 포함한다.
카메라(220L)는 좌측 카메라 제어 유닛(230L) 및 이미지 프로세싱 모듈(240)에 의해 외과의 콘솔(114)의 스테레오스코픽 디스플레이(251)에 커플링된다. 이미지 프로세싱 모듈(240)은 이미지 프로세싱 시스템(130)의 일부이다. 카메라(220R)는 우측 카메라 제어 유닛(230R) 및 이미지 프로세싱 모듈(240)에 의해 외과의 콘솔(114)의 스테레오스코픽 디스플레이(251)에 커플링된다. 카메라 제어 유닛들(230L, 230R)은 시스템 프로세스 제어 모듈(262)로부터 신호들을 수신한다. 시스템 프로세스 제어 모듈(262)은 시스템(100) 내의 다양한 제어기들을 나타낸다.
디스플레이 모드 선택 스위치(252)는 사용자 인터페이스(261)에 신호를 제공하며, 이 신호는 차례로 선택된 디스플레이 모드를 시스템 프로세스 제어 모듈(262)에 전달한다. 시스템 프로세스 제어 모듈(262) 내의 다양한 제어기들은 조명 제어기(215)를 구성하고, 원하는 이미지들을 취득하도록 좌측 및 우측 카메라 제어 유닛들(230L 및 230R)을 구성하며, 외과의가 요청된 장면들을 스테레오스코픽 디스플레이(251)에서 제시받도록 취득된 장면들을 프로세싱하는 데 필요한 이미지 프로세싱 모듈(240) 내의 임의의 다른 요소들을 구성한다. 이미지 프로세싱 모듈들(240)은, 본 명세서에서 제공된 상세들을 제외하고는, 공지된 이미지 프로세싱 파이프라인들과 동등한 이미지 프로세싱 파이프라인들을 구현한다.
스테레오스코픽 디스플레이(251) 상의 비디오 출력은, 예컨대, 풋 스위치, 수술 기구들을 제어하는 데 사용되는 마스터 그립들의 더블 클릭, 음성 제어, 및 다른 비슷한 스위칭 방법들을 사용함으로써 정상 및 증강 뷰잉 모드들 사이에서 토글될 수 있다. 뷰잉 모드들 간에 스위칭하기 위한 토글은 도 2에서 디스플레이 모드 선택(252)으로서 나타내어져 있다.
중앙 제어기(260) 및 시스템 프로세스 제어 모듈(262)은 이하에서 보다 완전히 설명되는 양태들을 제외하고는 종래의 시스템들과 유사하다. 비록 중앙 제어기(260)로서 설명되어 있지만, 제어기(260)가 실제로 임의의 개수의 모듈들에 의해 구현될 수 있고, 각각의 모듈이 컴포넌트들의 임의의 조합을 포함할 수 있다는 점이 인식되어야 한다. 각각의 모듈 및 각각의 컴포넌트는 하드웨어, 프로세서 상에서 실행되는 소프트웨어, 및 펌웨어, 또는 이 셋의 임의의 조합을 포함할 수 있다.
또한, 본 명세서에 설명된 바와 같은, 제어기(260) 및 시스템 프로세스 제어 모듈(262)의 기능들 및 동작들(acts)이 하나의 모듈에 의해 수행되거나, 상이한 모듈들 간에 또는 심지어 모듈의 상이한 컴포넌트들 간에 분할될 수 있다. 상이한 모듈들 또는 컴포넌트들 간에 분할될 때, 모듈들 또는 컴포넌트들이 하나의 위치에 집중되거나(centralized), 분산 프로세싱 목적들을 위해 시스템(100)에 걸쳐 분산될 수 있다. 따라서, 중앙 제어기(260) 및 시스템 프로세스 제어 모듈(262)은, 일부 양태들에서 둘 다가 시스템(100)에 걸쳐 분산되기 때문에, 단일의 물리적 엔티티를 요구하는 것으로 해석되어서는 안된다.
본 명세서에서, 카메라(220L)에 의해 캡처되는 이미지들의 캡처, 프로세싱, 및 디스플레이는 카메라(220R)에 의해 캡처되는 이미지들의 캡처, 프로세싱, 및 디스플레이와 동일하다. 따라서, 이하의 설명에서, 스테레오스코픽 내시경의 한 채널에서의 광으로부터 캡처된 프레임들만이 논의될 때, 그 논의가 스테레오스코픽 내시경의 다른 채널에서의 광으로부터 캡처된 프레임들에 또한 직접 적용가능하다. 따라서, 설명이 스테레오스코픽 내시경의 다른 채널에 대해 반복되지 않는다.
더욱이, 모노스코픽 내시경에서, 예를 들어, 카메라(220L)에 의해 캡처된 프레임들과 동등한 프레임들만이 이용가능하다. 따라서, 스테레오스코픽 이미지를 요구하지 않는 본 명세서에 설명된 양태들이 모노스코픽 내시경에 또한 직접 적용가능하다.
컴퓨터 보조 수술 시스템들에 관한 추가 정보는, 예를 들어, 미국 특허 출원 제11/762,165호(2007년 6월 23일자로 출원됨; Minimally Invasive Surgical System을 개시함), 미국 특허 제US　6,837,883 B2호(2001년 10월 5일자로 출원됨; Arm Cart for Telerobotic Surgical System을 개시함), 및 미국 특허 제6,331,181호(2001년 12월 28일자로 출원됨; Surgical Robotic Tools, Data Architecture, and Use를 개시함)에서 발견될 수 있으며, 이들 모두는 참고로 본 명세서에 포함된다.
도 2에서, 카메라들(220L, 220R) 및 조합 광 소스(210)는 내시경(101) 외부에 있는 것으로 도시되어 있다. 그렇지만, 일 양태에서, 카메라들(220L, 220R) 및 광 소스(210)는, 조직(103)에 인접한, 내시경(101)의 원위 팁에; 또는 내시경(101)의 백엔드 하우징에 포함될 수 있다.
도 3은 시스템(100)의 이미징 동작(300)의 일 양태의 프로세스 흐름 다이어그램이다. 이미징 동작(300)은 2개의 파이프라인, 가시 이미지 프로세싱 파이프라인(310) 및 하이퍼스펙트럴 이미지 프로세싱 파이프라인(320)을 포함한다. 가시 이미지 프로세싱 파이프라인(310)은, 가시 비디오 시퀀스들(421L_V, 421R_V)(도 4)이 일 양태에서 하이퍼스펙트럴 이미지 프로세싱 파이프라인(320)을 위해 저장되고 그에 의해 사용되는 것을 제외하고는, 종래의 컴퓨터 보조 수술 시스템의 가시 이미지 프로세싱 파이프라인과 유사하다.
도 3의 예에서, 증강 뷰잉 모드에서, 가시 이미지 프로세싱 파이프라인(310) 및 하이퍼스펙트럴 이미지 프로세싱 파이프라인(320) 둘 다는 일 양태에서 비디오 출력을 동시에 디스플레이한다. 다른 양태에서, 증강 뷰잉 모드에서, 하이퍼스펙트럴 이미지 프로세싱 파이프라인(320)만이 비디오 출력을 디스플레이한다. 어느 경우든지, 증강 이미지 프로세싱 파이프라인(320)은 전형적으로 가시 비디오 이미지 시퀀스에서 관찰될 수 없는 피처들 또는 정보를 디스플레이에서 출력한다.
정상 뷰잉 모드를 선택하는 디스플레이 모드 선택(252)으로부터의 사용자 입력에 응답하여, 정상 뷰잉 모드를 표시하는 디스플레이 선택 신호(301)(도 3)가 사용자 인터페이스(261)에서의 뷰잉 모드 체크 프로세스(302)(도 3)에 제공되고, 뷰잉 모드 체크 프로세스(302)는 차례로 백색 광 조명 활성 제어 신호를 조직을 백색 광으로 조명 프로세스(303)에 제공한다. 사용자 인터페이스(261)는, 일 양태에서, 사용자 제어 모듈에 의해 생성된다.
일 양태에서, 정상 뷰잉 모드가 디폴트 모드(default mode)이다. 이 양태에서, 디스플레이 모드 선택(252)은 외과의가 정상 뷰잉 모드로부터 증강 뷰잉 모드로 또는 증강 뷰잉 모드로부터 정상 뷰잉 모드로 스위칭하기를 원할 때까지는 사용되지 않을 것이다.
조직을 백색 광으로 조명 프로세스(303)는 백색 광 동작 커맨드를 조합 광 소스(210) 내의 광 제어기(215)에게 송신한다. 광 제어기(215)는 편의상 조합 광 소스(210) 내에 위치되는 것으로 예시되어 있으며, 광 제어기(215)의 위치를 이 특정 위치로 제한하는 것으로 의도되지 않는다.
백색 광 동작 커맨드에 응답하여, 광 제어기(215)는, 조명기(212)가 온인 경우, 하이퍼스펙트럴 광 조명기(212)를 턴 오프시키고, 조직(103)이 백색 광에 의해 조명되도록 가시 광 조명기(211)를 인에이블시킨다. 본 기술분야에 통상의 지식을 가진 자는 조명기들(211 및 212)에의 전력을 턴 온 및 오프시키는 대신에, 제어기(215)가 전력을 상시 온으로(always on) 유지하고 조명기들로부터의 출력을 커넥터(216)로 그리고 그로부터 멀어지게 지향시켜 동일한 결과를 달성할 수 있다는 것을 인식한다.
따라서, 정상 뷰잉 동작 모드에서, 조직을 백색 광으로 조명 프로세스(303)는 조직(103)이 백색 광으로 조명되게 한다. 조직(103)(도 2)으로부터의 가시 광은 내시경(101) 내의 스테레오스코픽 광학 채널들에 의해 이미지 캡처 시스템(220)으로 전달된다. 이미지 캡처 시스템(220)이, 이 양태에서, 좌측 가시 컬러 이미지 캡처 센서(221L_V)를 포함하는 좌측 카메라(220L) 및 우측 가시 컬러 이미지 캡처 센서(221R_V)를 포함하는 우측 카메라(220R)를 포함한다.
따라서, 가시 이미지를 캡처 프로세스(304)(도 3)에서, 좌측 가시 컬러 이미지 캡처 센서(221L_V)는 가시 좌측 프레임을 캡처하고 우측 가시 컬러 이미지 캡처 센서(221R_V)는 가시 우측 프레임을 캡처한다. 취득된 좌측 및 우측 가시 프레임들은 수술 부위의 컬러 장면들, 예컨대, 적색-녹색-청색 장면들을 포함한다.
좌측 가시 컬러 이미지 캡처 센서(221L_V) 및 우측 가시 컬러 이미지 캡처 센서(221R_V) 각각은 각각이 상이한 가시 컬러 컴포넌트를 캡처하는 다수의 CCD들(charge-coupled devices), 특정 가시 컬러 컴포넌트를 캡처하는 CCD의 상이한 영역들을 갖는 단일 CCD, 기타 등등일 수 있다. 3-칩 CCD 센서는 예시적인 것에 불과하다. 컬러 필터 어레이 또는 3-CMOS 컬러 이미지 캡처 센서 어셈블리를 갖는 단일 CMOS 이미지 캡처 센서는 좌측 가시 컬러 이미지 캡처 센서(221L_V) 및 우측 가시 컬러 이미지 캡처 센서(221R_V) 각각에 또한 사용될 수 있다.
좌측 및 우측 가시 프레임들이 취득된 후에, 증강 체크 프로세스(305)는 뷰잉 모드가 증강인지 정상인지를 결정한다. 뷰잉 모드가 증강일 때, 증강 체크 프로세스(305)는 취득된 좌측 및 우측 가시 프레임들을 저장하는 가시 이미지를 저장 프로세스(306)로 넘어간다. 뷰잉 모드가 정상일 때, 증강 체크 프로세스(305)는 가시 이미지를 전송 프로세스(307)로 넘어간다.
따라서, 정상 뷰잉 동작 모드에서, 취득된 가시 좌측 프레임 및 취득된 가시 우측 프레임은 가시 이미지를 전송 프로세스(307)(도 3)를 수행하는 중앙 제어기(260) 내의 이미지 프로세싱 모듈(240)(도 2)에 제공된다. 가시 이미지를 전송 프로세스(307)에서, 프레임들에서 캡처된 장면들이 디스플레이될 때 카메라들의 시야 내의 수술 부위의 부분이 정확하게 재현되도록(reproduced) 2개의 취득된 가시 프레임의 임의의 프로세싱이 행해진다. 이 프로세싱은 종래의 시스템들에서 행해진 것과 동일하다. 가시 이미지를 전송 프로세스(307)는 프로세싱된 가시 좌측 프레임 및 프로세싱된 가시 우측 프레임을 스테레오스코픽 디스플레이(251)에게 송신하고, 스테레오스코픽 컬러 장면이 가시 이미지를 디스플레이 프로세스(308)에서 스테레오스코픽 디스플레이(251)에 의해 디스플레이된다.
증강 체크 프로세스(305)를 제외하고, 정상 뷰잉 동작 모드에서의 프로세싱은 종래의 컴퓨터 보조 수술 시스템에서의 프로세싱과 동등하며 따라서 본 기술분야에 통상의 지식을 가진 자에게 공지되어 있다. 또한, 프로세스들(304, 307, 및 308)은 외과의가 조직(103)을 포함하는 실시간 비디오 장면을 보도록 각각의 프레임에 대해 반복적으로 수행된다.
정상 뷰잉 동작 모드 동안, 외과의는 조직(103)의 정상 3차원 컬러 뷰를 제공받는다. 그렇지만, 외과의는 조직(103)의 3차원 뷰에서 하이라이트된 조직(103) 내의 하나의 관심 영역 또는 관심 영역들을 보는 것을 원할 수 있다. 예를 들어, 외과의는, 조직(103)의 정상 3차원 컬러 뷰에서 보이지 않거나 명확하게 보이지 않는, 조직의 발병된 부분들 및/또는 특정 조직, 예컨대, 힘줄 또는 기관을 보는 것을 원할 수 있다. 따라서, 시간 t0(도 4)에서, 외과의는 시간 일정 하이퍼스펙트럴 조명을 사용하는 증강 뷰잉 동작 모드로 스위칭하기 위해 디스플레이 모드 선택(252)을 사용한다.
시간 일정 하이퍼스펙트럴 조명
디스플레이 모드 선택(252)으로부터의 사용자 입력에 응답하여, 일정 하이퍼스펙트럴 조명을 사용하는 증강 뷰잉 모드를 표시하는 증강 디스플레이 선택 커맨드가 사용자 인터페이스(261)에서 뷰잉 모드 체크 프로세스(302)에 제공된다. 일정 하이퍼스펙트럴 조명 커맨드를 사용하는 증강 뷰잉 모드에 응답하여, 체크 프로세스(302)는, 이 양태에서, 가시 이미지 프로세싱 파이프라인(310)에서 활성 백색 광 조명 제어 신호를 조직을 백색 광으로 조명 프로세스(303)에 제공하고, 하이퍼스펙트럴 이미지 프로세싱 파이프라인(320)에서 활성 하이퍼스펙트럴 일정 조명 제어 신호를 조직을 하이퍼스펙트럴 광으로 조명 프로세스(321)에 제공한다.
가시 이미지 프로세싱 파이프라인(310)에서의 동작들은 앞서 설명되었으며, 따라서 이 증강 뷰잉 모드에 대해 여기서 반복되지 않는데, 그 이유는 동작들이 앞서 설명된 바와 동일하기 때문이다.
활성 하이퍼스펙트럴 일정 조명 제어 신호에 응답하여, 조직을 하이퍼스펙트럴 광으로 조명 프로세스(321)는 일정 하이퍼스펙트럴 광 동작 신호를 조합 광 소스(210) 내의 광 제어기(215)에게 송신한다. 일정 하이퍼스펙트럴 광 동작 신호에 응답하여, 광 제어기(215)는 하이퍼스펙트럴 광의 시간 일정 스펙트럼을 커넥터(216)에 제공하도록 하이퍼스펙트럴 광 조명기(212)를 구성한다.
조직을 백색 광으로 조명 프로세스(303)가 백색 광 동작 신호를 조합 광 소스(210) 내의 광 제어기(215)에게 송신하기 때문에, 광 제어기(215)는 백색 광을 커넥터(216)에 제공하도록 가시 광 조명기(211)를 구성한다. 따라서, 이러한 증강 모드에서, 조직(103)은 백색 광과 하이퍼스펙트럴 광의 조합으로 조명된다.
조직(103)(도 2)으로부터의 광은 내시경(101) 내의 스테레오스코픽 광학 채널들에 의해 이미지 캡처 시스템(220)으로 전달된다. 일 양태에서, 이하에서 보다 완전히 설명되는 바와 같이, 필터들은, 때때로 이미지 캡처 유닛들(220L, 220R)이라고 지칭되는, 카메라들(220L, 200R)에 의해 캡처된 하이퍼스펙트럴 파장 스펙트럼(들)을 선택하는 데 사용된다.
이러한 증강 뷰잉 동작 모드에서, 시간 t0에서, 가시 이미지를 캡처 프로세스(304)(도 3)는 좌측 가시 이미지 캡처 센서(221L_V)를 사용하여 제1 가시 좌측 컬러 프레임(421L_V_t0)을 취득하고 우측 가시 이미지 센서(221R_V)를 사용하여 제1 가시 우측 컬러 프레임(421R_V_t0)을 취득한다(도 4). 이와 유사하게, 시간 t0에서, 하이퍼스펙트럴 이미지를 캡처 프로세스(322)(도 3)는 좌측 하이퍼스펙트럴 이미지 캡처 센서(221L_HS)를 사용하여 제1 하이퍼스펙트럴 좌측 프레임(421L_HS_t0)을 취득하고 우측 하이퍼스펙트럴 이미지 캡처 센서(221R_HS)를 사용하여 제1 하이퍼스펙트럴 우측 프레임(421R_HS_t0)을 취득한다. 가시 이미지를 캡처 프로세스(304) 및 하이퍼스펙트럴 이미지를 캡처 프로세스(322)는, 도 8a와 관련하여 이하에서 보다 완전히 논의되는 바와 같은, 이미지 캡처 유닛들의 구성 및 가시 및 하이퍼스펙트럴 프레임들의 캡처 프로세스에서의 동작들의 동기화로 인해 실질적으로 동시에 수행된다.
이전에 설명된 바와 같이, 시간 t0에서 캡처된 제1 가시 좌측 컬러 프레임(421L_V_t0) 및 제1 가시 우측 컬러 프레임(421R_V_t0)은 임의의 증강 뷰잉 모드에 대한 가시 이미지를 저장 프로세스(306)에 의해 저장된다. 가시 이미지를 저장 프로세스(306)는 픽처-인-픽처(PIP) 모드 체크 프로세스(309)로 넘어간다. 가시 이미지를 저장 프로세스(306)에 의해 저장된 프레임들은 공간 정합 프로세스(324)에 이용가능하다.
일 양태에서, 컴퓨터 보조 수술 시스템(100)의 사용자는 픽처-인-픽처 증강 모드 또는 탐색 증강 모드(search augmented mode)를 명시하기 위해 사용자 인터페이스를 사용한다. 사용자가 픽처-인-픽처 증강 모드를 선택하는 경우, 픽처 인 픽처(PIP) 모드 체크 프로세스(309)는 가시 이미지를 전송 프로세스(307)로 넘어가고, 그렇지 않은 경우, 시간 t1에서 다른 가시 프레임 세트를 캡처하는, 가시 이미지를 캡처 프로세스(304)로 넘어간다. 따라서, 픽처-인-픽처 증강 모드에서, 가시 이미지 프로세싱 파이프라인(310)은 디스플레이(251) 상에 정상 수술 부위 비디오 프레임 시퀀스를 생성한다. 탐색 증강 모드에서, 가시 이미지 프로세싱 파이프라인(310)은 수술 부위 비디오 시퀀스를 생성하지 않으며, 따라서 전형적으로 수술 기구들의 사용이 금지되거나, 디스플레이된 장면을 생성하는 데 요구된 프로세싱 지연으로 인해 움직임의 속도(rate of motion)가 제한된다.
하이퍼스펙트럴 이미지 프로세싱 파이프라인(320)으로 돌아가서, 하이퍼스펙트럴 이미지를 캡처 프로세스(322)의 완료 시에, 프로세싱은 하이퍼스펙트럴 이미지를 저장 프로세스(323)로 넘어간다. 하이퍼스펙트럴 이미지를 저장 프로세스(323)는 제1 하이퍼스펙트럴 좌측 프레임(421L_HS_t0) 및 제1 하이퍼스펙트럴 우측 프레임(421R_HS_t0)을 저장하고, 이어서, 때때로 프로세스(324)라고 지칭되는, 공간 정합 프로세스(324)로 넘어간다.
앞서 설명된 바와 같이, 하이퍼스펙트럴 프레임의 하이퍼스펙트럴 장면의 해상도는, 일부 경우들에서, 가시 프레임의 가시 컬러 장면의 해상도보다 작다. 따라서, 유용한 하이퍼스펙트럴 이미지를 획득하기 위해서는, 용인가능한 해상도를 갖는 합성 하이퍼스펙트럴 이미지를 만들도록 결합될 수 있는 복수의 하이퍼스펙트럴 이미지들을 캡처하는 것이 필요하다. 복수의 하이퍼스펙트럴 이미지들 내의 하이퍼스펙트럴 이미지들의 개수는 하이퍼스펙트럴 광 조명기(212)의 출력에 부분적으로 의존한다.
하이퍼스펙트럴 광 조명기(212)가 하이퍼스펙트럴 광의 시간 일정 스펙트럼을 출력하는 경우, 하이퍼스펙트럴 이미지 캡처 센서의 각각의 픽셀, 즉 좌측 하이퍼스펙트럴 이미지 캡처 센서(221L_HS)의 각각의 픽셀 및 우측 하이퍼스펙트럴 이미지 캡처 센서(221R_HS)의 각각의 픽셀은 픽셀의 위치에서 하이퍼스펙트럴 광의 스펙트럼의 일 부분만을 캡처한다. 따라서, 공간적으로도 그리고 스펙트럼적으로도 용인가능한 해상도를 가지는 합성 하이퍼스펙트럴 프레임을 형성하기 위해 장면의 각각의 위치에서 하이퍼스펙트럴 광의 전체 스펙트럼 또는 전체 스펙트럼의 적어도 필요한 만큼(enough)이 측정될 수 있도록 수술 부위가 스캔된다. 여기서, 용인가능한 해상도는, 시간 t0에 대해 생성된 합성 하이퍼스펙트럴 이미지가 시간 t0에서 캡처된 대응하는 가시 이미지 상에 중첩될 때, 합성 하이퍼스펙트럴 프레임으로부터 도출되고 합성 하이퍼스펙트럴 프레임에서 제시될 수 있는 피처들이 관찰자에게 유용할 정도로 충분히 상세하게 되어 있도록 하는 해상도를 의미한다.
각각의 위치에서, 이미지 캡처 시스템(220)의 시야가 수술 부위를 가로질러 스캔될 때, 하이퍼스펙트럴 프레임이 캡처된다. 이러한 위치들 각각에서, 이미지 캡처 시스템(220)의 포즈는 알려져 있으며, 즉 카메라(220L)의 포즈 및 카메라(220R)의 포즈가 알려져 있다.
수술 부위를 가로지르는 스캔으로부터 필요하게 되는 하이퍼스펙트럴 프레임들의 개수는 원시 프레임들로부터 피처들을 추출하는 데 사용된 알고리즘의 성능에 기초하여 경험적으로 결정된다. 구체적으로는, 수술 부위는 하이퍼스펙트럴 프레임들이 캡처되는 상이한 개수의 위치들을 사용하여 스캔되고, 각각의 하이퍼스펙트럴 프레임 세트에 대해, 이하에서 보다 완전히 설명되는 바와 같이, 합성 하이퍼스펙트럴 프레임이 생성된다. 이것은 합성 하이퍼스펙트럴 프레임 세트를 생성한다. 사람들의 그룹 또는 알고리즘 또는 신경 네트워크 또는 다른 머신 러닝 구성(machine learning construct)은 관심 피처를 적당히 디스플레이하거나 피처들이 도출될 수 있는 합성 하이퍼스펙트럴 프레임 또는 프레임들 또는 프레임들의 조합을 선택하도록 요청받을 수 있다. 일 양태에서, 관심 피처의 용인가능한 이미지를 제공하기 위해 최소 개수의 위치들을 요구한 합성 하이퍼스펙트럴 프레임이 선택된다. 따라서, 일정 하이퍼스펙트럴 조명에 대해, 세트 내의 하이퍼스펙트럴 프레임들의 개수(N)는 경험적으로 결정되고, 따라서 차후의 경우들에 대해 공지되어 있다.
공간 정합 프로세스(324)로 돌아가서, 프로세스(324)는 N개의 하이퍼스펙트럴 프레임들의 세트를 분석하고, 이어서 수술 부위의 합성 하이퍼스펙트럴 장면을 포함하는 합성 하이퍼스펙트럴 프레임을 형성하기 위해 N개의 하이퍼스펙트럴 프레임들을 프로세싱한다. 일 양태에서, 하이퍼스펙트럴 프레임들 각각에서 피처들을 먼저 식별하고, 이어서 하이퍼스펙트럴 프레임 세트 내의 프레임마다 이러한 피처들을 트래킹하는 것에 의해, 세트 내의 하이퍼스펙트럴 프레임들의 서로에 대한 공간 정합이 행해진다. 하나의 피처 또는 피처들의 위치가 프레임들의 일부 또는 전부에서 알려져 있을 때, 이것은 피처 또는 피처들이 합성 하이퍼스펙트럴 이미지에서 공통 위치에 있도록 프레임들을 재정렬시키는 것(re-aligning)을 가능하게 해준다. 따라서, 피처들의 트래킹은 하이퍼스펙트럴 프레임 세트의 중첩을 가능하게 해준다.
일 양태에서, 하이퍼스펙트럴 이미지를 저장 프로세스(323)는 프로세싱을 공간 정합 프로세스(324)의 피처 추출 프로세스(325)로 넘긴다. 피처 추출 프로세스(325)는 수신된 하이퍼스펙트럴 프레임들 각각에서, 때때로 내비게이션 랜드마크들(navigational landmarks)이라고 지칭되는, 피처들을 식별한다. 피처 추출 프로세스(325)는 세트 체크 프로세스(326)로 넘어간다.
도 5a는 가시 프레임(510)에 포함된 가시 수술 부위 장면의 추상적 표현이다. 관심 피처(506)가 프레임(510)에서 현저하지 않으며, 예컨대, 피처(506)가 가시 프레임(510)에 포함된 가시 수술 부위 장면에서 숨겨져 있거나 인간에 의해 분간가능하지 않다. 그렇지만, 원들(501, 503, 및 505) 및 삼각형들(502 및 504)로 표현된, 내비게이션 랜드마크들은 프레임(510)에서 보이며 현저하다. 실제 수술 부위 장면에서, 통상적인 내비게이션 랜드마크들은, 예를 들어, 혈관들의 패턴, 조직의 패턴, 또는 상이한 조직들의 패턴들 또는 혈관들 또는 다른 유사한 구조들의 교차부들에 의해 생성된 피처들의 작은 성상들(constellations)일 수 있다. 따라서, 새로운 하이퍼스펙트럴 프레임이 공간 정합 프로세스(324)에 의해 수신될 때, 피처 추출 프로세스(325)는 그 프레임 내의 내비게이션 랜드마크들을 결정한다.
세트 체크 프로세스(326)는 캡처된 하이퍼스펙트럴 프레임들의 개수가 N과 같은지를 결정하는데, 여기서 N은 음이 아닌(non-negative) 정수이다. 세트 내의 하이퍼스펙트럴 프레임들의 개수(N)는 하나의 채널에서 캡처된 하이퍼스펙트럴 프레임들의 개수이며, 따라서 N개의 하이퍼스펙트럴 프레임들의 세트가 좌측 및 우측 채널들 각각에서 캡처된다. 캡처된 하이퍼스펙트럴 이미지들의 개수가 N보다 작은 경우, 세트 체크 프로세스(326)는 일정 조명(Ill.) 모드 체크 프로세스(329)로 넘어가지만, 캡처된 하이퍼스펙트럴 이미지들의 개수가 N과 같은 경우, 세트 체크 프로세스(326)는 공간 정합 프로세스(324)의 피처들을 트래킹 프로세스(327)로 그리고 세트 카운터를 리세트 프로세스(328)로 넘어가며; 대안적으로, N개의 하이퍼스펙트럴 프레임은 카운터가 N개의 프레임으로 인덱싱되도록 프레임들의 순환 버퍼(circular buffer)로서 취급될 수 있으며, 리세팅하는 대신에, 단순히 새로운 프레임들이 도착할 때 N의 스택 내의 하이퍼스펙트럴 프레임들을 대체하는 모듈로 N이다.
시간 t0에서의 하이퍼스펙트럴 이미지(421L_HS_t0)의 캡처 이후에, 캡처된 하이퍼스펙트럴 이미지들의 개수는 N보다 작고, 따라서 세트 체크 프로세스(326)는 일정 조명(Ill) 모드 체크 프로세스(329)로 넘어간다. 이 예에서, 하이퍼스펙트럴 조명 스펙트럼은 시간상 일정하고, 따라서 일정 조명 모드 체크 프로세스(329)는 프로세싱을 카메라를 이동 프로세스(330)로 넘긴다.
카메라를 이동 프로세스(330)는 카메라(220)를 수술 부위의 스캔을 위한 다음 위치로 이동시키고, 이어서 프로세스들(322, 323, 324, 및 330)이 반복된다. 따라서, 시간 t1에서, 하이퍼스펙트럴 이미지를 캡처 프로세스(322)(도 3)는 좌측 하이퍼스펙트럴 이미지 캡처 센서(221L_HS)를 사용하여 제2 하이퍼스펙트럴 좌측 프레임(421L_HS_t1)(도 4)을 취득하고 우측 하이퍼스펙트럴 이미지 캡처 센서(221R_HS)를 사용하여 제2 하이퍼스펙트럴 우측 프레임(421R_HS_t1)을 취득한다. 시간 t1에서, 가시 이미지를 캡처 프로세스(304)(도 3)가 좌측 가시 이미지 캡처 센서(221L_V)를 사용하여 제2 가시 좌측 컬러 프레임(421L_V_t1)을 취득하고 우측 가시 이미지 캡처 센서(221R_V)를 사용하여 제2 가시 우측 컬러 프레임(421R_V_t1)을 취득하도록 가시 이미지를 캡처 프로세스(304)가 하이퍼스펙트럴 이미지를 캡처 프로세스(322)와 동기화된다.
시간　tN-1까지 프로세스들(330,　322,　323,　324)이 반복되고, 하이퍼스펙트럴 이미지를 캡처 프로세스(322)(도 3)는 좌측 하이퍼스펙트럴 이미지 캡처 센서(221L_HS)를 사용하여 제N 하이퍼스펙트럴 좌측 프레임(421L_HS_tN-1)을 취득하고 우측 하이퍼스펙트럴 이미지 캡처 센서(221R_HS)를 사용하여 제N 하이퍼스펙트럴 우측 프레임(421R_HS_tN-1)(도 4)을 취득하며, 가시 이미지를 캡처 프로세스(304)(도 3)는 좌측 가시 이미지 캡처 센서(221L_V)를 사용하여 제N 가시 좌측 컬러 프레임(421L_V_tN-1)을 취득하고 우측 가시 이미지 캡처 센서(221R_V)를 사용하여 제N 가시 우측 컬러 프레임(421R_V_tN-1)을 취득한다. 캡처된 하이퍼스펙트럴 프레임들의 개수가 이제 N과 같기 때문에, 세트 체크 프로세스(326)는 피처들을 트래킹 프로세스(327)로 그리고 세트 카운터를 리세트 프로세스(328)로 넘어간다.
도 5b는 도 5a의 수술 부위 장면의 스캔의 추상적 표현이다. 장면 내의 각각의 박스는 캡처되는 하이퍼스펙트럴 프레임들 중 하나를 나타낸다. 도 5b는 축척대로 그려져 있지 않으며, 박스는 캡처된 하이퍼스펙트럴 프레임만을 나타내며 프레임의 크기를 나타내지 않는다. 캡처된 하이퍼스펙트럴 프레임의 크기는, 예를 들어, 이미지를 생성하는 광학계의 특성들과 함께 하이퍼스펙트럴 이미지 캡처 센서들 내의 픽셀들의 크기 및 개수에 의해 결정된다. 캡처된 하이퍼스펙트럴 프레임들은 내비게이션 랜드마크들(501 내지 505)의 일부 또는 전부의 이미지들을 포함한다.
세트 카운터를 리세트 프로세스(328)는 세트에서 캡처된 하이퍼스펙트럴 프레임들의 개수에 대한 카운터를 리세트시키고, 프로세싱을 일정 조명(Ill.) 모드 체크 프로세스(329)로 넘긴다. 이 예에서, 출력 조명은 일정하고, 따라서 일정 조명 모드 체크 프로세스(329)는 프로세싱을 카메라를 이동 프로세스(330)로 넘긴다.
카메라를 이동 프로세스(330)는 수술 부위의 스캔을 위해 카메라(220)를 이동시키고, 이어서 제2 캡처된 하이퍼스펙트럴 프레임 세트에 대해 프로세스들(322, 323, 324, 및 330)이 반복된다. 따라서, 시간 tN에서, 하이퍼스펙트럴 이미지를 캡처 프로세스(322)(도 3)는 제2 하이퍼스펙트럴 이미지 세트에서 좌측 하이퍼스펙트럴 이미지 캡처 센서(221L_HS)를 사용하여 제1 하이퍼스펙트럴 좌측 프레임(421L_HS_tN)을 취득하고 우측 하이퍼스펙트럴 이미지 캡처 센서(221R_HS)를 사용하여 제1 하이퍼스펙트럴 우측 프레임(421R_HS_tN)을 취득한다. 시간 tN에서, 가시 이미지를 캡처 프로세스(304)(도 3)는 좌측 가시 이미지 캡처 센서(221L_V)를 사용하여 제N+1 가시 좌측 컬러 프레임(421L_V_t1)을 취득하고 우측 가시 이미지 캡처 센서(221R_V)를 사용하여 제N+1 가시 우측 컬러 프레임(421R_V_t1)을 취득한다.
제1 세트에 대해 방금 설명된 바와 동일한 방식으로 제2 하이퍼스펙트럴 이미지 세트에 대해 프로세스들(330, 322, 323, 324)이 반복된다. 취득이 순환 버퍼 기법을 사용하여 수행되는 경우, 하이퍼스펙트럴 이미지 세트들은 가장 최근의 N개의 프레임을 항상 포함하고 상기 프로세스는 그 N 깊이 버퍼(N deep buffer)를 채운다. 하이퍼스펙트럴 프레임들 간의 시간 간격들이 가시 광 프레임들 간의 시간 간격보다 크거나 또는 작을 수 있다 - 외과의에게 보여지는 이미지들의 재정렬(realignment) 및 합성(composition)에 대한 근본적인 변화는 없다 - 는 점에 또한 유의한다.
제1 하이퍼스펙트럴 이미지 세트의 캡처의 완료 시에, 프로세싱이 공간 정합 프로세스(324)의 피처들을 트래킹 프로세스(327)로 넘어갔다는 점을 상기한다. 하이퍼스펙트럴 프레임들에서 캡처된 가시적인 내비게이션 랜드마크들(501 내지　505)은 조직 트래킹 프로세스가 시간 t0에 대한 합성 하이퍼스펙트럴 이미지를 형성하기 위해 상이한 시점들에서 캡처된 하이퍼스펙트럴 프레임들에서 취득된 스펙트럼 데이터를 정렬시킬 수 있게 해준다. 시간 t0에서 캡처된 하이퍼스펙트럴 프레임과 시간 t0에서 캡처된 가시 프레임 사이의 공간적 관계가 알려져 있기 때문에, 하이퍼스펙트럴 수술 부위 장면들에서의 객체들의 위치들이 시간에 따라 약간 변할 수 있더라도 합성 하이퍼스펙트럴 프레임은 시간 t0에서 캡처되었던 가시 프레임(510)과 중첩될 수 있다. 대안적으로, 각각의 하이퍼스펙트럴 프레임을 가시 프레임에 정렬시키기 위해 하이퍼스펙트럴 이미지들 내의 피처들이 가시 이미지 내의 대응하는 가시 피처들에 정렬될 수 있다. 또 다른 양태에서, 하이퍼스펙트럴 이미지들 내의 피처들은 하이퍼스펙트럴 이미지들을 정렬시키는 데 사용되며 이어서 합성 하이퍼스펙트럴 프레임이 가시 프레임에 정렬된다. 하이퍼스펙트럴 센서 대 가시 센서 정렬은 카메라 제조업체 캘리브레이션으로부터 알려져 있다.
따라서, 일 양태에서, 공간 정합 프로세스(324)에서, 피처들은, 예를 들어, SIFT(scale-invariant feature transform)를 사용하여 컴퓨터에 의해 생성되며(computer generated), 이러한 컴퓨터에 의해 생성된 피처들은 vSLAM(visual Simultaneous Localization and Mapping) 모델과 함께 사용되며, 여기서 (호흡 및 심박수 등으로 인해) 조직이 움직일 때 그리고 프레임을 캡처하는 카메라가 위치 및 배향에서 트래킹될 때 조직의 표면 상의 피처들(지점들의 위치들)이 시간 경과에 따라 트래킹된다. SIFT 및 VSLAM이 상세히 설명되지 않는데, 그 이유는 이 둘의 조합이 알려져 있기 때문이다. 예를 들어, 참고로 포함되는, 문헌 [Niklas Karlsson, Luis Goncalves, Mario E. Munich and Paolo Pirjanian, "The vSLAM Algorithm for Navigation in Natural Environments," Korean Robotics Society Review, Vol.　2, No.　1, pp.　51-67,　2005]를 참조한다.
부가적으로, 카메라 시스템이 스테레오스코픽인 경우, 각각의 시간 인스턴스(instance in time)에서 캡처된 하이퍼스펙트럴 프레임들 또는 가시 프레임들의 쌍으로부터의 부가 정보가 시간 경과에 따른 조직의 트래킹을 개선시키는 데 사용될 수 있다. 스테레오스코픽 하이퍼스펙트럴 프레임들 또는 가시 프레임들의 각각의 쌍은 수술 장면의 깊이 맵(depth map)을 생성하는 데 사용될 수 있다. 깊이 맵들은 시간과 관련하여 어떤 피처들이 보이는지에 관한 정보를 제공하며, 따라서 일부 피처들을 트래킹하는 능력을 개선시킨다.
도 6은 공간 정합 프로세스(324)를 수행하는 공간 정합 모듈(624)의 일 구현의 블록 다이어그램이다. 피처 추출 모듈(625) 내의 SIFT 분석기 모듈(601)은 카메라(220)에 의해 캡처된 하이퍼스펙트럴 프레임 세트의 각각의 프레임을 입력으로서 수신한다. SIFT 분석기 모듈(601)은 세트 내의 캡처된 하이퍼스펙트럴 프레임들 각각에서 피처들의 위치들을 검출하고, 피처들을 특징짓는 정보를 랜드마크 데이터베이스(603)에 저장한다. 여기서, 카메라(220)는 카메라(220R) 및 카메라(220L) 중 하나이다. 캡처된 좌측 및 우측 하이퍼스펙트럴 프레임 세트들의 프로세싱이 동일하다는 것을 상기한다. 이 양태에서, 추출 모듈(625)은 피처 추출 프로세스(325)를 수행한다. 이와 유사하게, 가시 프레임들이 또한 프로세싱되고 그것들의 피처들이 추출된다.
공간 정합 모듈(624) 내의 체크 모듈(626)은, 이전에 설명된, 세트 체크 프로세스(326)를 수행한다.
카메라 제어기(630)는 (상이한 순간들(moments in time)에 캡처되었을 수 있는) 각각의 하이퍼스펙트럴 및 가시 프레임에 대한 카메라 포즈를 vSLAM 분석기 모듈(602)에 제공한다. vSLAM 분석기 모듈(602)은 공간 정합 모듈(624)의 트래킹 모듈(627)에 포함된다. 트래킹 모듈(627)은, 이 양태에서, 피처들을 트래킹 프로세스(327)를 수행한다.
vSLAM 분석기 모듈(602)은 랜드마크 데이터베이스(603) 내의 정보를 사용하며 세트 내의 프레임들이 공간 정합 프로세스(625)에 의해 출력되는 합성 하이퍼스펙트럴 프레임(605)을 형성하도록 중첩될 수 있도록 시간 경과에 따른 랜드마크들의 위치를 트래킹한다. 카메라 포즈 정보는 트래킹 프로세스를 보다 강건하게 만든다.
앞서 설명된 바와 같이, 모듈들(624, 625, 626, 627, 601, 및 602) 각각은 하드웨어, RTL, 프로세서 상에서 실행되는 소프트웨어, 펌웨어, 또는 이들의 임의의 조합을 포함할 수 있다.
따라서, 도 3으로 돌아가서, 공간 정합 프로세스(324)의 결과는 캡처된 하이퍼스펙트럴 프레임 세트로부터 형성되는 합성 하이퍼스펙트럴 프레임이다. 합성 하이퍼스펙트럴 프레임이 시간 t0에서 캡처된 가시 프레임 상에 중첩될 때, 피처(506)가 올바른 위치에 있고 가시적이도록 하이퍼스펙트럴 프레임 내의 픽셀들은 시간 t0에서 캡처된 가시 프레임 내의 픽셀들에 대응한다. 2개의 프레임이 중첩될 때 합성 하이퍼스펙트럴 프레임 내의 피처들이 가시 프레임에 상대적으로 하이라이트된다. 예를 들어, 합성 하이퍼스펙트럴 프레임 내의 피처들은 수술 부위 장면에서 전형적으로 보이지 않는 컬러, 예컨대, 녹색을 사용하여 폴스 컬러링될(false colored) 수 있다. 다른 양태에서, 결합 가시 및 하이퍼스펙트럴 이미지가, 예를 들어, 특정 조직 타입들 등을 식별하기 위해 머신 러닝 분류기 또는 유사한 프로세스에 의해 프로세싱된다.
일부 외과의들이 어떤 때에 이미지에서 보기 힘든 피처들의 부가된 시각적 현저성을 결과하는 합성 출력을 생성하기 위해 하이퍼스펙트럴 프레임들이 가시 프레임들과 함께 어떤 방식으로 추가로 프로세싱될 수 있다. 예를 들어, 합성 이미지는 가시 이미지들에 전혀 나타나지 않는 구조를 하이라이트할 수 있고, 그와 같이, 정보를 외과의에게 제공한다. 하이퍼스펙트럴 데이터 및 가시 이미지들로부터 생성된 이러한 향상된 이미지들은 아주 경험이 많은 외과의라면 결정할 수 있지만 레지던트(resident) 또는 동료(fellow)라면 결정하는 데 어려움을 겪을 수 있는 정보를 보여줄 수 있다.
완료 시에, 공간 정합 프로세스(324)는, 때때로 프로세스(331)라고 지칭되는, 임의적 특수 특성들 결정(SPECIAL CHARACTERISTICS DETERMINATION) 프로세스(331)로 넘어간다. 프로세스(331)는 임의적인데, 그 이유는 이 프로세스가 스테레오스코픽 내시경이 사용될 때 그리고 조직으로부터의 광의 절대 반사율 또는 방출과 같은 파라미터들이 디스플레이될 이미지들, 즉 디스플레이된 장면들 내의 정보를 해석하는 데 필요할 때 이용되기 때문이다.
따라서, 공간 정합 프로세스(324) 또는 특수 특성들 프로세스(331)는, 때때로 프로세스(332)라고 지칭되는, 가시 및 합성 이미지들을 전송 프로세스(332)로 넘어간다. 프로세스(332)는 시간 t0에 대한 가시 프레임들(421R_V_t0 및　421L_V_t0) 및 합성 하이퍼스펙트럴 프레임을 스테레오스코픽 디스플레이(251)에게 송신하거나, 대안적으로 2개의 채널 각각에서의 가시 및 하이퍼스펙트럴 이미지들의 중첩을 송신한다. 가시 및 합성 이미지들을 디스플레이 프로세스(333)에서 스테레오스코픽 디스플레이에 의해 디스플레이된 이미지는 시스템(100)의 사용자에 의해 선택된 특정의 증강 디스플레이 모드에 의존한다.
예를 들어, 탐색 전용 증강 모드에서, PIP 모드 체크 프로세스(309)는 가시 이미지를 전송 프로세스(307)로 넘어가지 않으며, 따라서 가시 및 합성 이미지들을 디스플레이 프로세스(333)에서, 관심 피처(506)를 포함하는 합성 하이퍼스펙트럴 장면과 중첩된 조직(103)을 포함하는 스테레오스코픽 컬러 가시 장면이 스테레오스코픽 디스플레이(251) 상에 제시된다. 스테레오스코픽 디스플레이 상의 초기 디스플레이는 하이퍼스펙트럴 이미지 프로세싱 파이프라인(320)에 의해 요구되는 프로세싱 시간, 예컨대, 약 100 내지 500 밀리초를 제공하기 위해 이 모드에서 지연되고, 이어서 연속적인 비디오 시퀀스가 시스템(100)의 사용자에게 제시된다.
다른 양태에서, 픽처 내 픽처 증강 모드에서, PIP 모드 체크 프로세스(309)는 가시 이미지를 전송 프로세스(307)로 넘어가고, 가시 이미지를 전송 프로세스(307)는 차례로, 조직(103)을 포함하는 가시 장면들의 비디오 시퀀스를 스테레오스코픽 디스플레이(251) 상에 메인 디스플레이 장면(520)(도 5c)으로서 디스플레이하는, 가시 이미지를 디스플레이 프로세스(308)로 넘어간다. 가시 및 합성 이미지들을 디스플레이 프로세스(333)는 관심 피처(506)를 포함하는 합성 하이퍼스펙트럴 장면과 중첩되는 조직(103)을 포함하는 스테레오스코픽 컬러 가시 장면을 픽처 내 픽처 장면(525)으로서 스테레오스코픽 디스플레이(251) 상에 제시한다.
하이퍼스펙트럴 이미지 프로세싱 파이프라인(320)이 가시 이미지 프로세싱 파이프라인(310)보다 많은 프로세싱 시간을 요구하기 때문에, 픽처 내 픽처에 중첩된 합성 이미지를 갖는 조직(103)의 가시 이미지는 메인 디스플레이 장면(520)보다 시간상 뒤진다. 그렇지만, 픽처 내 픽처에서의 가시 이미지는 메인 디스플레이 장면(520)에 나타난 가시 이미지와 동일하다. 예를 들어, 프레임들(421R_V_t0 및　421L_V_t0)은 메인 디스플레이 장면(520)에 디스플레이되고 이어서 얼마 후에, 시간 t0에 대한 합성 하이퍼스펙트럴 프레임과 중첩된 프레임들(421R_V_t0 및　421L_V_t0)이 픽처 내 픽처 장면(525)에 디스플레이된다. 그렇지만, 2개의 디스플레이에서의 가시 이미지 장면들은 동일하기 때문에, 픽처 내 픽처 장면에서의 약간의 지연은 시스템(100)의 사용자에게 용인가능하다.
시간 순차 하이퍼스펙트럴 조명
하이퍼스펙트럴 이미지 프로세싱 파이프라인(320)의 이전의 예에서, 하이퍼스펙트럴 조명이 시간상으로 그리고 스펙트럼상으로 일정하고, 캡처된 장면의 일부들이 시간과 관련하여 움직였더라도 합성 프레임을 형성하도록 결합될 수 있는 하이퍼스펙트럴 프레임들을 캡처하기 위해 카메라가 장면을 가로질러 스캔되었다고 가정되었다. 그렇지만, 다른 예에서, 하이퍼스펙트럴 조명의 스펙트럼은 시간에 따라 순차적으로 변하고, 하이퍼스펙트럴 조명의 각각의 시간 순차 주파대에 대해 또는 대안적으로 하이퍼스펙트럴 조명의 각각의 시간 순차 파장에 대해 하이퍼스펙트럴 프레임이 캡처된다. 본 명세서에서 사용되는 바와 같이, 하이퍼스펙트럴 광의 주파대는 하이퍼스펙트럴 광의 스펙트럼이다. 주파대가 단일 파장만을 포함하는 경우, 주파대(전형적으로 파장들의 범위)와 파장은 동일한 것이다. 다시 말하지만, 캡처되는 장면의 양태들이 시간에 따라 움직일 수 있으며 따라서 동일한 장면이 각각의 프레임에서 캡처될 수 있는 동안, 캡처된 장면들 내에서의 요소들의 위치가 프레임마다 변할 수 있다.
시간 순차 조명을 사용하는 하이퍼스펙트럴 이미지 프로세싱 파이프라인(320)을 고려하기에 앞서, 도 7은 하이퍼스펙트럴 이미지 프로세싱 파이프라인(320)을 통해 캡처된 하이퍼스펙트럴 프레임들의 시퀀스의 예시이다. 스테레오스코픽 이미지 캡처 시스템이 사용되는 경우, 도 7에서의 프레임들의 시퀀스는 캡처되는 좌측 및 우측 하이퍼스펙트럴 프레임들 둘 다를 나타낸다. 시간 t0에서, 조직(103)은 하이퍼스펙트럴 광 주파대 L0을 사용하여 조명되고, 조직(103)으로부터의 하이퍼스펙트럴 광은 프레임(821_HS_t0)에서 캡처된다. 시간 t1에서, 조직(103)은 하이퍼스펙트럴 광 주파대 L1을 사용하여 조명되고, 조직(103)으로부터의 하이퍼스펙트럴 광은 프레임(821_HS_t1)에서 캡처된다. 시간 t2에서, 조직(103)은 하이퍼스펙트럴 광 주파대 L2를 사용하여 조명되고, 조직(103)으로부터의 하이퍼스펙트럴 광은 프레임(821_HS_t2)에서 캡처된다. 시간 tN-1에서, 조직(103)은 하이퍼스펙트럴 광 주파대 LN-1을 사용하여 조명되고, 조직(103)으로부터의 하이퍼스펙트럴 광은 프레임(821_HS_tN-1)에서 캡처된다. 시간 tN에서, 조직(103)은 하이퍼스펙트럴 광 주파대 L0을 사용하여 조명되고, 조직(103)으로부터의 하이퍼스펙트럴 광은 프레임(821_HS_tN)에서 캡처된다.
여기서, 제1 하이퍼스펙트럴 광 주파대 L0, 제2 하이퍼스펙트럴 광 주파대 L1, 제3 하이퍼스펙트럴 광 주파대 L2, ..., 및 제N 하이퍼스펙트럴 광 주파대에서의 형용사들, 제1, 제2, 제3, ..., 제N은 주파대들에서의 파장들의 임의의 순서 또는 파장과 관련한 주파대들의 임의의 순서를 암시하는 것으로 의도되지 않고, 오히려 하이퍼스펙트럴 광의 상이한 스펙트럼들이 사용된다는 것을 암시하는 것으로 의도된다. 또한, 이하에 설명되는 바와 같이, 각각의 하이퍼스펙트럴 프레임은 가시 컬러 프레임과 실질적으로 동시에 캡처된다. 실질적으로 동시에의 의미는 앞서 설명된 바와 동일하다.
따라서, 이 예에서, N개의 주파대가 사용되며, 여기서 N은 2 이상의 정수이다. 사용되는 순차 주파대들의 개수(N)는 알려져 있으며, 전형적으로 관심 조직에 의존한다. 전형적으로, 10개 미만의 상이한 순차 주파대가 사용되지만, 10개 초과가 또한 사용될 수 있다. 예를 들어, 일 양태에서, 3개의 주파대가 수뇨관들을 이미징하는 데 사용된다. 그 전체가 본 명세서에 참고로 포함되는, 미국 특허 출원 제62/092,651호(2014년 12월 16일자로 출원되고, "Ureter Detection Using Waveband Selective Imaging"을 개시함)를 참조한다.
도 3으로 돌아가서, 디스플레이 모드 선택(252)으로부터의 사용자 입력에 응답하여, 시간 순차 하이퍼스펙트럴 조명을 사용하는 증강 뷰잉 모드를 표시하는 증강 디스플레이 선택 커맨드가 사용자 인터페이스(261)에서 뷰잉 모드 체크 프로세스(302)에 제공된다. 시간 순차 하이퍼스펙트럴 조명 커맨드를 사용하는 증강 뷰잉 모드에 응답하여, 체크 프로세스(302)는, 이 양태에서, 가시 이미지 프로세싱 파이프라인(310)에서 활성 백색 광 조명 제어 신호를 조직을 백색 광으로 조명 프로세스(303)에 제공하고, 하이퍼스펙트럴 이미지 프로세싱 파이프라인(320)에서 활성 하이퍼스펙트럴 시간 순차 조명 제어 신호를 조직을 하이퍼스펙트럴 광으로 조명 프로세스(321)에 제공한다.
가시 이미지 프로세싱 파이프라인(310)에서의 동작들은 앞서 설명되었으며, 따라서 이 증강 뷰잉 모드에 대해 여기서 반복되지 않는데, 그 이유는 동작들이 앞서 설명된 바와 동일하기 때문이다.
하이퍼스펙트럴 시간 순차 조명 제어 신호에 응답하여, 조직을 하이퍼스펙트럴 광으로 조명 프로세스(321)는 시간 순차 하이퍼스펙트럴 광 동작 신호를 조합 광 소스(210) 내의 광 제어기(215)에게 송신한다. 시간 순차 하이퍼스펙트럴 광 동작 신호에 응답하여, 광 제어기(215)는 하이퍼스펙트럴 광의 제1 주파대 L0을 커넥터(216)에 제공하도록 하이퍼스펙트럴 광 조명기(212)를 구성한다.
조직을 백색 광으로 조명 프로세스(303)가 백색 광 동작 신호를 조합 광 소스(210) 내의 광 제어기(215)에게 송신하기 때문에, 광 제어기(215)는 백색 광을 커넥터(216)에 제공하도록 가시 광 조명기(211)를 구성한다. 따라서, 이러한 증강 모드에서, 조직(103)은 백색 광과 하이퍼스펙트럴 광의 제1 주파대의 조합으로 조명된다.
조직(103)(도 2)으로부터의 광은 내시경(101) 내의 스테레오스코픽 광학 채널들에 의해 이미지 캡처 시스템(220)으로 전달된다. 이러한 증강 뷰잉 동작 모드에서, 시간 t0에서, 가시 이미지를 캡처 프로세스(304)(도 3)는 좌측 가시 이미지 캡처 센서(221L_V)를 사용하여 제1 가시 좌측 컬러 프레임(421L_V_t0)을 취득하고 우측 가시 이미지 캡처 센서(221R_V)를 사용하여 제1 가시 우측 컬러 프레임(421R_V_t0)을 취득한다. 이와 유사하게, 시간 t0에서, 하이퍼스펙트럴 이미지를 캡처 프로세스(322)(도 3)는 좌측 하이퍼스펙트럴 이미지 캡처 센서(221L_HS)를 사용하여 제1 하이퍼스펙트럴 좌측 프레임(421L_HS_t0)을 취득하고 우측 하이퍼스펙트럴 이미지 캡처 센서(221R_HS)를 사용하여 제1 하이퍼스펙트럴 우측 프레임(421R_HS_t0)(도 4)을 취득한다. 가시 이미지를 캡처 프로세스(304) 및 하이퍼스펙트럴 이미지를 캡처 프로세스(322)는, 도 10b와 관련하여 이하에서 보다 완전히 논의되는 바와 같이, 이미지 캡처 유닛들의 구성 및 가시 및 하이퍼스펙트럴 프레임들의 캡처 프로세스에서의 동작들의 동기화로 인해 실질적으로 동시에 수행된다.
이전에 설명된 바와 같이, 시간 t0에서 캡처된 제1 가시 좌측 컬러 프레임(421L_V_t0) 및 제1 가시 우측 컬러 프레임(421R_V_t0)은 임의의 증강 뷰잉 모드에 대한 가시 이미지를 저장 프로세스(306)에 의해 저장된다. 가시 이미지를 저장 프로세스(306)는 픽처-인-픽처(PIP) 모드 체크 프로세스(309)로 넘어간다. 가시 이미지를 저장 프로세스(306)에 의해 저장된 프레임들은 공간 정합 프로세스(324)에 이용가능하다. 픽처-인-픽처(PIP) 모드 체크 프로세스(309)는 앞서 설명된 바와 같이 동작하며, 따라서 그 설명이 여기서 반복되지 않는다.
하이퍼스펙트럴 이미지 프로세싱 파이프라인(320)으로 돌아가서, 하이퍼스펙트럴 이미지를 캡처 프로세스(322)의 완료 시에, 프로세싱은 하이퍼스펙트럴 이미지를 저장 프로세스(323)로 넘어간다. 하이퍼스펙트럴 이미지를 저장 프로세스(323)는 제1 하이퍼스펙트럴 좌측 프레임(421L_HS_t0) 및 제1 하이퍼스펙트럴 우측 프레임(421R_HS_t0)을 저장하고, 이어서 피처 추출 프로세스(325)로 넘어간다.
프로세스(325)는, 일 양태에서, 상기 설명과 동등하며, 따라서 그 설명이 여기서 반복되지 않는다. 피처 추출 프로세스(325)는 프로세싱을 세트 체크 프로세스(326)로 넘긴다.
다시 말하지만, 세트를 구성하는 데 필요한 하이퍼스펙트럴 프레임들의 개수(N)가 알려져 있다. 앞서 설명된 바와 같이, 하이퍼스펙트럴 프레임의 하이퍼스펙트럴 장면의 해상도는 가시 프레임의 가시 컬러 장면의 해상도보다 훨씬 더 작을 수 있다. 따라서, 그러한 경우에, 임상적으로 유용한 하이퍼스펙트럴 이미지를 획득하기 위해서는, 용인가능한 해상도를 갖는 합성 하이퍼스펙트럴 이미지를 만들도록 결합될 수 있는 복수의 하이퍼스펙트럴 이미지들을 캡처하는 것이 필요하다. 복수의 하이퍼스펙트럴 이미지들 내의 하이퍼스펙트럴 이미지들의 개수는 사용되는 조명 주파대들의 개수(N)에 의존한다.
이 양태에서, 하이퍼스펙트럴 광 조명기(212)는 하이퍼스펙트럴 광의 주파대들을 시간 시퀀스, 예컨대, 시간 t0에서의 제1 주파대 L0, 시간 t1에서의 제2 주파대 L1, 기타 등등으로 출력하고, 하이퍼스펙트럴 이미지 세트 내의 하이퍼스펙트럴 이미지들의 개수는 하이퍼스펙트럴 광 조명기(212)에 의해 출력되는 시간 순차 조명 주파대들의 개수(N)와 동일하다. 하이퍼스펙트럴 광 조명기(212)가 하이퍼스펙트럴 광의 상이한 주파대들을 시간 시퀀스, 예컨대, 시간 t0에서의 제1 주파대 L0, 시간 t1에서의 제2 주파대 L1, 기타 등등으로 출력하고, 카메라(220)의 시야가 각각의 주파대에 대해 수술 부위에 걸쳐 스캔되는 경우, 각각의 주파대에 대한 하이퍼스펙트럴 이미지 세트 내의 하이퍼스펙트럴 이미지들의 개수는 하이퍼스펙트럴 광 조명기(212)로부터의 시간 일정 출력에 대해 설명된 것과 동등한 방식으로 경험적으로 결정된다. 이 양태에서, 제어할 2개의 개수가 있다. 제1 개수는 각각의 주파대에 대해 수술 부위의 공간 스캔(spatial scan)에서 캡처된 하이퍼스펙트럴 프레임들의 m 개수이고, 제2 개수(k)는 사용된 시간 순차 주파대들의 개수이다. 이 양태에서, 합성 하이퍼스펙트럴 프레임은 주파대들 각각에 대해, 일정 조명 예와 동등한 방식으로, m개의 하이퍼스펙트럴 프레임을 사용하여 형성된다. 이것은 k개의 합성 하이퍼스펙트럴 프레임을 생성한다. k개의 합성 프레임은 이어서 최종 합성 이미지를 형성하기 위해, 시간 순차 조명에 대한 정합 프로세스를 사용하여, 중첩된다.
공간 스캔을 사용하지 않는 시간 순차 하이퍼스펙트럴 조명의 경우, 세트 내의 하이퍼스펙트럴 프레임들의 개수(N)가 알려져 있고, 세트 체크 프로세스(326)는 캡처된 하이퍼스펙트럴 프레임들의 개수가 N과 동일한지를 결정하며, 여기서 N은 음이 아닌 정수이다. 세트 내의 하이퍼스펙트럴 프레임들의 개수(N)는 다시 말하지만 하나의 채널에서 캡처된 하이퍼스펙트럴 프레임들의 개수이며, 따라서 N개의 하이퍼스펙트럴 프레임들의 세트가 좌측 및 우측 채널들 각각에서 캡처된다. 캡처된 하이퍼스펙트럴 이미지들의 개수가 N보다 작은 경우, 세트 체크 프로세스(326)는 일정 조명(Ill.) 모드 체크 프로세스(329)로 넘어가지만, 캡처된 하이퍼스펙트럴 프레임들의 개수가 N과 같은 경우, 세트 체크 프로세스(326)는 피처들을 트래킹 프로세스(327)로 그리고 세트 카운터를 리세트 프로세스(328)로 넘어간다.
시간 t0에서의 하이퍼스펙트럴 이미지(421L_HS_t0)의 캡처 이후에, 캡처된 하이퍼스펙트럴 이미지들의 개수는 N보다 작고, 따라서 세트 체크 프로세스(326)는 일정 조명(Ill) 모드 체크 프로세스(329)로 넘어간다. 이 예에서, 출력 조명은 시간 순차이고, 따라서 일정 조명 모드 체크 프로세스(329)는 프로세싱을 조직을 하이퍼스펙트럴 광으로 조명 프로세스(321)로 넘긴다.
조직을 하이퍼스펙트럴 광으로 조명 프로세스(321)는, 일 양태에서, 조직(103)을 조명하기 위한 주파대를 결정하기 위해 세트 카운터의 값을 사용한다. 따라서, 이 예에서, 조직을 하이퍼스펙트럴 광으로 조명 프로세스(321)는 제2 주파대 L1에 대한 시간 순차 하이퍼스펙트럴 광 동작 신호를 조합 광 소스(210) 내의 광 제어기(215)에게 송신한다. 제2 주파대 L1에 대한 시간 순차 하이퍼스펙트럴 광 동작 신호에 응답하여, 광 제어기(215)는 하이퍼스펙트럴 광의 제2 주파대 L1을 커넥터(216)에 제공하도록 하이퍼스펙트럴 광 조명기(212)를 구성한다. 따라서, 조직(103)은 하이퍼스펙트럴 광의 제2 주파대 L1으로 조명된다.
조직을 하이퍼스펙트럴 광으로 조명 프로세스(321)의 완료 시에, 프로세스들(322, 323, 324, 325, 및 326)이 반복된다. 따라서, 시간 t1에서, 하이퍼스펙트럴 이미지를 캡처 프로세스(322)(도 3)는 좌측 하이퍼스펙트럴 이미지 캡처 센서(221L_HS)를 사용하여 제2 하이퍼스펙트럴 좌측 프레임(421L_HS_t1)을 취득하고 우측 하이퍼스펙트럴 이미지 캡처 센서(221R_HS)를 사용하여 제2 하이퍼스펙트럴 우측 프레임(421R_HS_t1)을 취득한다. 시간 t1에서, 가시 이미지를 캡처 프로세스(304)(도 3)가 좌측 가시 이미지 캡처 센서(221L_V)를 사용하여 제2 가시 좌측 컬러 프레임(421L_V_t1)을 취득하고 우측 가시 이미지 캡처 센서(221R_V)를 사용하여 제2 가시 우측 컬러 프레임(421R_V_t1)을 취득하도록 가시 이미지를 캡처 프로세스(304)가 하이퍼스펙트럴 이미지를 캡처 프로세스(322)와 동기화된다.
시간　tN-1까지 프로세스들(329,　321,　322,　323,　325, 및　326)이 반복되고, 하이퍼스펙트럴 이미지를 캡처 프로세스(322)(도 3)는 좌측 하이퍼스펙트럴 이미지 캡처 센서(221L_HS)를 사용하여 제N 하이퍼스펙트럴 좌측 프레임(421L_HS_tN-1)을 취득하고 우측 하이퍼스펙트럴 이미지 캡처 센서(221R_HS)를 사용하여 제N 하이퍼스펙트럴 우측 프레임(421R_HS_tN-1)을 취득하며, 가시 이미지를 캡처 프로세스(304)(도 3)는 좌측 가시 이미지 캡처 센서(221L_V)를 사용하여 제N 가시 좌측 컬러 프레임(421L_V_tN-1)을 취득하고 우측 가시 이미지 캡처 센서(221R_V)를 사용하여 제N 가시 우측 컬러 프레임(421R_V_tN-1)을 취득한다. 캡처된 하이퍼스펙트럴 프레임들의 개수가 이제 N과 같기 때문에, 세트 체크 프로세스(326)는 피처들을 트래킹 프로세스(327)로 그리고 세트 카운터를 리세트 프로세스(328)로 넘어간다.
세트 카운터를 리세트 프로세스(328)는 세트에서 캡처된 하이퍼스펙트럴 프레임들의 개수에 대한 카운터를 리세트시키고, 프로세싱을 일정 조명(Ill.) 모드 체크 프로세스(329)로 넘긴다. 프로세스(328)가 논의의 편의를 위해 사용되며 요구된 것으로 의도되지 않는다는 점에 유의한다. 앞서 살펴본 바와 같이, 순환 버퍼가 사용되는 경우, 캡처된 프레임들의 개수를 트래킹할 필요가 없다. 또한, N개의 이벤트 이후에 재순환되는(recycles) 조합 광 소스(200)에서 회전 필터가 사용되거나 제어 로직이 사용되는 경우, 카운터를 유지하고 리세트시키는 것이 필요하지 않을 것이다.
이 예에서, 출력 조명은 시간 순차이고, 따라서 일정 조명 모드 체크 프로세스(329)는 프로세싱을 조직을 하이퍼스펙트럴 광으로 조명 프로세스(321)로 넘긴다. 조직을 하이퍼스펙트럴 광으로 조명 프로세스(321)는 주파대 L0에 대한 시간 순차 하이퍼스펙트럴 광 동작 신호를 조합 광 소스(210) 내의 광 제어기(215)에게 송신한다. 주파대 L0에 대한 시간 순차 하이퍼스펙트럴 광 동작 신호에 응답하여, 광 제어기(215)는 하이퍼스펙트럴 광의 제1 주파대 L0을 커넥터(216)에 제공하도록 하이퍼스펙트럴 광 조명기(212)를 구성한다. 따라서, 시간 tN에서, 하이퍼스펙트럴 이미지를 캡처 프로세스(322)(도 3)는 제2 하이퍼스펙트럴 이미지 세트에서 좌측 하이퍼스펙트럴 이미지 캡처 센서(221L_HS)를 사용하여 제1 하이퍼스펙트럴 좌측 프레임(421L_HS_tN)을 취득하고 우측 하이퍼스펙트럴 이미지 캡처 센서(221R_HS)를 사용하여 제1 하이퍼스펙트럴 우측 프레임(421R_HS_tN)을 취득한다. 시간 tN에서, 가시 이미지를 캡처 프로세스(304)(도 3)는 좌측 가시 이미지 캡처 센서(221L_V)를 사용하여 제N+1 가시 좌측 컬러 프레임(421L_V_t1)을 취득하고 우측 가시 이미지 캡처 센서(221R_V)를 사용하여 제N+1 가시 우측 컬러 프레임(421R_V_t1)을 취득한다. 제1 세트에 대해 방금 설명된 바와 동일한 방식으로 제2 하이퍼스펙트럴 이미지 세트에 대해, 필요에 따라, 프로세스들(322,　323,　324)이 반복된다.
제1 하이퍼스펙트럴 이미지 세트의 캡처의 완료 시에, 프로세싱이 피처들을 트래킹 프로세스(327)로 또한 넘어갔다는 점을 상기한다. 피처들을 트래킹 프로세스(327) 내지 가시 및 합성 이미지들을 디스플레이 프로세스(333)는 이전에 설명된 바와 같이 기능하며, 따라서 그 설명이 여기서 반복되지 않는다.
상기 예는 시간 순차 하이퍼스펙트럴 조명에 대한 공간 정합 프로세스(324)와 시간 일정 하이퍼스펙트럴 조명에 대한 공간 정합 프로세스(324)가 동일한 프로세스라고 가정하였다. 이것은 예시적인 것에 불과하며 제한하는 것으로 의도되지 않는다.
다른 양태에서, 시간 순차 하이퍼스펙트럴 조명에 대해 상이한 공간 정합 프로세스(324)가 사용된다. 이 양태에서, 스테레오스코프 내시경이 사용되며, 따라서 각각의 하이퍼스펙트럴 조명 주파대에 대해 하이퍼스펙트럴 깊이 맵이 형성될 수 있다. 따라서, 좌측 이미지와 우측 이미지 사이의 스테레오 대응관계(stereo correspondence)를 사용하여, N개의 하이퍼스펙트럴 깊이 맵이 생성된다.
N개의 하이퍼스펙트럴 깊이 맵에 대해 카메라 포즈가 변하지 않기 때문에, N개의 하이퍼스펙트럴 깊이 맵은 이러한 프레임들이 합성 하이퍼스펙트럴 프레임을 형성하도록 결합될 수 있도록 N개의 하이퍼스펙트럴 프레임을 정렬시키는 데 사용될 수 있다. 정렬은, 점 구름들(point clouds) 사이의 제곱 거리의 합을 최소화하는 것에 의해 최근접 매치(closest match)를 발견하는, 최소화 프로세스를 사용하여 깊이 맵들 사이의 최상의 매치들을 발견하는 것에 의해 달성될 수 있다. 예를 들어, 반복 최근접 점(iterative closest point) 프로세스가 사용될 수 있다. 합성 하이퍼스펙트럴 프레임은 시간 일정 조명에 대해 앞서 설명된 것과 동일한 방식으로 가시 프레임 상에 중첩된다.
시간 일정 조명에 대한 이미지 캡처 유닛
도 8a는 시간 일정 하이퍼스펙트럴 조명 소스 및 백색 광 조명 소스를 갖는 카메라들(220L 및 220R)로서 사용하기에 적당한 이미지 캡처 유닛(920)의 일 양태의 예시이다. 내시경(101) 내의 하나 이상의 조명 채널로부터의 광은 이 예에서 조직(103)을 조명한다. 도 8a에 도시되어 있지 않지만, 내시경(101)의 시야 내의 하나 이상의 수술 기구가 조명 채널 또는 채널들로부터의 광을 통해 또한 조명될 수 있다. 내시경 내의 하나의 조명 채널 또는 채널들의 사용은 예시적인 것에 불과하고 본 설명에서 제시된 다양한 예들에서 제한하는 것으로 의도되지 않는다. 조명은 내시경 내의 조명 소스에 의해 또는 내시경의 내부 또는 외부에 있는 어떤 다른 장치에 의해 제공될 수 있다.
조직(103)으로부터 반사된 광 및 임의의 형광이 광(901)으로서 렌즈 어셈블리(905)에 의해 수용된다. 렌즈 어셈블리(905)는 수용된 광을 센서 어셈블리(921)로 지향시키는 하나 이상의 광학 컴포넌트를 포함할 수 있다. 렌즈 어셈블리가 하이퍼스펙트럴 광을 프로세싱하기 위한 임의의 타입의 슬릿을 포함하지 않는다는 점에 유의한다. 일부 양태들에서, 렌즈 어셈블리(905)는 폴디드(folded)이다.
렌즈 어셈블리(905)로부터의 광은 센서 어셈블리(921)로 나아간다. 일부 양태들에서, 렌즈 어셈블리(905)는 종방향 컬러(longitudinal color)에 대해 보정하지 않는다.
센서 어셈블리(921) 내에서, 광은 이 양태에서 빔 스플리터 큐브(beam splitter cube)(910)의 대각선 상에 배열된 빔 스플리터(911)에 의해 수용된다. 일 양태에서, 빔 스플리터(911)는 매립된 코팅 표면(buried coated surface)으로서 구현된다.
빔 스플리터 큐브의 사용은 예시적인 것에 불과하고 제한하는 것으로 의도되지 않는다. 예를 들어, 빔 스플리터(911)는 공간에 플로팅(floating)하는 필터일 수 있다.
빔 스플리터(911)는 렌즈 어셈블리(905)로부터 수용된 광의 제1 부분(902)을 가시 컬러 이미지 캡처 센서(921_V)로 지향시키고, 렌즈 어셈블리(905)로부터 수용된 광의 제2 부분(903)을, 때때로 필터 어셈블리(940)라고 지칭되는, 정합 보조 필터 어셈블리(registration assistance filter assembly)(940)로 지향시킨다. 도 8a의 예에서, 빔 스플리터(911)는 렌즈 어셈블리(905)로부터 수용된 광의 제1 부분(902)을 가시 컬러 이미지 캡처 센서(921_V)로 반사시키고 렌즈 어셈블리(905)로부터 수용된 광의 제2 부분(903)을 필터 어셈블리(940)로 투과시킨다. 본 명세서에 설명된 양태들 각각에서, 광은 이미지 캡처 센서의 표면 상으로 지향되며, 따라서 간결함을 위해 광이 이미지 캡처 센서 상으로 지향된다고 말해진다.
광의 제1 부분(902) 내의 그리고 광의 제2 부분(903) 내의 광의 파장들은 빔 스플리터(911)의 특성들에 의해 결정된다. 일 예에서, 광의 제1 부분(902)이 렌즈 어셈블리(905)로부터 수용된 가시 광의 제1 부분이고, 광의 제2 부분(903)이 렌즈 어셈블리(905)로부터 수용된 가시 광의 제2 부분과 렌즈 어셈블리(905)로부터 수용된 하이퍼스펙트럴 광의 조합이도록 빔 스플리터(911)가 구성된다. 일 예에서, 제1 부분(902)이 렌즈 어셈블리(905)로부터 수용된 가시 광, 예컨대, 700 나노미터(nm) 이하의 파장들을 갖는 광이고, 광(903)의 제2 부분이 렌즈 어셈블리(905)로부터 수용된 가시 광과 하이퍼스펙트럴 광, 예컨대, 700 나노미터 초과 2.4 마이크로미터 이하의 파장들을 갖는 광의 조합이도록 빔 스플리터(911)가 구성된다.
가시 광의 제1 부분(902)은 가시 컬러 이미지 캡처 센서(921_V) 상에 포커싱된다. 일 양태에서, 가시 컬러 이미지 캡처 센서(921_V)는 400 나노미터 내지 700 나노미터 범위의 파장들을 갖는 광을 캡처한다. 예를 들어, 가시 컬러 이미지 캡처 센서(921_V)는 베이어(Bayer) 적색-녹색-청색 컬러 필터 어레이 또는 적색-녹색-청색-백색 컬러 필터 어레이를 갖는 소형 픽셀 CMOS 이미지 캡처 센서이다. 때때로 센서(921_V)라고 지칭되는, 가시 컬러 이미지 캡처 센서(921_V)는 기계장치들(mechanicals) 및 전자장치들(electronics)(927)에 커플링된다. 기계장치들 및 전자장치들(927)은 센서(921_V)를 보유하기 위한 기계장치들 및 센서(921_V)에 접속된 전자장치들을 포함한다.
렌즈 어셈블리(905)로부터의 광의 제2 부분(903)은 하이퍼스펙트럴 이미지 캡처 센서(921_HS) 상에 포커싱된다. 하이퍼스펙트럴 이미지 캡처 센서(921_HS)는 프레임을 구성하는 픽셀들의 행들(rows) 및 열들(columns)을 포함한다. 따라서, 하이퍼스펙트럴 이미지 캡처 센서(921_HS)는 일부 종래 기술의 하이퍼스펙트럴 카메라들에서와 같이 한 번에 한 행 또는 한 열의 정보만이 아니라 한 프레임의 정보를 캡처한다.
일 양태에서, 하이퍼스펙트럴 이미지 캡처 센서(921_HS)는 700 나노미터 내지 2.4 마이크로미터 범위의 파장들을 갖는 광을 캡처한다. 캡처된 파장들의 범위는, 이하에서 보다 완전히 설명되는, 필터 어셈블리(940)의 특성들에 의존한다. 하이퍼스펙트럴 이미지 캡처 센서(921_HS)는 모노크롬 대형 픽셀 이미지 캡처 센서, 예컨대, 5 내지 20 마이크로미터 픽셀들을 갖는 InGsAs 센서 또는 유사한 크기의 픽셀들을 갖는 HgCdTe 센서이다.
하이퍼스펙트럴 이미지 캡처 센서(921_HS) 및 가시 컬러 이미지 캡처 센서(921_V)는 상이한 반도체 기술들을 사용하여 구현될 수 있으며, 상이한 또는 동일한 셔터들, 예컨대, 가시 컬러 이미지 캡처 센서(921_V)에 대한 롤링 셔터(rolling shutter) 및 하이퍼스펙트럴 이미지 캡처 센서(921_HS)에 대한 글로벌 셔터(global shutter)를 가질 수 있다. 셔터 방법론은 선택된 반도체 프로세스에서의 픽셀 구현의 특성이다. 이미지 센서들의 위치가 독립적이기 때문에 이미지 센서들(921_V 및 921_HS)은 렌즈(905)의 배면(back)으로부터 상이한 거리들에 배치될 수 있다 - 프리즘(910)과 이미지 센서(921_V) 사이의 갭은 프리즘(910)으로부터 이미지 센서(921_HS)까지의 거리와 동일할 필요가 없으며, 따라서, 각각이 독립적으로 포커싱될 수 있다. 반도체 특성들이 상이할 가능성이 있기 때문에, 이미지 센서들(921_HS 및 921_V)은 상이한 픽셀 크기들을 가질 가능성이 있다. 하나의 이미저의 활성 영역(active area)이 다른 이미저보다 작은 경우, 그 센서에 대한 이미지는 다른 센서가 보게 되는 이미지의 일 부분을 커버할 것이다.
때때로 센서(921_HS) 또는 이미지 센서(921_HS)라고 지칭되는, 하이퍼스펙트럴 이미지 캡처 센서(921_HS)는 기계장치들, 냉각부(cooling), 및 전자장치들(926)에 커플링된다. 기계장치들, 냉각부, 및 전자장치들(926)은 센서(921_HS)를 보유하기 위한 기계장치들, 센서(921_HS)에 대한 냉각부, 및 센서(921_HS)에 접속된 전자장치들을 포함한다.
앞서 언급된 바와 같이, 하이퍼스펙트럴 이미지 캡처 센서(921_HS)에 입사되는 광은 필터 어셈블리(940)를 통과한다. 일 양태에서, 필터 어셈블리(940)는 제1 노치 필터(941)를 포함한다. 노치 필터(941)는, 예를 들어, 폭에 걸쳐, 선형 가변이며, 예컨대, 필터(941)의 좌측에서는, 말하자면 900 나노미터 파장(λ) 광이 투과되고, 필터(941)의 우측에서는, 말하자면 1200 나노미터 파장 광이 투과된다.
다른 양태에서, 필터 어셈블리(940)는 제2 노치 필터(942)를 포함한다. 노치 필터(942)는 2가지 복수의 스트라이프들 - 어두운 스트라이프들로 표현되는 제1 복수의 스트라이프들(943) 및 백색 스트라이프들로 표현되는 제2 복수의 스트라이프들(944) - 를 포함한다. 제1 복수의 스트라이프들(943) 각각은 하이퍼스펙트럴 광의 주파대를 통과, 즉 투과시키고, 광의 다른 주파대를 차단시킨다. 어두운 스트라이프들 각각은 하이퍼스펙트럴 광의 상이한 주파대를 통과시킬 수 있거나, 또는 그 스트라이프들 중 일부는 하이퍼스펙트럴 광의 동일한 주파대를 통과시킬 수 있다. 예를 들어, 패턴은 12342233441111114123, 기타 등등일 수 있으며, 여기서 각각의 상이한 숫자는 하이퍼스펙트럴 광의 다른 주파대를 나타낸다. 따라서, 이 예에서, 하이퍼스펙트럴 광의 4개의 상이한 주파대는 노치 필터(942)에 의해 센서(921_HS)로 전달된다. 게다가, 복수의 스트라이프들(943) 내의 스트라이프들은 파장과 관련하여 임의의 특정 순서로 있을 필요가 없다. 또한, 복수의 스트라이프들(943) 내의 스트라이프들은 일정한 폭을 갖도록 요구되지 않는다. 다른 양태에서, 노치 필터(942)를 형성하기 위해 선형 가변 노치 필터(941) 상에 투명한 스트라이프들(clear stripes)이 만들어진다.
제2 복수의 스트라이프들(944)이 가시 광을 통과시키도록, 즉 투과시키도록 제2 복수의 스트라이프들(944) 각각은 투명하다. 제2 복수의 스트라이프들(944) 내의 스트라이프들은 일정한 폭을 갖도록 요구되지 않는다. 하이퍼스펙트럴 이미지 캡처 센서(921_HS)에 의해 캡처되는 가시 광은, 이전에 설명된 바와 같이, 하이퍼스펙트럴 프레임들의 대응하는 가시 프레임에 대한 공간 정합에서 사용된다. 제2 복수의 스트라이프들(944) 내의 스트라이프들은 랜덤한 패턴으로, 규칙적인 패턴으로, 또는 원하는 노치 필터를 만드는 데 사용된 조립 프로세스에 의해 좌우되는(dictated) 패턴으로 되어 있을 수 있다.
제1 복수의 스트라이프들(942) 내의 스트라이프들 중 일부는, 어떠한 광도 투과시키지 않는, 흑색 스트라이프들일 수 있다. 흑색 스트라이프들은 캡처된 프레임에서 로컬 흑색 레벨(local black level)을 제공한다. 도 8c에서, 스트라이프들은 수직 스트라이프들인 것으로 도시되어 있지만, 스트라이프들은 수평, 수직이거나 또는 도트들의 랜덤한 패턴에 의해 형성될 수 있다.
도 9는 카메라(220)로서 사용하기에 적당한 스테레오스코픽 카메라(1020)를 포함하는 스테레오스코픽 내시경(1002)의 원위 단부의 블록 다이어그램이다. 카메라(1020)는 시간 일정 하이퍼스펙트럴 조명 소스 및 백색 광 조명 소스와 함께 사용된다.
스테레오스코픽 카메라(1020)는, 때때로 카메라(1020L)라고 지칭되는, 좌측 이미지 캡처 유닛(1020L), 때때로 카메라(1020R)라고 지칭되는, 우측 이미지 캡처 유닛(1020R) 및 조명 채널(1005)을 포함한다. 각각의 이미지 캡처 유닛(1020R, 1020L)은 렌즈 어셈블리(1001R, 1001L) 및 센서 어셈블리(1025R, 1025L)를 포함한다. 센서 어셈블리(1025R, 1025L)는 렌즈 어셈블리(1001R, 1001L)를 통과하는 광을 수용하도록 배치된다. 각각의 센서 어셈블리(1025R, 1025L)는 프리즘 어셈블리(1030R, 1030L), 반사 어셈블리(1040R, 1040L), 및, 이 양태에서, 코플래너(coplanar) 이미지 캡처 센서들(1010R_V,　1015R_HS), 일 양태에서, (1010L_V,　1015L_HS)을 포함한다. 스테레오스코픽 내시경(1002)은 스테레오스코픽 내시경(101)의 일 예이다.
도 9에 예시된 바와 같이, 때때로 내시경(1002)이라고 지칭되는, 스테레오스코픽 내시경(1002)의 원위 단부에 있는 각각의 스테레오스코픽 채널은 동일한 컴포넌트 구성을 갖는다. 이 도 9의 양태에서, (좌측 스테레오스코픽 채널에 대한) 이미지 캡처 유닛(1020L)과 (우측 스테레오스코픽 채널에 대한) 이미지 캡처 유닛(1020R)은 내시경(1002)의 중심선 종방향 축(centerline longitudinal axis)(1090)과 교차하는 평면을 기준으로 대칭이다(즉, 그것들이 서로의 미러 이미지들로서 배치된다). 화살표(1035)에 의해 표시된 바와 같이, 원위 방향은 조직(1003)을 향해 있고, 근위 방향은 조직(1003)으로부터 멀어지는 쪽이다.
내시경(1002) 내의 하나 이상의 조명 채널(1005)로부터의 광은 이 예에서 조직(1003)을 조명한다. 도 9에 도시되어 있지 않지만, 내시경(1002)의 시야 내의 하나 이상의 수술 기구가 조명 채널(1005)로부터의 광을 통해 또한 조명될 수 있다. 내시경 내의 하나의 조명 채널의 사용은 예시적인 것에 불과하고 본 설명에서 제시된 다양한 예들에서 제한하는 것으로 의도되지 않는다. 조명은 내시경 내의 조명 소스에 의해 또는 내시경의 내부 또는 외부에 있는 어떤 다른 장치에 의해 제공될 수 있다.
조직(1003)으로부터 반사된 광 및 임의의 형광이 렌즈 어셈블리(1001L 및　1001R)에 의해 수용된다. 렌즈 어셈블리(1001L 및 1001R) 내의 렌즈들(1004L 및 1004R)은, 제각기, 수용된 광을, 제각기, 센서 어셈블리(1025L) 및 센서 어셈블리(1025R)로 지향시키는 하나 이상의 광학 컴포넌트를 포함할 수 있다. 다른 양태들에서, 렌즈 어셈블리(1001L 및 1001R)는 폴디드이다.
렌즈들(1004L 및 1004R)로부터의 광은, 제각기, 센서 어셈블리들(1025L, 1025R)로 간다. 센서 어셈블리들(1025L, 1025R) 내에서, 광은 빔 스플리터 큐브들(1030L, 1030R) 내의 빔 스플리터들(1031L, 1031R)에 의해, 제각기, 수신된다. 일 양태에서, 빔 스플리터들(1031L 및 1031R) 각각은 매립된 코팅 표면(1031L, 1031R)으로서 구현된다. 앞서 설명된 바와 같이, 빔 스플리터들(1031L, 1031R) 각각 상의 코팅 또는 코팅들은 특정 기능을 제공하도록 선택된다. 매립된 코팅 표면의 특성들은 빔 스플리터(911)에 대해 앞서 설명된 특성들과 동등하다.
빔 스플리터(1031L)는 수용된 광의 제1 부분을 이미지 캡처 유닛(1020L) 내의 제1 가시 컬러 이미지 캡처 센서(1010L_V) 상으로, 예컨대, 가시 컬러 이미지 캡처 센서(1010L_V)의 표면(1011L_V) 상으로 지향시키고 수용된 광의 제2 부분을 반사 어셈블리(1040L)로 지향시킨다. 이와 유사하게, 빔 스플리터(1031R)는 수용된 광의 제1 부분을 이미지 캡처 유닛(1020R) 내의 제2 가시 컬러 이미지 캡처 센서(1010R_V) 상으로, 예컨대, 가시 컬러 이미지 캡처 센서(1010R_V)의 표면(1011R_V) 상으로 지향시키고 수용된 광의 제2 부분을 반사 어셈블리(1040R)로 지향시킨다.
빔 스플리터들(1031L 및 1031R)로부터의 광은, 제각기, 반사 어셈블리들(1040L 및 1040R)에 의해 수용된다. 반사 유닛(1040L)은 수용된 광을, 때때로 필터 어셈블리(1050L)라고 지칭되는, 제1 정합 보조 필터 어셈블리(1050L)로 지향시킨다. 필터 어셈블리(1050L) 내의 필터를 통과하는 광은 하이퍼스펙트럴 이미지 캡처 센서(1015L_HS) 상에 포커싱되고, 예컨대, 반사 유닛(1040L)은 수용된 광을 이미지 캡처 유닛(1020L) 내의 하이퍼스펙트럴 이미지 캡처 센서(1015L_HS)의 표면(1016L) 상으로 포커싱시킨다. 이와 유사하게, 반사 유닛(1040R)은 수용된 광을, 때때로 필터 어셈블리(1050R)라고 지칭되는, 제2 정합 보조 필터 어셈블리(1050R)로 지향시킨다. 필터 어셈블리(1050R) 내의 필터를 통과하는 광은 하이퍼스펙트럴 이미지 캡처 센서(1015R_HS) 상에 포커싱되고, 예컨대, 반사 유닛(1040R)은 수용된 광을 이미지 캡처 유닛(1020R) 내의 하이퍼스펙트럴 이미지 캡처 센서(1015R_HS)의 표면(1016R_HS) 상으로 포커싱시킨다. 본 명세서에 설명된 양태들 각각에서, 광은 이미지 캡처 센서의 표면 상으로 지향되며, 따라서 간결함을 위해 광이 이미지 캡처 센서 상으로 지향된다고 말해진다.
반사 어셈블리들(1040L 및 1040R) 각각은 수용된 광을 반사시키는 반사 표면(1041L, 1041R), 예컨대, 미러 표면을 포함한다. 도 9의 예에서, 반사 어셈블리들(1040L 및 1040R) 각각이 하나의 면(face)이 반사 코팅을 갖는 프리즘으로서 구현되거나, 또는 각각이 프리즘의 빗변(hypotenuse) 상에서의 내부 전반사(total internal reflection)를 사용하여 구현된다. 일 양태에서, 반사 표면(1041R)을 포함하는 평면과 이미지 캡처 센서(1010R_V)의 표면(1011R) 및 이미지 캡처 센서(1015R_HS)의 표면(1016R_HS)을 포함하는 평면의 교차부에 의해 형성된 각도 θ는 45도 각도이며, 따라서 프리즘은 45도 프리즘이라고 지칭된다. 45도 프리즘의 표면(1041R)은 표면(1014R)에 근접한 매체가 공기이고 따라서 표면(1041R)이 반사 표면일 때 내부 전반사를 나타낸다(exhibits).
가시 컬러 이미지 캡처 센서(1010L_V) 및 하이퍼스펙트럴 이미지 캡처 센서(1015L_HS)는 코플래너이며, 즉 상부 센서 표면들(1011L_V 및 1016L_HS)이 사실상 동일한 평면에 있다. 센서들(1010L_V 및 1015L_HS)의 하부 표면들은 플랫폼(1012)의 제1 표면에 의해 정의된 평면 상에 있다. 이와 유사하게, 가시 이미지 캡처 센서(1010R_V) 및 하이퍼스펙트럴 이미지 캡처 센서(1015R_HS)는 코플래너이며, 예컨대, 상부 표면들(1011R_V 및 1016R_HS)이 사실상 동일한 평면에 있다. 센서들(1010R_V 및 1015R_HS)의 하부 표면들은 플랫폼(1012)의 제2 표면에 의해 정의된 평면 상에 있다. 플랫폼(1012)은 2개의 평면 부품(planar parts), 예컨대, 축(1090)을 따라 본딩된 2개의 세라믹 부품(ceramic parts)으로 구성될 수 있다. 플랫폼(1012)의 제1 표면은 플랫폼(1012)의 제2 표면의 반대쪽에 그리고 플랫폼(1012)의 제2 표면으로부터 떨어져(removed) 있다.
일 양태에서, 2개의 이미지 캡처 센서(1010R_V, 1015R_HS)를 포함하는 제1 반도체 다이(1017R)는 제1 세라믹 플랫폼 상에 마운팅된다. 2개의 이미지 캡처 센서(1010L_V, 1015L_HS)를 포함하는 제2 반도체 다이(1017L)는 제2 세라믹 플랫폼 상에 마운팅된다. 2개의 세라믹 플랫폼은 이어서 플랫폼(1012)을 형성하도록 함께 본딩된다. 2개의 다이(1017R, 1017L)로의 와이어들은 플랫폼(1012) 내의 하나의 채널 또는 채널들을 통과한다. 다이에서의 2개의 이미지 캡처 센서의 사용이 예시적인 것에 불과하고 제한하는 것으로 의도되지 않는다. 일부 양태들에서, 2개의 이미지 센서가 별개의 다이들에 있다. (도 8a를 참조).
일부 양태들에서, 플랫폼(1012)이 사용되지 않을 수 있고 2 세트의 이미지 캡처 센서들이 전력, 제어 및 비디오 케이블들에의 필요한 접속들을 제공하도록 구성된 단일 구조체에 포함된다. 또한, 도 9에 도시된 바와 같은 이미지 캡처 유닛에서의 2개의 코플래너 이미지 캡처 센서의 사용은 예시적인 것에 불과하고 제한하는 것으로 의도되지 않는다.
이미지 캡처 센서들의 코플래너 구성은 이미지 캡처 센서들(1010R_V/1015R_HS(제1 쌍) 및 1010L_V/1015L_HS)(제2 쌍))에 의해 캡처된 상이한 이미지들의 렌즈 아티팩트들 및 재정합(re-registration)을 보상하기 위한 캘리브레이션의 필요성을 없애준다. 앞서 설명된 바와 같이, 주어진 쌍 내의 2개의 이미지 캡처 센서 사이의 공간적 관계는 일정하고, 주어진 쌍 내의 이미지 캡처 센서들이 공통 렌즈 어셈블리, 즉 공통 프런트 엔드 광학 구조체를 공유하기 때문에, 2개의 이미지 캡처 센서에 의해 캡처되는 한 쌍의 이미지의 공간 정합이 시간 경과에 따라 그리고 초점을 변경하는 것과 같은 광학 조건들을 변경하는 동안 일정하게 유지된다. 모노스코픽 내시경에서는, 이미지 캡처 유닛들(1020L, 1020R) 중 하나만이 사용된다.
가시 컬러 이미지 캡처 센서들(1010R_V 및 1010L_V) 각각은 가시 컬러 이미지 캡처 센서(921_V)와 동등하다. 따라서, 가시 컬러 이미지 캡처 센서(921_V)와 관련하여 앞서 설명된 양태들이 여기서 반복되지 않는다.
필터 어셈블리들(1050L 및 1050R) 각각은 필터 어셈블리(940)와 동등하다. 따라서, 정합 보조 필터 어셈블리(940)와 관련하여 그리고 필터들(941 및 942)과 관련하여 앞서 설명된 양태들이 여기서 반복되지 않는다.
시간 순차 조명에 대한 이미지 캡처 유닛
도 10a는 가시 프레임 및 하이퍼스펙트럴 프레임을 동시에 캡처하는 신규의 이미지 캡처 유닛을 포함하는 또 다른 내시경(1150)의 예시이다. 내시경(1150)은 내시경(101)의 일 예이다.
일 양태에서, 내시경(1150)은 백색 광 조명과 시간 순차 하이퍼스펙트럴 조명의 조합과 함께 사용된다. 이 예에서, 내시경(1150)은 스테레오스코픽 내시경이지만, 다른 양태에서 내시경(1150)은 모노스코픽 내시경이다. 이미지 캡처 유닛 또는 이미지 캡처 유닛들은 내시경(1150)의 원위 단부 내에 위치될 수 있거나, 또는 내시경(1150)의 근위 단부에서 내시경의 몸체 외부에 위치될 수 있다. 화살표(1190)는 원위 및 근위 방향들을 정의한다.
양태에서, 내시경(1150)의 원위 단부는, 일 양태에서, 백색 광 조명의 콘(cone)(1170) 또는 백색 광 조명과 하이퍼스펙트럴 조명의 조합을 조직(1160) 상에 제공하는 2개의 광 파이프 가이드 영역(1152, 1153)을 포함한다. 조직(1160)의 피처(1163)는 하이퍼스펙트럴 조명, 예컨대, 근적외선 조명을 사용하여 조명될 때 더욱 현저하다.
내시경(1150)의 원위 단부는, 이 양태에서, 제1 이미지 캡처 유닛 윈도(1151L) 및 제2 이미지 캡처 유닛 윈도(1151R)를 또한 포함한다. 이미지 캡처 유닛 윈도(1151L)에 커플링된 제1 이미지 캡처 유닛은 제1 시야(1154L)를 갖는다. 이미지 캡처 유닛 윈도(1151R)에 커플링된 제2 이미지 캡처 유닛은 제2 시야(1154R)를 갖는다.
도 10b는 시간 순차 하이퍼스펙트럴 조명 소스 및 백색 광 조명 소스를 갖는 카메라들(220L 및 220R)로서 사용하기에 적당한 이미지 캡처 유닛(1120)의 일 양태의 예시이다. 내시경(1150) 내의 하나 이상의 조명 채널로부터의 광은 이 예에서 조직(1160)을 조명한다. 도 10b에 도시되어 있지 않지만, 내시경(1150)의 시야 내의 하나 이상의 수술 기구가 조명 채널로부터의 광을 통해 또한 조명될 수 있다. 내시경 내의 하나의 조명 채널의 사용은 예시적인 것에 불과하고 본 설명에서 제시된 다양한 예들에서 제한하는 것으로 의도되지 않는다. 조명은 내시경 내의 조명 소스에 의해 또는 내시경의 내부 또는 외부에 있는 어떤 다른 장치에 의해 제공될 수 있다.
조직(1160)으로부터 반사된 광 및 임의의 형광이 광(1101)으로서 렌즈 어셈블리(1105)에 의해 수용된다. 렌즈 어셈블리(1105)는 수용된 광을 센서 어셈블리(1121)로 지향시키는 하나 이상의 광학 컴포넌트를 포함할 수 있다. 일부 양태들에서, 렌즈 어셈블리(1105)는 폴디드이다.
렌즈 어셈블리(1105)로부터의 광은 센서 어셈블리(1121)로 간다. 일부 양태들에서, 렌즈 어셈블리(1105)는 이미지 센서들(1121_V 및 1121_HS)의 기계적 분리에 의해 제공되는 상이한 후초점 거리들(back focal lengths)을 이용하고, 표면(1111)으로부터 상이한 거리들에 센서들을 배치하는 것에 의해 종방향 색수차(longitudinal chromatic aberration)가 해소된다(accommodated for).
센서 어셈블리(1121) 내에서, 광은 이 양태에서 빔 스플리터 큐브(1110)의 대각선 상에 배열된 빔 스플리터(1111)와 상호작용한다. 일 양태에서, 빔 스플리터(1111)는 매립된 코팅 표면으로서 구현된다.
빔 스플리터 큐브의 사용은 예시적인 것에 불과하고 제한하는 것으로 의도되지 않는다. 예를 들어, 빔 스플리터(1111)는 공간에 배치된 필터일 수 있다.
빔 스플리터(1111)는 렌즈 어셈블리(1105)로부터 수용된 광의 제1 부분(1102)을 가시 컬러 이미지 캡처 센서(1121_V)로 지향시키고 렌즈 어셈블리(1105)로부터 수용된 광의 제2 부분(1103)을 하이퍼스펙트럴 이미지 캡처 센서(1121_HS)로 지향시킨다. 도 10b의 예에서, 빔 스플리터(1111)는 렌즈 어셈블리(1105)로부터 수용된 광의 제1 부분(1102)을 가시 컬러 이미지 캡처 센서(1121_V)로 반사시키고 렌즈 어셈블리(1105)로부터 수용된 광의 제2 부분(1103)을 하이퍼스펙트럴 이미지 캡처 센서(1121_HS)로 투과시킨다. 본 명세서에 설명된 양태들 각각에서, 광은 이미지 캡처 센서의 표면 상으로 지향되며, 즉 이미지 캡처 센서의 표면 상에 포커싱되며 따라서 간결함을 위해 광이 이미지 캡처 센서 상으로 지향된다고 말해진다.
광의 제1 부분(1102) 내의 그리고 광의 제2 부분(1103) 내의 광의 파장들은 빔 스플리터(1111)의 특성들에 의해 결정된다. 일 예에서, 광의 제1 부분(1102)이 렌즈 어셈블리(1105)로부터 수용된 가시 광의 제1 부분이고, 광의 제2 부분(1103)이 렌즈 어셈블리(1105)로부터 수용된 가시 광의 제2 부분과 렌즈 어셈블리(1105)로부터 수용된 하이퍼스펙트럴 광의 조합이도록 빔 스플리터(1111)가 구성된다. 일 예에서, 제1 부분(1102)은 약 670 nm 이하의 파장들을 갖는 가시 스펙트럼 내의 가시 광이고, 광(1101)의 제2 부분(1103)은 670 nm 초과의 파장을 갖는 가시 광, 및 렌즈 어셈블리(1105)로부터 수용된 하이퍼스펙트럴 광, 예컨대, 약 670 나노미터 초과 1.7 마이크로미터 이하의 파장들을 갖는 광이다. 여기서, 약 670 나노미터가 사용되는데, 그 이유는 빔 스플리터(1111)가 매립된 코팅 층으로서 구현될 때, 코팅 층은 입사 광의 어떤 부분이 이미지 캡처 센서들 둘 다로 지향되는 전이 구역(transition zone)을 갖기 때문이다. 예를 들어, 670 nm ± 20 nm의 파장들을 갖는 광은 가시 컬러 이미지 캡처 센서(1121_V)로 가는 것으로부터 하이퍼스펙트럴 이미지 캡처 센서(1121_HS)로 가는 것으로 전이한다. 따라서, 약 670 나노미터는 전이 구역 내에서 약 670 나노미터를 의미한다.
광(1101)의 제1 부분(1102)은 가시 컬러 이미지 캡처 센서(1121_V) 상에 포커싱된다. 일 양태에서, 가시 컬러 이미지 캡처 센서(1121_V)는 400 나노미터 내지 약 670 나노미터 범위의 파장들을 갖는 광을 캡처한다. 예를 들어, 가시 컬러 이미지 캡처 센서(1121_V)는 베이어 적색-녹색-청색 컬러 필터 어레이 또는 적색-녹색-청색-백색 컬러 필터 어레이를 갖는 소형 픽셀 CMOS 이미지 캡처 센서이다. 때때로 센서(1121_V)라고 지칭되는, 가시 컬러 이미지 캡처 센서(1121_V)는 기계장치들 및 전자장치들(1127)에 커플링된다. 기계장치들 및 전자장치들(1127)은 센서(1121_V)를 보유하기 위한 기계장치들 및 센서(1121_V)에 접속된 전자장치들을 포함한다.
렌즈 어셈블리(1105)로부터의 광(1101)의 제2 부분(1103)은 하이퍼스펙트럴 이미지 캡처 센서(1121_HS) 상에 포커싱된다. 일 양태에서, 하이퍼스펙트럴 이미지 캡처 센서(1121_HS)는 약 670 나노미터 내지 1.7 마이크로미터 범위의 파장들을 갖는 광을 캡처한다. 하이퍼스펙트럴 이미지 캡처 센서(1121_HS)는 모노크롬 대형 픽셀 이미지 캡처 센서, 예컨대, 5 내지 20 마이크로미터 픽셀들을 갖는 InGsAs 센서 또는 유사한 크기의 픽셀들을 갖는 HgCdTe 센서이다.
하이퍼스펙트럴 이미지 캡처 센서(1121_HS) 및 가시 컬러 이미지 캡처 센서(1121_V)는 상이한 반도체 기술들을 사용하여 구현될 수 있으며, 그와 같이 상이한 셔터 아키텍처들, 예컨대, 가시 컬러 이미지 캡처 센서(1121_V)에 대한 롤링 셔터 및 하이퍼스펙트럴 이미지 캡처 센서(1121_HS)에 대한 글로벌 셔터를 가질 수 있다. 2개의 이미지 센서의 배치는 제조 시에 독립적인 포커싱을 가능하게 해준다. 부가적으로, 2개의 이미지 센서는 상이한 픽셀 크기들은 물론 상이한 활성 영역들을 가질 수 있다.
때때로 센서(1121_HS)라고 지칭되는, 하이퍼스펙트럴 이미지 캡처 센서(1121_HS)는 기계장치들, 냉각부, 및 전자장치들(1126)에 커플링된다. 기계장치들, 냉각부, 및 전자장치들(1126)은 센서(1121_HS)를 보유하기 위한 기계장치들, 센서(1121_HS)에 대한 냉각부, 및 센서(1121_HS)에 접속된 전자장치들을 포함한다.
이미지 캡처 유닛(1120)은 도 9에 도시된 바와 같이 또한 구현될 수 있다. 그렇지만, 시간 순차 하이퍼스펙트럴 조명에 대해, 정합 보조 필터 어셈블리들(1050L 및 1050R)은 제거된다.
일 양태에서, 모노크롬 하이퍼스펙트럴 이미지 캡처 센서(1121_HS) 대신에, 센서(1121_HS)의 픽셀들 위의 컬러 필터 어레이는 순간 조명 스펙트럼 콘텐츠(instantaneous illumination spectral content)와 픽셀들 위의 필터들의 조합인 "원색들(primaries)"의 다른 세트를 생성한다. 이것은 순차 조명 패턴들의 개수를 감소시키는데, 그 이유는 조명이 각각의 필터 후방의 픽셀들을 조명할 광을 동시에 포함할 수 있기 때문이다. 이것이 취득을 위한 시간을 감소시키기 때문에 유익하고, 시간 순차 이미징과 연관된 시간 아티팩트들(temporal artifacts)을 제거하기 때문에 프로세스를 단순화시킨다. 따라서, 이 접근법은 조직 트래킹 및 이미지들을 재정렬하는 것의 필요성을 없애주는데, 그 이유는 하이퍼스펙트럴 이미저로부터의 이미지가 모든 주파대들에 대한 정보를 동시에 포함하기 때문이다. 트레이드오프는 공간 분해능의 감소이다.
렌즈 어셈블리(1105)는 조직 내의 형광단을 여기시키는 데 사용되는 어떤 파장의 광을 차단시키기 위한 필터를 포함할 수 있다 - 예를 들어, 형광 및 여기가 스펙트럼의 근적외선 부분에 있는 경우, 이것은 가시 이미지의 이미지 품질을 손상시키지 않으면서 행해질 수 있다. 그 경우에, 조명기는 여기 광을 시간 순차 주파대들 중 하나로서 사용할 수 있으며, 형광단 신호가 렌즈 어셈블리(1105) 내의 차단 필터로 인해 여기에 의해 압도되지 않고 카메라에 의해 '보일' 것이다. 형광단은 자연적으로 발생한 분자(naturally occurring molecule) 또는 특정 조직 타입, 상태(condition), 또는 다른 임상적 관심 요소를 태깅하기 위해 조직 내로 유입된 분자일 수 있다. 따라서 스펙트럼 이미징을 사용한 형광단의 검출을 산재(intersperse)시킬 수 있다.
하이퍼스펙트럴 능력을 갖는 내시경 및 제2 툴
상기 예에서, 내시경 - 모노스코픽 또는 스테레오스코픽 - 은, 일 양태에서, 컴퓨터 보조 수술 시스템의 하나의 암에 부착되었고 다른 수술 기구들은 컴퓨터 보조 수술 시스템의 상이한 암에 부착되었다. 도 1를 참조한다. 다른 양태에서, 단일 엔트리 포트(entry port)가 사용된다. 도 11a는 내시경 이미징 시스템(1292), 외과의 콘솔(1294)(마스터), 및 환자 측 지지 시스템(1210)(슬레이브) - 모두가 유선(전기 또는 광학) 또는 무선 접속부들(1296)에 의해 상호접속됨 - 을 포함하는 수술 시스템(1200)의 양태들을 예시하는 개략 측면도이다. 하나 이상의 전자 데이터 프로세서가 시스템 기능을 제공하기 위해 이러한 주요 컴포넌트들에 다양하게 위치될 수 있다. 예들은 참고로 본 명세서에 포함되는, 미국 특허 출원 제11/762,165호에 개시되어 있다.
환자 측 지지 시스템(1210)은 엔트리 가이드 머니퓰레이터(entry guide manipulator)를 포함한다. 적어도 하나의 수술 디바이스 어셈블리는 엔트리 가이드 머니퓰레이터에 커플링된다. 각각의 수술 디바이스 어셈블리는 수술 기구 또는 카메라 기구 중 어느 하나를 포함한다. 예를 들어, 도 11a에서, 하나의 수술 디바이스 어셈블리는 수술 절차 동안 엔트리 가이드(1215)를 통해 연장되는 샤프트(1237-1)를 갖는 기구(1235-1)를 포함한다. 전형적으로, 엔트리 가이드(1215)는 복수의 채널들을 포함한다.
이미징 시스템(1292)은, 본 명세서에 설명된 바와 같이, 예컨대, 수술 부위의 캡처된 내시경 이미징 데이터 및/또는 환자 외부의 다른 이미징 시스템들로부터의 수술전(preoperative) 또는 실시간 이미지 데이터에 대해 이미지 프로세싱 기능들을 수행한다. 이미징 시스템(1292)은 프로세싱된 이미지 데이터(예컨대, 수술 부위의 이미지들은 물론, 관련 제어 및 환자 정보)를 외과의 콘솔(1294)에서 외과의에게 출력한다. 일부 양태들에서, 프로세싱된 이미지 데이터는 다른 수술실 직원들(operating room personnel)에게 보이는 임의적 외부 모니터에 또는 수술실에서 멀리 떨어진 하나 이상의 위치에 출력된다(예컨대, 다른 위치에 있는 외과의가 비디오를 모니터링할 수 있고; 라이브 피드 비디오(live feed video)가 트레이닝을 위해 사용될 수 있으며; 기타 등등이다).
외과의 콘솔(1294)은 외과의가, 일괄하여 슬레이브들이라고 지칭되는, 기구들, 엔트리 가이드(들), 및 이미징 시스템 디바이스들을 조작할 수 있게 해주는 다중 자유도(degrees-of-freedom)("DOF") 기계식 입력 디바이스들("마스터들")을 포함한다. 이러한 입력 디바이스들은, 일부 양태들에서, 기구들 및 수술 디바이스 어셈블리 컴포넌트들로부터의 햅틱 피드백을 외과의에게 제공할 수 있다. 콘솔(1294)은 디스플레이 상의 이미지들이 일반적으로 디스플레이 스크린 후방에서/아래에서 작업하는 외과의의 손들에 대응하는 거리에 포커싱되도록 배치된 스테레오스코픽 비디오 출력 디스플레이를 또한 포함한다. 이 양태들은, 참고로 본 명세서에 포함되는, 미국 특허 제6,671,581호에서 보다 충분히 논의된다.
기구들의 삽입 동안의 제어는, 예를 들어, 외과의가 마스터들 중 하나 또는 둘 다를 사용하여 이미지에 제시되는 기구들을 움직이는 것에 의해 달성될 수 있으며; 외과의는, 이미지에서의 기구를 좌우로 움직이고 기구를 외과의를 향해 당기기 위해, 마스터들을 사용한다. 마스터들의 움직임은 출력 디스플레이 상의 고정 중심점 쪽으로 스티어링하고 환자 내부로 전진하라고 이미징 시스템 및 연관된 수술 디바이스 어셈블리에 명령한다.
일 양태에서, 카메라 제어는 이미지가 마스터 핸들(master handle)들이 움직이게 되는 것과 동일한 방향으로 움직이도록 마스터들이 이미지에 고정되어 있다는 인상을 주도록 설계된다. 이 설계는 외과의가 카메라 제어를 종료할 때 마스터들로 하여금 기구들을 제어하기 위한 올바른 위치에 있게 하고, 결과적으로 이 설계는 기구 제어를 시작하거나 재개하기 전에, 마스터들을 다시 제자리로 가도록 클러치(clutch)(디스인게이지(disengage)), 이동, 및 디클러치(declutch)(인게이지(engage))시킬 필요가 없게 해준다.
일부 양태들에서, 마스터 위치는 큰 마스터 작업공간을 사용하는 것을 피하기 위해 삽입 속도에 비례하게 될 수 있다. 대안적으로, 외과의는 삽입을 위한 라쳇팅 액션(ratcheting action)을 사용하기 위해 마스터들을 클러치하고 디클러치할 수 있다. 일부 양태들에서, 삽입은 수동으로(예컨대, 손으로 작동되는 휠들에 의해) 제어될 수 있으며, 자동화된 삽입(예컨대, 서보모터로 구동되는 롤러들)은 이어서 수술 디바이스 어셈블리의 원위 단부가 수술 부위 근방에 있을 때 행해진다. 환자의 해부학적 구조들 및 삽입 궤적들에 이용가능한 공간들의 수술전 또는 실시간 이미지 데이터(예컨대, MRI, X-레이)가 삽입을 지원하기 위해 사용될 수 있다.
환자 측 지지 시스템(1210)은 바닥에 마운팅된 베이스(floor-mounted base)(1201), 또는 대안적으로 천장에 마운팅된 베이스(ceiling mounted base)(도시되지 않음)를 포함한다. 베이스(1201)는 이동가능하거나 (예컨대, 바닥, 천장, 벽, 또는 수술대와 같은 다른 장비에) 고정될 수 있다.
베이스(1201)는 수동 비제어 셋업 암 어셈블리(passive, uncontrolled setup arm assembly)(1220) 및 능동 제어 머니퓰레이터 암 어셈블리(actively controlled manipulator arm assembly)(1230)를 포함하는 암 어셈블리(arm assembly)를 지지한다. 능동 제어 머니퓰레이터 암 어셈블리(1230)는 때때로 엔트리 가이드 머니퓰레이터(1230)라고 지칭된다.
캐뉼라(1216)는 캐뉼라 마운트(cannula mount)에 분리가능하게 커플링된다. 이 설명에서, 캐뉼라는 전형적으로 기구 또는 엔트리 가이드가 환자 조직 상에서 러빙(rubbing)하는 것을 방지하는 데 사용된다. 캐뉼라들은 절개부들(incisions) 및 자연 오리피스들(natural orifices) 둘 다에 사용될 수 있다. 기구 또는 엔트리 가이드가 그것의 삽입(종방향) 축에 상대적으로 빈번히 병진 또는 회전하지 않는 상황들에서는, 캐뉼라가 사용되지 않을 수 있다. 취입(insufflation)을 요구하는 상황들의 경우, 캐뉼라는 기구 또는 엔트리 가이드를 지나가는 과도한 취입 가스 누출을 방지하기 위해 실(seal)을 포함할 수 있다. 취입 및 수술 부위에서 취입 가스를 요구하는 절차들을 지원하는 캐뉼라 어셈블리들의 예들은 미국 특허 출원 제12/705,439호(2010년 2월 12일자로 출원됨; "Entry Guide for Multiple Instruments in a Single Port System"을 개시함)에서 발견될 수 있으며, 이 미국 출원의 전체 개시내용은 모든 목적들을 위해 참고로 본 명세서에 포함된다. 취입을 요구하지 않는 흉부 수술(thoracic surgery)의 경우, 캐뉼라 실이 생략될 수 있으며, 기구들 또는 엔트리 가이드 삽입 축 움직임이 최소인 경우, 캐뉼라 자체가 생략될 수 있다. 강성 엔트리 가이드는 엔트리 가이드에 상대적으로 삽입되는 기구들에 대해 일부 구성들에서 캐뉼라로서 기능할 수 있다. 캐뉼라들 및 엔트리 가이드들은, 예컨대, 강철 또는 압출 플라스틱(extruded plastic)일 수 있다. 강철보다 저렴한 플라스틱은 일회용으로 적당할 수 있다.
환자가 이동가능한 테이블 상의 다양한 위치들에 놓일 때 다양한 수동 셋업 조인트들/링크들 및 능동 조인트들/링크들은 기구 머니퓰레이터들의 배치가 큰 움직임 범위를 갖는 기구들 및 카메라 어셈블리를 이동시킬 수 있게 해준다. 일부 실시예들에서, 캐뉼라 마운트는 제1 머니퓰레이터 링크에 커플링될 수 있다.
머니퓰레이터 암 내의 특정 셋업 및 능동 조인트들 및 링크들은 수술 시스템의 크기 및 형상을 감소시키기 위해 생략될 수 있거나, 또는 조인트들 및 링크들이 자유도를 증가시키기 위해 추가될 수 있다. 수술에 필요한 범위의 포즈들을 달성하기 위해 머니퓰레이터 암이 링크들, 수동 조인트들, 및 능동 조인트들의 다양한 조합들을 포함할 수 있다(여유 DOF(redundant DOFs)가 제공될 수 있다)는 점이 이해되어야 한다. 게다가, 다양한 기구들 단독 또는 엔트리 가이드들, 다수의 기구들, 및/또는 다수의 엔트리 가이드들, 및 (예컨대, 기구 전달 수단(instrument transmission means) 또는 기구 머니퓰레이터의 근위면(proximal face) 또는 원위면(distal face) 상에서의) 다양한 구성들을 통해 기구 머니퓰레이터들(예컨대, 액추에이터 어셈블리들)에 커플링된 기구들을 포함한 수술 디바이스 어셈블리들이 본 개시내용의 양태들에 적용가능하다.
복수의 수술 디바이스 어셈블리들(1280) 각각은 기구 머니퓰레이터 어셈블리 그리고 수술 기구 및 카메라 어셈블리 중 하나를 포함한다. 도 11a에서, 복수의 수술 디바이스 어셈블리들(1280) 중 2개가 가시적이며, 2개의 가시적 수술 디바이스 어셈블리 각각은 기구 머니퓰레이터 어셈블리 그리고 수술 기구 또는 카메라 어셈블리를 포함한다. 기구 머니퓰레이터 어셈블리들(1240-1 및 1240-2) 각각은, 일 양태에서, 컴퓨터에 의해 보조되며(computer-assisted), 따라서 각각은 때때로 컴퓨터 보조 기구 머니퓰레이터 어셈블리라고 지칭된다. 기구 머니퓰레이터 어셈블리들(1240-1, 1240-2) 각각은 상이한 삽입 어셈블리에 의해 엔트리 가이드 머니퓰레이터 어셈블리(1233)에 커플링되며, 예컨대, 기구 머니퓰레이터 어셈블리(1240-1)는 삽입 어셈블리(1236-1)에 의해 엔트리 가이드 머니퓰레이터 어셈블리(1233)에 커플링된다.
일 양태에서, 삽입 어셈블리(1236-1)는 대응하는 수술 디바이스 어셈블리를 엔트리 가이드 머니퓰레이터 어셈블리(1233)로부터 멀어지게 그리고 엔트리 가이드 머니퓰레이터 어셈블리(1233)를 향해 이동시키는 텔레스코핑 어셈블리(telescoping assembly)이다. 도 11a에서, 삽입 어셈블리(1236-1)는 완전 후퇴 위치(fully retracted position)에 있다.
각각의 기구 머니퓰레이터 어셈블리(1240-1, 1240-2)는 기구 머니퓰레이터 어셈블리(1240-1,　1240-2)의 출력 인터페이스에서 복수의 출력들을 구동하는 복수의 모터들을 포함한다. 기구들(1235-1, 1235-2) 각각은 전달 유닛(transmission unit)을 하우징하는 몸체를 포함한다. 전달 유닛은 복수의 입력들을 포함하는 입력 인터페이스를 포함한다. 기구들(1235-1, 1235-2) 각각은 몸체로부터 원위 방향으로 연장되는, 때때로 메인 튜브(main tube)라고 지칭되는, 샤프트(1237-1, 1237-2)를 또한 포함한다. 엔드 이펙터(end effector)는 수술 기구의 샤프트의 원위 단부에 커플링되고, 이미지 캡처 유닛, 예컨대, 카메라는, 때때로 내시경이라고 지칭되는, 카메라 기구의 샤프트의 원위 단부에 포함된다. 기구 머니퓰레이터 어셈블리 및 수술 기구의 일 예에 대한, 참고로 포함되는, 미국 특허 출원 제61/866,115호(2013년 8월 15일자로 출원됨)를 참조한다.
기구(1235-1, 1235-2) 내의 전달 유닛의 입력 인터페이스에서의 복수의 입력들이 기구 머니퓰레이터 어셈블리(1240-1, 1240-2)의 기구 마운트 인터페이스에서의 복수의 출력들에 의해 구동되도록, 기구들(1235-1, 1235-2) 각각은 대응하는 기구 머니퓰레이터 어셈블리(1240-1, 1240-2)의 기구 마운트 인터페이스에 커플링된다. 미국 특허 출원 제61/866,115호(2013년 8월 15일자로 출원됨)를 참조한다.
일 양태에서, 하나 이상의 기구 머니퓰레이터 어셈블리는, 카메라 기구와 같은, 특정 타입의 기구를 지지하고 작동시키도록 구성될 수 있다. 도 11a에 도시된 바와 같이, 복수의 수술 디바이스 어셈블리들(1280)의 샤프트들은 기구들의 몸체들로부터 원위로 연장된다. 샤프트들은 엔트리 포트에 배치된 공통 캐뉼라(1216)를 통해 환자 내로(예컨대, 체벽(body wall)을 통해 또는 자연 오리피스에서) 연장된다. 일 양태에서, 엔트리 가이드(1215)는 캐뉼라(1216) 내에 배치되고, 기구 샤프트들에 대한 부가의 지지를 제공하기 위해, 각각의 기구 샤프트는 엔트리 가이드(1215) 내의 채널을 통해 연장된다.
수술 시스템(1200)을 사용하여 수행될 수 있는 수술들은 신체의 상이한 영역들에 대해 수행될 수 있다. 예를 들어, 하나의 수술은 환자의 입을 통해 수행될 수 있다. 다른 수술은 환자의 갈비뼈들 사이에서 수행될 수 있다. 다른 수술들은 환자의 다른 오리피스들을 통해 또는 환자에서의 절개부를 통해 수행될 수 있다. 환자 내로의 각각의 상이한 엔트리는 상이한 형상 및/또는 상이한 크기의 엔트리 가이드를 요구할 수 있다. 따라서, 특정의 수술에 적절한 엔트리 가이드(1215)가 선택된다.
앞서 설명된 양태에서, 내시경은 가시 프레임 및 하이퍼스펙트럴 프레임을 동시에 캡처하는 이미지 캡처 유닛에 포함되거나 커플링되어 있었다. 그렇지만, 다른 양태에서, 표준 카메라기구(1235-2), 예컨대, 스테레오스코픽 내시경이 하이퍼스펙트럴 이미지 캡처 유닛 및 깊이 측정 디바이스, 예컨대, 깊이 카메라, 초음파 디바이스 등을 포함하는, 제2 툴, 예컨대, 수술 기구(1235-1)와 함께 사용된다.
도 11b는 내시경(1235-2B) 및 다른 수술 기구(1235-1B)의 보다 상세한 예시이다. 수술 기구(1235-1B)는 하이퍼스펙트럴 이미지 캡처 능력을 갖는다.
일 양태에서, 내시경(1235-2B)은 백색 광 조명과 시간 일정 또는 시간 순차 하이퍼스펙트럴 조명 중 어느 하나의 조합과 함께 사용된다. 이 예에서, 내시경(1235-2B)은 스테레오스코픽 내시경이지만, 다른 양태에서 내시경(1235-2B)은 모노스코픽 내시경이다. 이미지 캡처 유닛 또는 이미지 캡처 유닛들은 내시경(1235-2B)의 원위 단부 내에 위치될 수 있거나, 또는 내시경(1235-2B)의 근위 단부에서 내시경의 몸체 외부에 위치될 수 있다. 화살표(1290)는 원위 및 근위 방향들을 정의한다.
이 양태에서, 내시경(1235-2B)의 원위 단부는, 일 양태에서, 백색 광 조명의 콘(1270) 또는 백색 광 조명과 하이퍼스펙트럴 조명의 조합을 조직(1260) 상에 제공하는 2개의 광 파이프 가이드 영역(1252, 1253)을 포함한다. 조직(1260)의 피처(1263)는 하이퍼스펙트럴 조명, 예컨대, 근적외선 조명을 사용하여 조명될 때 더욱 현저하다.
내시경(1235-2B)의 원위 단부는, 이 양태에서, 제1 이미지 캡처 유닛 윈도(1251L) 및 제2 가시 이미지 캡처 유닛 윈도(1251R)를 또한 포함한다. 이미지 캡처 유닛 윈도(1251L)에 커플링된 제1 가시 이미지 캡처 유닛은 제1 시야(1254L)를 갖는다. 이미지 캡처 유닛 윈도(1251R)에 커플링된 제2 가시 이미지 캡처 유닛은 제2 시야(1254R)를 갖는다. 가시 이미지 캡처 유닛에 의해 캡처된 프레임들은 외과의 콘솔(1294) 상에 스테레오스코픽 가시 이미지들의 비디오 시퀀스를 생성하기 위해 가시 이미지 프로세싱 파이프라인(310)에 대해 앞서 설명된 바와 같이 프로세싱된다.
수술 기구(1235-1B)의 원위 단부는, 이 양태에서, 하이퍼스펙트럴 이미지 캡처 유닛 윈도(1256) 및 깊이 감지 유닛 윈도(1257)를 또한 포함한다. 하이퍼스펙트럴 이미지 캡처 유닛 윈도(1256)에 커플링된 하이퍼스펙트럴 이미지 캡처 유닛은 제3 시야(1258)를 갖는다. 깊이 감지 윈도(1257)에 커플링된 깊이 감지 유닛은 제4 시야(1259)를 갖는다.
일정한 축척으로 되어 있지 않은, 도 11b에 도시된 바와 같이, 스테레오스코픽 내시경(1235-2B)의 시야는 하이퍼스펙트럴 이미지 캡처 유닛의 시야(1258) 및 시야(1259)와 오버랩한다. 시야들 각각은 조직(1260)의 피처(1263)를 포함한다.
도 12a 및 도 12b는 수술 기구(1235-1B)에서 사용하기에 적당한 하이퍼스펙트럴 카메라들의 예들이다. 도 12a의 예에서, 하이퍼스펙트럴 이미지 캡처 유닛(1320A)은 시간 일정 하이퍼스펙트럴 조명 소스에 대해 수술 기구(1235-1B)에서 사용된다.
하이퍼스펙트럴 이미지 캡처 유닛(1320A)은 수술 기구의 원위 단부에 윈도(1256A)를 포함한다. 윈도(1256A)는 관심 파장들, 예컨대, 700 나노미터 내지 2.4 마이크로미터 파장들을 통과시키는 코팅(1311)을 포함한다. 따라서, 조직(1260)으로부터 반사된 광 및 조직(1260)으로부터의 임의의 형광인, 광(1301)이 윈도(1256A)에 의해 수용된다. 하이퍼스펙트럴 이미지 캡처 유닛(1320A)의 렌즈 어셈블리(1305)는 윈도(1256A) 상의 코팅(1311)을 통과하는 광(1302)을 수용한다. 다른 양태에서, 윈도(1256A) 상의 코팅을 사용하는 대신에 윈도(1256A)와 렌즈 어셈블리(1305) 사이에 필터가 배치된다. 필터(1311)는 조직(1260)으로부터 수용된 가시 광의 일 부분과 조직(1260)으로부터 수용된 하이퍼스펙트럴 광의 조합을 통과시키도록 구성된다.
렌즈 어셈블리(1305)는 수용된 광을 센서 어셈블리(1321)로 지향시키는, 즉 포커싱시키는 하나 이상의 광학 컴포넌트를 포함할 수 있다. 일부 양태들에서, 렌즈 어셈블리(1305)는 폴디드이다.
렌즈 어셈블리(1305)로부터 수용된 가시 광과 렌즈 어셈블리(1305)로부터 수용된 하이퍼스펙트럴 광의 조합이 하이퍼스펙트럴 이미지 캡처 센서(1321) 상에 포커싱된다. 일 양태에서, 하이퍼스펙트럴 이미지 캡처 센서(1321)는 700 나노미터 내지 1.7 또는 2.4 마이크로미터 범위의 파장들을 갖는 광을 캡처한다. 이미지 캡처 센서(1324)의 각각의 픽셀에 의해 캡처되는 파장들의 범위는 필터 어셈블리(1340)의 특성들 및 센서(1321)의 스펙트럼 응답에 의존한다. 필터 어셈블리(1340)는 앞서 설명된 필터 어셈블리(940)와 동등하고, 따라서 그 설명이 여기서 반복되지 않는다. 하이퍼스펙트럴 이미지 캡처 센서(1321)는 모노크롬 대형 픽셀 이미지 캡처 센서, 예컨대, 5 내지 20 마이크로미터 픽셀들을 갖는 InGsAs 센서 또는 유사한 크기의 픽셀들을 갖는 HgCdTe 센서이다. 하이퍼스펙트럴 이미지 캡처 유닛(1320)은 글로벌 셔터 또는 롤링 셔터 중 어느 하나를 가질 수 있다.
때때로 센서(1321)라고 지칭되는, 하이퍼스펙트럴 이미지 캡처 센서(1321)는 기계장치들, 냉각부, 및 전자장치들(1326)에 커플링된다. 기계장치들, 냉각부, 및 전자장치들(1326)은 센서(1321)를 보유하기 위한 기계장치들, 센서(1321)에 대한 냉각부, 및 센서(1321)에 접속된 전자장치들을 포함한다.
일정 하이퍼스펙트럴 조명을 갖는 시스템들의 경우, 하나 이상의 주파대가 장면을 조명하고 이미지 캡처 센서(1321)에 인접한 필터 어셈블리(1340)는 하이퍼스펙트럴 정보를 단일 프레임으로 인코딩하는 이미지를 제공하도록 픽셀화되어 있다.
도 12b는 시간 순차 하이퍼스펙트럴 조명 소스 및 백색 광 조명 소스를 갖는 수술 기구(1235-1B)에서 사용하기에 적당한 이미지 캡처 유닛(1320B)의 일 양태의 예시이다. 하이퍼스펙트럴 이미지 캡처 유닛(1320B)은 수술 기구의 원위 단부에 윈도(1256B)를 포함한다. 윈도(1256B)는 관심 파장들, 예컨대, 약 670 나노미터 초과 1.7 마이크로미터 이하의 파장들을 통과시키는 코팅을 포함한다. 따라서, 조직(1260)으로부터 반사된 광 및 임의의 형광인, 광(1331)이 윈도(1256B)에 의해 수용된다. 하이퍼스펙트럴 이미지 캡처 유닛(1320B)의 렌즈 어셈블리(1315)는 윈도(1256B) 상의 코팅을 통과하는 광(1332)을 수용한다. 다른 양태에서, 윈도(1256B) 상의 코팅을 사용하는 대신에 윈도(1256B)와 렌즈 어셈블리(1315) 사이에 필터(1341)가 배치되거나, 또는 코팅이 렌즈 어셈블리(1315)에 포함된다. 필터(1341)는 조직(1260)으로부터 수용된 가시 광의 일 부분과 조직(1260)으로부터 수용된 하이퍼스펙트럴 광의 조합을 통과시키도록 구성된다.
렌즈 어셈블리(1315)는 수용된 광을 센서 어셈블리(1322)로 지향시키는 하나 이상의 광학 컴포넌트를 포함할 수 있다. 일부 양태들에서, 렌즈 어셈블리(1315)는 폴디드이며 이미지 센서 앞에 폴드 프리즘(fold prism)을 갖는다.
렌즈 어셈블리(1315)로부터의 광은 하이퍼스펙트럴 이미지 캡처 센서(1322)로 가며, 예컨대, 하이퍼스펙트럴 이미지 캡처 센서(1322) 상에 포커싱된다. 일 양태에서, 하이퍼스펙트럴 이미지 캡처 센서(1322)는 670 나노미터 내지 1.7 마이크로미터 범위의 파장들을 갖는 광을 캡처한다. 하이퍼스펙트럴 이미지 캡처 센서(1322)는 모노크롬 대형 픽셀 이미지 캡처 센서, 예컨대, 5 내지 20 마이크로미터 픽셀들을 갖는 InGsAs 센서 또는 유사한 크기의 픽셀들을 갖는 HgCdTe 센서이다.
때때로 센서(1322)라고 지칭되는, 하이퍼스펙트럴 이미지 캡처 센서(1322)는 기계장치들, 냉각부, 및 전자장치들(1327)에 커플링된다. 기계장치들, 냉각부, 및 전자장치들(1327)은 센서(1322)를 보유하기 위한 기계장치들, 센서(1322)에 대한 냉각부, 및 센서(1322)에 접속된 전자장치들을 포함한다.
본 발명들의 양태들 및 실시예들을 예시하는 상기 설명 및 첨부 도면들은 제한하는 것으로 취해져서는 안된다 - 청구항들은 보호된 발명들을 한정한다. 이 설명 및 청구항들의 사상 및 범주를 벗어나지 않으면서 다양한 기계적, 조성적, 구조적, 전기적, 및 동작적 변경들이 이루어질 수 있다. 일부 경우들에서, 발명 양태들을 불명료하게 하는 것을 피하기 위해 널리 공지된 회로들, 구조들, 및 기법들이 상세히 도시 또는 설명되지 않았다.
게다가, 이 설명의 용어는 본 발명을 제한하는 것으로 의도되지 않는다. 예를 들어, 공간 관계어들(spatially relative terms) -"아래에(beneath)", "아래쪽에(below)", "하부(lower)", "위쪽에(above)", "상부(upper)", "근위(proximal)", "원위(distal)", 및 이와 유사한 것 등 - 은 도면들에 예시된 바와 같이 하나의 요소 또는 피처의 다른 요소 또는 피처에 대한 관계를 설명하는 데 사용될 수 있다. 이러한 공간 관계어들은 도면들에 도시된 위치 및 배향에 부가하여 사용 또는 동작 중인 디바이스의 상이한 위치들 및 배향들을 포괄하도록 의도된다. 예를 들어, 도면들에서의 디바이스가 뒤집힌 경우, 다른 요소들 또는 피처들의 "아래쪽에" 또는 "아래에"로서 설명된 요소들이 다른 요소들 또는 피처들의 "위쪽에"또는 "위에" 있을 것이다. 따라서, 예시적인 용어 "아래쪽에"는 위쪽에 및 아래쪽에의 위치들 및 배향들 둘 다를 포괄할 수 있다. 디바이스가 다른 방식으로 배향될(90도 또는 다른 배향들로 회전될) 수 있고, 본 명세서에서 사용되는 공간 관계 기술어들(spatially relative descriptors)이 그에 따라 해석될 수 있다.
단수 형태들("a", "an", 및 "the")은, 문맥이 달리 지시하지 않는 한, 복수 형태들도 포함하는 것으로 의도된다. 용어들 "포함한다(comprises)", "포함하는(comprising)", "포함한다(includes)", 및 이와 유사한 것은 언급된 피처들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 명시하지만 하나 이상의 다른 피처, 단계, 동작, 요소, 컴포넌트, 및 그룹의 존재 또는 추가를 배제하지 않는다.
모든 예들 및 예시적인 참조들은 비제한적이며 청구항들을 본 명세서에 설명된 특정 구현들 및 실시예들 그리고 그 등가물들로 제한하기 위해 사용되어서는 안된다. 임의의 제목들은 서식(formatting)을 위한 것에 불과하고 주제(subject matter)를 제한하는 것으로 결코 사용되어서는 안되는데, 그 이유는 하나의 제목 하의 본문이 하나 이상의 제목 하의 본문을 상호참조(cross reference)하거나 그에 적용될 수 있기 때문이다. 마지막으로, 본 개시내용을 고려하여, 일 양태 또는 실시예와 관련하여 설명된 특정의 피처들이, 비록 도면들에 구체적으로 도시되지 않거나 본문에 설명되지 않더라도, 본 발명의 다른 개시된 양태들 또는 실시예들에 적용될 수 있다.
메모리가 통합된 구조체로서 예시되어 있지만, 이것은 모든 메모리가 동일한 물리적 위치에 있는 것을 요구하는 것으로 해석되어서는 안된다. 메모리의 전부 또는 일부가 프로세서와 상이한 물리적 위치에 있을 수 있다. 메모리는 휘발성 메모리, 비휘발성 메모리, 또는 이 둘의 조합을 지칭한다.
프로세서는 프로세서에 의해 실행되는 명령어들을 포함하는 메모리에 커플링된다. 이것은 컴퓨터 시스템 내에서, 또는 대안적으로 모뎀들 및 아날로그 라인들(analog lines), 또는 디지털 인터페이스들 및 디지털 캐리어 라인(digital carrier line)을 통한 다른 컴퓨터에의 접속부를 통해 달성될 수 있다.
본 명세서에서, 컴퓨터 프로그램 제품은 본 명세서에 설명된 방법들 및/또는 프로세스들 중 임의의 것 또는 그들의 임의의 조합에 대해 필요한 컴퓨터 판독가능 코드를 저장하도록 구성된, 또는 본 명세서에 설명된 방법들 및/또는 프로세스들 중 임의의 것 또는 그들의 임의의 조합에 대한 컴퓨터 판독가능 코드가 저장되는 매체를 포함한다. 컴퓨터 프로그램 제품들의 일부 예들은 CD-ROM 디스크들, DVD 디스크들, 플래시 메모리, ROM 카드들, 플로피 디스크들, 자기 테이프들, 컴퓨터 하드 드라이브들, 네트워크 상의 서버들 및 컴퓨터 판독가능 프로그램 코드를 표현하는, 네트워크를 통해 전송되는 신호들이다. 유형적(tangible) 컴퓨터 프로그램 제품은 본 명세서에 설명된 방법들 및/또는 프로세스들 중 임의의 것 또는 그들의 임의의 조합에 대한 컴퓨터 판독가능 명령어들을 저장하도록 구성된, 또는 본 명세서에 설명된 방법들 및/또는 프로세스들 중 임의의 것 또는 그들의 임의의 조합에 대한 컴퓨터 판독가능 명령어들이 저장되는 매체를 포함한다. 유형적 컴퓨터 프로그램 제품들은 CD-ROM 디스크들, DVD 디스크들, 플래시 메모리, ROM 카드들, 플로피 디스크들, 자기 테이프들, 컴퓨터 하드 드라이브들 및 다른 물리적 스토리지 매체들이다.
본 개시내용을 고려하여, 본 명세서에 설명된 방법들 및/또는 프로세스들 중 임의의 것 또는 그들의 임의의 조합에 대한 명령어들은 사용자가 관심을 갖는 운영 체제 및 컴퓨터 프로그래밍 언어를 사용하여 매우 다양한 컴퓨터 시스템 구성들에서 구현될 수 있다.

Claims (29)

  1. 수술 시스템으로서,
    백색 광 조명 소스 및 하이퍼스펙트럴(hyperspectral) 조명 소스를 포함하는 조명기;
    센서 어셈블리를 가지는 카메라로서, 상기 센서 어셈블리는 제1 이미지 캡처 센서 및 제2 이미지 캡처 센서를 포함하고, 상기 제1 이미지 캡처 센서는 가시 컬러 프레임들의 시퀀스를 캡처하도록 구성되고, 상기 제2 이미지 캡처 센서는 하이퍼스펙트럴 프레임들의 시퀀스를 캡처하도록 구성되는, 카메라; 및
    하이퍼스펙트럴 프레임들의 시퀀스 내의 복수의 하이퍼스펙트럴 프레임으로부터 합성 하이퍼스펙트럴 프레임을 생성하도록 구성되고, 복수의 하이퍼스펙트럴 프레임을 캡처하는 동안 하이퍼스펙트럴 광의 시간 일정(time constant) 스펙트럼을 제공하도록 하이퍼스펙트럴 조명 소스에 신호를 보냄으로써 복수의 하이퍼스펙트럴 프레임은 하이퍼스펙트럴 광의 동일한 주파대에서 캡처되고, 합성 하이퍼스펙트럴 프레임을 가시 컬러 프레임들의 시퀀스 내의 가시 컬러 프레임과 연관시키도록 구성되는 제어기를 포함하는, 수술 시스템.
  2. 제1항에 있어서,
    로봇 암 - 상기 카메라는 상기 로봇 암 상에 마운팅됨 -;
    을 추가로 포함하고,
    상기 제어기는 상기 로봇 암에 명령하여 상기 카메라를 복수의 위치들 각각으로 이동시키고 상기 카메라에 명령하여 상기 복수의 위치들 각각에서 하이퍼스펙트럴 프레임을 캡처함으로써 복수의 하이퍼스펙트럴 프레임을 형성하도록 구성되는, 수술 시스템.
  3. 제2항에 있어서,
    하이퍼스펙트럴 광의 상기 동일한 주파대는 상기 카메라가 상기 복수의 위치들 각각에서 상기 하이퍼스펙트럴 프레임을 캡처할 때 상기 하이퍼스펙트럴 조명 소스에 의해 출력되는, 수술 시스템.
  4. 제1항에 있어서,
    상기 가시 컬러 프레임은 수술 부위(surgical site)의 가시 장면을 포함하고, 상기 합성 프레임은 상기 가시 장면에서는 보이지 않는 상기 수술 부위의 피처(feature)를 포함하는, 수술 시스템.
  5. 제4항에 있어서,
    상기 합성 프레임 및 상기 가시 컬러 프레임을 수신하도록 상기 제어기에 커플링된 디스플레이 유닛
    을 추가로 포함하며, 상기 디스플레이 유닛은 상기 가시 장면과 중첩된 상기 피처를 디스플레이하는, 수술 시스템.
  6. 제1항에 있어서,
    상기 제어기에 커플링되고, 상기 가시 컬러 프레임들의 시퀀스 및 상기 합성 하이퍼스펙트럴 프레임을 수신하도록 구성된 디스플레이 유닛 - 상기 디스플레이 유닛은 상기 가시 컬러 프레임들의 시퀀스를 디스플레이하고 상기 가시 컬러 프레임들의 시퀀스의 상기 디스플레이에 픽처-인-픽처(a picture-in-a-picture)를 디스플레이하도록 구성되며, 상기 픽처-인-픽처는 가시 컬러 프레임과 연관된 상기 합성 하이퍼스펙트럴 프레임과 중첩된 가시 컬러 프레임을 포함함 -
    을 추가로 포함하는, 수술 시스템.
  7. 제1항에 있어서, 상기 카메라는:
    상기 제1 이미지 캡처 센서 및 상기 제2 이미지 캡처 센서에 공통인 렌즈 어셈블리; 및
    상기 렌즈 어셈블리와 상기 제1 및 제2 이미지 캡처 센서들 사이에 배치된 빔 스플리터를 추가로 포함하는, 수술 시스템.
  8. 제7항에 있어서, 상기 카메라는:
    상기 빔 스플리터와 상기 제2 이미지 캡처 센서 사이에 배치된 필터 어셈블리를 추가로 포함하는, 수술 시스템.
  9. 제1항에 있어서, 상기 카메라는:
    상기 제2 이미지 캡처 센서 상에 포커싱되는 광을 필터링하도록 배치된 필터 어셈블리를 추가로 포함하는, 수술 시스템.
  10. 제9항에 있어서, 상기 필터 어셈블리는 스트라이프형 필터(striped filter)를 포함하는, 수술 시스템.
  11. 제9항에 있어서, 상기 필터 어셈블리는 하나의 차원에서 파장에 따라 선형 가변인 필터를 포함하는, 수술 시스템.
  12. 제1항에 있어서,
    상기 조명기 및 상기 카메라를 포함하는 내시경
    을 추가로 포함하는, 수술 시스템.
  13. 제1항에 있어서,
    제1 머니퓰레이터 상에 마운팅된 내시경 - 상기 내시경은 상기 카메라를 포함함 -; 및
    제2 머니퓰레이터 상에 마운팅된 수술 디바이스 - 상기 수술 디바이스는 상기 조명기를 포함함 -
    를 추가로 포함하는, 수술 시스템.
  14. 수술 시스템으로서,
    카메라; 및
    상기 카메라에 명령하여 가시 컬러 프레임을 캡처하고 복수의 하이퍼스펙트럴 프레임을 캡처하는 동안 하이퍼스펙트럴 광의 시간 일정(time constant) 스펙트럼을 제공하도록 하이퍼스펙트럴 조명 소스에 신호를 보냄으로써 하이퍼스펙트럴 광의 동일한 주파대에서 복수의 하이퍼스펙트럴 프레임을 캡처하도록 구성되는 제어기를 포함하고, 상기 제어기는 복수의 하이퍼스펙트럴 프레임으로부터 합성 하이퍼스펙트럴 프레임을 생성하도록 그리고 합성 하이퍼스펙트럴 프레임을 가시 컬러 프레임과 연관시키도록 추가로 구성되는, 수술 시스템.
  15. 제14항에 있어서,
    로봇 암 - 상기 카메라는 상기 로봇 암 상에 마운팅됨 -;
    을 추가로 포함하고,
    상기 제어기는 상기 로봇 암에 명령하여 상기 카메라를 복수의 위치들 각각으로 이동시키고 상기 복수의 위치들 각각에서, 상기 카메라에 명령하여 복수의 하이퍼스펙트럴 프레임에 대하여 하이퍼스펙트럴 프레임을 캡처하도록 구성되는, 수술 시스템.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
KR1020197009664A 2016-09-09 2017-09-08 동시 백색 광 및 하이퍼스펙트럴 광 이미징 시스템들 KR102544975B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237019987A KR20230093070A (ko) 2016-09-09 2017-09-08 동시 백색 광 및 하이퍼스펙트럴 광 이미징 시스템들

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662385700P 2016-09-09 2016-09-09
US62/385,700 2016-09-09
PCT/US2017/050758 WO2018049215A1 (en) 2016-09-09 2017-09-08 Simultaneous white light and hyperspectral light imaging systems

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237019987A Division KR20230093070A (ko) 2016-09-09 2017-09-08 동시 백색 광 및 하이퍼스펙트럴 광 이미징 시스템들

Publications (2)

Publication Number Publication Date
KR20190040512A KR20190040512A (ko) 2019-04-18
KR102544975B1 true KR102544975B1 (ko) 2023-06-20

Family

ID=61562327

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020237019987A KR20230093070A (ko) 2016-09-09 2017-09-08 동시 백색 광 및 하이퍼스펙트럴 광 이미징 시스템들
KR1020197009664A KR102544975B1 (ko) 2016-09-09 2017-09-08 동시 백색 광 및 하이퍼스펙트럴 광 이미징 시스템들

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020237019987A KR20230093070A (ko) 2016-09-09 2017-09-08 동시 백색 광 및 하이퍼스펙트럴 광 이미징 시스템들

Country Status (6)

Country Link
US (1) US11911003B2 (ko)
EP (1) EP3509529A4 (ko)
JP (1) JP7313280B2 (ko)
KR (2) KR20230093070A (ko)
CN (2) CN115778543A (ko)
WO (1) WO2018049215A1 (ko)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019050805A1 (en) 2017-09-06 2019-03-14 Micron Technology, Inc. MEMORY BARRETTES COMPRISING VERTICALLY ALTERNATE STAGES OF INSULATING MATERIAL AND MEMORY CELLS AND METHODS OF FORMING A MEMORY BAR
WO2019133753A1 (en) 2017-12-27 2019-07-04 Ethicon Llc Hyperspectral imaging in a light deficient environment
US11819286B2 (en) * 2018-06-25 2023-11-21 Mirion Technologies (Canberra) Sas Apparatus for visualizing a movable radiation source
US11291508B2 (en) * 2018-09-14 2022-04-05 Neuralink, Corp. Computer vision techniques
WO2020072385A1 (en) 2018-10-03 2020-04-09 Verily Life Sciences Llc Dynamic illumination to identify tissue type
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11412920B2 (en) 2019-06-20 2022-08-16 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US11233960B2 (en) 2019-06-20 2022-01-25 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11122967B2 (en) 2019-06-20 2021-09-21 Cilag Gmbh International Driving light emissions according to a jitter specification in a fluorescence imaging system
US11671691B2 (en) * 2019-06-20 2023-06-06 Cilag Gmbh International Image rotation in an endoscopic laser mapping imaging system
US11172811B2 (en) 2019-06-20 2021-11-16 Cilag Gmbh International Image rotation in an endoscopic fluorescence imaging system
US11187657B2 (en) 2019-06-20 2021-11-30 Cilag Gmbh International Hyperspectral imaging with fixed pattern noise cancellation
US10841504B1 (en) 2019-06-20 2020-11-17 Ethicon Llc Fluorescence imaging with minimal area monolithic image sensor
US11892403B2 (en) 2019-06-20 2024-02-06 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US11624830B2 (en) 2019-06-20 2023-04-11 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for laser mapping imaging
US20200397246A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Minimizing image sensor input/output in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11898909B2 (en) 2019-06-20 2024-02-13 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11412152B2 (en) * 2019-06-20 2022-08-09 Cilag Gmbh International Speckle removal in a pulsed hyperspectral imaging system
US11141052B2 (en) 2019-06-20 2021-10-12 Cilag Gmbh International Image rotation in an endoscopic fluorescence imaging system
US11375886B2 (en) * 2019-06-20 2022-07-05 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for laser mapping imaging
US11758256B2 (en) 2019-06-20 2023-09-12 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11134832B2 (en) * 2019-06-20 2021-10-05 Cilag Gmbh International Image rotation in an endoscopic hyperspectral, fluorescence, and laser mapping imaging system
US11265491B2 (en) 2019-06-20 2022-03-01 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11617541B2 (en) 2019-06-20 2023-04-04 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for fluorescence imaging
US11187658B2 (en) 2019-06-20 2021-11-30 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11237270B2 (en) 2019-06-20 2022-02-01 Cilag Gmbh International Hyperspectral, fluorescence, and laser mapping imaging with fixed pattern noise cancellation
US11716543B2 (en) 2019-06-20 2023-08-01 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11937784B2 (en) 2019-06-20 2024-03-26 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11284785B2 (en) 2019-06-20 2022-03-29 Cilag Gmbh International Controlling integral energy of a laser pulse in a hyperspectral, fluorescence, and laser mapping imaging system
US20200397239A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11633089B2 (en) 2019-06-20 2023-04-25 Cilag Gmbh International Fluorescence imaging with minimal area monolithic image sensor
US11622094B2 (en) 2019-06-20 2023-04-04 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11122968B2 (en) 2019-06-20 2021-09-21 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for hyperspectral imaging
US11674848B2 (en) 2019-06-20 2023-06-13 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for hyperspectral imaging
US11700995B2 (en) 2019-06-20 2023-07-18 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US11931009B2 (en) * 2019-06-20 2024-03-19 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral imaging system
US11172810B2 (en) * 2019-06-20 2021-11-16 Cilag Gmbh International Speckle removal in a pulsed laser mapping imaging system
US11221414B2 (en) 2019-06-20 2022-01-11 Cilag Gmbh International Laser mapping imaging with fixed pattern noise cancellation
US11398011B2 (en) 2019-06-20 2022-07-26 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed laser mapping imaging system
US11516387B2 (en) 2019-06-20 2022-11-29 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11280737B2 (en) * 2019-06-20 2022-03-22 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11925328B2 (en) 2019-06-20 2024-03-12 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral imaging system
US11540696B2 (en) 2019-06-20 2023-01-03 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11288772B2 (en) 2019-06-20 2022-03-29 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11550057B2 (en) 2019-06-20 2023-01-10 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11457154B2 (en) * 2019-06-20 2022-09-27 Cilag Gmbh International Speckle removal in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11471055B2 (en) 2019-06-20 2022-10-18 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11432706B2 (en) 2019-06-20 2022-09-06 Cilag Gmbh International Hyperspectral imaging with minimal area monolithic image sensor
US11793399B2 (en) 2019-06-20 2023-10-24 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system
US11903563B2 (en) 2019-06-20 2024-02-20 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11686847B2 (en) * 2019-06-20 2023-06-27 Cilag Gmbh International Pulsed illumination in a fluorescence imaging system
US11154188B2 (en) 2019-06-20 2021-10-26 Cilag Gmbh International Laser mapping imaging and videostroboscopy of vocal cords
US11276148B2 (en) 2019-06-20 2022-03-15 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11895397B2 (en) 2019-06-20 2024-02-06 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US11389066B2 (en) 2019-06-20 2022-07-19 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11533417B2 (en) 2019-06-20 2022-12-20 Cilag Gmbh International Laser scanning and tool tracking imaging in a light deficient environment
US20200403624A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Image synchronization without input clock and data transmission clock in a pulsed hyperspectral imaging system
WO2021003578A1 (en) * 2019-07-10 2021-01-14 Novadaq Technologies ULC Systems and methods for persistent ureter visualization
CN111579498B (zh) * 2020-04-26 2021-08-06 中国科学院苏州生物医学工程技术研究所 基于推扫成像的高光谱内窥成像系统
DE102020118814A1 (de) 2020-07-16 2022-01-20 avateramedical GmBH Stereoendoskop
FR3120940B1 (fr) * 2021-03-17 2023-07-28 Institut Hospitalo Univ De Strasbourg Procédé d’imagerie médicale mettant en œuvre une caméra hyperspectrale
US11868434B2 (en) * 2021-03-26 2024-01-09 Sharper Shape Oy Method for creating training data for artificial intelligence system to classify hyperspectral data
CN113358583A (zh) * 2021-06-07 2021-09-07 广州星博科仪有限公司 一种基于双通道智能眼镜的手持式高光谱物证搜索系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070160279A1 (en) * 2005-11-30 2007-07-12 The Regents Of The University Of California Hyperspectral microscope for in vivo imaging of microstructures and cells in tissues
US20080255457A1 (en) * 2004-03-19 2008-10-16 Bahram Khoobehi Method For Evaluating Relative Oxygen Saturation in Body Tissues
US20090268015A1 (en) * 2008-04-26 2009-10-29 Intuitive Surgical, Inc. Augmented stereoscopic visualization for a surgical robot

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6331181B1 (en) 1998-12-08 2001-12-18 Intuitive Surgical, Inc. Surgical robotic tools, data architecture, and use
US6659939B2 (en) 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6424885B1 (en) 1999-04-07 2002-07-23 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
WO2001003050A1 (en) 1999-07-02 2001-01-11 Hypermed Imaging, Inc. Imaging apparatus with means for fusing thermal and hyperspectral images
US6351729B1 (en) 1999-07-12 2002-02-26 Lucent Technologies Inc. Multiple-window method for obtaining improved spectrograms of signals
IL149016A0 (en) 2002-04-07 2004-03-28 Green Vision Systems Ltd Green Method and device for real time high speed high resolution spectral imaging
JP4625956B2 (ja) 2004-08-27 2011-02-02 国立大学法人東京工業大学 画像処理装置及び画像処理方法
US20080071288A1 (en) 2006-06-13 2008-03-20 Intuitive Surgical, Inc. Minimally invasive surgery guide tube
CN102036599B (zh) * 2008-03-18 2013-06-19 诺瓦达克技术公司 用于组合的全色反射和近红外成像的成像系统
US20120140981A1 (en) 2008-07-17 2012-06-07 Chemlmage Corporation System and Method for Combining Visible and Hyperspectral Imaging with Pattern Recognition Techniques for Improved Detection of Threats
WO2010019515A2 (en) 2008-08-10 2010-02-18 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
JP5317893B2 (ja) 2009-08-31 2013-10-16 富士フイルム株式会社 内視鏡システム
JP2012065698A (ja) 2010-09-21 2012-04-05 Fujifilm Corp 手術支援システムおよびそれを用いた手術支援方法
WO2012088471A1 (en) * 2010-12-22 2012-06-28 Veebot, Llc Systems and methods for autonomous intravenous needle insertion
US20140085629A1 (en) 2012-09-27 2014-03-27 Bodkin Design & Engineering, Llc Active Hyperspectral Imaging Systems
DE102012025100A1 (de) * 2012-12-20 2014-06-26 avateramedical GmBH Entkoppeltes Mehrkamerasystem für die minimal-invasive Chirurgie
WO2014146053A2 (en) * 2013-03-15 2014-09-18 Hypermed Imaging, Inc. Systems and methods for evaluating hyperspectral imaging data using a two layer media model of human tissue
CA2942069C (en) 2013-03-15 2022-03-01 Synaptive Medical (Barbados) Inc. Surgical imaging systems
US9736402B2 (en) 2013-03-19 2017-08-15 Koninklijke Philips N.V. System for hyperspectral imaging in visible light, method for recording a hyperspectral image and displaying the hyperspectral image in visible light
JP6533358B2 (ja) * 2013-08-06 2019-06-19 三菱電機エンジニアリング株式会社 撮像装置
WO2015061793A1 (en) * 2013-10-25 2015-04-30 The University Of Akron Multipurpose imaging and display system
CN103815875B (zh) 2013-10-28 2015-06-03 重庆西南医院 一种用于烧伤皮肤坏死深度和面积诊断的近红外光谱成像系统
EP3071095A4 (en) * 2013-11-20 2017-07-26 The George Washington University Systems and methods for hyperspectral analysis of cardiac tissue
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
CN106029000A (zh) * 2014-02-21 2016-10-12 阿克伦大学 用于引导医疗干预的成像和显示系统
DE102014103044A1 (de) * 2014-03-07 2015-09-10 Carl Zeiss Meditec Ag Chirurgisches Assistenzsystem
WO2016048911A1 (en) 2014-09-22 2016-03-31 Invuity, Inc. Hyperspectral imager
EP3270581B1 (en) 2016-07-15 2021-04-14 IMEC vzw A method and a device for acquiring an image having two-dimensional spatial resolution and spectral resolution

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080255457A1 (en) * 2004-03-19 2008-10-16 Bahram Khoobehi Method For Evaluating Relative Oxygen Saturation in Body Tissues
US20070160279A1 (en) * 2005-11-30 2007-07-12 The Regents Of The University Of California Hyperspectral microscope for in vivo imaging of microstructures and cells in tissues
US20090268015A1 (en) * 2008-04-26 2009-10-29 Intuitive Surgical, Inc. Augmented stereoscopic visualization for a surgical robot

Also Published As

Publication number Publication date
US11911003B2 (en) 2024-02-27
KR20190040512A (ko) 2019-04-18
JP7313280B2 (ja) 2023-07-24
CN109640868A (zh) 2019-04-16
CN109640868B (zh) 2022-12-23
JP2023073381A (ja) 2023-05-25
US20190200848A1 (en) 2019-07-04
JP2019536495A (ja) 2019-12-19
EP3509529A4 (en) 2020-06-03
WO2018049215A1 (en) 2018-03-15
CN115778543A (zh) 2023-03-14
EP3509529A1 (en) 2019-07-17
KR20230093070A (ko) 2023-06-26

Similar Documents

Publication Publication Date Title
KR102544975B1 (ko) 동시 백색 광 및 하이퍼스펙트럴 광 이미징 시스템들
US11381759B2 (en) Multi-function imaging
US11793390B2 (en) Endoscopic imaging with augmented parallax
JP7086121B2 (ja) 波長帯選択による画像化を用いた尿管検出
US11304692B2 (en) Singular EMR source emitter assembly
KR102387096B1 (ko) 시계 내의 기기들의 정량적 3차원 시각화
KR101913622B1 (ko) 선택형 조명 스펙트럼으로 구성된 배경 수술 이미지에 의한 형광 이미징 방법 및 시스템
CN113271841A (zh) 促进使用不同荧光成像剂的医学成像系统和方法
JP7485818B2 (ja) 同時の白色光及びハイパースペクトル光撮像システム
Speidel et al. Interventional imaging: vision
US11980347B2 (en) Combining near-infrared information with colored images in image-guided surgery
US20230148835A1 (en) Surgical visualization system with field of view windowing
US20230020780A1 (en) Stereoscopic endoscope with critical structure depth estimation
US20220015616A1 (en) Combining near-infrared information with colored images in image-guided surgery
EP4312711A1 (en) An image capture device, an endoscope system, an image capture method and a computer program product
WO2023079515A1 (en) Surgical visualization system with field of view windowing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant