KR20210100144A - 조직 내의 발색단 농도의 결정 - Google Patents

조직 내의 발색단 농도의 결정 Download PDF

Info

Publication number
KR20210100144A
KR20210100144A KR1020217020793A KR20217020793A KR20210100144A KR 20210100144 A KR20210100144 A KR 20210100144A KR 1020217020793 A KR1020217020793 A KR 1020217020793A KR 20217020793 A KR20217020793 A KR 20217020793A KR 20210100144 A KR20210100144 A KR 20210100144A
Authority
KR
South Korea
Prior art keywords
surgical scene
chromophores
surgical
images
concentration
Prior art date
Application number
KR1020217020793A
Other languages
English (en)
Inventor
제프리 엠. 디카를로
이안 이. 맥도웰
Original Assignee
인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 filed Critical 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Publication of KR20210100144A publication Critical patent/KR20210100144A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/3941—Photoluminescent markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Gynecology & Obstetrics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

본 명세서에서 설명된 기술은 내시경 카메라를 사용하여 수술 장면의 복수의 이미지들을 획득하는 단계를 포함하는 방법으로 실시될 수 있고, 복수의 이미지들 내의 각각의 이미지는 대응하는 파장 범위의 전자기 방사선에 의한 조명 하에서 획득된다. 대응하는 파장 범위들은 수술 장면에 존재하는 발색단들의 세트에 따라 선택되고, 대응하는 파장 범위들 중 임의의 2개는 부분적으로 중첩하지 않는다. 방법은 또한 복수의 이미지들에 기초하여 수술 장면의 다양한 부분들에서 세트 내의 하나 이상의 발색단들 각각의 농도를 결정하는 단계, 및 하나 이상의 프로세싱 디바이스들에 의해, 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여, 수술 장면의 표현을 생성하는 단계를 포함한다. 방법은 수술 디바이스와 연관된 출력 디바이스 상에 수술 장면의 표현을 제시하는 단계를 더 포함한다.

Description

조직 내의 발색단 농도의 결정
관련 출원의 상호 참조
본 출원은 2018년 12월 5일 출원되고 발명의 명칭이 "조직 내의 발색단 농도의 결정(DETERMINING CHROMOPHORE CONCENTRATIONS IN TISSUES)"인 미국 가출원 제62/775,463호의 이익을 청구한다. 상기 출원의 개시 내용은 본 명세서에 그 전체로서 참조로 통합된다.
기술 분야
본 개시내용은 내시경 수술 시스템들에 사용되는 이미징에 관한 것이다.
최소 침습성 수술 시스템들은 수술 개입들(interventions)을 받는 환자들에 의해 경험되는 외상을 감소시키기 위해 개발되고 있다. 이러한 시스템들은 작은 절개들(incisions)만을 요구하고, 외과 의사들은 절차를 수행하기 위해 스틱형의 카메라들 및 기구들을 사용한다. 외상을 감소시키는 것에 더하여, 이 유형의 원격 작동식(teleoperated) 시스템들은 외과 의사가 원격 위치로부터 환자를 수술하는 것을 허용할 뿐만 아니라 외과 의사의 손재주(dexterity)를 증가시킨다. 원격 수술(telesurgery)은 외과 의사가 손으로 기구들을 직접 잡고 이동시키기 보다는 수술 기구 이동들을 조작하기 위해서, 소정 형태의 원격 제어, 예를 들어, 서보메커니즘(servomechanism) 또는 이와 유사한 것을 사용하는 수술 시스템들에 대한 일반적인 용어이다. 이러한 원격 수술 시스템에서, 외과 의사는 디스플레이 디바이스를 통해 수술 부위의 이미지를 제공받는다. 디스플레이 디바이스를 통해 수신된 시각적 피드백에 기초하여, 외과 의사는 원격-로봇식 기구들의 움직임을 결국 제어하는 마스터 제어 입력 디바이스들을 조작함으로써 환자에 대한 수술 절차들을 수행한다.
일 태양에서, 본 문서는 수술 디바이스를 사용하여 작동되는 수술 장면의 상태에 대한 피드백을 제시하는 방법을 특징으로 한다. 이 방법은 내시경 카메라를 사용하여 수술 장면의 복수의 이미지들을 획득하는 단계를 포함하고, 복수의 이미지들 내의 각각의 이미지는 대응하는 파장 범위 내의 전자기 방사선에 의한 조명 하에서 획득된다. 대응하는 파장 범위들은 수술 장면에 존재하는 발색단들 세트에 따라 선택되고, 대응하는 파장 범위들 중 임의의 2개는 적어도 부분적으로 중첩되지 않는다. 방법은 또한 복수의 이미지들에 기초하여 수술 장면의 다양한 부분에서 세트 내의 하나 이상의 발색단들 각각의 농도를 결정하는 단계, 및 하나 이상의 프로세싱 디바이스들에 의해, 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여, 수술 장면의 표현을 생성하는 단계를 포함한다. 방법은 수술 디바이스와 연관된 출력 디바이스 상에 수술 장면의 표현을 제시하는 단계를 더 포함한다.
다른 태양에서, 본 문서는 수술 디바이스를 사용하여 작동되는 수술 장면의 상태에 대한 피드백을 제시하기 위한 이미징 시스템을 특징으로 한다. 시스템은 수술 장면의 복수의 이미지들을 획득하는 내시경 카메라를 포함하고, 복수의 이미지들 내의 각각의 이미지는 대응하는 파장 범위의 전자기 방사선(electromagnetic radiation)에 의한 조명하에서 획득된다. 대응하는 파장 범위들은 수술 장면에 존재하는 발색단들의 세트에 따라 선택되고, 대응하는 파장 범위들 중 임의의 2개는 적어도 부분적으로 중첩되지 않는다. 시스템은 또한, 복수의 이미지들에 기초하여, 수술 장면의 다양한 부분들에서 세트 내의 하나 이상의 발색단들 각각의 농도를 결정하고, 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여, 수술 장면의 표현을 생성하며, 수술 디바이스와 연관된 출력 디바이스 상에 수술 장면의 표현의 제시를 야기하도록 구성된 하나 이상의 프로세싱 디바이스들을 포함한다.
다른 태양에서, 본 문서는 하나 이상의 프로세싱 디바이스들이 다양한 동작들을 수행하게 하기 위한 컴퓨터 판독 가능한 명령어들이 인코딩된 하나 이상의 기계 판독 가능 저장 디바이스들을 특징으로 한다. 동작들은 내시경 카메라로부터 수술 장면의 복수의 이미지들을 획득하는 것을 포함하고, 복수의 이미지들 내의 각각의 이미지는 대응하는 파장 범위의 전자기 방사선에 의한 조명 하에서 획득된다. 대응하는 파장 범위들은 수술 장면에 존재하는 발색단들의 세트에 따라 선택되며, 대응하는 파장 범위들 중 임의의 2개는 적어도 부분적으로 중첩되지 않는다. 동작들은 또한 복수의 이미지들에 기초하여 수술 장면의 다양한 부분에서 세트 내의 하나 이상의 발색단들 각각의 농도를 결정하는 것, 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여 수술 장면의 표현을 생성하는 것, 및 수술 디바이스에 연관된 출력 디바이스 상에 수술 장면의 표현의 제시를 야기하는 것을 포함한다.
상기 태양들의 구현들은 이하의 특징들 중 하나 이상을 포함할 수 있다.
하나 이상의 발색단들 각각의 농도를 결정하는 것은 복수의 이미지들 내의 다수의 이미지들에 걸친 화소 값들의 세트를 식별하는 것 - 세트 내의 각각의 화소 값은 실질적으로 수술 장면의 특정한 부분을 표현함 -, 및 발색단 모델에 기초하여 다수의 이미지들에 걸친 화소 값들의 세트에 대응하는 하나 이상의 발색단들 각각의 농도를 결정하는 것을 포함할 수 있다. 발색단 모델은 화소 값들의 조합들과 발색단 농도들 사이의 관계들을 표현한다. 발색단 모델은 미리-계산될 수 있고, 하나 이상의 프로세싱 디바이스가 접근 가능할 수 있는 저장 디바이스 상에 룩업 테이블(look-up table)의 형태로 저장될 수 있다. 일부 경우들에서, 화소 값들의 세트는 복수의 이미지들 내의 다수의 이미지에 걸쳐 식별될 수 있고, 세트 내의 각각의 화소 값은 실질적으로 수술 장면의 특정한 부분을 표현한다. 화소 값들의 조합들과 발색단 농도들 사이의 관계들을 표현하는 발색단 모델에 따라, 화소 값들의 세트가 하나 이상의 발색단들 중 적어도 하나에 대한 유효한 농도를 표현하지 않는다는 결정이 내려질 수 있고, 이에 응답하여, 수술 장면에서 이물질(foreign body)의 잠재적인 존재를 표시하는 경보가 생성될 수 있다. 대응하는 파장 범위들은 발색단들의 세트 내의 발색단들의 흡수 스펙트럼에 대한 정보에 기초하여 선택될 수 있다. 발색단들의 세트는 헤모글로빈(hemoglobin), 산소화 헤모글로빈(oxygenated hemoglobin), 지방 및 물을 포함할 수 있다. 수술 장면의 표현을 생성하는 것은 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여 수술 장면의 초분광(hyperspectral) 이미지를 예측하는 것을 포함할 수 있다. 초분광 이미지는 복수의 이미지들에 대응하는 파장 범위들 밖의 파장들에 대응하는 정보를 포함할 수 있다. 수술 장면의 표현을 생성하는 것은 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여 수술 장면의 컬러화된 가시-범위 이미지를 생성하는 것을 포함할 수 있고, 컬러화된 가시-범위 이미지는 가시광에 의한 조명 하에서 수술 장면의 외관을 표현한다. 내시경 카메라는 화소당 3개 미만의 이미지 센서들을 포함할 수 있다. 수술 장면의 표현을 생성하는 것은 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여 수술 장면의 협대역 이미지를 생성하는 것을 포함할 수 있고, 협대역 이미지는 복수의 이미지들에 대응하는 파장 범위들 밖의 광에 의한 조명하에서 수술 장면의 외관을 표현한다. 수술 장면에 입사하는 조명의 양은 복수의 이미지들에 대응하는 파장 범위들 중 하나 이상 하에서 조명에 대해 추정될 수 있다. 내시경 카메라에 대한 노출 시간은 수술 장면에 입사하는 조명의 양에 대한 정보에 기초하여 조정될 수 있다. 톤-맵핑(tone-mapping) 동작은 수술 장면에 입사하는 조명의 양에 대한 정보에 기초하여 복수의 이미지들 내의 하나 이상에 대해 수행될 수 있다. 복수의 이미지들의 적어도 서브세트에 기초하여 수술 장면의 다양한 부분에 대한 산란의 양의 추정이 이루어질 수 있다. (ⅰ) 수술 장면의 다양한 부분들에 대한 산란의 양에 대한 정보 및 (ⅱ) 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여, 수술 장면에서 2개의 상이한 조직 유형들 사이에 경계가 결정될 수 있다. (ⅰ) 수술 장면의 다양한 부분들에 대한 산란의 양에 대한 정보 및 (ⅱ) 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여, 수술 장면에서 조직의 병소 부분의 경계가 결정될 수 있다. (ⅰ) 수술 장면의 다양한 부분들에 대한 산란의 양에 대한 정보 및 (ⅱ) 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여, 수술 장면에 존재하는 하나 이상의 조직 유형들이 식별될 수 있다. 내시경 카메라는 수술 장면과의 물리적 접촉 없이 복수의 이미지들을 캡처하도록 구성될 수 있다. 사용자-입력은 디스플레이 디바이스 상에 수술 장면의 표현을 제시하는 것에 응답하여 수신될 수 있고, 사용자 입력은 수술 장면에서 수술 디바이스를 작동하는 것에 관련된다. 카메라는 수술 디바이스 내에 배치될 수 있다. 수술 장면의 표현은 시각적 표현을 포함할 수 있고, 출력 디바이스는 디스플레이 디바이스를 포함한다.
본 명세서에 설명된 실시예들의 일부 또는 전부는 이하의 장점들 중 하나 이상을 제공할 수 있다. 수술 장면에 존재하는 것으로 예상되는 발색단들에 따라 조명 파장 범위들을 선택함으로써, 수술 장면에서 발색단들의 농도는 적은 수의 이미지들로부터 추정될 수 있다. 이렇게 획득된 발색단 추정치들은 수술 장면에 관한 다양한 유형들의 피드백 정보를 예측/추정/생성하기 위해 사용될 수 있다. 예를 들어, 발색단 농도 데이터는 수술 장면의 초분광 시각화를 정확하게 예측하기 위해 사용될 수 있다. 일부 경우들에서, 발색단 농도 데이터는 다른 표현들(예를 들어, 시각적 이미지, 협대역 이미지 등)을 생성하기 위해 사용될 수 있다. 이러한 양식들의 표현들은 다른 경우에 요구되는 것보다 덜 복잡한 하드웨어(예를 들어, 화소 당 더 적은 수의 이미지 센서들, 덜 복잡한 회로망) 및/또는 더 낮은 대역폭을 사용하여 잠재적으로 생성될 수 있다. 일부 경우들에서, 위의 양식들 내에 인코딩된 정보는 또한 발색단 농도 데이터로부터 직접 획득될 수도 있다. 일부 경우들에서, 발색단 농도들의 조합 내의 수차들(aberrations)을 검출함으로써, 이물질들(예를 들어, 금속 물체들 또는 다른 비조직 재료) 또는 병소 세포들/조직들의 존재의 검출이 개선될 수 있다.
도 1은 컴퓨터-보조형 원격-작동식 수술 시스템의 예시적인 환자측 카트의 사시도이다.
도 2는 컴퓨터-보조형 원격-작동식 수술 시스템의 예시적인 외과 의사 콘솔의 정면도이다.
도 3은 컴퓨터-보조형 원격-작동식 수술 시스템의 예시적인 로봇식 조작기 암 조립체의 측면도이다.
도 4는 백색광 하에서 수술 장면의 이미징에 대한 발색단들의 효과들을 도시하는 개략도이다.
도 5는 수술 장면에서 존재하는 것으로 예상되는 발색단들에 따라 선택된 파장 범위들의 세트에 의한 조명 하에서 발색단 이미징을 도시하는 개략도이다.
도 6은 발색단들의 세트에 대한 흡수 특성들을 보여주는 플롯이다.
도 7a 내지 도 7f는 선택된 파장 범위들의 세트에 의한 조명 하에서 획득된 이미지들의 예들이다.
도 8은 수술 장면에서 예시적인 발색단 - 산소화 헤모글로빈 - 의 농도의 시간에 따른 변화의 예를 도시하는 이미지들의 세트이다.
도 9는 수술 장면의 실제의 초분광 이미지와 연관된 반사율(reflectance) 특성과 동일한 수술 장면의 발색단 농도 데이터로부터 예측된 초분광 이미지와 연관된 반사율 특성 사이의 비교를 보여주는 예시적인 플롯이다.
도 10은 본 명세서에서 설명되는 기술에 따른 표현을 제시하기 위한 예시적인 프로세스의 흐름도이다.
본 문서는 선택된 파장 범위들의 세트 하에서 캡처된 이미지들의 세트로부터 추정되는, 장면에서의 다수의 발색단들의 농도에 기초하여 수술 장면을 평가하도록 허용하는 기술을 설명한다. 파장 범위들의 세트는 수술 장면에 존재하는 것으로 예상되는 발색단들의 흡수 특성들에 기초하여 선택된다. 다음으로, 수술 장면에서 다수의 발색단들 각각의 농도는, 가능하게는 시간 주기에 걸쳐, 이미지들의 세트의 화소 값들을 상이한 발색단들의 농도와 연계(link)하는 미리 계산된 모델에 기초하여 계산될 수 있다. 이에 따라 획득된 발색단 농도 데이터는 그 후 예를 들어, 초분광, 가시-범위, 또는 협대역 이미지의 표현을 추정하는 것, 수술 장면에서 이물질들 및/또는 병소 세포/조직들의 가능한 존재를 검출하는 것, 상이한 조직 유형들 사이의 경계들을 그리는(delineating) 것, 또는 발색단 농도 데이터 내에 인코딩된 다른 정보를 획득하는 것을 포함하는, 다양한 목적들을 위해 사용될 수 있다. 다양한 구현들에서, 본 명세서에서 설명된 기술은 예를 들어, 상당히 덜 복잡한 하드웨어(예를 들어, 화소당 더 적은 수의 이미지 센서들, 덜 복잡한 회로망) 및/또는 달리 요구될 수 있는 것보다 낮은 대역폭을 사용하면서, 초분광 이미지와 같은 복잡한 시각화 양식들의 구현을 허용함으로써 로봇식 수술 시스템을 개선할 수 있다. 일부 구현들에서, 발색단 농도 데이터에 의해 제공되는 시각화들 및/또는 정보는 조직 유형들 사이의 경계들의 검출, 병소 세포들/조직들의 식별, 및/또는 수술 장면에서의 이물질들(예를 들어, 수술 도구들 등)의 식별의 개선된 검출을 가능하게 할 수 있다.
본 기술의 태양들은 캘리포니아주 서니베일의 Intuitive Surgical, Inc.에 의해 개발된 da Vinci ® 수술 시스템들을 사용하는 구현에 관해 주로 설명된다. 이러한 수술 시스템들의 예들은 da Vinci ® XiTM 수술 시스템(모델 IS4000)이다. 본 명세서에서 개시된 태양들이 컴퓨터-보조형, 비-컴퓨터-보조형, 및 수동식과 컴퓨터-보조형 구현들과 실시예들의 하이브리드 조합들을 포함하여 다양한 방법들로 실시되고 구현될 수 있다는 것이 이해되어야 한다. da Vinci ® 수술 시스템들, 예를 들어, 모델 IS4000에서의 구현들은 예시적인 목적들로 설명되고, 본 명세서에 개시된 발명의 태양들의 범위를 제한하는 것으로 고려되어서는 안된다. 적용 가능한 것과 같이, 발명의 태양은 컴퓨터-보조형 원격-작동식 의료 디바이스들의 다른 실시예들에서 뿐만 아니라, 상대적으로 더 작은 핸드헬드형의 수동-작동식 디바이스들과 추가적인 기계적 지원을 갖는 상대적으로 더 큰 시스템 둘 다에서 실시되고 구현될 수 있다. 기술이 피어-인(peer-in) 디스플레이의 예를 참조하여 주로 설명되지만, 기술은 또한 예를 들어, 가상 또는 증강 현실(VR/AR) 시스템들에서 사용되는 헤드-장착형(head-mounted) 디스플레이 디바이스와 같은 다른 유형의 웨어러블 또는 비-웨어러블 디스플레이 디바이스들에서 사용될 수 있다. 캡처된 이미지들은 또한 3D TV와 유사한 디바이스와 같은 대형 포맷 디스플레이, 또는 일부 유형의 스크린에 투영되고, 정확한 이미지가 정확한 눈으로 진행하는 것을 보장하여 입체 효과를 완성하는 안경을 착용한 사용자에 의해 보이는 이미지에 디스플레이될 수 있다. 대안적으로, 오토-입체 유형의 디스플레이, 예를 들어, 뷰어(사용자)의 머리 및/또는 눈 추적을 또한 통합할 수 있는 렌티큘러(lenticular) 기반의 LCD 유형의 디스플레이가 사용될 수 있다.
도 1 및 도 2를 참조하면, 최소 침습성 컴퓨터-보조형 원격 수술(또한 MIS로도 지칭됨)을 위한 시스템들은 환자측 카트(100) 및 외과 의사 콘솔(50)을 포함할 수 있다. 원격 수술은 외과 의사가, 손으로 기구들을 직접 잡고 이동시키기 보다는 수술 기구 이동을 조작하기 위해서, 예를 들어, 서보메커니즘(servomechanism) 또는 그와 유사한 것과 같은 소정 형태의 원격 제어를 사용하는 수술 시스템에 대한 일반적인 용어이다. 로봇식으로 조작 가능한 수술 기구들은 작은 최소 침습성 수술 개구를 통해 삽입되어 환자 신체 내의 수술 부위들에서 조직들을 치료할 수 있어, 개방 수술을 위해 요구되는 다소 큰 절개들과 연관된 외상을 피할 수 있다. 이러한 로봇식 시스템들은 종종 최소 침습성 개구에서 기구들의 샤프트들을 피봇시키는 것, 샤프트를 축방향으로(axially) 개구를 통해서 슬라이드시키는 것, 샤프트를 개구 내에서 회전시키는 것, 및/또는 그와 유사한 것에 의해서 매우 복잡한 수술 업무들을 수행하기에 충분한 재주로 수술 기구들의 작업 단부들을 이동시킬 수 있다.
도시된 실시예에서, 환자측 카트(100)는 베이스(110), 제1 로봇식 조작기 암 조립체(120), 제2 로봇식 조작기 암 조립체(130), 제3 로봇식 조작기 암 조립체(140), 및 제4 로봇식 조작기 암 조립체(150)를 포함한다. 각각의 로봇식 조작기 암 조립체(120, 130, 140, 및 150)는 베이스(110)에 피봇 가능하게 결합된다. 일부 실시예들에서, 4개 미만 또는 4개 초과의 로봇식 조작기 암 조립체들은 환자측 카트(100)의 부분으로서 포함될 수 있다. 도시된 실시예에서, 베이스(110)는 이동의 용이를 허용하기 위해, 캐스터들을 포함할 수 있지만, 일부 실시예들에서, 환자측 카트(100)는 바닥, 천장, 수술 테이블, 구조 뼈대 또는 이와 유사한 것에 고정식으로 장착된다.
통상적인 응용에서, 로봇식 조작기 암 조립체들(120, 130, 140, 또는 150) 중 2개는 수술 기구들을 잡고, 제3 조립체는 입체 내시경을 잡는다. 나머지 로봇식 조작기 암 조립체는 제3 기구가 작업 부위에 도입될 수 있도록 이용 가능하다. 대안적으로, 나머지 로봇식 조작기 암 조립체는 제2 내시경, 또는 초음파 변환기와 같은 다른 이미지 캡처링 디바이스를 작업 부위에 도입하기 위해 사용될 수 있다.
로봇식 조작기 암 조립체들(120, 130, 140, 및 150) 각각은 통상적으로 함께 결합되고 작동 가능한 조인트들을 통해 조작되는 링크들로 형성된다. 로봇식 조작기 암 조립체들(120, 130, 140, 및 150) 각각은 셋업 암 및 디바이스 조작기를 포함한다. 셋업 암은 환자 내의 그것의 입구 개구에서 피봇 포인트가 발생하도록 그것이 잡고 있는 디바이스를 배치한다. 디바이스 조작기는 그 후 그것이 잡고 있는 장치를 조작하여, 피봇 포인트에 대해 피봇되고, 입구 개구 내로 삽입되고 그로부터 후퇴되며, 그것의 샤프트 축에 대해 회전될 수 있게 한다.
도시된 실시예에서, 외과 의사 콘솔(50)은 사용자가 환자 측 카트(100)와 관련하여 사용되는 입체 카메라에 의해 캡처된 이미지들로부터 입체 비전으로 수술 작업 부위를 볼 수 있도록 입체 피어-인 디스플레이(45)를 포함한다. 사용자가 사용자의 좌측 및 우측 눈들로 각각 디스플레이(45) 내의 좌측 및 우측 디스플레이 스크린들을 볼 수 있도록 입체 피어-인 디스플레이(45) 내에 좌측 및 우측 접안경들(eyepieces)(46 및 47)이 제공된다. 통상적으로 적절한 뷰어 또는 디스플레이 상에서 수술 부위의 이미지를 보는 동안, 외과 의사는 마스터 제어 입력 디바이스들을 조작함으로써 환자에 대해 수술 절차들을 수행하고, 이는 결국 로봇식 기구들의 움직임을 제어한다.
외과 의사 콘솔(50)은 또한 환자측 카트(100)의 로봇식 조작기 암 조립체들(120, 130, 140, 및 150)에 의해 잡혀진 디바이스들(예를 들어, 수술 기구들)을 바람직하게는 6개 이상의 자유도(degrees-of-freedom, "DOF")로 조작하기 위해 사용자가 자신의(his/her) 좌측 및 우측 손들로 각각 잡을 수 있는 좌측 및 우측 입력 디바이스들(41, 42)을 포함한다. 발가락 및 발뒤꿈치 제어부들을 갖는 발 페달들(44)은 사용자가 발 페달들과 연관된 디바이스들의 이동 및/또는 작동(actuation)을 제어할 수 있도록 외과 의사 콘솔(50)에 제공된다.
프로세싱 디바이스(43)는 제어 및 다른 목적들을 위해 외과 의사 콘솔(50)에 제공된다. 프로세싱 디바이스(43)는 의료 로봇식 시스템에서 다양한 기능들을 수행한다. 프로세싱 디바이스(43)에 의해 수행되는 하나의 기능은, 외과 의사가 수술 기구들과 같은 디바이스들을 효과적으로 조작할 수 있도록 입력 디바이스들(41, 42)의 기계적 움직임을 변환하고 전달하여 그들의 연관된 로봇식 조작기 암 조립체들(120, 130, 140, 및 150)에서 그들의 대응하는 조인트들을 작동시키는 것이다. 프로세싱 디바이스(43)의 다른 기능은 본 명세서에 설명된 방법들, 교차-결합 제어 로직, 및 제어기들을 구현하는 것이다.
프로세싱 디바이스(43)는 하나 이상의 프로세서들, DSP들(digital signal processors), FPGA들(field-programmable gate arrays), 및/또는 마이크로제어기들을 포함할 수 있고, 하드웨어, 소프트웨어 및/또는 펌웨어의 조합으로 구현될 수 있다. 또한, 본 명세서에 설명된 것과 같은 그것의 기능들은 하나의 유닛에 의해 수행되거나, 다수의 서브유닛들 사이에서 분할될 수 있고, 이들 각각은 하드웨어, 소프트웨어 및 펌웨어의 임의의 조합에 의해 차례로 구현될 수 있다. 추가로, 외과 의사 콘솔(50)의 일부로서 또는 그에 물리적으로 인접하여 보이지만, 프로세싱 디바이스(43)는 또한 원격 수술 시스템 전체에 걸쳐 서브 유닛들로 분산될 수도 있다. 서브 유닛들 중 하나 이상은 원격 수술 시스템에 물리적으로 원격(예를 들어, 원격 서버 상에 위치됨)일 수 있다.
또한 도 3을 참조하면, 로봇식 조작기 암 조립체들(120, 130, 140, 및 150)은 최소 침습 수술을 수행하기 위한 내시경 입체 카메라 및 수술 기구들과 같은 디바이스들을 조작할 수 있다. 예를 들어, 도시된 배열에서 로봇식 조작기 암 조립체(120)는 기구 홀더(122)에 피봇 가능하게 결합된다. 삽입관(180) 및 수술 기구(200)는, 차례로, 기구 홀더(122)에 해제 가능하게 결합된다. 삽입관(180)은 수술 동안 환자 인터페이스 부위에 위치되는 중공형(hollow) 튜브 부재이다. 삽입관(180)은 그 안에 내시경 카메라(또는 내시경) 또는 수술 기구(200)의 가늘고 긴 샤프트(220)가 슬라이딩 가능하게 배치되는 루멘(lumen)을 정의한다. 아래에 더 설명되는 것과 같이, 일부 실시예들에서, 삽입관(180)은 본체 벽 견인기 부재(body wall retractor member)를 갖는 원위 단부 부분을 포함한다. 기구 홀더(122)는 로봇식 조작기 암 조립체(120)의 원위 단부에 피봇 가능하게 결합된다. 일부 실시예들에서, 기구 홀더(122)와 로봇식 조작기 암 조립체(120)의 원위 단부 사이의 피봇 가능한 결합은 프로세싱 디바이스(43)를 사용하여 외과 의사 콘솔(50)로부터 작동 가능한 전동식 조인트이다.
기구 홀더(122)는 기구 홀더 프레임(124), 삽입관 클램프(126), 및 기구 홀더 캐리지(128)를 포함한다. 도시된 실시예에서, 삽입관 클램프(126)는 기구 홀더 프레임(124)의 원위 단부에 고정된다. 삽입관 클램프(126)는 삽입관(180)에 결합되거나 그로부터 분리되도록 작동될 수 있다. 기구 홀더 캐리지(128)는 기구 홀더 프레임(124)에 이동 가능하게 결합된다. 더 특별하게, 기구 홀더 캐리지(128)는 기구 홀더 프레임(124)을 따라 선형으로 병진가능하다. 일부 실시예들에서, 기구 홀더 프레임(124)을 따른 기구 홀더 캐리지(128)의 이동은 프로세싱 디바이스(43)에 의해 작동 가능하고/제어 가능한 전동식 병진 이동이다. 수술 기구(200)는 트랜스미션 어셈블리(210), 가늘고 긴 샤프트(220), 및 단부 이펙터(230)를 포함한다. 트랜스미션 어셈블리(210)는 기구 홀더 캐리지(128)와 해제 가능하게 결합될 수 있다. 샤프트(220)는 트랜스미션 조립체(210)로부터 원위로 연장한다. 단부 이펙터(230)는 샤프트(220)의 원위 단부에 배치된다.
샤프트(220)는 삽입관(180)의 종축(longitudinal axis)과 일치하는 종축(222)을 정의한다. 기구 홀더 캐리지(128)가 기구 홀더 프레임(124)을 따라 병진할 때, 수술 기구(200)의 가늘고 긴 샤프트(220)는 종축(222)을 따라 이동된다. 이러한 방식으로, 단부 이펙터(230)는 환자의 신체 내의 수술 작업 공간에 삽입 및/또는 그로부터 후퇴될 수 있다.
복강경(laparoscopic) 수술은 외과 의사가 내시경으로 수술 부위를 보고 탐사(exploration), 절개(dissection), 봉합(suturing), 및 다른 수술 업무들을 위해 복강경 기구들로 미세 모터 조작들을 수행하는 것을 수반할 수 있다. 이러한 업무들은 종종 조직과의 미세한 양손 상호 작용들을 요구한다. 일부 경우들에서, 이러한 양손 모터 업무들은 외과 의사에게 수술 장면의 3D 뷰가 제시될 때 일반적으로 더 쉽게 수행될 수 있다. 환자의 신체 내에 수술 작업 공간(수술 장면)은 입체식 디스플레이(45)를 통해 외과 의사에게 3D 시각화로 제시될 수 있다. 본 명세서에서 설명되는 기술은 주로 피어-인 입체 디스플레이(peer-in stereoscopic display)의 예들을 사용하지만, 입체 및 비-입체 디스플레이들의 다른 유형들도 또한 기술의 범위 내에 있다. 피어-인 입체 디스플레이는 사용자가 이를 착용하거나 다른 사용자와 동시에 이를 공유할 필요 없이 디스플레이를 볼 수 있도록 허용하는 디스플레이를 지칭한다. 입체 현미경은 피어-인 입체 디스플레이의 예일 수 있다. 도 2에 도시된 것과 같이 입체 디스플레이(45)는 피어-인 입체 디스플레이의 다른 예이다.
발색단은 유기 분자의 컬러를 담당하는 유기 분자 내의 원자들 또는 전자들의 그룹(모이어티(moiety)로도 지칭됨)이다. 컬러는 분자가 전자기 에너지(예를 들어, 가시 광)의 특정 파장들을 흡수하고, 다른 파장들을 투과(transmit) 또는 반사(reflect)할 때 발현된다. 입사 전자기 방사선의 에너지가 발색단의 2개의 상이한 분자 궤도들 사이의 차이를 극복하기에 충분하다면, 발색단은 주어진 파장 범위 내의 입사 전자기 방사선에 반응한다. 그 파장 범위 내의 전자기 방사선이 발색단에 부딪힐 때, 대응하는 에너지가 전자를 바닥(ground)에서 들뜬 상태(excited state)로 여기(excite)될 수 있다. 따라서, 대응하는 파장 내의 방사선은 실질적으로 흡수되고, 그에 따라 분자로부터 반사된 광의 파장 범위의 조성(composition)을 변경시킨다.
도 4는 백색광(408) 하에서 수술 장면의 이미징에 대한 발색단들의 효과들을 도시하는 개략도이다. 이 예에서, 수술 장면(405)에서의 조직은 광대역 백색광(408)으로 조사된다(irradiated). 발색단들(410a, 410b, 410c 등)(일반적으로, 410)은 백색광 내의 일부 파장 범위들에 대응하는 에너지를 흡수하고, 따라서 반사광(415) 내의 파장 범위들의 조성을 변경하여, 잠재적으로 반사광(415)이 "컬러화 된" 것으로 보이게 한다. 반사광(415)은 이미징 디바이스(420)(예를 들어, 카메라)에 의해 감지되고(sensed), 다음으로, 수술 장면(405)의 시각적 표현이 이미징 디바이스를 사용하여 캡처된 정보로부터 생성될 수 있다. 발색단이 전자기 방사선에 의해 부딪힐 때 특정 분자에서 구조적 변경을 야기하는 모이어티일지라도, 이 문서에서 사용될 때의 발색단이라는 용어는 기저 분자 자체를 지칭한다는 것을 유의해야 한다. 예를 들어, 헤모글로빈, 산소화 헤모글로빈, 지방, 및 물은 본 문서 전체에 걸쳐 발색단들의 예로서 사용된다.
수술 장면(405)에서 발색단의 각각의 유형이 특징적인 컬러 시그니처를 갖기 때문에, 입사 광(408)의 흡수, 및 결과적으로 반사된 광(415)의 파장 조성은 수술 장면(405)에서 다양한 발색단들의 농도에 의존한다. 예를 들어, 500-600㎚ 범위의 전자기 방사선은 지방 조직들에 의해 흡수되는 것보다 상당히 많이 산소화 헤모글로빈(또한, 줄여서 HbO2로도 지칭됨)에 의해 흡수된다. 그러므로, 더 높은 농도의 HbO2에 기인하는 반사 광(415)의 파장 조성은 더 높은 농도의 지방에 기인하는 반사 광(415)에 의한 파장 조성과 상이하다. 그러므로 상이한 파장 범위들에서 전자기 방사선에 의한 조명 하에서 수술 장면이 이미징 될 때, 장면(405)의 발색단들은 상이하게 이미지들에 영향을 미친다. 본 문서는 다양한 조명 조건들 하에서 획득된 다수의 이미지들 내의 동일한 영역의 상이한 외관들에 기초하여 수술 장면의 상이한 발색단들의 농도들이 추정될 수 있는 기술의 사용을 설명한다. 상이한 조명 파장 범위들의 수(및 결과적으로 최소 이미지들의 수)는 수술 장면에서 존재하는 것으로 예상되는 발색단들의 수에 의존할 수 있다. 예를 들어, 통상적인 수술 장면은 4개의 상이한 발색단들 - 헤모글로빈, 산소화 헤모글로빈, 지방, 및 물 - 에 대응하는 발색단 농도들에 기초하여 평가될 수 있고, 결과적으로 4개의 별개의 파장 범위들에서 전자기 방사선에 의한 조명 하에 이미지들이 획득될 수 있다.
도 5는 수술 장면에 존재할 것으로 예상되는 발색단들에 따라 선택된 파장 범위들의 세트에 의한 조명 하에서의 발색단 이미징을 도시하는 개략도이다. 도 5에 도시된 시스템(500)에서, 수술 장면(405)은 상이한 파장 범위들(505a, 505b, 505c, 및 505d)(일반적으로, 505) 내의 전자기 방사선에 의해 조명되고, 대응하는 반사 광(515)은 이미징 디바이스(520)를 사용하여 캡처된다. 일부 구현들에서, 수술 장면(405)은 상이한 파장 범위들(505) 내의 전자기 방사선에 의해 순차적으로 조명되고, 대응하는 이미지들이 차례로 캡처된다. 일부 구현들에서, 상이한 파장 범위들(505) 내의 전자기 방사선은 실질적으로 동시에 수술 장면에서 방사될 수 있고, 대응하는 이미지들은 대응하는 광학 필터들을 사용하여 이미징 디바이스(520)에서 캡처된다. 예를 들어, 이미징 디바이스(520)는 화소 당 4개의 이미지 센서들을 가질 수 있고, 각각의 이미지 센서는 하나의 조명 파장 범위에 대응하는 광을 통과시키지만, 다른 3개의 조명 파장 범위들에 대응하는 광을 실질적으로 차단하는 광학 필터 뒤에 있다. 도 5에 보여진 예는 4개의 발색단들, 헤모글로빈, 산소화 헤모글로빈, 지방, 및 물에 대응하는 4개의 상이한 파장 범위들을 보여준다. 그러나, 더 많거나 더 적은 수의 파장 범위들은 또한 본 개시 내용의 범위 내에 있다.
조명 파장 범위들(505)은 수술 장면에 존재할 것으로 예상되는 발색단들의 광학 특성들에 기초하여 선택될 수 있다. 일부 구현들에서, 파장 범위들(505)은 도 6의 예에서 도시된 것과 같이, 상이한 발색단들의 흡수 특성들에 기초하여 선택될 수 있다. 구체적으로, 도 6은 헤모글로빈, 산소화 헤모글로빈, 지방, 및 물을 포함하는 발색단들의 세트에 대한 흡수 특성들을 보여주는 플롯이다. 이 예에서, 물 및 지방은 헤모글로빈 및 산소화 헤모글로빈에 비해, 파장 범위(605a) 내의 전자기 에너지에 대해 낮은 흡수(및 따라서 높은 반사율)를 나타내는 것으로 보여진다. 또한, 파장 범위(605a) 내에서, 지방은 물보다 높은 흡수(및 그러므로 낮은 반사율)를 나타낸다. 파장 범위(605b) 내에서, 물과 지방 각각은 헤모글로빈 및 산소화 헤모글로빈보다 더 높은 반사율을 나타내는 반면, 지방은 물보다 더 낮은 흡수(및 따라서 더 높은 반사율)를 나타낸다. 따라서, 조명 범위들(605a 및 605b) 하에서 획득된 이미지들은 각각 물과 지방으로 인한 반사율을 대부분 표현할 것으로 예상될 수 있다. 헤모글로빈 및 산소화 헤모글로빈에 대응하는 2개의 다른 파장 범위들은 도 6에 보여지는 흡수 특성으로부터, 또는 하나 이상의 다른 광학 특성들에 기초하여 유사하게 결정될 수 있다. 일부 구현들에서, 조명 파장 범위는 대응하는 관심 발색단에 대한 조명의 효과가 다른 관심 발색단들에 대한 효과와는 실질적으로 상이하도록 선택될 수 있다.
도 5를 다시 참조하면, 이미징 디바이스(520)는 상이한 파장 범위들(505) 각각에 의한 조명 하에서 별개의 이미지를 획득하도록 구성된다. 도 5의 예에서, 4개의 별개의 파장 범위들(505a, 505b, 505c, 및 505d), 및 이에 대응하여, 4개의 별개의 이미지들이 획득된다. 일부 구현들에서, 획득된 이미지들 각각은 별개의 관심 발색단에 대응할 수 있다. 도 7a 내지 도 7d는 이러한 이미지들의 예들을 보여주며, 이러한 특정한 예들은 수술 장면에서 산소화 헤모글로빈(또한, 포화로 지칭됨, 도 7a), 헤모글로빈(도 7b), 지방(도 7c), 및 물(도 7d)의 분포를 보여준다. 일부 구현들에서, 하나 이상의 추가적인 이미지들은 캡처된 이미지들로부터 도출될 수 있다. 예를 들어, 도 7e는 조직의 대응하는 영역에 입사하는 전자기 에너지의 양을 표현하는 강도 이미지를 보여주고, 도 7f는 수술 장면의 상이한 부분들에 대응하는 산란 계수들을 보여준다.
일부 구현들에서, 수술 장면에서 개별적인 발색단들의 농도는 상이한 조명 파장 범위들 하에서 캡처된 다수의 이미지들 및/또는 이러한 캡처된 이미지들로부터 도출된 하나 이상의 이미지들 내의 화소 값들에 기초하여 결정될 수 있다. 일부 구현들에서, 이는 화소 값들의 조합과 발색단 농도들 사이의 관계들을 표현하는 발색단 모델에 기초하여 이루어질 수 있다. 예를 들어, 관심의 발색단들의 알려진 농도들은 트레이닝 이미지들의 세트들을 생성하기 위해 실질적으로 동일한 파장 범위들을 사용하여 오프라인 프로세스에서 이미지화 될 수 있다. 그 후 트레이닝 이미지들의 세트로부터 룩업 테이블이 생성될 수 있고, 룩업 테이블은 다수의 이미지들로부터의 화소 값들의 조합에 연계된 발색단들의 농도 값들을 저장한다. 예를 들어, 도 7a 내지 도 7f의 예시적인 이미지들은 트레이닝 이미지들이고, 6개의 이미지들 각각에서 위치(x1, y1)에서의 화소는 조직의 동일한 위치를 표현한다고 가정한다. 만일 그 위치에서의 4개의 발색단들 - 산소화 헤모글로빈, 헤모글로빈, 지방, 및 물 - 의 농도가 각각 C1, C2, C3, 및 C4인 것으로 알려진 경우, 6개의 이미지 각각으로부터의 화소 값을 표현하는 6차원 n-튜플(p1, p2, p3, p4, p5, p6)은 대응하는 발색단 농도들을 표현하는 4차원 n-튜플(C1, C2, C3, C4)에 연계되는 것으로서 룩업 테이블에 저장될 수 있다. 트레이닝 이미지들의 다수의 세트들에 기초하여, 발색단 농도의 다양한 조합들이 화소 값들의 대응하는 n-튜플들에 연계될 수 있다. 도 5를 다시 참조하면, 이러한 룩업 테이블은 하나 이상의 프로세싱 디바이스(525)가 접근할 수 있는 저장 디바이스(530)에 저장될 수 있다. 일부 구현들에서, 하나 이상의 프로세싱 디바이스들(525)이 도 2를 참조하여 설명된 프로세싱 디바이스(43)의 부분으로서 제공될 수 있다.
런타임동안, 하나 이상의 프로세싱 디바이스들(525)은 기저 조직의 발색단 농도들을 결정하기 위해 이미징 디바이스(520)에 의해 캡처된 다수의 이미지들을 분석하도록 구성될 수 있다. 예를 들어, 하나 이상의 프로세싱 디바이스들은 화소 값들의 정돈된 조합을 획득하기 위해, 다수의 이미지들 각각으로부터, 조직의 동일한 기저 부분을 표현하는 화소 값을 추출하도록 구성될 수 있다. 프로세싱 디바이스들(525)은 그 후 룩업 테이블을 구문 분석하여 다수의 이미지들로부터 추출된 화소 값들의 정돈된 조합과 실질적으로 일치하는 화소 값들의 n-튜플을 식별하고, 조직의 기저 부분에 존재하는 것으로 추정되는 상이한 발색단들의 농도들을 획득하기 위해 발색단 농도들의 대응하는 n-튜플을 추출할 수 있다. 프로세스는 기저 조직의 발색단 농도들의 맵을 획득하기 위해 다수의 이미지들의 다른 화소 값들에 대해 반복될 수 있다.
일부 구현들에서, 다수의 이미지들로부터의 화소 값들을 표현하는 n-튜플들은 발색단 농도들과 대응하는 반사율(결국 화소 값들을 표시함) 사이의 관계들을 표현하는 분석 모델을 사용하여 결정될 수 있다. 예를 들어, 사용될 수 있는 분석 모델은 다음과 같이 표현된다:
Figure pct00001
여기에서,
Figure pct00002
는 발색단 x로 인한 반사율(λ)를 표현하고,
Figure pct00003
는 입사 광 강도를 표현하고,
Figure pct00004
는 대응하는 흡수 스펙트럼 값을 표현하고,
Figure pct00005
는 발색단
Figure pct00006
가 깊이
Figure pct00007
에 있을 확률을 표현한다. 흡수 스펙트럼 값은 다음과 같이 결정될 수 있다:
Figure pct00008
여기서
Figure pct00009
는 발색단
Figure pct00010
의 농도를 표현한다. 여기서 깊이 확률
Figure pct00011
는 다음과 같이 결정된다:
Figure pct00012
여기서
Figure pct00013
는 다음과 같이 획득될 수 있는 산란 스펙트럼 값이다:
Figure pct00014
여기서
Figure pct00015
는 Mie 산란 계수를 표현한다. 일부 구현들에서, 이러한 분석 모델은 상이한 발색단들에 대한 상이한 농도 값들의 화소 값들을 생성하는 데 사용될 수 있다. 일부 구현들에서, 생성된 값들은 앞서 설명한 것과 같은 룩업 테이블로 저장될 수 있다.
제한된 파장 범위들의 세트에 의한 조명 하에서 캡처된 이미지들을 분석하여 결정된 발색단 농도는 다양한 방법들로 사용될 수 있다. 일부 구현들에서, 개별적인 발색단들에 대응하는 농도 데이터는 다양한 진단 및 시각화 목적들을 위해 사용될 수 있다. 예를 들어, 산소화 헤모글로빈(예를 들어, 도 7a의 포화 맵을 사용하여 도시된 것과 같은)의 분포는 조직들 내의 관류(perfusion)를 표시할 수 있다. 또한, 관류가 조직 건강을 표시할 수 있기 때문에, 포화 맵은 또한 조직의 죽은 또는 상대적으로 건강하지 않은 부분들을 결정하는 데 또한 사용될 수 있다. 일부 구현들에서, (예로서, 도 7b에 도시된 것과 같은) 헤모글로빈, (예로서, 도 7c에 도시된 것과 같은) 지방, 또는 (도 7d에 도시된 것과 같은) 물과 연관된 농도 데이터는 상이한 조직 유형들 사이의 경계들을 묘사하는 데 사용될 수 있다. 일부 구현들에서, 헤모글로빈과 연관된 농도 데이터는 조직들에서의 유착을 결정하는 데 사용될 수 있다. 일부 구현들에서, 도출된 이미지들 내의 하나 이상은 또한 진단 및/또는 시각화 목적들을 위해 사용될 수 있다. 예를 들어, (예로서 도 7f에 도시된 것과 같은) 산란 맵은 암과 같은 병소 세포들/조직들의 위치를 식별하기 위해 사용될 수 있다. 다른 예에서, (예를 들어 도 7e에 도시된 것과 같은) 강도 맵은 이미지들을 획득하는 데 더 나은 노출 및/또는 동적 대비가 유용할 것인지 알려주는 데 사용될 수 있다.
도 5를 다시 참조하면, 발색단 농도 데이터는 하나 이상의 프로세싱 디바이스들(525)에 의해 프로세싱되어 하나 이상의 출력 디바이스들(535)에 대한 제어 신호들을 생성할 수 있다. 일부 구현들에서, 출력 디바이스들(535)은 디스플레이 디바이스(예를 들어, 입체적 디스플레이(45))를 포함할 수 있고, 발색단 데이터는 디스플레이 디바이스 상에 이미지로 렌더링될 수 있다. 일부 구현들에서, 발색단 농도들과 연관된 이미지 데이터 내에 인코딩된 정보는 직접 추출되어 출력 디바이스(535) 상에 제시될 수 있다. 예를 들어, 하나 이상의 프로세싱 디바이스(525)는 화소 값들의 추출된 n-튜플이 발색단 농도들의 임의의 유효한 조합에 대응하지 않는 것을 결정하기 위해 발색단 데이터를 프로세싱하도록 구성될 수 있다. 이러한 경우에, 하나 이상의 프로세싱 디바이스들은 비합치 n-튜플이 수술 장면에서 비조직 이물질의 존재로부터 생기는 것을 결정하도록 구성될 수 있다. 이러한 결정에 응답하여, 하나 이상의 프로세싱 디바이스들(525)은 아마도 디스플레이 디바이스 상에 임의의 이미지를 디스플레이하는 것에 더하여, 경보(예를 들어, 청각적 또는 시각적 알람)를 생성하도록 구성될 수 있다. 따라서, 본 명세서에서 설명되는 기술은 잠재적으로 수술 시스템의 이물질 검출 능력들을 개선하여 수술 절차의 안전을 개선하는 데 사용될 수 있다.
일부 구현들에서, 발색단 농도 데이터는 예를 들어, 가시 범위 내의 광에 의한 조명 하에서 획득된 정규 이미지들에서 이용 가능하지 않은 정보의 디스플레이를 허용함으로써, 수술 절차 동안 조직의 시각화를 개선할 수 있다. 이는 수술 장면에서 예시적인 발색단 - 산소화 헤모글로빈 - 의 농도의 시간에 따른 변동의 예를 도시한 이미지들의 세트를 보여주는 도 8을 사용하여 도시되어 있다. 상부 행(805)은 일정 기간의 시간에 걸쳐 순차적으로 캡처된 인간의 장(bowel)의 부분의 이미지들의 세트를 보여준다. 하부 행(810)은 동일한 시점에서 획득된(산소화 헤모글로빈과 연관된 농도 데이터로부터 생성된) 대응하는 포화 이미지들을 보여준다. 이미지들이 캡처된 시기 동안, 클램프는 시간(815)에서 장의 상부 부분에 위치되었고, 그 후 시간(820)에서 제거되었다. 행(810) 상의 2개의 시점들(815 및 820) 사이의 이미지들의 순서는 산소화 헤모글로빈 농도가 조직의 부분 내에서 감소되었고(조직 내로의 혈류의 클램핑으로 인해 예상됨) 그 후 클램프의 제거 후 다시 증가되었음을 보여준다. (행(805)에서 보여지는) 가시-범위 이미지들은 이 시기 동안 실질적으로 변경되지 않은 채로 유지되고, 이는 발색단 데이터로부터 생성된 이미지들 내의 정보의 값을 도시한다.
일부 구현들에서, 적은 수의 파장 범위들에서 전자기 방사선으로 조직을 조명함으로써 생성된 발색단 데이터는 다른 파장 범위들 내의 조명에서 이용 가능할 정보를 추정하는 데 사용될 수 있다. 따라서, 발색단 데이터는 초분광 이미지들, 또는 RGB 이미지들과 같은 다른 광대역 이미지들, 및/또는 근적외선(near-infrared, NIR) 이미지들과 같은 협대역 이미지들을 추정/생성하는 데 사용될 수 있다. 예를 들어, 이는 광대역(또는 협대역)의 이미지의 화소 값들(또는 반사율 특성들)과 발색단 농도들의 대응하는 조합들 사이의 관계들을 저장하는 룩업 테이블을 통해 행해질 수 있다. 도 9는 수술 장면의 실제 초분광 이미지와 연관된 반사율 특성들과 동일한 수술 장면의 발색단 농도 데이터로부터 예측된 초분광 이미지와 연관된 반사율 특성들간의 비교들을 보여주는 예시적인 플롯이다. 구체적으로, 곡선(905)은 넓은 주파수 범위에 걸쳐 초분광 이미지에 대해 예측된 반사율 값들을 보여주고, 곡선(910)은 동일한 조직의 실제 초분광 이미지의 대응하는 측정된 반사율 값들을 보여준다. 2개의 곡선들(905 및 910)을 비교하면, 초분광 이미지의 진정한 값들은 스펙트럼의 대부분의 부분에 대한 발색단 농도 값들로부터 정확하게 예측될 수 있다는 것을 알 수 있다.
동일한 발색단 데이터에 기초하여 다수의 광대역 및/또는 협대역 이미지들의 예측을 허용함으로써, 본 명세서에 설명된 기술은 임의의 추가적인 하드웨어를 통합하지 않고 다목적 카메라(예를 들어, 초분광, 가시 범위, 및 NIR 이미지들을 생성하는 데 사용될 수 있는 카메라)의 구현을 허용할 수 있다. 하드웨어 및/또는 대역폭 요건을 감소시킴으로써, 본 기술은 또한 다목적 또는 초분광 카메라가 내시경의 제한된 정착물(real-estate) 내에 구현되는 것을 용이하게 하고, 그에 의해, 외과 의사들에 대한 실시간 시각화를 상당히 개선하는 초분광 또는 다목적 내시경의 실현을 허용하며, 각각 수술 장면 또는 조직과의 물리적인 접촉 없이 수술 장면 또는 조직들의 이미지들을 캡처할 수 있게 한다.
도 10은 본 명세서에서 설명되는 기술에 따른 표현을 제시하기 위한 예시적인 프로세스(1000)의 흐름도이다. 프로세스(1000)는 도 5를 참조하여 설명되는 하나 이상의 프로세싱 디바이스(525)에 의해 적어도 부분적으로 실행될 수 있다. 프로세스(1000)의 동작들은 내시경 카메라를 사용하여, 수술 장면의 복수의 이미지들을 획득하는 단계(1010)를 포함한다. 복수의 이미지들의 각각의 이미지는 대응하는 파장 범위 내의 전자기 방사선에 의한 조명 하에서 획득될 수 있고, 대응하는 파장 범위들은 수술 장면에 존재하는 발색단들의 세트에 따라 선택된다. 대응하는 파장 범위들 중 임의의 2개는 적어도 부분적으로 중첩되지 않는다. 일부 구현들에서, 대응하는 파장 범위들은 발색단들의 세트 내의 발색단들의 흡수 스펙트럼에 대한 정보에 기초하여 선택될 수 있다.
일부 구현들에서, 하나 이상의 추가적인 이미지들은 내시경 카메라를 사용하여 캡처되고 복수의 이미지들에 포함된, 이미지들로부터 생성될 수 있다. 예를 들어, 수술 장면에 입사하는 조명의 양은 하나 이상의 파장 범위들 하에서의 조명에 대해 추정될 수 있고, 파생(derivative) 이미지가 그에 따라 생성될 수 있다. 이러한 이미지는 다양한 방법들로 사용될 수 있다. 예를 들어, 내시경 카메라에 대한 노출 시간은 수술 장면에 입사하는 조명의 양에 관한 정보에 기초하여 조정될 수 있다. 다른 예에서, 톤-맵핑 동작은 수술 장면에 입사하는 조명의 양에 대한 정보에 기초하여 복수의 이미지들 내의 하나 이상에 대해 수행될 수 있다. 일부 구현들에서, 수술 장면의 다양한 부분들에 대한 산란의 양은 카메라를 사용하여 캡처된 이미지들 내의 하나 이상으로부터 추정될 수 있고, 파생 이미지가 이에 따라 생성될 수 있다. 산란 이미지는, 예를 들어, 암과 같은 병소 세포들/조직들의 위치들을 식별하기 위해 사용될 수 있다.
프로세스(1000)의 동작들은 또한 복수의 이미지들에 기초하여, 수술 장면의 다양한 부분들에서 세트 내의 하나 이상의 발색단들의 각각의 농도를 결정하는 단계(1020)를 포함한다. 일부 구현들에서, 이는 예를 들어, 복수의 이미지들에서 다수의 이미지들에 걸친 화소 값들의 세트를 식별하는 단계 - 세트 내의 각각의 화소 값은 실질적으로 수술 장면의 특정한 부분을 표현함 -, 및 발색단 모델에 기초하여 다수의 이미지들에 걸친 화소 값들의 세트에 대응하는 하나 이상의 발색단들 각각의 농도를 결정하는 단계를 포함할 수 있다. 예를 들어, 다수의 이미지들 내의 유사한 화소들에 대응하는 화소 값들의 n-튜플(또는 정돈된 조합)이 추출될 수 있고, 발색단들의 대응하는 조합이 발색단 모델로부터 결정될 수 있다. 일부 구현들에서, 발색단 모델은 화소 값들의 조합들과 발색단 농도들 사이의 관계들을 표현하고, 위에서 설명된 룩업 테이블로 저장될 수 있다. 일부 구현들에서, 발색단 모델은 위의 수학식 1 내지 4와 같은 분석 수학식들의 세트로 표현될 수 있다.
프로세스(1000)의 동작들은 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여, 수술 장면의 표현을 생성하는 단계(1030)를 더 포함한다. 이는 예를 들어, 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여 수술 장면의 컬러화된 가시-범위 이미지를 생성하는 것을 포함할 수 있고, 컬러화된 가시-범위 이미지는 가시 광에 의한 조명 하에서 수술 장면의 외관을 표현한다. 다른 예에서, 수술 장면의 표현을 생성하는 단계는 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여 수술 장면의 협대역 이미지를 생성하는 단계를 포함할 수 있다. 협대역 이미지는 복수의 이미지들에 대응하는 파장 범위들 밖의 광에 의한 조명 하에서의 수술 장면의 외관을 표현할 수 있다. 일부 구현들에서, 수술 장면의 표현을 생성하는 단계는 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여 수술 장면의 초분광 이미지를 예측하는 단계를 포함하고, 초분광 이미지는 복수의 이미지들에 대응하는 파장 범위들 밖의 파장들에 대응하는 정보를 포함한다.
생성된 발색단 정보는 다수의 다른 방법들로 사용될 수 있다. 예를 들어, 발색단 농도 정보는 수술 장면에서 이물질(또는 비조직 재료)의 존재를 검출하는 데 사용될 수 있다. 이는 예를 들어, 복수의 이미지들 내의 다수의 이미지에 걸친 화소 값들의 세트를 먼저 식별하는 것을 포함할 수 있고, 세트 내의 각각의 화소 값은 실질적으로 수술 장면의 특정한 부분을 표현한다. 그 후 화소 값들의 조합들과 발색단 농도들 사이의 관계를 표현하는 발색단 모델에 따라, 화소 값들의 세트가 하나 이상의 발색단들 중 적어도 하나에 대한 유효한 농도를 표현하지 않는다는 결정이 내려질 수 있다. 이러한 결정에 응답하여, 수술 장면에서 이물질의 잠재적인 존재를 표시하는 경보(예를 들어, 청각적 또는 시각적 알람)가 생성될 수 있다. 일부 구현들에서, 수술 장면에서 2개의 상이한 조직 유형들 사이의 경계는 예를 들어, 수술 장면의 다양한 부분들에 대한 산란의 양에 대한 정보 및 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여 결정될 수 있다. 일부 구현들에서, 산란의 양에 대한 정보 및 하나 이상의 발색단들 각각의 농도에 관한 정보는 수술 장면에서 조직의 병소 부분의 경계, 및/또는 수술 장면에 존재하는 하나 이상의 조직 유형들을 식별하기 위해 사용될 수 있다.
본 명세서에서 설명된 원격-작동식 수술 시스템의 기능, 또는 그들의 부분들, 및 다양한 수정들(이하에서 "기능들")이 적어도 부분적으로, 하나 이상의 데이터 프로세싱 장치(apparatus), 예를 들어, 프로그래밍 가능한 프로세서, DSP, 마이크로제어기, 컴퓨터, 복수의 컴퓨터들, 및/또는 프로그래밍 가능한 로직 구성 요소들에 의한 실행 또는 그들의 동작의 제어를 위해, 컴퓨터 프로그램 제품, 예를 들어, 하나 이상의 비-일시적인 기계-판독 가능 매체 또는 저장 디바이스와 같은 정보 캐리어 내에 유형적으로(tangibly) 실시된 컴퓨터 프로그램을 통해 구현될 수 있다.
컴퓨터 프로그램은 컴파일된 또는 해석된 언어들을 포함하여, 프로그래밍 언어의 임의의 형태로 기록될 수 있고, 독립형 프로그램(stand-alone program) 또는 모듈, 구성 요소, 서브루틴, 또는 컴퓨팅 환경 내에서 사용하기에 적절한 다른 유닛을 포함하여, 임의의 형태로 배치(deploy)될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 있거나 다수의 사이트들에 걸쳐 분산되어 네트워크에 의해 상호 연결된 하나 이상의 프로세싱 디바이스들에서 실행되도록 배치될 수 있다.
기능들의 전부 또는 일부를 구현하는 것과 관련된 작동들은 본 명세서에 설명된 프로세스들의 기능을 수행하는 하나 이상의 컴퓨터 프로그램들을 실행하는 하나 이상의 프로그래밍 가능한 프로세서들 또는 프로세싱 디바이스들에 의해 수행될 수 있다. 기능들의 전부 또는 일부는 특수 목적 논리 회로, 예를 들어, FPGA 및/또는 주문형 집적 회로(application-specific integrated circuit, ASIC)로서 구현될 수 있다.
컴퓨터 프로그램의 실행에 적절한 프로세서들은 일반 및 특수 목적 마이크로프로세서 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 예로서 포함한다. 일반적으로, 프로세서는 판독 전용 메모리(read-only memory) 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령들 및 데이터를 수신할 것이다. 컴퓨터의 구성 요소는 명령들을 실행하기 위한 프로세서, 및 명령들 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스들을 포함한다.
본 명세서는 다수의 특정 구현 세부 사항들을 포함하지만, 이들은 청구될 수 있는 것의 제한들로 해석되어야 하는 것은 아니고, 오히려 특정한 실시예들에 특정될 수도 있는 특징들의 설명들로 해석되어야 한다. 다른 실시예들은 또한 본 명세서에서 설명된 기술의 범위 내에 있을 수 있다. 별개의 실시예들의 문맥에서 본 명세서에 설명된 특정한 특징들은 또한 단일 실시예에서 조합하여 구현될 수 있다. 반대로, 단일 실시예 문맥에서 설명된 다양한 특징들은 또한 다양한 실시예들로 별개로 또는 임의의 적절한 하위 조합으로 구현될 수 있다. 또한, 특징들이 특정한 조합들로 작용하는 것으로 본 명세서에 설명될 수 있고, 심지어 초기에 그와 같이 청구될 수 있지만, 청구된 조합으로부터 하나 이상의 특징들이 일부 경우에 조합으로부터 삭제될 수 있고, 청구된 조합이 하위 조합(subcombination) 또는 하위 조합의 변동에 관한 것일 수 있다.
본 명세서에 설명된 상이한 구현들의 요소들은 위에서 구체적으로 설명되지 않은 다른 실시예들을 형성하도록 조합될 수 있다. 요소들은 그들의 동작에 불리하게 영향을 미치지 않고, 본 명세서에서 설명된 구조들의 밖에 남겨질 수 있다. 또한, 다양한 별개의 요소들이 본 명세서에 설명된 기능들을 수행하기 위해 하나 이상의 개별적인 요소들로 조합될 수 있다.

Claims (40)

  1. 수술 디바이스를 사용하여 작동되는 수술 장면의 상태에 대한 피드백을 제시하는 방법으로서,
    내시경 카메라를 사용하여, 상기 수술 장면의 복수의 이미지들을 획득하는 단계 - 상기 복수의 이미지들 내의 각각의 이미지는 대응하는 파장 범위 내의 전자기 방사선(electromagnetic radiation)에 의한 조명 하에서 획득되고, 상기 대응하는 파장 범위들은 상기 수술 장면에 존재하는 발색단들(chromophores)의 세트에 따라 선택되고, 상기 대응하는 파장 범위들 중 임의의 2개는 적어도 부분적으로 중첩하지 않음 -;
    상기 복수의 이미지들에 기초하여, 상기 수술 장면의 다양한 부분들에서 상기 세트 내의 하나 이상의 발색단들 각각의 농도를 결정하는 단계;
    하나 이상의 프로세싱 디바이스들에 의해, 상기 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여, 상기 수술 장면의 표현을 생성하는 단계; 및
    상기 수술 디바이스와 연관된 출력 디바이스 상에 상기 수술 장면의 표현을 제시하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 하나 이상의 발색단들 각각의 농도를 결정하는 단계는:
    상기 복수의 이미지들 내의 다수의 이미지들에 걸쳐 화소 값들의 세트를 식별하는 단계 - 상기 세트 내의 각각의 화소 값은 상기 수술 장면의 실질적으로 특정한 부분을 표현함 -; 및
    발색단 모델에 기초하여, 상기 다수의 이미지들에 걸친 상기 화소 값들의 세트에 대응하는 상기 하나 이상의 발색단들 각각의 농도를 결정하는 단계 - 상기 발색단 모델은 화소 값들의 조합들과 발색단 농도들 사이의 관계들을 표현함 -
    를 포함하는 방법.
  3. 제2항에 있어서,
    상기 발색단 모델은 미리 계산되고(pre-computed), 상기 하나 이상의 프로세싱 디바이스들이 접근할 수 있는 저장 디바이스에 룩업 테이블(look-up table) 형태로 저장되는, 방법.
  4. 제1항에 있어서,
    상기 복수의 이미지들 내의 다수의 이미지들에 걸쳐 화소 값들의 세트를 식별하는 단계 - 상기 세트 내의 각각의 화소 값은 상기 수술 장면의 실질적으로 특정한 부분을 표현함 -;
    화소 값들의 조합들과 발색단 농도들 사이의 관계들을 표현하는 발색단 모델에 따라, 상기 화소 값들의 세트가 상기 하나 이상의 발색단들 중 적어도 하나에 대한 유효한 농도를 표현하지 않는 것으로 결정하는 단계; 및
    상기 화소 값들의 세트가 상기 하나 이상의 발색단들 중 적어도 하나에 대한 유효한 농도를 표현하지 않는다는 결정에 응답하여, 상기 수술 장면에서의 이물질(foreign body)의 잠재적 존재를 표시하는 경보를 생성하는 단계
    를 더 포함하는, 방법.
  5. 제1항에 있어서,
    상기 대응하는 파장 범위들은 상기 발색단들의 세트 내의 상기 발색단들의 흡수 스펙트럼들에 대한 정보에 기초하여 선택되는, 방법.
  6. 제1항에 있어서,
    상기 발색단들의 세트는 헤모글로빈(hemoglobin), 산소화 헤모글로빈(oxygenated hemoglobin), 지방, 및 물을 포함하는, 방법.
  7. 제1항에 있어서,
    상기 수술 장면의 표현을 생성하는 단계는 상기 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여 상기 수술 장면의 초분광(hyperspectral) 이미지를 예측하는 단계를 포함하고, 상기 초분광 이미지는 상기 복수의 이미지들에 대응하는 상기 파장 범위들 밖의 파장들에 대응하는 정보를 포함하는, 방법.
  8. 제1항에 있어서,
    상기 수술 장면의 표현을 생성하는 단계는 상기 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여 상기 수술 장면의 컬러화된 가시-범위 이미지를 생성하는 단계를 포함하고, 상기 컬러화된 가시 범위 이미지는 가시 광에 의한 조명 하에서 상기 수술 장면의 외관을 표현하는, 방법.
  9. 제8항에 있어서,
    상기 내시경 카메라는 화소당 3개 미만의 이미지 센서들을 포함하는, 방법.
  10. 제1항에 있어서,
    상기 수술 장면의 표현을 생성하는 단계는 상기 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여 상기 수술 장면의 협대역(narrow-band) 이미지를 생성하는 단계를 포함하고, 상기 협대역 이미지는 상기 복수의 이미지들에 대응하는 상기 파장 범위들 밖의 광에 의한 조명 하에서 상기 수술 장면의 외관을 표현하는, 방법.
  11. 제1항에 있어서,
    상기 복수의 이미지들에 대응하는 상기 파장 범위들 중 하나 이상 하에서의 조명에 대해 상기 수술 장면에 입사하는(incident) 조명의 양을 추정하는 단계를 더 포함하는, 방법.
  12. 제11항에 있어서,
    상기 수술 장면에 입사하는 상기 조명의 양에 대한 정보에 기초하여 상기 내시경 카메라에 대한 노출 시간을 조정하는 단계를 더 포함하는, 방법.
  13. 제11항에 있어서,
    상기 수술 장면에 입사하는 상기 조명의 양에 대한 정보에 기초하여 상기 복수의 이미지들 내의 하나 이상에 대한 톤-맵핑(tone-mapping) 동작을 수행하는 단계를 더 포함하는, 방법.
  14. 제1항에 있어서,
    상기 복수의 이미지들의 적어도 서브세트에 기초하여, 상기 수술 장면의 다양한 부분들에 대한 산란의 양을 추정하는 단계를 더 포함하는, 방법.
  15. 제14항에 있어서,
    (ⅰ) 상기 수술 장면의 다양한 부분들에 대한 상기 산란의 양에 대한 정보 및 (ⅱ) 상기 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여, 상기 수술 장면에서 2개의 상이한 조직 유형들 사이의 경계를 결정하는 단계를 더 포함하는, 방법.
  16. 제14항에 있어서,
    (ⅰ) 상기 수술 장면의 다양한 부분들에 대한 상기 산란의 양에 대한 정보 및 (ⅱ) 상기 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여, 상기 수술 장면에서 조직의 병소 부분(diseased portion)의 경계를 결정하는 단계를 더 포함하는, 방법.
  17. 제14항에 있어서,
    (ⅰ) 상기 수술 장면의 다양한 부분들에 대한 상기 산란의 양에 대한 정보 및 (ⅱ) 상기 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여, 상기 수술 장면에서 존재하는 하나 이상의 조직 유형들을 식별하는 단계를 더 포함하는, 방법.
  18. 제1항에 있어서,
    상기 내시경 카메라는 상기 수술 장면과의 물리적 접촉 없이 상기 복수의 이미지들을 캡처하도록 구성되는, 방법.
  19. 제1항에 있어서,
    상기 디스플레이 디바이스 상에 상기 수술 장면의 표현을 제시하는 것에 응답하여 사용자 입력을 수신하는 단계를 더 포함하고, 상기 사용자 입력은 상기 수술 장면에서 상기 수술 디바이스를 작동하는 것에 관련되는, 방법.
  20. 제1항에 있어서,
    상기 카메라는 상기 수술 디바이스 내에 배치되는, 방법.
  21. 제1항에 있어서,
    상기 수술 장면의 표현은 시각적 표현을 포함하고, 상기 출력 디바이스는 디스플레이 디바이스를 포함하는, 방법.
  22. 수술 디바이스를 사용하여 작동되는 수술 장면의 상태에 대한 피드백을 제시하기 위한 이미징 시스템으로서,
    상기 수술 장면의 복수의 이미지들을 획득하는 내시경 카메라 - 상기 복수의 이미지들 내의 각각의 이미지는 대응하는 파장 범위 내의 전자기 방사선(electromagnetic radiation)에 의한 조명 하에서 획득되며 상기 대응하는 파장 범위들은 상기 수술 장면에 존재하는 발색단들의 세트에 따라 선택되고, 상기 대응 하는 파장 범위들 중 임의의 2개는 적어도 부분적으로 중첩되지 않음 -; 및
    하나 이상의 프로세싱 디바이스
    를 포함하고, 상기 하나 이상의 프로세싱 디바이스는 :
    상기 복수의 이미지들에 기초하여, 상기 수술 장면의 다양한 부분들에서 상기 세트 내의 하나 이상의 발색단들 각각의 농도를 결정하고;
    상기 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여, 상기 수술 장면의 표현을 생성하며;
    상기 수술 디바이스와 연관된 출력 디바이스 상에 상기 수술 장면의 표현의 제시를 야기하도록
    구성되는, 시스템.
  23. 제22항에 있어서,
    상기 대응하는 파장 범위들은 상기 발색단들의 세트 내에 상기 발색단들의 흡수 스펙트럼에 대한 정보에 기초하여 선택되는, 시스템.
  24. 제22항에 있어서,
    상기 발색단들의 세트는 헤모글로빈, 산소화 헤모글로빈, 지방, 및 물을 포함하는, 시스템.
  25. 제22항에 있어서,
    상기 수술 장면의 표현을 생성하는 것은 상기 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여 상기 수술 장면의 초분광 이미지를 예측하는 것을 포함하고, 상기 초분광 이미지는 상기 복수의 이미지들에 대응하는 상기 파장 범위들 밖의 파장들에 대응하는 정보를 포함하는, 시스템.
  26. 제22항에 있어서,
    상기 수술 장면의 표현을 생성하는 것은 상기 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여 상기 수술 장면의 컬러화된 가시-범위 이미지를 생성하는 것을 포함하고, 상기 컬러화된 가시-범위 이미지는 가시 광에 의한 조명 하에서의 상기 수술 장면의 외관을 표현하는, 시스템.
  27. 제26항에 있어서,
    상기 내시경 카메라는 화소당 3개 미만의 이미지 센서들을 포함하는, 시스템.
  28. 제22항에 있어서,
    상기 수술 장면의 표현을 생성하는 것은 상기 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여 상기 수술 장면의 협대역 이미지를 생성하는 것을 포함하고, 상기 협대역 이미지는 상기 복수의 이미지들에 대응하는 상기 파장 범위들 밖의 광에 의한 조명 하에서 상기 수술 장면의 외관을 표현하는, 시스템.
  29. 제22항에 있어서,
    상기 하나 이상의 프로세싱 디바이스들은 상기 복수의 이미지들에 대응하는 상기 파장 범위들 중 하나 이상 하에서의 조명에 대해 상기 수술 장면에 입사하는 조명의 양을 추정하도록 구성되는, 시스템.
  30. 제29항에 있어서,
    상기 하나 이상의 프로세싱 디바이스들은 상기 수술 장면에 입사하는 조명의 양에 대한 정보에 기초하여 상기 내시경 카메라에 대한 노출 시간을 조정하도록 구성되는, 시스템.
  31. 제29항에 있어서,
    상기 하나 이상의 프로세싱 디바이스들은 상기 수술 장면에 입사하는 상기 조명의 양에 대한 정보에 기초하여 상기 복수의 이미지들 내의 하나 이상에 대한 톤-맵핑 동작을 수행하도록 구성되는, 시스템.
  32. 제29항에 있어서,
    상기 하나 이상의 프로세싱 디바이스들은 상기 복수의 이미지들의 적어도 서브세트에 기초하여 상기 수술 장면의 다양한 부분들에 대한 산란의 양을 추정하도록 구성되는, 시스템.
  33. 제32항에 있어서,
    상기 하나 이상의 프로세싱 디바이스들은 (ⅰ) 상기 수술 장면의 다양한 부분들에 대한 상기 산란의 양에 대한 정보 및 (ⅱ) 상기 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여, 상기 수술 장면에서 2개의 상이한 조직 유형들 사이의 경계를 결정하도록 구성되는, 시스템.
  34. 제32항에 있어서,
    상기 하나 이상의 프로세싱 디바이스들은 (ⅰ) 상기 수술 장면의 다양한 부분들에 대한 상기 산란의 양에 대한 정보 및 (ⅱ) 상기 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여, 상기 수술 장면에서 조직의 병소 부분의 경계를 결정하도록 구성되는, 시스템.
  35. 제32항에 있어서,
    상기 하나 이상의 프로세싱 디바이스들은 (ⅰ) 상기 수술 장면의 다양한 부분들에 대한 상기 산란의 양에 대한 정보 및 (ⅱ) 상기 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여, 상기 수술 장면에서 존재하는 하나 이상의 조직 유형들을 식별하도록 구성되는, 시스템.
  36. 제22항에 있어서,
    상기 내시경 카메라는 상기 수술 장면과의 물리적 접촉 없이 상기 복수의 이미지들을 캡처하도록 구성되는, 시스템.
  37. 제22항에 있어서,
    상기 하나 이상의 프로세싱 디바이스들은 상기 디스플레이 디바이스 상에 상기 수술 장면의 표현을 제시하는 것에 응답하여 사용자 입력을 수신하도록 구성되고, 상기 사용자 입력은 상기 수술 장면에서 상기 수술 디바이스를 작동하는 것에 관련되는, 시스템.
  38. 제22항에 있어서,
    상기 카메라는 상기 수술 디바이스 내에 배치되는, 시스템.
  39. 제22항에 있어서,
    상기 수술 장면의 표현은 시각적 표현을 포함하고, 상기 출력 디바이스는 디스플레이 디바이스를 포함하는, 시스템.
  40. 하나 이상의 프로세싱 디바이스들이 동작들을 수행하게 하기 위한 컴퓨터 판독 가능한 명령어들이 인코딩된 하나 이상의 기계 판독 가능 저장 디바이스들로서, 상기 동작들은:
    내시경 카메라로부터 수술 장면의 복수의 이미지들을 획득하는 단계 - 상기 복수의 이미지들 내의 각각의 이미지는 대응하는 파장 범위 내의 전자기 방사선에 의한 조명 하에서 획득되고, 상기 대응하는 파장 범위들은 상기 수술 장면에 존재하는 발색단들의 세트에 따라 선택되고, 상기 대응하는 파장 범위들 중 임의의 2개는 적어도 부분적으로 중첩하지 않음 - ;
    상기 복수의 이미지들에 기초하여, 상기 수술 장면의 다양한 부분들에서 세트 내의 하나 이상의 발색단들 각각의 농도를 결정하는 단계;
    상기 하나 이상의 발색단들 각각의 농도에 관한 정보에 기초하여, 상기 수술 장면의 표현을 생성하는 단계; 및
    상기 수술 디바이스와 연관된 출력 디바이스 상에 상기 수술 장면의 표현의 제시를 야기하는 단계
    를 포함하는, 기계 판독 가능 저장 디바이스.

KR1020217020793A 2018-12-05 2019-12-04 조직 내의 발색단 농도의 결정 KR20210100144A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862775463P 2018-12-05 2018-12-05
US62/775,463 2018-12-05
PCT/US2019/064542 WO2020117982A1 (en) 2018-12-05 2019-12-04 Determining chromophore concentrations in tissues

Publications (1)

Publication Number Publication Date
KR20210100144A true KR20210100144A (ko) 2021-08-13

Family

ID=69024666

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217020793A KR20210100144A (ko) 2018-12-05 2019-12-04 조직 내의 발색단 농도의 결정

Country Status (6)

Country Link
US (1) US12002208B2 (ko)
EP (1) EP3890584A1 (ko)
JP (1) JP7500564B2 (ko)
KR (1) KR20210100144A (ko)
CN (1) CN113164027A (ko)
WO (1) WO2020117982A1 (ko)

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6826424B1 (en) 2000-12-19 2004-11-30 Haishan Zeng Methods and apparatus for fluorescence and reflectance imaging and spectroscopy and for contemporaneous measurements of electromagnetic radiation with multiple measuring devices
US9078619B2 (en) * 2004-12-28 2015-07-14 Hypermed Imaging, Inc. Hyperspectral/multispectral imaging in determination, assessment and monitoring of systemic physiology and shock
US8498695B2 (en) * 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
US8417305B2 (en) * 2007-05-02 2013-04-09 St. Vincents Hospital (Melbourne) Limited Non-invasive measurement of blood oxygen saturation
JP5767775B2 (ja) 2009-07-06 2015-08-19 富士フイルム株式会社 内視鏡装置
US20130210156A1 (en) * 2010-05-14 2013-08-15 Karen L. Wooley Uniform, Functionalized, Cross-Linked Nanostructures for Monitoring pH
JP5303012B2 (ja) 2010-12-15 2013-10-02 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
AU2012236922A1 (en) * 2011-03-25 2013-11-14 Hutchinson Technology Incorporated Systems and methods for measuring oxygenation
JP5419931B2 (ja) 2011-07-04 2014-02-19 富士フイルム株式会社 内視鏡システム、光源装置、及び内視鏡システムの作動方法
WO2015023990A1 (en) 2013-08-15 2015-02-19 The Trustees Of Dartmouth College Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance
US20140378843A1 (en) * 2012-01-20 2014-12-25 The Trustees Of Dartmouth College Method And Apparatus For Quantitative Hyperspectral Fluorescence And Reflectance Imaging For Surgical Guidance
JP6057921B2 (ja) 2012-01-31 2017-01-11 オリンパス株式会社 生体観察装置
US20130345541A1 (en) * 2012-06-26 2013-12-26 Covidien Lp Electrosurgical device incorporating a photo-acoustic system for interrogating/imaging tissue
US11154199B2 (en) 2013-01-30 2021-10-26 Koninklijke Philips N.V. Imaging system with hyperspectral camera guided probe
US20170238807A9 (en) * 2013-03-15 2017-08-24 LX Medical, Inc. Tissue imaging and image guidance in luminal anatomic structures and body cavities
US9390312B2 (en) * 2013-08-23 2016-07-12 Elwha Llc Systems, methods, and devices for assessing microbiota of skin
JP6196900B2 (ja) 2013-12-18 2017-09-13 オリンパス株式会社 内視鏡装置
EP4226887A1 (en) 2014-12-16 2023-08-16 Intuitive Surgical Operations, Inc. Ureter detection using waveband-selective imaging
US10960090B2 (en) * 2015-03-18 2021-03-30 Current Lighting Solutions, Llc Light disinfection system and method
CN107847283B (zh) * 2015-06-09 2022-02-22 直观外科手术操作公司 利用外科手术过程图集配置外科手术系统
JP6437943B2 (ja) 2016-03-07 2018-12-12 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
GB201610594D0 (en) 2016-06-17 2016-08-03 Ucl Business Plc Method and apparatus for estimating the value of a physical parameter in a biological tissue
DE112017004403T5 (de) 2016-09-02 2019-05-23 Hoya Corporation Endoskopsystem und charakteristischer betrag-berechnungsverfahren
WO2018070474A1 (ja) 2016-10-14 2018-04-19 Hoya株式会社 内視鏡システム
JP7021183B2 (ja) 2017-03-03 2022-02-16 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Also Published As

Publication number Publication date
US20220015617A1 (en) 2022-01-20
JP7500564B2 (ja) 2024-06-17
US12002208B2 (en) 2024-06-04
CN113164027A (zh) 2021-07-23
EP3890584A1 (en) 2021-10-13
WO2020117982A1 (en) 2020-06-11
JP2022510010A (ja) 2022-01-25

Similar Documents

Publication Publication Date Title
US11406255B2 (en) System and method for detecting abnormal tissue using vascular features
CN113038864A (zh) 配置为生成三维信息并计算估计区域的医学观察系统和相应方法
US11980347B2 (en) Combining near-infrared information with colored images in image-guided surgery
CA3074204A1 (en) Multi-spectral physiologic visualization (mspv) using laser imaging methods and systems for blood flow and perfusion imaging and quantification in an endoscopic design
EP3821595B1 (en) Sensing images using multiple band pass bayer pattern filter for discriminating lipid and collagen tissues
JP7500564B2 (ja) 組織中の発色団濃度の決定
US20230101376A1 (en) Surgical systems for independently insufflating two separate anatomic spaces
CN113164022B (zh) 用于图像引导外科手术的照射校正的近红外(nir)成像
EP3684288B1 (en) Enhancing visible differences between different tissues in computer-assisted tele-operated surgery
US20230099835A1 (en) Systems and methods for image mapping and fusion during surgical procedures
Le OPTICAL NAVIGATION TECHNIQUES FOR MINIMALLY INVASIVE ROBOTIC SURGERIES

Legal Events

Date Code Title Description
A201 Request for examination