KR101813909B1 - 선택형 조명 스펙트럼으로 구성된 배경 수술 이미지에 의한 형광 이미징 방법 및 시스템 - Google Patents

선택형 조명 스펙트럼으로 구성된 배경 수술 이미지에 의한 형광 이미징 방법 및 시스템 Download PDF

Info

Publication number
KR101813909B1
KR101813909B1 KR1020127023355A KR20127023355A KR101813909B1 KR 101813909 B1 KR101813909 B1 KR 101813909B1 KR 1020127023355 A KR1020127023355 A KR 1020127023355A KR 20127023355 A KR20127023355 A KR 20127023355A KR 101813909 B1 KR101813909 B1 KR 101813909B1
Authority
KR
South Korea
Prior art keywords
image
visible color
component
color component
acquired
Prior art date
Application number
KR1020127023355A
Other languages
English (en)
Other versions
KR20130097058A (ko
Inventor
이안 엠. 맥도월
크리스토퍼 제이. 해세
Original Assignee
인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 filed Critical 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Publication of KR20130097058A publication Critical patent/KR20130097058A/ko
Application granted granted Critical
Publication of KR101813909B1 publication Critical patent/KR101813909B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Microscoopes, Condenser (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

수술 사이트는 최소 침습 수술 시스템 내의 조명장치에 의해, 가시 백색광을 구성하는 가시 컬러 성분의 일부, 및 형광 여기 조명 성분에 의해 동시에 조명된다. 이미지 포착 시스템은 수술 사이트를 조명하는 가시 컬러 성분의 각각에 대한 이미지 및, 조명장치로부터 형광 여기 성분에 의해 여기되는 형광 이미지를 획득한다. 이러한 최소 침습 수술 시스템은 수술 사이트의 배경 흑백 이미지를 생성하기 위해, 획득된 이미지를 사용한다. 이러한 획득된 형광 이미지는 배경 흑백 이미지 위에 중첩되고, 선택된 컬러, 예를 들어, 녹색으로 하이라이트된다. 이러한 중첩된 하이라이트된 형광 이미지를 갖는 배경 흑백 이미지는 수술 시스템의 사용자에게 표시된다. 하이라이트된 형광 이미지는 임상의 조직을 식별한다.

Description

선택형 조명 스펙트럼으로 구성된 배경 수술 이미지에 의한 형광 이미징 방법 및 시스템{METHOD AND SYSTEM FOR FLUORESCENT IMAGING WITH BACKGROUND SURGICAL IMAGE COMPOSED OF SELECTIVE ILLUMINATION SPECTRA}
본 발명은 내시경 이미징에 관한 것이고, 보다 구체적으로 수술용 강화된 실시간 비디오 디스플레이를 제공하도록 가시 이미지와 대안의 이미지를 혼합하는 것에 관한 것이다.
캘리포니아 서니베일의 인튜어티브 서지컬 인코포레이티드에 의해 상업화된 다빈치® 수술 시스템은 신체에 대한 감소된 트라우마, 보다 빠른 회복 및 보다 짧은 입원기간과 같은 많은 장점을 환자에게 제공하는 최소 침습 원격조정되는 수술 시스템이다. 다빈치® 수술 시스템의 하나의 핵심 컴포넌트는 외과의가 입체적으로 볼 수 있도록 2-채널의 (즉, 좌우) 비디오 캡쳐 및 가시적 이미지의 표시를 제공할 수 있다.
이러한 전자 입체 영상 시스템은 외과의에게 고해상도의 비디오 이미지를 출력할 수 있고, 증가된 정밀도로 작업하는 것은 물론, 특정 조직 타입 및 특성을 외과의가 식별할 수 있도록 하는 "확대된" 뷰를 줌과 같은 특징(feature)이 제공할 수 있도록 한다. 그러나, 전형적인 수술 분야에서, 특정 조직 타입은 식별하기 어렵거나, 관심의 조직이 적어도 부분적으로 다른 조직에 의해 희미할 수 있다.
수술 사이트의 추가 이미지 정보는 픽쳐 인 픽쳐(PIP) 디스플레이를 사용함으로써 외과의에게 동시에 표시될 수 있다. 추가 이미지 정보가 수술 결과를 향상시키기 위해 외과의에게 사용될 수 있다. 그러나, PIP 디스플레이내의 보다 작은 픽쳐는 바람직한 레벨의 상세한 정보를 보이기에는 너무 작을 수 있다. 또한, 별개의 이미지 프레임으로, 외과의는 2개의 별개의 이미지 또는 이미징 양식을 함께 심리적으로 융합시키는데, 이것은 피로를 유발할 수 있다.
하나의 특징에서, 수술 사이트는 최소 침습 수술 시스템 내의 조명장치로부터의 (i) 종종 백색광으로 불리는 가시 백색광을 구성하는 가시 컬러 조명 성분의 일부, 및 (ii) 형광 여기 조명 성분에 의해 동시에 조명된다. 최소 침습 수술 시스템 내의 이미지 포착 시스템은 수술 사이트를 조명하는 가시 컬러 성분의 각각에 대한 이미지 및, 형광 여기 조명 성분에 의해 여기된 형광 이미지를 획득한다. 최소 침습 수술 시스템은 수술 사이트의 배경 흑백 이미지를 생성하기 위해 조명장치로부터 가시 컬러 조명 성분의 각각에 대해 획득된 이미지를 사용한다. 이러한 배경 흑백 이미지는 제한된 대역폭 이미지로 불린다.
이러한 획득된 형광 이미지는 배경 흑백 이미지 위에 중첩되고 선택된 컬러, 예를 들어, 녹색으로 하이라이트된다. 이러한 중첩된 하이라이트된 형광 이미지를 갖는 배경 흑백 이미지는 여기에서, 증강된 디스플레이로 불리고, 수술 시스템의 사용자를 위해 표시된다. 이러한 하이라이트된 형광 이미지는 임상의 조직을 식별한다.
이러한 중첩된 하이라이트된 형광 이미지를 가진 제한된 대역폭 이미지는 최소 침습 수술 시스템을 사용하여 시술을 행하는 외과의에게 실시간으로 제공된다. 이러한 새로운 방법은 하나의 프레임에서 정상 이미지를 포착하고 다른 프레임에서 형광 이미지를 포착한 후에 외과의에게 표시되는 단일 프레임을 생성하기 위해 상이한 시각에서 취해진 2개의 프레임을 사용하는 단계와 필연적으로 연관된 시간적 지연을 유발하지 않는다. 또한, 여기에 기술된 새로운 방법은 레이턴시 또는 상이한 시각에 획득된 2개의 프레임을 조합하는 시간적 결합을 갖고 있지 않다.
증강된 디스플레이를 위한 처리는 임의의 레이턴시를 유발하지 않고 나중 프레임의 후속 처리를 위한 프레임의 저장을 필요로 하지 않는다. 따라서, 이러한 시스템의 메모리 및 처리 필요는 입체 가시 이미지에 형광 이미지를 중첩하기 위해 타임 슬라이싱을 사용하는 시스템에 대해 감소된다.
또한, 이러한 이미지의 하이라이트된 부분은 배경 이미지와 항상 동기화된다. 이에 반대로, 형광 이미지를 포함하는 프레임이 저장된 후 시간상 나중에 발생하는 프레임에 등록되는 경우에, 하이라이트된 조직의 위치는 프레임간에 변경되어 있을 수 있고, 그래서, 하이라이트된 이미지는 표시될 때 실제 위치로부터 변위된다. 따라서, 이러한 새로운 방법은 시간상 획득 미스매치를 포함하는 방법이 외과의를 당황스럽게도 할 수 있는 표시된 모션 인공물을 유발하는 맥관구조와 같은 이동하는 조직을 표시하는데 있어 탁월하다.
하나의 예에서, 복수의 가시 컬러 조명 성분은 백색광을 만들기 위해 조합된다. 최소 침습 수술 시스템 내의 조명장치는 적어도 2개의 조명 성분을 동시에 제공한다. 이러한 조명 성분중 하나가 형광 여기 조명 성분일 때, 조명장치에 의해 제공된 다른 조명 성분은 복수의 가시 컬러 조명 성분 내의 가시 컬러 조명 성분의 일부를 포함한다.
최소 침습 수술 시스템에서, 카메라는 제1 획득된 성분 이미지, 및 이러한 제1 획득된 성분 이미지와 상이한 제2 획득된 성분 이미지를 실질상 동시에 포착한다. 컨트롤러는 이러한 획득된 성분 이미지들을 수신하기 위해 카메라에 접속되어 있다. 여기에서, 실질상 동시란 카메라에 발생된 포착 트리거 신호에 응답하여 카메라 내의 엘리먼트의 시간차를 고려하는 것이 가능한 정보로 동시에 라는 의미이다.
하나의 특징에서, 이러한 컨트롤러는 제한된 대역폭 이미지의 제1, 제2 및 제3 가시 컬러 성분을 생성한다. 이러한 가시 컬러 성분의 각각은 제1 획득된 성분 이미지를 포함하거나 이로부터 유도된다. 이러한 컨트롤러는 제2 획득된 성분 이미지를 제한된 대역폭 이미지의 제2 가시 컬러 성분에 더하여 제2 가시 컬러 성분은 제1 획득된 성분 이미지와 제2 획득된 성분 이미지 모두를 포함한다. 이러한 제한된 대역폭 이미지는 복수의 가시 컬러 조명 성분의 적어도 하나의 가시 컬러 조명 성분로부터 유발되는 획득된 가시 컬러 성분 이미지를 포함하지 않는다.
이러한 컨트롤러는 이러한 컨트롤러에 접속된 디스플레이에 전송된 제한된 대역폭 이미지를 포함하는 이미지를 생성한다. 이러한 특징에서, 디스플레이는 컨트롤러로부터 제1, 제2 및 제3 가시 컬러 성분을 수신한다. 이러한 디스플레이는 제한된 대역폭 이미지를 포함하는 이미지를 보여준다. 제2 획득된 성분 이미지를 포함하는 이미지의 부분은 제2 획득된 성분 이미지를 포함하지 않는 이미지의 부분들과 관련되어 하이라이트된다.
하나의 특징에서, 이러한 다른 조명 성분은 제1 가시 컬러 조명 성분을 포함한다. 제1 획득된 성분 이미지는 획득된 제1 가시 컬러 성분 이미지이고, 제2 획득된 성분 이미지는 형광 여기 조명 성분에 의해 여기된 형광 이미지이다.
또 다른 특징에서, 이러한 다른 조명 성분은 제1 가시 컬러 조명 성분 및 제2 가시 컬러 조명 성분을 포함한다. 이러한 특징에서, 카메라는 또한 제3 획득된 성분 이미지를 포착한다. 제1 획득된 성분 이미지는 획득된 제1 가시 컬러 성분 이미지이다. 제2 획득된 성분 이미지는 획득된 형광 이미지이다. 제3 획득된 성분 이미지는 획득된 제2 가시 컬러 성분 이미지이다. 컨트롤러는 획득된 제1 및 제2 가시 컬러 성분 이미지로부터 제한된 대역폭 이미지의 제1, 제2 및 제 3 컬러 성분을 생성한다. 하나의 예에서, 제1 가시 컬러 성분은 청색 성분이고, 제2 가시 컬러 성분은 적색 성분이다.
또 다른 특징에서, 이러한 다른 조명 성분은 제1 가시 조명 성분 및 제2 형광 여기 조명 성분이다. 다시, 이러한 특징에서, 카메라는 제3 획득된 성분 이미지를 포착한다. 제1 획득된 성분은 획득된 제1 가시 컬러 성분 이미지이다. 제2 획득된 성분 이미지는 획득된 제1 형광 이미지이다. 제3 획득된 성분 이미지는 획득된 제2 형광 이미지이다. 컨트롤러는 제3 획득된 이미지를 제한된 대역폭 이미지의 제3 가시 컬러 성분에 더한다.
하나의 특징에서, 이러한 조명장치는 제1 가시 컬러 조명 성분 소스 및 제3 가시 컬러 조명 성분 소스를 포함하고, 제2 가시 컬러 조명 성분은 제2 가시 컬러 조명 성분과 상이하고, 제3 가시 컬러 조명 성분은 제2 가시 컬러 조명 성분과 상이하고, 제1 가시 컬러 조명 성분과 상이하다. 이러한 조명장치는 또한 형광 여기 조명 소스를 포함한다.
이러한 최소 침습 수술 시스템은 또한 제1, 제2 및 제3 가시 컬러 성분 조명 소스 그리고, 형광 여기 조명 소스에 접속된 파워 레벨 및 전원 컨트롤러를 포함한다. 모드 체인저는 이러한 파워 레벨 및 전원 컨트롤러에 결합되어 있다. 이러한 모드 체인저는 제1 상태 및 제2 상태를 갖고 있다.
이러한 모드 체인저가 제1 상태를 갖고 있을 때, 파워 레벨 및 전원 컨트롤러는 (a) 제1, 제2 및 제3 가시 컬러 조명 성분 소스에 전력을 제공하고, 형광 여기 소스에는 제공하지 않고, (b) 제1, 제2 및 제3 가시 컬러 조명 성분 소스는 제1 레벨의 조명을 갖는다. 이러한 모드 체인저가 제2 상태를 갖고 있을 때, 파워 레벨 및 전원 컨트롤러는 (a) 제1 가시 컬러 조명 성분 소스, 제2 가시 컬러 조명 성분 소스의 적어도 일부 그리고 형광 여기 소스에 전력을 제공하고, 제3 가시 컬러 조명 성분 소스에는 제공하지 않고, (b) 제1 가시 컬러 조명 성분 소스 및 제2 가시 컬러 조명 성분 소스의 조명 레벨을 감소시킨다.
최소 침습 수술 시스템에서 증강된 이미지 디스플레이를 생성하는 방법에서, 컨트롤러는 제1 획득된 성분 이미지를 포함하는 제한된 대역폭 이미지의 제1 가시 컬러 성분을 생성한다. 이러한 컨트롤러는 또한 제1 획득된 성분 이미지를 포함하는 제한된 대역폭 이미지의 제2 가시 컬러 성분을 생성한다. 이러한 컨트롤러는 제2 획득된 성분 이미지를 제2 가시 컬러 성분에 더한다. 이러한 제2 획득된 성분은 제1 형광 여기 조명 소스로부터의 조명에 의해 여기된다. 이러한 컨트롤러는 제1 획득된 성분 이미지를 포함하는 제한된 대역폭 이미지의 제3 가시 컬러 성분을 생성한다. 이러한 제한된 대역폭 이미지는 백색광의 복수의 가시 컬러 조명 성분 내의 하나의 가시 컬러 조명 성분으로부터 유발되는 획득된 가시 컬러 성분 이미지를 포함하지 않는다.
이러한 방법은 디스플레이 스크린상에, 제한된 대역폭 이미지를 포함하는 이미지를 표시한다. 제2 획득된 성분 이미지를 포함하는 이미지의 부분은 제2 획득된 성분 이미지를 포함하지 않는 이미지의 부분들과 관련하여 하이라이트된다.
최소 침습 수술 시스템에 증강된 이미지 디스플레이를 생성하는 방법의 다른 특징에서, 증강된 이미지 보정 모듈은 프로세서에서 실행된다. 이러한 실행은 복수의 가시 컬러 성분 입력부의 제1 가시 컬러 성분 입력부에서, 획득된 제1 가시 컬러 성분 이미지를 수신하는 방법을 생성한다. 이러한 방법은 또한, 복수의 가시 컬러 성분 입력부의 제2 가시 컬러 성분 입력부에서, 획득된 형광 이미지를 수신한다.
이러한 방법은 제1 가시 컬러 성분 출력부에서, 획득된 제1 가시 컬러 성분 이미지를 포함하는 제1 신호를 생성한다. 제2 가시 컬러 성분 입력부에서, 획득된 제1 가시 컬러 성분 이미지 및 획득된 형광 이미지의 조합을 포함하는 제2 신호가 생성된다. 또한, 제3 가시 컬러 성분 출력부에서, 획득된 제1 가시 컬러 성분 이미지를 포함하는 제3 신호가 생성된다. 제1, 제2 및 제3 신호의 조합은 제한된 대역폭 이미지 및 형광 이미지를 포함하는 이미지이다.
이러한 방법은, 또한 복수의 가시 컬러 성분 입력부의 제3 가시 컬러 성분 입력부에, 획득된 제2 가시 컬러 성분 이미지를 수신한다. 이러한 특징에서, 제1 및 제3 신호는 획득된 제1 가시 컬러 성분 이미지 및 획득된 제2 가시 컬러 성분 이미지의 조합을 포함한다. 제2 신호는 획득된 제1 가시 컬러 성분 이미지와 획득된 제2 가시 컬러 성분 이미지의 조합, 그리고 획득된 형광 이미지를 포함한다.
상이한 특징에서, 이러한 방법은 복수의 가시 컬러 성분 입력부의 제3 가시 컬러 성분 입력부에서, 획득된 제2 형광 이미지를 수신한다. 이러한 특징에서, 제3 신호는 획득된 제1 가시 컬러 성분 이미지와 획득된 제2 형광 이미지의 조합이다.
도 1은 증가된 입체 시각화 시스템을 포함하는 최소 침습 원격조정 수술 시스템의 고레벨 도면이다.
도 2는 증강된 입체 시각화 시스템의 하드웨어 및 소프트웨어 (이미지 처리 및 사용자 인터페이스) 특징을 설명하는 개략도이다.
도 3은 예를 들어, 도 1의 최소 침습 원격조정 수술 시스템의 증강된 입체 시각화 시스템을 사용하여 실행되는 프로세스의 프로세스 순서도이다.
도 4는 도 2 및 도 3의 시스템내에 타이밍, 동기화, 및 캡쳐의 하나의 특징을 도시하는 도면이다.
도 5a는 도 2의 시스템을 사용하여 취득된 정상 컬러 입체 영상을 나타내는 도면이다.
도 5b는 하이라이트된 중첩된 형광 이미지를 가진 도 2의 시스템을 사용하여 취득된 제한된 대역폭 입체 영상을 나타내는 도면이다.
도 6은 도 2의 증강된 이미지 보정 프로세스의 하나의 특징의 블록도이다.
도 7은 도 2 및 도 3의 시스템내의 타이밍, 동기화, 및 캡쳐의 또 다른 특징을 도시하는 도면이다.
도 8은 도 2의 증강된 이미지 보정 프로세스의 또 다른 특징의 블록도이다.
도면에서, 부재 번호의 제1 디짓은 이러한 부재번호를 가진 엘리먼트가 먼저 나타난 도면을 나타낸다.
여기에 사용된 바와 같이, 전자 입체 영상은 2개의 영상 채널(즉, 좌측 및 우측 영상을 위한 채널)의 사용을 포함한다.
여기에 사용된 바와 같이, 입체 광경로는 조직으로부터 광을 전송하기 위한 내시경내의 2개의 채널(예를 들어, 좌우측 영상을 위한 채널)을 포함한다. 이렇게 각 채널에 전송된 광은 조직의 상이한 뷰를 나타낸다. 이러한 광은 하나 이상의 이미지를 포함할 수 있다. 일반성 또는 적용성의 손실 없이 보다 복잡하게 아래에 기술된 특징은 필드 시퀀셜 스테레오 취득 시스템 및/또는 필드 시퀀셜 디스플레이 시스템에서 사용될 수도 있다.
여기에 사용된 바와 같이, 조명 경로는 조직에 조명을 제공하는 내시경내의 경로를 포함한다.
여기에 사용된 바와 같이, 가시 전자파 스펙트럼에서 포착된 이미지는 획득된 가시 이미지로 불린다.
여기에서 사용된 바와 같이, 백색광은 3개 (이상의) 가시 컬러 성분, 예를 들어, 적색 가시 컬러 성분, 녹색 가시 컬러 성분, 및 청색 가시 컬러 성분으로 이루어져 있다. 따라서, 백색광은 복수의 가시 컬러 성분을 갖고 있다. 이러한 가시 컬러 성분이 조명기에 의해 제공되면, 가시 컬러 성분은 가시 컬러 조명 성분으로 불린다. 백색광은 예를 들어, 가열된 텅스텐으로부터 볼 수도 있으므로, 가시 스펙트럼내의 보다 연속적인 스펙트럼을 가리킬 수 있다.
여기에 사용된 바와 같이, 백색광의 복수의 가시 컬러 조명 성분 모두보다 적게 제공하는 조명기를 사용하여 생성된 흑색 및 백색 이미지는 제한된 대역폭 이미지로 불린다.
여기에 사용된 바와 같이, 형광의 결과로서 포착된 이미지는 획득된 형광 이미지로서 불린다. 다양한 형광 이미징 모달리티가 존재한다. 형광은 예를 들어, 주입가능한 다이, 형광 단백질, 또는 형광 태깅된 항체를 사용함으로써 얻을 수 있다. 형광은 예를 들어, 레이저 또는 다른 에너지원에 의한 여기를 통해 얻을 수 있다. 형광 이미지는 병리 정보(예를 들어, 형광 종양) 또는 해부 정보(예를 들어, 형광 태깅된 힘줄)와 같은, 수술에 핵심적인 생체내 환자 정보를 제공할 수 있다.
본 발명의 특징은 입체 정상 가시 이미지와, 위에 형광 이미지를 중첩한 대안의 입체 제한된 대역폭 가시 이미지를 통합함으로써, 예를 들어, 캘리포니아, 서니베일의 인튜어티브 서지털 인코포레이티드에 의해 판매되는 다빈치® 최소 침습 원격조정되는 수술 시스템과 같은 최소 침습 수술 시스템의 입체 영상 촬영 및 뷰잉 능력을 증강시킨다. (다빈치® 는 캘리포니아 서니베일의 인튜어티브 서지컬 인코포레이티드의 등록 상표이다.) 중첩된 하이라이트된 형광 이미지를 갖는 입체 제한된 대역폭 가시 이미지는 외과의를 위해 하이라이트된 병리 정보 및/또는 해부 정보를 갖는 수술 사이트의 입체 영상을 제공한다. 이러한 하이라이트된 형광 이미지는 임상의 조직을 식별한다.
이러한 중첩된 하이라이트된 형광 이미지를 갖는 입체 제한된 대역폭 이미지는 최소 침습 원격조정 수술 시스템을 사용하는 시술을 시행하는 외과의에게 실시간으로 제공된다. 연쇄 획득 방법(또한 타임 슬라이싱으로 알려져 있다)은 하나의 프레임에서 입체 이미지를 포착하고 또 다른 프레임에서 형광 이미지를 포착한 후에 이러한 상이한 시각에 취해진 2개의 프레임을 사용하여, 외과의에 표시되는 단일 프레임을 생성하는 것과 관련된 딜레이를 유발한다. 그래서, 여기에 기술된 시스템의 메모리 및 처리 필요는 입체 컬러 가시 이미지상에 형광 이미지를 중첩하도록 타임 슬라이싱으로 사용하는 시스템에 대해 감소된다.
이러한 입체 제한된 대역폭 가시 이미지는 백색광을 만드는 복수의 가시 컬러 조명 성분의 일부를 사용하여 형성되어서 제한된 대역폭 가시 이미지내의 컬러 정보는 상실되지만 상세하게는 거의 없거나 아무런 손실도 없다. 입체 제한된 대역폭 가시 이미지는 해부 구조, 조직 랜드마크 및 수술 기기를 식별하는데 충분하여 이러한 이미지로 인해 수술 기기의 안전한 조작이 가능하다. 제한된 대역폭 가시 이미지로 인해, 형광 이미지와 대조적으로, 가시 컬러 조명 성분에 의한 간섭으로 인한 손실이 전혀 없다.
이러한 형광 이미지는 환자의 상처 리스크를 감소시키고 수술 효율을 향상시키는, 수술 사이트에 대한 향상된 정보 컨텐트를 제공하도록 강화된 제한된 대역폭 가시 이미지 및 컬러 위에 오버라이된다. 입체 제한된 대역폭 가시 이미지 및 하이라이트된 형광 이미지의 조합은 외과의가 실시간으로, 환부 조직 절제를 위해 양성 종양 가장자리를 식별하고 다른 조직, 예를 들어, 힘줄을 식별할 수 있도록 하여 이러한 조직을 불필요하게 절단하는 것을 피할 수 있도록 한다.
입체 제한된 대역폭 이미지 및 형광 이미지의 조합은 외과의에게 연속적으로 표시될 수 있다. 대안으로, 이러한 2개의 이미지의 오버레이는 (예를 들어, 다빈치® 수술 시스템 외과의의 콘솔상의 마스터 핑거 그립을 더블 클릭함으로써 또는 풋 페달을 사용함으로써) 토글링 온/오프될 수 있다.
도 1은 증가된 입체 시각화 시스템을 포함하는 최소 침습 원격 수술 시스템(100), 예를 들어, 다빈치® 수술 시스템의 고레벨 도면이다. 이러한 예에서, 외과의는 외과의의 콘솔(114)을 사용하여 로봇 매니퓰레이터 암(113)에 장착된 내시경(112)을 원격 조작한다. 다빈치® 수술 시스템과 연관된 다른 부품, 케이블등이 존재하지만, 이러한 것들은 설명을 위해 도 1에 도시되지 않았다. 최소 침습 수술 시스템에 관한 추가 정보는 예를 들어, (2007년 6월 13일 출원되고, 최소 침습 수술 시스템을 설명하는) 미국 특허 출원 번호 11/762,165 및 (2001년 12월 18일에 출원되고 수술 로봇 툴, 데이터 구조 및 사용을 설명하는) 미국 특허 번호 6,331,881에서 찾아볼 수 있는데, 이 둘은 모두 여기에 언급되어 통합되어 있다.
아래에 보다 상세하게 설명되는 바와 같이, 종종 조명기로 불리는 조명 시스템(도시되지 않음)이 내시경(112)에 결합되어 있다. 이러한 조명 시스템은 (a) 백색광 조명 및 (b) 적어도 하나의 형광 여기 조명 성분 및 백색광의 가시 컬러 조명 성분의 일부중 하나를 선택적으로 제공한다. 이러한 조명 시스템으로부터의 광은 광섬유 번들(도 2의 광섬유 번들 참조)에 의해 내시경(112)내의 적어도 하나의 조명 경로에 결합되어 있다. 이러한 광은 내시경(112)내의 적어도 하나의 조명 경로를 통과하고 환자(111)의 조직(103)을 조명한다.
내시경(112)은 또한 예를 들어, 형광 및 가시 컬러 조명 성분으로부터의 반사된 백색광 또는 반사된 광과 같은, 조직으로부터의 광을 통과시키기 위한 2개의 광 채널을 포함한다. 이러한 반사된 백색광은 정상 가시 이미지를 형성하도록 사용된다. 아래에 보다 상세하게 설명되는 바와 같이, 가시 컬러 조명 성분으로부터의 반사된 광은 제한된 대역폭 가시 이미지를 형성하기 위해 사용된다.
조직(103)으로부터 반사된 백색광은 조명원이 백색 조명을 제공할 때 이미지 포착 시스템(120)내의 정상 획득된 가시 컬러 입체 이미지로서 포착된다. 그러나, 외과의가 증강된 이미지를 보기 원할 때, 외과의는 뷰잉 모드를 증강된 뷰잉 모드로 변경한다.
증강된 뷰잉 모드에서, 백색광의 복수의 가시 컬러 조명 성분중 적어도 하나는 턴오프되어 조명원은 백색광의 가시 컬러 조명 성분 모두 보다 적은 것을 제공한다. 예를 들어, 백색광의 3개의 가시 컬러 조명 성분이 사용되었다면, 최대 2개의 가시 컬러 조명 성분이 조명원에 의해 제공된다. 따라서, 증강된 뷰잉 모드의 이러한 특징에서, 조직(103)은 형광 여기 조명 성분 및 백색광의 복수의 가시 컬러 조명 성분보다 적은 성분과 같은 하나 이상의 가시 컬러 조명 성분에 의해 조명된다.
증강된 뷰잉 모드에서, 획득된 좌우 가시 컬러 성분 이미지는 조명기에 의해 제공된 각 가시 컬러 성분에 대한 엘리먼트(121)에 의해 포착되고 형광은 좌우 형광 이미지로서 엘리먼트(122)에 의해 포착된다. 이미지 포착 시스템(120)은 형광을 차단하는 임의의 필터가 제외되는 것을 제외하면 종래의 이미지 포착 시스템이고, 필터는 임의의 직접 광 또는 여기 소스로부터의 반사된 광의 포착을 차단하도록 사용될 수 있다.
디스플레이 이미지 컨트롤러(130)는 이미지 포착 시스템(120)으로부터, 획득된 정보를 수신한다. 이러한 획득된 정보가 가시 컬러 입체 이미지일 때, 디스플레이 이미지 컨트롤러(130)는 이러한 획득된 이미지를 보정하는 컬러를 포함하는 정상 획득된 가시 컬러 입체 이미지를 처리하고 이러한 컬러 보정된 획득된 가시 컬러 입체 이미지를 외과의의 콘솔(114) 위로 뷰어에게 전송하고, 이러한 외과의의 콘솔(114)은 이러한 이미지를 표시한다.
마찬가지로, 증강된 뷰잉 모드에서, 디스플레이 이미지 컨트롤러(130)는 이미지 포착 시스템(120)으로부터, 획득된 정보, 즉, 조명 소스에 의해 제공된 각 가시 컬러 성분에 대한 획득된 가시 입체 컬러 성분 이미지 및 획득된 좌우 형광 이미지를 수신한다. 증강된 뷰잉 모드에서, 디스플레이 이미지 컨트롤러(130)는 정상 컬러 보정 프로세스 대신에 증강된 이미지 보정 프로세스를 사용한다.
증강된 이미지 보정 프로세스는 이러한 획득된 가시 입체 컬러 성분 이미지를 사용하여 제한된 대역폭 이미지를 생성한다. 예를 들어, 조명 소스가 2개의 가시 컬러 조명 성분, 즉, 제1 가시 컬러 조명 성분 및 제2 가시 컬러 조명 성분을 제공한다면, 획득된 가시 컬러 성분 이미지는 획득된 제1 가시 컬러 성분 이미지 및 획득된 제2 가시 컬러 성분 이미지를 제공한다.
디스플레이 이미지 컨트롤러(130)에서의 증강된 이미지 보정 프로세스는 획득된 제1 및 제2 가시 컬러 성분 이미지를 조합하고 이러한 조합을 외과의의 콘솔(114)상의 디스플레이의 컬러 성분 입력부의 각각에 제공한다. 이러한 디스플레이는 제한된 대역폭 이미지를 생성한다. 이러한 이미지는 제한된 대역폭 이미지인데, 그 이유는 이러한 이미지가 제3 가시 컬러 조명 성분에 대한, 획득된 가시 컬러 성분을 포함하고 있지 않기 때문이다.
또한, 증강된 이미지 보정 프로세스는 획득된 형광 이미지를 디스플레이의 컬러 성분 입력부중 하나에 추가하여 컬러 성분 입력부중 하나는 형광 이미지와 획득된 제1 및 제2 가시 컬러 성분 이미지의 조합을 수신한다. 디스플레이로의 또 다른 2개의 컬러 성분 입력부는 획득된 제1 및 제2 가시 컬러 성분 이미지의 조합만을 수신한다. 이러한 형광 이미지가 녹색 성분에 추가된다면, 이러한 예에서, 외과의는 조직 또는 다른 해부학적 특징부가 녹색으로 하이라이트된 형광을 생성한 수술 사이트의 입체 흑백 유사 이미지를 본다.
도 2 내지 도 4에서, 도 2는 도 1의 최소 침습 수술 시스템의 하나의 예의 특징의 보다 상세한 도면이다. 도 3은 도 2내의 시스템의 동작을 위한 프로세스 순서도이고, 도 4는 도 2의 시스템내의 이미지의 포착 및 조직의 조명을 위한 타이밍도이다.
도 2의 실시예에서, 최소 침습 수술 시스템(200)은 조합 광원(210)인 조명기를 포함한다. 조합 광원(210)은 가시 컬러 성분 소스(211) 및 형광 여기 소스(212)를 포함한다. 소스(211,212)의 특정 구현은 조합 광원(210)이 아래에 보다 온전하게 설명되는 성능을 갖는한 중요하지 않다.
조합 광원(210)은 조직 조명 프로세스(302: 도 3)에서 조직(203)을 조명하기 위해 입체 내시경(201)내의 적어도 하나의 조명 경로와 연결되어 사용된다. 이러한 예에서, 조합 광원(210)은 정상 뷰잉 모드와 증강된 뷰잉 모드의 2개의 동작 모드를 갖고 있다.
정상 뷰잉 모드에서, 가시 컬러 성분 소스(211)는 백색으로 조직(203)을 조명하는 조명을 제공한다. 즉, 소스(211)내의 모든 가시 컬러 조명 성분 소스가 사용된다. 형광 여기 소스(212)는 정상 뷰잉 모드에서 사용되지 않는다.
증강된 뷰잉 모드에서, 가시 컬러 성분 소스(211)는 백색광으로 조직(203)을 조명하기 위해 필요한 가시 컬러 성분의 일부를 제공한다. 예를 들어, 백색광의 하나 이상의 가시 컬러 성분이 조명에 포함되지 않는다. 일부 특징에서, 예를 들어, 증강된 뷰잉 모드에서 백색광의 모든 가시 컬러 조명 성분을 사용하는 것이 가능할 수 있지만, 하나 이상의 가시 컬러 조명 성분 소스로부터의 사소한 조명 및 나머지 가시 컬러 성분 조명 소스로부터의 증강된 뷰잉 모드 조명을 포함한다. 이러한 사소한 조명은 가시 컬러 조명 성분 소스에 의해 제공된 조명이 매우 낮아 사소한 조명 이미지 및 형광이 공통 획득된 이미지로서 함께 획득될 때, 획득된 사소한 조명 이미지는 획득된 형광 이미지를 열화시키지 않는다. 따라서, 하나 이상의 가시 컬러 조명 성분을 위해 작은 조명을 제공하는 것은 백색광의 가시 컬러 성분의 일부로 조직을 조명하는 것과 실질상 동일하다.
하나의 특징에서, 3개의 가시 컬러 성분은 백색광 조명을 구성하는데, 즉, 백색광은 제1 가시 컬러 성분, 제2 가시 컬러 성분 및 제3 가시 컬러 성분을 포함한다. 3개의 가시 컬러 성분의 각각은 상이한 가시 컬러 성분, 예를 들어, 적색 성분, 녹색 성분 및 청색 성분이다. 백색광 조명을 구성하기 위한 3개의 가시 컬러 성분의 사용은 복수의 이러한 성분을 예시한 것일 뿐 제한을 위한 것은 아니다.
증강된 뷰잉 모드에서, 형광 여기 소스(212)는 조직(203)으로부터 형광을 여기하는 형광 여기 조명 성분을 제공한다. 예를 들어, 형광 여기 소스(212)로부터의 협대역 광은 조직 특정 형광체를 여기하도록 사용되어 조직(203)내의 특정 조직의 형광 이미지가 포착된다.
증강된 뷰잉 모드에서, 가시 컬러 성분 소스(211)에 의해 제공된 가시 컬러 조명 성분의 수는 포착된 상이한 형광 이미지의 수에 종속된다. 하나의 형광 이미지가 포착되면, 하나 또는 두개의 상이한 가시 컬러 조명 성분이 이러한 예에서 가시 컬러 성분 소스(211)에 의해 제공된다. 2개의 상이한 형광 이미지가 포착되면, 하나의 가시 컬러 조명 성분이 가시 컬러 성분 소스(211)에 의해 제공된다.
하나의 특징에서, 가시 컬러 성분 소스(211)는 백색광의 복수의 가시 컬러 조명 성분내의 상이한 가시 컬러 조명 성분의 각각에 대한 소스를 포함한다. 적-녹-청색 구현에서, 하나의 예에서, 소스는 적색 LED, 2개의 녹색 LED 및 청색 LED의 발광 다이오드(LED)이다. 표 1은 이러한 예에 사용된 LED의 각각에 대한 출력 파장의 범위를 제공한다.
가시 컬러 조명 성분 파장
적색 670 나노미터(nm)
녹색 1 555 nm
녹색 2 532 nm
청색 450 nm
가시 컬러 성분 소스(211)에서의 LED 사용은 단지 예시일 뿐이고 이에 제한되지는 않는다. 가시 컬러 성분 소스(211)는 또한 예를 들어, LED 대신에 다수의 레이저 소스에 의해 구현될 수도 있다. 대안으로, 가시 컬러 성분 소스(211)는 가시 이미지용 광대역 백색 조명광을 생성하기 위해 타원형 백 반사기 및 대역 통과 필터 코팅을 가진 크세논 램프를 사용할 수도 있다. 크세논 램프의 사용 역시 단지 예일 뿐이고 이에 제한되지 않는다. 예를 들어, 고압 수은 아크 램프, 다른 아크 램프 또는 다른 대역 광원이 사용될 수 있다. 증강된 뷰잉 모드에서 이러한 소스로부터 하나 이상의 가시 컬러 조명 성분을 제거하기 위해, 대역통과 필터, 프리즘등이 조합 광원(210)에 통합될 수도 있다.
또한, 증강된 뷰잉 모드에서, 형광 여기 파장이 가시 스펙트럼에서 발생하는 경우에, 가시 컬러 성분 소스(211: 도 3b)는 가시 컬러 조명 성분의 소스 및 형광 여기 조명 성분의 소스 모두로서 사용될 수 있다. 형광 여기 파장이 가시 스펙트럼의 외측에서(예를 들어, 근적외선(NIR)에서) 발생하는 경우에, 레이저 모듈 (또는 발광 다이오드 또는 필터링된 백색광과 같은 다른 에너지원)이 형광 여기 소스(212)로서 사용된다.
따라서, 하나의 특징에서, 형광은 형광 여기 소스(212)내의 레이저 모듈로부터 광에 의해 트리거된다. 하나의 예로서, 메다렉스 인코퍼레이티드로부터 취득된 항체 에이전트는 525nm 레이저를 사용하여 여기되었다.
조합 광원(210)을 위해 선택된 특정 형광 여기 소스는 사용된 형광체에 따른다. 생체내 사용된 다양한 FDA 인증된 형광 다이의 여기 및 이미션 최대값(excitation and emission maxima)이 표 2에 나타나 있다.
형광 다이 여기 최대값(nm) 이미션 최대값(nm)
플루오레세인 494 521
인도시아닌 그린 810 830
인디고 카마인 알칼리 수용액에서 436 알칼리 수용액에서 528
메틸렌 블루 664 682
표 3은 생물학적 시스템에서 사용되는 공통 단백질 형광체의 예를 나타낸다.
형광 단백질/형광체 여기 최대값(nm) 이미션 최대값(nm)
GFP 489 508
YFP 514 527
DsRed(RFP) 558 583
FITC 494** 518**
Texas red 595** 615**
Cy5 650** 670**
Alexa Fluor 568 578** 603**
Alexa Fluor 647 650** 668**
Hoechst 33258 346 460
TOPRO-3 642 661
** 콘주게이트에 대한 추정 여기 및 형광 이미션 최대값
당업자는 형광체가 환자의 특정 조직에 엉기는 에이전트에 엉길 수 있다는 것을 이해한다. 특정 형광체가 선택될 때, 조합 광원(210)은 이러한 형광체에 대한 여기 최대값 파장을 광에 제공하는 형광 여기 소스(212)를 포함한다. 따라서, 관심의 형광체 및 사용되는 상이한 형광체의 수가 주어진다면, 적합한 광원이 조합 광원(210)에 포함될 수 있다.
표 2 및 표 3의 상기 예는 단지 예시일 뿐이고 이에 제한되는 것은 아니다. 이러한 개시에서, 조직의 대안의 이미징 특성이 선택된 후에 적합한 광원이 사용되는 형광체에 기초하여 선택될 수 있다.
정상 또는 증강된 뷰잉 모드에서, 광원으로부터의 광은 광섬유 번들(216)내로 지향된다. 광섬유 번들(216)은 광을 조직(203)으로 지향시키는 입체 내시경(201)내의 조명 경로에 광을 제공한다.
입체 디스플레이(241)상의 비디오 출력부는 예를 들어, 수술 기구, 보이스 컨트롤, 및 다른 유사한 스위칭 방법을 제어하는 풋 스위치, 마스터 그립의 더블 클릭을 사용함으로써 정상과 증강된 뷰잉 모드 사이에서 토글링될 수 있다. 이러한 2개의 뷰잉 모드 사이의 스위칭을 위한 토글은 디스플레이 모드 실렉트(250)로서 도 2에 나타나 있다.
디스플레이 모드 실렉트(250)로부터의 사용자 입력에 응답하여, 정상 뷰잉 모드가 선택될 때 조직 조명 프로세스(302)에 제어 신호를 제공하는 유저 인터페이스(260)에서의 뷰잉 모드 체크 프로세스(301: 도 3)에 신호가 제공된다. 하나의 특징에서, 유저 인터페이스(260)는 프로세서(131: 도 1)에서 실행되는, 메모리(132)에 저장된 컴퓨터 코드에 의해 생성된다.
하나의 특징에서, 정상 뷰잉 모드는 디폴트 모드이다. 이러한 특징에서, 디스플레이 모드 실렉트(250)는 외과의가 뷰잉 모드를 정상 뷰잉 모드로부터 증강된 뷰잉 모드로, 또는 증강된 뷰잉 모드로부터 정상 뷰잉 모드로 변경하기를 원할 때까지 사용되지 않는다.
정상 뷰잉 모드에서, 조직 조명 프로세스(302)는 조합 광원(210)내의 파워 및 레벨 컨트롤러(215)에 정상 뷰잉 모드 동작 신호를 전송한다. 파워 및 레벨 컨트롤러(215)는 편의를 위해 조합 광원(210)에 나타나 있지만 파워 및 레벨 컨트롤러(215)의 위치는 이러한 특정 위치에 제한되지 않는다.
정상 뷰잉 모드 동작 신호에 응답하여, 파워 및 레벨 컨트롤러(215)는 형광 여기 소스(212)가 온이라면, 형광 여기 소스(212)를 턴오프하고, 가시 컬러 성분 소스(211)를 이네이블링하여 백색광이 조직(203)에 제공된다. 예를 들어, 가시 컬러 성분 소스(211)가 3개의 가시 컬러 조명 성분 소스를 포함할 때, 파워는 3개의 소스의 각각에 제공된다. 당업자는 210의 다양한 소스에 파워를 턴온하고 턴오프하는 대신에 컨트롤러(215)가 파워를 항상 유지하고 소스로부터의 출력을 광섬유 번들(216)로/로부터 전송하고 동일한 결과를 얻을 수 있다는 것을 이해할 수 있다.
따라서, 정상 뷰잉 모드에서, 조직 조명 프로세스(302)에 의해 조직(203)은 백색광으로 조명될 수 있다. 도 4의 조명의 그래프에서, 수평축은 시간이고 수직축은 소스 출력 레벨을 나타낸다. 3개의 가시 컬러 조명 성분의 각각에 대한 정상 뷰잉 모드 동작 동안 소스 출력 레벨은 100 퍼센트로 정의된다. 따라서, 도 4에서, 시각 t1전의 시간 동안, 3개의 가시 컬러 조명 성분의 각각으로부터의 출력 레벨은 100 퍼센트로서 나타나고 형광 여기 조명 성분에 대한 출력 레벨은 제로이다.
조직(203: 도 2)로부터의 가시광은 내시경(201)내의 입체 광경로에 의해 이미지 포착 시스템(220)으로 통과된다. 이러한 특징에서, 이미지 포착 시스템(220)은 좌측 이미지 전하 결합 소자(CCD; 221A) 및 우측 이미지 CCD(222A)를 포함하는 종래의 입체 카메라를 포함한다.
따라서, 정상 뷰잉 모드의 이미지 포착 프로세스(303, 도 3)에서, 좌측 이미지 CCD(221A)는 가시 좌측 이미지(421A, 도 4)를 포착하고 우측 이미지 CCD(222A)는 가시 우측 이미지(422A)를 포착한다. 좌측 이미지 CCD(221A)는 가시 좌측 이미지(421A)를 위한 적색, 녹색 및 청색 이미지를 포착한다. 즉, 획득된 좌측 이미지는 컬러 이미지이다. 마찬가지로, 우측 이미지 CCD(222A)는 가시 우측 이미지(422A)의 적색, 녹색, 및 청색 이미지를 포착한다.
좌측 이미지 CCD(221A) 및 우측 이미지 CCD(222A)는 상이한 가시 컬러 성분을 각각 포착하는 다수의 CCD; 특정 가시 컬러 성분등을 포착하는 CCD의 상이한 영역을 갖는 단일 CCD일 수 있다. 3-칩 CCD 센서는 단지 예시일 뿐이다. 컬러 필터 어레이를 가진 단일 CMOS 이미지 센서 또는 3-CMOS 컬러 이미지 센서 어셈블리가 또한 사용될 수 있다.
정상 뷰잉 모드에서, 획득된 정상 가시 좌측 이미지(421A) 및 획득된 정상 가시 우측 이미지(422A, 도 4)가 이미지 처리 프로세스(304, 도 3)를 실행하는 디스플레이 이미지 컨트롤러(230, 도 2)에 제공된다. 이미지 처리 프로세스(304)에서, 컬러 이미지 보정 프로세스(231)는 획득된 정상 가시 좌측 이미지(421A) 및 획득된 정상 가시 우측 이미지(422A) 모두를 처리한다. 컬러 보정된 획득된 정상 가시 좌측 이미지 및 컬러 보정된 획득된 정상 가시 우측 이미지는 입체 디스플레이(241)에 전송되고 입체 컬러 이미지는 조직의 입체 비디오 디스플레이 생성 프로세스(305)에서 표시된다.
정상 뷰잉 모드에서의 처리는 종래의 최소 침습 수술 시스템에서의 처리에 대응되어서 당업자에게 공지되어 있다. 또한, 프로세스(301 내지 305)는 각 프레임에 대하여 반복적으로 실행되어서 외과의는 조직(203)의 실시간 비디오 이미지를 본다.
정상 뷰잉 모드 동안, 외과의에게 조직(203A)의 정상 3차원 컬러 뷰(500A, 도 5a)가 제공된다. 그러나, 외과의는 조직(203A)의 3차원 뷰에서 하이라이트된 조직(203A)내의 관심 영역을 보기를 원할 수 있다. 예를 들어, 외과의는 조직(203A)의 환부 및/또는 특정 조직, 예를 들어, 힘줄 또는 장기를 보기를 원할 수 있다. 따라서, 시각 t1에서(도 4), 외과의는 뷰잉 모드를 증강된 뷰잉 모드로 변경하기 위해 디스플레이 모드 실렉트(250)를 사용한다.
디스플레이 모드 실렉트(250)로부터의 사용자 입력에 응답하여, 증강된 디스플레이 선택 신호가 유저 인터페이스(260)내의 뷰잉 모드 체크 프로세스(301)에 제공된다. 증강된 디스플레이 선택 신호에 응답하여, 체크 프로세스(301)는 증강된 이미징 컨트롤 신호를 조직 조명 프로세스(302) 및 이미지 처리 프로세스(304)에 제공한다.
증강된 디스플레이 컨트롤 신호에 응답하여, 조직 조명 프로세스(302)는 증강된 디스플레이 신호를 조합 광원(210)내의 파워 및 레벨 컨트롤러(215)에 전송한다. 증강된 디스플레이 신호에 응답하여, 파워 및 레벨 컨트롤러(215)는 형광 여기 소스(212)를 턴온하고 이러한 예에서 가시 컬러 성분 소스(211)내의 제3 시각 컬러 조명 성분을 턴오프하여 제1 및 제2 시각 컬러 조명 성분 및 형광 여기 조명 성분만이 광섬유 번들(216)에 공급된다.
따라서, 조직(203)은 제1 및 제2 시각 컬러 조명 성분에 의해 조명되지만, 제3 시각 컬러 조명 성분에 의해서는 조명되지 않는다. 조직(203)은 또한 형광 여기 조명 성분(212)에 의해 조명된다.
또한, 하나의 실시예에서, 파워 및 레벨 컨틀로러(215)는 제1 및 제2 시각 컬러 조명 성분의 출력 레벨을 감소시킨다. 예를 들어, 출력 레벨을 1/10으로 감소시킨다. 따라서, 도 4에 도시된 바와 같이, 시각 t1 후에, 제1 및 제2 시각 컬러 조명 성분의 출력 레벨은 시각 t1 이전의 출력 레벨에 대하여 감소되고, 제3 시각 컬러 성분 조명 출력 레벨은 제로이다. 또한, 형광 여기 조명 성분이 턴온된다.
이러한 예에서, 형광 여기 조명 성분에 의해 여기된 형광이 제3 시각 컬러 성분에 대한 CCD 또는 CCD의 일부에 의해 포착된다. 예를 들어, 형광이 근적외선에 있다면, 제3 가시 컬러 성분은 적색 성분이고 제1 및 제2 시각 컬러 성분은 청색 및 녹색 성분이다.
대안으로, 형광이 녹색 시각 컬러 성분의 범위에 있다면, 제3 시각 컬러 조명 성분은 녹색 시각 컬러 성분이고 소스(211)에서 턴오프되고, 제1 및 제2 시각 컬러 성분은 적색 및 청색 성분이다. 형광이 자외선 범위에 있다면, 제3 시각 컬러 조명 성분은 청색 성분이고 소스(211)에서 턴오프되고, 제1 및 제2 시각 컬러 성분은 적색 및 녹색 성분이다.
여기에 사용된 바와 같이, "제1", "제2" 및 "제3"은 가시 컬러 성분을 구별하도록 사용된 형용사이다. 따라서, "제1", "제2", 및 "제3"은 가시 파장 스펙트럼내의 가시 컬러 성분의 임의의 순서지정을 의미하지는 않는다.
하나의 특징에서, 턴오프되는 가시 컬러 조명 성분에 대한 파장내에 또는 근방에 아무런 입사광이 존재하지 않도록 보장하기 위해, 턴오프되는 가시 컬러 조명 성분의 파장 근방 또는 중첩되는 근접 컬러 시각 컬러 조명 성분의 파장이 일부 방법에 의해 차단된다. 이것은 획득된 형광 이미지가 형광 이미지를 포착하는 CCD에 의해 포착되는 임의의 가시광에 의해 열화되지 않도록 보장한다. 예를 들어, 가시 컬러 성분 소스(211)가 표 1에서 주어진 4개의 소스를 가지고 제3 가시 컬러 조명 성분이 적색 가시 컬러 성분일 때, 적색 소스의 파장에 인접한 파장을 갖는 녹색 소스 역시 증강된 뷰잉 모드에서 턴오프된다.
조직(203, 도 2)으로부터의 광은 내시경(201)내의 입체 광경로에 의해 이미지 포착 시스템(220)으로 통과된다. 하나의 특징에서, 필터(221A, 222B)는 이미지가 포착되기 전에 형광 여기 소스(212)로부터의 임의의 반사되거나 직접적인 광을 여과시키도록 사용된다.
이미지 포착 프로세스(303, 도 3)에서, 증강된 뷰잉 모드에서, 좌측 이미지 CCD(221A)는 획득된 좌측 제1 및 제2 가시 컬러 성분 이미지 및 획득된 좌측 형광 이미지(421B, 도 4)를 포착하고 우측 이미지 CCD(222A)는 획득된 우측 제1 및 제2 가시 컬러 성분 이미지 및 획득된 우측 형광 이미지(422B)를 포착한다. 예를 들어, 제3 가시 컬러 성분이 적색 가시 컬러 성분이라면, 좌측 이미지 CCD(221A)내의 청색 및 녹색 CCD는 좌측 이미지에 대한 청색 및 녹색 좌측 가시 컬러 성분 이미지를 포착한다. 좌측 이미지 CCD(221A)내의 적색 CCD는 좌측 형광 이미지를 포착한다. 마찬가지로, 우측 이미지 CCD(222A)내의 청색 및 녹색 CCD는 우측 이미지에 대한 청색 및 녹색 가시 컬러 성분 이미지를 포착한다. 우측 이미지 CCD(222A)내의 적색 CCD는 우측 형광 이미지를 포착한다.
이러한 예에서, 제3 가시 컬러 성분 조명 소스는 존재하지 않고, 따라서, 조직(203)으로부터 제3 가시 컬러 성분 광이 전혀 반사되지 않는다. 이로 인해 이미지에서 제3 가시 컬러 성분 광을 정상적으로 포착하는, CCD 또는 CCD의 부분은 형광 이미지를 포착할 수 있게 된다. 따라서, 아무런 추가 카메라, 내시경내의 광경로, 또는 추가 내시경도 가시 컬러 성분 이미지 및 형광 이미지 모두를 획득하기 위해 필요하지 않다. 여기에서, 이미지내의 가시 컬러 성분 이미지가 가시 컬러 성분 조명 소스과 연관되어 있다고 말할 때, 그것은 가시 컬러 성분 조명 소스가 이미지에 가시 컬러 성분 이미지를 유발하는 광을 제공한다는 것을 의미한다.
증강된 뷰잉 모드에서, 획득된 좌측 제1 및 제2 가시 컬러 성분 이미지 및 획득된 좌측 형광 이미지는 획득된 우측 제1 및 제2 가시 컬러 성분 이미지 및 획득된 우측 형광 이미지를 따라 이미지 처리 프로세스(304)를 실행하는 디스플레이 이미지 컨트롤러(230)에 제공된다. 상술된 바와 같이, 이미지 처리 프로세스(304)는 증강된 디스플레이 신호를 수신하였다는 것을 기억해야 한다. 따라서, 이미지 처리 프로세스(304)는 컬러 이미지 보정 프로세스(231)로부터 증강된 이미지 보정 프로세스(232)로 변경된다.
증강된 이미지 보정 프로세스(232)는 좌우 이미지 모두에 동일한 프로세스를 실행하여서 좌우 지정은 여기에서 고려되지 않는다. 도 6은 이러한 예에 대한, 증강된 이미지 보정 프로세스(232A)로의 입력 정보 및 증강된 이미지 보정 프로세스(232A)로부터의 출력 정보의 블록도이다.
증강된 이미지 보정 프로세스(232A)는 제1 컬러 성분 입력부에서, 획득된 제1 가시 컬러 성분 이미지 AVC1; 제2 컬러 성분 입력부에서, 획득된 제2 가시 컬러 성분 이미지 AVC2; 및 제3 컬러 성분 입력부에서, 획득된 형광 이미지 AF를 수신한다. 증강된 이미지 보정 프로세스(232A)는 획득된 제1 가시 컬러 성분 이미지 AVC1 및 획득된 제2 가시 컬러 성분 이미지 AVC2를 조합하는데, 예를 들어, 제한된 대역폭 가시 이미지의 생성을 위한 2개의 획득된 성분 이미지의 평균을 형성한다. 제한된 대역폭 이미지의 각 컬러 성분은 2개의 획득된 가시 컬러 성분 이미지의 평균이다.
이러한 예에서, 증강된 이미지 보정 프로세스(232)에서, 획득된 형광 이미지 AF를 대역폭 제한된 이미지의 제2 가시 컬러 성분에 추가하는데, 이것은 획득된 제1 가시 컬러 성분 이미지 AVC1 및 획득된 제2 가시 컬러 성분 이미지 AVC2의 조합이다. 이러한 추가의 결과는 제2 가시 컬러 성분 출력부에 공급된다. 이러한 예에서, 제2 가시 컬러 성분 출력은 예를 들어, 녹색 성분과 같은, 외과의에 의해 선호되는 것으로 경험적 연구가 보여주는 가시 컬러 성분에 대한 출력이다.
이러한 예에서, 획득된 제1 가시 컬러 성분 이미지 AVC1 및 획득된 제2 가시 컬러 성분 이미지 AVC2의 조합은 제1 및 제3 가시 컬러 성분 출력의 각각에 전송된다. 획득된 형광 이미지 AF와, 획득된 제1 가시 컬러 성분 이미지 AVC1 및 획득된 제2 가시 컬러 성분 이미지 AVC2의 조합은 제2 가시 컬러 성분 출력부에 전송된다. 당업자는 증강된 이미지 보정 프로세스(232)에 대하여 기술된 동작이 예를 들어, 화소×화소로 프레임의 서브유닛에 대해 이루어지고 "추가"는 상징적인 것이고 예를 들어 클리어 이미지를 달성하기 위해 언두잉 및 리두잉 감마 보정을 필요로 할 수 있다는 것을 이해할 수 있다.
증강된 이미지 보정 프로세스(232)로부터의 출력은 조직의 입체 비디오 디스플레이 생성 프로세스(305, 도 3)에서 입체 디스플레이(241, 도 2)에 표시된다. 증강된 뷰잉 모드에서, 프로세스(301 내지 305)는 반복적으로 실행되어 외과의는 조직(203)의 실시간 비디오 증강된 이미지를 본다.
증강된 뷰잉 모드 동안, 외과의에게는 특정 컬러로 하이라이트된 관심의 영역(503, 도 5b)을 갖는 조직(203)의 3차원 제한된 대역폭 이미지가 제공된다. 2개의 가시 컬러 성분 조명 소스가 사용된 이러한 예에서, 조직(203)의 제한된 대역폭 이미지는 단색 제한된 대역폭 이미지이다.
도 5a의 이미지(203A)가 풀컬러이고 이미지(203B)가 제한된 대역폭 모노크로매틱 이미지이고, 2개의 이미지내의 정보 및 디테일의 레벨이 등가이지만, 유닛 이미지(203B)는 추가적인 하이라이트된 정보(503)를 포함한다. 이미지(203A, 203B)에 대한 뷰잉 모드 사이의 전환은 신속하게 그리고 실시간으로 일어난다.
증강된 디스플레이용 처리는 임의의 레이턴시를 도입하지 않고 추후 프레임에 대한 후속 처리를 위한 프레임의 저장을 필요로 하지 않는다. 이러한 처리는 실시간으로 일어나서 3차원 이미지의 하이라이트된 부분은 항상 3차원 이미지의 제한된 대역폭 모노크로매틱 부분과 동기화된다. 이와 대조하여, 형광 이미지를 포함하는 프레임이 저장된 후 시간상 추후 일어나는 프레임에 등록될 때, 하이라이트된 조직의 위치는 변경될 수 있어서 하이라이트된 이미지는 표시될 때 실제 위치로부터 변위된다.
외과의가 시각 t2에서 뷰잉 모드를 정상 입체 컬러 이미지로 다시 변경하기를 원할 때(도 4), 외과의는 뷰잉 모드를 정상 뷰잉 모드로 변경하기 위해 디스플레이 모드 실렉트(250, 도 2)를 사용한다. 이러한 변경에 응답하여, 형광 여기 소스(212)는 턴오프되고, 제3 가시 컬러 조명 성분은 턴온되고, 제2 및 제2 가시 컬러 조명 성분은 풀 출력 레벨로 리턴된다. 도 4를 참조하라. 이러한 처리는 정상 뷰잉 모드에 대하여 설명된 것과 동일하여서 반복되지 않는다.
하나의 특징에서, 이미지 처리 프로세스(304, 도 3)는 프로세서(131)에서, 메모리(132)에 저장된, 이미지 보정 모듈(135, 도 1)을 실행함으로써 실행된다. 이러한 예에서, 이미지 보정 모듈(135)은 컬러 모듈(136) 및 증강된 모듈(137)을 포함한다. 컬러 모듈(136)이 프로세서(131)에서 실행될 때, 컬러 이미지 보정 프로세스(231)가 실행된다. 증강된 모듈(137)이 프로세서(131)에서 실행될 때, 증강된 이미지 보정 프로세스(232)가 실행된다. 2개의 모듈(136,137)의 사용은 예시이다. 당업자는 2개의 모듈이 예를 들어, 단일 모드로서 구현될 수도 있음을 이해할 수 있다.
프로세스(304)가 프로세서에서 모듈을 실행하는 것을 포함하는 것으로 여기에 기술되어 있지만, 프로세스(231,232)와 함께 프로세스(304)가 하드웨어, 프로세서에서 실행되는 소프트웨어, 및 펌웨어의 임의의 조합에 의해 구현될 수 있음을 이해해야 한다. 또한, 펑션은 여기에 기술된 바와 같이, 하나의 유닛에 의해 실행될 수 있거나 상이한 컴포넌트 사이에 분할될 수 있고, 이러한 컴포넌트의 각각은 하드웨어, 프로세서에 의해 실행되는 소프트웨어 및 펌웨어의 임의의 조합에 의해 차례로 구현될 수 있다. 상이한 컴포넌트 사이에서 분할될 때, 이러한 컴포넌트는 하나의 위치에 결집될 수 있거나 분포된 처리 목적을 위해 시스템(100) 전반에 분포될 수 있다.
상기 예는 단지 예일 뿐 이에 한정되지는 않는다. 증강된 뷰잉 모드에서, 형광 여기 소스 및 가시 컬러 성분 조명 소스의 다양한 조합이 사용될 수 있다. 예를 들어, 외과의는 질환 조직, 예를 형광 종양, 및 다른 특정 조직, 예를 들어, 형광 태깅된 힘줄 모두를 보고 조직 절단을 회피하기를 원할 수 있다. 따라서, 형광 여기 소스(212, 도 2)에서 2개의 상이한 형광 여기 소스(도 7 참조)를 필요로 하는 2개의 상이한 형광체가 사용될 수 있다.
시각 t3에서 증강된 디스플레이 제어 신호에 응답하여, 조직 조명 프로세스(302)는 증강된 디스플레이 신호를 조합 광원(210)내의 파워 및 레벨 컨트롤러(215)에 전송한다. 증강된 디스플레이 신호에 응답하여, 파워 및 레벨 컨트롤러(215)는 형광 여기 소스(212)에서 2개의 형광 여기 조명 성분을 턴온하고 이러한 예에서, 가시 컬러 성분 소스(211)에서 제2 및 제3 가시 컬러 조명 성분을 턴오프하여 오직 제1 시각 컬러 조명 성분, 제1 형광 여기 조명 성분 및 제2 형광 여기 조명 성분만이 광섬유 번들(216)에 공급된다.
조직(203)은 제1 시각 컬러 조명 성분으로 조명되지만, 제2 및 제3 시각 컬러 조명 성분으로는 조명되지 않는다. 조직(203)은 또한 제1 및 제2 형광 여기 조명 성분에 의해 조명된다.
또한, 하나의 실시예에서, 파워 및 레벨 컨트롤러(215)는 제1 시각 컬러 조명 성분의 출력 레벨을 감소시키는데, 예를 들어, 출력 레벨을 1/10으로 감소시킨다. 따라서, 도 7에 도시된 바와 같이, 시각 t3 이후에, 제1 시각 컬러 조명 성분의 출력 레벨은 시각 t3 이전의 출력 레벨에 비교하여 감소되고, 제2 및 제3 시각 컬러 조명 성분 출력 레벨은 제로이다. 또한, 제1 및 제2 형광 여기 조명 성분은 턴온된다.
조직(203, 도 2)로부터의 광은 내시경(201)내의 입체 광경로에 의해 이미지 포착 시스템(220)으로 통과된다. 하나의 특징에서, 필터(221B, 222B)는 형광 이미지가 포착되기 전에 형광 여기 소스(212)로부터의 2개의 형광 여기 조명 성분으로부터의 임의의 반사광 또는 직접광을 여과하도록 사용된다.
따라서, 증강 뷰잉 모드에서 이미지 포착 프로세스(303, 도 3)에서, 좌측 이미지 CCD(221A)는 획득된 좌측 제1 가시 컬러 성분 이미지, 획득된 좌측 제1 형광 이미지, 및 획득된 좌측 제2 형광 이미지(721B, 도 7)를 포착한다. 우측 이미지 CCD(222A)는 획득된 우측 제1 가시 컬러 성분 이미지, 획득된 우측 제1 형광 이미지, 및 획득된 우측 제2 형광 이미지(722B, 도 7)를 포착한다.
예를 들어, 제3 가시 컬러 성분이 적색 가시 컬러 성분이고 제2 가시 컬러 성분이 청색이면, 좌측 이미지 CCD(221A)내의 녹색 CCD는 좌측 이미지에 대한 녹색 좌측 시각 컬러 성분 이미지를 포착한다. 좌측 이미지 CCD(221A)내의 적색 CCD는 좌측 제2 형광 이미지를 포착하고 좌측 이미지 CCD(221)내의 청색 CCD는 좌측 제1 형광 이미지를 포착한다. 마찬가지로, 우측 이미지 CCD(222A)내의 녹색 CCD는 우측 이미지에 대한 녹색 시각 컬러 성분 이미지를 포착한다. 우측 이미지 CCD(222A)내의 적색 CCD는 우측 제2 형광 이미지를 포착하고 우측 이미지 CCD(222A)내의 청색 CCD는 우측 제1 형광 이미지를 포착한다.
이러한 예에서, 제2 시각 컬러 성분 조명 소스도 제3 가시 컬러 성분 조명 소스도 존재하지 않는다. 따라서, 제2 및 제3 시각 컬러 조명 성분과 연관된 광은 조직(203)으로부터의 광에 포함되지 않는다. 이로 인해 이미지내의 제2 및 제3 가시 컬러 성분의 광을 정상적으로 포착하는 CCD 또는 CCD의 부분이 형광 이미지를 포착할 수 있게 된다.
상술된 바와 같이, 이미지 처리 프로세스(304)는 증강된 디스플레이 신호를 수신하였음을 기억해야 한다. 따라서, 이미지 처리 프로세스(304)는 이미지(721B, 722B)에 대하여 컬러 이미지 보정 프로세스(231)로부터 증강된 이미지 보정 프로세스(232)로 변경된다.
다시, 증강된 이미지 보정 프로세스(232)는 좌우 이미지 모두에 동일한 프로세스를 행하여 좌우 지정은 본원에서 고려되지 않는다. 도 8은 증강된 이미지 보정 프로세스(232B)로의 입력 정보 및 증강된 이미지 보정 프로세스(232B)로부터의 출력 정보의 블록도이다.
증강된 이미지 보정 프로세스(232B)는 제1 컬러 성분 입력부에서, 획득된 제1 시각 컬러 성분 이미지 AVC1; 제2 컬러 성분 입력부에서, 획득된 제1 형광 이미지 AF1; 및 제3 컬러 성분 입력부에서, 획득된 제2 형광 이미지 AF2를 수신한다. 증강된 이미지 보정 프로세스(232)는 다시, 제한된 대역폭 시각 이미지의 생성을 위해, 획득된 시각 컬러 성분 이미지의 평균을 형성하지만, 오직 하나의 시각 컬러 성분 이미지만이 획득되기 때문에, 이러한 평균은 획득된 제1 시각 컬러 성분 이미지 AVC1이다. 이러한 예에서, 제한된 대역폭 이미지의 각 컬러 성분은 획득된 제1 시각 컬러 성분 이미지 AVC1이다.
이러한 예에서, 증강된 이미지 보정 프로세스(232B)는 획득된 제1 형광 이미지 AF1는 획득된 제1 시각 컬러 성분 이미지 AVC1인 제한된 대역폭 이미지의 제2 컬러 성분에 추가하고, 이러한 결과를 제2 시각 컬러 성분에 대한 출력부에 제공한다. 증강된 이미지 보정 프로세스(232B)는 또한 획득된 제2 형광 이미지 AF2를 획득된 제1 시각 컬러 성분 이미지 AVC1인 제한된 대역폭 이미지의 제3 컬러 성분에 추가하고, 이러한 결과를 제3 시각 컬러 성분에 대한 출력부에 제공한다. 이러한 실시예에서, 이미지 AF1로부터의 화소 데이터 및 이미지 AF2로부터의 화소 데이터 모두를 포함하는 임의의 화소는 임의의 중간 컬러를 띠게 된다.
이러한 예에서, 획득된 제1 가시 컬러 성분 이미지 AVC1은 제1 가시 컬러 성분 출력부에 전송된다. 획득된 제1 가시 컬러 성분 이미지 AVC1과 획득된 제1 형광 이미지 AF1은 제2 시각 컬러 성분 출력부에 전송된다. 획득된 제1 가시 컬러 성분 이미지 AVC1과 획득된 제2 형광 이미지 AF2는 제3 가시 컬러 성분 출력부에 전송된다.
증강된 이미지 보정 프로세스(232)로부터의 출력은 조직의 입체 비디오 디스플레이 생성 프로세스(305)에서 입체 디스플레이(241, 도 2)에 표시된다. 증강된 뷰잉 모드에서, 프로세스(301, 305)는 반복적으로 실행되어 외과의는 조직(203)의 실시간 비디오 증강된 이미지를 본다.
따라서, 증강된 뷰잉 모드 동안, 외과의에게는 특정 컬러로 하이라이트된 관심의 제1 영역 및 상이한 컬러로 하이라이트된 관심의 제2 영역을 가진 조직(2030의 3차원 제한된 대역폭 이미지가 제공된다.
다시, 증강된 디스플레이를 위한 처리는 임의의 레이턴시를 도입하지 않고 추후 프레임에 대한 후속 처리를 위한 프레임의 저장을 필요로 하지 않는다. 이러한 처리는 실시간으로 일어나서 이미지의 하이라이트된 부분은 항상 이미지의 제한된 대역폭 모노크로매틱 부분과 동기화된다.
외과의가 시각 t4(도 7)에 뷰잉 모드를 다시 정상 입체 컬러 이미지로 변경하기 원하는 경우에, 외과의는 뷰잉 모드를 정상 뷰잉 모드로 변경하기 위해 디스플레이 모드 실렉트(250, 도 2)를 사용한다. 이러한 변경에 응답하여, 형광 여기 소스(212)내의 2개의 형광 여기 조명 성분은 턴오프되고, 제2 및 제3 가시 컬러 성분 조명 성분은 턴온되고 제1 가시 컬러 조명 성분은 풀 출력 레벨로 리턴된다. 이러한 처리는 정상 뷰잉 모드에 대해 상술된 것과 동일하여서 반복되지 않는다.
상기 설명에서, 카메라는 내시경에 인접하여 장착되었다. 그러나, 이것은 단지 예시일 뿐이고 제한을 위한 것은 아니다. 이러한 프로세스는 카메라가 뷰잉 광학기구로부터의 광으로부터 유용한 이미지를 획득할 수 있는 한 뷰잉 광학기구 및 카메라의 상대 위치에 관계없이 동일한 것을 처리한다. 예를 들어, 여기에 기술된 프로세스 및 구조는 칩-온-스틱(chip-on-stick) 내시경과 함께 사용될 수 있다. 칩-온-스틱 내시경은 내시경의 팁 근방의 광학기구 바로 뒤에 위치된 카메라와 함께 쇼트 옵틱스 세그먼트를 갖고 있다.
또한, 입체 내시경은 예로서 사용되었다. 이것은 또한 단지 예시일 뿐이고 제한을 위한 것은 아니다. 모노스코픽 내시경은 상기 예에서 입체 내시경 대신에 사용될 수도 있다. 모노스코픽 내시경만으로 좌우 이미지중 하나가 획득되고 상술된 바와 같이 처리된다.
본 발명의 특징 및 실시예를 설명하는 상기 설명 및 첨부된 도면은 본 발명을 제한하고자 하는 것이 아니고 본 발명은 청구범위에 의해 한정된다. 다양한 기계적, 조합적, 구조적, 전기적 그리고 동작 변화는 본 발명 및 청구범위의 정신 및 범위로부터 벗어남 없이 만들어질 수 있다. 일부 예에서, 주지된 회로, 구조 및 기술은 본 발명의 이해를 위해 상세하게 설명되지 않았다.
또한, 본 발명의 용어는 제한을 위한 것이 아니다. 예를 들어, "바로 아래", "하부", "위", "상부", "근방", "말단"등의 공각적으로 상대적인 용어가 도면에 설명된 바와 같이 하나의 엘리먼트 또는 특징부의 또 다른 엘리먼트 또는 특징부에 대한 관계를 설명하는데 사용될 수 있다. 이러한 공간적으로 상대적인 용어는 도면에 도시된 위치 및 방위에 더하여 사용중인 디바이스의 상이한 위치 및 방위(즉, 회전적 배치)를 포함하도록 되어 있다. 예를 들어, 도면내의 디바이스가 뒤집어져 있다면, 다른 엘리먼트 또는 특징부의 "아래" 또는 "바로 아래"로서 기술된 엘리먼트는 다른 엘리먼트 또는 특징부의 "위" 또는 "바로 위"이다. 따라서, 예시된 용어 "아래"는 상하의 위치 및 방위를 모두 포함할 수 있다. 그렇지 않으면, 이러한 디바이스는 방위지정될 수 있고(90도 회전되거나 다른 방위로 회전될 수 있다) 여기에 사용된 공간적으로 상대적인 용어는 이에 따라 해석될 수 있다. 마찬가지로, 다양한 축을 따른 이동의 설명은 다양한 특정 디바이스 위치 및 방위를 포함한다.
용어 "포함하다", "포함하는" 등은 기술된 특징, 단계, 동작, 엘리먼트 및/또는 컴포넌트의 존재를 특정하지만 하나 이상의 다른 특징, 단계, 동작, 엘리먼트, 컴포넌트 및/또는 그룹의 존재 또는 추가를 제한하지는 않는다. 쌍으로 기술된 컴포넌트는 전기적으로 또는 기계적으로 결합될 수 있거나, 이들은 하나 이상의 중간 컴포넌트를 통해 간접적으로 결합될 수 있다.
메모리는 휘발성 메모리, 비휘발성 메모리, 또는 이 2개의 임의의 조합을 나타낸다. 프로세서는 프로세서에 의해 실행되는 명령어를 포함하는 메모리에 결합되어 있다. 이것은 컴퓨터 시스템내에 달성될 수 있거나, 대안으로, 모뎀 또는 아날로그 라인, 또는 디지털 인터페이스 및 디지털 캐리어 라인을 통한 또 다른 컴퓨터로의 접속을 통해 달성될 수도 있다.
여기에서, 컴퓨터 프로그램 제품은 증강된 디스플레이 시스템에 대해 기술된 동작의 하나 또는 임의의 조합을 위해 필요한 컴퓨터 판독가능 코드를 저장하도록 구성된 논-트랜지토리 매체를 포함하거나 이러한 증강된 디스플레이 시스템 안에 증강된 디스플레이 시스템에 대해 기술된 하나 또는 임의의 조합의 동작에 대한 컴퓨터 판독가능 코드가 저장되어 있다. 컴퓨터 프로그램 제품의 일부 예는 CD-ROM 디스크, DVD 디스크, 플래시 메모리 ROM 카드, 플로피 디스크, 자기 테이프, 컴퓨터 하드 드라이브, 네트워크상의 서버이고 네트워크에서 전송되는 신호는 컴퓨터 판독가능 프로그램 코드를 나타낸다. 논-트랜지토리 접촉가능 컴퓨터 프로그램 제품은 증강된 디스플레이 시스템에 대해 기술된 하나 또는 임의의 조합의 동작에 대한 컴퓨터 판독가능 명령어를 저장하도록 구성된 논-트랜지토리 접촉가능 매체를 포함하거나, 그 안에, 증강된 디스플레이 시스템에 대해 기술된 하나 또는 임의의 조합의 동작에 대한 컴퓨터 판독가능 명령어가 저장되어 있다. 논-트랜지토리 접촉가능 컴퓨터 프로그램 제품은 CD-ROM 디스크, DVD 디스크, 플래시 메모리 ROM 카드, 플로피 디스크, 자기 테이프, 컴퓨터 하드 드라이브 및 다른 논-트랜지토리 물리적 저장 매체이다.
본원에서, 증강된 디스플레이 시스템에 대해 기술된 하나 또는 임의의 조합에서 사용된 명령어는 사용자의 관심의 운영체제 및 컴퓨터 프로그래밍 언어를 사용하여 광범위한 컴퓨터 시스템 컨피규레이션에서 구현될 수 있다.
모든 예시는 본원을 제한하는 것은 아니다. 제목은 단지 포맷팅을 위한 것이고 임의의 방법으로 본원을 한정하는 것은 아니다. 마지막으로, 본원에서, 하나의 특징 또는 실시예에 관련하여 기술된 특정 특징은 도면에서 구체적으로 도시되거나 문자로 기술되지 않았지만, 본 발명의 다른 개시된 특징 또는 실시예에 적용될 수 있다.

Claims (22)

  1. 원격 조정 시스템으로서,
    (i) 제1 획득된 성분 이미지를 포착하고, 상기 제1 획득된 성분 이미지와 상이한 제2 획득된 성분 이미지를 포착하도록 구성된 카메라;
    (ii) 상기 카메라에 접속된 컨트롤러로서,
    상기 컨트롤러는 제1 가시 컬러 성분 출력을 생성하도록 구성되고, 상기 제1 가시 컬러 성분 출력은 상기 제1 획득된 성분 이미지를 포함하고, 상기 제1 가시 컬러 성분은 백색광의 복수의 컬러 성분의 제1 가시 컬러 성분이고,
    상기 컨트롤러는 제2 가시 컬러 성분 출력을 생성하도록 구성되고, 상기 제2 가시 컬러 성분 출력은 상기 제1 획득된 성분 이미지를 포함하고,
    상기 컨트롤러는 상기 제2 가시 컬러 성분 출력이 제1 획득된 성분 이미지와 제2 획득된 성분 이미지 모두의 조합이 되도록, 상기 제2 가시 컬러 성분 출력에 상기 제2 획득된 성분 이미지를 포함하도록 구성되고, 상기 제2 가시 컬러 성분은 백색광의 복수의 컬러 성분의 제2 가시 컬러 성분이고,
    상기 컨트롤러는 제3 가시 컬러 성분 출력을 생성하도록 구성되고, 상기 제3 가시 컬러 성분 출력은 상기 제1 획득된 성분 이미지를 포함하고, 상기 제3 가시 컬러 성분은 백색광의 복수의 컬러 성분의 제3 가시 컬러 성분인, 상기 컨트롤러; 및
    (iii) 상기 제1, 제2 및 제3 가시 컬러 성분 출력을 수신하기 위해 구성되고, 상기 컨트롤러에 접속된 디스플레이로서,
    상기 디스플레이는 상기 제1, 제2 및 제3 가시 컬러 성분 출력을 디스플레이 하여 상기 제2 획득된 성분 이미지와 결합된 모노크로매틱 이미지를 얻기 위하여 구성되며, 상기 제2 획득된 성분 이미지는 모노크로매틱 이미지에 대하여 하이라이트되는 것인, 상기 디스플레이;를 포함하는 것을 특징으로 하는 원격 조정 시스템.
  2. 제1항에 있어서, 적어도 2개의 출력 조명 성분을 동시에 제공하도록 구성된 조명장치를 더 포함하고, 상기 출력 조명 성분 중 하나는 형광 여기 조명 성분이고, 다른 출력 조명 성분은 백색광 조명의 복수의 가시 컬러 조명 성분의 일부를 포함하고, 상기 적어도 2개의 출력 조명 성분은 상기 카메라가 이미지를 획득하는 사이트를 조명하는 데 사용되는 것을 특징으로 하는 원격 조정 시스템.
  3. 제2항에 있어서, 상기 다른 출력 조명 성분은 제1 가시 컬러 조명 성분을 포함하고,
    상기 제1 획득된 성분 이미지는 획득된 제1 가시 컬러 성분 이미지이고, 상기 제2 획득된 성분 이미지는 상기 형광 여기 조명 성분에 의해 여기된 형광 이미지인 것을 특징으로 하는 원격 조정 시스템.
  4. 제2항에 있어서, 상기 다른 출력 조명 성분은 제1 가시 컬러 조명 성분 및 제2 가시 컬러 조명 성분인 것을 특징으로 하는 원격 조정 시스템.
  5. 제4항에 있어서, 상기 카메라는 제3 획득된 성분 이미지를 포착하도록 더 구성되고, 상기 제1 획득된 성분 이미지는 획득된 제1 가시 컬러 성분 이미지이고; 상기 제2 획득된 성분 이미지는 획득된 형광 이미지이고; 상기 제3 획득된 성분 이미지는 획득된 제2 가시 컬러 성분 이미지인 것을 특징으로 하는 원격 조정 시스템.
  6. 제5항에 있어서, 상기 컨트롤러는 상기 획득된 제1 및 획득된 제2 가시 컬러 성분 이미지의 조합으로서 상기 제1 및 제3 가시 컬러 성분 출력을 생성하도록 구성되고; 그리고 상기 컨트롤러는 상기 획득된 제1 및 제 2 가시 컬러 성분 이미지와 상기 획득된 형광 이미지의 조합으로서 상기 제2 가시 컬러 성분 출력을 생성하도록 구성되는 것을 특징으로 하는 원격 조정 시스템.
  7. 제6항에 있어서, 상기 제1 가시 컬러 성분 출력은 청색 성분 출력이고, 상기 제2 가시 컬러 성분 출력은 녹색 성분 출력인 것을 특징으로 하는 원격 조정 시스템.
  8. 제6항에 있어서, 상기 제2 가시 컬러 성분 출력은 녹색 성분 출력인 것을 특징으로 하는 원격 조정 시스템.
  9. 제2항에 있어서, 상기 다른 출력 조명 성분은 제1 가시 조명 성분 및 제2 형광 여기 조명 성분인 것을 특징으로 하는 원격 조정 시스템.
  10. 제9항에 있어서, 상기 카메라는 제3 획득된 성분 이미지를 포착하도록 더 구성되고, 상기 제1 획득된 성분은 획득된 제1 가시 컬러 성분 이미지이고; 상기 제2 획득된 성분 이미지는 획득된 제1 형광 이미지이고; 상기 제3 획득된 성분 이미지는 획득된 제2 형광 이미지인 것을 특징으로 하는 원격 조정 시스템.
  11. 제10항에 있어서, 상기 컨트롤러는 상기 제3 획득된 성분 이미지를 상기 제3 가시 컬러 성분 출력에 더하도록 구성되는 것을 특징으로 하는 원격 조정 시스템.
  12. 제2항에 있어서, 상기 조명장치는,
    제1 가시 컬러 조명 성분 소스;
    제2 가시 컬러 조명 성분이 상기 제1 가시 컬러 조명 성분과 상이한 제2 가시 컬러 조명 성분 소스;
    제3 가시 컬러 조명 성분이 상기 제2 가시 컬러 조명 성분 및 상기 제1 가시 컬러 조명 성분과 상이한 제3 가시 컬러 조명 성분 소스; 및
    형광 여기 조명 소스를 포함하고,
    상기 원격 조정 시스템은, 상기 제1, 제2, 제3 가시 컬러 성분 조명 소스 및 상기 형광 여기 조명 소스에 접속된 파워 레벨 및 전원 컨트롤러; 및
    상기 파워 레벨 및 전원 컨트롤러에 결합되어 있고, 제1 상태 및 제2 상태를 갖는 모드 체인저;를 더 포함하고,
    상기 모드 체인저가 제1 상태를 가질 때, 상기 파워 레벨 및 전원 컨트롤러는, (a) 상기 제1, 제2, 제3 가시 컬러 조명 성분 소스에 전력을 제공하고, 상기 형광 여기 소스에는 전력을 공급하지 않도록 구성되고, (b) 상기 제1, 제2, 제3 가시 컬러 조명 성분 소스는 각각이 제1 레벨의 조명을 갖고;
    상기 모드 체인저가 제2 상태를 가질 때, 상기 파워 레벨 및 전원 컨트롤러는, (a) 상기 제1 가시 컬러 조명 성분 소스, 상기 제2 가시 컬러 조명 성분 소스의 적어도 일부, 그리고 상기 형광 여기 소스에 전력을 제공하고, 상기 제3 가시 컬러 조명 성분 소스에는 전력을 제공하지 않도록 구성되고, (b) 상기 제1 가시 컬러 조명 성분 소스 및 제2 가시 컬러 조명 성분 소스의 조명의 레벨을 감소시키도록 구성된 것을 특징으로 하는 원격 조정 시스템.
  13. 증강된 이미지 디스플레이를 생성하기 위한 원격 조정 시스템 작동 방법으로서,
    컨트롤러에 의해, 제1 획득된 성분 이미지를 포함하는 제1 가시 컬러 성분 출력을 생성하는 단계 - 상기 제1 가시 컬러 성분은 백색광의 복수의 가시 컬러 성분의 제1 가시 컬러 성분이고-;
    상기 컨트롤러에 의해, 상기 제1 획득된 성분 이미지를 포함하는 제2 가시 컬러 성분 출력을 생성하는 단계;
    상기 제2 가시 컬러 성분 출력은 상기 제1 획득된 성분 이미지와 제2 획득된 성분 이미지 모두의 조합이 되도록, 상기 컨트롤러에 의해, 상기 제2 가시 컬러 성분 출력에 상기 제2 획득된 성분 이미지를 포함하는 단계 - 상기 제2 획득된 성분 이미지는 제1 형광 여기 조명 소스로부터의 조명에 의하여 여기된 형광을 나타내고, 상기 제2 가시 컬러 성분은 백색광의 상기 복수의 가시 컬러 성분의 제2 가시 컬러 성분임-;
    상기 컨트롤러에 의해, 제3 가시 컬러 성분 출력을 생성하는 단계-상기 제3 가시 컬러 성분 출력은 상기 제1 획득된 성분 이미지를 포함하고, 상기 제3 가시 컬러 성분은 백색광의 상기 복수의 가시 컬러 성분의 제3 가시 컬러 성분임-; 및
    상기 제2 획득된 성분 이미지와 조합된 모노크로매틱 이미지를 얻기 위하여, 디스플레이 스크린상에, 상기 제1, 제2 및 제3 컬러 성분 출력을 표시하는 단계 - 상기 제2 획득된 성분 이미지는 상기 모노크로매틱 이미지에 대하여 하이라이트 되는 것임-;
    를 포함하는 것을 특징으로 하는 증강된 이미지 디스플레이를 생성하기 위한 원격 조정 시스템 작동 방법.
  14. 제13항에 있어서, 상기 제1 획득된 성분 이미지는 획득된 제1 가시 컬러 성분 이미지인 것을 특징으로 하는 증강된 이미지 디스플레이를 생성하기 위한 원격 조정 시스템 작동 방법.
  15. 제13항에 있어서, 상기 제1 획득된 성분 이미지는 획득된 제1 가시 컬러 성분 이미지이고, 상기 방법은,
    상기 컨트롤러에 의해, 제3 획득된 성분 이미지를 수신하는 단계를 더 포함하고, 상기 제3 획득된 성분 이미지는 획득된 제2 가시 컬러 성분 이미지인 것을 특징으로 하는 증강된 이미지 디스플레이를 생성하기 위한 원격 조정 시스템 작동 방법.
  16. 제15항에 있어서, 상기 제1 가시 컬러 성분 출력을 생성하는 단계는, 상기 제1 가시 컬러 성분 출력이 상기 제1 획득된 성분 이미지와 상기 제3 획득된 성분 이미지 모두의 조합이 되도록 상기 제1 가시 컬러 성분 출력에 상기 제3 획득된 성분 이미지를 포함하는 단계를 더 포함하고,
    상기 제2 가시 컬러 성분 출력을 생성하는 단계는, 상기 제2 가시 컬러 성분 출력이 상기 제1 획득된 성분 이미지, 상기 제2 획득된 성분 이미지 및 상기 제3 획득된 성분 이미지의 조합이 되도록 상기 제2 가시 컬러 성분 출력에 상기 제3 획득된 성분 이미지를 포함하는 단계를 더 포함하고,
    상기 제3 가시 컬러 성분 출력을 생성하는 단계는, 상기 제3 가시 컬러 성분 출력이 상기 제1 획득된 성분 이미지와 상기 제3 획득된 성분 이미지 모두의 조합이 되도록 상기 제3 가시 컬러 성분 출력에 상기 제3 획득된 성분 이미지를 포함하는 단계를 더 포함하는 것을 특징으로 하는 증강된 이미지 디스플레이를 생성하기 위한 원격 조정 시스템 작동 방법.
  17. 제13항에 있어서, 상기 제1 획득된 성분 이미지는 획득된 제1 가시 컬러 성분 이미지이고, 상기 방법은,
    상기 컨트롤러에 의해, 제3 획득된 성분 이미지를 수신하는 단계를 더 포함하고,
    상기 제3 획득된 성분 이미지는 획득된 제2 형광 이미지인 것을 특징으로 하는 증강된 이미지 디스플레이를 생성하기 위한 원격 조정 시스템 작동 방법.
  18. 제17항에 있어서, 상기 제3 가시 컬러 성분을 생성하는 단계는, 상기 컨트롤러에 의해, 상기 제3 가시 컬러 성분 출력이 상기 제1 획득된 성분 이미지와 상기 제3 획득된 성분 이미지 모두의 조합이 되도록 상기 제3 가시 컬러 성분 출력에 상기 제3 획득된 성분 이미지를 포함하는 단계를 더 포함하는 것을 특징으로 하는 증강된 이미지 디스플레이를 생성하기 위한 원격 조정 시스템 작동 방법.
  19. 제13항에 있어서, 백색광 조명의 복수의 가시 컬러 조명 성분의 일부로 수술 사이트를 조명하는 단계를 더 포함하는 것을 특징으로 하는 증강된 이미지 디스플레이를 생성하기 위한 원격 조정 시스템 작동 방법.
  20. 증강된 이미지 디스플레이를 생성하기 위한 원격 조정 시스템 작동 방법으로서,
    컨트롤러의 복수의 가시 컬러 성분 입력부의 제1 가시 컬러 성분 입력부에서, 획득된 제1 가시 컬러 성분 이미지를 수신하는 단계;
    컨트롤러의 상기 복수의 가시 컬러 성분 입력부의 제2 가시 컬러 성분 입력부에서, 획득된 형광 이미지를 수신하는 단계;
    컨트롤러의 제1 가시 컬러 성분 출력부에서, 상기 획득된 제1 가시 컬러 성분 이미지를 나타내는 제1 신호를 생성하는 단계;
    컨트롤러의 제2 가시 컬러 성분 출력부에서, 상기 획득된 제1 가시 컬러 성분 이미지 및 상기 획득된 형광 이미지의 조합을 나타내는 제2 신호를 생성하는 단계;
    컨트롤러의 제3 가시 컬러 성분 출력부에서, 상기 획득된 제1 가시 컬러 성분 이미지를 나타내는 제3 신호를 생성하는 단계;
    디스플레이 장치에 의하여, 상기 디스플레이 장치의 제1 가시 성분 입력부에서 상기 제1 신호, 상기 디스플레이 장치의 제2 가시 성분 입력부에서 상기 제2 신호, 및 상기 디스플레이 장치의 제3 가시 성분 입력부에서 상기 제3 신호를 수신하는 단계; 및
    상기 디스플레이 장치에 의하여, 상기 획득된 형광 이미지와 조합된 모노크로매틱 이미지를 표시하는 단계 - 상기 획득된 형광 이미지는 상기 모노크로매틱 이미지에 대하여 하이라이트된 것이고, 상기 획득된 형광 이미지와 조합된 상기 모노크로매틱 이미지는 상기 제1, 제2 및 제3 신호의 조합인 것-;
    를 포함하는 것을 특징으로 하는 증강된 이미지 디스플레이를 생성하기 위한 원격 조정 시스템 작동 방법.
  21. 제20항에 있어서, 상기 컨트롤러의 상기 복수의 가시 컬러 성분 입력부의 제3 가시 컬러 성분 입력부에서, 획득된 제2 가시 컬러 성분 이미지를 수신하는 단계를 더 포함하고,
    상기 제1 신호를 생성하는 단계는 상기 제1 신호가 상기 획득된 제1 가시 컬러 성분 이미지 및 상기 획득된 제2 가시 컬러 성분 이미지의 조합이 되도록 상기 제1 신호에 상기 제2 획득된 가시 컬러 성분 이미지를 포함하는 단계를 더 포함하고,
    상기 제2 신호를 생성하는 단계는, 제2 신호가 상기 획득된 제1 가시 컬러 성분 이미지 및 상기 획득된 제2 가시 컬러 성분 이미지의 조합에 상기 획득된 형광 이미지를 더한 것이 되도록, 상기 제2 신호에 상기 획득된 제2 가시 컬러 성분 이미지를 포함하는 단계를 더 포함하고,
    상기 제3 신호를 생성하는 단계는 제3 신호가 상기 획득된 제1 가시 컬러 성분 이미지 및 상기 획득된 제2 가시 컬러 성분 이미지의 조합이 되도록, 상기 제3 신호에 상기 획득된 제2 가시 컬러 성분 이미지를 포함하는 단계를 더 포함하는 것을 특징으로 하는 증강된 이미지 디스플레이를 생성하기 위한 원격 조정 시스템 작동 방법.
  22. 제20항에 있어서, 상기 컨트롤러의 상기 복수의 가시 컬러 성분 입력부의 제3 가시 컬러 성분 입력부에서, 획득된 제2 형광 이미지를 수신하는 단계를 더 포함하고,
    상기 제3 신호를 생성하는 단계는 상기 제3 신호가 상기 획득된 제1 가시 컬러 성분 이미지 및 상기 획득된 제2 형광 이미지의 조합이 되도록 제3 신호에 상기 획득된 제2 형광 이미지를 포함하는 단계를 더 포함하는 것을 특징으로 하는 증강된 이미지 디스플레이를 생성하기 위한 원격 조정 시스템 작동 방법.
KR1020127023355A 2010-07-02 2011-06-22 선택형 조명 스펙트럼으로 구성된 배경 수술 이미지에 의한 형광 이미징 방법 및 시스템 KR101813909B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US36126010P 2010-07-02 2010-07-02
US61/361,260 2010-07-02
US12/855,864 US9211058B2 (en) 2010-07-02 2010-08-13 Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra
US12/855,864 2010-08-13
PCT/US2011/041479 WO2012003127A1 (en) 2010-07-02 2011-06-22 Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020177037088A Division KR101913622B1 (ko) 2010-07-02 2011-06-22 선택형 조명 스펙트럼으로 구성된 배경 수술 이미지에 의한 형광 이미징 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20130097058A KR20130097058A (ko) 2013-09-02
KR101813909B1 true KR101813909B1 (ko) 2018-01-30

Family

ID=44514962

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177037088A KR101913622B1 (ko) 2010-07-02 2011-06-22 선택형 조명 스펙트럼으로 구성된 배경 수술 이미지에 의한 형광 이미징 방법 및 시스템
KR1020127023355A KR101813909B1 (ko) 2010-07-02 2011-06-22 선택형 조명 스펙트럼으로 구성된 배경 수술 이미지에 의한 형광 이미징 방법 및 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177037088A KR101913622B1 (ko) 2010-07-02 2011-06-22 선택형 조명 스펙트럼으로 구성된 배경 수술 이미지에 의한 형광 이미징 방법 및 시스템

Country Status (6)

Country Link
US (2) US9211058B2 (ko)
EP (1) EP2587988B1 (ko)
JP (4) JP6073784B2 (ko)
KR (2) KR101913622B1 (ko)
CN (2) CN102958426B (ko)
WO (1) WO2012003127A1 (ko)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2291640B1 (en) 2008-05-20 2018-12-26 University Health Network Device and method for fluorescence-based imaging and monitoring
US9019345B2 (en) * 2010-07-02 2015-04-28 Intuitive Surgical Operations, Inc. Imaging mode blooming suppression
US10682198B2 (en) 2010-07-02 2020-06-16 Intuitive Surgical Operations, Inc. Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra
US9211058B2 (en) * 2010-07-02 2015-12-15 Intuitive Surgical Operations, Inc. Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra
US10687697B2 (en) * 2013-03-15 2020-06-23 Stryker Corporation Endoscopic light source and imaging system
CN105377112B (zh) * 2013-07-05 2017-08-18 奥林巴斯株式会社 医疗显示装置以及内窥镜手术系统
JP2017516507A (ja) * 2014-03-17 2017-06-22 インテュイティブ サージカル オペレーションズ， インコーポレイテッド イメージング器具の向きの制御のためのシステム及び方法
US10512512B2 (en) * 2014-03-17 2019-12-24 Intuitive Surgical Operations, Inc. System and method for tissue contact detection and for auto-exposure and illumination control
WO2015142800A1 (en) * 2014-03-17 2015-09-24 Intuitive Surgical Operations, Inc. Surgical system including a non-white light general illuminator
WO2016011534A1 (en) 2014-07-24 2016-01-28 University Health Network Collection and analysis of data for diagnostic purposes
US10152789B2 (en) 2014-07-25 2018-12-11 Covidien Lp Augmented surgical reality environment
CN106535805B (zh) 2014-07-25 2019-06-18 柯惠Lp公司 用于机器人手术系统的增强手术现实环境
US10524665B2 (en) 2014-10-22 2020-01-07 Institute Of Automation, Chinese Academy Of Sciences Handheld molecular imaging navigation system
CN104323858B (zh) * 2014-10-22 2017-02-22 中国科学院自动化研究所 手持式分子影像导航系统
JP2019502419A (ja) * 2015-11-05 2019-01-31 コヴィディエン リミテッド パートナーシップ 表層下血液の検出のためのシステムと方法
JP6461024B2 (ja) 2016-02-05 2019-01-30 富士フイルム株式会社 画像位置合せ装置、方法およびプログラム
EP3284396B1 (en) * 2016-08-16 2020-02-12 Leica Instruments (Singapore) Pte. Ltd. Observation apparatus and method for visual enhancement of an observed object
CN106377219A (zh) * 2016-10-11 2017-02-08 重庆金山医疗器械有限公司 一种全彩黑白双镜头胶囊内窥镜及其工作系统
US20200163538A1 (en) * 2017-05-17 2020-05-28 Sony Corporation Image acquisition system, control apparatus, and image acquisition method
KR102351542B1 (ko) * 2017-06-23 2022-01-17 삼성전자주식회사 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
JP2021006070A (ja) * 2017-09-10 2021-01-21 カイロス株式会社 内視鏡システム
WO2019171615A1 (ja) * 2018-03-05 2019-09-12 オリンパス株式会社 内視鏡システム
WO2019181212A1 (ja) * 2018-03-23 2019-09-26 ソニー・オリンパスメディカルソリューションズ株式会社 医療用表示制御装置、および表示制御方法
DE102018110640B4 (de) 2018-05-03 2020-01-23 Carl Zeiss Meditec Ag Verfahren und Mikroskop zum Abbilden eines Objekts
US10524666B2 (en) 2018-05-09 2020-01-07 Inner Ray, Inc. White excitation light generating device and white excitation light generating method
US20200022657A1 (en) * 2018-07-18 2020-01-23 General Electric Company Minimally invasive procedure analysis and review system and method
JP7286948B2 (ja) * 2018-11-07 2023-06-06 ソニーグループ株式会社 医療用観察システム、信号処理装置及び医療用観察方法
US20220095903A1 (en) * 2019-01-25 2022-03-31 Intuitive Surgical Operations, Inc. Augmented medical vision systems and methods
US11442254B2 (en) 2019-04-05 2022-09-13 Inner Ray, Inc. Augmented reality projection device
US11284783B2 (en) 2019-06-20 2022-03-29 Cilag Gmbh International Controlling integral energy of a laser pulse in a hyperspectral imaging system
US20230066301A1 (en) * 2020-03-19 2023-03-02 Sony Olympus Medical Solutions Inc. Medical observation system, control device, and control method
WO2022056362A1 (en) * 2020-09-11 2022-03-17 Verily Life Sciences Llc Image processing to compensate for scene lighting during surgical procedures
JPWO2022195940A1 (ko) * 2021-03-19 2022-09-22

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009131840A1 (en) * 2008-04-26 2009-10-29 Intuitive Surgical, Inc. Augmented stereoscopic visualization for a surgical robot
JP2010136769A (ja) * 2008-12-09 2010-06-24 Fujifilm Corp 撮像装置

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63242232A (ja) 1987-03-31 1988-10-07 株式会社東芝 計測内視鏡装置
JP3020973B2 (ja) 1989-12-29 2000-03-15 キヤノン株式会社 画像処理方法
US5590660A (en) * 1994-03-28 1997-01-07 Xillix Technologies Corp. Apparatus and method for imaging diseased tissue using integrated autofluorescence
JP3962122B2 (ja) * 1996-11-20 2007-08-22 オリンパス株式会社 内視鏡装置
US6331181B1 (en) 1998-12-08 2001-12-18 Intuitive Surgical, Inc. Surgical robotic tools, data architecture, and use
DE19800312A1 (de) * 1998-01-07 1999-07-08 Wolf Gmbh Richard Diagnosegerät zur bildgebenden Aufnahme fluoreszierender biologischer Gewebebereiche
CN1341003A (zh) * 1999-01-26 2002-03-20 牛顿实验室公司 用于内窥镜的自发荧光成象系统
US6867851B2 (en) * 1999-11-04 2005-03-15 Regents Of The University Of Minnesota Scanning of biological samples
JP2001178672A (ja) 1999-12-24 2001-07-03 Fuji Photo Film Co Ltd 蛍光画像表示装置
JP2002095663A (ja) * 2000-09-26 2002-04-02 Fuji Photo Film Co Ltd センチネルリンパ節光断層画像取得方法および装置
JP2002102145A (ja) 2000-09-28 2002-04-09 Asahi Optical Co Ltd 電子内視鏡システム
JP4589514B2 (ja) * 2000-10-11 2010-12-01 Ｈｏｙａ株式会社 電子内視鏡システム
US6826424B1 (en) * 2000-12-19 2004-11-30 Haishan Zeng Methods and apparatus for fluorescence and reflectance imaging and spectroscopy and for contemporaneous measurements of electromagnetic radiation with multiple measuring devices
JP4723109B2 (ja) * 2001-04-03 2011-07-13 本田技研工業株式会社 太陽電池モジュールの製造方法および太陽電池モジュール製造用治具
US6899675B2 (en) 2002-01-15 2005-05-31 Xillix Technologies Corp. Fluorescence endoscopy video systems with no moving parts in the camera
US20060241496A1 (en) 2002-01-15 2006-10-26 Xillix Technologies Corp. Filter for use with imaging endoscopes
JP3869324B2 (ja) * 2002-06-26 2007-01-17 オリンパス株式会社 蛍光観察用画像処理装置
JP4217477B2 (ja) 2002-12-27 2009-02-04 Ｈｏｙａ株式会社 診断補助用装置
US7697975B2 (en) 2003-06-03 2010-04-13 British Colombia Cancer Agency Methods and apparatus for fluorescence imaging using multiple excitation-emission pairs and simultaneous multi-channel image detection
JP2005111080A (ja) * 2003-10-09 2005-04-28 Olympus Corp 手術支援システム
US20060013523A1 (en) 2004-07-16 2006-01-19 Luna Innovations Incorporated Fiber optic position and shape sensing device and method relating thereto
JP4610970B2 (ja) 2004-09-07 2011-01-12 オリンパス株式会社 着脱フィルタ装置および内視鏡装置
JP5197916B2 (ja) * 2004-09-08 2013-05-15 オリンパス株式会社 内視鏡装置
JP2006134056A (ja) 2004-11-05 2006-05-25 Hitachi Ltd 情報表示装置
JP2006263044A (ja) * 2005-03-23 2006-10-05 Fuji Photo Film Co Ltd 蛍光検出システム
JP5114024B2 (ja) 2005-08-31 2013-01-09 オリンパス株式会社 光イメージング装置
KR101477133B1 (ko) 2006-06-13 2014-12-29 인튜어티브 서지컬 인코포레이티드 미소절개 수술 시스템
JP2008161550A (ja) 2006-12-28 2008-07-17 Olympus Corp 内視鏡システム
CA2713113A1 (en) * 2008-01-24 2009-07-30 Lifeguard Surgical Systems Common bile duct surgical imaging system
US20090236541A1 (en) * 2008-03-24 2009-09-24 General Electric Company System and Methods for Optical Imaging
JP5081720B2 (ja) * 2008-05-22 2012-11-28 富士フイルム株式会社 蛍光内視鏡装置および励起光ユニット
JP5216429B2 (ja) 2008-06-13 2013-06-19 富士フイルム株式会社 光源装置および内視鏡装置
JP2010082041A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp 電子内視鏡システム
JP2010082141A (ja) 2008-09-30 2010-04-15 Fujinon Corp 電子内視鏡装置
DE102008062650B9 (de) 2008-12-17 2021-10-28 Carl Zeiss Meditec Ag Operationsmikroskop zur Beobachtung einer Infrarot-Fluoreszenz und Verfahren hierzu
US20110270057A1 (en) * 2009-01-07 2011-11-03 Amit Pascal Device and method for detection of an in-vivo pathology
CN102869294B (zh) * 2010-04-28 2015-09-30 奥林巴斯株式会社 图像处理装置和荧光观察装置
US9211058B2 (en) * 2010-07-02 2015-12-15 Intuitive Surgical Operations, Inc. Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009131840A1 (en) * 2008-04-26 2009-10-29 Intuitive Surgical, Inc. Augmented stereoscopic visualization for a surgical robot
JP2010136769A (ja) * 2008-12-09 2010-06-24 Fujifilm Corp 撮像装置

Also Published As

Publication number Publication date
JP2018140186A (ja) 2018-09-13
KR20180004287A (ko) 2018-01-10
CN102958426A (zh) 2013-03-06
WO2012003127A1 (en) 2012-01-05
JP2020006244A (ja) 2020-01-16
CN102958426B (zh) 2015-09-16
US20160089013A1 (en) 2016-03-31
JP6073784B2 (ja) 2017-02-01
KR20130097058A (ko) 2013-09-02
EP2587988A1 (en) 2013-05-08
CN105231976B (zh) 2017-04-26
CN105231976A (zh) 2016-01-13
KR101913622B1 (ko) 2018-11-01
JP2017104567A (ja) 2017-06-15
JP7049302B2 (ja) 2022-04-06
JP2013531538A (ja) 2013-08-08
JP6605654B2 (ja) 2019-11-13
US20120004557A1 (en) 2012-01-05
JP6321224B2 (ja) 2018-05-09
EP2587988B1 (en) 2014-11-12
US9211058B2 (en) 2015-12-15

Similar Documents

Publication Publication Date Title
KR101813909B1 (ko) 선택형 조명 스펙트럼으로 구성된 배경 수술 이미지에 의한 형광 이미징 방법 및 시스템
US11381759B2 (en) Multi-function imaging
KR101580117B1 (ko) 수술 로봇용 확대 입체 가시영상
US11717375B2 (en) Methods and systems for alternate image display
JP5997643B2 (ja) 内視鏡システム及びプロセッサ装置並びに作動方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant