KR102390141B1 - 수술기기 내의 이미지 캡쳐 장치 - Google Patents

수술기기 내의 이미지 캡쳐 장치 Download PDF

Info

Publication number
KR102390141B1
KR102390141B1 KR1020217020786A KR20217020786A KR102390141B1 KR 102390141 B1 KR102390141 B1 KR 102390141B1 KR 1020217020786 A KR1020217020786 A KR 1020217020786A KR 20217020786 A KR20217020786 A KR 20217020786A KR 102390141 B1 KR102390141 B1 KR 102390141B1
Authority
KR
South Korea
Prior art keywords
image capture
image
sensor
capture sensor
light
Prior art date
Application number
KR1020217020786A
Other languages
English (en)
Other versions
KR20210087564A (ko
Inventor
이안 이. 맥도웰
존 디. 스턴
Original Assignee
인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/209,041 external-priority patent/US8764633B2/en
Priority claimed from US13/209,158 external-priority patent/US8784301B2/en
Priority claimed from US13/209,084 external-priority patent/US8734328B2/en
Priority claimed from US13/208,982 external-priority patent/US8672838B2/en
Priority claimed from US13/209,121 external-priority patent/US8684914B2/en
Application filed by 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 filed Critical 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority to KR1020227012984A priority Critical patent/KR102529996B1/ko
Publication of KR20210087564A publication Critical patent/KR20210087564A/ko
Application granted granted Critical
Publication of KR102390141B1 publication Critical patent/KR102390141B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051—Details of CCD assembly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00982—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body combined with or comprising means for visual or photographic inspections inside the body, e.g. endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3618—Image-producing devices, e.g. surgical cameras with a mirror
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • H04N2005/2255—

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Endoscopes (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Studio Devices (AREA)
  • Stroboscope Apparatuses (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

미소절개수술 시스템(200)에서, 이미지 캡쳐 유닛(325R)은 렌즈(304R) 및 센서 어셈블리(320R)를 포함한다. 센서 어셈블리(320R)는 프리즘 어셈블리(330R) 및 이미지 캡쳐 센서(310R, 315R)를 포함한다. 각각의 동평면인 이미지 캡쳐 센서는 공통의 프론트엔드 광학 구조, 예컨대, 렌즈 어셈블리(304R)를 가진다. 제어기(260)는 동평면의 이미지 캡쳐 센서에 의해 캡쳐된 이미지를 강화한다. 강화된 이미지는 (a) 강화된 특징부 선명도를 가진 가시 이미지; (b) 증가된 이미지 겉보기 해상도를 가진 이미지; (c) 증가된 동적 범위를 가진 이미지; (d) 3 이상의 색 성분을 가진 픽셀 색 성분 백터를 기초로 하는 방식으로 디스플레이된 이미지; 및 (e) 연장된 피사계심도를 가진 이미지를 포함한다.

Description

수술기기 내의 이미지 캡쳐 장치 {AN APPARATUS FOR IMAGE CAPTURE IN A SURGICAL INSTRUMENT}
본 발명은 일반적으로 내시경 이미징에 관한 것이고, 더욱 상세하게는 복수의 이미지 캡쳐 센서 내의 공통의 프론트엔드 광학 구조로부터의 광을 캡쳐하는 것에 관한 것이다.
캘리포니아 써니베일의 인튜어티브 서지컬에 의해 상용화된 다빈치® 서지컬 시스템은 환자에게 신체에 대한 감소된 정신적 외상, 빠른 회복, 및 짧은 입원기간과 같은 다양한 이점을 제공하는 원격조종 미소절개수술 시스템이다. 다빈치® 서지컬 시스템(예컨대, 모델 IS3000, da Vinci® Si HD)의 한가지 주요 컴포넌트는 2채널(즉, 좌우) 비디오 캡쳐 및 수술의에게 입체적인(stereoscopic) 화면을 제공하기 위한 볼 수 있는 이미지의 디스플레이를 제공할 수 있는 기능이다. 이러한 전자 입체 이미지화 시스템은 수술의에게 높은 선명도의 비디오 이미지를 출력할 수 있고, 수술의가 특정 조직의 종류 및 특성을 식별할 수 있게 함은 물론 높은 정밀도로 수술할 수 있게 하는 "확대된" 화면을 제공하도록 줌과 같은 기능을 가능하게 할 수 있다.
미소절개수술 시스템에서 전형적으로, 이미지 캡쳐 시스템은 입체 내시경의 (수술 위치에서 멀리 떨어진) 근단부(proximal end)에 연결된다. 그러나, 몇몇 입체 내시경은 내시경의 (수술 위치와 가장 가까운) 말단부(distal end)에 이미지 캡쳐 컴포넌트를 포함한다. 도 1a 및 1d는 (1988년 2월 24일에 출원된) 미국특허번호 제4,873,572호로부터의 입체 내시경의 말단부에 있는 이미지 캡쳐 센서 구성의 예이다.
도 1a에서, 내시경의 말단부(100A)는 내시경의 세로축(133A)과 일치하는 중심선을 가지는 접시형(plate-like) 패키지(113A)를 포함한다. 2개의 전하결합소자(CCDs)(114A1 및 114A2)는 패키지(113A)의 반대면 상에 설치되어 있다. 2개의 대물렌즈(115A1 및 115A2)는 내시경의 세로축(133A)의 양측에 대칭으로 배치된다. 미러(116A1, 116A2)는 각각의 대물렌즈(115A1, 115A2)의 광축 상에 대칭적으로 배치된다. 내시경 외부의 물체에서부터 반사된 광은 대물렌즈(115A1, 115A2)를 통과하고, CCDs(114A1 및 114A2)의 이미징 면 상으로 미러(116A1, 116A2)에 의해 반사된다. CCDs(114A1 및 114A2)로부터의 비디오 신호는 내시경 외부의 비디오 프로세서로 전송된다.
도 1b에서, 내시경의 말단부(100B)는 도 1a에서의 대물렌즈(115A1 및 115A2)와 동일하게 배치된 2개의 대물렌즈(115B1, 115B2)를 포함한다. 미러(116B1, 116B2)는 내시경의 세로축(133B)으로부터 옮겨져 세로축(133B)과 평행한 미러면을 가지도록 설치된다. 내시경 외부의 물체로부터 반사된 광은 대물렌즈(115B1, 115B2)를 통과하고 미러(116B1, 116B2)에 의해 굴절 프리즘(117B1, 117B2)으로 반사된다. 프리즘(117B1, 117B2)으로부터의 광 경로는 CCDs(114B1, 114B2)의 이미징 면을 향한다. CCDs(114B1 및 114B2)는 CCDs(114B1, 114B2)의 이미징 면이 각각 프리즘(117B1, 117B2)으로부터의 광 경로의 광 축과 직각으로 교차하도록 설치된다. 그러므로, CCD(114B1 및 114B2)는 내시경의 세로축(133B)에 대하여 사전결정된 각도로 기울어진 이미징 면을 가지도록 각각 설치된다.
도 1c에서, 2개의 대물렌즈(115C1 및 115C2)는, 예컨대, 렌즈의 중심축으로부터 위쪽으로 벗어나 있다. 반사 프리즘(117C1 및 117C2)은 각각의 대물렌즈(115C1 및 115C2)의 광축 상에 배치된다. 프리즘(115C1 및 115C2)의 중심은 각각의 대물렌즈(115C1 및 115C2)와 동일한 높이에 위치하지만, 수평 방향으로 약간 변위된다. 프리즘(117C1)은 대물렌즈(115C1)로부터 좌측으로 약간 변위되고, 프리즘(117C2)은 대물렌즈(115C2)로부터 우측으로 약간 변위된다.
각각의 프리즘(117C1 및 117C2)에 의해 반사된 광은 패키지(113C)에 고정된 CCD(114C)의 이미징면 상에 이미지를 형성하도록 프리즘(118C)의 각각의 경사면에 의해 반사된다. CCD(114C)로부터의 비디오 신호는 내시경 외부의 비디오 프로세서로 전송된다.
도 1d에서, 내시경의 말단부(100D)는 도 1c의 대물렌즈(115C1 및 115C2)와 동일하게 배열된 2개의 편심 대물렌즈(115D1, 115D2)를 포함한다. 프리즘(117D1 및 117D2)의 위치는 도 1C의 프리즘(117C1, 117C2)과 달리 앞뒤로 변위된다. 프리즘(117D1 및 117D2)으로부터의 광은 내시경의 세로축과 평행한, 패키지(113D) 상에 인접하게 설치된 CCDs(114D1 및 114D2) 상에 각각의 이미지를 형성하도록 미러(118D1 및 118D2)에 의해 각각 반사된다.
하나의 미러(118D1)는 오목하여서, CCD(114D2) 상의 이미지에 대한 광 경로보다 약간 짧은 광 경로를 통해 CCD(114D1) 상에 이미지를 형성한다. 그러므로, 본 예에서, 좌측 광 채널은 우측 광 채널보다 짧은 광 경로 길이를 가진다. CCDs(114D1 및 114D2)로부터의 비디오 신호는 내시경 외부의 비디오 프로세서로 전송된다.
도 1a 내지 1d는 내시경 팁의 제한된 공간에서 입체 이미지를 캡쳐하는 몇 가지 방법을 도시한다. 그러나, 작은 외경의 내시경 말단부가 바람직하기 때문에, 이들 도면 내의 구성들은 다양한 문제로 인해 작은 외경의 말단 이미지 캡쳐 시스템 내에서 고품질의 입체 이미지를 캡쳐하는 것이 얼마나 힘든지 보여준다.
이제, 도 1a의 구성을 참조한다. 이러한 디바이스들의 초점을 맞추기 위해서는, 초점을 얻기 위해 양 대물렌즈(115A1 및 115A2)의 작은 렌즈들을 매우 정밀하게 이동시켜야 한다. 도 1b의 구성은 광을 프리즘을 통해 특수한 각도로 휘어지게 할 필요성으로 인해 어려움을 겪는다. 이는 좌우 이미지 센서에 대하여 측방향의 색 왜곡 및 균일하지 않은 성능을 야기할 것으로 예상된다. 이미지는 최적의 간격이 아니다.
도 1c 및 1d의 구성은 이미지가 광학부재들의 평면에 평평하게 놓일 것을 요구한다. CCD 또는 광학 컴포넌트 중 하나는 둥근 내시경 팁의 중간 평면상에 놓일 수 있고, 그러므로 이러한 구성은 그 면적이 매우 작아서 이미지 품질을 제한하는, 매우 작은 광학 컴포넌트(및 짧은 양안간 거리(inter-pupillary distance)) 또는 매우 작은 CCD 중 하나를 필요로 하고, 그러므로 픽셀의 개수 및/또는 픽셀의 크기를 제한한다. 또한, 도 1d의 구성에서, 광 경로 길이가 상이한 길이를 가지므로 각각의 채널에 대한 광학 컴포넌트는 상이해야 한다.
동평면의 이미지 캡쳐 센서를 가진 이미지 캡쳐 유닛은 내시경의 말단부에서 사용되는 종래의 카메라의 단점을 극복하고, 다양한 새로운 기능을 제공한다. 내시경의 채널 내의 각각의 동평면의 이미지 캡쳐 센서는 공통의 프론트엔드 광 구조를 가진다. 예컨대, 이미지 캡쳐 유닛 내의 렌즈 어셈블리는 각각의 센서에 대하여 동일하다. 이미지 캡쳐 센서의 공통의 광학 구성 및 동평면의 구성은 렌즈 아티팩트(artifact)의 교정(calibration)에 대한 필요성을 제거한다. 내시경의 독립된 채널에서 캡쳐된 상이한 이미지의 재정렬(re-registration)은 요구되지 않는다. 내시경의 채널 내에서 캡쳐된 이미지는 시간적으로 정렬된다. 이러한 이미지는 또한 서로에 대하여 공간적으로 정렬된다.
하나의 장면의 가시 이미지들, 또는 하나의 장면의 가시 이미지와 그 장면의 하나 이상의 형광 이미지들이 이미지 캡쳐 유닛에 의해 획득된다. 제어기는 획득된 이미지를 강화시킨다. 강화된 이미지는 하나의 형태에서 입체 디스플레이 상에 디스플레이된다. 강화된 이미지는 (a) 장면 내의 특정 특징부(feature)가, 예컨대, 미소절개수술 시스템의 운전자에게 강조되어 있는, 강화된 특징부 선명도(definition)을 가진 가시 이미지; (b) 증가된 이미지 겉보기 해상도를 가진 이미지; (c) 증가된 동적 범위를 가진 이미지; (d) 3 이상의 색 성분을 가지는 픽셀 색 성분 백터를 기초로 하는 방식으로 디스플레이되는 이미지; 및 (e) 연장된 피사계심도(depth of field)를 가진 이미지를 포함할 수 있다.
하나의 형태에서, 이미지 캡쳐 유닛은 제1 센서면을 가진 제1 이미지 캡쳐 센서, 및 제2 센서면을 가진 제2 이미지 캡쳐 센서를 포함한다. 제1 및 제2 센서면은 동평면이다. 다른 형태에서, 제1 센서면은 제1 평면 내에 있고, 제2 센서면은 제2 평면 내에 있다. 제1 및 제2 평면은 평행하고 기지의 거리만큼 떨어져 있다. 빔 스플리터는 광을 수신하도록 이미지 캡쳐 유닛 내에 배치된다. 빔 스플리터는 수신된 광의 제1 부분을 제1 센서면으로 지향(direct)시키고, 수신된 광의 제2 부분을 빔 스플리터를 통과하여 지나가게 한다. 반사 유닛은 수신된 광의 제2 부분을 수신하고 수신된 광의 제2 부분을 제2 이미지 캡쳐 센서로 지향시키도록, 이미지 캡쳐 유닛 내에, 배치된다.
하나의 형태에서, 제1 및 제2 이미지 캡쳐 센서는 이미지 캡쳐 센서 칩 상의 상이한 영역이다. 다른 형태에서, 제1 및 제2 이미지 캡쳐 센서는 공통의 플랫폼 상에 설치된 2개의 별개의 이미지 캡쳐 센서 칩이다. 또 다른 형태에서, 제1 및 제2 이미지 캡쳐 센서는 단일 이미지 캡쳐 센서 칩 상의 2개의 별개의 이미징 영역이다.
하나의 형태에서, 내시경의 말단부는 제1 및 제2 이미지 캡쳐 센서, 빔 스플리터를 구비한 프리즘 어셈블리 및 반사 유닛을 포함한다. 다른 형태에서, 입체 내시경은, 말단부, 한 쌍의 채널, 및 복수의 제1 및 제2 이미지 캡쳐 센서, 프리즘 어셈블리, 및 반사 어셈블리를 포함한다. 제1 이미지 캡쳐 센서, 제2 이미지 캡쳐 센서, 프리즘 어셈블리, 및 반사 유닛은 복수로 포함된다. 채널 쌍 내의 각각의 채널은, 입체 내시경의 말단부에서, 상이한 제1 이미지 캡쳐 센서, 상이한 제2 이미지 캡쳐 센서, 상이한 프리즘 어셈블리, 및 상이한 반사 유닛을 복수로 포함한다.
하나의 구현방법에서, 빔 스플리터는 빔 스플리터에 의해 수신된 광의 제1 부분을 제1 센서면으로 지향시키도록 배치된 면도 포함하는 프리즘 어셈블리 내에 포함된다. 이러한 면은 다른 광이 그 면에 도달하지 못하도록 배치된다. 반사 유닛은 수신된 광의 제2 부분을 제2 이미지 캡쳐 센서의 면으로 반사하도록 배치된 반사면을 포함한다. 다른 구현방법으로서, 프리즘 어셈블리 및 반사 유닛은 단일 일체형 구조 내에 포함된다.
하나의 형태에서, 프리즘 어셈블리는 자신을 통해 수신된 광이 프리즘 어셈블리로 들어가게 하는 말단면을 포함한다. 이미지 캡쳐 유닛은 말단면에서부터 제1 센서면까지 제1 광 경로 길이를 가지고, 이는 말단면에서부터 제2 센서면까지의 제2 광 경로 길이와 대략 동등하다. 다른 형태에서, 제1 및 제2 광 경로 길이는 상이한 길이를 가지고, 두 광 경로 길이의 길이차는 제1 이미지 캡쳐 센서와 제2 이미지 캡쳐 센서에 의해 획득되는 이미지 간의 초점차를 제공하도록 구성된다.
구현방법과 무관하게, 프리즘 어셈블리는 프리즘 어셈블리에 의해 수신된 광의 제1 부분을 반사하고 수신된 광의 제2 부분을 투과시키도록 구성된 빔 스플리터를 포함한다. 하나의 형태에서, 수신된 광의 제1 부분은 수신된 광의 제1 퍼센트이고, 수신된 광의 제2 부분은 수신된 광의 제2 퍼센트이다. 하나의 형태에서, 빔 스플리터는 제1 및 제2 퍼센트가 대략 동등하도록 구성된다. 다른 형태에서, 빔 스플리터는 제1 및 제2 퍼센트가 동등하지 않도록 구성된다. 빔 스플리터는 투명한 인터페이스 상의 얇은 금속 코팅, 유전체 코팅, 이색성(dichroic) 코팅, 또는 하나의 패턴의 반사 타일을 포함한 다양한 방식으로 구현될 수 있으나, 이에 제한되지는 않는다.
제1 및 제2 이미지 캡쳐 센서는 모두 컬러 이미지 캡쳐 센서일 수 있고, 또는 대안으로서 이미지 센서 중 하나는 컬러 이미지 센서이고, 다른 이미지 캡쳐 센서는 단색 이미지 캡쳐 센서이다.
이미지 캡쳐 유닛을 통해, 공통의 프론트엔드 광학계로부터 수신된 광의 제1 부분으로부터 제1 이미지가 제1 이미지 캡쳐 센서에 의해 캡쳐된다. 공통의 프론트엔드 광학계로부터 수신된 광의 제2 부분으로부터 제2 이미지가 제2 이미지 캡쳐 센서에 의해 캡쳐된다. 제1 및 제2 이미지 캡쳐 센서는 동평면이고, 제1 및 제2 이미지는 캡쳐될 때 서로에 대하여 공간적으로 정렬되어 있다.
프리즘 어셈블리와 반사 유닛에 대하여 동일한 기본 구조(geometry)가 상술된 이점을 달성하기 위해 각각의 다양한 형태로서 사용된다. 특정한 강화에 의존하여, 빔 스플리터의 구성은 변하며, 조명원도 변경될 수 있다.
강화된 특징부 선명도를 위해, 렌즈 어셈블리로부터 수신된 광은 말단면을 통해 프리즘 어셈블리로 들어간다. 빔 스플리터는 수신된 광의 편광 상태를 기초로 수신된 광의 제1 부분을 반사하고, 수신된 광의 편광 상태를 기초로 수신된 광의 제2 부분을 투과하도록 구성된다. 말단면에서부터 제1 센서면까지의 제1 광 경로 길이는 말단면에서부터 제2 센서면까지의 제2 광 경로 길이와 대략 동등하다. 제어기는 제1 및 제2 이미지 캡쳐 센서에 연결된다. 이 제어기는 수신된 광 내의 편광차를 기초로 이미지 내의 특징부의 두드러짐(saliency)을 증가시킨 이미지를 생성하기 위해 제1 이미지 캡쳐 센서에 의해 캡쳐된 제1 이미지로부터의 정보와 제2 이미지 캡쳐 센서에 의해 캡쳐된 제2 이미지로부터의 정보를 결합한다.
강화된 해상도 및 동적 범위를 위해, 빔 스플리터는 수신된 광의 제1 퍼센트를 반사하고, 수신된 광의 제2 퍼센트를 투과시키도록 구성된다. 다시, 프리즘 어셈블리의 말단면에서 제1 센서면까지의 제1 광 경로 길이는 상기 말단면에서 제2 센서면까지의 제2 광 경로 길이와 대략 동등하다.
하나의 형태에서, 제1 및 제2 이미지 캡쳐 센서는 컬러 이미지 캡쳐 센서이다. 다시, 제어기는 제1 및 제2 이미지 캡쳐 센서에 연결된다. 이 제어기는 단일 이미지 캡쳐 센서에 의해 캡쳐된 이미지에 비해, 강화된 공간 해상도 및 강화된 동적 범위 중 하나를 가진 이미지를 생성하기 위해 제1 이미지 캡쳐 센서에 의해 캡쳐된 제1 이미지로부터의 정보 및 제2 이미지 캡쳐 센서에 의해 캡쳐된 제2 이미지로부터의 정보를 결합한다.
제1 및 제2 퍼센트가 대략 동등할 때, 제어기가 생성한 이미지는 강화된 공간 해상도를 가진다. 제1 및 제2 퍼센트가 동등하지 않을 때, 제어기가 생성한 이미지는 강화된 동적 범위를 가진다.
하나의 형태에서 강화된 해상도를 위해, 제1 퍼센트는 수신된 광의 대략 50 퍼센트이고, 제2 퍼센트는 수신된 광의 대략 50 퍼센트이다. 프리즘 어셈블리의 빔 스플리터 및 반사면은 제1 광 경로 길이를 제2 광 경로 길이와 대략 동일하게 유지하면서, 제1 이미지 캡쳐 센서에 의해 캡쳐된 이미지를 제2 이미지 캡쳐 센서에 의해 캡쳐된 이미지로부터 어긋나도록 위치조절된다. 제어기는 제1 이미지 캡쳐 센서에 의해 캡쳐된 제1 이미지 내의 제1 픽셀을 샘플링하고, 제2 이미지 캡쳐 센서에 의해 캡쳐되고 상기 제1 픽셀에 대응하는 제2 픽셀을 샘플링한다. 두 샘플링된 픽셀로부터의 정보를 사용하여, 제어기는 제1 및 제2 이미지 캡쳐 센서에 의해 캡쳐된 이미지와 비교하여 향상된 색 성능을 가진 이미지 내의 픽셀을 생성한다. 제어기는 단일 픽셀 대신 픽셀 그룹을 사용하여 본 프로세스를 수행할 수도 있다.
빔 스플리터가 제1 퍼센트와 제2 퍼센트가 동등하지 않도록 수신된 광을 분리할 때, 제1 퍼센트는, 예컨대, 제1 이미지 캡쳐 센서에 의해 캡쳐된 이미지가 제1 이미지 캡쳐 센서의 동적 범위로 인해 클립핑되지 않도록, 제1 이미지 캡쳐 센서의 동적 범위를 기초로 선택된다. 하나의 형태에서, 제1 퍼센트는 수신된 광의 대략 N%이고, 제2 퍼센트는 수신된 광의 대략 M%이다. N 및 M은 양수이다. 100퍼센트에서 N%를 뺀 값은 M%와 대략 동등하다. 제어기는 제1 이미지 캡쳐 센서에 의해 캡쳐된 제1 이미지 내의 픽셀을 샘플링하고 제2 이미지 캡쳐 센서에 의해 캡쳐된 제2 이미지 내의 대응 픽셀을 샘플링한다. 제어기는 출력 이미지 내의 픽셀을 생성하기 위해 샘플링된 픽셀로부터의 정보를 사용한다. 출력 이미지는 단일 이미지 캡쳐 센서에 의해 캡쳐된 이미지에 비해 증가된 동적 범위를 가진다. 제어기는 단일 픽셀 대신에 픽셀 그룹을 사용하여 본 프로세스를 수행할 수도 있다.
강화된 해상도의 다른 형태에서, 빔 스플리터에 의해 수신된 광은 복수의 색 성분을 포함한다. 빔 스플리터는 복수의 색 성분 중 하나의 색 성분을 반사시키고 복수의 색 성분 중 다른 색 성분을 투과하도록 구성된다. 프리즘 어셈블리의 말단면에서 제1 센서면까지의 제1 광 경로 길이는 말단면에서 제2 센서면까지의 제2 광 경로 길이와 대략 동등하다.
본 형태에서, 제1 이미지 캡쳐 센서는 단색 이미지 캡쳐 센서이고, 제2 이미지 캡쳐 센서는 복수의 색 성분 중 다른 색 성분에 대한 컬러 필터 어레이를 가진 이미지 캡쳐 센서이다. 제어기는 복수의 색 성분 중 하나의 색 성분에서 전체 공간 해상도를 가지고, 복수의 색 성분 중 다른 색 성분에서 감소된 공간 해상도를 가진다. 제어기는 컬러 이미지 캡쳐 센서에 의해 캡쳐된 이미지에 비해 향상된 공간 해상도 및 선명도를 가진 이미지를 생성한다.
3 이상의 색 성분을 가진 픽셀 색 성분 백터를 포함하는 형태에 대하여, 빔 스플리터는 복수의 노치 필터(notch filter)를 포함한다. 노치 필터는 그 필터가 반사하는 좁은 스펙트럼 대역, 및 반사 대역의 한측 또는 양측에 있는 더 넓은 통과 대역을 가진 필터이다. 복수의 노치 필터는 수신된 광의 제1 부분으로서 제1 세트의 광 성분을 반사하고, 수신된 광의 제2 부분으로서 제2 세트의 광 성분을 통과시킨다. 다시, 프리즘 어셈블리의 말단면에서부터 제1 센서면까지의 제1 광 경로 길이는 말단면에서 제2 센서면까지의 제2 광 경로 길이와 대략 동등하다.
본 시스템은 복수의 색 성분을 포함하는 출력 광을 발생시키는 조명기를 포함한다. 제어기는 제1 이미지 캡쳐 센서에 의해 캡쳐된 제1 이미지의 디모자이싱된 이미지를 수신하고, 제2 이미지 캡쳐 센서에 의해 캡쳐된 제2 이미지의 디모자이싱된 이미지를 수신하도록 구성된다. 제어기는 제1 디모자이싱된 이미지 내의 대응 픽셀의 색 성분 백터, 디모자이싱된 제2 이미지 내의 대응 픽셀의 색 성분 팩터로부터 출력 이미지 내의 픽셀에 대한 N 엘리먼트 색 성분 백터를 생성한다. 여기서, N은 적어도 3이다.
연장된 피사계심도 형태에 대하여, 빔 스플리터는 수신된 광의 제1 부분을 반사하고 수신된 광의 제2 부분을 투과시킨다. 프리즘 어셈블리의 말단면에서부터 제1 센서면까지의 제1 광 경로 길이는 말단면에서부터 제2 센서면까지의 제2 광 경로 길이보다 더 짧다. 제1 이미지 캡쳐 센서는 제1 촬영 거리(object distance)에 초점이 맞춰진 이미지를 캡쳐하고, 제2 이미지 캡쳐 센서 제2 촬영 거리에 초점이 맞춰진 이미지를 캡쳐한다. 하나의 형태에서, 제어기는 제1 및 제2 이미지를 수신하기 위해 제1 및 제2 이미지 캡쳐 센서에 연결된다. 제어기는 내시경 내의 광학부재를 물리적으로 이동시키지 않으면서 내시경까지의 물체의 거리를 변경하여 제1 이미지와 제2 이미지 사이의 출력 이미지를 자동으로 시프트한다. 다른 형태에서, 제어기는 제1 및 제2 이미지와 각각 비교하여 향상된 선명한 피사계심도를 가지는 출력 이미지 내의 픽셀을 생성하기 위해 제1 이미지 내의 픽셀 영역을 샘플링하고, 제2 이미지 내의 대응하는 픽셀 영역을 샘플링하도록 구성된다. 또 다른 형태에서, 제어기는 제1 이미지 캡쳐 센서에 의해 캡쳐된 제1 이미지와 제2 이미지 캡쳐 센서에 의해 캡쳐된 제2 이미지를 결합하고, 보여지는 조직에 대한 내시경의 물리적 이동 동안 자동으로 초점이 맞는 상태를 유지하는 제3 이미지를 생성한다. 이는 제어기가 제1 및 제2 이미지의 영역을 프로세싱하고 그들의 선명도를 비교함으로써 달성된다. 제어기는 각각의 영역에 있는 두 이미지 중 더 선명한 이미지 내의 픽셀로부터 제3 이미지를 생성한다. 그러므로, 제3 이미지는 두 이미지 중 가장 선명한 부분으로부터 만들어진다.
다른 형태에서, 제어기는 제1 이미지 캡쳐 센서에 의해 캡쳐된 제1 이미지 및 제2 이미지 캡쳐 센서에 의해 캡쳐된 제2 이미지를 수신하고, 제1 및 제2 이미지 캡쳐 센서로부터 획득된 픽셀 영역의 상대적인 선명도를 기초로 채널 깊이 맵을 생성한다. 깊이 맵은 다양한 방식으로 시스템에 의해 사용될 수 있다. 한가지 방법은 제어기가 하나의 장면의 3차원면을 생성한 후 (소프트웨어를 실행하여) 텍스쳐드(textured) 가상 이미지면을 생성하기 위해 3차원 상에 제1 및 제2 이미지를 투영(project)하고, 텍스쳐 맵핑(texture map)하는 것이다. 제어기는 채널 깊이 맵 및 텍스쳐드 이미지 면으로부터 가상 카메라 포인트에 대한 새로운 가상 이미지를 생성한다. 바람직하다면, 하나 이상의 가상 카메라 위치, 및 대응하는 이미지가 생성될 수 있다. 예를 들어, 장면의 실시간 이미지는 가상 카메라 위치가 좌측 눈 위치에서 우측 눈 위치로(즉, 양안간 간격에 걸쳐) 앞뒤로 스위핑(sweep)되어 생성된다. 가상 카메라 시점으로부터의 이미지가 생성될 때, 그 이미지는 논스테레오(non-stereo) 디스플레이 유닛상에 디스플레이된다. 이 시점은 다음 가상 카메라 위치로 이동되고, 그 시점으로부터의 이미지가 생성되고 디스플레이된다. 그러므로, 가상 카메라 위치가 앞뒤로 스위핑될 때, 디스플레이되는 장면은 시간에 따라 앞뒤로 흔들리고, 입체 뷰어를 필요로 하지 않고도 디스플레이를 보는 사람에게 깊이 신호(cue)를 제공한다.
또 다른 형태에서, 장치는 제1 이미지 캡쳐 센서 및 제2 이미지 캡쳐 센서를 포함한다. 제1 이미지 캡쳐 센서는 제1 센서면을 가지고, 제2 이미지 캡쳐 센서는 제2 센서면을 가진다. 본 장치는 또한 제1 렌즈 어셈블리 및 제2 렌즈 어셈블리를 포함한다. 반사 유닛은 제1 렌즈 어셈블리를 통과한 광을 수신하도록 배치되고, 제2 렌즈 어셈블리를 통과한 광을 수신하도록 배치된다. 반사 유닛은 제1 렌즈 어셈블리로부터 수신된 광을 제1 센서면상으로 반사한다. 반사 유닛은 또한 제2 렌즈 어셈블리에 의해 수신된 광을 제2 센서면으로 반사한다. 제1 렌즈 어셈블리에서 제1 센서면까지의 제1 광 경로 길이는 제2 렌즈 어셈블리에서 제2 센서면까지의 제2 광 경로 길이와 대략 동등하다.
하나의 형태에서, 본 장치의 제1 및 제2 이미지 캡쳐 센서면은 동평면이다. 다른 형태에서, 제1 센서면은 제1 평면 내에 있다. 제2 센서면은 제2 평면 내에 있고, 제1 및 제2 센서면은 실질적으로 평행하고 기지의 거리만큼 떨어져 있다. 두 경우 모두, 제1 광 경로 길이 및 제2 광 경로 길이는 대략 동등하다.
도 1a 내지 1d는 입체 내시경의 말단부에 있는 종래기술의 이미지 캡쳐 센서 구성의 예이다.
도 2는 입체 내시경의 말단부에 복수의 이미지 캡쳐 유닛을 포함하는 미소절개수술 시스템의 블록도이다.
도 3a는 복수의 이미지 캡쳐 유닛을 포함하는 입체 내시경의 말단부의 블록도이다.
도 3b는 하나의 이미지 캡쳐 유닛을 포함하는 모노스코픽(monoscopic) 내시경의 말단부의 블록도이다.
도 4a는 렌즈 어셈블리 및 동평면의 이미지 캡쳐 센서를 가지는 센서 어셈블리를 포함하는 이미지 캡쳐 유닛의 일부분의 도면이다.
도 4b는 프리즘 어셈블리로서 오각 프리즘을 사용하는 도 4a의 구조의 구현예이다.
도 5a는 조명기로부터 편광되지 않은 광을 제공하는 조명 채널, 및 각각 렌즈 어셈블리 및 센서 어셈블리를 구비한 이미지 캡쳐 유닛을 갖춘 좌우 입체 광 채널을 포함하는 입체 내시경의 말단부의 개략적인 도면이다.
도 5b는 조명기로부터 편광되지 않은 광을 제공하는 조명 채널, 조명 채널로부터의 조명을 편광시키는 편광기, 및 렌즈 어셈블리 및 센서 어셈블리를 구비한 이미지 캡쳐 유닛을 각각 갖춘 좌우 입체 광 채널을 포함하는 입체 내시경의 말단부의 개략적인 도면이다.
도 6a는 조명기로부터의 광을 제공하는 조명 채널, 렌즈 어셈블리 및 센서 어셈블리를 구비한 이미지 캡쳐 유닛을 각각 갖춘 좌우 입체 광 채널을 포함하는 입체 내시경의 말단부의 개략적인 도면이다. 각각의 센서 어셈블리는 수신된 광의 제1 퍼센트를 반사하고 수신된 광의 제2 퍼센트를 코팅면을 통과시키는 코팅면을 가진 빔 스플리터를 포함한다.
도 6b는 제1 이미지 내의 픽셀 블록 및 제2 이미지 내의 대응하는 픽셀 블록에 대한 오프셋의 개략적인 도면이다.
도 7a는 복수의 조명기 중 하나로부터의 광을 제공하는 조명 채널, 및 렌즈 어셈블리 및 센서 어셈블리를 가진 이미지 캡쳐 유닛을 각각 구비한 좌우 입체 광 채널을 포함하는 입체 내시경의 말단부의 개략적인 도면이다.
도 7b 내지 7e는 도 7a의 입체 내시경은 물론, 임의의 다른 내시경 및 본 명세서에 서술된 디바이스에 연결될 수 있는 상이한 조명기의 블록도이다.
도 7f는 복수의 노치 필터를 포함하는 필터의 도면이다.
도 7g는 이미지 캡쳐 유닛에 의해 수신된 광의 스펙트럼의 도면이다.
도 7h는 복수의 노치 필터를 포함하는 다른 필터의 도면이다.
도 8a는 조명기로부터의 광을 제공하는 조명 채널, 및 렌즈 어셈블리 및 센서 어셈블리를 구비한 이미지 캡쳐 유닛을 각각 갖춘 좌우 입체 광 채널을 포함하는 입체 내시경의 말단부의 개략적인 도면이다. 각각의 센서 어셈블리는 2개의 상이한 광 경로 길이를 가진다.
도 8b 및 8c는 상이한 피사계 심도(depth of field) 및 상이한 초점으로 하나의 센서 어셈블리 내에서 캡쳐된 2개의 이미지의 도면이다.
도 8d는 연장된 피사계 심도로 인포커스 이미지를 형성하기 위해 결합되는 도 8b 및 8c의 두 이미지의 하나의 조합의 도면이다.
도 8e는 촬영거리에 대한 제1 및 제2 이미지 캡쳐 센서에 의해 캡쳐된 이미지의 선명도를 도시한다.
도 8f는 이미지 캡쳐 유닛에 의해 캡쳐된 이미지로부터 가상 카메라 시점에 있는 가상 이미지를 생성하기 위한 방법의 프로세스 흐름도이다.
도 9는 렌즈 어셈블리 및 동평면이 아닌 이미지 캡쳐 센서를 가진 센서 어셈블리를 포함하는 이미지 캡쳐 유닛의 일부분의 도면이다.
도 10은 2개의 렌즈 어셈블리로부터 수신된 광을 동평면의 이미지 센서로 지향하는 면을 가진 입체 내시경의 말단부의 개략적인 도면이다.
이들 도면에서, 참조번호의 첫번째 자리는 그 참조번호를 가진 부재가 처음 나타난 한자리의 도면번호에 대한 도면을 나타낸다. 참조번호의 처음 두 자리는 그 참조번호를 가진 부재가 처음 나타난 두자리 도면번호에 대한 도면을 나타낸다.
본 명세서에서 사용된 바와 같이, 전자 입체(stereoscopic) 이미징은 2개의 이미징 채널(즉, 좌측 이미지를 위한 한 채널 및 우측 이미지를 위한 다른 채널)의 사용을 포함한다.
본 명세서에서 사용된 바와 같이, 입체 광 경로는 이미지화될 조직과 같은 물체로부터의 광을 전달하기 위한 2개의 채널(예컨대, 좌우 이미지를 위한 채널)을 포함한다. 각각의 채널 내에서 전달되는 광은 수술부위의 장면(scene)의 상이한 화면(입체 좌 또는 우)을 나타낸다. 각각의 입체 채널은 1, 2, 또는 그 이상의 광 경로를 포함할 수 있고, 단일 입체 채널을 따라 전달되는 광은 하나 이상의 이미지를 형성할 수 있다. 예를 들어, 좌 입체 채널에 대하여, 제1 좌측 이미지는 제1 광 경로를 따라 진행하는 광으로부터 캡쳐될 수 있고, 제2 좌측 이미지는 제2 광 경로를 따라 진행하는 광으로부터 캡쳐될 수 있다. 일반성 또는 적용가능성의 손실없이, 아래에 더 복잡하게 서술된 형태도 또한 필드 시퀀셜(field sequential) 스테레오 획득 시스템 및/또는 필드 시퀀셜 디스플레이 시스템의 환경에서 사용될 수 있다.
본 명세서에서 사용된 바와 같이, 조명 채널은 이미지 캡쳐 유닛으로부터 멀리 떨어져(예컨대, 내시경의 말단부로부터 떨어져) 위치하는 조명원 또는 이미지 캡쳐 유닛에 또는 그 부근에 위치하는 조명원(예컨대, 내시경의 말단부에 또는 그 부근에 있는 하나 이상의 발광 다이오드(LED)로부터 조직에 조명을 제공하는 경로를 포함한다.
본 명세서에서 사용된 바와 같이, 백색광은 3개(이상)의 가시 색 성분, 예컨대 적색 가시광 성분, 녹색 가시광 성분, 및 청색 가시광 성분으로 이루어진 백색 가시광이다. 가시 색 성분이 하나의 조명기에 의해 제공된다면, 가시 색 성분은 가시 색 조명 성분이라 한다. 백색광은 또한, 예컨대, 가열된 텅스텐 필라멘트 또는 크세논 램프로부터 볼 수 있는 것과 같이, 가시 스펙트럼 내의 더욱 연속적인 스펙트럼을 의미할 수 있다.
본 명세서에서 사용된 바와 같이, 가시 이미지는 가시 색 성분을 포함한다.
본 명세서에서 사용된 바와 같이, 비가시(non-visible) 이미지는 임의의 가시 색 성분을 포함하지 않는 이미지이다. 그러므로, 비가시 이미지는 전형적으로 가시적인 것으로 간주되는 범위를 벗어난 광에 의해 형성된 이미지이다.
본 명세서에서 사용된 바와 같이, 형광의 결과로 캡쳐된 이미지는 형광 획득 이미지(acquired fluorescence image)라 한다. 다양한 형광 이미지 양상이 존재한다. 형광은 자연 조직의 형광 발광으로 인한 것이거나, 예컨대, 주입가능한 염료, 형광 단백질, 또는 형광을 띄는(tagged) 항체의 사용으로 인한 것일 수 있다. 예컨대, 형광은 레이저 또는 다른 에너지원에 의한 여기(excitation)로 인한 것일 수 있다. 이러한 구성에서, 노치 필터가 내시경으로 들어가는 여기 파장을 차단하기 위해 사용됨을 이해해야 한다. 형광 이미지는 병리학 정보(예컨대, 형광성 종양) 또는 해부학적 정보(예컨대, 형광성을 띄는 힘줄)와 같은 수술에 중요한 생명유지와 관련된 생체내 환자 정보를 제공할 수 있다.
본 명세서에서 사용된 바와 같이, 입사각은 표면으로 입사하는 광선과 입사지점에서 표면에 수직인 선 사이의 각도이다.
본 명세서에서 사용된 바와 같이, 이미지는 디지털식으로 처리되며, 이미지가 인덱싱되는 방식을 변경함으로써 재정렬되거나 미러링(mirrored)될 수 있다. 또한, 재정렬 및 미러링은 이미지 센서가 판독되는 순서로 이루어질 수 있다.
본 발명의 형태는 수술 현장의 장면의 가시 및 비가시 입체 이미지를 획득하는 것을 용이하게 한다. 도 2를 참조하면, 예컨대, 이미지 캡쳐 유닛(225L, 225R)(도 2)은 미소절개수술 시스템(200), 예컨대, 캘리포니아주 써니배일의 인튜어티브 서지컬에 의해 상용화된 다빈치® 미소절개 원격조종 수술 시스템 내의 입체 내시경(202)의 말단부에 위치한다. 화살표(235)에 의해 지시된 바와 같이, 말단 방향은 조직(203)을 향하고, 근단 방향은 조직(203)으로부터 멀어지는 방향이다.
하나의 이미지 캡쳐 유닛(225L)은 하나의 입체 이미지를 위한 좌측 이미지를 캡쳐하고, 때때로 좌측 입체 이미지라고도 불린다. 제2의 이미지 캡쳐 유닛(225R)은 하나의 입체 이미지를 위한 우측 이미지를 캡쳐하고, 때때로 우측 입체 이미지라고도 불린다.
아래에 더욱 상세하게 서술된 바와 같이, 각각의 이미지 캡쳐 유닛은 렌즈 어셈블리와 센서 어셈블리를 포함한다. 렌즈 어셈블리는 때때로 프론트엔드 광학계라 불린다. 센서 어셈블리는 한 쌍의 동평면의 이미지 캡쳐 센서, 하나의 형태에서, 렌즈 어셈블리로부터의 광을 하나의 동평면의 이미지 캡쳐 센서로 전달하는 접혀진 광 경로, 및 렌즈 어셈블리로부터의 광을 다른 동평면의 이미지 캡쳐 센서로 전달하는 다른 접혀진 광 경로를 포함한다. 이미지 캡쳐 유닛 내의 동일한 렌즈 어셈블리가 두 이미지 캡쳐 센서에 대하여 사용되므로, 이미지 캡쳐 센서가 공통의 프론트엔드 광학 구조를 가진다고 말할 수 있다. 공유된 렌즈 어셈블리와 동평면 구성의 이미지 캡쳐 센서의 조합은 렌즈 아티팩트를 보상하기 위한 교정(calibration)에 대한 필요성을 제거한다. 두 이미지 캡쳐 센서 사이의 공간적 관계가 일정하기 때문에, 그리고 이미지 캡쳐 센서가 공통의 렌즈 어셈블리를 공유하기 때문에, 두 이미지 캡쳐 센서에 의해 캡쳐된 한 쌍의 이미지의 공간적 정렬(registration)은 시간에 걸쳐 그리고 초점이 변화는 것과 같은 광 조건이 변하는 동안에도 일정하게 유지된다. 내시경(202)의 하나의 채널에서 캡쳐된 한 쌍의 이미지는 또한 서로 시간적으로 정렬될 수 있다.
하나의 형태로서, 이미지 캡쳐 유닛(225L, 225R)은 복수의 화면 모드(viewing mode)(정상 모드, 및 하나 이상의 강화 모드)를 포함하는 미소절개수술 시스템에서 사용된다. 전형적으로 수술의 제어 콘솔(250)(때때로 수술의 콘솔(250)이라고도 함) 상에 표시되는 사용자 인터페이스(262) 내에 있는 디스플레이 모드 스위치(252)를 사용함으로써 화면 모드를 바꾼다.
정상 화면 모드에서, 수술 현장의 장면의 가시 이미지는 이미지 캡쳐 유닛(225L, 225R)에 의해 획득되고, 수술의 제어 콘솔(250)의 입체 디스플레이(251) 상에 디스플레이된다. 강화 화면 모드에서, 장면의 가시 이미지 또는 장면 내의 하나 이상의 형광 이미지는 이미지 캡쳐 유닛(225L, 225R)에 의해 획득되고, 중앙 제어기(260) 내의 듀얼 이미지 강화 모듈(240R, 240L)은 획득된 이미지를 강화한다. 강화된 이미지는 입체 디스플레이(251) 상에 디스플레이된다. 강화된 이미지는 (a) 그 장면 내의 특정한 특징부가 미소절개수술 시스템(200)의 운전자에게 강조되는, 강화된 특징부 선명도(definition)를 가진 가시 이미지; (b) 증가된 이미지 겉보기 해상도(apparent resolution)를 가진 이미지; (c) 증가된 동적 범위를 가진 이미지; (d) 3개 이상의 색 성분을 가진 픽셀 색 성분 백터를 기초로 하는 방식으로 디스플레이된 이미지; 및 (e) 연장된 피사계심도를 가진 이미지를 포함할 수 있다.
이미지 캡쳐 유닛(225L, 225R) 및 강화 모드의 동작을 더욱 상세하게 살펴보기에 앞서서, 미소절개수술 시스템(200)이 서술된다. 시스템(200)은 설명을 위한 것일 뿐이며, 그러한 특정 시스템에만 이미지 캡쳐 유닛(225L, 225R)을 적용하는 것으로 제한하도록 의도되지 않았다. 이미지 캡쳐 유닛(225L, 225R)은 입체 현미경, 모노스코픽 내시경, 현미경과 같은 다양한 다른 기기에 구현될 수 있고, 기존의 내시경 카메라를 대체하기 위해 사용될 수도 있다.
미소절개수술 시스템(200), 예컨대, 다빈치® 수술 시스템은 이미지 캡쳐 유닛(225L, 225R)을 포함한다. 본 예에서, 수술의 콘솔(250)에 있는 수술의는 (도시되지 않은) 로봇 조종 팔에 설치된 내시경(202)을 원격으로 조종한다. 다빈치® 수술 시스템과 연결된 다른 부품, 케이블 등이 존재하지만, 본 명세서를 모호하게 하지 않기 위해 도 2에 도시되지 않았다. 미소절개수술 시스템에 관한 추가 정보들은, 예컨대, (2007년 6월 23일에 출원되었고 미소절개수술 시스템을 개시하는) 미국특허출원번호 제11/762,165호, (2001년 10월 5일에 출원되었고 원격로봇 수술 시스템을 위한 암 카트를 개시하는) 미국특허번호 US 6,837,883 B2, 및 (2001년 12월 28일에 출원되었고 수술 로봇 도구, 데이터 아키텍처 및 그 용법을 개시하는) 미국특허번호 제6,331,181호에서 찾을 수 있다.
조명기(210)는 입체 내시경(202)에 연결된다. 조명기(210)는 적어도 백색 광원을 포함하고, 선택적으로 하나 이상의 형광 여기 소스를 포함할 수 있다. 조명기(210)는 조직(203)을 조명하기 위해 입체 내시경(202) 내에 적어도 하나의 조명 채널과 함께 사용된다. 대안으로서 그리고 일반성의 손실없이, 조명기(210)는 입체 내시경(202)의 말단 팁, 또는 말단 팁 부근에 있는 조명원에 의해 대체될 수 있다. 예컨대, 이러한 말단 팁 조명은 LED 또는 다른 조명원에 의해 제공될 수 있다.
하나의 예로서, 조명기(210)는 백색광으로 조직(203)을 조명하는 백색 조명을 제공한다. 몇몇 구현에서, 조명기(210)는 또한 형광을 여기시키는 비가시 광을 제공함은 물론, 백색광을 구성하는 가시 색 성분의 서브셋을 제공할 수 있다.
전형적으로, 3개(이상)의 가시 색 성분은 백색광을 구성한다. 예컨대, 백색광은 제1 가시 색 성분, 제2 가시 색 성분 및 제3 가시 색 성분을 포함한다. 각각의 3개의 가시 색 성분은 상이한 가시 색 성분, 예컨대, 적색 성분, 녹색 성분, 및 청색 성분이다. 추가적인 색 성분도 시스템의 색 충실도(color fidelity)를 향상시키기 위한 시안(cyan)처럼 사용될 수 있다.
몇몇 구현에서, 조명기(210) 내의 형광 여기 소스는 조직(203) 내의 형광체를 여기시키는 형광 여기 조명 성분을 제공한다. 예를 들어, 형광 여기 소스로부터의 협대역 광은 조직 특정의 근적외선 방출 형광소(fluorophore)를 여기시켜서, 조직(203) 내의 특정 특징부의 형광 이미지가 이미지 캡쳐 유닛(225L, 225R)에 의해 얻어진다.
조명기(210)로부터의 광은 조명기(210)를 내시경(202) 내의 조명 채널과 연결하는 조명 채널(226) 상으로 향한다. 입체 내시경(202) 내의 조명 채널은 이 광을 조직(203)으로 지향시킨다. 다른 형태에서, LED 또는 다른 소스와 같은 조명원은 내시경(202) 상의 말단 팁에 또는 그 부근에 제공된다. 조명 채널은 광섬유 다발, 하나의 단단한 또는 유연한 막대(rod), 또는 하나의 광섬유로 구현될 수 있다.
내시경(202) 내의 각각의 이미지 캡쳐 유닛(225R, 225L)은, 하나의 형태로서, 조직(203)으로부터 센서 어셈블리로 수신된 광을 통과시키는 단일 렌즈 어셈블리를 포함한다. 조직(203)으로부터의 광은 백색광 조명원으로부터 반사된 가시 스펙트럼 광 성분, 및, 예컨대, 형광 여기 조명원으로부터의 에너지를 수신한 결과로서 조직(203)에서 발생하는 (가시적 또는 비가시적인) 형광 광을 포함할 수 있다. 반사된 백색광 성분은 뷰어가 정상 가시 광 스펙트럼에서 볼 것으로 예상되는 이미지를 캡쳐하는데 사용된다.
이미지 캡쳐 유닛(225L)은 좌측 카메라 제어 유닛(CCU)(230L)을 통해 수술의 콘솔(250) 내의 입체 디스플레이(251)에 연결된다. 이미지 캡쳐 유닛(225R)은 우측 카메라 제어 유닛(CCU)(230R)을 통해 수술의 콘솔(250) 내의 입체 디스플레이(251)에 연결된다. 카메라 제어 유닛(230L, 230R)은 이득을 제어하고, 이미지 캡쳐링을 제어하고, 듀얼 이미지 강화 모듈(240R, 240L)로 캡쳐 이미지를 전달하는 것을 제어하는 시스템 프로세스 모듈(263)로부터의 신호를 수신한다. 시스템 프로세스 모듈(263)은 시스템(200) 내의 비전 시스템 제어기를 포함하는 다양한 제어기를 나타낸다. 카메라 제어 유닛(230L, 230R)은 개별 유닛일 수도 있고, 또는 단일 듀얼 제어기 유닛으로 결합될 수도 있다.
디스플레이 모드 선택 스위치(252)는 선택된 디스플레이 모드를 시스템 프로세스 모듈(263)로 전달하는 사용자 인터페이스(262)에 신호를 제공한다. 시스템 프로세스 모듈(263) 내의 다양한 비전 시스템 제어기들은 조명기(210)가 원하는 조명을 만들어내도록 설정하고, 좌우 카메라 제어 유닛(230L 및 230R)이 원하는 이미지를 획득하도록 설정하고, 그리고 수술의가 디스플레이(251)에서 요청된 이미지를 보도록, 획득된 이미지를 처리하기 위해 필요한 임의의 다른 엘리먼트를 설정한다.
색 보정 모듈(241L 및 241R)은 몇몇 실시예에서 각각 (아래에 더욱 상세하게 서술된) 듀얼 이미지 강화 모듈(240L 및 240R)의 각각의 부품이다. 색 보정 모듈(241R(241L))은 획득한 이미지의 색을 시스템 프로세스 모듈(263)에 의해 결정된 새로운 바람직한 색 밸런스로 변환한다. 도 2에 도시된 바와 같이, 사용자 인터페이스(262), 시스템 프로세스 모듈(263), 및 듀얼 이미지 강화 모듈(240L, 240R)은 설명을 위해 중앙 제어기(260)로 그룹화된다. 옵션의 이미지 처리 모듈(264)은 중앙 제어기(260)로부터 비디오를 수신하고, 수술의 콘솔(250) 내의 입체 디스플레이(251) 상에 디스플레이하기 전에 색 보정 모듈(241R(241L))로부터의 이미지를 처리한다. 옵션의 이미지 처리 모듈(264)은 종래기술의 미소절개수술 시스템 내의 이미지 처리 모듈과 동등한 것이므로 더 상세하게 설명하지는 않는다.
도 3a는 이미지 캡쳐 유닛(325L 및 325R) 및 조명 채널(305)을 포함하는 입체 내시경(302A)의 말단부의 블록도이다. 각각의 이미지 캡쳐 유닛(325R, 325L)은 렌즈 어셈블리(301R, 301L) 및 센서 어셈블리(320R, 320L)를 포함한다. 센서 어셈블리(320R, 320L)는 렌즈 어셈블리(301R, 301L)를 통과하는 광을 수신하도록 배치된다. 각각의 이미지 캡쳐 유닛(320R, 320L)은, 하나의 형태로서, 프리즘 어셈블리(330R, 330L), 반사 어셈블리(340R, 340L), 및 동평면의 이미지 캡쳐 센서(310R, 315R), (310L, 315L)를 포함한다. 입체 내시경(302A)은 입체 내시경(202)의 하나의 예이다.
도 3a에 도시된 바와 같이, 입체 내시경(302A)(때때로 내시경(302A)이라고도 함)의 말단부 내의 각각의 입체 채널은 동일한 컴포넌트 구성을 가진다. 도 3a의 형태에서, (좌측 입체 채널을 위한) 이미지 캡쳐 유닛(325L) 및 (우측 입체 채널을 위한) 이미지 캡쳐 유닛(325R)은 내시경(302A)의 중심 세로축(390)과 교차하는 평면을 기준으로 대칭이다(즉, 이들은 서로 미러 이미지로 배치된다). 화살표(335)에 의해 지시된 바와 같이, 말단 방향은 조직(303)을 향하고, 근단 방향은 조직(303)으로부터 멀어지는 방향이다.
내시경(302A) 내의 하나 이상의 조명 채널(305)로부터의 광은 본 예에서 조직(303)을 조명한다. 도 3a에 도시되지는 않았지만, 내시경(302A)의 시야 내에 하나 이상의 수술 기기가 조명 채널(305)로부터의 광을 통해 조명될 수 있다. 내시경 내의 조명 채널의 사용은 단지 설명을 위한 것일 뿐이며, 본 명세서에 제공된 다양한 예에서 제한하도록 의도되지 않았다. 조명은 내시경 내의 조명원에 의해 제공되거나, 내시경 내부 또는 외부에 있는 몇몇 다른 장치에 의해 제공될 수 있다.
조직(303)으로부터 반사된 광 및 임의의 형광은 렌즈 어셈블리(301L 및 301R)에 의해 수신된다. 렌즈 어셈블리(301L 및 301R) 내의 렌즈(304L 및 304R)는 수신된 광을 각각 센서 어셈블리(320L) 및 센서 어셈블리(320R)로 지향시키는 하나 이상의 광학 컴포넌트를 포함할 수 있다. 다른 형태로서, 렌즈 어셈블리(301L 및 301R)는 이미지 캡쳐 유닛(325L 및 325R)의 세로 길이를 줄이기 위해 접혀진다.
렌즈(304L 및 304R)로부터의 광은 각각 센서 어셈블리(320L, 320R)로 보내진다. 센서 어셈블리(320L, 320R) 내에서, 광은 프리즘 어셈블리(330L, 330R) 내의 각각의 빔 스플리터(331L 및 331R)에 의해 수신된다. 하나의 형태로서, 각각의 빔 스플리터(331L 및 331R)는 빔 스플리터(331L 및 331R)는 매립형 코팅면(buried coated surface)(331L, 331R)으로 구현된다. 아래에 더욱 상세하게 설명한 바와 같이, 각각의 코팅면(331L, 331R) 상의 코팅은 특수한 기능을 제공하도록 선택된다. 코팅면(331L, 331R)은 렌즈 어셈블리(301L, 301R)로부터 수신된 광의 제1 부분을 반사하고 수신된 광의 제2 부분을 투과시킨다. 조직(303)의 특징부의 구별을 위해, 코팅면은 렌즈 어셈블리(301L, 301R)로부터 수신된 광의 편광차를 구별한다. 또 다른 형태로서, 코팅면은 수신된 광의 일부를 반사하고 수신된 광의 다른 부분을 투과시키는 노치 필터를 포함한다.
코팅면(331L, 331R)의 구현방법과 관계없이, 빔 스플리터(331L)는 수신된 광의 제1 부분을 제1 이미지 캡쳐 센서(310L) 상으로, 예컨대, 이미지 캡쳐 유닛(325L) 내의 이미지 캡쳐 센서(310L)의 표면(311L) 상으로 지향시키고, 수신된 광의 제2 부분을 빔 스플리터(331L)를 통해 투과시킨다. 이와 유사하게, 빔 스플리터(331R)는 수신된 광의 제1 부분을 제1 이미지 캡쳐 센서(310R) 상으로, 예컨대, 이미지 캡쳐 유닛(325R) 내의 이미지 캡쳐 센서(310R)의 표면(311R) 상으로 지향시키고 수신된 광의 제2 부분을 빔 스플리터(331R)를 통해 투과시킨다.
도 3a의 예에서, 빔 스플리터(331L 및 331R)를 통과한 광은 각각 옵션의 렌즈(350L 및 350R)에 의해 수신된다. 렌즈(350L 및 350R)는 이미지 캡쳐 센서(315L 및 315R)까지의 광 경로 길이를 설명하기 위해 수신된 광을 포커싱한다. 렌즈(350L 및 350R)는 옵션이다.
렌즈(350L 및 350R)로부터의 광은 각각 반사 어셈블리(340L 및 340R)에 의해 수신된다. 반사 어셈블리(340L)는 수신된 광을 제2 이미지 캡쳐 센서(315L) 상으로 지향시킨다. 예컨대, 수신된 광을 이미지 캡쳐 유닛(325L) 내의 제2 이미지 캡쳐 센서(315L)의 표면(316L) 상으로 지향시킨다. 이와 유사하게, 반사 어셈블리(340R)는 수신된 광을 제2 이미지 캡쳐 센서(315R) 상으로 지향시킨다. 예컨대, 수신된 광을 이미지 캡쳐 유닛(325R) 내의 제2 이미지 캡쳐 센서(315R)의 표면(316R) 상으로 지향시킨다. 여기 서술된 각각의 형태에서, 광은 이미지 캡쳐 센서의 표면상으로 지향되는데, 이를 간결하게 광이 이미지 캡쳐 센서상으로 지향된다고 말할 수 있다.
각각의 반사 어셈블리(340L 및 340R)는 수신된 광을 반사하는 반사면(341L, 341R), 예컨대, 미러면을 포함한다. 도 3a의 예에서, 장치(340L 및 340R)는 각각 반사 코팅을 가진 하나의 면을 포함하는 프리즘으로 구현되거나, 또는 각각 프리즘의 빗변 상으로의 내부 전반사를 사용하여 구현된다. 하나의 형태로서, 반사면(341R)을 포함하는 평면과, 이미지 캡쳐 센서(315R)의 표면(316R) 및 이미지 캡쳐 센서(310R)의 표면(311R)을 포함하는 평면의 교차에 의해 형성된 각도(θ)는 45도 각도이고, 그러므로 이러한 프리즘을 45도 프리즘이라 한다. 45도 프리즘의 표면(341R)은 표면(341R) 부근의 매체가 공기일 때 내부 전반사를 나타내므로, 표면(341R)은 반사면이다.
이미지 캡쳐 센서(310L 및 315L)는 동평면이다. 즉, 센서 표면(311L 및 316L)은 사실상 동일한 평면내에 있다. 센서(310L 및 315L)의 밑면은 플랫폼(312)의 제1 면에 의해 형성된 평면상에 있다. 이와 유사하게, 이미지 캡쳐 센서(310R 및 315R)는 동평면이며, 예컨대, 윗면(311R 및 316R)은 사실상 동일한 평면 내에 있다. 센서(310R 및 315R)의 밑면은 플랫폼(312)의 제2 면에 의해 형성된 평면 상에 있다. 플랫폼(312)은 2개의 평평한 부분, 예컨대, 축(390)을 따라 연결된 2개의 세라믹 부분으로 구성될 수 있다. 플랫폼(312)의 제1 면은 플랫폼(312)의 제2 면과 마주보며 제2 면으로부터 떨어져 있다.
하나의 형태로서, 2개의 이미지 캡쳐 센서(310R, 315R)를 포함하는 제1 반도체 다이(317R)가 제1 세라믹 플랫폼 상에 설치된다. 2개의 이미지 캡쳐 센서(310L, 315L)를 포함하는 제2 반도체 다이(317L)는 제2 세라믹 플랫폼 상에 설치된다. 그 다음 2개의 세라믹 플랫폼은 플랫폼(312)을 형성하기 위해 서로 결합된다. 두 다이(317R, 317L)로의 와이어는 플랫폼(312) 내의 채널을 통과한다. 하나의 다이 내에 2개의 이미지 캡쳐 센서를 사용하는 것은 단지 설명을 위한 것일 뿐이며 제한하도록 의도된 것은 아니다. 몇몇 형태에서, 2개의 이미지 센서는 별개의 다이 내에 있다(도 9 참조). 2개의 이미지 캡쳐 센서는 다이 내 하나의 큰 이미지 캡쳐 센서의 일부일 수 있고, 이미지 캡쳐 센서(310R)와 이미지 캡쳐 센서(315R) 사이의 픽셀들은, 예컨대, 무시된다.
몇몇 형태에서, 플랫폼(312)이 사용되지 않을 수도 있고, 2개의 세트의 이미지 캡쳐 센서들은 파워, 제어, 및 비디오 케이블에 대한 필수적인 연결을 제공하도록 구성된 단일 구조 내에 포함될 수 있다. 또한, 도 3a에 도시된 바와 같이 이미지 캡쳐 유닛 내에 2개의 동평면인 이미지 캡쳐 센서를 사용하는 것은 단지 설명을 위한 것일 뿐 제한하도록 의도된 것은 아니다. 예를 들어, 몇몇 형태에서, 2 이상의 동평면의 이미지 캡쳐 센서가 사용될 수 있다. 예컨대, 복수의 빔 스플리터가 줄을 지어 사용될 수 있고, 반사 유닛은 그 줄의 근단부에 설치된다.
이미지 캡쳐 센서의 동평면 구성은 렌즈 아티팩트를 보상하기 위한 교정, 및 이미지 캡쳐 센서(310R/315R(제1 쌍) 및 310L/315L(제2 쌍))에 의해 캡쳐된 상이한 이미지들의 재정렬에 대한 필요성을 제거한다. 상술한 바와 같이, 주어진 쌍 내의 2개의 이미지 캡쳐 센서 사이의 공간적 관계는 일정하고, 주어진 쌍 내의 이미지 캡쳐 센서들이 공통의 렌즈 어셈블리, 즉, 공통의 프론트엔드 광학 구조를 공유하므로, 두 이미지 캡쳐 센서에 의해 캡쳐된 이미지 쌍의 공간적 정렬은 시간에 걸쳐 그리고 초점은 변경하는 것과 같은 광학 조건을 변경하는 동안에도 일정하게 유지된다.
도 3b는 내시경(302b)이 모노스코픽 내시경이고 조명이 내시경(302b) 외부에 있고 내시경(302b)에 연결되지 않은 조명기에 의해 제공된다는 점을 제외하면, 도 3a와 유사하다. 그러나, 몇몇 형태에서, 조명기는 내시경(302b) 상에 설치된다. 내시경(302b)에서, 이미지 캡쳐 유닛(325)의 부재(301, 304, 320, 330, 331, 340, 341, 350 310, 311, 315, 316, 및 312B)들은 각각 부재(301L, 304L, 320L, 330L, 331L, 340L, 341L, 350L, 310L, 311L, 315L, 316L, 및 312)와 동일하고, 그러므로 이러한 부재들의 설명을 반복하지는 않는다. 내시경 외부의 조명원은 내시경 내부 또는 내시경 상에 설치된 조명 채널과 더불어 또는 그것을 대신하여, 다양한 서술된 내시경 실시예 및 형태에 대하여 사용될 수 있다.
도 4a는 렌즈 어셈블리(401A) 및 센서 어셈블리(420A)를 포함하는 이미지 캡쳐 유닛(425A)의 일부분의 도면이다. 센서 어셈블리(420A)는 하나의 형태로서 프리즘 어셈블리(430A), 반사 유닛(440A), 동평면의 이미지 캡쳐 센서(410A, 415A)를 포함한다. 렌즈 어셈블리(401A)는 광학적 스탑(470A)(종종 스탑(470A)이라고도 함)을 형성하는 광학 부재를 포함한 복수의 광학부재를 가진다. 본 명세서에서 사용된 바와 같이, 스탑은 광 경로 내에 애퍼어처(aperture)를 가진 공간 내의 평면 또는 주광선(chief ray)이 0의 높이를 가지는 위치이다. 스탑(470A)을 통과한 광은 이미지 캡쳐 유닛(425A)의 프리즘 어셈블리(430A) 내의 빔 스플리터(431A)에 의해 수신된다.
스테레오스코픽 장치는 도 4a에 도시된 바와 같이 2개의 이미지 캡쳐 유닛을 포함할 것이다. 그러나, 도 3a에 대하여 앞서 서술한 바와 같이, 이미지 캡쳐 유닛을 가진 좌우 입체 채널은 대칭이므로 중복설명을 피하기 위해 하나의 채널 및 이미지 캡쳐 유닛만 서술된다. 이미지 캡쳐 유닛을 포함하는 다른 채널은 도 4a에 도시된 채널을 가진 내시경의 세로축과 교차하는 평면을 중심으로 대칭이다.
빔 스플리터(431A)는 스탑(470A)을 통과한 광을 수신하도록 배치된다. 빔 스플리터(431A)는 수신된 광의 제1 부분을 제1 이미지 캡쳐 센서(410A)로 지향시키고, 수신된 광의 제2 부분을 빔 스플리터를 통과하여 반사 유닛(440A)으로 보내도록 구성된다. 본 예에서, 프리즘 어셈블리(430A) 내의 빔 스플리터(431A)는 코팅된 제1 면으로 구현된다. 그러므로, 빔 스플리터(431A)는 종종 코팅된 제1 면(431A)이라 불린다. 코팅된 제1 면(431A)은 수신된 광을 두 부분으로 나눈다.
코팅된 제1 면(431A)은 수신된 광의 제1 부분을 제2 면(432A)으로 반사하고는, 그 다음 제2 면(432A)은 그 광을 이미지 캡쳐 센서(410A) 상으로 지향, 예컨대, 반사한다. 코팅된 제 1면(431A)은 수신된 광의 제2 부분을 코팅된 제 1면(431A)을 통해 반사 유닛(440A)으로 전달한다. 하나의 형태로서, 제 1면(431A)에 대한 광의 입사각은 45도 미만이다.
제2 면(432A)은 코팅된 제 1면(431A)에 의해 반사된 광 이외의 광이 제2 면(432A)에 도달하지 않도록 설치된다. 하나의 형태로서, 제2 면(432A)은 코팅된 면 및 내부 전반사 면 중 하나로 구현된 반사면이다.
반사 유닛(440A)은 빔 스플리터(431A)로부터 수신된 광을 제2 이미지 캡쳐 센서(415A) 상으로 반사하는 제3 면(441A)을 포함한다. 하나의 형태로서, 제3 면(441A)은, 예컨대, 코팅된 면 및 내부 전반사 면 중 하나로 구현된 반사면이다.
이미지 캡쳐 센서(410A 및 415A)는 동평면이다. 하나의 형태로서, 스탑(470A)에서부터 제 1면(431A)을 지나고 제2 면(432A)을 지나는 이미지 캡쳐 센서(410A)까지의 제1 광 경로 길이는 스탑(470A)에서부터 제 1면(431A)을 통해 제2 면(432A)을 지나는 이미지 캡쳐 센서(415A)까지의 제2 광 경로 길이와 대략 동일하다. 다른 형태로서, 제1 및 제2 광 경로 길이는 동일하지 않다. 동일하지 않은 광 경로 길이는 프리즘 어셈블리 내의 빔 스플리터와 반사 유닛 내의 표면 사이의 공간 관계를 조절함으로써 구현될 수 있는데, 이는 아래에 더욱 상세하게 설명될 것이다.
대안으로서, 이미지 캡쳐 센서(410A)는 제1 평면 내에 최상의(top) 센서 면을 가지고, 이미지 캡쳐 센서(415A)는 제2 평면 내에 최상의 센서 면을 가지는데, 제1 및 제2 평면은 평행하고, 기지의 거리만큼 떨어져 있다(도 9 참조). 이러한 대안의 배열의 이미지 캡쳐 센서에서, 두 이미지 캡쳐 센서까지의 광 경로 길이는 동일할 수도 있고 동일하지 않을 수도 있다. 이미지 캡쳐 센서의 최상의 센서 면은 센서 어셈블리 내의 적어도 하나의 광학 컴포넌트로부터 광을 수신하는 이미지 캡쳐 센서의 표면이다. 예컨대, 렌즈(350)(도 3)로 도시된 옵션의 광학부재가 센서(415A)까지의 제2 광 경로 내에 사용될 수 있다.
여기서, '대략 동일하다' 또는 '실질적으로 동일하다'는 것은 두 광 경로 길이가 다양한 광 경로 부재를 제조 및 설치하는 것과 연관된 허용오차(tolerances) 내에서 동일하다는 것을 의미한다. 또한, 스탑(470A)에서 시작하는 광 경로 길이의 정의는 설명을 위한 것일 뿐이며 제한하도록 의도된 것은 아니다. 또한, 광 경로 길이는, 예컨대, 자신을 통해 수신된 광이 프리즘 어셈블리(430A)로 들어가게 하는 프리즘 어셈블리(430A)의 말단 면에 대하여, 렌즈 어셈블리 내의 제1 부재에 대하여, 또는 코팅된 제 1면(431A)에 대하여 다양하게 정의될 수 있다.
도 4a에서, 프리즘 어셈블리(430A), 반사 유닛(440A), 및 이미지 캡쳐 센서(410A, 415A)의 간격은 축척에 따르지 않는다. 실제 사용에 있어서, 프리즘 어셈블리(430A) 및 반사 유닛(440A)은 대부분 고체 유리이고, 이들 유리 구조와 이미지 캡쳐 센서(410A, 415A) 사이에 작은 갭이 존재한다. 도 4b는 프리즘을 사용한 도 4a의 구조의 구현예이다.
도 4b는 입체 내시경의 말단부에 있는 이미지 캡쳐 유닛(425B)의 도면이다. 이미지 캡쳐 유닛(425B)은 공유된 렌즈 어셈블리(401B및 센서 어셈블리(420B)를 포함한다. 센서 어셈블리(420B)는 하나의 형태로서 프리즘 어셈블리(430B), 반사 유닛(440B) 및 동평면의 이미지 캡쳐 센서(410B, 415B)를 포함한다. 센서 어셈블리(420B)는 렌즈 어셈블리(401B)를 통과한 광을 수신하도록 설치된다. (도시되지 않은) 다른 이미지 캡쳐 유닛은 도 4b에 도시된 것과 동등한 컴포넌트를 포함한다. 2개의 이미지 캡쳐 유닛은 도 3a에 도시된 것과 동등한 방식으로 입체 내시경의 세로축과 교차하는 평면을 중심으로 대칭이다.
조명기로부터의 광은 조직에 의해 반사되고, 또는 조직으로부터 발생하는 형광은 평면(403B)에 의해 표시된다. 광은 윈도우(481)를 통해 렌즈 어셈블리(401B)로 들어간 후, 제1 세트의 렌즈(482), 프리즘(483), 제2 세트의 렌즈(484), 및 스탑을 구현하는 애퍼어처 부재(470B)를 통과한다.
부재(485)는 옵션이고, 다양한 위치에 있는 다양한 렌즈 어셈블리 실시예에 통합될 수 있는, 단독으로 또는 조합하여, 다양한 특징을 설명하기 위한 것이다. 하나의 형태에서, 부재(485)는 형광 여기 파장을 차단하기 위한 노치 필터용 윈도우를 나타낸다. 다른 형태에서, 부재(485)는 포커싱 부재를 나타낸다.
다른 형태로서, 부재(485)는 평면-평면(plano-plano) 부재를 나타낸다. 또 다른 형태로서, 부재(485)는 제어 전압이 액체 결정 셀에 인가될 때 가변초점 렌즈로서 기능하는 액체 결정 셀을 포함하는 구조를 나타낸다. 제어 전압은 광이 통과하는 재료의 굴절률 프로파일을 다이내믹하게(dynamically) 변화시킨다. 액체 결정 셀은 우수한 광학적 성능을 가진 채 무한대에서 10센티미터까지의 원하는 초점 거리까지 초점을 조절할 수 있다. 이러한 성능 특성을 가진 액체 결정 셀은 미국 캘리포니아주 마운틴 뷰의 렌즈 백터 인코퍼레이티드로부터의 렌즈 백터™ 오토포커스 엘리먼트로 사용가능하다(렌즈 백터는 미국 내 렌즈백터 인코퍼레이티드의 상표이다).
몇몇 형태로서, 부재(485)는 렌즈 어셈블리 내의 다른 부재에 의해 수신된 광을 사전처리하기 위한 하나 이상의 필터를 나타낸다. 대안으로서, 필터는 내시경의 말단부 표면에 고정될 수 있고, 또는 필터는 애퍼어처 부재(470B)와 프리즘 구조(460) 사이에 삽입될 수 있다.
이러한 형태에서, 프리즘 구조(460)는 빔 스플리터(431B)를 가진 프리즘 어셈블리(430B) 및 반사면(441B)을 가진 반사 유닛(440B)을 포함하는 일체형 프리즘 구조(2 이상의 프리즘이 프리즘 사이에 임의의 갭 없이 결합되어 있음)이다. 하나의 형태로서, 프리즘 구조(460)는 2개의 이미지 캡쳐 센서 상에 바람직한 이미지 분리를 달성하기 위해 특정한 굴절률 및 프리즘 기하학적 형상을 가진 재료로 설계된다. 프리즘 구조(460)의 설계는 다면 프리즘에서 시작하고, 센서 공간, 및 프리즘 형상을 제한하는 입체 내시경의 바람직한 최대 튜브 외경을 고려하도록 최적화된다.
도 4b에 도시된 형태에서, 프리즘 어셈블리(430B)는 적어도 2개의 코팅면(431A 및 432B)을 가진 오각 프리즘을 포함한다. 대안으로서, 표면(432B)은 코팅되지 않을 수도 있고, 내부 전반사를 사용할 수도 있다. 빔 스플리터, 즉 코팅된 제 1면(431B)은 수신된 광을 두 부분으로 나눈다. 코팅된 제 1면(431B)은 수신된 광의 제1 부분을 제2 면(432B)으로 반사하고, 제2 면(432B)은 그 광을 제1 이미지 캡쳐 센서(410A) 상으로 지향, 즉, 반사한다. 코팅된 제 1면(431B)은 제 1면(431A)을 통해 수신된 광의 제2 부분을 반사 유닛(440B)으로 보낸다. 프리즘(450)은 옵션이고, 프리즘 구조(460)의 취급 및 설치를 용이하게 하기 위해 제공된다.
오각 프리즘은 광 빔을 90도씩 벗어나게 하기 위해 사용되는 반사 프리즘이다. 광 빔은 오각 프리즘 내에서 2번 반사되고, 이는 반전된 또는 뒤집힌 이미지를 산출하지 않으면서 광 빔을 직각으로 전달할 수 있게 한다. 전형적으로 오각 프리즘은 5변으로 이루어진 둘레를 가진다. 오각 프리즘은 오각 프리즘이 광 경로에 대한 오각 프리즘의 방향에 관계없이 광 경로를 동일한 각도로 벗어나게 한다는 점에서, 일정 편각 프리즘이다. 여기서, 오각 프리즘은 다른 프리즘 또는 광학부재에 결합되거나 또는 연결될 수 있고, 또는 그에 대하여 위치조절될 수 있다.
하나의 형태로서, 코팅된 제 1면(431B)은 다층 매립형 코팅면이다. 이 표면은 다층 코팅, 예컨대, 바람직한 굴절률 및 투과율 특성을 가진 다층 이색성(dichroic) 코팅, 금속 코팅, 또는 주름(rugate) 코팅으로 코팅되는데, 이는 아래에 더욱 상세하게 설명된다. 하나의 형태로서, 제 1면(431B)과 광의 입사각은 45도 미만이지만, 이것이 필수조건은 아니다. 제2 면(432B)은 코팅된 제 1면(431B)에 의해 반사된 광 이외의 광이 제2 면(432B)에 도달하지 않도록 위치조절된다.
말단부 표면(433)(종종 말단면이라고도 함)은 프리즘 구조(460)의 단부, 및 프리즘 어셈블리(430A)의 단부이고, 그것을 통해 렌즈 어셈블리(401B)로부터 수신된 광이 들어온다. 하나의 형태로서, 제1, 제2, 및 제3 면(431B, 432B 및 441B)은 말단부 표면(433)에서 이미지 캡쳐 센서(410B)까지의 제1 광 경로가 말단부 표면(433)에서 이미지 캡쳐 센서(415B)까지의 제2 광 경로와 대략 동일하도록 위치조절된다. 다른 형태로서, 표면(441B)은 두 광 경로 길이가 약간의 크기만큼 동일하지 않도록 위치조절된다.
반사 유닛(440B)은 하나의 형태로서 반사 코팅을 가진 표면(441B)을 구비한 프리즘이고, 또는 표면(441B)은 내부 전반사를 통해 반사할 수 있는 각도로 사용된다. 하나의 형태로서, 반사면(441B)을 포함하는 평면과 제2 이미지 캡쳐 센서(415B)의 최상의 센서 면을 포함하는 평면의 교체의 의해 형성되는 각은 45도 각도이므로, 프리즘은 45도 프리즘이라 불린다. 본 예에서, 프리즘 구조(460)는 주지된 기술을 사용하여 3개의 부품을 함께 접착시킴으로써 형성된 통합 구조이다. 앞서 언급한 바와 같이, 이 3개의 부품은 이미지 캡쳐 센서(410B 및 415B) 상에 바람직한 이미지 분리를 달성하도록 하는 재료, 굴절률, 및 프리즘 기하학적 형상을 가지도록 설계된다. 3개의 부품의 사용은 단지 설명을 위한 것일 뿐이며 제한하도록 의도되지 않았다. 예컨대, 프리즘 구조(460)는 2개의 부품을 사용하여 형성된 통합된 구조일 수도 있다.
이미지 캡쳐 센서(410B 및 415B)는 동평면이고, 하나의 형태로서 다른 렌즈 어셈블리를 위한 동평면의 이미지 센서가 또한 그 위에 설치되어 있는 플랫폼 상에 설치된다(도 3a 참조). 몇몇 형태에서, 2개의 이미지 캡쳐 센서는 단일 구조내에 포함된다.
스탑(470B)은 프리즘 구조(460)의 크기를 줄이기 위해 그리고 이미지 캡쳐 센서(410B, 415B) 상의 코너 광선의 입사각을 감소시키기 위해 프리즘 구조(460) 부근 또는 내부에 설치 또는 형성된다. 스탑(470B)은 부재(485)로부터 (도시된 바와 같이) 멀리, 또는 가깝게 설치될 수 있다.
도 4b에 도시된 예시적인 형태에 대하여, 렌즈 어셈블리(401B) 내의 중간 부재(483)는 프리즘일 수 있다. 몇몇 형태에서, 이러한 프리즘은, 예컨대, 내시경의 세로축에 대하여 30도 방향의 시야를 가지는 내시경을 만들기 위해 접혀진 광 경로를 생성하도록 위치조절된다. 이러한 접힘은 이미지 캡쳐 센서(410B, 415B)의 평면에 수직인 평면 내에서 일어난다.
도 2, 3a, 3b, 4a, 및 4b를 다시 참조하여, 이미지 캡쳐 유닛의 다양한 형태가 도시되고 서술되어 있다. 이미지 캡쳐 유닛은 이미지화될 물체로부터의 광을 수신하는 렌즈 어셈블리를 포함한다. 렌즈 어셈블리를 통한 프론트엔드 광 경로는 직선일 수도 있고, 또는 내시경에 대한 다양한 각도의 시야를 제공하기 위해 접혀질 수 있다. 렌즈 어셈블리로부터의 광은 센서 어셈블리로 진행한다. 다양한 옵션의 광학 컴포넌트(애퍼어처, 필터, 포커싱 부재 등)이 렌즈 어셈블리 내에 설치될 수도 있고, 또는 설계 제한이 허용한다면, 이러한 옵션의 컴포넌트들은 광 경로 또는 센서 어셈블리의 경로 내에 삽입될 수 있다.
하나의 형태로서, 센서 어셈블리는 2개 이상의 동평면인 이미지 캡쳐 센서를 포함한다. 이러한 동평면의 이미지 캡쳐 센서는 내시경을 따라 길이방향으로 배치된다. 예를 들어, 2개의 동평면의 이미지 캡쳐 센서와 함께, 하나의 이미지 캡쳐 센서는 렌즈 어셈블리에 비교적 가깝게(내시경의 말단부를 향해) 위치하고, 하나의 이미지 캡쳐 센서는 렌즈 어셈블리로부터 비교적 멀게(내시경의 말단부로부터 멀리) 위치한다. 그러므로, 이미지 캡쳐 센서는 내시경의 중심 세로축과 대체로 평행한 평면 내에 있다. 하나의 형태로서, 이미지 캡쳐 센서들은 모두 동일한 반도체 기판상의 이미지 캡쳐 영역(예컨대, CMOS 이미지 캡쳐 영역; 대안으로서, CCD 영역이 사용될 수 있다)으로서 형성된다. 그러므로, 이러한 단일 기판은 센서 영역이 내시경 내에 길이방향으로 배치되므로 적어도 그 폭의 두 배인 길이를 가지고 그러므로 공간 사용 효율을 위해 내시경 내에 위치될 수 있다. 대안으로서, 이미지 캡쳐 센서는 단일 센서 기판 배열과 유사한 방식으로 내시경 내에 배치된 지지 플랫폼 또는 기판상에 개별적으로 형성 및 배치될 수 있다.
센서 어셈블리 내에서, 렌즈 어셈블리로부터 수신된 광은 빔 스플리터에서 2개 이상의 빔으로 나누어진다. 2개의 센서 구현에서, 예컨대, 하나의 빔은 빔 스플리터에서부터 하나의 광 경로를 따라 제1 이미지 캡쳐 센서로 입사되도록 진행하고, 다른 빔은 다른 광 경로를 따라 제2 이미지 캡쳐 센서 상으로 입사되도록 진행한다. 센서 어셈블리 내의 광 경로는 이미지 캡쳐 센서 상에 입사된 광이 렌즈 어셈블로부터 수신된 광과 대체로 수직이도록 접혀진다. 몇몇 형태에서, 센서 어셈블리 내의 광 경로는 렌즈 어셈블리가 광 센서 상에서 캡쳐된 이미지에 실질적으로 동일한 방식으로 영향을 주기 위해, 실질적으로 동일한 길이가 되도록 배치된다. 반사면, 코팅면 또는 내부 전반사 면 중 하나의 다양한 조합이 이미지 캡쳐 어셈블리 광 경로의 기하학적 구조를 형성하기 위해 사용될 수 있다. 몇몇 형태에서, 프리즘이 이미지 캡쳐 센서에 대한 반사면 배열 요구사항을 단순화시키기 위해 사용된다.
몇몇 형태에서, 단일 이미지 캡쳐 유닛이 내시경 내에 사용되어, 내시경은 모노스코픽 기능을 가진다. 그러나 다른 형태에서는 스테레오스코픽 기능을 제공하기 위해 2개의 이미지 캡쳐 유닛이 내시경에서 사용된다. 하나의 이미지 캡쳐 유닛은 좌측 입체 이미지 능력을 제공하고, 다른 이미지 캡쳐 유닛은 우측 입체 이미지 능력을 제공한다. 몇몇 형태에서, 2개의 이미지 캡쳐 유닛 내의 이미지 캡쳐 센서는 센서들이 대체로 내시경의 중심을 향하도록 백투백(back-to-back) 방향이다. 이러한 배열은 2개의 이미지 캡쳐 유닛에 대한 프론트엔드 오브젝티브(objective) 경로가 우수한 스테레오스코픽 분리를 제공하도록 배치되어 있고, 이미지 캡쳐 센서 회로가 통합정리(consolidated)될 수 있으므로, 내시경 내의 측 공간의 효율적 사용을 가능하게 한다. 몇몇 형태에서, 백투백 이미지 캡쳐 센서는 추가적인 공간 절약 및 우수한 광 배열을 제공하기 위해 단일 플랫폼 또는 기판에 의해 지지된다(예컨대, 2개의 이미지 캡쳐 유닛은 내시경에 통합되기 전에 서로 배열될 수 있다). 백투백 이미지 캡쳐 센서는 대체로 내시경의 중심 세로축을 따라 설치될 수 있으나, 몇몇 형태에서, 이들은, 예컨대, 다른 말단부 내시경 특징으로 인해, 내시경의 중심 세로축으로부터 어긋나 있을 수 있다. 대안으로서, 2개의 이미지 캡쳐 유닛은 동평면의 이미지 캡쳐 센서가 서로 마주하도록, 또는 하나의 이미지 캡쳐 센서에 대한 동평면의 이미지 캡쳐 센서가 동평면에 있고, 다른 이미지 캡쳐 센서의 동평면의 이미지 캡쳐 센서와 동평면이도록 설치될 수 있다(즉, 모든 이미지 캡쳐 센서는 동평면이고, 몇몇 예에서, 동일한 기판상에 놓인다). 두 이미지 캡쳐 유닛 간의 이미지 캡쳐 센서 평면의 다양한 다른 방향이 사용될 수 있다. 또한, 하나 이상의 이미지 캡쳐 유닛이 대체로 내시경의 말단부에 있는 것으로 서술되었으나, 몇몇 형태에서, 하나 이상의 이미지 캡쳐 유닛이 내시경의 근단부에 있을 수도 있음을 이해해야 한다.
아래에 더욱 상세하게 서술된 바와 같이, 컴팩트 듀얼 이미징 이미지 캡쳐 유닛의 광 기하학적 형상은 2개의 비교적 큰 이미지 센서가 각각의 바람직한 광 채널에 대하여 내시경 내에 설치될 수 있게 하고, 들어오는 광을 2 이상의 빔으로 나누는 이미지 캡쳐 유닛 특징은 다수의 상이한 시각적 디스플레이 특징부가 이미징 시스템을 사용하여 사람에게 표시될 수 있게 한다. 예를 들어, 2개의 이미지 캡쳐 유닛이 사용된다면, 2세트의 정밀하게 배열된 입체 이미지가 캡쳐될 수 있는데, 하나의 입체 이미지 세트는 제1 광 빔으로부터 캡쳐된 특징을 가지고, 다른 입체 이미지 세트는 제2 광 빔으로부터 캡쳐된 특징을 가진다.
강화된 특징부 식별
수술부위에서의 장면의 이미지 내에, 종종 만나게 되는 하나의 문제는 수술의 제어 콘솔(250) 상의 수술의에게 표시되는 이미지를 강화하고자 할 때의 세츄레이션(saturation)이다. 하나의 이유는 시야 내의 수술기기가 전형적으로 조직보다 많은 광을 반사하기 때문이다. 다른 문제는 조직의 표면상에 직접적으로 존재하지 않을 수 있는, 장면 내의 관심 있는 특징부, 예컨대, 신경, 병든 조직 등을 식별하는 것이다.
하나의 형태로서, 장면의 이미지화는 조명이 시야 내의 조직 및 다른 물체와 상호작용하는 방식에 대한 추가적인 정보를 수집하기 위해 프리즘 구조(460) 및 동평면인 이미지 캡쳐 센서(410B, 415B)를 사용함으로써 강화된다. 특히, 조명 광의 편광 상태는 조직 표면, 조직 내 표면 아래의 구조, 및 수술 기기에 의해 상이하게 교란된다.
조명측 상에 강화된 특징부 식별 능력을 구현하는 적어도 두 가지 방법이 존재한다. 어떤 것이든, 조명은 대부분 편광되거나, 대부분 편광되지 않을 수 있다. 당업자들이 알 수 있듯이, 광은 결코 완전히 편광되지 않으며, 그러므로 대부분 편광됨의 의미는 더 낮은 명암비(contrast ratio)도 충분할 수 있지만, 예컨대, 이상적으로 1,000:1 보다 우수한 식별을 위해 요구되는 정도로 편광되었음을 의미한다. 이와 유사하게, 대부분 편광되지 않았다는 의미는 요구되는 정도로 편광되지 않았음을 의미한다.
강화된 특징부 식별 - 비편광 조명
도 5a는 이미지 캡쳐 유닛(525L, 525R) 및 조명기로부터의 편광되지 않은 광을 제공하는 조명 채널(505)을 구비한 입체 내시경(502A)의 말단부의 개략적인 도면이다. 화살표(535)가 가리키듯이, 말단 방향은 조직(503)을 향하고, 근단 방향은 조직(503)으로부터 멀어지는 방향이다.
각각의 이미지 캡쳐 유닛(525R, 525L)은 렌즈 어셈블리(501R, 501L) 및 센서 어셈블리(520R, 520L)를 포함한다. 센서 어셈블리(520R, 520L)는 렌즈 어셈블리(501R, 501L)를 통과한 광을 수신하도록 설치된다. 각각의 센서 어셈블리(520R, 520L)는 하나의 형태로서 프리즘 어셈블리(530R, 530L), 반사 유닛(540R, 540L), 및 동평면의 이미지 캡쳐 센서((510R, 515R), (510L, 515L))를 포함한다. 입체 내시경(502A)은 종종 내시경(502A)이라고도 한다.
조명 채널(505)로부터의 조명 중 일부는 조직(503)의 표면에서 반사된다. 도 5a에 도시되지는 않았으나, 조명 채널(505)로부터의 조명 중 일부는 또한 내시경(502A)의 시야 내에 있는 수술 기기에 의해 반사될 수 있다. 몇몇 조직은 그 조직으로부터 반사된 광에 어느 정도의 편광을 부여한다.
아래의 설명에서, 입체 내시경(502A)의 우측 채널 내의 광 경로가 서술된다. 입체 내시경(502A)의 좌측 채널을 통한 광 경로는 내시경(502A)의 대칭성으로 인해 우측 채널 내의 광 경로와 동등하며, 그러므로 아래의 설명에서 좌측 채널 참조 번호는 우측 채널 내의 부재의 설명에 이은 괄호에 포함된다. 이는 본 설명이 좌측 채널 내의 대응하는 부재에도 적용가능함을 의미한다.
조직(503)으로부터 반사된, 편광된 및 편광되지 않은, 광은 렌즈 어셈블리(501R(501L))를 통해 스탑(570R(570L))으로 지나간다. 렌즈 어셈블리(401B)(도 4b) 내의 부재들은 렌즈 부재(504R(504L))의 하나의 예이다. 본 예에서, 옵션의 4분의 1 파장판(580R(580L))은 스탑(570R(570L))과 이미지 캡쳐 유닛(525R(525L))의 말단부 표면 사이의 경 경로 내에 삽입된다. (도시되지 않은) 다른 형태에서, 4분의 1 파장판(580R(580L))이 광 경로에 포함되지 않는다.
스탑(570R(570L))을 통과한 광은 센서 어셈블리(520R(520L))에 의해 수신되고, 빔 스플리터(531R(531L))를 포함하는 프리즘 어셈블리(530R(530L))로 들어간다. 빔 스플리터(531R(531L))는 본 형태에서 편광 기반의 빔 스플리터이다. 빔 스플리터(531R(531L))는 수신된 광의 편광 상태를 기초로 수신된 광의 제1 부분을 반사하도록 구성되고, 수신된 광의 편광 상태를 기초로 수신된 광의 제2 부분을 투과하도록 구성된다. 하나의 형태에서 빔 스플리터(531R(531L))는 코팅된 면이다.
예를 들어, 프리즘 어셈블리(530R(530L))로 들어오는 편광되지 않은 광은 빔 스플리터(531R(531L))에 의해 제1 이미지 캡쳐 센서(510R(510L))와 제2 이미지 캡쳐 센서(515R(515L)) 사이에서 균등하게 나누어진다. 프리즘 어셈블리(530R(530L))로 들어오는 선형 편광된 광은 표면(531R(531L))의 코팅 방향 및 광의 상대적인 편광 방향에 따라 빔 스플리터(531R(531L))에 의해 반사되거나 투과된다. 직교하는 경우에, 모든 편광된 광은 제1 이미지 캡쳐 센서(510R(510L)) 또는 제2 이미지 캡쳐 센서(515R(515L))로 지향된다. 하나의 형태로서, 코팅면(531R(531L))에 대한 광의 입사각은 45도 미만이다.
코팅된 제1 면(531R(531L))은 코팅된 제1 면(531R(531L))을 통해 수신된 광의 제2 부분을 반사 유닛(540R(540L))으로 전달한다. 구체적으로, 코팅된 제1 면(531R(531L))을 통해 전달된 광은 제3 면(541R(541L))에 의해 수신되고, 제3 면은 그 광을 제2 이미지 캡쳐 센서(515R(515L)) 상으로 지향, 예컨대, 반사한다. 제3 면(541R(541L))은 코팅된 면 또는 내부 전반사 면 중 하나일 수 있다.
하나의 형태로서, 프리즘 어셈블리(530R(530L)) 및 반사 유닛(540R(540L))은 프리즘 구조 내에 포함된다. 본 형태에서, 프리즘 구조는 아래에 더욱 상세하게 설명된 바와 같이, 매립형 다층 편광 선택 층을 가진 매립형 코팅면(431B)을 가진 프리즘 구조(460)(도 4b)와 동등하다. 그러므로, 프리즘 구조(460)의 설명은 도 5a의 형태에 사용되는 프리즘 구조에 적용가능하다.
코팅된 제1 면(531R(531L))은, 예컨대, 매립형 다층 편광 빔 스플리터이다. 이러한 층은 당업자들에게 주지되어 있고, 편광 빔 스플리터 큐브에 일반적으로 사용된다. 이러한 유전 필름 기반의 코팅은 통상적으로 매립되고, 이러한 코팅은 하나의 형태에서 사용된다. 대안으로서, 편광 기반의 빔 스플리터는 유타 오렘의 Moxtek® 인코퍼레이티드, PBF02 편광 빔 스플리터로서 일본 회사의 폴라테크노 컴파니 리미티드로부터의 재료로 구성될 수 있다(MOXTEK는 유타 오렘의 Moxtek® 인코퍼레이티드의 등록된 미국 상표이다).
이미지 캡쳐 센서((510R(510L)) 및 (515R(515L)))는 동평면이다. 하나의 형태로서, 스탑(570R(570L))에서부터 코팅된 제1 면(531R(531L))을 지나고 제2 면(532R(532L))을 지나 제1 이미지 캡쳐 센서(510R(510L))까지의 제1 광 경로 길이는 스탑(570R(570L))에서부터 코팅된 제1 면(531R(531L))을 통해 제3 면(541R(541L))을 지나 이미지 캡쳐 센서(515R(515L))까지의 제2 광 경로 길이와 대략 동일하다. 또한, 스탑(570R(570L))에서 시작하는 광 경로 길이의 정의는 설명을 위한 것이며 제한하도록 의도되지 않았다. 광 경로 길이는 또한, 예컨대, 자신을 통해 수신된 광이 프리즘 어셈블리(530R(530L))로 통해 들어가게 하는 프리즘 어셈블리(530R(530L))의 말단면에 대하여, 렌즈 어셈블리(501R(501L)) 내의 제1 부재에 대하여, 또는 코팅된 제1 면(531R(531L))에 대하여 다양하게 정의될 수 있다.
동평면의 이미지 캡쳐 센서(51OR(510L) 및 515R(515L))는 렌즈 어셈블리(501R(501L)) 내의 프론트엔드 광학 구조를 통한 공통의 광 경로 길이, 및 센서 어셈블리(520R(520L)) 내의 각각의 이미지 캡쳐 센서까지 대략 동일한 광 경로 길이를 가진다. 하나의 이미지 캡쳐 센서(510R(510L))는 편광 빔 스플리터(531R(531L))에 의해 반사된 광으로 구성된 이미지를 캡쳐한다. 다른 이미지 캡쳐 센서(515R(515L))는 편광 빔 스플리터(531R(531L))에 의해 투과된 광으로 구성된 이미지를 캡쳐한다.
이미지 캡쳐 유닛(525R(525L))은 2개의 편광 상태(직교하는 선형 상태, 또는 4분의1 파장판(580R(580L))을 통해 좌우 원형 편광 상태)를 이미지화한다. 본 경우에, 이미지 캡쳐 유닛(525R(525L))에 의해 획득된 이미지는 조직 자체 내의 구조에 의해 부여되는 우선적인(preferential) 편광을 기초로 하는 정보를 제공한다. 이미지 캡쳐 유닛(525R(525L))은 (광의 완전한 편광 특성이 아니라) 수신된 광의 편광 상태 중 2개의 직교 성분의 상대 강도만 캡쳐할 수 있다. 그러나, 이는 유용한 정보를 제공하기에 충분하다.
예를 들면, 광은 그 광이 표면으로부터 정반사될(specularly reflected) 때 우선적으로 편광된다. 편광도(및 편광 상태)는 조명 각도 및 표면의 표면 반사 특성에 의존한다.
임상현장(clinical setting)에서, 이는 몇몇 특별한 반사의 감소를 가능하게 한다. 이미지 캡쳐 유닛(525R(525L))으로 들어가는 반사된 광은 선형 편광을 기초로 분리되고 두 이미지가 캡쳐된다. 캡쳐된 이미지 내의 반짝이는 도구로부터 반사는 이러한 반사가 하나의 캡쳐된 이미지 내에 나타나지만 다른 캡쳐된 이미지에는 나타나지 않기 때문에 식별될 수 있고 소프트웨어를 실행함으로써 감소될 수 있다. 반짝이는 도구에 의해 반사된 광이 부분 편광되기 때문에 이러한 프로세스가 가능하다. 이러한 프로세스는 입체 디스플레이(251) 상에서 수술의에게 표시되는 이미지 내에 특정한 반사의 감소를 야기한다.
하나의 형태에서, 듀얼 이미지 강화 모듈(240R(240L))(도 2)은 수술 기기로부터의 반사를 감소시키도록 이미지 캡쳐 센서(510R(510L) 및 515R(515L))(도 5a)에 의해 캡쳐된 이미지를 처리한다. 이미지 캡쳐 센서(515R(515L))에 의해 캡쳐된 제2 이미지 내의 픽셀 정보는 이미지 캡쳐 센서(510R(510L))에 의해 캡쳐된 제1 이미지 내의 픽셀을 수정하기 위해 사용된다. 예컨대, 제2 이미지 내의 픽셀 값의 퍼센트는 수술 기기를 나타내는 픽셀의 밝기를 더 감소시키기 위해 제1 이미지 내의 대응하는 픽셀 값으로부터 차감된다. 하나의 형태로서, 이 퍼센트는 실험에 의거하여 결정된다. 이는 두 이미지가 동일한 프론트엔드 광학 구조를 가지고, 서로 공간적으로 정렬되며 서로 시간적으로 정렬되기 때문에 가능하다.
부가적으로, 몇몇 조직은 조직에 의해 반사되는 광에 어느 정도의 편광을 부여하는데, 예를 들면 기다란 힘줄 조직은 반사되는 광에 편광을 부여할 수 있다. 몇몇 형태에서, 듀얼 이미지 강화 모듈(240R(240L))(도 2)은 수신된 편광된 광으로부터 이미지 캡쳐 센서(515R(515L))에 의해 캡쳐된 제2 이미지 내의 픽셀을 처리하고, 예컨대, 그 픽셀을 위색채(false color) 처리할 수 있다. 그 다음, 위색채된 이미지는 이미지 캡쳐 센서(510R(510L))로부터의 제1 이미지와 결합되고, 결합된 이미지는 수술의에게 보여지기 위해 입체 디스플레이(251)로 전송된다. 본 문맥에서, "위색채"는 좋은 것이다. 이는 관심있는 특정 픽셀을 배경에 대하여 시각적으로 두드러지게 할 수 있다.
대안으로서 또는 부가적으로, 듀얼 이미지 강화 모듈(240R(240L))(도 2)은 수신된 편광된 광으로부터 이미지 캡쳐 센서(515R(515L))에 의해 캡쳐된 제2 이미지 내의 픽셀을 처리한 후, 이미지 캡쳐 센서(51OR(510L))에 의해 캡쳐된 제1 이미지 내의 대응하는 픽셀을 판정한다. 듀얼 이미지 강화 모듈(240R(240L))은 제1 이미지 내의 대응하는 픽셀의 속성을 변경하고, 예컨대, 픽셀을 더 투명하게 하고 제1 및 제2 이미지를 결합한다. 결합된 이미지는 수술의가 볼 수 있도록 입체 디스플레이(251)로 전송된다. 이제 입사광을 편광시키지 않는 조직이 더 투명하기 때문에, 이는 수술의가 입사광을 편광시켰던 조직을 더 분명하게 식별할 수 있게 하고, 그러므로 조직 구별을 위한 추가적인 단서를 제공한다. 그러므로, 듀얼 이미지 강화 모듈(240R(240L))에 의해 생성된 결합된 이미지는 수신된 광 내의 편광 차이를 기초로 그 이미지 내의 특징부의 두드러짐을 증가시키고, 예컨대, 겹쳐있는 조직을 더 투명하게 하고 다른 특정한 반사를 감소시킴으로써 특징부를 더 잘 보이게 한다.
이미지 캡쳐 유닛 내의 이미지 캡쳐 센서가 동평면이기 때문에, 두 이미지 캡쳐 유닛 내의 이미지 캡쳐 센서 세트는 서로 고정된 일정한 관계 내에 있다. 또한, 각각의 이미지 캡쳐 유닛에 대한 렌즈 어셈블리를 동등하다. 그러므로, 수술의에게 보여지는 이미지가 정렬되어 있고 적절한 입체 이미지를 형성함을 보장하기 위해 다양한 이미지를 처리할 때 능동 정렬(active registration)에 대한 필요성이 존재하지 않는다. 이는 이러한 특징없이 캡쳐된 이미지와 비교하여 이미지의 요구되는 프로세싱을 감소시킨다.
강화된 특징부 식별 - 편광 조명
도 5b는 이미지 캡쳐 유닛(525R(525L)) 및 조명기로부터의 광을 제공하는 조명 채널(505)을 갖춘 입체 내시경(502B)의 말단부의 개략적인 도면이다. 화살표(535)가 가리키는 바와 같이, 말단 방향은 조직(503)을 향하고, 근단 방향은 조직(503)으로부터 멀어지는 방향이다.
각각의 이미지 캡쳐 유닛(525R(525L))은 렌즈 어셈블리(501R, 501L) 및 센서 어셈블리(520R 및 520L)를 포함한다. 센서 어셈블리(520R 및 520L)는 렌즈 어셈블리(501R, 501L)를 통과한 광을 수신하도록 설치된다. 각각의 센서 어셈블리(520R, 520L)는 하나의 형태로서 프리즘 어셈블리(530R, 530L), 반사 유닛(540R, 540L), 및 이미지 캡쳐 센서((51OR, 515R) 및 (510L, 515L))를 포함한다. 또한, 입체 내시경(502A)은 종종 내시경(502A)이라고도 불린다.
조명을 편광시키는 편광기(581)는 조명 광 경로 길이 내에 제공된다. 도 5b에서, 편광기(581)는 입체 내시경(502A)의 말단부에 도시되어 있으나, 이는 단지 설명을 위한 것일 뿐이며 이러한 위치를 제한하도록 의도되지 않았다. 편광기(581)는 조명 경로 내의 편광기를 나타내고, 그 경로 내의 적절한 위치에 놓일 수 있다. 대안으로서, 조명 채널(505)은 편광된 소스로부터의 광을 전달할 수 있고, 또는 편광된 광원이 (581) 위치에 설치될 수 있다.
아래의 설명에서, 입체 내시경(502B)의 우측 채널 내의 광 경로가 서술된다. 스위칭 재료 내시경(502B)의 좌측 채널을 통한 광 경로는 우측 채널의 것과 동등하므로, 아래의 설명에서 좌측 채널 참조 번호는 우측 채널 내의 부재의 설명 뒤의 괄호에 포함된다. 이는 본 설명이 좌측 채널 내의 대응하는 부재에도 적용가능함을 나타낸다.
편광된 및 편광되지 않은, 조직(503)으로부터의 광은 렌즈 부재(504R(504L)) 및 스탑(570R(570L))을 통과한다. 또한, 렌즈 어셈블리(401B)(도 4b) 내의 부재들은 렌즈 부재(504R(504L))의 한 예이다. 본 예에서, 스탑(570R(570L))과 센서 어셈블리(520R(520L))의 말단면 사이의 옵션의 4분의1 파장판(580R(580L))(도 5a)은 제거되었다. 그러나, 아래에 서술된 다른 형태에서, 4분의 1 파장판이 렌즈 어셈블리에 포함된다.
스탑(570R(570L))을 통과한 광은 센서 어셈블리(520R(520L))에 의해 수신되고, 말단면을 통해 프리즘 어셈블리(530R(530L))로 들어간다. 상술된 바와 같이, 프리즘 어셈블리(530R(530L)) 내의 편광 빔 스플리터(531R(531L))는 수신된 광의 편광 상태를 기초로 수신된 광의 제1 부분을 반사하도록 구성되고, 수신된 광의 편광 상태를 기초로 수신된 광의 제2 부분을 투과하도록 구성된다.
본 예에서, 편광 빔 스플리터(531R(531L))는 하나의 편광 상태를 제1 이미지 캡쳐 센서(510R(510L)) 상으로 향하게 하도록 구성되고, 전달된 광을 이미지 캡쳐 센서(515R(515L)) 상으로 향하게 하는 반사 유닛(540R(540L))으로 나머지 광을 전달, 예컨대, 통과시키도록 구성된다. 그러므로, 프리즘 어셈블리(530R(530L)), 편광 빔 스플리터(531R(531L)), 반사 유닛(540R(540L)), 및 이미지 캡쳐 센서(51OR(510L) 및 515R(515L))의 설명은 반복하지 않으며, 도 5a와 관련한 상기 설명은 참조로서 여기에 통합된다.
편광기(581)로부터의 편광된 조명 중 일부는 조직(503)의 표면으로부터 반사된다. 표면에서 반사된 광은 편광된 광과 대략 동일한 편광을 가진다. 예컨대, 최상면 반사는 조직(503)에 도달한 광의 원래의 편광 상태 중 더 많은 부분을 유지한다.
표면에서 반사되지는 않은 광은 조직(503) 내로 들어가고, 조직(503)의 표면 아래에 있고 입사 광의 편광을 변경하는 특징부(503-1 내지 503-4)와 상호작용한다. 조직(503) 내로 들어간 광은 산란 또는 흡수된다. 산란된 광의 일부는 조직(503)의 표면을 빠져나가고 렌즈 부재(504R(504L))에서 반사된 광으로서 나타난다. 그러므로, 조직(503)을 빠져나간 광의 일부는 편광 변화에 기인하여 캡쳐된 이미지 내의 추가적인 정보를 제공한다. 그러므로, 편광된 광을 조명하고 편광 감응 검출기를 통해 이미지화할 때, 조명의 편광으로부터 편광차를 가지는 광은, 예컨대, 편광감소된(de-polarized) 광은 조직(503)의 표면 아래와 상호작용해야한다.
예를 들어, 조명이 선형 편광되었다면, 그 광이 조직(503)의 표면아래의 특징부(503-1 내지 503-4)로 들어가고 다시 반사될 때 그 광은 점진적으로 편광감소된다. 표면아래 특징부(503-1 내지 503-4)로부터 반사된 광은 본질적으로 편광감소된다.
그러므로, 편광기(581) 및 코팅된 제1 면(531R(531L))의 적절한 방향조절을 통해, 이미지 캡쳐 센서(515R(515L))는 조직(503)의 표면에서 주로 반사되는 광 및 표면아래의 특징부(503-1 내지 503-4)로부터의 광 중 대략 50퍼센트로부터 이미지를 캡쳐한다. 이미지 캡쳐 센서(51OR(510L))는 표면 아래의 특징부(503-1 내지 503-4)로부터 주로 반사된 광으로부터 이미지를 캡쳐하고, 조직(503)으로부터 반사된 광을 유의미한 수준으로 캡쳐하지 않는다. 센서 어셈블리(520R(520L))는 오직 수신된 광의 편광 상태 중 (광의 전체 편광 특성이 아니라) 2개의 직교 성분의 상대적인 강도만 캡쳐할 수 있다. 그러나, 이는 유용한 정보를 제공하기에 충분하다.
특히, 편광 감응 이미징과 함께 편광된 조명의 사용은 이미지화 프로세스에서 조직으로부터의 표면층을 선택적으로 제거하는 것을 가능하게 한다. 본 형태에서, 듀얼 이미지 강화 모듈(240R(240L))(도 2)은 수신된 광으로부터 이미지 캡쳐 센서(51OR(510L))에 의해 캡쳐된 제1 이미지 내의 픽셀을 처리하고, 그 다음 이미지 캡쳐 센서(515R(515L))에 의해 캡쳐된 제2 이미지 내의 대응하는 픽셀을 판단한다. 듀얼 이미지 강화 모듈(240R(240L))은, 사용자 인터페이스(262)로부터의 입력의 제어 하에서, 입체 디스플레이(251) 상에 보여지는 것을 조절할 수 있다. 예를 들어, 표면(503)만 보기 위해서는, 이미지 강화 모듈(240R(240L))은 이미지 캡쳐 센서(515R(515L))에 의해 캡쳐된 이미지에서 이미지 캡쳐 센서(510R(510L))에 의해 캡쳐된 이미지를 뺀다. 결과적인 이미지는 수술의가 볼 수 있도록 입체 디스플레이(251)로 전송된다. 대안으로서, 사용자 인터페이스(262)로부터의 입력에 응답하여 표면 아래의 특징부(503-1 내지 503-4)를 보기 위해서, 이미지 강화 모듈(240R(240L))은 입체 디스플레이(251) 상에 디스플레이되는 이미지와 유사한 밝기를 달성하도록 이미지 캡쳐 센서(510R(510L))에 의해 캡쳐된 이미지를 스케일링한다(scale). 결과적인 이미지는 수술의가 볼 수 있도록 입체 디스플레이(251)로 전송된다.
이제 입사 광의 편광을 변경하지 않는 표면 조직은 더 투명해졌으므로, 이는 수술의가 입사광의 편광을 변경한 표면 아래의 특징부를 더 분명하게 식별할 수 있게 하고 조직 구별을 위한 추가적인 단서를 제공한다. 그러므로, 듀얼 이미지 강화 모듈(240L(240R))에 의해 생성된 강화된 이미지는 수신된 광의 편광차를 기초로 이미지 내의 특징부의 두드러짐을 증가시킨다.
또한, 조명이 원형 편광되었다면, 조직(503)의 최상면으로부터의 반사는 편광의 좌우상(handedness)이 반전된 채 반사된다. 센서 어셈블리(520R(520L)) 내에서, 반사된 광이 4분의 1 파장판(도 5a의 4분의1 파장판(580R) 참고)을 통해 들어가고, 그 다음, 선형 편광을 기초로 분리된다면, 최상면의 반사는 상당히 감소되고 반짝이는 도구로부터의 반사도 감소된다. 표면 아래의 조직층은 여전히 점진적으로 광을 편광감소시켜, 표면층이 이전보다 더 투명하게 나타나게 하는 방식으로 수술의에게 표시될 수 있게 한다. 이는 조직(503)의 표면 아래에서 분명하게 나타나는 조직층, 조직 종류, 또는 질병 상태를 더 잘 구별할 수 있는 능력을 가능하게 한다. 그러므로, 수술의는 최상층을 더 투명하게 함으로써 그리고 특정한 반사를 감소시킴으로써, 앞서 서술한 바와 같이, 최상층으로부터의 반사가 억제될 수 있으므로 조직(503)의 최상의 표면을 "투시하여" 우선적으로 볼 수 있는 능력을 가진다. 또한, 조직(503)의 최상의 표면만 앞서 서술한 바와 같이 보여질 수도 있다.
이러한 기술이 강조할 수 있는 조직의 예는 자궁내막증(endometriosis)을 포함할 수 있다. 또한, 이러한 기술은 편광 특성(signature)을 가지는 신경을 구별할 수 있는 능력을 강화할 수 있다. 그러므로, 다양한 임상현장에서, 듀얼 이미지 강화 모듈(240R(240L))에 의해 생성된 결합 이미지는 수신된 광의 편광차를 기초로 이미지 내의 특징부의 두드러짐을 증가시킨다.
강화된 해상도 및 동적 범위
내시경의 말단부에 있는 종래기술의 카메라는 입체 컬러 이미지를 제공하였으나, 이러한 카메라들은 각각의 입체 채널에서 이미지를 캡쳐하는 단일 CCD에 의해 제공되는 해상도 및 동적 범위로 제한되었다. 입체 내시경 상의 종래의 카메라와 함께, 해상도는 CCD 및 컬러 필터 어레이의 픽셀 수에 의해 제한된다. 입체 내시경의 말단부에서 사용가능한 공간이 제한되게 주어지는 CCD 상의 픽셀 수를 증가시키는 것이 실현 불가능하기 때문에, 해상도를 더 증가시키는 것도 실현 불가능하다.
이와 유사하게, 수술부위의 장면의 중심은 전형적으로 장면의 주변보다 더 밝다. 이는 캡쳐된 이미지 내의 밝기 범위가 CCD의 동적 범위를 초과할 때 (강도 면에서) 클립핑(clipped)된 캡쳐 이미지를 야기한다. 이미지 캡쳐 유닛(625R, 625L)(도 6)은 아래에 더욱 상세하게 서술된 바와 같이 더 높은 겉보기 해상도(apparent resolution) 및 더 높은 동적 범위를 제공함으로써 종래기술의 문제점을 해소한다.
도 6a는 이미지 캡쳐 유닛(625R, 625L) 및 조명으로부터의 광을 제공하는 조명 채널(505)을 구비한 입체 내시경(602)의 말단부의 개략적인 도면이다. 화살표(635)가 가리키는 바와 같이, 말단 방향은 조직(603)을 향하고, 근단 방향은 조직(603)으로부터 멀어지는 방향이다.
각각의 이미지 캡쳐 유닛(625R, 625L)은 렌즈 어셈블리(601R, 601L) 및 센서 어셈블리(620R, 620L)를 포함한다. 센서 어셈블리(620R, 620L)는 렌즈 어셈블리(601R, 601L)를 통과한 광을 수신하도록 설치된다. 각각의 센서 어셈블리(620R, 620L)는 하나의 형태로서 프리즘 어셈블리(630R, 630L), 반사 유닛(640R, 640L), 및 동평면인 이미지 캡쳐 센서((61OR, 615R), (610L, 615L))를 포함한다. 입체 내시경(602)은 종종 내시경(602)이라고도 불린다.
아래의 설명에서, 입체 내시경(602)의 우측 채널 내의 광 경로가 서술된다. 입체 내시경(602)의 좌측 채널을 통한 광 경로는 내시경(602)의 대칭성으로 인해 우측 채널의 것과 동등하므로, 아래의 설명에서 좌측 채널 참조번호는 우측 채널 내의 부재의 설명에 이은 괄호 내에 포함된다. 이는 이 설명이 좌측 채널 내의 대응하는 부재에도 적용가능함을 의미한다. 또한, 도 6a에서 도 5a 및 5b에서의 부재와 동일한 참조번호를 가진 부재들은 도 5a 및 5b와 관련하여 앞서 서술한 것과 동일하거나 동등한 부재이다. 반복을 피하기 위해, 동일한 참조번호를 가진 부재들은 도 6을 참조할 때 다시 상세하게 설명하지 않는다.
조직(503)으로부터의 광은 렌즈 어셈블리(501R, 501L) 내의 렌즈 부재(504R(504L)) 및 스탑(570R(570L))을 통과한다. 렌즈 어셈블리(401B)(도 4b) 내의 부재들은 렌즈 부재(504R(504L))의 하나의 예이다. 센서 어셈블리(620R(620L))에 의해 수신된 광은 프리즘 어셈블리(630R)로 들어간다. 프리즘 어셈블리(630R(630L))는 프리즘 어셈블리(630R(630L))에 의해 수신된 광의 제1 퍼센트를 반사하고, 코팅된 제1 면을 통해 수신된 광의 제2 퍼센트를, 예컨대, 빔 스플리터(631R(631L))를 통해 반사 유닛(540R(540L))으로 통과시키는 빔 스플리터(631R(631L)), 예컨대, 코팅된 제1 면을 포함한다.
코팅된 제1 면(631R(631L))에 의해 반사된 광은 제2 면(632R(632L))에 의해 수신되고, 제2 면은 그 광을 제1 이미지 캡쳐 센서(610R(610L)) 상으로 지향, 예컨대, 반사한다. 제2 면(632R(632L))은, 예컨대, 코팅면, 및 내부 전반사 면 중 하나이다. 코팅된 제1 면(631R(631L))을 통과한 광은 반사 유닛(540R(540L))의 제3 면(541R(541L))에 의해 수신되고, 제3 면은 그 광을 제2 이미지 캡쳐 센서(615R(615L)) 상으로 지향, 예컨대, 반사한다.
제2 면(632R(632L))은 코팅된 제1 면(631R(631L))에 의해 반사된 광 이외의 광이 제2 면(632R(632L))에 도달하지 않도록 위치조절된다. 하나의 형태로서, 코팅된 제1 면(631R(631L))으로의 광의 입사각은 45도 미만이다.
하나의 형태로서, 프리즘 어셈블리(630R(630L)) 및 반사 유닛(540R(540L))은 프리즘 어셈블리(630R(630L))를 포함하는 오각 프리즘을 가진 프리즘 구조 내에 포함된다. 본 형태의 프리즘 구조는 수신된 광의 제1 퍼센트를 반사하고, 수신된 광의 제2 퍼센트가 코팅면을 통과하도록 구성된 매립형 코팅면(431B)을 가진 프리즘 구조(460)(도 4b)와 동등하다. 그러므로, 프리즘 구조(460)의 설명은 도 6a의 형태에서 사용된 프리즘 구조에 적용가능하다.
하나의 형태로서, 제1 및 제2 퍼센트는 대략 동일하다. 다른 형태에서, 제1 및 제2 퍼센트는 상이하다. 그러므로, 프리즘 어셈블리(630R(630L))는 수신된 광을 두 부분((i) 종종 제1 부분이라 불리는 수신된 광의 제1 퍼센트, 및 (ii) 종종 제2 부분이라 불리는 수신된 광의 제2 퍼센트)으로 나누는 코팅된 제1 면(531R(531L))으로 구현된 빔 스플리터를 포함한다.
이미지 캡쳐 센서(61OR(610L) 및 615R(615L))는 동평면이다. 하나의 형태로서, 스탑(570R(570L))에서부터 코팅된 제1 면(531R(531L))을 지나고 제2 면(632R(632L))을 지나는 이미지 캡쳐 센서(610R(610L))까지의 제1 광 경로 길이는 스탑(570R(570L))에서부터 코팅된 제1 면(631R(631L))을 통해 제3 면(541R(541L))을 지나는 이미지 캡쳐 센서(615R(615L))까지의 제2 광 경로 길이와 대략 동일하다. 또한, 스탑(570R(570L)에서 시작하는 광 경로 길이의 정의는 설명을 위한 것일 뿐이며 제한하도록 의도된 것은 아니다. 또한, 광 경로 길이는, 예컨대, 수신된 광이 프리즘 어셈블리(630R(630L))로 들어가도록 통과시키는 프리즘 어셈블리(630R(630L))의 말단 면에 대하여, 렌즈 어셈블리(601R(601L)) 내의 제1 부재에 대하여, 또는 코팅된 제1 면(631R(631L))에 대하여, 다양하게 정의될 수 있다.
그러므로, 동평면의 이미지 캡쳐 센서(61OR(610L) 및 615R(615L))는 렌즈 어셈블리(601R, 601L) 내의 프론트엔드 광학 구조를 통한 공통의 광 경로 길이 및 센서 어셈블리(620R(620L)) 내의 각각의 이미지 캡쳐 센서까지 대략 동일한 광 경로 길이를 가진다. 하나의 이미지 캡쳐 센서(610R(610L))는 센서 어셈블리(620R(620L))에 의해 수신된 광의 제1 부분으로부터 이미지를 캡쳐한다. 다른 이미지 캡쳐 센서(615R(615L))는 센서 어셈블리(620R(620L))에 의해 수신된 광의 제2 부분으로부터 이미지를 캡쳐한다. 아래에 더욱 상세하게 서술된 바와 같이, 하나의 형태로서, 각각의 이미지 캡쳐 센서(61OR(610L) 및 615R(615L))는 컬러 필터 어레이를 구비한 컬러 센서이다. 다른 형태에서, 컬러 필터 어레이는 하나의 컬러 센서로부터 제거되고, 이 센서는 단색(monochrome) 센서로서 기능한다. 다른 컬러 센서의 컬러 필터 어레이는 그 센서에 의해 수신된 다수의 색 성분에 대하여 수정된다.
강화된 해상도 - 예 1
하나의 형태로서, 프리즘 어셈블리(630R(630L))의 코팅된 제1 면(631R(631L))은 렌즈 어셈블리(601R(601L))로부터 프리즘 어셈블리(630R(630L))에 의해 대략 동등한 비율의 수신된 광을 반사하고 투과하도록 구성된다. 즉, 제1 및 제2 퍼센트는 대략 동등하다. 빔 스플리터(631R(631L))가 대략 동등한 비율의 광을 반사 및 투과할 때, 빔 스플리터는 밸런스드(balanced) 빔 스플리터라 불린다. 각각의 이미지 캡쳐 센서(61OR(610L) 및 615R(615L))는 본 형태에서 색 필터를 가진 컬러 센서이다. 컬러 필터 어레이는 바이어 컬러 필터 어레이(Bayer color filter array)이다. 그러므로, 2개의 바이어 패턴 이미지 캡쳐 센서는 동일한 장면에서 동일한 광학부재를 통해 바라본다. 여기서, 바이어 배턴 이미지 캡쳐 센서는 바이어 컬러 필터 어레이를 포함하는 단일 칩 센서이거나, 단일 칩의 일부이다. 앞서 언급한 바와 같이, 동평면의 이미지 캡쳐 센서(61OR(610L) 및 615R(615L))는 공통의 프론트엔드 광학 구조 및 각각의 센서까지 대략 동일한 광 경로 길이를 가진다.
프리즘 어셈블리(630R(630L)) 및 반사 유닛(540R(540L))이 바이어 패턴 이미지 캡쳐 센서(61OR(610L) 및 615R(615L))에 의해 캡쳐된 컬러 이미지가 동일하도록 배치된 때, 이미지 캡쳐 센서(610R(610L))에 의해 캡쳐된 컬러 이미지는 이미지 캡쳐 센서(615R(615L))에 의해 캡쳐된 컬러 이미지와 동일한 장면이다. 그러므로, 몇몇 정적 교정(static calibration)을 통해, 장면 내의 공간 내의 각각의 포인트는 2 픽셀(이미지 캡쳐 센서(610R(610L))에 의해 캡쳐된 컬러 이미지 내의 1 픽셀 및 이미지 캡쳐 센서(615R(615L))에 의해 캡쳐된 컬러 이미지 내의 1 픽셀)에 의해 표현된다.
장면 내의 공간에서 각각의 포인트에 대하여 2개의 픽셀을 캡쳐하는 것은 그 장면 내의 공간 내의 각각의 포인트에 대하여 1개의 픽셀을 가지는 일반적인 컬러 이미지를 능가하는 몇가지 이점을 가진다. 예컨대, 디스플레이(251)에서, 공간 내의 한 포인트에 대하여 2개의 픽셀을 각각 기초로 하는 픽셀들은 감소된 잡음 레벨 및 더 높은 겉보기 해상도를 가진다. 중앙 제어기(260) 내의 듀얼 이미지 강화 모듈(240R(240L))로부터 입체 디스플레이(251)로 전송된 각각의 출력된 픽셀은 바이어 패턴 이미지 캡쳐 센서(61OR(610L) 및 615R(615L))에 의해 캡쳐된 각각의 이미지로부터 하나씩 두 픽셀의 샘플링을 기초로 한다.
듀얼 이미지 강화 모듈(240R)에 의한 2 입력 픽셀의 샘플링은 단일 이미지 캡쳐 센서로부터의 하나의 이미지만 중앙 제어기(260)에 의해 프로세싱될 때 가능한 것보다 더 작은 특징부의 이미지화를 가능하게 한다. 그러므로, 입체 디스플레이(251) 상에 보여지는 상기 이미지의 겉보기 해상도는 단일 이미지 캡쳐 센서에 의해 캡쳐된 이미지를 기초로 하여 입체 디스플레이(251) 상에 보여지는 이미지의 해상도보다 크다. 여기서, 입체 디스플레이(251)로 전송된 이미지의 해상도는 단일 이미지 캡쳐 센서로부터의 이미지의 해상도보다 더 높을 수 있고, 그러므로 더 높은 겉보기 해상도를 가진다고 말할 수 있다.
강화된 해상도 - 예 2
다른 형태로서, 프리즘 어셈블리(630R(630L))의 코팅된 제1 면(631R(631L))은 여전히 프리즘 어셈블리(630R)에 의해 대략 동등한 비율의 수신된 광을 반사하고 투과하도록 구성된다. 즉, 제1 및 제2 퍼센트는 대략 동등하다. 각각의 이미지 캡쳐 센서(61OR(610L) 및 615R(615L))는 바이어 컬러 필터 어레이를 갖춘 컬러 센서이다. 또한, 동평면의 이미지 캡쳐 센서(61OR(610L) 및 615R(615L))는 공통의 프론트엔드 광학 구조, 및 대략 각각의 센서까지 동일한 광 경로 길이를 가진다. 그러나, 프리즘 어셈블리(630R(630L))의 면(631R(631L)) 및 (632R(632L))들은 이미지 캡쳐 센서(610R(610L))에 의해 캡쳐된 이미지가 이미지 캡쳐 센서(615R(615L))에 의해 캡쳐된 이미지로부터 2분의 1 픽셀만큼 어긋나도록 전체 광 경로 길이를 변경하지 않으면서 약간 기울어진다.
이러한 경우에, 2개의 바이어 패턴 이미지 캡쳐 센서는 동일한 장면에서 동일한 광학부재를 통해 "바라본다". 그러나, 2개의 캡쳐된 이미지는 서로 반 픽셀만큼 어긋나 있다. 도 6b는 제1 이미지 내의 픽셀 블록(691)과 제2 이미지 내의 대응하는 픽셀 블록(695)에 대한 오프셋(offset)의 개략적인 도면이다. 픽셀 블록(691) 내의 각각의 픽셀은 점선의 둘레를 가진 정사각형으로 표시되어 있고, 픽셀의 색은 정사각형의 중심에 있는, 첫번째 색 문자와 그 뒤에 숫자(2)에 의해 제공된다. 픽셀 블록(695) 내의 각각의 픽셀은 실선의 둘레를 가진 정사각형으로 표시되어 있고, 픽셀의 색은 정사각형의 중심에 있는, 첫번째 색 문자와 그 뒤에 숫자(1)에 의해 제공된다. 본 예에서, 바이어 컬러 필터 어레이는 적-녹-청-녹(RGBG) 어레이이다.
하나의 형태로서, 중앙 제어기(260) 내의 듀얼 이미지 강화 모듈(240R(240L))은 입체 디스플레이(251)로 전송되는 이미지를 위해 더 높은 공간적 해상도를 가진 컬러 이미지를 생성하기 위해 두 이미지 내의 픽셀들을 보간한다(interpolate). 이러한 보간법은 3개의 CCD 컬러 카메라와 달리 2개의 컬러 이미지가 사용되는 것을 제외하면, 3개의 CCD 컬러 카메라에서 수행되는 것과 동등하다. 샘플에 대하여 사용가능한 픽셀 수가 많을수록 겉보기 해상도를 강화하고, 향상된 신호대잡음 성능을 제공한다.
강화된 해상도 - 예 3
또 다른 형태로서, 프리즘 어셈블리(630R(630L))의 코팅된 제1 면(631R(631L))은 렌즈 어셈블리(601R, 601L)로부터 프리즘 어셈블리(630R)에 의해 수신된 광 내의 제1 색 성분을 반사하도록 구성되고, 반사된 광 내의 다른 색 성분을 투과하도록 구성된다. 본 형태에서, 이미지 캡쳐 센서(61OR(610L) 및 615R(615L))는 각각 바이어 컬러 필터 어레이를 구비한 컬러 센서가 아니다.
그보다는, 이미지 캡쳐 센서(610R(610L))는 단색 센서, 예컨대, 컬러 필터 어레이가 제거된 컬러 센서이다. 설명의 목적으로, 센서 어셈블리(620R(620L))에 의해 수신된 광은 복수의 가시 색 성분(제1 가시 색 성분, 제2 가시 색 성분, 및 제3 가시 색 성분)을 가지도록 취해진다. 이미지 캡쳐 센서(615R(615L))는 3개의 가시 색 성분 중 2개(예컨대, 복수의 가시 색 성분 중 가시 색 성분의 개수 빼기 1)에 대한 컬러 필터 어레이를 가진 컬러 센서이다. 앞서 언급한 바와 같이, 동평면의 이미지 캡쳐 센서(61OR(610L) 및 615R(615L))는 공통의 프론트엔드 광학 구조 및 각각의 센서까지 동일한 광 경로 길이를 가진다.
하나의 형태로서, 프리즘 어셈블리(630R(630L)) 및 반사 유닛(540R(540L))은 이미지 캡쳐 센서(61OR(610L) 및 615R(615L)) 모두에 의해 캡쳐된 이미지가 동일한 장면이지만, 제1 이미지는 단색이고, 제2 이미지는 다색이도록 배치된다. 예를 들어, 단색 이미지는 녹색 성분 이미지를 나타내고, 다색 이미지는 적색 성분 및 청색 성분 이미지이다. 이러한 경우에, 이미지 캡쳐 센서(615R(615L))의 컬러 필터 어레이는 적 및 청색의 바둑판 패턴이다.
적색 및 청색 픽셀에 대한 녹색 픽셀의 비율은 바이어 컬러 필터 어레이에서와 동일하지만, 종래기술의 단일 컬러 센서와 달리 각각의 색의 2배 많은 픽셀이 존재한다. 그러므로, 녹색 픽셀의 해상도는 중앙 제어기(260) 내의 듀얼 이미지 강화 모듈(240R(240L))에 의한 완전한 공간적 샘플링을 사용하여 생성되고, 적색 및 청색 픽셀의 해상도는 듀얼 이미지 강화 모듈(240R(240L))에 의해, 녹색 픽셀에 비해, 감소된 공간적 샘플링을 사용하여 생성된다. 그럼에도 불구하고, 본 형태에서 적색 및 청색 픽셀에 대한 공간적 샘플링은 종래기술의 단일 컬러 센서에서의 녹색 픽셀에 대한 공간적 샘플링과 동일하다. 이러한 강화된 공간적 샘플링은 또한 강화된 겉보기 해상도 및 향상된 신호대 잡음비를 제공한다.
강화된 동적 범위
전형적으로, 수술 부위 이미지는 유사하고 밝은 중앙 영역 및 어두운 주변 영역을 가진다. 또한, 몇몇 수술 기구로부터의 반사는 조직으로부터의 반사보다 훨씬 더 밝다. 이는 종래기술의 내시경의 이미지 캡쳐 센서에서 캡쳐되는 밝기값의 범위와 차이를 야기한다. 밝기값이 이미지 캡쳐 센서의 동적 범위를 넘어선다면, 그 픽셀에 대한 값은 클립핑된다(즉, 이미지 캡쳐 센서의 최대값으로 설정된다).
장면의 0 내지 400의 밝기 범위를 가진다고 가정한다. 이러한 장면이 0 내지 100의 동적 범위를 가진 센서로 이미징되면, 100을 초과하는 값은 클립핑된다. 예를 들어, 픽셀에 대한 밝기값이 400이여야 한다면, 그 픽셀에 대하여 캡쳐된 밝기값은 100이다. 100보다 큰 모든 밝기값이 클립핑되고 100으로 설정되므로, 100보다 큰 밝기를 가진 장면 부분에 대한 밝기 정보는 손실된다. 이미지 캡쳐 센서에 대한 이득이 0.25로 조절되면, 높은 밝기값이 클립핑되지는 않지만, 4보다 작은 모든 장면의 밝기값은 0으로 맵핑된다. 이러한 경우, 높은 밝기값이 클립핑되지 않지만, 장면의 어두운 부분의 정보가 손실된다. 이미지 캡쳐 유닛(625R, 625L)은 종래기술의 시스템에 비해 더 낮은 밝기 정보 및 높은 밝기 정보를 모두 보존함으로써 이러한 문제에 대한 해결책을 제공한다. 0 내지 400의 밝기 범위는 단지 설명을 위한 것이다. 실제 수술 장면에서, 밝기 변동은 다수의 수치(orders of magnitude)일 수 있다. 그러므로, 수술 장면의 동적 범위는 이미지 캡쳐 센서의 동적 범위보다 크다. 그러므로, 단일 이미지 캡쳐 센서는 수술 장면의 동적 범위를 캡쳐할 수 없다.
센서 어셈블리(620R(620L)) 내의 프리즘 어셈블리(630R(630L))의 코팅된 제1 면(631R(631L)), 예컨대, 빔 스플리터는 프리즘 어셈블리(630R(630L))에 의해 수신된 광의 상이한 비율을 반사하고 투과시키도록 구성된다. 즉, 앞서 정의된 제1 및 제2 비율은 상이하다. 빔 스플리터(631R(631L))는 본 형태에서 동적 범위 조절식 빔 스플리터이다. 동적 범위 조절식 빔 스플리터는 M의 수신된 광을 반사하고, N의 수신된 광을 통과시킨다(여기서, M은 N과 상이하다). 여기서, M 및 N은 양수이다. 하나의 형태로서, M + N은 대략 100퍼센트와 동일하다. 이러한 등식은 센서 어셈블리(620R(620L))의 다양한 부분의 허용공차로 인해, 그리고 광 손실로 인해 정확하지는 않을 수도 있다.
본 형태에서, 각각의 이미지 캡쳐 센서(61OR(610L) 및 615R(615L))는 컬러 필터 어레이를 가진 컬러 센서이다. 컬러 필터 어레이는 하나의 형태로서 바이어 컬러 필터 어레이이다. 그러므로, 2개의 바이어 패턴 이미지 캡쳐 센서(61OR(610L) 및 615R(615L))는 동일한 장면에서 동일한 광학부재를 통해 본다. 여기서, 바이어 패턴 이미지 캡쳐 센서는 바이어 컬러 필터 어레이를 포함하는, 단일 칩 센서 또는 단일 칩의 일부일 수 있다. 앞서 언급한 바와 같이, 동평면의 이미지 캡쳐 센서(61OR(610L) 및 615R(615L))는 공통의 프론트엔드 광학 구조 및 각각의 센서까지 동일한 광 경로 길이를 가진다. 기지의 동적 범위를 가진 한 쌍의 동평면인 이미지 캡쳐 센서(61OR(610L) 및 615R(615L))에 대하여, 예컨대, 이미지 캡쳐 센서(61OR(610L) 및 615R(615L))의 이득은 빔 스플리터(631R(631L))의 구성에 대응하기 위해 조절된다.
전형적으로, 제1 면(631R(631L))에 대한 코팅의 특성의 선택은 캡쳐되는 이미지의 밝기 및/또는 캡쳐되는 이미지의 일부분의 밝기, 이미지 캡쳐 센서(61OR(610L) 및 615R(615L))의 가능한 동적 범위, 및 이미징 파이프라인(pipeline)의 용량을 고려한다. 여기서 사용된 바와 같이, 이미징 파이프라인은 캡쳐된 이미지를 처리하는 중앙 제어 시스템(260)(도 2)의 일부분이고, 입체 디스플레이(251)를 위한 출력 이미지를 생성한다. 이미징 파이프라인은 구현방법의 선택에 따라 CCU(230R(230L))의 일부이거나, 듀얼 이미지 강화 모듈(240R(240L))의 일부일 수 있다.
중요한 전형적인 수술 장면의 영역에서 정보가 클립핑되지 않음을 보장하기 위해, 그 영역의 최대 밝기 Bmax는 실험에 의거하여 결정된다. 중요 영역은 완성된 장면 또는 완성된 장면의 일부분 중 하나일 수 있다. 그 다음, 이미지 캡쳐 센서(610R(610L))의 동적 범위가, 예컨대, 0 내지 S1max로 결정된다. 면(631R(631L)) 상의 코팅에 의해 반사된 수신된 광의 일부 M는 아래와 같이 선택된다.
Figure 112021076531953-pat00001
제1 면(631R(631L)) 상의 코팅에 의해 반사된 수신된 광의 퍼센트(M%)는 제1 이미지 캡쳐 센서(610R(610L))로의 입사 광의 동적 범위가 클립핑되지 않도록 선택된다. 그러므로, 제1 이미지 캡쳐 센서(610R(610L))에 의해 캡쳐된 이미지의 높은 밝기 영역 내의 픽셀의 밝기는 본 형태에서 클립핑되지 않는다. 면(631R(631L)) 상의 코팅에 의해 투과된 수신된 광의 퍼센트는 N%인데, 여기서 N%는 100 - M%와 대략 동등하다. 제2 이미지 캡쳐 센서(615R(615L))의 이득은 센서(615R(615L))의 동적 범위가 0에서부터 최대 밝기 Bmax의 N%배까지 이도록 조절된다.
하나의 예로서, 400의 최대 밝기, Bmax를 가진 장면을 살펴보자. 이미지 캡쳐 센서(610R(610L))는 0 내지 100의 동적 범위를 가진다. 그러므로,
M = 100/400 = ¼
M% = 25%
N% = 75% 이다.
그러므로, 제1 면(631R(631L)) 상의 코팅은 수신된 광의 대략 25%를 반사하고 수신된 광의 대략 75%를 투과하도록 선택된다. 이미지 캡쳐 센서(615R(615L))에 대한 이득은 0 내지 300의 동적 이득을 가지도록 조절된다.
센서(61OR(610L) 및 615R(615L))에 의해 캡쳐된 2개의 이미지는 본질적으로 동시에 얻어진다. 센서 어셈블리(620R(620L))에 의해 수신된 광은 이미지 캡쳐 센서(610R(610L)) 상의 밝기 범위가 0 내지 100(1/4*400)이고, 이미지 캡쳐 센서(615R(615L)) 상의 밝기 범위가 0 내지 300(3/4*400)인 2개의 이미지로 나누어진다. 장면의 높은 밝기 영역 내의 픽셀들은 캡쳐 센서(615R(615L))에 의해 캡쳐된 이미지 내에서 세츄레이팅되지 않는다. 동시에, 센서(610R(610L))에 의해 캡쳐된 이미지는 장면의 더 어두운 부분을 보존하고 정밀하게 이미지화한다. 본 예에서, 1의 밝기를 가진 장면 영역은 이미지 캡쳐 센서가 1보다 낮은 값을 저장하지 않는다면 손실될 수 있음을 이해해야 한다. 그러나, 이는 400 중 단지 일부분이므로 입체 디스플레이(251) 상의 이미지를 보는 수술의가 알아채기 쉽지 않다.
몇몇 상황에서는, 대부분의 광을 수신하는 센서를 상단부(high end)에서 의도적으로 세츄레이팅하게 함으로써 더 좋은 결과가 얻어질 수 있다. 이는 다른 센서가 임의의 값을 기록(register)하기에 너무 어두운 하단부(low end)에서 그 범위를 연장한다.
프리즘 어셈블리(630R(630L)) 및 반사 유닛(540R(540L))이 두 바이어 패턴 이미지 캡쳐 센서(61OR(610L) 및 615R(615L)) 모두에 의해 컬러 이미지가 상이한 밝기 범위를 가진 동일한 장면이도록 배치된 때, 그 장면 내의 공간 내 각각의 포인트는 2 픽셀(이미지 캡쳐 센서(610R(610L))에 의해 캡쳐된 컬러 이미지 내의 1 픽셀, 및 이미지 캡쳐 센서(615R(615L))에 의해 캡쳐된 컬러 이미지 내의 1 픽셀)로 표현된다. 그러나 2 픽셀은 픽셀에 대한 밝기값이 클립핑되지 않았다면 서로의 선형 스케일(linear scale)인 상이한 밝기값을 가진다.
본 예에서, 최대 밝기는 알고 있는 것으로 가정한다. 그러나, 임상현장에서, 입체 내시경의 구조는 고정되어 있고, 모든 장면이 동일한 최대 밝기를 가지지는 않을 것이다. 그러므로, 서술된 구성이 500의 최대 밝기를 가진 장면에서 사용된다면, 그 장면의 가장 밝은 부분에 대한 픽셀은 클립핑될 것이다. 그럼에도 불구하고, 그 동적 범위는 여전히 종래 기술의 솔루션을 능가하여 연장된다.
장면 내 공간의 각각의 포인트에 대하여 상이한 밝기값을 가진 2개의 픽셀을 캡쳐하는 것은 공간 내의 각각의 포인트에 대하여 하나의 밝기값을 가지는 일반적인 컬러 이미지를 능가하는 장점을 가진다. 예컨대, 디스플레이(251)에서, 공간 내의 한 포인트에 대하여 2 픽셀을 각각 기초로 하는 픽셀들은 중간 밝기 영역에 대한 감소된 잡음 레벨을 가지고, 그 동적 범위는 종래기술에 비해 연장된다. 이러한 장점은 앞서 서술한 공간적 해상도 장점에 추가된다.
중앙 제어기(260) 내의 듀얼 이미지 강화 모듈(240R(240L))로부터 입체 디스플레이(251)로의 각각의 출력 픽셀은 바이어 패턴 이미지 캡쳐 센서(61OR(610L) 및 615R(615L))에 의해 캡쳐된 각각의 이미지로부터 하나씩, 2 픽셀의 샘플링을 기초로 한다. 앞서 언급한 바와 같이, 듀얼 이미지 강화 모듈(240R(240L))에 의해 입력된 2 픽셀의 샘플링은 단일 이미지 캡쳐 센서로부터의 하나의 이미지만 중앙 제어기(260)에 의해 처리될 때 가능한 것보다 작은 특징부의 이미지화를 가능하게 한다. 또한, 하나의 형태로서, 듀얼 이미지 강화 모듈(240R(240L)) 내의 톤(tone) 맵핑 프로세스는 대조비(contrast)를 유지하기 위해, 그리고 입체 디스플레이(251)의 동적 출력 범위를 매칭시키기 위해 획득된 이미지의 영역들을 맵핑시킨다. 이러한 톤 맵핑은 원래의 장면 컨텐트를 가장 잘 나타내기 위해 중요한 이미지 대조비 및 컬러 어피어런스(color appearance)를 유지하면서 캡쳐된 이미지로부터 디스플레이 가능한 범위로 밝기를 맵핑한다. 이러한 톤 맵핑은 하나의 픽셀 값을 연속하여 샘플링하는 것을 대신하여 공간 및 시간적으로 동일한 포인트에 대하여 2개의 픽셀 값을 샘플링함으로써 강화된 점을 제외하면 종래기술과 유사하다.
상기 예에서, 0 내지 400의 밝기값은 톤 맵핑에 의해 입체 디스플레이(251)의 동적 출력 범위(대조비)로 맵핑된다. 세츄레이팅되지 않은 픽셀에 대하여, 캡쳐 센서(615R(615L))에 의해 캡쳐된 이미지 내의 밝기값은 공간적으로 동일한 포인트에 대하여 센서(610R(610L))에 의해 캡쳐된 이미지 내의 밝기값의 3배이다. 톤 맵핑 프로세스는 이러한 관계를 입체 디스플레이(251)로 출력되는 이미지 내의 한 픽셀에 대한 밝기를 결정하는데 사용한다. 주변 픽셀에 대한 정보를 기초로, 톤 맵핑은 대조비를 유지하고, 그로 인해 잡음 레벨 및 동적 범위를 감소시키기 위해 각각의 픽셀 그룹/영역에 대하여 수행된다.
종래기술의 밝기 범위 0 내지 100은 전체 동적 범위 성능의 이득을 위해 1 내지 400의 밝기 범위로 확장되었다. 두 이미지를 결합하는 것, 및 더블 샘플링의 이점을 취하는 것은 또한 전체적으로 증가된 동적 범위와 함께 중간 밝기 영역 내의 잡음을 감소시킬 수 있다.
도 6a의 형태 및 도 6a에 관하여 상술된 각각의 예에서, 입체 채널 내의 이미지 캡쳐 센서는 동평면이다. 이는 단지 설명을 위한 것일 뿐이며 제한하도록 의도된 것은 아니다. 예를 들어, 제1 이미지 캡쳐 센서는 제1 평면 내의 최상의 센서 표면을 가지고, 제2 이미지 캡쳐 센서는 제2 평면 내의 최상의 센서 표면을 가질 수도 있다(도 9 참조). 제1 및 제2 평면은 서로 평행하고 기지의 거리만큼 떨어져 있다. 빔 스플리터와 반사 유닛 내의 반사면 사이의 간격은 제1 이미지 캡쳐 센서까지의 제1 광 경로 길이가 제2 이미지 캡쳐 센서까지의 제2 광 경로 길이와 대략 동일하도록 기지의 거리를 보상하기 위해 조절된다. 그러므로, 앞서 서술된 도 6a의 각각의 형태는 두 광 경로 길이가 대략 동일하게 유지되는 이러한 구성에 바로 적용가능하다.
강화된 색 성능
현재, 대부분의 이미징 시스템은 삼원색 모델로 불리는 3가지 가시 색 성분: 적색, 녹색, 청색(RGB)을 사용한다. 대부분의 카메라는 RBG 기반의 컬러 필터 어레이를 갖춘 바이어 컬러 필터 어레이 이미지 캡쳐 센서를 사용한다. 삼원색 모델은 대부분의 액정 디스플레이(LCD) 및 플라즈마 디스플레이에 사용된다.
삼원색 모델은 실제로 카메라에 의해 캡쳐되고 디스플레이에 표시될 수 있는 색깔(hue)의 범위를 제한한다. 추가적인 원색을 사용하는 것은 지각가능한 더 정밀한 이미지의 캡쳐 및 디스플레이를 가능하게 한다. 샤프 일렉트로닉스 코포레이션(샤프)는 쿼드 픽셀 기술을 가진 발광 다이오드(LED) 백릿(backlit) LCD 텔레비전을 판매한다. 샤프는 종래의 적색, 녹색, 및 청색 필터 어레이에 황색을 추가하여, 더 풍부한 색상이 디스플레이될 수 있게 하였다.
카메라에 의해 이미지 내의 추가적인 색 성분을 캡쳐하는 것은 더 충실한 색의 재생을 가능하게 할 것이다. 그러나, 더 많은 색 성분을 캡쳐하는 것은 종래의 바이어 적색, 녹색, 녹색, 청색(RGGB) 컬러 필터 어레이를 황색 및 오렌지 색과 같은 새로운 색을 포함하도록 변경할 필요가 있다. 즉, 컬러 필터 어레이를 적색, 오렌지색, 녹색, 황색, 녹색, 청색(ROGYGB)으로 변경할 필요가 있다. 그러나, 픽셀 개수가 정해져 있는 이미지 캡쳐 센서에 대하여, 이러한 6 성분의 컬러 필터 어레이는 카메라의 공간적 해상도를 감소시킬 것이고 이미지 센서에 대한 프린팅을 위해 적합한 새로운 마스크 및 염료(dye)의 개발을 필요로 할 것이다. 황색 또는 오렌지색의 선택은 디스플레이를 가진 콘서트에서 최적화될 수 있다.
이미지 캡쳐 유닛(725R(725L))과 조합한 적절한 조명기의 사용은, 예컨대, 공간적 해상도를 감소시키지 않고, 이미지 센서 상의 프린팅에 적합한 새로운 마스크 및 염료의 개발을 필요로 하지 않으면서, 픽셀당 최대 6 색 성분 백터를 제공한다. 이러한 능력은 아래에 상세하게 설명한 바와 같이 다양한 방식으로 구현된다. 이러한 능력은 디모자이싱(de-mosaicing) 후 픽셀당 3 내지 6 색 성분 백터를 제공함은 물론, 연장된 피사계심도(depth of field)를 가진 이미지를 제공하고 또한 강화된 형광 이미징 능력을 제공한다.
도 7a은 이미지 캡쳐 유닛(725L, 725R) 및, 예컨대, 조명기(710B)(도 7b), 조명기(710C)(도 7c), 조명기(710D)(도 7d), 및 조명기(710E)(도 7e) 중 하나로부터의 광을 제공하는 조명 채널(705)을 가진 입체 내시경(702)의 말단부의 개략적인 도면이다. 조명기가 조명 채널에 연결되는지의 설명은 도 2를 참조한다. 화살표(735)가 가리키는 바와 같이 말단 방향은 조직(703)을 향하고, 근단 방향은 조직(703)으로부터 멀어지는 방향이다.
각각의 이미지 캡쳐 유닛(725R, 725L)은 렌즈 어셈블리(701R, 701L) 및 센서 어셈블리(720R, 720L)를 포함한다. 센서 어셈블리(720R, 720L)는 렌즈 어셈블리(701R, 701L)를 통과한 광을 수신하도록 배치된다. 각각의 센서 어셈블리(720R, 720L)는 하나의 형태로서 프리즘 어셈블리(730R, 730L), 반사 유닛(740R, 740L), 및 동평면인 이미지 캡쳐 센서((710R, 715R), (710L, 715L))를 포함한다. 입체 내시경(702)은 종종 내시경(702)이라고도 불린다.
아래의 설명에서, 입체 내시경(702)의 우측 채널 내의 광 경로가 서술된다. 입체 내시경(702)의 좌측 채널을 통한 광 경로는 내시경(702)의 대칭성으로 인해 우측 채널의 것과 동등하므로, 아래의 설명에서 좌측 채널 참조번호는 우측 채널 내의 부재의 설명에 이은 괄호 내에 포함된다. 이는 이 설명이 좌측 채널 내의 대응하는 부재에도 적용가능함을 의미한다. 또한, 도 7a에서 도 5a 및 5b에서의 부재와 동일한 참조번호를 가진 부재들은 도 5a 및 5b와 관련하여 앞서 서술한 것과 동일하거나 동등한 부재이다. 반복을 피하기 위해, 동일한 참조번호를 가진 부재들은 도 7a를 참조할 때 다시 상세하게 설명하지 않는다.
아래에 설명되는 각각 상이한 형태에서의 이미지 캡쳐 유닛(725L, 725R)의 기본 구조는 도 7a에 도시되어 있다. 프리즘 어셈블리(730R(730L)), 반사 유닛(540R(540L)), 이미지 캡쳐 센서(71OR(710L) 및 715R(715L)) 간의 공간적 관계 및 배치는 도 7a에 관하여 고려된 각각의 상이한 형태에 대하여 동일하다. 그러나, 프리즘 어셈블리(730R(730L))의 코팅된 제1 면(731R(731L)) 상의 코팅, 이미지 캡쳐 센서의 타입, 및 이미지 캡쳐 센서 상에 사용된 필터는 아래에 더 상세하게 설명된 바와 같이 상이한 형태에서 변경될 수 있다.
조직(703)으로부터 반사된 광은 렌즈 어셈블리(701R, 701L) 내의 렌즈 부재(704R(704L)) 및 스탑(570R(570L))을 통과한다. 렌즈 어셈블리(401B)(도 4) 내의 부재들은 렌즈 부재(704R(704L))의 한 예이다. 렌즈 어셈블리(701R, 701L)를 통과한 광은 프리즘 어셈블리(730R(730L))에 의해 수신되고 빔 스플리터(731R(731L))로 들어간다. 빔 스플리터(731R(731L))는, 하나의 형태로서, 수신된 광의 제1 부분을 반사하고, 수신된 광의 제2 부분을 반사 유닛(540R(540L))으로 통과시키는 코팅된 제1 면으로 구현된다.
코팅된 제1 면(731R(731L))에 의해 수신된 광은 프리즘 어셈블리(730R(730L)) 내의 제2 면(732R(732L))에 의해 수신되고, 제2 면은 그 광을 제1 이미지 캡쳐 센서(710R(710L)) 상으로 지향, 예컨대, 반사한다. 면(732R(732L))은 코팅된 면 또는 내부 전반사 면 중 하나일 수 있다. 코팅된 제1 면(731R(731L))을 투과한 광은 반사 유닛(540R(540L))의 제3 면(541R(541L))에 의해 수신되고, 제3 면은 그 광을 제2 이미지 캡쳐 센서(715R(715L))상으로 지향, 예컨대, 반사한다.
제2 면(732R(732L))은 코팅된 제1 면(731R(731L))에 의해 반사된 광 이외의 광이 제2 면(732R(732L))에 도달하지 않도록 배치된다. 하나의 형태로서, 코팅된 제1 면(731R(731L))으로의 광의 입사각은 45도 미만이다.
하나의 형태로서, 프리즘 어셈블리(730R(730L)) 및 반사 유닛(740R(740L))은 프리즘 어셈블리(730R(730L))를 포함하는 오각 프리즘을 가진 프리즘 구조 내에 포함된다. 본 형태에서의 프리즘 구조는 아래에 더욱 상세하게 설명된 복수의 노치 필터를 포함하는 매립형 코팅면(431B)을 가진 프리즘 구조(460)(도 4b)와 동등하다. 그러므로, 프리즘 구조(460)의 설명은 본 형태에서 사용된 프리즘 구조에 적용가능하다.
하나의 형태로서, 코팅된 제1 면(731R(731L))에 의해 반사된 제1 부분은 수신된 광 내의 복수의 색 성분의 제1 선택 파장을 포함하고, 코팅된 제1 면(731R(731L))에 의해 투과된 제2 부분은 수신된 광 내의 복수의 색 성분의 제2 선택 파장을 포함한다. 수신된 광 내의 복수의 색 성분의 제1 선택 파장은 수신된 광 내의 복수의 색 성분의 제2 선택 파장과 상이하다. 하나의 형태로서, 코팅된 제1 면(731R(731L))은 복수의 노치 필터를 포함한다. 노치 필터는 수신된 광을 제1 및 제2 부분으로 나눈다.
이미지 캡쳐 센서(71OR(710L) 및 715R(715L))는 동평면이다. 하나의 형태로서, 스탑(570R(570L))에서부터 코팅된 제1 면(731R(731L))을 지나고 제2 면(732R(732L))을 지나 이미지 캡쳐 센서(710R(710L))까지 제1 광 경로 길이는 스탑(570R(570L))에서부터 코팅된 제1 면(731R(731L))을 통해 제3 면(741R(741L))을 지나 이미지 캡쳐 센서(715R(715L))까지의 제2 광 경로 길이는 대략 동등하다. 다시, 스탑(570R(570L))에서 시작하는 광 경로 길이의 정의는 설명을 위한 것일 뿐이며 제한하도록 의도되지 않았다. 또한, 광 경로 길이는, 예컨대, 수신된 광이 프리즘 어셈블리(630R(630L))로 들어가도록 통과시키는 프리즘 어셈블리(730R(730L))의 말단 면에 대하여, 렌즈 어셈블리(701R(701L)) 내의 제1 부재에 대하여, 또는 코팅된 제1 면(731R(731L))에 대하여, 다양하게 정의될 수 있다.
그러므로, 동평면인 이미지 캡쳐 센서(71OR(710L) 및 715R(715L))는 공통의 프론트엔드 광학 구조 및 각각의 센서까지 대략 동일한 광 경로 길이를 가진다. 제1 이미지 캡쳐 센서(710R(710L))는 센서 어셈블리(720R(720L))에 의해 수신된 광의 제1 부분으로부터 이미지를 캡쳐한다. 이미지 캡쳐 센서(715R(715L))는 수신된 광의 제2 부분으로부터 이미지를 캡쳐한다. 아래에 더욱 상세하게 설명한 바와 같이, 하나의 형태로서, 각각의 이미지 캡쳐 센서(71OR(710L) 및 715R(715L))는 표준 컬러 필터 어레이를 가진 컬러 센서이다. 다른 형태에서, 컬러 센서 중 하나의 센서 상의 컬러 필터 어레이 및 센서 기능은 내시경(702)에 의해 수신되는 광을 기초로 선택된다.
제어기(260)는 각각 이미지 캡쳐 센서(71OR(710L) 및 715R(715L))에 의해 캡쳐된 제1 및 제2 이미지를 처리하고, 입체 디스플레이(251)를 위한 출력 이미지를 생성한다. 제어기(260)는 출력 이미지 내의 각각의 픽셀에 대한 N개의 색 성분 백터를 생성하는데, N의 범위는 3 내지 6이다. 출력 이미지 내의 픽셀에 대한 색 성분 백터는 제1 이미지 내의 대응 픽셀(또는 몇몇 픽셀의 조합)의 색 성분 백터 및 제2 이미지 내의 대응 픽셀의 색 성분 백터로부터 생성된다. 출력 이미지 내의 각각의 픽셀은 이미지 캡쳐 센서에 의해 캡쳐된 장면 내의 공간 내의 포인트를 나타냄을 이해해야 한다. 출력 이미지 내의 픽셀에 대응하는 캡쳐된 이미지 내의 픽셀은 공간 내의 동일한 포인트를 나타내는 픽셀이다.
강화된 색 성능 - 6 색 성분 조명
제1 형태로서, 6 색 성분 조명기(710B)(도 7b)는 조명 채널(705)(도 7a)에 연결된다. 조명기(710B)는 각각 적색 성분(R1), 적색 성분(R2), 녹색 성분(G1), 녹색 성분(G2), 청색 성분(B1), 청색 성분(B2)을 발생시키는 6개의 레이저 조명원(710B1 내지 710B6)을 포함한다. 종래의 발광 다이오드 기반의 조명기로부터의 색 성분당 대략 60nm의 폭을 대신하여, 레이저 조명원을 통한, 적색 성분(R1 및 R2), 녹색 성분(G1 및 G2), 및 청색 성분(B1 및 B2)의 파장은 전형적으로 2 내지 5 나노미터(nm) 폭이다. 소스(710B1)에 대한 미러 및 소스(710B2 내지 710B6)에 대한 이색성 미러를 가진 복수의 상이한 조명원을 구비한 조명기의 구성은 주지되어 있으므로, 본 명세서에서는 더 상세하게 다루지 않는다. 예컨대, 미국특허 출원번호 제12/855,905호(2010년 8월 13일 출원된, 듀얼 스펙트럼 형광을 가진 수술 조명기)를 참조할 수 있다.
하나의 형태로서, 프리즘 어셈블리(730R(730L))의 코팅된 제1 면(731R(731L))은 복수의 노치 필터를 포함한다. 제1 노치 필터는 수신된 광 내의 적색 성분(R1)을 반사하고, 수신된 광 내의 적색 성분(R2)을 투과시킨다. 제2 노치 필터는 수신된 광 내의 녹색 성분(G1)을 반사하고, 수신된 광 내의 녹색 성분(G2)을 투과시킨다. 제3 노치 필터는 수신된 광 내의 청색 성분(B1)을 반사하고, 수신된 광 내의 청색 성분(B2)을 투과시킨다. 3개의 노치 필터의 사용은 설명의 용이함을 위한 것이며, 3개의 별개의 필터로 한정하도록 의도된 것이 아니다. 본 명세서를 읽은 당업자들은 본 명세서에 서술된 반사 투과 특성을 가진 노치 필터를 구현할 수 있다. 코팅 설계는 노치를 구현할 수 있다. 예컨대, 뉴옥 로체스터의 셈록 프로덕츠의 "스탑라인" 및 "쿼드-노치" 제품 라인을 참조할 수 있다.
그러므로, 코팅된 제1 면(731R(731L))은 수신된 광 내의 적색 성분(R1), 수신된 광 내의 녹색 성분(G1), 및 수신된 광 내의 청색 성분(B1)을 제2 면(732R(732L))으로 반사한다. 제2 면(732R(732L))은 코팅된 제1 면(731R(731L))으로부터 수신된 적색 성분(R1), 녹색 성분(G1), 청색 성분(B1)을 이미지 캡쳐 센서(710R(710L))로 반사한다.
코팅된 제1 면(731R(731L))은 수신된 광 내의 적색 성분(R2), 수신된 광 내의 녹색 성분(G2), 수신된 광 내의 청색 성분(B2)을 반사 유닛(540R(540L)) 내의 제3 면(541R(541L))으로 투과시킨다. 제3 면(541R(541L))은 코팅된 제1 면(731R(731L))로부터 수신된 적색 성분(R2), 녹색 성분(G2), 및 청색 성분(B2)을 이미지 캡쳐 센서(715R(715L))로 반사한다.
각각의 이미지 캡쳐 센서(71OR(710L) 및 715R(715L))는 본 형태에서 컬러 필터 어레이를 가진 컬러 센서이다. 컬러 필터 어레이는 바이어 적, 녹, 녹, 청(RGGB) 컬러 필터 어레이이다. 그러므로, 2개의 바이어 패턴 이미지 캡쳐 센서는 동일한 장면에서 동일한 광학부재를 통해 본다. 그러므로, 바이어 패턴 이미지 캡쳐 센서는 바이어 컬러 필터 어레이를 포함하는, 단일 팁 센서이거나 또는 단일 칩의 일부분이다. 앞서 언급한 바와 같이, 동평면의 이미지 캡쳐 센서(71OR(710L) 및 715R(715L))는 공통의 프론트엔드 광학 구조 및 각각의 센서까지 실질적으로 동일한 광 경로를 가진다.
프리즘 어셈블리(730R(730L)) 및 반사 유닛(540R(540L))이 양 바이어 패턴 이미지 캡쳐 센서(71OR(710L) 및 715R(715L)) 모두에 의해 캡쳐되는 컬러 이미지가 동일한 장면이도록 배치된 때, 이미지 캡쳐 센서(710R(710L))에 의해 캡쳐된 컬러 이미지는 이미지 캡쳐 센서(715R(715L))에 의해 캡쳐된 컬러 이미지와 동일한 전체 해상도를 가진다. 그러므로, 그 장면 내 공간 내의 각각의 포인트는 2 픽셀에 의해 표현되는데, 각각의 두 픽셀은 상이한 3개의 색 성분 백터를 가진다. 센서 어셈블리(720R(720L)) 및 결과적으로 이미지 캡쳐 유닛(725R(725L))은 광 또는 공간 해상도의 손실 없이 6개의 주요 색 성분을 가진 전체 해상도를 획득한다.
중앙 제어기(260) 내의 듀얼 이미지 강화 모듈(240R(240L))로부터 입체 디스플레이(251)로 출력되는 각각의 픽셀에 대한 색 성분 백터는 이러한 픽셀에 대한 6개의 주요 색 성분으로부터 도출된다. 이는, 예컨대, 임의의 해상도 손실 없이 각각의 픽셀에 대한 4 엘리먼트 백터를 통해 입체 디스플레이를 구동하는 것을 허용한다. 듀얼 이미지 강화 모듈(240R(240L))은 2개의 캡쳐된 이미지를 샘플링하고, 입체 디스플레이(251)에 의해 요구되는 픽셀 백터를 생성하기 위해 색 보정 매트릭스를 적용한다.
입체 디스플레이(251)로 전송된 색 성분 백터는 그 장면의 스펙트럼 성분을 더욱 정확하게 표현하기 위해 3개 이상의 색 성분을 가질 수 있다. 실제 사용에 있어서, 색 성분 백터(종종 색 백터라고도 함)에 사용되는 색 성분의 개수는 디스플레이에 의해 사용되는 색 성분의 개수와 일치할 수 있다. 샤프는 5 색 성분 디스플레이를 보여주었다.
다른 형태에서, 예컨대, 형광이 여기된 때 이러한 형광이 가시 스펙트럼 내에 있을 수 있음을 이해해야한다. 예를 들어, 플루오레세인(Fluorescein)은 490nm 청색 광에 의해 여기될 수 있고, 주로 520 내지 530 nm 범위로 형광한다. 그러므로, 하나의 형태로서, 490nm로 여기 레이저 모듈로부터 반사된 조명의 전달을 차단하는 색 필터가 코팅된 제1 면(731R(731L))에 포함된다. 청색 파장에 대한 노치 필터는 청색 성분(B1)을 반사하도록 구성되고, 플루오레세인으로부터의 형광이 이미지 캡쳐 센서(715R(715L))로 전달되도록 다른 청색 파장을 통과시키도록 구성된다. 노치 필터, 및 적색 및 녹색 성분을 위한 조명기로부터의 조명 컴포넌트는 반사된 색 성분(R1, B1, 및 G1)이 제1 이미지 캡쳐 센서(710R(710L))에 의해 캡쳐되도록 선택된다. 나머지 색은 제2 이미지 캡쳐 센서(715R(715L))로 전달된다. 여기 레이저 성분(B1)은 제1 이미지 캡쳐 센서(710R(710L))의 청색 픽셀을 세츄레이팅시킬 수 있지만, 이는 플루오레세인으로부터의 형광이 제2 이미지 캡쳐 센서(715R(715L))에 의해 캡쳐되므로 수용가능함을 이해해야 한다.
다른 형태에서, 중앙 제어기(260)의 듀얼 이미지 강화 모듈(240R(240L)) 내의 색 보정 모듈(241R(241L))은, 예컨대, 적색, 적색 보색, 황색, 녹색, 청색(RR'YGB) 색 성분을 발생시키는, 샤프의 5 색 디스플레이를 위한 5색 성분 출력 백터를 생성하기 위해, 제1 이미지로부터 3색 픽셀, 제2 이미지로부터 3색 픽셀을 사용한다. 색 보정 매트릭스는 6 엘리먼트 획득 색 공간에서 이러한 디스플레이의 5 엘리먼트 색 공간으로 바람직한 맵핑을 위해 설정된다.
더 구체적으로, 중앙 제어기(260)의 듀얼 이미지 강화 모듈(240R(240L)) 내의 색 보정 모듈(241R(241L))은 제1 및 제2 이미지 캡쳐 센서(71OR(710L) 및 715R(715L))에 연결된다. 카메라 제어 유닛(230R(230L))은 제1 이미지 캡쳐 센서(710R(710L))에 의해 캡쳐된 제1 이미지를 디모자이싱하고, 제2 이미지 캡쳐 센서(715R(715L))에 의해 캡쳐된 제2 이미지를 디모아지싱한다. 디모자이싱된 이미지 내의 각각의 픽셀은 3 엘리먼트 색 백터를 가진다. 2개의 디모자이싱된 이미지는 색 보정 모듈(241R(241L))에 의해 수신된다. 3 엘리먼트 색 백터는 각각의 픽셀에 대하여 N 엘리먼트 색 성분을 만들어내기 위해 2개의 디모자이싱된 이미지로부터 결합된다(여기서, N은 적어도 3이고, 본 예에서는 6이다). 그 다음, 색 보정 모듈(241R(241L)) 내의 색 보정 매트릭스는 대응하는 픽셀의 N 엘리먼트 성분 백터로부터 출력 이미지 내의 픽셀에 대한 M 엘리먼트 색 성분 백터를 생성한다. M이 3일때, 해상도 등을 강화시키기 위해 2개의 캡쳐된 이미지를 사용하는 상술된 프로세스가 적용될 수도 있음을 이해해야 한다.
강화된 색 성능 - 백색 광대역 조명
제2 형태로서, 백색 광대역 조명기(710C)(도 7c)가 조명 채널(705)(도 7a)에 연결된다. 하나의 예로서, 조명기(710C)는 적은 적외선 컨텐트를 가지는 광대역 백색 조명을 만들기 위해 타원형 후면 반사기 및 대역 통과 필터 코팅을 가진 크세논 램프(710C1)를 사용한다. 크세논 램프의 사용은 단지 설명을 위한 것일 뿐이며 제한하도록 의도되지 않았다. 예를 들어, 고압 수은 아크 램프, 다른 아크 램프, 또는 다른 광대역 광원이 사용될 수도 있다.
이러한 형태에서, 프리즘 어셈블리(730R(730L))의 코팅된 제1 면(731R(731L))은 복수의 노치 필터를 포함하는 필터(790F)를 포함할 수 있다. 제1 노치 필터(791F)는 수신된 광의 적색 성분(R) 중 제1 부분(R1)을 반사하고, 수신된 광의 적색 성분(R) 중 제1 부분(R1)의 보색(R1')을 투과시킨다. 제3 노치 필터(793F)는 수신된 광의 청색 성분(B) 중 제1 부분(B1)을 반사하고, 수신된 광의 청색 성분(B) 중 제1 부분(B1)의 보색(B1')을 투과시킨다. 3개의 노치 필터의 사용은 설명의 용이함을 위한 것이며 3개의 별개의 필터로 제한하도록 의도되지 않았다. 3개의 별개의 노치 필터는 여기 서술된 반사 투과 특성을 가진 단일의 멀티 노치 필치로 볼 수도 있다.
그러므로, 코팅된 제1 면(731R(731L))은 수신된 광 내의 적색 성분(R1), 수신된 광 내의 녹색 성분(G1), 및 수신된 광 내의 청색 성분(B1)을 제2 면(732R(732L))으로 반사한다. 코팅된 면(732R(732L))은 코팅된 제1 면(731R(731L))으로부터 수신된 모든 파장을 이미지 캡쳐 센서(710R(710L))로 반사한다.
코팅된 제1 면(731R(731L))은 수신된 광 내의 적색 성분(R1'), 수신된 광 내의 녹색 성분(G1') 및 수신된 광 내의 청색 성분(B1')을 반사 유닛(540R(540L)) 내의 제3 면(541R(541L))으로 투과시킨다. 코팅된 면(541R(541L))은 코팅된 제1 면(731R(731L))으로부터 수신된 모든 파장을 이미지 캡쳐 센서(715R(715L))로 반사한다.
각각의 이미지 캡쳐 센서(71OR(710L) 및 715R(715L))는 본 형태에서 컬러 필터 어레이를 구비한 컬러 센서이다. 컬러 필터 어레이는 바이어 RGGB 컬러 필터 어레이이다. 그러므로, 2개의 바이어 패턴 이미지 캡쳐 센서는 동일한 장면에서 동일한 광학부재를 통해 바라본다. 여기서, 바이어 패턴 이미지 캡쳐 센서는 바이어 컬러 필터 어레이를 포함하는, 단일 칩 센서이거나 단일 칩의 일부분이다. 앞서 언급한 바와 같이 동평면의 이미지 캡쳐 센서(71OR(710L) 및 715R(715L))는 공통의 프론트엔드 광학 구조 및 각각의 센서까지 실질적으로 동일한 광 경로 길이를 가진다.
프리즘 어셈블리(730R(730L)) 및 반사 유닛(540R(540L))이 양 바이어 패턴 이미지 캡쳐 센서(71OR(710L) 및 715R(715L))에 의해 캡쳐된 컬러 이미지가 동일한 장면이도록 배치된 때, 이미지 캡쳐 센서(710R(710L))에 의해 캡쳐된 컬러 이미지는 이미지 캡쳐 센서(715R(715L))에 의해 캡쳐된 컬러 이미지와 동일한 전체 해상도를 가진다. 그러므로, 그 장면 내 공간 내의 각각의 포인트는 2 픽셀에 의해 표현되는데, 각각의 2 픽셀은 상이한 3개의 색 성분 백터를 가진다. 그러므로, 센서 어셈블리(720R(720L))는 노치 필터로 인한 광 손실 없이 6개의 주요 색 성분(픽셀 당 제1 캡쳐된 이미지로부터 3개 및 제2 캡쳐된 이미지로부터 3개)을 가진 전체 해상도 이미지를 획득한다.
중앙 제어기(260) 내의 듀얼 이미지 강화 모듈(240R(240L))로부터 입체 디스플레이(251)로의 각각의 출력 픽셀에 대한 색 성분 백터는 그 픽셀에 대한 6개의 주요 색 성분으로부터 도출된다. 이는 해상도 손실 없이 각각의 픽셀에 대하여, 예컨대, 4개의 주요 색 백터를 통해 입체 디스플레이를 구동하는 것을 허용한다. 듀얼 이미지 강화 모듈(240R(240L))은 2개의 이미지를 샘플링하고, 입체 디스플레이(251)에 의해 요구되는 픽셀 백터를 생성하기 위해 색 보정 매트릭스를 적용한다.
본 형태에서, 코팅된 제1 면(731R(731L)) 상의 코팅(노치 필터)은 색분해(color separation)를 선택하는 유연성을 제공한다. 물론, 코팅된 제1 면(731R(731L))의 색분해는 픽셀 RGGB 패턴에 의해 곱해진다. 그러므로, 코팅된 제1 면(731R(731L))이, 예컨대, 황색을 분리한다면, 이는 녹색 및 적색 픽셀을 모두 활성화할 것으로 예상되며, 이는 이미징 파이프라인의 색 보정 매트릭스 프로세스에서 복구될 것이다. 이와 유사하게, 코팅된 제1 면은, 예컨대, 형광 스펙트럼 내의 청색 파장을 통과시키고 다른 모든 청색 파장을 반사하도록 구성될 수 있다.
상술한 바와 같이, 색 보정 매트릭스는 픽셀 당 6 엘리먼트 백터(이미지 캡쳐 센서(710R(710L))에 의해 캡쳐된 제1 이미지 내의 대응 픽셀의 3개의 색 성분 백터와 이미지 캡쳐 센서(715R(715L))에 의해 캡쳐된 제2 이미지 내의 대응 픽셀의 3개의 색 성분 백터)에 의거하여 동작하고, 디스플레이에서 다수의 색 성분("일반적인" LCD에 대하여, 이는 적색, 녹색, 청색(RGB) 색 성분, 및 샤프의 5색 디스플레이에 대하여, 이는 적색, 적색 보색, 황색, 녹색, 청색(RR'YGB) 성분)을 가진 출력 색 성분 백터를 산출한다. 더욱 상세하게는, 중앙 제어기(260)의 듀얼 이미지 강화 모듈(240R(240L)) 내의 색 보정 모듈(241R(241L))은 제1 및 제2 이미지 캡쳐 센서(71OR(710L) 및 715R(715L))에 연결된다. 카메라 제어 유닛(230R(230L))은 제1 이미지 캡쳐 센서(710R(710L))에 의해 캡쳐된 제1 이미지를 디모자이싱하고, 각각의 픽셀에 대한 N 엘리먼트 색 백터를 생성한다(N은 전형적으로 3이다). 이와 유사하게, 카메라 제어 유닛(230R(230L))은 제2 이미지 캡쳐 센서(715R(715L))에 의해 캡쳐된 제2 이미지를 픽셀로 디모자이싱하는데, 여기서 각각의 픽셀은 제2의 N-엘리먼트 색 백터로 표시된다. 그 다음, 듀얼 이미지 강화 모듈(240R(240L))은 원하는 개수의 색 성분을 가진 각각의 픽셀에 대한 출력 색 백터를 생성하기 위해 색 보정 모듈(241R(241L))을 통해 두 N 엘리먼트 색 백터를 2N개(전형적으로 6)의 색 백터로 처리한다. 전형적인 액정 디스플레이를 위한 출력 색 백터는 3색 성분을 가질 것이다. 5원색을 가진 샤프 디스플레이에 대하여, 출력 색 백터는 5 엘리먼트 색 백터일 것이다. 특정 색 보정 매트릭스는 몇몇 메트릭(metric)에 의해 최상의 색 성능을 달성하기 위한 최적화를 기초로 선택될 것이다. 예컨대, 이러한 메트릭은 몇몇 조직 타입의 세트에 대하여 크세논 조명을 통해 사람 관측자가 보는 색과 일치할 수 있다.
강화된 색 성능 - 백색 광대역 조명 및 강화된 피사계심도
제3 형태에서, 조명기(710C)(도 7c)는 조명 채널(705)(도 7a)에 연결된다. 조명기(710C)는 앞서 서술한 것과 동일하므로 여기서 그 설명을 반복하지 않는다. 그러므로, 장면은 조명기(710C)로부터의 광대역 백색 광에 의해 조명된다.
앞서 언급한 바와 같이 조직(703)으로부터 반사된 광은 렌즈 부재(704R(704L)) 및 스탑(570R(570L))을 통과한다. 본 형태에서, 렌즈 부재(704R(704L))는 도 7a와 관련된 다른 형태에 대해 앞서 살펴본 렌즈 부재와 상이하다. 다른 형태에서, 렌즈 부재(704R(704L))는 다양한 색 성분이 대략 동일한 평면상에 초점을 가지도록 세로방향의 색 수차를 보정하도록 설계된다. 본 형태에서, 렌즈 부재(704R(704L))는 세로방향의 색수차를 보정하지 않는다. 그 대신, 렌즈 부재(704R(704L))는 렌즈로부터 상이한 거리에서 상이한 파장의 광을 포커싱하도록 설계된다. 즉, 제어된 상당한 양의 세로방향의 색을 가지도록 설계된다. 예를 들어, 렌즈 어셈블리(401B)(도 4b) 내의 렌즈 그룹(482 및 484)은 제어된 상당한 양의 세로방향의 색을 가지도록 설계된다. 이러한 렌즈 그룹은 당업자들에게 주지되어 있으므로, 여기서 더 상세하게 살펴보지는 않는다.
본 형태에서, 프리즘 어셈블리(730R(730L))의 코팅된 제1 면(731R(731L))은 앞서 서술한 필터(790F)(도 7f)를 포함한다. 반복을 피하기 위해, 필터(790F)의 앞선 설명은 여기서 반복되지 않는다.
그러므로, 코팅된 제1 면(731R(731L))은 수신된 광 내의 적색 성분(R1), 수신된 광 내의 녹색 성분(G1), 수신된 광 내의 청색 성분(B1)을 제2 면(732R(732L))으로 반사한다. 코팅된 면(732R(732L))은 코팅된 제1 면(731R(731L))으로부터 수신된 모든 파장을 이미지 캡쳐 센서(71OR(710L))로 반사한다.
코팅된 제1 면(731R(731L))은 수신된 광 내의 적색 성분(R1'), 수신된 광 내의 녹색 성분(G1'), 수신된 광 내의 청색 성분(B1')을 반사 유닛(540R(540L)) 내의 제3 면(541R(541L))으로 투과시킨다. 코팅된 면(541R(541L))은 코팅된 제1 면(731R(731L))으로부터 수신된 모든 파장을 이미지 캡쳐 센서(715R(715L))로 반사한다.
다시, 각각의 이미지 캡쳐 센서(71OR(710L) 및 715R(715L))는 본 형태에서 컬러 필터 어레이를 가진 컬러 센서이다. 컬러 필터 어레이는 바이어 RGGB 컬러 필터 어레이이다. 그러므로, 2개의 바이어 패턴 이미지 캡쳐 센서는 동일한 장면에서 동일한 광학부재를 통해 본다. 여기서, 바이어 패턴 이미지 캡쳐 센서는 바이어 컬러 필터 어레이를 포함하는 단일 칩 센서이거나 단일 칩의 일부일 수 있다. 앞서 언급한 바와 같이, 이미지 캡쳐 센서(71OR(710L) 및 715R(715L))는 공통의 프론트엔드 광학 구조 및 각각의 센서까지 실질적으로 동일한 광 경로 길이를 가진다.
프리즘 어셈블리(730R(730L)) 및 반사 유닛(540R(540L))이 양 바이어 패턴 이미지 캡쳐 센서(71OR(710L) 및 715R(715L)) 모두에 의해 캡쳐된 컬러 이미지가 동일한 장면이도록 배치된 때, 이미지 캡쳐 센서(710R(710L))에 의해 캡쳐된 컬러 이미지는 이미지 캡쳐 센서(715R(715L))에 의해 캡쳐된 컬러 이미지와 동일한 전체 해상도를 가진다. 그러므로, 그 장면 내의 공간 내 각각의 포인트는 2 픽셀로 표현되는데, 2 픽셀 각각은 상이한 3 엘리먼트 벡터를 가진다. 그러므로, 센서 어셈블리(720R(720L))는 노치 필터로 인한 광 손실없이 공간 내의 각각의 포인트에 대하여 6개의 주요 색 성분(제1 캡쳐 이미지로부터 3개, 제2 캡쳐 이미지로부터 3개)을 가진 풀 해상도 이미지를 획득한다. 그러나, 세로방향의 색으로 인해, 캡쳐된 이미지는 획득된 각각의 6 원색 내에서 상이한 정도로 흐려진다.
그러므로, 본 형태에서, 듀얼 이미지 강화 모듈(240R(240L))은 각각의 제1 및 제2 이미지를 위한 디지털 필터 커널을 포함한다. 디지털 필터 커널은 이미지의 선명도 및 초점을 강화하기 위해, 즉, 제3 및 제4 이미지를 생성하기 위해 주지된 세로방향의 색 수차를 기초로 캡쳐된 이미지를 처리한다. 제3 및 제4 이미지는 디모자이싱된다. 결과적인 디모자이싱된 제3 이미지 및 제4 이미지는 각각 모든 색 성분을 초점 내로 가져가는 전통적인 렌즈 설계보다, 더 큰 피사계심도를 가진 이미지를 제공하기 위해, 렌즈 어셈블리로부터 일정 범위의 거리에 초점이 맞춰질 수 있다. 디지털 필터 커널은 당업자들에게 주지되어 있다. 이러한 접근법은 파장에서 매끄러운 반사율 곡선을 가진 표면(대부분의 조직이 해당)에 대하여 잘 적용된다.
중앙 제어기(260) 내의 듀얼 이미지 강화 모듈(240R(240L))로부터 입체 디스플레이(251)로의 각각의 출력 픽셀에 대한 벡터는 디모자이싱된 제3 및 제4 이미지 내의 픽셀에 대한 6 주요 색 성분으로부터 도출된다. 듀얼 이미지 강화 모듈(240R(240L))은 디지털 필터 커널에 의해 만들어진 제3 및 제4 이미지를 샘플링하고, 입체 디스플레이(251)에 의해 요구되는 픽셀 백터를 생성하기 위해 색 보정 매트릭스를 적용한다. 최종 결합된 이미지는 종래의 렌즈 시스템으로부터 얻을 수 있는 이미지보다 잠재적으로 3배 큰 피사계심도를 가진다.
강화된 색 성능 - 3색 성분 조명 및 형광
제4 형태에서, 조명기(710D)(도 7d)는 조명 채널(705)(도 7a)에 연결된다. 조명기(710D)는 각각 적색 성분(R1), 녹색 성분(G1), 및 청색 성분(B1)을 생성하는 3개의 레이저 조명원(710D1 내지 701D3)을 포함한다. 종종 여기서, 3개의 레이저 조명원(710D1 내지 701D3)은 3개의 레이저 조명 모듈이라고도 불린다. 복수의 상이한 조명원(조명원(701D1)에 대하여 미러 및 조명원(710D2 및 710D3)에 대하여 이색성 미러)를 가지는 조명기의 구성도 주지되어 있다. 레이저 조명원과 함께, 적색 성분(R1), 녹색 성분(G1), 청색 성분(B1)의 파장은, 종래의 발광 다이오드 기반의 조명원으로부터의 색 성분당 대략 60nm를 대신하여, 전형적으로 2 내지 5 나노미터(nm) 폭이다.
적색, 녹색, 및 청색 레이저로부터의 광은 조직(703)으로부터 반사된다. 반사된 색 성분(R1), 색 성분(G1), 및 색 성분(B1)의 강도는 조직의 반사율 함수에 의해 변경된다. 또한, 조명기(710D)로부터의 반사된 3개의 색 성분과 상이한 광을, 조직(703)이 방출할 수도 있다. 예를 들어, 하나의 레이저로부터의 광은 형광을 여기시킬 수 있다. 예를 들어, 스펙트럼(795G)(도 7g)을 참조할 수 있다. 3개의 피크는 조명기(710D)의 적색, 녹색, 및 청색 레이저로부터 조직(703)에 의해 반사된 광이다. 그 스펙트럼의 적색 영역에 비교적 작고 더 넓은 피크는 형광이다. 스펙트럼(795G)은 내시경(702)으로 들어가는 광의 시각화를 돕기 위해 제공된 것이며, 임의의 실제 데이터를 나타내는 것은 아니다.
센서 어셈블리(720R(720L))는 제1 이미지 캡쳐 센서(71OR(710L))에 의한 컬러 이미지의 캡쳐가 가능하고, 그 컬러 이미지와 연관되지 않은 모든 광이 제2 이미지 캡쳐 센서(715R(715L))로 재지향되도록 할 수 있다. 그러므로, 아래에 더욱 상세하게 설명한 바와 같이, 센서 어셈블리(720R(720L))는 가시광선 또는 근적외선 내의 거의 임의의 파장의 형광을 실시간으로 이미지화할 수 있고, 자연 조직 형광을 이미지화할 수 있다.
형광 마커(fluorescent markers)는 근적외선 스펙트럼 내의 파장을 방출하는 조명기(710E) 내의 레이저(710E4)와 같은 협대역 소스에 의해 자극받을 수 있다. 그러나, 형광 방출 스펙트럼은 일정 범위의 파장이다. 형광 방출 스펙트럼의 형상은 형광을 위한 일정 범위의 여기 파장 중의 여기 파장에 유의미하게 의존하지 않는다.
그러므로, 하나의 형태로서, 조명기(710E) 내의 레이저 모듈(710E4)로부터의 광에 의해 트리거(trigger) 된다. 하나의 예로서, 메다렉스, 인코퍼레이티드로부터 입수된 항체제(antibody agents)는 525nm 레이저를 사용하여 여기되었다. 다른 형태에서, 조명기(710D)는 적색 성분(R1), 녹색 성분(G1), 청색 성분(B1)을 생성하는 3개의 레이저 모듈과 함께 하나 이상의 광 모듈을 포함한다. 추가적인 광 모듈의 개수 및 종류는 하나 이상의 관심있는 형광을 위한 형광 여기 파장을 기초로 선택된다.
조명기(210)와 조합하기 위해 선택된 특정한 형광 여기 소스는 사용되는 형광발색단(fluorophore)에 의존한다. 생체 내에 사용되는 다양한 FDA 승인된 형광 염료의 여기 및 방출 최대값이 표 1에 제공된다.
형광 염료 여기 최대값(nm) 방출최대값(nm)
플루오레세인 494 521
인도시아닌록 810 830
인디고 카르민® 알카리 용액 내에서 436 알카리 용액 내에서 528
메틸렌 블루 664 682
인디고 카르민(Indigo Carmine)®은 미국 일리노이주 레이크 포레스트의 애콘 인코퍼레이티드의 미국등록상표이다. 표 2는 기관계(biological systems)에 사용되는 일반적인 단백질 형광발색단의 예를 보여준다.
형광 염료 여기 최대값(nm) 방출최대값(nm)
GFP 489 508
YFP 514 527
DsRed(RFP) 558 583
FITC 494** 518**
Texas Red 595** 615**
Cy5 650** 670**
Alexa Fluor 568 578** 603**
Alexa Fluor 647 650** 668**
Hoechst 33258 346 460
TOPRO-3 642 661
활용하기 위한 대략적인 여기 및 형광 방출 최대값당업자들은 형광발색단이 환자의 특정 조직과 결합하는 물질(agent)에 의해 경계지어질 수 있음을 이해할 것이다. 특정한 형광발색단이 선택된 때, 조명기(710D) 내의 3개의 가시 색 성분 레이저 모듈 중 하나가 필수적인 여기 파장을 제공하지 않는다면, 그 형광을 위한 여기 최대 파장을 가진 광을 제공하는 조명기(710E)를 얻기 위해 다른 레이저 모듈(710E4)가 조명기(710D)에 추가될 수 있다. 그러므로, 관심있는 형광발색단이 정해지고 다수의 상이한 형광발색단이 사용된다면, 그 장면의 컬러 이미지의 조명을 위해 그리고 형광을 여기시키기 위해 조명기(710D) 내에 적절한 광원이 포함될 수 있다.
표 1 및 2의 상기 예는 설명을 위한 것일 뿐이며 본 형태를 제공된 특정한 예로 한정하도록 의도되지 않았다. 본 명세서를 본 후, 조직의 대안의 이미징 특성이 선택될 수 있고, 그 후 적절한 광원이 사용되는 형광을 기초로 선택될 수 있다.
본 형태에서, 프리즘 어셈블리(730R(730L))의 코팅된 제1 면(731R(731L)), 즉, 빔 스플리터는 복수의 노치 필터를 포함하는 필터(790H)(도 7h)를 포함한다. 제1 노치 필터(791H)는 수신된 광 내의 적색 성분(R1)을 반사하고, 수신된 광 내의 다른 파장의 적색 성분(R)을 투과시킨다. 제2 노치 필터(792H)는 수신된 광 내의 녹색 성분(G1)을 반사하고, 수신된 광 내의 다른 파장의 녹색 성분(G)을 투과시킨다. 제3 노치 필터(793H)는 수신된 광 내의 청색 성분(B1)을 반사하고, 수신된 광 내의 다른 파장의 청색 성분(B)을 투과시킨다. 3개의 노치 필터의 사용은 설명의 용이함을 위한 것이고, 3개의 개별 필터로 한정하도록 의도되지 않았다. 3개의 개별 노치 필터는 여기 서술된 반사 투과 특성을 가진 하나의 멀티 노치 필터로서 보여질 수 있다.
그러므로, 코팅된 제1 면(731R(731L))은 수신된 광 내의 적색 성분(R1), 수신된 광 내의 녹색 성분(G1), 및 수신된 광 내의 청색 성분(B1)을 제2 면(732R(732L))으로 반사한다. 제2 면(732R(732L))은 코팅된 면(731R(731L))으로부터 수신된 모든 파장을 이미지 캡쳐 센서(710R(710L))로 반사한다.
코팅된 제1 면(731R(731L))은 수신된 광 내의 적색 성분(R1), 수신된 광 내의 녹색 성분(G1), 및 수신된 광 내의 청색 성분(B1)을 반사 유닛(540R(540L)) 내의 제3 면(541R(541L))으로 투과시킨다. 제3 면(541R(541L))은 코팅된 면(731R(731L))으로부터 수신된 모든 파장을 이미지 캡쳐 센서(715R(715L))로 반사한다.
그러므로, 이미지 캡쳐 센서(710R(710L))는 레이저 조명된 장면의 RGB 이미지를 획득한다. 이는 컬러 이미지이다. 모든 나머지 광은 이미지 캡쳐 센서(715R(715L))로 반사된다. 이 광은 조명 이외의 소스로부터 온 것이여 야 한다. 예를 들어, 자연 조직 형광이 존재한다면, 형광이 이미지 캡쳐 센서(715R(715L))에 의해 캡쳐된다. 이미지 캡쳐 센서(715R(715L))가 컬러 이미지 캡쳐 센서라면, 형광은 임의의 색일 수 있고, 이 형광은 이미지 캡쳐 센서(715R(715L)) 상에 컬러로 이미지화된다. 코팅된 제1 면(731R(731L)) 상의 노치 필터로 인해 형광의 약간의 손실이 존재할 수 있다. 본 형태에서, 이미지 캡쳐 센서(710R(710L))는 컬러 필터 어레이를 가진 컬러 센서이다. 컬러 필터 어레이는 바이어 RGGB 컬러 필터 어레이이다.
이미지 캡쳐 센서(715R(715L))용으로 선택되는 이미지 캡쳐 센서의 종류는 이미지 캡쳐 센서(715R(715L))에 의해 캡쳐되는 다른 광의 특성에 의존한다. 이미지 캡쳐 센서(715R(715L))의 이득 및 다른 파라미터들은 이미지 캡쳐 센서(715R(715L))가 가능한 최상의 이미지를 획득하도록 이미지 캡쳐 센서(710R(710L))로부터 독립적일 수 있다.
하나의 형광 스펙트럼이 관심있다면, 또는 상이한 형광 스펙트럼간의 구별이 중요하지 않다면, 이미지 캡쳐 센서(715R(715L))는 단색 센서일 수 있다. 대안으로서, 하나 이상의 컬러 형광 스펙트럼(예컨대, 적색 파장 내의 형광 스펙트럼 및 녹색 파장 내의 형광 스펙트럼)에 관심있다면, 이미지 캡쳐 센서(715R(715L))는 바이어 컬러 필터 어레이를 가진 컬러 이미지 캡쳐 센서일 수 있다.
단색 이미지 캡쳐 센서와 함께, 해상도 및 광 수집에 관한 이점이 존재한다. 컬러 이미지 캡쳐 센서는 수신된 광의 파장에 대한 더 많은 정보를 제공한다.
이미지 캡쳐 센서(715R(715L))의 구현방법과 무관하게, 2개의 이미지 캡쳐 센서는 동일한 장면에서 동일한 광학부재를 통해 바라본다. 앞서 언급한 바와 같이, 동평면의 이미지 캡쳐 센서(71OR(710L) 및 715R(715L))는 공통의 프론트엔드 광학 구조 및 각각의 센서까지 실질적으로 동일한 광 경로 길이를 가진다.
이미지 캡쳐 센서(710R(710L))로 가고 반사되지 않은 레이저 조명인 임의의 소량의 광은 반사되는 레이저 조명에 비해 작다. 이미지 캡쳐 센서(71OR(710L) 및 715R(715L))에 의해 캡쳐되는 이미지의 넓은 스펙트럼 응답 및 우수한 정렬을 가정한다면, 듀얼 이미지 강화 모듈(240R(240L))은 이미지 캡쳐 센서(715R(715L))에 의해 캡쳐된 이미지를 사용하여 이미지 캡쳐 센서(71OR(710L))에 의해 캡쳐된 이미지를 보정할 수 있다.
파장(Rl, Gl, Bl)을 가진 광을 발생시키는 조명기(710D) 내의 조명 모듈과 상이한 조명 모듈로부터의 여기 파장에 의해 형광이 여기된다면, 이미지 캡쳐 유닛 이미징 경로 내에, 예컨대, 스탑(570R(570L))과 센서 어셈블리(720R(720L)) 사이에 여기 차단 노치 필터가 필요하다. 형광의 여기 파장과 무관하게, 형광 광은 가시 스펙트럼 내에 있을 수 있고 이미지 캡쳐 센서(715R(715L)) 상에 이미지화될 수 있다. 필요하다면, 복수의 형광발색단이 동시에 이미지화될 수 있고, 방출 스펙트럼은 상이한 색상을 이미지 캡쳐 센서(715R(715L)) 상에 여기시킨다.
듀얼 이미지 강화 모듈(240R(240L))의 구성은 제2 이미지 캡쳐 센서(715R(715L))가 컬러 이미지 캡쳐 센서인지 또는 단색 이미지 캡쳐 센서인지 여부에 의존한다. 두 이미지 캡쳐 센서가 모두 컬러 센서라면, CCU(230R(230L))는 그 두 개의 캡쳐된 이미지를 디모자이싱하고, 제어기(260)는 상술된 출력 이미지 내의 각각의 픽셀에 대하여 N 엘리먼트 색 성분 백터를 생성한다. N 엘리먼트 색 성분 백터 내의 3개의 색 성분은 컬러 이미지를 나타내고, 나머지 색 성분은 형광을 나타낸다. 제2 이미지 캡쳐 센서가 단색이라면, 제2 캡쳐된 이미지의 디모자이싱은 필요하지 않다.
그러므로, 제2 이미지 캡쳐 센서(715R(715L))의 구현방법과 무관하게, 제어기(260)는 제1 이미지 내의 대응하는 픽셀에 대한 색 성분 백터 및 제2 이미지 내의 대응하는 픽셀에 대한 색 성분 백터로부터, 출력 이미지 내의 픽셀에 대한 적어도 4 엘리먼트 색 성분을 생성하도록 구성된다. 4 엘리먼트 색 성분 백터 내의 3 엘리먼트는 가시 컬러 이미지를 위한 것이고, 4 엘리먼트 색 성분 백터 중 4번째 엘리먼트는 형과 이미지를 위한 것이다.
도 7a의 형태 및 도 7a와 관련하여 상술된 각각의 예에서, 입체 채널 내의 이미지 캡쳐 센서들은 동평면이다. 이는 설명을 위한 것일 뿐이며 제한하도록 의도되지 않았다. 예를 들어, 제1 이미지 캡쳐 센서는 제1 평면 내의 최상의 센서 표면을 가질 수 있고, 제2 이미지 캡쳐 센서는 제2 평면 내의 최상의 센서 표면을 가질 수 있다. 제1 및 제2 평면은 서로 평행하고, 기지의 거리만큼 이격되어 있다(도 9 참조). 반사 유닛 내의 빔 스플리터와 반사면 사이의 간격은 제1 이미지 캡쳐 센서까지의 제1 광 경로 길이가 제2 이미지 캡쳐 센서까지의 제2 광 경로 길이와 대략 동일하도록 상기 기지의 거리에 대하여 보상하기 위해 조절된다. 그러므로, 상술된 도 7a의 각각의 형태들은 두 광 경로 길이가 대략 동일하게 유지되므로 이러한 구성에 바로 적용가능하다.
연장된 피사계심도
수술용 내시경에서는 가능한 수술의에게 선명하고 밝은 이미지를 제공하고자 한다. 이는 최대 가능한 조리개를 가진 렌즈 설계를 필요로 한다. 조리개가 클수록 더 선명한 이미지(센서의 한계 내에서)를 형성하고, 더 많은 광을 허용하여 더 밝은 이미지(더 우수한 신호대잡음비)를 야기한다. 그러나, 이는 더 큰 조리개가 더 얕은 피사계심도를 야기한다는 점에서 트레이드오프(trade-off)이다. 수술의는 수술의가 카메라로부터 상이한 거리에서 물체를 보기 때문에, 이미징 시스템의 초점을 제어하는 것을 피하기 위해 더 큰 피사계심도를 가진 이미지를 선호할 것이다. 그러므로, 수술의는 큰 조리개의 선명도 및 밝기와, 훨씬 향상된 피사계심도를 가진 이미지를 좋아할 것이다. 이러한 목적을 달성하기 위해, 각각의 이미지 캡쳐 유닛(825L 및 825R)은 상이한 초점을 가진 조직(803)의 이미지를 캡쳐한다. 듀얼 이미지 강화 모듈(240R, 240L)(도 2)은 캡쳐된 이미지를 처리하고 이전에는 사용할 수 없었던 피사계심도 능력을 수술의에게 제공한다.
예컨대, 하나의 형태로서, 센서 어셈블리(820R(820L))에 의해 캡쳐된 제1 이미지(881)(도 8b)는 제1 초점을 가진다. 센서 어셈블리(820R(820L))에 의해 캡쳐된 제2 이미지(882)(도 8c)는 제2 초점을 가진다. 이미지(881)에서, 검은 식별선에 의해 표시된 바와 같이, 이미지의 중앙에 있는 특징부는 초점 내에 있다. 이미지(881)의 좌우측 특징부는 또한 이미지 캡쳐 유닛(825R(825L))으로부터 온 것이고, 빗금에 의해 표시된 바와 같이 초점 밖에 있다. 이미지(882)에서, 이미지 중앙에 있는 특징부는 빗금에 의해 표시된 바와 같이 초점 밖에 있다. 이미지(882)의 좌우측의 특징부는 검은 식별선으로 표시된 바와 같이 초점 내에 있다.
아래에 더욱 상세하게 설명한 바와 같이, 이미지(881 및 882)의 초점 부는 입체 디스플레이(251)로 전송되는 합성된 인포커스(in focus) 이미지(도 8d)를 생성하는데 사용된다. 이는 이미지(881 및 882) 중 하나가 사용가능할 때보다 더 우수한 피사계심도를 포함하는 이미지를 제공한다. 이러한 접근법의 다른 장점은 선명도 메트릭과 함께 이미지(881 및 882)로부터의 정보가 디스플레이하기 위해 입체 디스플레이(251)로 전송되는, 가상 카메라의 시각(perspective)으로부터 이미지를 생성하기 위해 사용된다는 것이다. 이는 수술의가 내시경(802)을 물리적으로 이동시키지 않고도 약간 상이한 시각으로부터 조직(803)을 볼 수 있게 한다.
도 8a는 이미지 캡쳐 유닛(825L, 825R) 및 조명기로부터의 광을 제공하는 조명 채널(805)을 갖춘 입체 내시경(802)의 말단부의 개략적인 도면이다. 화살표(835)가 가리키는 바와 같이, 말단 방향은 조직(803)을 향하고 근단 방향은 조직(803)으로부터 멀어지는 방향이다.
각각의 이미지 캡쳐 유닛(825R, 825L)은 렌즈 어셈블리(801R, 801L) 및 센서 어셈블리(820R, 820L)를 포함한다. 센서 어셈블리(820R, 820L)는 센서 어셈블리(820R, 820L)를 통과한 광을 수신하도록 배치된다. 각각의 센서 어셈블리(820R, 820L)는 하나의 형태로서 프리즘 어셈블리(830R, 830L), 반사 유닛(840R, 840L), 및 동평면인 이미지 캡쳐 센서((810R, 815R), (810L, 815L))를 포함한다. 그러나, 도 9에 도시된 구성은 또한 도 8a의 구성을 사용하여 서술된 형태에서 사용될 수 있다. 입체 내시경(802)은 종종 내시경(802)이라 불린다.
아래의 설명에서, 입체 내시경(802)의 우측 채널 내의 광 경로가 서술된다. 입체 내시경(802)의 좌측 채널을 통한 광 경로는 내시경(802)의 대칭성으로 인해 우측 채널의 것과 동등하므로, 아래의 설명에서, 좌측 채널 참조번호는 우측 채널 내의 부재들의 설명에 이은 괄호 내에 포함된다. 이는 이 설명이 또한 좌측 채널 내의 대응하는 부재에 적용가능함을 의미한다. 또한, 서술된 이미징 프로세스는 연속 비디오 시퀀스가 디스플레이에 제공되도록 실시간으로 수행된다.
조직(803)으로부터의 광은 렌즈 부재(804R(804L)) 및 렌즈 어셈블리(801R(801L)) 내의 스탑(870R(870L))을 통과한다. 렌즈 어셈블리(401B)(도 4b) 내의 부재들은 렌즈 부재(804R(804L))의 하나의 예이다. 렌즈 어셈블리(801R(801L))를 통과한 광은 이미지 캡쳐 유닛(825R(825L))에 의해 수신되고 프리즘 어셈블리(830R)로 들어간다. 프리즘 어셈블리(830R(830L))는 수신된 광의 제1 퍼센트를 반사하는 빔 스플리터(831R(831L))를 포함한다. 빔 스플리터(831R(831L))는 수신된 광의 제2 퍼센트를 빔 스플리터(831R(831L))를 통해 반사 유닛(840R(840L))으로 보낸다.
하나의 형태로서, 빔 스플리터(831R(831L))는 코팅된 제1 면(831R(831L))으로 구현된다. 코팅된 제1 면(831R(831L))에 의해 반사된 광은 제2 면(832R(832L))에 의해 반사되고, 제2 면은 그 광을 제1 이미지 캡쳐 센서(810R(810L)) 상으로 지향, 예컨대, 반사한다. 면(832R(832L))은 코팅된 면 또는 내부 전반사 면 중 하나일 수 있다. 코팅된 제1 면(831R(831L))을 통해 투과된 광은 반사 유닛(540R(540L))의 제3 면(541R(541L))에 의해 수신되고, 제3 면은 그 광을 제2 이미지 캡쳐 센서(815R(815L))로 지향, 예컨대, 반사한다.
제2 면(832R(832L))은 코팅된 제1 면(831R(831L))에 의해 반사된 광 이외의 광이 제2 면(832R(832L))에 도달하지 않도록 배치된다. 하나의 형태로서, 코팅된 제1 면(831R(831L))으로의 광의 입사각은 45도 미만이다.
하나의 형태로서, 프리즘 어셈블리(830R(830L)) 및 반사 유닛(840R(840L))은 프리즘 어셈블리(830R(830L))를 포함하는 오각 프리즘을 가진 프리즘 구조 내에 포함된다. 본 형태에서의 프리즘 구조는 수신된 광을 제1 및 제2 퍼센트로 나누는 매립형 코팅면(431B)을 가진 프리즘 구조(460)와 동등하다. 그러므로, 프리즘 구조(460)의 설명은 본 형태에서 사용되는 프리즘 구조에 적용가능하다.
하나의 형태로서, 제1 및 제2 퍼센트는 대략 동일하다. 다른 형태에서, 제1 및 제2 퍼센트는 상이하다. 그러므로, 프리즘 어셈블리(830R(830L))는 수신된 광을 두 부분((i) 종종 제1 부분이라 불리는 수신된 광의 제1 퍼센트, 및 (ii) 종종 제2 부분이라 불리는 수신된 광의 제2 퍼센트)으로 나누는 빔 스플리터(831R(831L))를 포함한다.
이미지 캡쳐 센서(81OR(810L) 및 815R(815L))는 동평면이다. 하나의 형태로서, 스탑(870R(870L))에서부터 코팅된 제1 면(831R(831L))을 지나고 제2 면(832R(832L))을 지나 이미지 캡쳐 센서(81OR(810L))까지의 제1 광 경로 길이는 제1 길이이다. 스탑(870R(870L))에서부터 코팅된 제1 면(831R(831L))을 통해 어셈블리(840R(840L)) 내의 제3 면(841R(841L))을 지나 이미지 캡쳐 센서(815R(815L))까지의 제2 광 경로 길이는 제2 길이이다. 제1 및 제2 길이는 상이하다. 즉, 대략 동일하지 않다. 광 경로 길이의 정의는 또한, 스탑(870R(870L)에서 시작하는 광 경로 길이의 정의는 설명을 위한 것일 뿐이며 제한하도록 의도된 것은 아니다. 또한, 동일하지 않은 광 경로 길이는, 예컨대, 수신된 광이 프리즘 어셈블리(830R(830L))로 들어가도록 통과시키는 프리즘 어셈블리(830R(830L))의 말단 면에 대하여, 렌즈 어셈블리(801R(801L)) 내의 제1 부재에 대하여, 또는 코팅된 제1 면(831R(831L))에 대하여, 다양하게 정의될 수 있다. 다른 형태에서, 상이한 광 경로 길이는 상이한 굴절률을 가진 두 이미지 센서 영역 상의 유리판을 통해, 또는 다른 유사한 수단을 통해 달성될 수 있다.
그러므로, 동평면의 이미지 캡쳐 센서(81OR(810L) 및 815R(815L))는 렌즈 어셈블리(801R(801L)) 내의 프론트엔드 광학 구조를 통과하는 공통의 광 경로 길이를 가지고, 센서 어셈블리(820R(820L)) 내의 각각의 센서까지는 상이한 광 경로 길이를 가진다. 제1 이미지 캡쳐 센서(810R(810L))는 센서 어셈블리(820R(820L))에 의해 수신되는 광의 제1 부분으로부터 이미지를 캡쳐한다. 제2 이미지 캡쳐 센서(815R(815L))는 센서 어셈블리(820R(820L))에 의해 수신된 광의 제2 부분으로부터 이미지를 캡쳐한다.
하나의 형태에서, 각각의 이미지 캡쳐 센서(81OR(810L) 및 815R(815L))는 컬러 필터 어레이를 가진 컬러 센서이다. 다른 형태로서, 컬러 필터 어레이는 컬러 센서 중 하나로부터 제거되고, 그 센서는 단색 센서로서 기능한다. 단색 센서가 사용된 때, 단색 센서에 의해 캡쳐된 이미지로부터의 선명도는 두 이미지의 초점이 너무 상이하지 않는다면, 예컨대, 두 이미지의 두 이미지의 선명도 곡선(885, 886)이 교차하는 점 부근에 초점을 가진다면, 컬러 이미지로 변환된다(도 8e 참조).
하나의 형태로서, 프리즘 어셈블리(830R(830L))의 코팅된 제1 면(831R(831L))은 프리즘 어셈블리(830R(830L))에 의해 수신된 광의 대략 동등한 비율은 반사하고 투과시키도록 구성된다. 즉, 제1 및 제2 퍼센트는 대략 동등하다. 그러므로, 빔 스플리터(831R)는, 본 형태에서, 상술된 밸런스드 빔 스플리터이다. 본 예에서, 각각의 이미지 캡쳐 센서(81OR(810L) 및 815R(815L))는 컬러 필터 어레이를 가진 컬러 센서이다. 컬러 필터 어레이는 바이어 컬러 필터 어레이이다. 그러므로, 2개의 바이어 패턴 이미지 캡쳐 센서(81OR(810L) 및 815R(815L))는 동일한 장면에서 동일한 광학부재를 통해 본다. 여기서, 바이어 패턴 이미지 캡쳐 센서는 바이어 컬러 필터 어레이를 포함하는 단일 칩 센서, 또는 단일 칩의 일부분이다. 앞서 언급한 바와 같이, 동평면의 이미지 캡쳐 센서(81OR(810L) 및 815R(815L))는 공통의 프론트엔드 광학 구조를 가지지만, 각각의 센서까지의 상이한 광 경로 길이를 가진다.
이미지 캡쳐 센서(81OR(810L))로 가는 광은 이미지 캡쳐 유닛(825R(825L))으로부터 제1 촬영 거리(DA)에 초점을 가진 제1 이미지로서 캡쳐된다. 예컨대, 도 8b를 참조할 수 있다. 이미지 캡쳐 센서(815R(815L))로 가는 광은 센서(815R(815L))에 도달하기 위해 약간 더 긴 경로를 지나고, 이미지 캡쳐 유닛으로부터 제2 촬영 거리(DB)에 초점을 가진 제2 이미지로서 캡쳐된다. 예컨대, 도 8c를 참조할 수 있다. 거리(DB)는 거리(DA)보다 더 길다. 이러한 경로 길이의 차이는 프론트엔드 광학 설계, 예컨대, 렌즈 부재(804R(804L))의 초점거리, 및 각각의 2개의 캡쳐된 이미지의 최선의 초점에 대한 거리를 기초로 한다.
제 1 및 제2 이미지는 정렬되어 있고, 동일한 렌즈 부재(804R(804L))를 통해 취해진다. 두 이미지의 초점 평면은 상이하다. 또한, 두 이미지의 피사계심도는 상이하다. 거리(DA)에 초점을 가진 이미지, 예컨대, 이미지(881)는 짧은 피사계심도를 가지고, 거리(DB)에 초점을 가진 이미지, 예컨대, 이미지(882)는 더 넓은 피사계심도를 가진다.
앞서 언급한 바와 같이, 수술의는 듀얼 이미지 강화 모듈(240R(240L))이 2개의 캡쳐된 이미지(도 8b 및 8c)로부터, 강화된 시야를 가진 인포커스 이미지(도 8d)를 생성하게 하기 위해 사용자 인터페이스(262)를 사용할 수 있다. 대안으로서, 종종 입체 디스플레이(251)라 불리는, 수술의 제어 콘솔 디스플레이(251)에서의 조절(accommodation)은 수술 위치에서 수술적 조절과 매칭하도록, 수술의는 디스플레이의 두 평면상에 2개의 이미지를 볼 수 있다. 마지막으로, 수술의는 제1 초점을 가진 제1 이미지와 제2 초점을 가진 제2 이미지를 서로 전환할 수 있다.
하나의 형태에서, 듀얼 이미지 강화 모듈(240R(240L))은 이미지 캡쳐 센서(81OR(810L) 및 815R(815L))에 의해 캡쳐된 2개의 이미지로부터 연장된 피사계심도의 인포커스 이미지를 생성한다. 제1 형태에서, 제1 선명도 메트릭은 제1 이미지 내의 픽셀 그룹, 즉, 타일(tile)에 대하여 생성되고, 제2 선명도 메트릭은 제2 이미지 내의 대응하는 픽셀 그룹에 대하여 생성된다. 2개의 선명도 메트릭은 어떤 선명도 메트릭이 더 큰지 판단하기 위해 비교된다. 가장 큰 선명도 메트릭을 가진 픽셀 그룹(또는 타일 내의 선택된 픽셀)은 혼합된 이미지를 위해 선택된다. 듀얼 이미지 강화 모듈(240R(240L))은 2개의 캡쳐된 이미지를 그룹 단위로 진행하고(setp through), 2개의 캡쳐된 이미지보다 큰 시야에 걸쳐 초점이 맞는 혼합된 이미지 내의 포함을 위해 2개의 그룹 중 하나를 선택한다.
도 8e는 이미지 캡쳐 센서(810R(810L))에 의해 캡쳐된 이미지에 대한 선명도 프로파일(885) 및 이미지 캡쳐 센서(815R(815L))에 의해 캡쳐된 이미지에 대한 선명도 프로파일(886)의 도면이다. 선명도 프로파일은 내시경의 말단부로부터의 거리에 대한 이미지 캡쳐 센서에 의해 캡쳐된 이미지의 선명도의 곡선이다. 하나의 형태로서, 선명도 프로파일(885 및 886)은 내시경(802)을 사용하여 수행된 교정 및 내시경(802)의 말단부로부터 상이한 거리에 있는 기지의 물체로부터 취해진 복수의 이미지를 기초로 실험에 의거하여 생성된다.
하나의 형태로서, 프로파일(885 및 886)은 메모리 내에 룩업테이블로서 저장된다. 저장된 선명도 프로파일은 내시경(802)이 이미지 캡쳐 유닛(825R(825L)) 내의 광학부재를 움직이지 않고 이동될 때, 이미지 캡쳐 센서(810R(810L))에 의해 캡쳐된 제1 이미지를 디스플레이할 것인지, 또는 이미지 캡쳐 센서(815R(815L))에 의해 캡쳐된 제2 이미지를 디스플레이할 것인지 여부를 판정하기 위해 듀얼 이미지 강화 모듈(240R(240L))에 의해 사용된다. 듀얼 이미지 강화 모듈(240R(240L))은 각각의 제1 및 제2 이미지에 대하여 당업자들이 알고 있는 종래의 기술을 사용하여 선명도 메트릭을 생성한다. 듀얼 이미지 강화 모듈(240R(240L))은 각각의 이미지에 대하여 내시경(802)의 말단부와 조직 간의 거리를 판정하기 위해 선명도 프로파일(885 및 886) 및 선명도 메트릭을 사용한다.
예를 들어, 제1 이미지가 0.5의 선명도 메트릭을 가진다면, 조직(803)까지의 거리(DA)는 선명도 프로파일(885)을 기초로 하여 대략 42밀리미터(mm) 또는 대략 27밀리미터(mm) 중 하나이다. 제2 이미지가 대략 0.43의 선명도 메트릭을 가진다면, 조직(803)까지의 거리(DB)는 선명도 프로파일(886)을 기초로 대략 42밀리미터(mm)이다. 대안으로서, 제2 이미지가 대략 0.08의 선명도 메트릭을 가지면, 조직 거리는 대략 27밀리미터(mm)이다. 선명도 프로파일(885)은 선명도 메트릭을 기초로 하는 조직 깊이에 관하여 애매모호하고, 이 조직 깊이는 제2 곡선(886)에 의해 분명한 차이를 보여줌을 이해해야 한다. 두 이미지 모두 실질적으로 동일한 시간에 획득되었다면, 이러한 명확화는 일시적 효과에 의해 왜곡(skewed)되지 않는다. 듀얼 이미지 강화 모듈(240R(240L))은 내시경(802)이 이동될 때 두 이미지 중 어떤 것을 디스플레이할지 판정하기 위해 두 이미지 간의 상대적인 선명도 메트릭 및 이러한 곡선의 실험에 의거한 교정을 사용하고, 이미지 캡쳐 유닛에서부터 조직까지의 거리는 변한다. 내시경의 말단부의 위치는 중앙 제어기(260)가 알고 있다.
내시경(802)이 조직(803)에 더 근접하게 이동되면, 제1 캡쳐된 이미지는 듀얼 이미지 강화 모듈(240R(240L))에 의해 디스플레이(251)로 전송된다. 내시경(802)이 조직(803)으로부터 멀어지도록 이동되면, 듀얼 이미지 강화 모듈(240R(240L))은 내시경(802)의 말단부의 조직(803)으로부터의 거리와, 프로파일 교차 거리라 불리는, 선명도 프로파일(885 및 886)이 교차하는 거리를 비교한다. 내시경(802)의 말단부의 조직(803)으로부터의 거리가 프로파일 교차 거리보다 작다면, 제1 캡쳐된 이미지가 디스플레이(251)로 전송된다. 내시경(802)의 말단부의 조직(803)으로부터의 거리가 프로파일 교차 거리보다 크다면, 제2 캡쳐된 이미지가 디스플레이(251)로 전송된다. 그러므로, 이전 단락에서의 선명도 메트릭에 대하여, 내시경(802)의 말단부가 조직(803)으로부터 45mm 미만일 때, 제1 이미지가 수술의에게 표시될 것이다. 내시경(802)의 말단부가 조직(803)으로부터 45mm 초과일 때, 제2 이미지가 수술의에게 표시될 것이다. 그러므로, 내시경(802)이 이동될 때, 수술의는 이미지 캡쳐 유닛(825R(825L)) 내의 광학부재를 이동시키지 않고도 적절한 이미지를 제공받는다.
또한, 두 이미지 중 어떤 것을 수술의에게 표시할지의 판단은 오직 상대 선명도 메트릭을 기초로 하여 결정될 수 있다. 조직 깊이의 계산은 필요하지 않다. 입체 뷰어의 좌우 눈에 표시되는 이미지 쌍은 일정하게 유지될 것이고, 선명도 메트릭 비교는 제1 또는 제2 이미지 사용에 대한 판정 동안 좌측 눈에 대하여 캡쳐된 이미지 쌍 및 우측 눈에 대하여 캡쳐된 이미지 쌍으로부터의 데이터를 사용할 수 있다. 일반적으로, 전체 이미지의 초점 전환이 제공된다면, 제1 이미지는 우측눈 또는 좌측눈 모두에 대하여 선택될 수 있고, 제2 이미지는 우측 및 좌측 눈에 대하여 선택될 수 있다.
다른 형태로서, 캡쳐된 두 이미지 및 선명도 프로파일(885, 886)은 깊이 맵을 만들기 위해 사용된다. 선명도 프로파일(885)은 거리에 대한 선명도 메트릭의 채널 선명도 프로파일을 생성하기 위해 선명도 프로파일(886)로 나누어진다. 예컨대, 정해진 거리에서의 프로파일(886)의 값은 정해진 거리에 대한 선명도 메트릭을 구하기 위해 정해진 거리에서의 프로파일(885)의 값으로 나누어진다. 이러한 선명도 메트릭은 전체 이미지에 대한 깊이 맵을 생성하기 위해 슬라이딩 타일(sliding tiles)의 사용을 통해 계산될 수 있다. 자연히, 이러한 정보는 더 잘 조절된 깊이 맵을 생성하기 위해 더 많은 전통적인 스테레오 매칭 알고리즘과 결합될 수 있다.
하나의 형태로서, 선명도 프로파일(885 및 886)은 내시경(802)을 사용하여 수행된 교정, 및 내시경(802)의 말단부로부터 상이한 거리에 있는 기지의 물체의 획득된 복수의 이미지를 기초로 실험에 의거하여 생성된다. 선명도 프로파일은 이미지 캡쳐 유닛(825R)에 대하여 그리고 이미지 캡쳐 유닛(825L)에 대하여 모두 구해진다. 채널 선명도 프로파일은 각각의 좌 및 우 채널에 대하여 생성된다. 하나의 형태로서, 좌우 채널 선명도 프로파일은 메모리(899)(도 8f) 내에 룰업테이블로서 저장된다.
근본적으로 제1 캡쳐된 이미지 내의 픽셀과 제2 캡쳐된 이미지 내의 픽셀 간에 일대일 대응이 존재함을 이해해야 한다. 일대일대응을 형성하는 것은, 몇몇 예에서, 이미지 간의 교정 및 약간의 이미지 와핑(warping) 또는 소프트웨어 기반의 정렬을 필요로 할 수 있다. 듀얼 이미지 강화 모듈(240R(240L))은 각각의 제1 및 제2 이미지 내의 대응하는 픽셀 둘레의 타일 또는 그룹에 대한, 당업자들이 알고 있는 종래의 기술을 사용하여, 선명도 메트릭을 생성한다. 제1 캡쳐된 이미지 내의 픽셀 또는 픽셀 그룹에 대한 선명도 메트릭은 그 픽셀에 대한 채널 선명도 메트릭을 생성하기 위해 제2 캡쳐 이미지 내의 대응하는 픽셀에 대한 대응하는 픽셀 또는 대응하는 픽셀 그룹에 대한 선명도 메트릭으로 나누어진다. 픽셀에 대한 채널 선명도 메트릭은 채널 선명도 프로파일 상의 하나의 포인트를 위치조절하기 위해 사용된다. 채널 선명도 프로파일 상의 그 포인트에 대응하는 거리는 그 픽셀의 (X, Y) 위치와 연관된 깊이이다. 캡쳐된 이미지 내의 각각의 픽셀에 대하여 이러한 프로세스를 수행하는 것은 캡쳐된 이미지 내의 깊이 맵을 생성한다.
하나의 형태로서, 깊이 맵은 내시경(802)의 시각(perspective)과 상이한 시각에서부터, 즉, 가상 카메라 시점의 시각에서부터 조직(803)의 장면의 화면을 생성하기 위해 사용된다. 중앙 제어기(260)는 가상 카메라 시점에 대한 입체 이미지 쌍을 생성하기 위해 3차원 시각화 모듈(890)(도 8f)을 사용한다.
3차원 시각화 모듈(890)은 내시경(802)의 우측 입체 채널에서 캡쳐된 제1 및 제2 이미지를 사용하고, 우측 채널에 의해 보여지는 장면에 대한 제1 채널 깊이 맵을 생성한다. 이와 유사하게, 3차원 시각화 모듈(890)은 내시경(802)의 좌측 입체 채널에서 캡쳐된 제1 및 제2 이미지를 사용하고, 좌측 채널에 의해 보여지는 장면에 대한 제2 채널 깊이 맵을 생성한다. 이미지 내의 스테레오 매칭으로부터의 추가적인 정보는 또한 결합된 깊이 맵의 안정성 및 정확도를 향상시키기 위해 사용될 수 있다. 그 장면의 3차원 면이 제1 및 제2 채널 깊이 맵을 사용하여 생성되고, 4개의 캡쳐된 이미지 중 가장 잘 초점이 맞는 부분이 텍스쳐드(textured) 3차원 이미지 면을 형성하기 위해 3차원 면 상에 투영(project)되고 텍스처링 된다.
수술의가 사용자 인터페이스(262)를 사용하여 시점, 즉, 가상 카메라 시점을 입력할 때, 듀얼 이미지 강화 모듈(240R)은 가상 카메라 시점으로부터 우측 채널에 대한 이미지를 생성하기 위해 우측 채널에 대한 채널 깊이 및 텍스처드 3차원 이미지면을 사용한다. 이와 유사하게, 듀얼 이미지 강화 모듈(240L)은 가상 카메라 시점으로부터 좌측 채널에 대한 이미지를 생성하기 위해 좌측 채널에 대한 채널 깊이 맵 및 텍스처드 3차원 이미지 면을 사용한다. 이러한 두 이미지는 입체 디스플레이(251)로 전송되고, 수술의는 가상 카메라 시점으로 내시경(802)을 이동시키지 않고도 가상의 3차원 이미지를 제공받는다.
더 구체적으로는, 3D 시각화 모듈(895)은 각각의 채널에 대하여 실행된다. 이는 동시에(in parallel) 수행될 수도 있고, 또는 중앙 제어기(260) 내의 사용가능한 메모리 및 프로세싱 파워에 의존하여 순차적으로 수행될 수도 있다.
우측 채널에 대한 이미지 추출 프로세스(891)에서, 이미지 캡쳐 센서(81OR 및 815R)에서 캡쳐된 제1 및 제2 이미지가 추출되고, 깊이 맵 생성 프로세스(892)(이하 프로세스(892)라 함)에 제공된다. 프로세스(892)는 두 이미지 내의 픽셀 그룹, 예컨대, 타일에 대하여 동일한 프로세스를 반복적으로 수행한다.
픽셀(X, Y)에 대한 프로세스(892)에서, 픽셀(X, Y)을 포함하는 픽셀 그룹은 우측 채널 내의 각각의 제1 및 제2 이미지로부터 선택된다. 여기서, X는 픽셀의 X좌표이고, Y는 픽셀의 Y 좌표이다. 예를 들어, 픽셀 그룹은 블록의 중앙에 픽셀(X, Y)을 가지는 5 픽셀 × 5 픽셀 블록일 수 있다. 제1 이미지로부터의 픽셀 블록에 대한 제1 선명도 메트릭이 생성되고, 제2 이미지로부터의 동일한 픽셀 블록에 대한 제2 선명도 메트릭이 생성된다. 제2 선명도 메트릭은 채널 선명도 메트릭을 생성하기 위해 제1 선명도 메트릭에 의해 나누어진다. 채널 선명도 메트릭에 대응하는 거리(Z)는 메모리(899) 내의 우측 채널 선명도 프로파일을 사용하여 구해진다. 거리(Z)는 픽셀(X, Y)에 할당된다. 그러므로, 우측 채널 깊이 맵에서, 픽셀은 픽셀(X, Y, Zxy)로 표현된다.
그 다음, 이 프로세스는 픽셀(X+l, Y)에 대하여 반복되고, 깊이 맵 내의 픽셀은 픽셀(X+l, Y> Z(X+i)y)이다. 그러므로, 픽셀(X, Y)에 대한 공통의 블록 선명도 메트릭을 결정하기 위해 사용되는 픽셀 중 일부는 또한 픽셀(X+l, Y)에 대한 공통의 블록 선명도 메트릭을 결정하는데에도 사용된다. 이러한 프로세스는 일렬의 픽셀 내의 각각의 픽셀에 대하여 반복되고, 그 다음 Y 인덱스가 증가되고, 이 프로세스는 다음 픽셀 열 내의 각각의 픽셀에 대하여 반복된다. 완전한 픽셀 블록에 의해 둘러싸이지 않는, 그 장면의 경계지역 내의 픽셀에 대하여, 하나의 형태로서 대칭성이 가정되고, 그 블록 내의 사용가능한 픽셀에 대한 값이 누락된 픽셀에 대한 값을 생성하기 위해 사용된다.
모든 픽셀 열이 처리된 때, 우측 채널 깊이 맵은 우측 채널에 의해 보여지는 장면 내의 각각의 픽셀과 함께 생성된다. 각각의 픽셀은 x차원의 값, y차원의 값, 및 z차원의 깊이를 가진다. 우측 채널 깊이 맵은 하나의 형태로서 메모리(895)에 저장된다.
우측 채널 깊이 맵 내의 깊이는 픽셀 그룹의 크기의 함수인 평균 값이다. 큰 픽셀 그룹은 잡음을 줄이지만, 그룹이 커질수록 z차원의 더 많은 디테일(detail)이 그룹에 대한 평균화로 인해 손실된다. 그러므로, 그룹에 대한 크기는 깊이 값 내의 바람직한 특이성(specificity)을 유지하면서 잡음을 수용가능한 레벨로 낮추도록 실험에 의거하여 결정된다. 또한, 그 깊이가 블록의 중앙에서 생성되는 픽셀의 배치는 단지 설명을 위한 것일 뿐이며, 이러한 특정한 배치로 제한하도록 의도되지 않았다.
이러한 동일한 프로세스는 깊이 맵 생성 프로세스(892)에 의해 좌측 채널에 대하여 수행된다. 좌우 채널 모두에 대한 프로세싱이 완료된 때, 메모리(895)는 우측 채널 깊이 맵 및 좌측 채널 깊이 맵을 포함한다. 좌우 채널 깊이 맵은 내시경(802)의 시점에 대한 장면의 깊이 맵핑을 제공한다.
중앙 제어기(260) 내의 3D 면 생성 프로세스(893)는 장면의 3차원 면을 생성하기 위해 좌우 채널 깊이 맵을 사용한다. 3차원 깊이 맵 면을 생성하기 위해 2개의 깊이 맵을 사용하는 것은 당업자들에게 주지된 것이므로, 여기서 더 살펴보지는 않는다.
장면의 3차원 면을 생성한 후, 이미지 투영 및 텍스쳐 맵핑 프로세스(894)는 텍스처드 3차원 이미지 면(종종 텍스처드 이미지 면이라 함)을 생성하기 위해 3차원 깊이 맵 면 뒤에서(back on) 우측 채널 내의 2개의 획득된 이미지의 가장 선명한 부분 및 좌측 채널 내의 2개의 획득된 이미지의 가장 선명한 부분을 투영하고 텍스쳐 맵핑한다. 텍스처드 이미지 면을 생성하기 위해 복수의 캡쳐된 이미지와 3차원 면을 사용하는 투영 및 텍스처링은 당업자들에게 주지되어 있으므로, 여기서 더 살펴보지는 않는다.
텍스처드 이미지 면 및 2개의 채널 깊이 맵과 함께, 가상 카메라 시점으로부터의 입체 이미지 쌍에 대한 이미지가 생성된다. 이러한 형태에서, 사용자 인터페이스(262)는 수술의가 현재 장면을 보고자 하는 가상 카메라 시점, 예컨대, 수술의가 현재의 장면을 보고자 하는 것과 상이한 관점을 수술의가 특정하는 것을 허용한다.
그러므로 가상 카메라 시점 수신 프로세스(897)는 사용자 인터페이스(262)로부터 가상 카메라 시점을 수신하고, 그 가상 카메라 시점을 이미지 생성 프로세스(896)에 제공한다. 이미지 생성 프로세스(896)는 가상 카메라 시점으로부터 가상의 우측 채널 이미지를 생성하기 위해, 깊이 맵(895)으로부터의 우측 채널 깊이 맵, 텍스처드 이미지 면, 및 가상 카메라 시점을 사용한다. 이와 유사하게, 이미지 생성 프로세스(896)는 가상 카메라 시점으로부터 가상의 좌측 채널 이미지를 생성하기 위해 깊이 맵(895)으로부터의 좌측 채널 깊이 맵, 텍스처드 이미지 면, 및 가상 카메라 시점을 사용한다. 가상 카메라 시점에 대한 깊이 맵 및 텍스처드 이미지 면을 사용하여 가상의 이미지를 생성하는 것은 당업자들에게 주지된 것이므로, 더 상세하게 살펴보지 않는다.
가상 카메라 시점에 대한 좌우 채널 가상 이미지의 생성 후, 이미지 전송 프로세스(898)는 수술의에게 디스플레이하기 위해 2개의 가상 이미지를 입체 디스플레이(251)로 전송한다. 그러므로, 내시경(802)의 이동없이, 수술의는 상이한 시점, 즉, 가상 카메라 시점으로부터 장면을 볼 수 있다. 자연히, 내시경(802)의 시점보다 더 넓은 상이한 시점으로부터 장면을 보는 것이 반드시 고품질의 이미지로 이끌지는 않는다. 그러나, 내시경 팁 부근의 가상 카메라 시점에 대한 이미지는 합리적인 품질이다.
이러한 접근법은 또한 수술실 내의 다른 참가자를 위한 이미지를 생성하는데 사용될 수도 있다. 예를 들어, 환자 부근의 수술실 스태프는 텔레비전 스크린 또는 모니터와 같은 논-스테레오 디스플레이 유닛 상으로 수술 과정을 볼 수 있다. 가장 카메라 위치로부터 이미지를 생성하는 능력은 수술실 스태프에게 그러한 디스플레이 상의 깊이감을 제공하는 방식으로 그 장면의 표시를 가능하게 할 수 있다.
이는 실제 수술의의 우측 눈 위치에서부터 실제 수술의의 좌측 눈 위치까지 스위핑(sweep)하는 가상 카메라 위치로부터 이미지 시퀀스를 실시간으로 표시함으로써 수행될 수 있다. 즉, 가상 카메라 위치는 2개의 눈 위치 사이의 양안간(interocular) 간격으로 스위핑한다. 가상 카메라 시점의 앞뒤로의 스위핑은 복수의 가상 카메라 시점으로부터 하나의 장면의 이미지 시퀀스를 생성한다. 특히, 각각의 시간 단계(step)에서, 상이한 가상 카메라 시점으로부터의 이미지가 생성되고 표시된다.
예컨대, 실제 우측 눈 위치 및 실제 좌측 눈 위치는 하나의 형태에서 수술의의 제어 콘솔의 일부인 입체 뷰어의 좌측 눈 위치 및 우측 눈 위치를 의미한다. 좌측 눈 위치 및 우측 눈 위치는 양안간 간격만큼 분리된다.
시간에 걸쳐 가상 카메라 위치의 이러한 스위핑에 의해 생성된 이미지의 디스플레이는 작은 전후 헤드 모션의 디스플레이 상의 겉모습을 제공한다. 즉, 디스플레이된 이미지는 장면의 전후로의 약간의 흔들림(rocking)을 제공한다. 이는 휴먼 비주얼 시스템(human visual system)에 의해 사용되는 다양한 깊이 큐(cue) 중 하나이고, 입체 디스플레이의 사용을 필요로 하지않으면서 수술실 스태프에게 장면의 깊이감을 제공한다. 또한, 이는 그 이미지가 디스플레이에 대한 수술실 스태프의 방향과 무관하게 깊이를 알려주며, 임의의 특수한 추가적인 장치를 필요로 하지 않는다는 장점을 가진다. 가상 카메라 이미지는 또한 광 필드의 샘플로서 캡쳐된 이미지를 고려하고 새로운 가상 카메라 뷰를 생성하기 위해 이미지 기반 렌더링 기술을 사용함으로써 생성될 수 있다.
서술된 형태에서, 가상 카메라 시점에 대한 입체 이미지는 입체 내시경(802)으로부터의 이미지를 사용하여 생성되었다. 다른 형태에서, 가상 카메라 시점에 대한 입체 이미지는 모노스코픽 내시경, 예컨대, 입체 내시경(802)의 우측 채널만 가진 내시경으로부터의 한 쌍의 이미지를 사용하여 생성된다.
본 형태에서, 3차원 시각화 모듈(890)은 3차원 이미지를 위한 제1 이미지를 생성하기 위해 2개의 캡쳐된 이미지에 대하여 프로세스(891 내지 894)를 수행한다. 3차원 이미지를 위한 제2 이미지를 생성하기 위해, 이미지 생성 프로세스(896)는 제1 이미지 및 가상 이미지가 입체 이미지 쌍으로 보여질 때, 수술의가 3차원 이미지를 인지하도록 적절한 눈 간격(ocular separation)을 가진 시점으로부터 가상 이미지를 생성한다.
이러한 접근법은 모노스코픽 내시경에 의해 보여지는 장면 내의 전경(fore-ground)의 물체의 날카로운 가장자리가 존재하지 않을 때 가상 카메라 시점에 대한 장면의 입체 화면을 생성하기에는 충분하다. 전형적으로, 수술 현장의 장면에서, 장면은 날카로운 가장자리 없이 매끄럽고, 그러므로 이러한 프로세스는 사용가능한 입체 화면을 생성한다. 장면 내에 수술 기기가 존재한다면, 수술 기기 뒤에 입체 화면 내에 홀이 존재할 수 있지만, 전형적으로 이러한 영역은 수술의가 관심있는 부분이 아니다. 수술 기기 뒤 홀을 가진 입체 화면도 수술의가 필요로 하는 정보를 제공할 것이고, 그러므로 수용가능하다.
상기 예에서, 빔 스플리터(831R(831L))는 밸런스드 빔 스플리터로서 구성되었다. 그러나, 다른 형태에서, 상기 예는 수술 현장의 조명이 전형적으로, 내시경의 일부이고 앞서 조명 채널이라 불리었던 광 가이드를 통해 달성될 수 있다는 점에서 이점을 가지도록 구성된 빔 스플리터(831R(831L))를 사용한다. 그러므로, 조명은 내시경의 팁에 부착되고 팁과 함께 움직인다. 결과적으로, 내시경 팁이 조직 면에 근접한 때, 이미지는 조직으로부터 멀리 떨어진 때보다 훨씬 더 밝다. 본 형태에서, 코팅된 제1 면(831R(831L))은 상이한 비율의 수신된 광을 반사 및 투과하도록 구성된다. 즉, 앞서 정의된 제1 및 제2 퍼센트가 상이하다.
빔 스플리터(831R(831L))는 M의 수신된 광을 반사하고, N의 수신된 광을 투과시키는데, 여기서 M은 N과 상이하다. 여기서, M 및 N은 양수이다. 하나의 형태로서, M + N은 대략 100 퍼센트와 동등하다. 이 등식은 광 손실로 인해 그리고 이미지 캡쳐 유닛(825R(825L))의 다양한 부분의 허용공차로 인해 정확하지 않을 수 있다. 프리즘 어셈블리(830R(830L))의 다른 형태는 앞서 서술한 바와 같다. 센서 어셈블리(820R(820L))에 의해 캡쳐된 이미지의 프로세싱은 밸런스드 빔 스플리터에 대하여 상술한 것과 동일함으로, 반복하지 않는다.
상기 예에서, 이미지 캡쳐 센서들은 동평면에 있다. 그러나, 몇몇 형태에서, 이미지 캡쳐 센서가 기지의 거리만큼 이격된 평행한 평면 내에 있을 수 있음을 이미 설명하였다. 도 9는 이러한 이미지 캡쳐 센서를 가진 이미지 캡쳐 유닛을 갖춘 채널의 일부분의 개략적인 도면이다. 도 9의 구성은 본 명세서에 서술된 임의의 형태 및 예에서 사용될 수 있으며, 그러므로 각각의 다양한 형태 및 예는 본 구성에 대하여 반복하지 않는다.
도 9에서, 이미지 캡쳐 유닛(925)은 렌즈 어셈블리(901) 및 센서 어셈블리(920)를 포함한다. 센서 어셈블리(920)는 프리즘 어셈블리(930), 반사 유닛(940) 및 이미지 캡쳐 센서(91O, 915)를 포함한다. 렌즈 어셈블리(901)는 종종 스탑(970)이라 불리는, 광 스탑(970)을 형성하는 광학 부재를 포함한 복수의 광학 부재를 구비한다. 스탑(970)을 통과한 광은 이미지 캡쳐 유닛(925)의 프리즘 어셈블리(930) 내의 빔 스플리터(931)에 의해 수신된다.
스테레오스코픽 장치는 도 9에 도시된 바와 같이 2개의 이미지 캡쳐 유닛을 포함한다. 그러나, 도 3a에 대하여 앞서 설명한 바와 같이, 이미지 캡쳐 유닛을 가진 좌우 입체 채널이 대칭이므로, 중복적인 설명을 피하기 위해 하나의 채널 및 이미지 캡쳐 유닛만 설명된다. 이미지 캡쳐 유닛을 포함하는 다른 채널은 도 9에 도시된 채널을 가진 내시경의 세로축과 교차하는 평면을 중심으로 대칭이다.
빔 스플리터(931)는 스탑(970)을 통과한 광을 수신하도록 배치된다. 빔 스플리터(931)는 수신된 광의 제1 부분을 제1 이미지 캡쳐 센서(91O)로 지향시키고, 수신된 광의 제2 부분을 빔 스플리터를 통해 반사 유닛(940)으로 보내도록 구성된다. 본 예에서, 프리즘 어셈블리(930) 내의 빔 스플리터(931)는 코팅된 제1 면으로 구현된다. 그러므로, 빔 스플리터(931)는 종종 코팅된 제1 면(931)이라 불린다. 코팅된 제1 면(931)은 수신된 광을 두 부분으로 나눈다.
코팅된 제1 면(931)은 수신된 광의 제1 부분을 제2 면(932)으로 반사하고, 제2 면은 그 광을 제1 이미지 캡쳐 센서(91O) 상으로 지향, 예컨대, 반사한다. 수신된 광의 제2 부분은 코팅된 제1 면(931)을 통해 반사 유닛(940)으로 보내진다. 하나의 형태로서, 코팅된 제1 면(931)으로의 광의 입사각은 45도 미만이다.
제2 면(932)은 코팅된 제1 면(931)에 의해 반사된 광 이외의 광이 제2 면(932)에 도달하지 않도록 배치된다. 하나의 형태에서, 제2 면(932)은 코팅된 면 및 내부 전반사 면 중 하나로 구현된 반사면이다.
반사 유닛(940)은 빔 스플리터(931)로부터 수신된 광을 제2 이미지 캡쳐 센서(915)로 반사하는 제3 면(941)을 포함한다. 하나의 형태에서, 제3 면(941)은, 예컨대, 코팅된 면 및 내부 전반사 면 중 하나로서 구현된 반사면이다.
제1 이미지 캡쳐 센서(91O)는 제1 평면(911) 내의 최상의 센서 면을 가진다. 제2 이미지 캡쳐 센서(915)는 제2 평면(914) 내에 최상의 센서 면을 가진다. 제1 평면(911)은 제2 평면(914)과 실질적으로 평행하고, 기지의 거리(d)만큼 제2 평면(914)으로부터 떨어져 있다. 여기서, 대략 평행 또는 실질적으로 평행의 의미는 두 평면이 이미지 캡쳐 센서의 제조 및 설치와 연관된 허용공차 내의 평면임을 의미한다. 이미지 캡쳐 센서의 최상의 센서면은 센서 어셈블리 내의 적어도 하나의 광 컴포넌트로부터의 광을 수신하는 이미지 캡쳐 센서의 표면이다.
하나의 형태에서, 스탑(970)에서부터 코팅된 제1 면(931)을 지나고 제2 면(932)을 지나 이미지 캡쳐 센서(91O)까지의 제1 광 경로 길이는 스탑(970)에서부터 코팅된 제1 면(931)을 통해 코팅된 면(941)을 지나 이미지 캡쳐 센서(915)까지의 제2 광 경로 길이와 대략 동등하다. 그러므로, 이러한 형태에서, 이미지 캡쳐 센서(91O 및 915)는 렌즈 어셈블리(901) 내의 프론트엔드 광 구조를 통한 공통의 광 경로 길이를 가지고, 센서 어셈블리(920) 내의 각각의 이미지 캡쳐 센서까지 대략 동일한 광 경로 길이를 가진다.
다른 형태에서, 코팅된 면(941)은 제1 및 제2 광 경로 길이가 동일하지 않도록 배치된다. 이러한 형태에서, 이미지 캡쳐 센서(91O 및 915)는 렌즈 어셈블리(901) 내의 프론트엔드 광학 구조를 통한 공통의 광 경로 길이를 가지고, 센서 어셈블리(920) 내의 각각의 이미지 캡쳐 센서까지 상이한 광 경로 길이를 가진다.
상술된 예에서, 구현방법은 각각의 채널에서 단일 세트의 이미지의 캡쳐 및 프로세싱을 살펴보았다. 이는 설명의 용이함을 위한 것이며, 제한하도록 의도되지 않았다. 전형적으로 카메라 제어 유닛(CCU)(230R, 230L)을 구비한 중앙 제어기(260)는 각각의 채널 내에서 이미지의 세트가 캡쳐되는 빈도를 제어한다. 하나의 형태로서, 상술된 캡쳐 이미지의 프로세싱은 실시간으로 수행되어, 수술의는 입체 이미지의 비디오 시퀀스를 본다.
이와 유사하게, 특징부 식별, 강화된 해상도, 강화된 동적 범위, 다양한 픽셀 백터 구성, 및 연장된 피사계심도의 상이한 형태들을 개별적으로 살펴보았다. 그러나, 본 명세서를 통해, 이러한 상이한 형태들은 다양한 장점을 조합하기 위해 결합될 수도 있다. 상이한 조합을 달성하기 위한 가능한 치환방법(permutation)은 반복을 피하기 위해 따로 설명하지는 않는다.
또한, 상술된 예, 내시경(스테레오스코픽 또는 모노스코픽)의 말단부에 설치되는 이미지 캡쳐 유닛을 고려하였다. 그러나, 새로운 이미지 캡쳐 유닛 구성이 종래의 내시경 카메라는 물론, 예컨대, 수술용 입체 현미경에서도 사용될 수 있다. 따라서, 내시경에서 이미지 캡쳐 유닛을 구현하는 설명은 단지 설명을 위한 것일 뿐이며 제한하도록 의도되지 않았다.
도 10은 이미지 캡쳐 유닛(1025)을 가진 입체 내시경(1002)의 말단부의 개략적인 도면이다. 이미지 캡쳐 유닛(1025)은 본 형태에서 좌측 렌즈 어셈블리(1001L), 우측 렌즈 어셈블리(1001R), 및 동평면인 좌우 이미지 캡쳐 센서(1010R 및 1010L)를 포함한다. 이러한 형태에서, 종종 내시경(1002)이라고도 불리는 입체 내시경(1002)은 조명 채널(1005)을 포함한다. 그러나, 내부 및 외부 조명기를 포함한 본 명세서에 서술된 임의의 다양한 조명이 내시경(1002)과 함께 사용될 수 있다. 이러한 형태에서, 좌우 이미지 캡쳐 센서(1010R 및 1010L)는 플랫폼(1012) 상에 설치되며, 종종 반도체 다이 또는 반도체 칩이라 불리는, 반도체 기판(1017)상에 포함된다.
조직(1003)으로부터의 광은 렌즈 어셈블리(1001R 및 1001L)를 통해 센서 어셈블리(1020)로 보내진다. 렌즈 어셈블리(401B)(도 4b) 내의 부재들은 렌즈 어셈블리(1001R) 및 렌즈 어셈블리(1001L)의 한 예이다. 렌즈 어셈블리(1001R 및 1001L)를 통과한 광은 반사 유닛(1040)의 반사면(1041)에 의해 수신된다. 반사면(1041)은 수신된 광을 제1 이미지 캡쳐 센서(1010R)의 최상의 센서 면 상으로 그리고 제2 이미지 캡쳐 센서(1010L)의 최상의 센서 면 상으로 지향, 예컨대, 반사한다. 면(1041)은 코팅된 면 또는 내부 전반사 면 중 하나일 수 있다.
내시경(102) 내의 제1 이미지 캡쳐 센서(1010R)까지의 광 경로 길이와 제2 이미지 캡쳐 센서(1010L)까지의 광 경로 길이는 실질적으로 동일한 걸이이다. 예를 들어, 렌즈 어셈블리(1001R)로부터 제1 이미지 캡쳐 센서(1010R)의 최상의 센서면까지의 제1 광 경로 길이는 렌즈 어셈블리(1001L)로부터 제2 이미지 캡쳐 센서(1010L)의 최상의 센서면까지의 제2 광 경로 길이와 대략 동등하다. 그러므로, 내시경(1002) 내의 각각의 입체 광 채널은 이미지 센서까지 대략 동일한 광 경로 길이를 가진다.
본 형태에서, 이미지 캡쳐 센서(1010R)의 면 및 이미지 캡쳐 센서(1010L)의 면은 동평면이다. 대안으로서, 이미지 캡쳐 센서(1010R)는 제1 평면 내의 최상의 센서면을 가지고, 이미지 캡쳐 센서(1010L)는 제2 평면 내의 최상의 센서 면을 가지는데, 여기서 제1 및 제2 평면은 평행하고 기지의 거리만큼 떨어져 있다(도 9 참조). 이러한 형태에서, 반사 유닛 내의 반사면의 위치는 제1 이미지 캡쳐 센서까지의 제1 광 경로 길이가 제2 이미지 캡쳐 센서까지의 제2 광 경로 길이와 대략 동일하도록 상기 기지의 거리를 보상하도록 조절된다. 대안으로서 또는 부가적으로, 대략 동일한 광 경로 길이를 만들기 위해 광 경로 길이 모두 또는 하나 내에 렌즈가 사용될 수 있다.
도 10의 예에서는 물론, 이미지 캡쳐 센서의 대안의 배열에서, 제1 이미지 캡쳐 센서(1010R) 및 제2 이미지 캡쳐 센서(1010L)에 의해 캡쳐된 이미지는 동일한 초점 및 피사계심도를 가지고, 서로에 대하여 공간적으로 정렬되어 있다. 이미지 캡쳐 유닛(1025)은 작고 소형이므로, 상술되었던 이미지 캡쳐 유닛을 수용하기에 충분한 공간을 가지지 않는 애플리케이션에 사용될 수 있다. 또한, 이러한 이미지 캡쳐 유닛은 내시경(1002)의 중심축(1090)에 대하여 대칭이 아님을 이해해야 한다. 도구 또는 기기에 대한 추가적인 루멘(lumen)이 존재하는 특정한 애플리케이션에서, 이러한 비대칭성은 장점이다. 이러한 구성은 또한 이미지 센서가 단일 실리콘 다이 상의 각각의 눈에 대한 이미징 영역을 포함하는 경우에, 또는 디바이스가 더 큰 이미징 디바이스를 사용하고 두 이미징 영역의 사이 영역 내의 픽셀 중 일부를 반드시 사용하지는 않는 경우에, 좌우 눈에 대한 이미징 영역의 완벽한 정렬을 제공한다.
모든 예 및 설명의 위한 참조는 제한사항이 아니며, 본 명세서에 서술된 특정한 구현방법 및 실시예 및 그 동등물로 청구항을 제한하는데 사용되어서는 안된다. 제목(heading)은 오직 구성 방식을 위한 것이며, 하나의 제목 아래의 텍스트가 하나 이상의 제목 아래의 텍스트를 교차 참조하거나 적용될 수 있음으로, 어떠한 식으로든 본 발명을 제한하는데 사용되어서는 안된다. 마지막으로, 본 명세서에서, 하나의 형태 또는 실시예와 관련지어 서술된 특정한 특징부는 도면에 구체적으로 도시되거나 명세서에 서술되어 있지 않더라도 본 발명의 개시된 다른 형태 또는 실시예에 적용될 수 있다.
본 명세서에 서술된 다양한 모듈은 프로세서상에서 실행하는 소프트웨어, 하드웨어, 펌웨어, 또는 임의의 이들의 조합에 의해 구현될 수 있다. 이러한 모듈이 프로세서상에서 실행하는 소프트웨어로 구현된 때, 이 소프트웨어는 컴퓨터 판독가능한 명령어로서 메모리에 저장되며, 컴퓨터 판독가능한 명령어는 프로세서상에서 실행된다. 메모리 중 일부 또는 모두는 프로세서가 메모리와 연결될 수 있는 한 프로세서와 상이한 물리적 위치 내에 있을 수 있다. 메모리는 휘발성 메모리, 비휘발성 메모리, 또는 이들의 조합을 의미한다.
또한, 본 명세서에 서술된 다양한 모듈의 기능은 하나의 유닛에 의해 수행되거나 상이한 컴포넌트 사이에서 나누어져 수행될 수 있고, 이들 각각은 하드웨어, 프로세서상에서 실행될 수 있는 소프트웨어, 및 펌웨어의 임의의 조합에 의해 구현될 수 있다. 상이한 컴포넌트 사이에서 나누어진 때, 이러한 컴포넌트들은 하나의 위치에 집중되어 있거나, 분산 처리 목적으로 시스템(200)에 걸쳐 분산되어 있을 수 있다. 상이한 모듈의 실행은 다양한 모듈 및 제어기(260)에 대한 상술된 프로세스를 실행하는 방법을 야기한다.
그러므로, 프로세서는 프로세서에 의해 실행되는 명령어들을 담고 있는 메모리에 연결된다. 이는 컴퓨터 시스템 내에서 달성될 수도 있고, 또는 대안으로서 모뎀 및 아날로그 라인, 또는 디지털 인터페이스 및 디지털 캐리어 라인을 통한 다른 컴퓨터와의 연결을 통해 달성될 수 있다.
여기서, 컴퓨터 프로그램 프로덕트는 본 명세서에 서술된 프로세스 중 임의의 부분 또는 전부에 대하여 필요로 되는 컴퓨터 판독가능한 코드를 저장하도록 구성되거나, 또는 이러한 프로세스의 임의의 부분 또는 전부에 대한 컴퓨터 판독가능한 코드가 저장되어 있는 컴퓨터 판독가능한 매체를 포함한다. 컴퓨터 프로그램 프로덕트의 몇몇 예는 CD-ROM 디스크, DVD 디스크, 플래시 메모리, ROM 카드, 플로피 디스크, 자성 테이프, 컴퓨터 하드 드라이브, 네트워크상의 서버, 및 컴퓨터 판독가능한 프로그램 코드를 나타내는 네트워크를 통해 전송되는 신호 등이다. 비일시적 유형(non-transitory tangible) 컴퓨터 프로그램 프로덕트는 이러한 프로세스의 임의의 부분 또는 모두에 대한 컴퓨터 판독가능한 명령어를 저장하도록 구성된 또는, 그 내에 이러한 프로세스의 임의의 부분 또는 모두에 대한 컴퓨터 판독가능한 명령어가 저장되어 있는 유형 컴퓨터 판독가능한 매체를 포함한다. 비일시적 유형 컴퓨터 프로그램 프로덕트는 CD-ROM 디스크, DVD 디스크, 플래시 메모리, ROM 카드, 플로피 디스크, 자성 테이프, 컴퓨터 하드 드라이브, 및 다른 물리적 저장 매체이다.
본 명세서를 살펴보면, 본 명세서에 서술된 프로세스의 임의의 부분 또는 모두에서 사용되는 명령어들은 사용자가 관심있는 컴퓨터 프로그래밍 언어 및 운영체제를 사용하여 매우 다양한 컴퓨터 시스템 구성으로 구현될 수 있다.
여기서, '제1' 및 '제2'는 부재들을 구별하기 위한 형용사로서 사용되며, 부재의 개수를 지시하도록 의도되지 않았다. 또한, '최상의', '바닥의', 및 '측의'은 도면에서 볼 수 있는 부재들을 구별하는 것을 돕기 위해 그리고 부재들간의 상관 관계를 시각화하는 것을 돕기 위한 형용사로서 사용된다. 예를 들어, 최상 및 바닥 면은 서로 맞은 편에 떨어져 있는 제1 및 제2 면이다. 측면은 제1 면과 제2 면 사이로 뻗은 제3 면이다. '최상의', '바닥의', 및 '측의'는 절대적인 물리적 위치를 정의하기 위해 사용되지 않는다.
본 발명의 형태 및 실시예를 설명하는 상기 설명 및 첨부된 도면은 제한으로서 해석되지 않아야 한다(청구항이 보호되는 발명을 정의한다). 다양한 기계적, 조성적, 구조적, 전기적, 및 동작적 변형은 본 명세서와 청구항의 정신 및 범위를 벗어나지 않고 이루어질 수 있다. 몇몇 예에서, 주지된 회로, 구조, 및 기술은 본 발명을 모호하게 하는 것을 피하기 위해 상세하게 도시되거나 설명되지 않았다.
또한, 본 명세서의 용어들은 본 발명을 제한하도록 의도되지 않았다. 예를 들어, "밑", "아래", "하부", 위", "상부", "근단", "말단" 등과 같은, 공간적으로 상대적인 용어들은 도면에 도시된 하나의 부재 또는 특징부의 다른 부재 또는 특징부에 대한 관계를 설명하기 위해 사용될 수 있다. 이러한 공간적으로 상대적인 용어들은 도면에 도시된 위치 및 방향과 더불어 사용중 또는 동작중인 디바이스의 상이한 위치(즉, 장소), 및 방향(즉, 회전 배치)을 포함하도록 의도되었다. 예를 들어, 도면 내의 디바이스를 뒤집으면, 다른 부재 또는 특징부의 "아래" 또는 "밑"으로 서술된 부재들은 다른 부재 또는 특징부의 "위" 또는 "위쪽"으로 될 수 있다. 그러므로, 예시적인 용어 "아래"는 위 및 아래의 위치 및 방향을 모두 포함할 수 있다. 본 디바이스는 방향조절(90도 또는 다른 방향으로 회전)될 수 있고, 본 명세서에서 사용된 공간적으로 상대적인 서술어들은 그에 따라 해석된다. 이와 마찬가지로, 다양한 축을 따른 또는 중심으로 하는 이동의 설명은 다양한 특별한 디바이스 위치 및 방향을 포함한다.
단수 형태 "하나의"는 구문에서 다르게 지시되지 않았다면, 복수 형태를 포함하도록 의도되었다. 용어 "포함하는", "구비한", "갖춘" 등은 언급된 특징부, 단계, 동작, 부재, 및/또는 컴포넌트의 존재를 명시하지만, 하나 이상의 다른 특징부, 스텝, 동작, 부재, 컴포넌트 및/또는 그룹의 존재 또는 추가를 배제하지 않는다. 연결된 것으로 서술된 컴포넌트들은 전기적 또는 기계적으로 직접 연결될 수도 있고, 또는 하나 이상의 중간 컴포넌트를 통해 간접적으로 연결될 수도 있다. 아래의 실시예들이 본 명세서에 포함된다.
제1 실시예
장치는 제1 센서면을 포함하는 제1 이미지 캡쳐 센서; 제2 센서면을 포함하는 제2 이미지 캡쳐 센서; 광을 수신하도록 배치되어 있고, 수신된 광의 제1 부분을 제1 센서면으로 지향시키도록 구성되고, 수신된 광의 제2 부분을 빔 스플리터를 통과시키도록 구성된 빔 스플리터, 및 수신된 광의 제2 부분을 수신하고 수신된 광의 제2 부분을 제2 이미지 캡쳐 센서로 지향시키도록 배치된 반사 유닛을 포함하고, 상기 제1 및 제2 이미지 캡쳐 센서는 동평면이다. 몇몇 형태에서, 제1 및 제2 이미지 캡쳐 센서는 이미지 캡쳐 센서 칩의 상이한 영역을 포함할 수 있다. 몇몇 형태에서, 본 장치는 상기 제1 및 제2 이미지 캡쳐 센서, 상기 빔 스플리터 및 상기 반사 유닛을 포함하는 말단부를 가진 내시경을 포함할 수 있다. 몇몇 형태에서, 본 장치는 말단부, 한쌍의 채널, 복수의 제1 및 제2 이미지 캡쳐 센서, 빔 스플리터, 및 반사 어셈블리를 구비한 입체 내시경을 더 포함할 수 있는데, 상기 제1 이미지 캡쳐 센서, 상기 제2 이미지 캡쳐 센서, 상기 빔 스플리터, 및 상기 반사 유닛은 복수로 포함되고, 상기 채널 쌍 내의 각각의 채널은, 입체 내시경의 말단부에서, 상이한 제1 이미지 캡쳐 센서, 상이한 제2 이미지 캡쳐 센서, 상이한 빔 스플리터, 및 상이한 반사 유닛을 복수로 포함한다. 몇몇 형태에서, 본 장치는 빔 스플리터를 포함하는 프리즘 어셈블리를 더 포함할 수 있는데, 이 빔 스플리터는 수신된 광의 제1 부분을 반사하고 수신된 광의 제2 부분을 통과시키도록 구성된 제1 면을 포함하고, 그리고/또는 프리즘 어셈블리는 제1 면으로부터 반사된 광을 제1 센서면으로 지향하도록 구성된 제2 면을 더 포함할 수 있고, 이 제2 면은 다른 광이 제2 면에 도달하지 못하도록 배치되고; 그리고/또는 제1 면은 다층 코팅면을 포함할 수 있고; 그리고/또는 반사 유닛은 수신된 광의 제2 부분을 제2 이미지 캡쳐 센서의 면으로 반사하도록 배치된 반사면을 더 포함할 수 있고; 그리고/또는 제1 면은 45도 미만의 입사각을 가질 수 있고; 그리고/또는 프리즘 어셈블리 및 반사 유닛은 단일 일체형 구조(예컨대, 2 또는 3 부분이 함께 접착된 것 또는 오각 프리즘)를 포함하고, 제1 면은 다층 코팅 면을 포함할 수 있고; 그리고/또는 단일 일체형 구조는 함께 접착된 두 부분 및 함께 접착된 3부분 중 하나를 포함할 수 있고; 그리고/또는 단일 일체형 구조는 오각 프리즘을 포함할 수 있고; 그리고/또는 본 장치는 프리즘 어셈블리 부근에 그리고 그로부터 멀리 떨어진 위치에 스탑을 포함할 수 있고, 옵션으로서, 스탑 부근에 그리고 그로부터 멀리 떨어진 위치에 액정 기반의 포커싱 부재를 더 포함할 수 있고; 그리고/또는 프리즘 어셈블리는 수신된 광을 프리즘 어셈블리로 통과시키는 제1 면을 더 포함할 수 있고, 제1 면에서 제1 센서면까지의 제1 광 경로 길이는 제1 면에서 제2 센서면까지의 제2 광 경로 길이와 대략 동일하거나, 두 광 경로 길이의 길이차가 제1 이미지 캡쳐 센서 및 제2 이미지 캡쳐 센서에 의해 획득된 이미지 사이의 초점 차이를 제공하게 구성되도록 제1 면에서부터 제2 센서면까지의 제2 광 경로 길이와 상이한 길이일 수 있다. 몇몇 형태에서, 빔 스플리터는 수신된 광의 제1 부분을 반사하고 수신된 광의 제2 부분을 투과시키도록 구성된 코팅된 면을 더 포함할 수 있고; 수신된 광의 제1 및 제2 부분은 각각 수신된 광의, 상이하거나 실질적으로 동일할 수 있는, 제1 및 제2 퍼센트일 수 있다. 몇몇 형태에서, 제1 및 제2 이미지 캡쳐 센서 모두 컬러 이미지 캡쳐 센서를 포함할 수도 있고, 또는 하나는 단색 이미지 캡쳐 센서를 포함할 수 있다.
제2 실시예
장치는 제1 센서면을 포함하는 제1 이미지 캡쳐 센서; 제2 센서면을 포함하는 제2 이미지 캡쳐 센서; (여기서, 제1 센서면은 제1 평면에 있고, 제2 센서면은 제2 평면에 있고 제1 및 제2 평면은 실질적으로 평행하고 기지의 거리만큼 떨어져 있다) 광을 수신하도록 배치되어 있고, 수신된 광의 제1 부분을 제1 센서면으로 지향시키고, 수신된 광의 제2 부분을 빔 스플리터를 통과시키도록 구성된 빔 스플리터; 및 수신된 광의 제2 부분을 수신하고 수신된 광의 제2 부분을 제2 이미지 캡쳐 센서로 지향시키도록 배치된 반사 유닛을 포함한다.
제3 실시예
장치는 제1 센서면을 포함하는 제1 이미지 캡쳐 센서; 제2 센서면을 포함하는 제2 이미지 캡쳐 센서; 제1 렌즈 어셈블리; 제2 렌즈 어셈블리; 및 제1 렌즈 어셈블리를 통과하는 광을 수신하고 제1 렌즈 어셈블리로부터 수신된 광을 제1 센서면상으로 반사하도록 배치되어 있고, 제2 렌즈 어셈블리를 통과하는 광을 수신하고 제2 렌즈 어셈블리로부터 수신된 광을 제2 센서면상으로 반사하도록 배치되어 있는 반사 유닛을 포함하며, 여기서 제1 렌즈 어셈블리로부터 제1 센서면까지의 제1 광 경로 길이는 제2 렌즈 어셈블리로부터 제2 센서면까지의 제2 광 경로 길이와 대략 동등하다. 몇몇 형태에서, 제1 및 제2 이미지 캡쳐 센서면은 동평면일 수도 있고, 제1 및 제2 센서면은 각각 실질적으로 평행하고 기지의 거리만큼 떨어져 있는 제1 평면 및 제2 평면 내에 있을 수도 있다.
제4 실시예
방법은 이미지 캡쳐 유닛의 제1 이미지 캡쳐 센서에서, 공통의 프론트엔드 광학계로부터 수신된 광의 제1 부분으로부터 제1 이미지를 캡쳐하는 단계; 및 이미지 캡쳐 유닛의 제2 이미지 캡쳐 센서에서, 공통의 프론트엔드 광학계로부터 수신된 광의 제2 부분으로부터 제2 이미지를 캡쳐하는 단계를 포함하고, 여기서 제1 및 제2 이미지 캡쳐 센서는 동평면이고, 제1 및 제2 이미지는 상기 캡쳐하는 단계에서 서로에 대하여 공간적으로 정렬(registered)되어 있다. 몇몇 형태에서, 본 방법은 이미지 캡쳐 유닛의 빔 스플리터에 의해 수신된 광을 제1 부분 및 제2 부분으로 나누는 단계; 수신된 광의 제1 부분을 제1 이미지 캡쳐 센서로 지향시키는 단계; 및 수신된 광의 제2 부분을 제2 이미지 캡쳐 센서로 지향시키는 단계를 더 포함할 수 있다.
제5 실시예
장치는, 제1 이미지 캡쳐 센서면을 포함하는 제1 이미지 캡쳐 센서; 제2 이미지 캡쳐 센서면을 포함하는 제2 이미지 캡쳐 센서; 광을 수신하도록 배치되어 있고 자신을 통해 수신된 광이 프리즘 어셈블리로 들어가게 하는 말단면을 포함하는 프리즘 어셈블리; 수신된 광의 편광 상태를 기초로 수신된 광의 제1 부분을 반사하고 수신된 광의 편광 상태를 기초로 수신된 광의 제2 부분을 투과시키도록 구성된 빔 스플리터; 수신된 광의 제1 부분을 제1 이미지 캡쳐 센서로 지향하도록 구성된 면; 및 상기 수신된 광의 제2 부분을 수신하고 수신된 광의 제2 부분을 제2 이미지 캡쳐 센서로 지향시키도록 배치된 반사 유닛을 포함하고, 말단면에서부터 제1 센서면까지의 제1 광 경로 길이는 말단면에서부터 제2 센서면까지의 제2 광 경로 길이와 대략 동등하다. 몇몇 형태에서, 제1 및 제2 이미지 캡쳐 센서면은 동평면일 수 있다. 몇몇 형태에서, 제1 및 제2 센서면은 각각 실질적으로 평행하고 기지의 거리만큼 떨어져 있는 제1 및 제2 평면 내에 있을 수 있다. 몇몇 형태에서, 제1 및 제2 이미지 캡쳐 센서는 이미지 캡쳐 센서 칩의 상이한 영역을 포함할 수 있다. 몇몇 형태에서, 본 장치는 제1 및 제2 이미지 캡쳐 센서를 포함하는 말단부, 상기 프리즘 어셈블리, 및 상기 반사 유닛을 포함하는 내시경을 포함할 수 있다. 몇몇 형태에서, 본 장치는 말단부, 한 쌍의 채널, 및 복수의 제1 및 제2이미지 캡쳐 센서를 구비한 입체 내시경, 프리즘 어셈블리 및 반사 어셈블리를 더 포함할 수 있고, 제1 이미지 캡쳐 센서, 제2 이미지 캡쳐 센서, 프리즘 어셈블리 및 반사 유닛은 복수로 포함되며, 한 쌍의 채널 중 각각의 채널은, 입체 내시경의 말단부에서, 상이한 제1 이미지 캡쳐 센서, 상이한 제2 이미지 캡쳐 센서, 상이한 프리즘 어셈블리, 및 상이한 반사 유닛을 복수로 포함한다. 몇몇 형태에서, 빔 스플리터는 다층 코팅면을 포함할 수 있다. 몇몇 형태에서, 반사 유닛은 수신된 광의 제2 부분을 제2 이미지 캡쳐 센서로 반사하도록 배치된 반사면을 더 포함할 수 있다. 몇몇 형태에서, 프리즘 어셈블리 및 반사 유닛은 단일 일체형 구조(예컨대, 함께 접착된 2 또는 3부분 및/또는 오각 프리즘)를 포함할 수 있다. 몇몇 형태에서, 빔 스플리터는 45도 미만의 입사각을 가질 수 있다. 몇몇 형태에서, 본 장치는 빔 스플리터로부터 멀리 떨어져 위치하는 스탑을 더 포함할 수 있다. 몇몇 형태에서, 본 장치는 스탑과 프리즘 어셈블리의 말단면 사이에 위치하는 4분의 1 파장판을 더 포함할 수 있다. 몇몇 형태에서, 본 장치는 제1 및 제2 이미지 캡쳐 센서에 연결된 제어기를 더 포함할 수 있는데, 본 제어기는 수신된 광 내의 편광차를 기초로 이미지 내의 특징부의 두드러짐을 향상시킨 이미지를 생성하기 위해 제1 이미지 캡쳐 센서에 의해 캡쳐된 제1 이미지와 제2 이미지 캡쳐 센서에 의해 캡쳐된 제2 이미지를 결합한다. 몇몇 형태에서, 본 장치는 편광을 가진 조명원을 더 포함할 수 있는데, 여기서 상기 수신된 광은 상기 편광과 상이한 편광을 가진 반사된 광 및 상기 편광을 가진 수신된 광을 포함한다. 몇몇 형태에서, 본 장치는 비편광(unpolarized) 조명의 조명원을 포함할 수 있는데, 여기서 상기 수신된 광은 반사된 비편광 광, 및 반사된 편광된 광을 포함한다.
제6 실시예
방법은: 이미지 캡쳐 유닛의 제1 이미지 캡쳐 센서에서, 공통의 프론트엔드 광학계로부터 수신된 광의 제1 편광부로부터 제1 이미지를 캡쳐하는 단계; 이미지 캡쳐 유닛의 제2 이미지 캡쳐 센서에서, 공통의 프론트엔드 광학계로부터 수신된 광의 제2 부분으로부터 제2 이미지를 캡쳐하는 단계를 포함하고, 공통의 프론트엔드 광 시스템으로부터 제1 센서면까지의 제1 광 경로 길이는 공통의 프론트엔드 광학계로부터 제2 센서면까지의 제2 광 경로 길이와 대략 동등하다. 몇몇 형태에서, 제1 및 제2 이미지 캡쳐 센서면은 동평면일 수도 있고, 또는 제1 및 제2 이미지 캡쳐 센서면은 각각 실질적으로 평행하고 기지의 거리만큼 떨어져 있는 제1 및 제2 평면 내에 있다. 몇몇 형태에서, 본 방법은 이미지 캡쳐 유닛의 빔 스플리터에 의해 편광을 기초로 하여 수신된 광을 제1 편광부 및 제2 부분으로 나누는 단계; 수신된 광의 제1 편광부를 빔 스플리터에 의해 제1 이미지 캡쳐 센서로 지향시키는 단계; 및 수신된 광의 제2 부분을 반사 유닛에 의해 제2 이미지 캡쳐 센서로 지향시키는 단계를 더 포함할 수 있다. 몇몇 형태에서, 본 방법은 수신된 광의 편광차를 기초로 이미지 내의 특징부의 두드러짐을 증가시킨 이미지를 생성하기 위해 제1 이미지 캡쳐 센서에 의해 캡쳐된 제1 이미지와 제2 이미지 캡쳐 센서에 의해 캡쳐된 제2 이미지를 결합하는 단계를 더 포함할 수 있다. 몇몇 형태에서, 본 방법은 편광된 광 또는 비편광 광으로 장면을 조명하는 단계를 더 포함할 수 있다.
제7 실시예
장치는: 제1 이미지 캡쳐 센서면을 포함하는 제1 이미지 캡쳐 센서; 제2 이미지 캡쳐 센서면을 포함하는 제2 이미지 캡쳐 센서; 광을 수신하도록 배치되어 있고 자신을 통해 수신된 광을 프리즘 어셈블리로 들여보내는 말단면, 수신된 광의 제1 퍼센트를 반사하고 수신된 광의 제2 퍼센트를 투과시키도록 구성된 빔 스플리터, 및 수신된 광의 제1 퍼센트를 제1 이미지 캡쳐 센서로 지향하도록 구성된 면을 구비한 프리즘 어셈블리; 및 수신된 광의 제2 퍼센트를 수신하고 수신된 광의 제2 퍼센트를 제2 이미지 캡쳐 센서로 지향시키도록 배치된 반사유닛을 포함하고, 말단면에서 제1 센서면까지의 제1 광 경로 길이는 말단면에서 제2 센서면까지의 제2 광 경로 길이는 대략 동등하다. 몇몇 형태에서, 제1 및 제2 이미지 캡쳐 센서면은 동평면일 수 있고, 또는 제1 및 제2 센서면은 각각 실질적으로 평행하고 기지의 거리만큼 떨어져 있는 제1 및 제2 평면 내에 있을 수 있다. 몇몇 형태에서, 제1 및 제2 이미지 캡쳐 센서는 이미지 캡쳐 센서 칩의 상이한 영역을 포함할 수 있다. 몇몇 형태에서, 본 장치는 상기 제1 및 제2 이미지 캡쳐 센서를 포함하는 말단부를 가진 내시경, 상기 프리즘 어셈블리, 및 상기 반사 유닛을 포함할 수 있다. 몇몇 형태에서, 본 장치는 말단부, 한쌍의 채널, 및 복수의 제1 및 제2 이미지 캡쳐 센서를 구비한 입체 내시경, 프리즘 어셈블리, 및 반사 어셈블리를 더 포함할 수 있는데, 여기서 제1 이미지 캡쳐 센서, 제2 이미지 캡쳐 센서, 프리즘 어셈블리, 및 반사 유닛은 복수로 포함되며, 상기 채널 쌍 중 각각의 채널은, 입체 내시경의 말단부에서, 상이한 제1 이미지 캡쳐 센서, 상이한 제2 이미지 캡쳐 센서, 상이한 프리즘 어셈블리, 및 상이한 반사 유닛을 복수로 포함한다. 몇몇 형태에서, 프리즘 어셈블리는 오각 프리즘을 포함할 수 있다. 몇몇 형태에서, 본 장치는 프리즘 어셈블리로부터 멀리 위치하는 스탑을 더 포함할 수 있다. 몇몇 형태에서, 100퍼센트에서 제1 퍼센트를 뺀 것이 대략 제2 퍼센트이다. 몇몇 형태에서, 제1 및 제2 이미지 캡쳐 센서는 컬러 센서를 포함할 수 있다. 몇몇 형태에서, 본 장치는 제1 및 제2 이미지 캡쳐 센서에 연결된 제어기를 더 포함할 수 있는데, 본 제어기는 단일 이미지 캡쳐 센서에 의해 캡쳐된 이미지와 비교하여 강하된 공간적 해상도 및 강화된 동적 범위 중 하나를 가진 이미지를 생성하기 위해, 제1 이미지 캡쳐 센서에 의해 캡쳐된 제1 이미지로부터의 정보 및 제2 이미지 캡쳐 센서에 의해 캡쳐된 제2 이미지로부터의 정보를 결합하며, 제1 및 제2 퍼센트는 모두 대략 동등하고, 제어기가 생성한 이미지는 강화된 공간적 해상도를 가지거나; 또는 제1 및 제2 퍼센트가 대략 동등하지 않고, 제어기가 생성한 이미지는 강화된 동적 범위를 가진다. 몇몇 형태에서, 제1 퍼센트 및 제2 퍼센트는 대략 동등할 수 있고, 제1 퍼센트는 수신된 광의 대략 50퍼센트일 수 있고, 제2 퍼센트는 수신된 광의 대략 50퍼센트일 수 있고, 빔 스플리터 및 상기 면은 제1 광 경로 길이를 제2 광 경로 길이와 대략 동등하게 유지하면서 제2 이미지 캡쳐 센서에 의해 캡쳐된 이미지로부터 제1 이미지 캡쳐 센서에 의해 캡쳐된 이미지가 어긋나도록 배치될 수 있고; 그리고/또는 본 장치는 제1 및 제2 이미지 캡쳐 센서에 연결되어 있고, 제1 이미지 캡쳐 센서에 의해 캡쳐된 제1 이미지 내의 제1 픽셀을 샘플링하고, 제2 이미지 캡쳐 센서에 의해 캡쳐되고 제1 픽셀에 대응하는 제2 픽셀을 샘플링하고, 제1 및 제2 이미지 캡쳐 센서에 의해 캡쳐된 이미지와 비교하여 향상된 겉보기 해상도를 가지는 하나의 이미지 내의 픽셀을 생성하도록 구성된 제어기를 더 포함할 수 있다. 몇몇 형태에서, 제1 및 제2 퍼센트는 동등하지 않고, 제1 퍼센트는 제1 이미지 캡쳐 센서의 동적 범위를 기초로 한다. 몇몇 형태에서, 제1 퍼센트는 수신된 광의 대략 N이고, 제2 퍼센트는 수신된 광의 대략 M이고, N 및 M은 양수이고, 100퍼센트에서 N을 뺀 값은 대략 M과 동등하고, N은 제1 이미지 캡쳐 센서의 동적 범위를 기초로 선택되는데, 여기서 본 장치는 제1 및 제2 이미지 캡쳐 센서에 연결되어 있고, 제1 이미지 캡쳐 센서에 의해 캡쳐된 이미지 내의 픽셀을 샘플링하고, 제2 이미지 캡쳐 센서에 의해 캡쳐된 이미지 내의 대응 픽셀을 샘플링하고, 샘플링된 픽셀들을 사용하여 출력 이미지 내의 픽셀을 생성하도록 구성된 제어기를 더 포함하는데, 상기 출력 이미지는 단일 이미지 캡쳐 센서에 의해 캡쳐된 이미지에 비해 증가된 동적 범위를 가진다.
제8 실시예
장치는: 제1 이미지 캡쳐 센서면을 포함하는 제1 이미지 캡쳐 센서; 제2 이미지 캡쳐 센서면을 포함하는 제2 이미지 캡쳐 센서; 복수의 색 성분을 포함하는 광을 수신하도록 배치되어 있고, 자신을 통해 수신된 광이 빔 스플리터로 들어가게 하는 말단면, 복수의 색 성분 중 하나의 색 성분을 반사하고 복수의 색 성분 중 다른 색 성분을 투과시키도록 구성된 빔 스플리터, 및 상기 하나의 색 성분을 제1 이미지 캡쳐 센서로 지향시키도록 구성된 프리즘 어셈블리; 및 수신된 광의 제2 부분을 수신하고, 상기 다른 색 성분을 제2 이미지 캡쳐 센서로 지향하도록 배치된 반사 유닛을 포함할 수 있고, 말단면에서부터 제1 센서면까지의 제1 광 경로 길이는 말단면에서부터 제2 센서면까지의 제2 광 경로 길이와 대략 동등하다. 몇몇 형태에서, 제1 및 제2 이미지 캡쳐 센서면은 동평면일 수도 있고, 또는 제1 및 제2 센서면은 각각 실질적으로 평행하고 기지의 거리만큼 떨어져 있는 제1 및 제2 평면 내에 있을 수도 있다. 몇몇 형태에서, 제1 이미지 캡쳐 센서는 단색 이미지 캡쳐 센서를 포함할 수 있고; 제2 이미지 캡쳐 센서는 복수의 색 성분 중 다른 색 성분을 위한 컬러 필터 어레이를 가진 이미지 캡쳐 센서를 포함할 수 있고, 복수의 색 성분 중 상기 하나의 색 성분은 녹색 성분이고, 복수의 색 성분 중 상기 다른 색 성분은 적색 성분 및 청색 성분이고, 상기 컬러 필터 어레이는 적색 및 청색 픽셀에 대한 체커보드(checkerboard)일 수 있고; 그리고/또는 본 장치는 제1 및 제2 이미지 캡쳐 센서에 연결되어 있고, 복수의 색 성분 중 상기 하나의 색 성분에서 풀 공간 해상도를 가지고, 복수의 색 성분 중 상기 다른 색 성분에서 감소된 공간 해상도를 가지고, 컬러 이미지 캡쳐 센서에 의해 캡쳐된 이미지에 비해 향상된 공간 해상도 및 선명도를 가지는 이미지를 생성하도록 구성된 제어기를 더 포함할 수 있다.
제 9 실시예
방법은: 이미지 캡쳐 유닛의 제1 이미지 캡쳐 센서에서, 공통의 프론트엔드 광학계로부터 수신된 광의 제1 퍼센트로부터 제1 이미지를 캡쳐하는 단계; 이미지 캡쳐 유닛의 제2 이미지 캡쳐 센서에서, 공통의 프론트엔드 광학계로부터 수신된 광의 제2 퍼센트로부터 제2 이미지를 캡쳐하는 단계; 및 단일 이미지 캡쳐 센서에 의해 캡쳐된 이미지와 비교하여 강화된 공간 해상도 및 강화된 동적 범위 중 하나를 가진 이미지를 생성하기 위해 제1 이미지로부터의 정보와 제2 이미지로부터의 정보를 결합하는 단계를 포함할 수 있고, 제1 이미지 캡쳐 센서까지의 이미지 캡쳐 유닛 내의 제1 광 경로 길이는 제2 이미지 캡쳐 센서까지의 이미지 캡쳐 유닛 내의 제2 광 경로 길이와 대략 동등하다. 몇몇 형태에서, 제1 및 제2 이미지 캡쳐 센서면은 동평면일 수 있고, 또는 제1 및 제2 센서면은 각각 실질적으로 평행하고 기지의 거리만큼 떨어져 있는 제1 및 제2 평면 내에 있을 수 있다.
제 10 실시예
장치는: 제1 이미지 캡쳐 센서면을 포함하는 제1 이미지 캡쳐 센서; 제2 이미지 캡쳐 센서면을 포함하는 제2 이미지 캡쳐 센서; 광을 수신하도록 배치되어 있고, 자신을 통해 수신된 광을 프리즘 어셈블리로 들어가게 하는 말단면, 복수의 노치 필터를 구비한 빔 스플리터(여기서, 복수의 노치 필터는 수신된 광의 제1 부분으로서 제1 세트의 광 성분을 반사하고, 수신된 광의 제2 부분으로서 제2 세트의 광 성분을 통과시킨다), 및 수신된 광의 제1 부분을 제1 이미지 캡쳐 센서로 지향시키도록 구성된 면을 포함하는 프리즘 어셈블리; 및 수신된 광의 제2 부분을 수신하고 수신된 광의 제2 부분을 제2 이미지 캡쳐 센서로 지향시키도록 배치된 반사 유닛을 포함할 수 있고, 말단면에서부터 제1 센서면까지의 제1 광 경로 길이는 말단면에서부터 제2 센서면까지의 제2 광 경로 길이와 대략 동등하다. 몇몇 형태에서, 제1 및 제2 이미지 캡쳐 센서면은 동평면일 수도 있고, 또는 제1 및 제2 이미지 캡쳐 센서는 각각 실질적으로 평행하고 기지의 거리만큼 떨어져 있는 제1 및 제2 평면 내에 있을 수도 있다. 몇몇 형태에서, 제1 및 제2 이미지 캡쳐 센서는 이미지 캡쳐 센서 칩의 상이한 영역을 포함할 수 있다. 몇몇 형태에서, 본 장치는 상기 제1 및 제2 이미지 캡쳐 센서를 포함하는 말단면, 상기 프리즘 어셈블리 및 상기 반사 유닛을 구비한 내시경을 포함할 수 있다. 하나의 형태에서, 본 장치는 말단면, 한쌍의 채널, 및 복수의 제1 및 제2 이미지 캡쳐 센서를 포함하는 입체 내시경, 프리즘 어셈블리 및 반사 어셈블리를 더 포함할 수 있고, 상기 제1 이미지 캡쳐 센서, 상기 제2 이미지 캡쳐 센서, 상기 프리즘 어셈블리, 및 상기 반사 유닛은 상기 복수 내에 포함되고, 상기 채널 쌍 내의 각각의 채널들은, 스위칭 재료 내시경의 말단부에서, 상기 복수 내에 상이한 제1 이미지 캡쳐 센서, 상이한 제2 이미지 캡쳐 센서, 상이한 프리즘 어셈블리, 및 상이한 반사 유닛을 포함한다. 몇몇 형태에서, 프리즘 어셈블리는 오각 프리즘을 포함할 수 있다. 몇몇 형태에서, 본 장치는 오각 프리즘에서 멀리 떨어져 위치한 스탑을 더 포함할 수 있다. 몇몇 형태에서, 제1 및 제2 이미지 캡쳐 센서는 컬러 센서를 포함할 수 있고; 그리고/또는 본 장치는 복수의 색 성분을 포함하는 출력 광을 생성하는 조명기를 더 포함할 수 있고; 그리고/또는 본 장치는 제1 및 제2 이미지 캡쳐 센서에 연결되어 있고, 제1 이미지 캡쳐 센서에 의해 캡쳐된 제1 이미지의 디모자이싱된 이미지를 수신하고, 제2 이미지 캡쳐 센서에 의해 캡쳐된 제2 이미지의 디모자이싱된 이미지를 수신하고, 제1 이미지 내의 대응하는 픽셀의 색 성분 백터 및 제2 이미지 내의 대응하는 픽셀의 색 성분 백터로부터 출력 이미지 내의 픽셀에 대한 N 엘리먼트 색 성분 백터를 생성하도록 구성되어 있는 색 보정 모듈을 더 포함할 수 있다. 여기서, N은 적어도 3이다. 몇몇 형태에서, 제1 및 제2 이미지 캡쳐 센서는 컬러 센서를 포함할 수 있고, 각각의 컬러 센서는 바이어 적색, 녹색, 녹색, 청색 컬러 필터 어레이를 포함하고; 본 장치는 또한 제1 적색 성분 출력 조명을 발생시키는 제1 레이저 조명원; 및 제2 적색 성분 출력 조명을 발생시키는 제2 레이저 조명원(제2 적색 성분 출력 조명은 제1 적색 성분 출력 조명과 상이하다); 제1 녹색 성분 출력 조명을 발생시키는 제3 레이저 조명원; 제2 녹색 성분 출력 조명을 발생시키는 제4 레이저 조명원(제2 녹색 성분 출력 조명은 제1 녹색 성분 출력 조명과 상이하다); 제1 청색 성분 출력 조명을 발생시키는 제5 레이저 조명원; 제2 청색 성분 출력 조명을 발생시키는 제6 레이저 조명원(제2 청색 성분 출력 조명은 제1 청색 성분 출력 조명과 상이하다)을 갖춘 조명기를 더 포함할 수 있다. 몇몇 형태에서, 복수의 노치 필터는 수신된 광의 제1 부분으로서 제1 적색 성분 광, 제1 녹색 성분 광, 및 제1 청색 성분 광을 반사할 수 있고, 복수의 노치 필터는 수신된 광의 제2 부분으로서 제2 적색 성분 광, 제2 녹색 성분 광, 및 제2 청색 성분 광을 통과시킬 수 있다. 몇몇 형태에서, 본 장치는 제1 및 제2 이미지 캡쳐 센서에 연결되어 있고, 제1 이미지 캡쳐 센서에 의해 캡쳐된 제1 이미지의 디모자이싱된 이미지를 수신하고, 제2 이미지 캡쳐 센서에 의해 캡쳐된 제2 이미지의 디모자이싱된 이미지를 수신하고, 제1 이미지 내의 대응 픽셀의 3색 성분 백터 및 제2 이미지 내의 대응 픽셀의 3색 성분 백터로부터 출력 이미지 내의 픽셀에 대한 6 엘리먼트 색 성분 백터를 생성하도록 구성된 제어기를 더 포함할 수 있고; 몇몇 형태에서 광대역 백색 조명기를 더 포함할 수도 있다. 몇몇 형태에서, 복수의 노치 필터는 수신된 광의 적색 성분의 제1 부분, 녹색 성분의 제1 부분, 청색 성분의 제1 부분을 반사하고, 수신된 광의 적색 성분의 제2 부분, 녹색 성분의 제2 부분, 청색 성분의 제2 부분을 통과시킬 수 있다. 몇몇 형태에서, 본 장치는 제1 및 제2 이미지 캡쳐 센서에 연결되어 있고, 제1 이미지 캡쳐 센서에 의해 캡쳐된 제1 이미지의 디모자이싱된 이미지를 수신하고, 제2 이미지 캡쳐 센서에 의해 캡쳐된 제2 이미지의 디모자이싱된 이미지를 수신하고, 제1 이미지 내의 대응하는 픽셀의 3색 성분 백터 및 제2 이미지 내의 대응하는 픽셀의 3색 성분 백터로부터 출력 이미지 내의 픽셀에 대한 N 엘리먼트 색을 생성하도록 구성된 제어기를 더 포함할 수 있고(여기서, N은 3 내지 6 범위의 정수이다); 본 장치는 제어기에 연결되어 있고 각각의 픽셀에 대한 N 엘리먼트 색 성분 백터를 수신하도록 구성된 디스플레이를 더 포함할 수 있다. 몇몇 형태에서, 본 장치는 프리즘 어셈블리로부터 멀리 떨어져 위치하는 렌즈 시스템을 더 포함할 수 있는데, 이 렌즈 시스템은 상이한 파장의 광들을 렌즈 시스템으로부터 상이한 거리에 초점을 맞추도록 구성된다. 몇몇 형태에서, 본 장치는 제1 및 제2 이미지 캡쳐 센서에 연결되어 있고, 제1 이미지 캡쳐 센서에 의해 캡쳐된 제1 이미지에 그리고 제2 이미지 캡쳐 센서에 의해 캡쳐된 제2 이미지에 디지털 필터 커널을 적용하고, 제3 및 제4 이미지를 생성하고, 제3 및 제4 이미지를 디모자이싱하고, 디모자이싱된 제3 이미지 내의 대응하는 픽셀의 색 성분 백터 및 디모자이싱된 제4 이미지 내의 대응하는 픽셀의 색 성분 백터로부터 출력 이미지 내의 픽셀에 대한 N 엘리먼트 색 성분 백터를 생성하도록 구성되어 있는 제어기를 더 포함할 수 있다. 여기서, N은 3 내지 6 범위의 정수이다. 몇몇 형태에서, 본 장치는 적색 성분 출력 조명을 발생시키는 제1 레이저 조명원; 녹색 성분 출력 조명을 발생시키는 제2 레이저 조명원; 및 청색 성분 출력 조명을 발생시키는 제3 레이저 조명원을 갖춘 조명기를 더 포함할 수 있고; 몇몇 형태에서, 복수의 노치 필터는 수신된 광의 제1 부분으로서 적색 성분 광, 녹색 성분 광, 및 청색 성분 광을 반사하고, 형광을 통과시키고; 몇몇 형태에서, 본 장치는 제1 및 제2 이미지 캡쳐 센서에 연결되어 있고, 제1 이미지 내의 대응 픽셀에 대한 색 성분 및 제2 이미지 내의 대응 픽셀에 대한 색 성분으로부터 출력 이미지 내의 픽셀에 대한 적어도 4 엘리먼트 색 성분 백터를 생성하도록 구성된 제어기를 더 포함할 수 있고; 4 엘리먼트 색 성분 백터 중 3 엘리먼트는 가시 색 이미지를 위한 것이고, 4 엘리먼트 색 성분 백터 중 4번째 엘리먼트는 형광 이미지를 위한 것이고; 몇몇 형태에서, 각각의 제1 및 제2 이미지 캡쳐 센서는 바이어 적색, 녹색, 녹색, 청색, 컬러 필터 어레이를 갖춘 컬러 센서를 포함하고; 몇몇 형태에서, 조명기는 형광 여기 광원을 더 포함할 수 있고, 본 장치는 수신된 광 중 형광 여기 광원으로부터의 광을 차단하기 위해 설치된 필터를 더 포함할 수 있고; 몇몇 형태에서, 형광은 복수의 형광 내에 포함될 수 있고, 각각의 형광은 상이한 색상을 포함한다.
제 11 실시예
방법은: 이미지 캡쳐 유닛의 복수의 노치 필터에 의해, 공통의 프론트엔드 광학계를 통해 수신된 광을 제1 복수의 광 성분 및 제2 복수의 광 성분으로 나누는 단계; 이미지 캡쳐 유닛의 제1 이미지 캡쳐 센서에서, 제1 복수의 광 성분으로부터 제1 이미지를 캡쳐하는 단계; 이미지 캡쳐 유닛의 제2 이미지 캡쳐 센서에서, 제2 복수의 광 성분으로부터 제2 이미지를 캡쳐하는 단계(여기서, 제1 이미지 캡쳐 센서까지의 이미지 캡쳐 유닛 내의 제1 광 경로 길이는 제2 이미지 캡쳐 센서까지의 이미지 캡쳐 유닛 내의 제2 광 경로 길이와 대략 동등하다); 제1 이미지 내의 대응 픽셀의 색 성분 백터 및 제2 이미지 내의 대응 픽셀의 색 성분 백터로부터 출력 이미지 내의 픽셀에 대한 N 엘리먼트 색 성분 백터를 생성하는 단계를 포함할 수 있다. 여기서, N은 적어도 3이다. 몇몇 형태에서, 제1 및 제2 이미지 캡쳐 센서면은 동평면일 수도 있고, 또는 제1 및 제2 이미지 캡쳐 센서는 각각 실질적으로 평행하고 기지의 거리만큼 떨어져 있는 제1 및 제2 평면 내에 있을 수도 있다.
제 12 실시예
장치는: 제1 이미지 캡쳐 센서면을 포함하는 제1 이미지 캡쳐 센서; 제2 이미지 캡쳐 센서면을 포함하는 제2 이미지 캡쳐 센서; 광을 수신하도록 배치되어 있고, 수신된 광이 자신을 통해 프리즘 어셈블리로 들어가게 하는 말단면, 수신된 광의 제1 부분을 반사하고 수신된 광의 제2 부분을 투과시키도록 구성된 빔 스플리터, 및 수신된 광의 제1 부분을 제1 이미지 캡쳐 센서상으로 지향시키도록 구성된 면을 포함하는 프리즘 어셈블리; 및 수신된 광의 제2 부분을 수신하고 수신된 광의 제2 부분을 제2 이미지 캡쳐 센서로 지향시키도록 배치된 반사 유닛을 포함할 수 있고, 말단면에서 제1 센서면까지의 제1 광 경로 길이는 말단면에서 제2 센서면까지의 제2 광 경로 길이보다 짧고, 제1 이미지 캡쳐 센서는 제1 촬영 거리에 포커싱된 이미지를 캡쳐하고, 제2 이미지 캡쳐 센서는 제2 촬영 거리에 포커싱된 이미지를 캡쳐한다. 몇몇 형태에서, 제1 및 제2 이미지 캡쳐 센서면은 동평면일 수도 있고, 또는 제1 및 제2 이미지 캡쳐 센서면은 각각 실질적으로 평행하고 기지의 거리만큼 떨어져 있는 제1 및 제2 평면 내에 있을 수 있다. 몇몇 형태에서, 제1 및 제2 이미지 캡쳐 센서는 이미지 캡쳐 센서 칩의 상이한 영역을 포함할 수 있다. 몇몇 형태에서, 본 장치는 상기 제1 및 제2 이미지 캡쳐 센서를 포함하는 말단면, 상기 프리즘 어셈블리, 및 상기 반사 유닛을 구비한 내시경을 포함할 수 있다. 몇몇 형태에서, 본 장치는 말단면, 한쌍의 채널, 및 복수의 제1 및 제2 이미지 캡쳐 센서, 프리즘 어셈블리, 및 반사 어셈블리를 구비한 입체 내시경을 더 포함할 수 있고, 상기 제1 이미지 캡쳐 센서, 상기 제2 이미지 캡쳐 센서, 상기 프리즘 어셈블리, 및 상기 반사 유닛은 복수로 포함되고, 채널 쌍 내의 각각의 채널은, 입체 내시경의 말단부에서, 상이한 제1 이미지 캡쳐 센서, 상이한 제2 이미지 캡쳐 센서, 상이한 프리즘 어셈블리, 및 상이한 반사 유닛을 복수로 포함한다. 몇몇 형태에서, 프리즘 어셈블리는 오각 프리즘을 포함한다. 몇몇 형태에서, 본 장치는 프리즘 어셈블리와 멀리 떨어져 위치하는 스탑을 더 포함할 수 있다. 몇몇 형태에서, 수신된 광의 제1 부분은 수신된 광의 제1 퍼센트일 수 있고, 수신된 광의 제2 부분은 수신된 광의 제2 퍼센트일 수 있고; 몇몇 형태에서, 제1 및 제2 퍼센트는 모두 대략 동등하고; 몇몇 형태에서, 100퍼센트에서 제1 퍼센트를 뺀 값은 대략 제2 퍼센트이고; 몇몇 형태에서, 제1 및 제2 퍼센트는 대략 동등하지 않고, 제1 퍼센트는 제2 퍼센트보다 작고, 몇몇 형태에서, 제1 및 제2 이미지 캡쳐 센서 중 적어도 하나는 컬러 이미지 캡쳐 센서를 포함하고; 몇몇 형태에서, 제1 및 제2 이미지를 수신하기 위해 제1 및 제2 이미지 캡쳐 센서에 연결되어 있고, 제1 및 제2 이미지로부터 인포커스 출력 이미지를 자동 생성하도록 구성되어 있고, 몇몇 형태에서, 제1 이미지 내의 제1 픽셀 그룹을 샘플링하고, 제2 이미지 내의 제2 픽셀 그룹을 샘플링하고, 출력 이미지에 대하여 제1 픽셀 그룹 및 제2 픽셀 그룹 중 하나를 선택하도록 더 구성되어 있는 제어기를 더 포함할 수 있고; 다른 형태에서, 제1 및 제2 이미지 캡쳐 센서에 연결되어 있고, 제1 이미지 캡쳐 센서에 의해 캡쳐된 제1 이미지 및 제2 이미지 캡쳐 센서에 의해 캡쳐된 제2 이미지를 검색(retrieve)하도록 구성되고, 제1 및 제2 이미지로부터 깊이 맵을 생성하도록 구성되고, 몇몇 형태에서, 장면의 3차원 면을 생성하고, 텍스처드 이미지 면을 생성하기 위해 3차원 면 상에 제1 및 제2 이미지를 투영하고 텍스쳐 맵핑(texture map)하고, 깊이 맵과 텍스처드 이미지 면으로부터 가상 카메라 포인트에 대한 새로운 이미지를 생성하도록 더 구성되어 있는 제어기를 더 포함하고; 다른 형태에서, 말단부, 한 쌍의 채널, 및 복수의 제1 및 제2 이미지 캡쳐 센서, 프리즘 어셈블리, 및 반사 어셈블리를 구비한 입체 내시경을 더 포함하고, 상기 제1 이미지 캡쳐 센서, 상기 제2 이미지 캡쳐 센서, 상기 프리즘 어셈블리, 및 상기 반사 유닛은 복수로 포함되고, 채널 쌍 내의 각각의 채널은, 입체 내시경의 말단부에서, 상이한 제1 이미지 캡쳐 센서, 상이한 제2 이미지 캡쳐 센서, 상이한 프리즘 어셈블리, 및 상이한 반사 유닛을 복수로 포함하고, 몇몇 형태에서, 제1 및 제2 획득 이미지를 수신하기 위해 제1 채널 쌍 내의 제1 및 제2 이미지 캡쳐 센서에 연결되어 있고, 제3 및 제4 획득 이미지를 수신하기 위해 제2 채널 쌍 내의 제1 및 제2 이미지 캡쳐 센서에 연결되어 있는 제어기를 더 포함하고, 이 제어기는 제1 채널에 대한 제1 채널 깊이 맵을 생성하고, 제2 채널에 대한 제2 채널 깊이 맵을 생성하고, 제1 및 제2 채널 깊이 맵을 기초로 장면의 3차원면을 생성하고, 텍스처드 이미지 면을 생성하기 위해 3차원면 상에 제1, 제2, 제3, 제4 획득 이미지를 투영하고 텍스처링하고, 텍스처드 이미지 면으로부터 새로운 가상 카메라 시점에 대한 새로운 이미지를 생성하도록 구성된다.
제 13 실시예
방법은: 이미지 캡쳐 유닛의 제1 이미지 캡쳐 센서에서, 공통의 프론트엔드 광학계로부터 수신된 광의 일부분으로부터 제1 이미지를 캡쳐하는 단계; 이미지 캡쳐 유닛의 제2 이미지 캡쳐 센서에서, 공통의 프론트엔드 광학계로부터 수신된 광의 제2 부분으로부터 제2 이미지를 캡쳐하는 단계(여기서, 제1 이미지 캡쳐 센서까지의 이미지 캡쳐 유닛 내의 제1 광 경로 길이는 제2 이미지 캡쳐 센서까지의 이미지 캡쳐 유닛 내의 제2 광 경로 길이보다 짧다); 및 연장된 피사계심도를 가진 인포커스 이미지를 생성하기 위해 제1 이미지로부터의 정보 및 제2 이미지로부터의 정보를 결합하는 단계를 포함한다. 몇몇 형태에서, 제1 및 제2 이미지 캡쳐 센서면은 동평면일 수 있고, 또는 제1 및 제2 센서면은 각각 실질적으로 평행하고 기지의 거리만큼 떨어져 있는 제1 및 제2 평면 내에 있을 수 있다.
제 14 실시예
방법은: 이미지 캡쳐 유닛의 제1 이미지 캡쳐 센서에서, 공통의 프론트엔드 광학계로부터 수신된 광의 일부분으로부터 제1 이미지를 캡쳐하는 단계; 이미지 캡쳐 유닛의 제2 이미지 캡쳐 센서에서, 공통의 프론트엔드 광학계로부터 수신된 광의 제2 부분으로부터 제2 이미지를 캡쳐하는 단계(여기서, 제1 이미지 캡쳐 센서까지의 이미지 캡쳐 유닛 내의 제1 광 경로 길이는 제2 이미지 캡쳐 센서까지의 이미지 캡쳐 유닛 내의 제2 광 경로 길이보다 짧다); 가상 카메라 시점으로부터의 이미지를 생성하기 위해 제1 이미지로부터의 정보 및 제2 이미지로부터의 정보를 결합하는 단계를 포함할 수 있다. 몇몇 형태에서, 제1 및 제2 이미지 캡쳐 센서면은 동평면일 수 있고, 또는 제1 및 제2 센서면은 각각 실질적으로 평행하고 기지의 거리만큼 떨어져 있는 제1 및 제2 평면 내에 있을 수 있다. 몇몇 형태에서, 본 발명은 논스테레오(non-stereo) 디스플레이 유닛 상에, 디스플레이되는 장면이 시간에 따라 앞뒤로 흔들리도록 복수의 가상 카메라 시점으로부터의 장면의 이미지를 디스플레이하는 단계를 더 포함한다.

Claims (19)

  1. 장치로서,
    제1 이미지 캡처 센서 표면을 포함하는 제1 이미지 캡처 센서;
    제2 이미지 캡처 센서 표면을 포함하는 제2 이미지 캡처 센서;
    광을 수신하도록 배치된 프리즘 어셈블리 - 상기 프리즘 어셈블리는, 수신된 광이 프리즘 어셈블리로 들어가며 통과하는 말단면; 수신된 광의 고정된 제1 퍼센트를 반사시키도록 구성되고 수신된 광의 고정된 제2 퍼센트를 전달하도록 구성되는 빔 스플리터; 및 상기 제1 이미지 캡처 센서 상으로 상기 수신된 광의 고정된 제1 퍼센트를 지향시키도록 구성된 표면을 포함하고, 상기 표면은 빔 스플리터에서 분리됨-; 및
    상기 수신된 광의 고정된 제2 퍼센트를 수신하도록 배치된 반사 유닛을 포함하며, 상기 반사 유닛은 상기 제2 이미지 캡처 센서로 상기 수신된 광의 고정된 제2 퍼센트를 지향시키도록 구성되고,
    상기 말단면에서 상기 제1 이미지 캡쳐 센서 표면까지의 제1 광 경로 길이는 상기 말단면에서 상기 제2 이미지 캡쳐 센서 표면까지의 제2 광 경로 길이와 대체로 동등한, 장치.
  2. 제1항에 있어서,
    상기 제1 및 제2 이미지 캡쳐 센서 표면은 동일 평면인 장치.
  3. 제1항에 있어서,
    상기 제1 이미지 캡쳐 센서 표면은 제1 평면에 있고, 상기 제2 이미지 캡쳐 센서 표면은 제2 평면에 있으며, 상기 제1 및 제2 평면은 실질적으로 평행하고 알려진 거리로 분리된 장치.
  4. 제1항에 있어서,
    상기 제1 및 제2 이미지 캡쳐 센서는 이미지 캡쳐 센서 칩의 상이한 영역을 포함하는 장치.
  5. 제1항에 있어서,
    내시경을 포함하고, 상기 내시경은 말단을 포함하고, 상기 말단은 상기 제1 및 제2 이미지 캡쳐 센서, 상기 프리즘 어셈블리 및 상기 반사 유닛을 포함하는 장치.
  6. 제1항에 있어서,
    말단부, 한 쌍의 채널, 복수의 제1 및 제2 이미지 캡쳐 센서, 프리즘 어셈블리 및 반사 어셈블리를 포함하는 입체 내시경을 더 포함하고,
    상기 제1 이미지 캡쳐 센서, 상기 제2 이미지 캡쳐 센서, 상기 프리즘 어셈블리 및 상기 반사 유닛은 복수로 포함되고,
    상기 한 쌍의 채널의 각각의 채널은, 입체 내시경의 말단부에서, 복수의 제1 이미지 캡쳐 센서 중 상이한 제1 이미지 캡쳐 센서, 복수의 제2 이미지 캡쳐 센서 중 상이한 제2 이미지 캡쳐 센서, 복수의 프리즘 어셈블리 중 상이한 프리즘 어셈블리 및 복수의 반사 유닛 중 상이한 반사 유닛을 포함하는, 장치.
  7. 제1항에 있어서,
    상기 프리즘 어셈블리는 오각 프리즘을 포함하는 장치.
  8. 제1항에 있어서,
    상기 프리즘 어셈블리와 멀리에 그리고 빛이 장치에 들어오는 개구부에 근접하여 위치하는 스탑을 더 포함하는 장치.
  9. 제1항에 있어서,
    100퍼센트에서 상기 고정된 제1 퍼센트를 뺀 것이 대략 상기 고정된 제2 퍼센트인 장치.
  10. 제1항에 있어서,
    상기 제1 및 제2 이미지 캡처 센서들에 연결되는 제어기를 더 포함하는 장치.
  11. 제10항에 있어서,
    상기 고정된 제1 및 제2 퍼센트가 대략 동등한 장치.
  12. 제10항에 있어서,
    상기 고정된 제1 및 제2 퍼센트가 대략 동등하지 않은 장치.
  13. 제1항에 있어서,
    상기 고정된 제1 퍼센트 및 상기 고정된 제2 퍼센트가 대략 동등한 장치.
  14. 제13항에 있어서,
    상기 고정된 제1 퍼센트는 상기 수신된 광의 대략 50퍼센트이고 상기 고정된 제2 퍼센트는 상기 수신된 광의 대략 50퍼센트인 장치.
  15. 제14항에 있어서,
    상기 빔 스플리터 및 상기 표면은
    제1 광 경로 길이를 제2 광 경로 길이와 대략 동일하게 유지하면서, 제1 이미지 캡쳐 센서에 의해 캡쳐된 이미지를 제2 이미지 캡쳐 센서에 의해 캡쳐된 이미지로부터 어긋나도록 위치조절되는, 장치.
  16. 제1항에 있어서,
    상기 제1 및 제2 이미지 캡쳐 센서 각각은 바이어 컬러 필터 어레이(Bayer color filter array)를 갖는 컬러 센서를 더 포함하는 장치.
  17. 장치로서,
    제1 이미지 캡처 센서 표면을 포함하는 제1 이미지 캡처 센서;
    제2 이미지 캡처 센서 표면을 포함하는 제2 이미지 캡처 센서;
    광을 수신하도록 배치된 프리즘 어셈블리 - 상기 프리즘 어셈블리는, 수신된 광이 프리즘 어셈블리로 들어가며 통과하는 말단면; 수신된 광의 고정된 제1 퍼센트를 반사시키도록 구성되고 수신된 광의 고정된 제2 퍼센트를 전달하도록 구성되는 빔 스플리터; 및 상기 제1 이미지 캡처 센서 상으로 상기 수신된 광의 고정된 제1 퍼센트를 지향시키도록 구성된 표면을 포함하고, 상기 표면은 빔 스플리터에서 분리됨-; 및
    상기 수신된 광의 고정된 제2 퍼센트를 수신하도록 배치된 반사 유닛을 포함하며, 상기 반사 유닛은 상기 제2 이미지 캡처 센서로 상기 수신된 광의 고정된 제2 퍼센트를 지향시키도록 구성되고,
    상기 말단면에서 상기 제1 이미지 캡쳐 센서 표면까지의 제1 광 경로 길이는 상기 말단면에서 상기 제2 이미지 캡쳐 센서 표면까지의 제2 광 경로 길이와 대체로 동등하고,
    상기 고정된 제1 퍼센트와 상기 고정된 제2 퍼센트는 동등하지 않고, 상기 고정된 제1 퍼센트는 상기 제1 이미지 캡쳐 센서의 동적 범위에 기초하는 장치.
  18. 장치로서,
    제1 이미지 캡처 센서 표면을 포함하는 제1 이미지 캡처 센서;
    제2 이미지 캡처 센서 표면을 포함하는 제2 이미지 캡처 센서;
    광을 수신하도록 배치된 프리즘 어셈블리 - 상기 프리즘 어셈블리는, 수신된 광이 프리즘 어셈블리로 들어가며 통과하는 말단면; 수신된 광의 고정된 제1 퍼센트를 반사시키도록 구성되고 수신된 광의 고정된 제2 퍼센트를 전달하도록 구성되는 빔 스플리터; 및 상기 제1 이미지 캡처 센서 상으로 상기 수신된 광의 고정된 제1 퍼센트를 지향시키도록 구성된 표면을 포함하고, 상기 표면은 빔 스플리터에서 분리됨-; 및
    상기 수신된 광의 고정된 제2 퍼센트를 수신하도록 배치된 반사 유닛을 포함하며, 상기 반사 유닛은 상기 제2 이미지 캡처 센서로 상기 수신된 광의 고정된 제2 퍼센트를 지향시키도록 구성되고,
    상기 말단면에서 상기 제1 이미지 캡쳐 센서 표면까지의 제1 광 경로 길이는 상기 말단면에서 상기 제2 이미지 캡쳐 센서 표면까지의 제2 광 경로 길이와 대체로 동등하고,
    상기 고정된 제1 퍼센트는 수신된 광의 대략 N %이고, 상기 고정된 제2 퍼센트는 수신된 광의 대략 M %이며, N 및 M은 양수이고,
    100퍼센트에서 N %를 뺀 값은 M %와 대략 동등하고,
    상기 N %는 상기 제1 이미지 캡쳐 센서의 동적 범위에 기초하여 선정되는 장치.
  19. 제18항에 있어서,
    상기 제1 및 제2 이미지 캡처 센서들에 연결되는 제어기를 더 포함하는 장치.
KR1020217020786A 2011-08-12 2012-08-10 수술기기 내의 이미지 캡쳐 장치 KR102390141B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227012984A KR102529996B1 (ko) 2011-08-12 2012-08-10 수술기기 내의 이미지 캡쳐 장치

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
US13/209,121 2011-08-12
US13/209,041 US8764633B2 (en) 2011-08-12 2011-08-12 Feature differentiation image capture unit and method in a surgical instrument
US13/208,982 2011-08-12
US13/209,158 US8784301B2 (en) 2011-08-12 2011-08-12 Image capture unit and method with an extended depth of field
US13/209,084 US8734328B2 (en) 2011-08-12 2011-08-12 Increased resolution and dynamic range image capture unit in a surgical instrument and method
US13/208,982 US8672838B2 (en) 2011-08-12 2011-08-12 Image capture unit in a surgical instrument
US13/209,158 2011-08-12
US13/209,084 2011-08-12
US13/209,041 2011-08-12
US13/209,121 US8684914B2 (en) 2011-08-12 2011-08-12 Image capture unit and an imaging pipeline with enhanced color performance in a surgical instrument and method
PCT/US2012/050394 WO2013025530A1 (en) 2011-08-12 2012-08-10 An image capture unit in a surgical instrument
KR1020207029014A KR102274896B1 (ko) 2011-08-12 2012-08-10 수술기기 내의 이미지 캡쳐 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207029014A Division KR102274896B1 (ko) 2011-08-12 2012-08-10 수술기기 내의 이미지 캡쳐 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227012984A Division KR102529996B1 (ko) 2011-08-12 2012-08-10 수술기기 내의 이미지 캡쳐 장치

Publications (2)

Publication Number Publication Date
KR20210087564A KR20210087564A (ko) 2021-07-12
KR102390141B1 true KR102390141B1 (ko) 2022-04-25

Family

ID=47715395

Family Applications (7)

Application Number Title Priority Date Filing Date
KR1020197010909A KR102079689B1 (ko) 2011-08-12 2012-08-10 수술기기 내의 이미지 캡쳐 장치
KR1020217020786A KR102390141B1 (ko) 2011-08-12 2012-08-10 수술기기 내의 이미지 캡쳐 장치
KR1020207004427A KR102166302B1 (ko) 2011-08-12 2012-08-10 수술기기 내의 이미지 캡쳐 장치
KR1020227012984A KR102529996B1 (ko) 2011-08-12 2012-08-10 수술기기 내의 이미지 캡쳐 장치
KR1020237015005A KR20230062898A (ko) 2011-08-12 2012-08-10 수술기기 내의 이미지 캡쳐 장치
KR1020207029014A KR102274896B1 (ko) 2011-08-12 2012-08-10 수술기기 내의 이미지 캡쳐 장치
KR1020147006103A KR101971211B1 (ko) 2011-08-12 2012-08-10 수술기기 내의 이미지 캡쳐 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020197010909A KR102079689B1 (ko) 2011-08-12 2012-08-10 수술기기 내의 이미지 캡쳐 장치

Family Applications After (5)

Application Number Title Priority Date Filing Date
KR1020207004427A KR102166302B1 (ko) 2011-08-12 2012-08-10 수술기기 내의 이미지 캡쳐 장치
KR1020227012984A KR102529996B1 (ko) 2011-08-12 2012-08-10 수술기기 내의 이미지 캡쳐 장치
KR1020237015005A KR20230062898A (ko) 2011-08-12 2012-08-10 수술기기 내의 이미지 캡쳐 장치
KR1020207029014A KR102274896B1 (ko) 2011-08-12 2012-08-10 수술기기 내의 이미지 캡쳐 장치
KR1020147006103A KR101971211B1 (ko) 2011-08-12 2012-08-10 수술기기 내의 이미지 캡쳐 장치

Country Status (5)

Country Link
EP (1) EP2741702B1 (ko)
JP (4) JP6258201B2 (ko)
KR (7) KR102079689B1 (ko)
CN (3) CN107913053B (ko)
WO (1) WO2013025530A1 (ko)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013206911A1 (de) * 2013-04-17 2014-10-23 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur stereoskopischen Darstellung von Bilddaten
TW201528775A (zh) 2014-01-02 2015-07-16 Ind Tech Res Inst 景深圖校正方法及系統
EP3120122B1 (en) * 2014-03-21 2019-11-13 HyperMed Imaging, Inc. Compact light sensor
US20170202439A1 (en) * 2014-05-23 2017-07-20 Covidien Lp 3d laparoscopic image capture apparatus with a single image sensor
US20160029892A1 (en) * 2014-07-30 2016-02-04 Novartis Ag Vital stain visualization in ophthalmic surgical procedures and associated devices, systems, and methods
TWI561773B (en) * 2014-08-06 2016-12-11 Delta Electronics Inc Six-primary solid state illuminator and operating method using the same
WO2016059906A1 (ja) * 2014-10-16 2016-04-21 オリンパス株式会社 内視鏡装置
WO2016080218A1 (ja) * 2014-11-21 2016-05-26 オリンパス株式会社 撮像システム
DE102015217253A1 (de) * 2015-09-10 2017-03-16 Robert Bosch Gmbh Umfelderfassungseinrichtung für ein Fahrzeug und Verfahren zum Erfassen eines Bilds mittels einer Umfelderfassungseinrichtung
EP3156761B1 (en) * 2015-10-14 2020-12-30 H4 Technologies Limited Image acquisition and processing
CN105611276B (zh) * 2015-12-22 2017-12-26 广州广康医疗科技股份有限公司 一种与达芬奇机器人配套使用的高清3d录直播系统
US10257394B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
JP2017148432A (ja) * 2016-02-26 2017-08-31 富士フイルム株式会社 内視鏡用光源装置
US11163169B2 (en) 2016-06-07 2021-11-02 Karl Storz Se & Co. Kg Endoscope and imaging arrangement providing improved depth of field and resolution
US11307430B2 (en) 2016-06-07 2022-04-19 Karl Storz Se & Co. Kg Optical device and method for providing improved depth of field and resolution modes
US10324300B2 (en) * 2016-06-07 2019-06-18 Karl Storz Se & Co. Kg Endoscope and imaging arrangement providing depth of field
US10992917B2 (en) * 2016-06-17 2021-04-27 Sony Corporation Image processing device, image processing method, program, and image processing system that use parallax information
WO2018031441A1 (en) 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control
US11782256B2 (en) * 2016-09-21 2023-10-10 Omnivision Technologies, Inc. Endoscope imager and associated method
NL2017973B1 (en) * 2016-12-09 2018-06-19 Quest Photonic Devices B V Dichroic prism assembly with four or five channels
JP6513307B2 (ja) 2017-03-24 2019-05-15 オリンパス株式会社 内視鏡システム
JP6463573B1 (ja) * 2017-06-07 2019-02-06 オリンパス株式会社 内視鏡撮像システム
US11463629B2 (en) 2017-06-12 2022-10-04 Sony Corporation Medical system, medical apparatus, and control method
US11699215B2 (en) 2017-09-08 2023-07-11 Sony Corporation Imaging device, method and program for producing images of a scene having an extended depth of field with good contrast
KR20200105938A (ko) 2018-01-31 2020-09-09 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 접힌 광학 경로를 갖는 디스플레이
EP3557531A1 (en) * 2018-04-18 2019-10-23 Vision RT Limited Camera monitoring system for monitoring a patient in a bore based medical system
CN108896545B (zh) * 2018-05-09 2021-07-13 歌尔光学科技有限公司 涂胶检测方法、装置及计算机可读存储介质
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
CN108803228B (zh) * 2018-06-15 2021-01-08 郭洪志 一种仿生摄像头三维立体成像系统和方法
US10884263B2 (en) 2018-08-01 2021-01-05 Htc Corporation Head-mounted display and imaging apparatus for displaying image thereof
CN109259717B (zh) * 2018-08-27 2020-08-14 彭波 一种立体内窥镜及内窥镜测量方法
DE102018122816B9 (de) * 2018-09-18 2024-07-04 Carl Zeiss Meditec Ag Verfahren und Vorrichtung zum Bestimmen einer Eigenschaft eines Objekts
US11589819B2 (en) * 2019-06-20 2023-02-28 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a laser mapping imaging system
JP7352411B2 (ja) * 2019-08-22 2023-09-28 キヤノン株式会社 撮像装置
US20220395166A1 (en) * 2019-11-22 2022-12-15 Convergascent Llc Utilization of multiple imagers and computational photography in endoscopy
WO2021176442A1 (en) * 2020-03-06 2021-09-10 270 Surgical Ltd. A multi focal endoscope
CN111474140A (zh) * 2020-03-23 2020-07-31 江苏大学 一种双通道正交相位显微成像采样系统
CN115484858A (zh) * 2020-05-12 2022-12-16 柯惠Lp公司 用于在外科手术过程期间的图像映射和融合的系统和方法
CN111766699A (zh) * 2020-07-24 2020-10-13 重庆金山科技（集团）有限公司 成像装置及方法、内窥镜系统
WO2022023157A1 (en) * 2020-07-30 2022-02-03 Interdigital Ce Patent Holdings, Sas Debayering with multiple camera rotations
WO2022044897A1 (ja) * 2020-08-31 2022-03-03 ソニーグループ株式会社 医療撮像システム、医療撮像装置、および動作方法
WO2022243994A1 (en) * 2021-05-19 2022-11-24 270 Surgical Ltd. Distal tip of a multi camera medical imaging device
US11808935B2 (en) 2021-10-12 2023-11-07 Olympus Corporation Endoscope and endoscope apparatus
DE102022105090B3 (de) 2022-03-03 2023-06-29 Schölly Fiberoptic GmbH Stereoskopische Anordnung und Operationsmikroskop mit stereoskopischer Anordnung

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100079587A1 (en) * 2008-09-30 2010-04-01 Fujifilm Corporation Endoscope system

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4074306A (en) * 1975-07-28 1978-02-14 Olympus Optical Co., Ltd. Endoscope utilizing color television and fiber optics techniques
JPS62174715A (ja) * 1987-01-24 1987-07-31 Olympus Optical Co Ltd 内視鏡装置
JPH0820603B2 (ja) * 1987-02-27 1996-03-04 オリンパス光学工業株式会社 ビデオスコ−プ装置
US4873572A (en) * 1987-02-27 1989-10-10 Olympus Optical Co., Ltd. Electronic endoscope apparatus
JPH01122274A (ja) * 1987-11-06 1989-05-15 Fujitsu Ltd 撮像装置
JP3093875B2 (ja) * 1992-06-09 2000-10-03 オリンパス光学工業株式会社 立体視内視鏡
JP3628717B2 (ja) * 1994-03-17 2005-03-16 オリンパス株式会社 立体視内視鏡
US5743846A (en) * 1994-03-17 1998-04-28 Olympus Optical Co., Ltd. Stereoscopic endoscope objective lens system having a plurality of front lens groups and one common rear lens group
JPH10118004A (ja) * 1996-10-24 1998-05-12 Fuji Photo Film Co Ltd 蛍光撮像装置
US6331181B1 (en) 1998-12-08 2001-12-18 Intuitive Surgical, Inc. Surgical robotic tools, data architecture, and use
US6659939B2 (en) 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
JP2000221411A (ja) * 1999-01-29 2000-08-11 Fuji Photo Optical Co Ltd 偽似カラー表示可能な電子内視鏡装置
IL135571A0 (en) * 2000-04-10 2001-05-20 Doron Adler Minimal invasive surgery imaging system
JP4133319B2 (ja) 2000-07-14 2008-08-13 ノバダック テクノロジーズ インコーポレイテッド コンパクトな蛍光内視鏡映像システム
JP5259033B2 (ja) * 2001-08-03 2013-08-07 オリンパス株式会社 内視鏡システム
US7101334B2 (en) * 2001-10-31 2006-09-05 Olympus Corporation Optical observation device and 3-D image input optical system therefor
US20070182844A1 (en) 2003-03-09 2007-08-09 Latia Imaging Pty Ltd Optical system for producing differently focused images
JP2004313523A (ja) * 2003-04-17 2004-11-11 Pentax Corp 固体撮像素子、電子内視鏡
JP2005176940A (ja) * 2003-12-16 2005-07-07 Olympus Corp 電子内視鏡
JP2005182521A (ja) 2003-12-19 2005-07-07 Matsushita Electric Ind Co Ltd 虹彩撮像カメラおよび虹彩認証システム
JP2005244549A (ja) 2004-02-26 2005-09-08 Matsushita Electric Ind Co Ltd 認証用画像撮像装置
US20060241495A1 (en) * 2005-03-23 2006-10-26 Eastman Kodak Company Wound healing monitoring and treatment
JP5086535B2 (ja) * 2005-11-21 2012-11-28 オリンパスメディカルシステムズ株式会社 ２板撮像装置
DE102006034205B4 (de) * 2006-07-25 2012-03-01 Carl Mahr Holding Gmbh Dynamische Bildaufnahme mit bildgebenden Sensoren
US8814779B2 (en) * 2006-12-21 2014-08-26 Intuitive Surgical Operations, Inc. Stereoscopic endoscope
JP5448353B2 (ja) * 2007-05-02 2014-03-19 キヤノン株式会社 光干渉断層計を用いた画像形成方法、及び光干渉断層装置
US20090131800A1 (en) * 2007-11-15 2009-05-21 Carestream Health, Inc. Multimodal imaging system for tissue imaging
WO2009121068A2 (en) 2008-03-28 2009-10-01 Contrast Optical Design & Engineering, Inc. Whole beam image splitting system
US20100165080A1 (en) * 2008-12-26 2010-07-01 Fujifilm Corporation Image capturing apparatus and endoscope
JP5443802B2 (ja) 2009-03-24 2014-03-19 オリンパス株式会社 蛍光観察装置
JP5358368B2 (ja) * 2009-09-18 2013-12-04 富士フイルム株式会社 内視鏡システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100079587A1 (en) * 2008-09-30 2010-04-01 Fujifilm Corporation Endoscope system

Also Published As

Publication number Publication date
KR20230062898A (ko) 2023-05-09
EP2741702A4 (en) 2016-02-24
JP2014524290A (ja) 2014-09-22
KR20190047066A (ko) 2019-05-07
KR102274896B1 (ko) 2021-07-09
CN107913053A (zh) 2018-04-17
KR20200019779A (ko) 2020-02-24
KR102166302B1 (ko) 2020-10-16
CN112220438B (zh) 2024-02-06
CN112220438A (zh) 2021-01-15
CN103889353B (zh) 2017-05-03
JP2019072557A (ja) 2019-05-16
JP2020168569A (ja) 2020-10-15
KR20210087564A (ko) 2021-07-12
EP2741702A1 (en) 2014-06-18
KR102529996B1 (ko) 2023-05-08
KR101971211B1 (ko) 2019-04-23
JP6740401B2 (ja) 2020-08-12
KR20200119901A (ko) 2020-10-20
EP2741702B1 (en) 2022-10-19
JP2017148657A (ja) 2017-08-31
JP7169725B2 (ja) 2022-11-11
KR20220057635A (ko) 2022-05-09
CN107913053B (zh) 2020-10-30
WO2013025530A1 (en) 2013-02-21
CN103889353A (zh) 2014-06-25
JP6480508B2 (ja) 2019-03-13
KR102079689B1 (ko) 2020-02-20
JP6258201B2 (ja) 2018-01-10
KR20140050712A (ko) 2014-04-29

Similar Documents

Publication Publication Date Title
JP7169725B2 (ja) 外科手術器具の画像取込み装置
US10809519B2 (en) Increased resolution and dynamic range image capture unit in a surgical instrument and method
US10973398B2 (en) Image capture unit in a surgical instrument
US9254076B2 (en) Feature differentiation image capture unit and method in a surgical instrument
US9782056B2 (en) Image capture unit and method with an extended depth of field
US8684914B2 (en) Image capture unit and an imaging pipeline with enhanced color performance in a surgical instrument and method

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant