KR102524391B1 - 조직 접촉 검출과 자동-노출 및 조명 제어를 위한 시스템 및 방법 - Google Patents

조직 접촉 검출과 자동-노출 및 조명 제어를 위한 시스템 및 방법 Download PDF

Info

Publication number
KR102524391B1
KR102524391B1 KR1020227025574A KR20227025574A KR102524391B1 KR 102524391 B1 KR102524391 B1 KR 102524391B1 KR 1020227025574 A KR1020227025574 A KR 1020227025574A KR 20227025574 A KR20227025574 A KR 20227025574A KR 102524391 B1 KR102524391 B1 KR 102524391B1
Authority
KR
South Korea
Prior art keywords
scene
brightness
camera
exposure time
frame
Prior art date
Application number
KR1020227025574A
Other languages
English (en)
Other versions
KR20220110596A (ko
Inventor
제프 리치몬드
제프리 디카를로
브라이언 디 호프먼
Original Assignee
인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 filed Critical 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority to KR1020237013025A priority Critical patent/KR102587513B1/ko
Publication of KR20220110596A publication Critical patent/KR20220110596A/ko
Application granted granted Critical
Publication of KR102524391B1 publication Critical patent/KR102524391B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00062—Operational features of endoscopes provided with means for preventing overuse
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00165—Optical arrangements with light-conductive means, e.g. fibre optics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0801—Prevention of accidental cutting or pricking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0801—Prevention of accidental cutting or pricking
    • A61B2090/08021—Prevention of accidental cutting or pricking of the patient or his organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery

Abstract

원격작동형 수술 시스템(200)의 내시경(201)에 의해 캡처되고 디스플레이 유닛(251) 상에 디스플레이된 장면은, 조명기(210)의 출력 광 파워가 변하더라도, 그리고 조직(203)과 내시경의 원위 첨두(distal tip) 사이의 작업 거리(204)가 변하더라도 일관된 밝기를 유지한다. 원격작동형 수술 시스템(200)은 또한, 내시경(201)이 조직(203)과 접촉하는 때를 자동으로 검출하고 조직 손상이 발생하지 않도록 조명기(210)의 출력 광 파워를 조절한다.

Description

조직 접촉 검출과 자동-노출 및 조명 제어를 위한 시스템 및 방법{SYSTEM AND METHOD FOR TISSUE CONTACT DETECTION AND FOR AUTO-EXPOSURE AND ILLUMINATION CONTROL}
관련 출원
본 출원은,
미국 특허 출원 제61/954,336호(Geoff Richmond 등에 의해 2014년 3월 17일 출원되고 "System and Method for Tissue Contact Detection"을 개시함), 및
미국 특허 출원 제61/954,381호(Geoff Richmond 등에 의해 2014년 3월 17일 출원되고 "System and Method for Auto-Exposure and Illumination Control"을 개시함)의 우선권 및 이익을 주장하며, 이들 각각은 참조에 의해 본 명세서에 포함된다.
발명의 분야
본 발명의 양태는 내시경 촬영(endoscopic imaging)에 관한 것으로, 더 구체적으로는, 원격작동형 수술 시스템에서, 조직 접촉 검출, 디스플레이된 장면 밝기 제어, 카메라 자동-노출 제어, 및 조명 제어에 관한 것이다.
California주, Sunnyvale시의 Intuitive Surgical, Inc.에 의해 상용화된 da Vinci® 수술 시스템은, 신체에 대한 감소된 외상, 빠른 회복 및 더 짧은 입원기간 등의 많은 혜택을 환자에게 제공하는 최소한도로 침습적인 원격작동형 수술 시스템이다. da Vinci® 수술 시스템의 한 피쳐는, 가시 이미지들의 2채널(즉, 좌측 및 우측) 비디오 캡처 및 디스플레이를 제공하여 외과 의사에게 입체시(stereoscopic viewing)를 제공하는 능력이다. 이러한 전자적 입체 촬영 시스템은 고선명 비디오 이미지를 외과 의사에게 출력할 수 있고, 줌(zoom) 등의 피쳐를 허용하여 외과 의사가 특정한 조직 유형 및 특성을 식별할 뿐만 아니라 더 높은 정확도로 작업하는 것을 허용하는 "확대된" 뷰를 제공할 수 있다.
그러나, 수술 부위의 조명 및 수술 부위의 이미지의 캡처 동안에 이용되는 카메라의 노출 시간은 외과 의사에게 제공되는 이미지의 품질에 영향을 미치는 요인들 중 일부이다. 예를 들어, 미국 특허 제US　8,512,232 B2호는, 제1 레벨의 조명을 제공하는 내시경을 신체 내부에 도입하고 또한 제2 레벨의 조명을 제공하는 조명 장치를 신체 내부에 도입하는 것을 설명하고 있다. 제2 레벨의 조명은 제1 레벨의 조명보다 높고 큰 타겟 영역의 촬영에 이용된다. 내시경으로부터의 더 낮은 레벨의 조명은 더 작은 타겟 영역의 촬영에 이용된다.
그러나, 고강도 광원에서의 잠재적 문제가 인식되었고 미국 특허 제US　6,511,422 B1호에서 솔루션이 제공되었다. 이 특허에 따르면, 고강도 광원으로부터의 출력은, 그 출력이 조직쪽으로 향하지 않을때마다 광원 출력 강도가 안전한 레벨로 자동으로 감소되도록 제어된다. 조직으로부터 반사된 광이 모니터링되고 반사된 광이 광원이 조직쪽으로 향하지 않고 있다는 것을 나타내면, 광 강도가 안전한 레벨로 떨어진다.
원격작동형 수술 시스템에서, 제어기가 내시경 첨두(tip)와 조직의 접촉을 검출하면, 제어기는 내시경 첨두로부터의 출력 광 파워(output optical power)를 감쇠시킨다. 이것은 접촉 결과 조직이 손상되지 않도록 보장한다.
한 양태에서, 제어기는, 조직으로부터 반사된 휘도를 모니터링하고 내시경으로부터의 출력 광 파워를 모니터링함으로써 접촉을 검출한다. 제어기는, 제1 출력 광 파워로부터 제2 출력 광 파워로의 변경이 제1 출력 광 파워에 대한 반사된 휘도에 비해 제2 출력 광 파워에 대한 반사된 휘도의 변화를 초래하지 않는다면, 접촉이 발생했다고 결정한다.
제어기는 감쇠에 후속하여 알려진 패턴으로 내시경 첨두로부터의 출력 광 파워를 변화시킨다. 제어기는 변하는 출력 광 파워에 따라 반사된 휘도가 변하는지를 검출한다. 반사된 휘도가 변하는 출력 광 파워의 알려진 패턴을 따른다면, 제어기는 감쇠를 종료한다.
원격작동형 수술 시스템은, 조명기, 카메라, 및 제어기를 포함한다. 조명기는 출력 광 파워를 제공한다. 카메라는 조직을 포함하는 장면을 캡처하도록 구성된다. 제어기는 조명기와 카메라에 결합된다. 제어기는 내시경과 조직의 접촉을 검출하도록 구성된다. 제어기는 접촉이 검출되는 것에 후속하여 출력 광 파워를 감쇠시키도록 구성된다.
제어기는 카메라에 결합된 통계 모듈을 포함한다. 통계 모듈은 카메라에 의해 캡처된 장면을 수신한다. 통계 모듈은 캡처된 장면에 대한 밝기 히스토그램(brightness histogram)을 생성하고 캡처된 장면의 전체 밝기를 결정한다. 제어기 내의 접촉 검출 모듈은 통계 모듈에 결합된다. 접촉 검출 모듈은 캡처된 장면의 전체 밝기를 수신하고 카메라 노출 시간을 수신한다. 접촉 검출 모듈은 또한 조명기에 결합된다. 접촉 검출 모듈은 내시경의 첨두와 조직의 접촉을 검출한다.
한 양태에서, 조명기는 디더 모듈(dither module)을 포함한다. 디더 모듈은 접촉 검출 모듈에 결합된다. 디더 모듈은 접촉 검출 모듈에 의해 인에이블되는 것에 후속하여 알려진 패턴으로 출력 광 파워를 변화시키도록 구성된다. 자동-노출 모듈은 통계 모듈에 결합된다. 자동-노출 모듈은 캡처된 장면에서의 밝기 변화를 검출하도록 구성된다.
원격작동형 수술 시스템은 제어 시스템을 포함한다. 제어 시스템은 카메라 제어 유닛과 조명 제어기를 포함한다. 조명 제어기는 원격작동형 수술 시스템의 조명기로부터의 출력 광 파워를 제어하도록 구성된다. 카메라 제어 유닛은 원격작동형 수술 시스템의 카메라로부터 비디오 스트림을 수신하도록 구성된다. 카메라 제어 유닛은 조명 제어기에 결합된다. 카메라 제어 유닛은 또한, 출력 광 파워를 제1 출력 광 파워로부터 제2 출력 광 파워로 변경할 것을 조명 제어기에 명령하도록 구성되며, 카메라 노출 시간을 제1 노출 시간으로부터 제2 노출 시간으로 변경할 것을 상기 카메라에 명령하도록 구성되어, 상기 카메라에 의해 상기 제2 노출 시간으로 제2 출력 광 파워로부터 반사된 광으로부터 프레임이 후속적으로 캡처되게 한다.
한 양태에서, 광원은 조명 제어기에 결합된다. 내시경은 광원에 결합된다. 카메라는 내시경에 결합되고 카메라 제어 유닛에 결합된다.
한 양태에서, 카메라 제어 유닛은 통계 모듈을 포함한다. 통계 모듈은 카메라에 결합되어 비디오 스트림을 수신한다. 통계 모듈은 비디오 스트림 내의 프레임에 대한 밝기 히스토그램을 생성하도록 구성된다. 카메라 제어 유닛은 또한, 통계 모듈에 결합된 자동-노출 모듈을 포함한다. 자동-노출 모듈은 디스플레이된 장면의 타겟 밝기를 유지하도록 구성되고, 디스플레이된 장면은 캡처된 프레임으로부터의 장면이다. 또한, 자동-노출 모듈은 캡처된 프레임의 장면들 내의 포화된 픽셀들을 장면들 각각 내의 미리결정된 픽셀수보다 적게 제한하도록 구성된다. 또한, 자동-노출 모듈은 조명기로부터의 최소 출력 광 파워를 유지하도록 구성된다.
또 다른 양태에서, 카메라 제어 유닛은 제1 및 제2 제어 루프를 포함한다. 제1 제어 루프는 비디오 파이프라인 이득과 카메라 노출 시간 중 하나 또는 양쪽 모두를 자동으로 조절하여 디스플레이된 장면이 타겟 밝기를 갖게 하도록 구성된다.
제2 제어 루프는 출력 광 파워를 자동으로 조절하고 후속적으로 캡처된 프레임에 대한 카메라 노출 시간을 조절하도록 구성된다. 제2 제어 루프는 카메라 노출 시간의 값에 기초하여 출력 광 파워와 카메라 노출 시간을 조절하도록 구성된다.
제2 제어 루프는, 카메라 노출 시간이 제1 노출 임계치보다 크다면 출력 광 파워를 증가시키고 카메라 노출 시간을 감소시킨다. 제2 제어 루프는, 카메라 노출 시간이 제2 노출 임계치보다 작다면 출력 광 파워를 감소시키고 카메라 노출 시간을 증가시킨다. 제2 제어 루프는, 카메라 노출 시간이 제1 노출 임계치와 제2 노출 임계치 사이에 있다면 출력 광 파워와 카메라 노출 시간을 변경하지 않고 그대로 둔다.
한 양태에서, 제1 제어 루프와 제2 제어 루프는 자동-노출 모듈에 포함된다. 통계 모듈은 카메라에 결합되어 비디오 스트림을 수신하고 자동-노출 모듈에 결합된다. 통계 모듈은 비디오 스트림 내의 프레임에 대한 밝기 히스토그램을 생성하도록 구성된다.
한 양태에서, 카메라 제어 유닛은, 디스플레이된 장면의 타겟 밝기를 자동으로 조절하여 후속적으로 캡처된 프레임 내의 포화된 픽셀들의 개수를 감소시키도록 구성된 제어 루프를 포함한다. 제어 루프는 범위-제약된 감소를 타겟 밝기에 적용하도록 구성된다.
역시 또 다른 양태에서, 카메라 제어 유닛은 자동-노출 모듈을 포함한다. 자동-노출 모듈은 통계 모듈에 결합되어 비디오 스트림 내의 프레임에 대한 밝기 히스토그램을 수신하도록 구성된다. 또한, 자동-노출 모듈은 히스토그램 내의 정보를 이용하여 평균 밝기를 결정하도록 구성된다. 자동-노출 모듈은 또한, 타겟 밝기에 대한 평균 밝기의 관계에 기초하여 비디오 파이프라인 이득과 카메라 노출 시간 중 한쪽 또는 양쪽 모두를 조절하도록 구성된다. 자동-노출 모듈은 또한, 캡처된 장면 내의 포화된 픽셀들의 개수가 포화된 픽셀 임계치보다 클 때 타겟 밝기를 감소시킨다. 또한, 자동-노출 모듈은 제1 조명기 출력을 제2 조명기 출력으로 변경할 것을 조명 제어기에 명령하고 카메라 노출을 조절하여 조명기 출력에서의 변화를 보상할 것을 카메라에 명령하도록 구성된다.
원격작동형 수술 시스템을 작동하는 방법은, 캡처된 장면의 평균 밝기와 디스플레이된 장면을 위한 타겟 밝기를 이용하여 비디오 파이프라인 이득과 카메라 노출 시간 중 한쪽 또는 양쪽 모두를 조절하는 단계를 포함한다. 이 방법은 또한, 카메라 노출 시간을 이용하여 조명기의 출력 광 파워와 카메라의 노출 시간을 구성한다. 이 방법은 타겟 밝기를 감소시킴으로써 제2 캡처된 프레임에서의 포화된 픽셀들의 개수를 감소시킨다.
도 1a 및 도 1b는, 장면 내의 다수의 포화된 픽셀들 중 일부 또는 전부를 제어하고, 비디오 파이프라인 이득을 제어하며, 출력 광 파워를 제어하고, 카메라 노출 시간을 제어하며, 조직 접촉을 검출하기 위한 제어기를 포함하는 원격작동형 수술 시스템의 블록도이다.
도 2는, 장면 내의 다수의 포화된 픽셀들을 제어하고, 비디오 파이프라인 이득을 제어하며, 출력 광 파워를 제어하고, 카메라 노출 시간을 제어하며, 조직 접촉을 검출하기 위한 제어기를 포함하는 원격작동형 수술 시스템의 또 다른 블록도이다.
도 3은 통계 모듈에 의해 생성되는 캡처된 장면의 밝기 히스토그램이다.
도 4는 자동-노출 모듈의 한 양태에 대한 프로세스 흐름도이다.
도 5a는 도 4의 포화된 픽셀 제한 프로세스의 한 양태에 대한 프로세스 흐름도이다.
도 5b는 도 4의 이득 및 노출 시간 조절 프로세스의 한 양태에 대한 프로세스 흐름도이다.
도 5c는 도 4의 파워 및 노출 시간 조절의 한 양태에 대한 프로세스 흐름도이다.
도 6은 카메라 노출 시간을 이용한 출력 광 파워 제어를 나타내는 도면이다.
도 7은 도 2의 카메라 제어 유닛과 도 4의 프로세스 흐름도에 대한 파이프라인도이다.
도면들에서, 참조번호의 첫 번째 자릿수는 그 참조번호를 갖는 요소가 처음 등장하는 도면을 나타낸다.
한 양태에서, 원격작동형 수술 시스템(100A 및 100B)(도 1a 및 도 1b)의 내시경(101)으로 캡처되고 입체 디스플레이 유닛(151) 상에 디스플레이되는 장면은, 조직(103)과 내시경(101)의 원위 첨두(distal tip) 사이의 동작 거리가 변하더라도 일정한 밝기를 유지한다. 원격작동형 수술 시스템(100A 및 100B)은 또한, 내시경(101)이 조직과 접촉하는 때를 자동으로 검출하고 조직 손상이 발생하지 않도록 조명기(110)의 출력 광 파워를 조절한다.
조명기(110)로부터의, 출력 광 파워를 갖는 조명, 예를 들어, 가시광은 내시경(101)에서 때때로 첨두라고도 하는 내시경(101)의 원위 첨두(distal tip)에 존재한다. 조명은 조직(103)으로부터 반사되고, 좌측 카메라(120L)의 좌측 이미지 센서(121L)에 의해 캡처된 좌측 컬러 장면을 포함하는 프레임(122L)과 우측 카메라(120R)의 우측 이미지 센서(121R)에 의해 캡처된 우측 컬러 장면을 포함하는 프레임(122R)으로서 캡처된다. 좌측 및 우측 이미지 센서(121L 및 121R) 각각은 장면을 포함하는 프레임을 캡처한다고 말할 수 있다.
캡처된 프레임들은 비디오 스트림으로서 프레임별로 카메라 제어 유닛(130L 및 130R)에 전달되고, 여기에서, 각각의 프레임은 처리된 다음 비디오 파이프라인(140)에 전달된다. 비디오 파이프라인(140)은, 각각의 프레임을, 이하에서 설명되는 바와 같은 점을 제외하고는, 종래의 원격작동형 수술 시스템에서의 비디오 파이프라인의 처리와 동등한 방식으로 처리한 다음, 프레임을 외과 의사의 콘솔(150) 내의 입체 디스플레이(151)에 전달한다.
따라서, 조직(103)은 원격작동형 수술 시스템(100A 및 100B)의 사용자가 외과 의사의 콘솔(150) 상에서 볼 수 있다. 장면들의 비디오 시퀀스가 입체 디스플레이(151) 상에 디스플레이되는 동안, 장면들은 사용자에게 조직(103)의 연속된 이미지로서 나타난다, 예를 들어, 사용자는 조직(103)이 움직이는 것을 보며, 조직 출혈을 보며, 호흡에 기인한 움직임 등을 본다. 그러나, 사용자는 입체 디스플레이(151) 상에 디스플레이된 장면들에서, 주의를 산만케하는 밝기 변화에 주목할 것이다. 원격작동형 수술 시스템(100)은, 조직(103)과 내시경(101)의 원위 첨두 사이의 동작 거리가 변하더라도, 즉, 증가하거나 감소하더라도, 디스플레이된 장면의 일관된 밝기를 유지한다. 이 예에서, 입체 내시경이 사용되고 있지만, 시스템(100A 및 100B)은, 단일의 캡처된 장면을 처리함으로써 단일의 광학 채널을 갖는 내시경에도 동일하게 동작한다.
입체 디스플레이(151) 상에 디스플레이된 장면들은, 타겟 밝기라고 부르는, 미리결정된 밝기를 가진다. 한 양태에서, 타겟 밝기는 원격작동형 수술 시스템(100A 및 100B)에 의해 설정된다. 그러나, 일부 양태에서, 외과 의사는, 디스플레이된 장면의 밝기가 외과 의사에게 허용가능하게 되도록 타겟 밝기를 조절하는 것이 허용된다.
한 양태에서, 내시경 제어 시스템은, 카메라 제어 유닛(130L 및 130R)과 조명 제어기(115)를 포함하는 제어기를 포함한다. 한 양태에서, 카메라 제어 유닛(130L 및 130R)은 2개의 제어 루프(131, 132)를 포함한다. (도 1a) 제어 루프(131 및 132)의 조합은 디스플레이된 장면(디스플레이된 장면은 캡처된 프레임 내의 장면임)의 타겟 밝기를 유지하도록 구성되고 최소 조명기 출력을 유지하도록 구성된다.
내시경(101)이 조직(103)으로부터 멀어짐에 따라, 이득 및 노출 제어 루프(131)는 좌측 이미지 센서(121L)에 의해 캡처된 장면과 우측 이미지 센서(121R)에 의해 캡처된 장면의 전체 밝기에서의 감소를 검출한다면, 이득 및 노출 제어 루프(131)는, 자동으로, 카메라(120L,　120R)에게 카메라 노출 시간을 증가시켜 후속 캡처되는 이미지들이 타겟 밝기를 갖게 하도록 명령하거나, 비디오 파이프라인(140)에게 디스플레이 유닛(151) 상에 디스플레이되는 장면의 밝기를 제어하는 이득을 증가시켜 디스플레이된 장면이 타겟 밝기를 갖게 하도록 명령한다. 일부 상황에서, 이득 및 노출 제어 루프(131)는 카메라 노출 시간에서의 증가와 비디오 파이프라인 이득에서의 증가 양쪽 모두를 자동으로 명령한다. 파워 및 노출 제어 루프(132)는 조명기(110)로부터의 출력 광 파워가 증가되어야 하는지를 결정한다. 출력 광 파워가 증가된다면, 파워 및 노출 제어 루프(132)는, 고정된-크기의 동기화된 선형 스텝들에서 프레임별로 조명기(110)의 출력 광 파워를 증가시키고 카메라(120L 및 120R)의 노출 시간을 감소시킨다.
출력 광 파워에서의 증가와 노출 시간에서의 감소는 동일한 크기 변경이다, 예를 들어, 출력 광 파워에서의 증가가 1 퍼센트이면, 노출 시간에서의 감소는 1 퍼센트이다. 시스템이 완벽하다면, 원래의 출력 광 파워와 원래의 노출 시간으로 캡처된 장면에 비해 출력 광 파워와 새로운 노출 시간으로 캡처된 장면의 전체 밝기에서는 어떠한 변화도 없을 것이다. 그러나, 시스템은 완벽하지 않기 때문에, 새로운 출력 광 파워와 새로운 노출 시간으로 캡처된 장면의 전체 밝기에서는 변화가 있을 수 있다. 따라서, 스텝들의 고정된 크기는, 출력 광 파워와 노출 시간의 동기화된 변경에 의해 야기되는 디스플레이된 이미지의 밝기에서의 임의의 플리커(flicker)가 외과 의사에게 주목되지 않도록 선택된다.
유사하게, 내시경(101)이 조직(103) 쪽으로 이동함에 따라, 이득 및 노출 제어 루프(131)는 좌측 카메라(120L)의 좌측 이미지 센서(121L)에 의해 캡처된 장면과 우측 카메라(120R)의 우측 이미지 센서(121R)에 의해 캡처된 장면의 밝기에서의 증가를 검출한다면, 이득 및 노출 제어 루프(131)는, 자동으로, 카메라(120L,　120R)에게 카메라 노출 시간을 감소시켜 후속 캡처되는 이미지들이 타겟 밝기를 갖게 하도록 명령하거나, 비디오 파이프라인(140)에게 디스플레이 유닛(151) 상에 디스플레이되는 장면의 밝기를 제어하는 이득을 감소시켜 디스플레이된 장면이 타겟 밝기를 갖게 하도록 명령한다. 일부 상황에서, 이득 및 노출 제어 루프(131)는 카메라 노출 시간에서의 감소와 비디오 파이프라인 이득에서의 감소 양쪽 모두를 자동으로 명령한다. 파워 및 노출 제어 루프(132)는 조명기(110)로부터의 출력 광 파워가 감소되어야 하는지를 결정한다. 출력 광 파워가 감소되어야 한다면, 파워 및 노출 제어 루프(132)는 고정된-크기의 동기화된 선형 스텝들에서 프레임별로 조명기(110)의 출력 광 파워를 감소시키고 카메라(120L 및 120R)의 노출 시간을 증가시킨다. 그러나, 출력 광 파워에서의 감소가 최소 출력 광 파워에 도달한다면, 조명기(110)의 출력 광 파워는 최소 출력 광 파워에 유지된다.
또 다른 양태에서, 카메라 제어 유닛(130L 및 130R)은 3개의 제어 루프(131, 132, 133)를 포함한다. (도 1b) 제어 루프(131,　132, 및　133)의 조합은 디스플레이된 장면(디스플레이된 장면은 캡처된 프레임 내의 장면임)의 타겟 밝기를 유지하도록 구성되고, 캡처된 프레임의 장면 내의 포화된 픽셀을 장면들 각각 내의 미리결정된 개수의 픽셀 미만으로 제한하도록 구성되며, 최소 조명기 출력을 유지하도록 구성된다. 이 양태에서, 제어 루프(131 및 132)는 전술된 바와 같이 동일한 방식으로 기능한다.
외과 의사를 산만하게 할 수 있는 밝기에서의 변화 외에도, 영역의 세부사항을 전달하지 못하는 디스플레이된 장면의 임의의 영역은 외과 의사를 산만케할 수 있다. 이미지 센서(121L 및 121R)는 픽셀이라고 부르는 웰(well)에서 광을 캡처한다. 각각의 웰은 제한된 용량을 가지며 너무 많은 광이 웰에 의해 캡처되면, 웰은 오버플로되어 어떠한 유용한 정보도 포함하지 않는다. 웰이 오버플로되면, 픽셀은 포화된 픽셀이라 부른다.
조직(103)의 영역이 너무 많은 광을 반사하여 조직의 그 영역에 의해 반사된 광을 캡처하는 픽셀들이 포화된다면, 외과 의사는 입체 디스플레이(151) 상에서 그 영역을 아무런 세부사항도 없는 밝은 점으로서 보게 된다. 조직의 성질, 영역 내의 혈관 등에 대한 임의의 정보가 소실된다. 따라서, 한 양태에서, 포화된 픽셀 제어 루프(133)는 전체의 프레임에서 포화된 픽셀들의 개수를 결정하고, 포화된 픽셀들의 개수가 외과 의사를 산만케하기에 충분히 많다면, 포화된 픽셀 제어 루프(133)는, 프레임 내의 포화된 픽셀들의 개수가 외과 의사를 산만케하는 수보다 작아질 때까지 고정된-크기 선형 스텝들에서 프레임별로 타겟 밝기를 감소시킨다. 그러나, 타겟 밝기에서의 감소는 범위 제한된다. 이것은, 타겟 밝기는, 시스템에 의해 설정된 또는 외과 의사에 의해 선택된 원래의 타겟 밝기의 고정된 퍼센트보다 많게 감소될 수 없다는 것을 의미한다, 예를 들어, 타겟 밝기에서의 최대 변화는 원래의 타겟 밝기의 35 퍼센트 미만으로 제한된다. 따라서, 포화된 픽셀 제어 루프(133)는 범위-제약된 감소를 타겟 밝기에 적용하도록 구성된다.
포화된 픽셀 제어 루프(133)는 전체 프레임에서 전체 개수의 포화된 픽셀들을 분석하기 때문에, 포화된 픽셀 제어 루프(133)의 동작은 프레임 내의 포화된 픽셀의 위치에 의존하지 않는다. 이 접근법은, 포화된 픽셀을 야기하는 피쳐의 위치가 디스플레이된 장면 내에서 변할 때, 예를 들어, 수술 도구가 장면 내에서 이리저리 움직일 때, 장면의 일관적인 디스플레이된 밝기를 유지한다.
내시경(101)(도 1a 및 도 1b)이 조직(103)을 향해 계속 이동하면, 결국 내시경(101)은 조직(103)과 접촉한다. 접촉은, 조직(103)으로부터의 반사된 휘도에서는 변화를 거의 또는 전혀 초래하지 않는 출력 광 파워 레벨에서의 변화를 검출함으로써 관찰된다. 이러한 상황이 카메라 제어 유닛(130L 및 130R)에 의해 검출되면, 조명기(110)의 출력 광 파워는 조직 접촉에 대해 안전한 레벨로 감소된다.
출력 광 파워에서의 변화가 조직(103)으로부터의 반사된 휘도에서 변화를 거의 또는 전혀 야기하지 않는 조직 접촉 이외의 상황이 존재한다, 예를 들어, 내시경(101)의 원위 첨두가 캐뉼라(cannula) 내로 물러날 때이다. 이러한 긍정 오류(false positive)가 내시경(101)의 동작을 방해하지 못하게 하도록, 조명기(101)의 출력 광 파워가 조직 접촉에 대해 안전한 레벨에 있는 동안, 출력 광 파워는 알려진 방식으로 변동된다. 출력 광 파워에서의 이러한 알려진 변동이 카메라 제어 유닛(130L 및　130R)에 의해 검출된다면, 내시경(101)은 조직과 접촉하지 않고, 카메라 제어 유닛(130L 및　130R)에 의해 출력 광 파워의 정상적 제어가 재개된다.
따라서, 한 양태에서, 제어기는, 조직(103)으로부터의 반사된 휘도를 모니터링함으로써 및 출력 광 파워를 모니터링함으로써, 조직과 내시경 첨두의 접촉을 검출한다. 제어기는 접촉의 검출시에 내시경 첨두로부터의 출력 광 파워를 감쇠시킨다. 반사된 휘도는 직접 측정되지 않기 때문에, 제어기는 반사된 휘도를 카메라 노출 시간에 대한 캡처된 장면의 전체 밝기의 비율로서 결정한다. 여기서, 전체 밝기는 프레임의 평균 밝기로서 취해진다.
따라서, 접촉을 검출하기 위해, 제어기는, 반사된 휘도, 즉, 카메라 노출 시간에 대한 캡처된 장면의 전체 밝기의 비율을 모니터링하고, 내시경(101)으로부터의 출력 광 파워를 모니터링한다. 제1 출력 광 파워로부터 제2 출력 광 파워로의 변경이 제1 출력 광 파워로부터 반사된 광으로부터의 캡처된 장면에 대한 비율과 비교해 비율에서의 변화를 초래하지 않는다면, 즉, 반사된 휘도에서의 변화를 야기하지 않는다면, 제어기는, 내시경 첨두가 조직과 접촉했다고 결정한다.
원격작동형 수술 시스템(100)(도 1a 및 도 1b)의 한 예는, California주, Sunnyvale시의 Intuitive Surgical, Inc.사에 의해 상용화된 최소한도로 침습적인 원격작동형 수술 시스템 da Vinci®이다. 원격작동형 수술 시스템(100A 및 100B)은 단지 예시일 뿐이고 제한적인 것을 의도하지 않는다. 이 예에서, 외과 의사의 콘솔(150)측의 외과 의사는 로봇 조작기 아암(미도시) 상에 탑재된 내시경(101)을 원격으로 조작한다. da Vinci® 수술 시스템과 연관된 다른 부품, 케이블 등이 존재하지만, 이들은 본 개시내용으로부터 산만해지는 것을 피하기 위해 도 1a 및 도 1b에 도시되지 않았다. 원격작동형 최소한도의 침습적인 수술 시스템에 관한 추가 정보는, 예를 들어, 참조에 의해 본 명세서에 포함되는, 미국 특허 출원 제11/762,165호(2007년 6월 13일 출원되고; Minimally Invasive Surgical System을 개시)와 미국 특허 번호 제6,331,181호(2001년 12월 18일 출원되고, Surgical Robotic Tools, Data Architecture, and Use를 개시)에 찾아볼 수 있다.
조명 시스템, 예를 들어, 조명기(110)는 내시경(101)에 결합된다. 한 양태에서, 조명기(110)는 광원(111) 및 조명 제어기(115)를 포함한다. 조명 제어기(115)는 광원(111)에 및 카메라 제어 유닛(130L,　130R)에 결합된다.
도 1의 양태에서, 광원(111)은 복수의 컬러 컴포넌트 조명 소스(112)를 포함한다. 한 양태에서, 복수의 컬러 컴포넌트 조명 소스(112)는 복수의 발광 다이오드(LED)를 포함한다. LED의 사용은 단지 예시일 뿐이고 제한적인 것을 의도하지는 않는다. 복수의 컬러 컴포넌트 조명 소스(112)는 또한, 예를 들어, LED 대신에 복수의 레이저 소스 또는 복수의 레이저 다이오드로 구현될 수 있다. 대안으로서, 광원(111)은 타원형 되반사기와 대역통과 필터 코팅을 갖춘 크세논 램프를 이용하여 가시 이미지를 위한 광대역 백색 조명 소스를 생성할 수 있다. 크세논 램프의 사용은 단지 예시일 뿐이고 제한적인 것을 의도하지는 않는다. 예를 들어, 고압 수은 아크 램프, 기타의 아크 램프, 또는 기타의 광대역 광원이 이용될 수도 있다.
이 양태에서, 조명기(110)는 조직(103)을 조명하기 위해 입체 내시경(101) 내의 적어도 하나의 조명 경로와 연계하여 이용된다. 조명기(110)로부터의 출력 광은 커넥터(116) 내로 향한다. 커넥터(116)는 광을 입체 내시경(101) 내의 조명 경로에 제공하고, 입체 내시경(101)은 차례로 그 광을 수술 부위(103)로 향하게 한다. 커넥터(116)와 입체 내시경(101)의 조명 경로 각각은, 예를 들어, 광 섬유 번들, 단일의 강성 또는 가요성 막대, 또는 광 섬유로 구현될 수 있다. 내시경(101)은 또한, 한 양태에서, 2개의 광학 채널, 즉, 수술 부위(103)로부터 반사된 광을 카메라(120L,　120R)로 전달하기 위한 입체 광학 경로를 포함한다.
카메라(120L)는 좌측 카메라 제어 유닛(130L)과 비디오 파이프라인(140)에 의해 외과 의사의 콘솔(150) 내의 입체 디스플레이(151)에 결합된다. 카메라(120R)는 우측 카메라 제어 유닛(130R)과 비디오 파이프라인(140)에 의해 외과 의사의 콘솔(150) 내의 입체 디스플레이(151)에 결합된다. 카메라 제어 유닛(130L,　130R)은 시스템 프로세스(162)로부터 신호를 수신한다. 시스템 프로세스(162) 및 중앙 제어기(160)는 시스템(100) 내의 다양한 제어기들 중 일부를 나타낸다.
디스플레이 모드 선택 스위치(152)는 신호를 사용자 인터페이스(161)에 제공하고, 사용자 인터페이스(161)는 차례로 선택된 디스플레이 모드, 예를 들어, 고파워 모드를 시스템 프로세스(162)에 전달한다. 시스템 프로세스(162) 내의 다양한 제어기들은 조명 제어기(115)를 구성하고, 원하는 이미지를 취득하도록 좌측 및 우측 카메라 제어 유닛(130L 및 130R)을 구성하며, 외과 의사가 디스플레이(150)에서 요청된 이미지를 프리젠팅받도록 취득된 이미지를 처리하는데 필요한 비디오 파이프라인(140) 내의 기타 임의의 요소들을 구성한다. 비디오 파이프라인(140)은, 여기서 제공된 상세사항을 제외하고, 공지된 비디오 파이프라인과 동등하다.
중앙 제어기(160)로서 설명되고 있지만, 중앙 제어기(160) 뿐만 아니라 여기서 설명되는 다른 제어기들 각각은 사실상 임의 개수의 모듈에 의해 구현될 수 있고, 각각의 모듈은 컴포넌트들의 임의 조합을 포함할 수 있다는 것을 이해해야 한다. 각각의 모듈과 각각의 컴포넌트는, 하드웨어, 프로세서 상에서 실행되는 소프트웨어, 및 펌웨어, 또는 이 셋의 조합을 포함할 수 있다. 또한, 중앙 제어기(160)과 다른 제어기들 각각의 기능과 작용들은, 여기서 설명되는 바와 같이, 하나의 모듈에 의해 수행되거나, 상이한 모듈들간에 분할되거나, 심지어 한 모듈의 상이한 컴포넌트들간에 분할될 수도 있다. 상이한 모듈들 또는 컴포넌트들간에 분할될 때, 모듈들 또는 컴포넌트들은 하나의 장소에 집중되거나 분산 처리 목적을 위해 시스템들(100A 및 100B)에 걸쳐 분산될 수도 있다. 따라서, 중앙 제어기(160)와 여기서 설명되는 다른 제어기들 각각은 단일의 물리적 엔티티로서 해석되어서는 안되고, 일부 양태에서는, 제어기들은 시스템들(100A 및 100B)에 걸쳐 분산될 수도 있다.
도 1a 및 도 1b에서, 카메라들(120L,　120R) 및 광원(112)은 내시경(101)에 외부적인 것으로서 도시되어 있다. 그러나, 한 양태에서, 카메라들(120L,　120R) 및 광원(112)은 내시경(101)의 원위 첨두에 포함된다. 예를 들어, 도 2에서, 카메라(220) 및 광원(211)은 원격작동형 수술 시스템(200)의 내시경(201)에 포함된다.
다시 한번, 원격작동형 수술 시스템(200)의 한 예는 앞서 논의된 최소한도로 침습적인 원격작동형 수술 시스템인 da Vinci®이다. 원격작동형 수술 시스템(200)은 단지 예시일 뿐이고 제한적인 것을 의도하지는 않는다. 원격작동형 수술 시스템(100A 및 100B)에서와 같이, da Vinci® 수술 시스템과 연관된 다른 부품, 케이블 등이 존재하지만, 이들은 본 개시내용으로부터 산만해지는 것을 피하기 위해 도 2에 도시되지 않았다.
이 예에서, 제어기는 또한 카메라 제어 유닛(230)과 조명 제어기(215)를 포함한다. 한 양태에서, 카메라 제어 유닛(230)은 카메라 제어 유닛들(130L 및 130R)을 나타내고 카메라(220)는 카메라들(120L 및 120R)을 나타낸다. 또 다른 양태에서, 카메라 제어 유닛(230)은 카메라(220) 내의 단일 광학 채널에 결합된다.
카메라 제어 유닛(230)은 디스플레이 유닛(251) 상에 디스플레이된 장면들의 밝기를 제어하는 자동-노출 모듈(232)을 포함한다. 또한, 조명 제어기(215)에 의한 출력 광 파워 제어도 역시 자동-노출 모듈(232) 내에 예속되어 수술 시나리오가 최대 출력 광 파워를 요구하지 않을 때 자동 조명기 디밍(dimming)을 제공하거나 수술 시나리오가 최소 출력 광 파워보다 많은 조명을 요구할 때 자동 조명기 밝게하기를 제공한다. 임상 응용에서, 양호한 품질의 비디오를 제공하기 위해 필요한만큼의 광만을 이용하는 것이 바람직하다. 이것은 더 높은 파워의 조명으로 인한 임의의 부정적인 조직 상호작용을 피한다.
타겟(203), 예를 들어, 수술 부위에 의해 반사된 광원(211)으로부터의 광(212)은 카메라(220)에 의해 컬러 장면으로서 캡처된다. 광원(211)은, 자동-노출 모듈(232)로부터의 명령에 응답하여 및 접촉 검출 모듈(233)로부터의 명령에 응답하여 조명 제어기(215)에 의해 제어되는 출력 광 파워(212)를 가진다. 타겟(203)은 타겟(203)의 밝기의 표시인 휘도(205)를 가진다. 보통은, 출력 광 파워(212)가 증가하거나 감소함에 따라 타겟(203)의 휘도(205)는 증가하거나 감소한다. 캡처된 이미지의 휘도와의 혼동을 피하기 위해, 타겟(203)의 휘도는 "반사된 휘도"라 부르고, 캡처된 이미지의 휘도는 "캡처된 이미지 휘도" 또는 "이미지 휘도"라 부른다.
한 양태에서, 카메라(220)는 롤링 셔터 카메라(rolling shutter camera)이다. 여기서 사용될 때, 롤링 셔터는, 카메라의 이미지 센서로부터 전체 프레임을 한 번에 판독하는 대신에, 프레임의 각 행으로부터 상부에서 하부로 차례로 정보가 판독된다는 것을 의미한다.
카메라(220)는 비디오 스트림을 포함하는 프레임들의 계속된 시퀀스를 캡처한다. 각각의 캡처된 프레임은, 소정 시점에서의 타겟(203)의 스냅샷인 컬러 장면을 포함한다. 비디오(221)는 카메라(220)로부터 카메라 제어 유닛(230) 내의 통계 모듈(231)로 스트리밍된다. 통계 모듈(231)은 비디오 스트림 내의 각각의 프레임에 대한 실시간 통계 정보를 수집한다. 이들 통계는, 자동-노출 모듈(232)에 공급되는 프레임의 픽셀 밝기의 히스토그램을 포함한다. 이하에서 더 완전히 설명되는 바와 같이, 자동-노출 모듈(232)은, 타겟 밝기, 카메라(220)의 노출 시간, 비디오 파이프라인(240)에서의 이득, 및 내시경(201)으로부터의 출력 광 파워를 제어한다. 한 양태에서, 자동-노출 모듈(232)은:
디스플레이 유닛(251) 상에 디스플레이된 비디오 이미지의 타겟 밝기를 유지하고;
카메라(220)에 의해 캡처된 각각의 장면에서 포화된 픽셀의 총 개수를 포화된 픽셀 임계치 아래로 유지하며;
카메라(220)에 의해 캡처된 장면들에 대한 타겟 밝기를 달성하는데 필요한 최소 출력 광 파워(최소 조명 밝기)를 유지하도록 구성된다.
또 다른 양태에서, 자동-노출 모듈(232)은:
디스플레이 유닛(251) 상에 디스플레이된 비디오 이미지의 타겟 밝기를 유지하고;
카메라(220)에 의해 캡처된 장면들에 대한 타겟 밝기를 달성하는데 필요한 최소 출력 광 파워(최소 조명 밝기)를 유지하도록 구성된다.
여기서 사용될 때, 타겟 밝기는 디스플레이 유닛(251) 상에 디스플레이된 장면들의 밝기이다. 때때로 원래의 타겟 밝기라고 하는, 초기 타겟 밝기는, 원격작동형 수술 시스템(200)에서, 예를 들어, 타겟 밝기 1500으로 설정된다. 그러나, 한 양태에서, 사용자가 사용자에게 허용가능한 디스플레이된 장면에 대한 타겟 밝기를 선택하는 것을 허용하는, 디스플레이 유닛(251) 상에 프리젠팅된 사용자 인터페이스에서 슬라이드 스위치(266)가 프리젠팅된다. 초기 타겟 밝기는, da Vinci® 원격작동형 수술 시스템 등의, 원격작동형 수술 시스템의 사용자들로부터의 피드백에 기초하여 실험적으로 결정된다. 타겟 밝기는, 이하에서 더 완전히 설명되는 바와 같이, 자동-노출 모듈(232) 내의 제어 루프들에서의 제어 파라미터이다.
이하에서 더 완전히 설명되는 바와 같이, 자동-노출 모듈(232)은, 장면의 평균 밝기가 타겟 밝기와 동등하도록 보장함으로써 프레임 내의 디스플레이된 장면의 일정한 밝기를 보장한다. 여기서, 장면의 평균(mean or average) 밝기는 장면의 전체 밝기 또는 프레임의 전체 밝기라 부른다. 자동-노출 모듈(232)은 또한, 범위-제약된 감소를 타겟 밝기에 적용함으로써 디스플레이된 장면 내의 포화된 픽셀의 영향을 제한한다. 자동-노출 모듈(232)은 히스테리시스를 동반한 밝기 임계치를 이용하여 조명기(210)의 출력 광 파워를 제어한다.
이하에서 더 완전히 설명되는 바와 같이, 자동-노출 모듈(232)에 의해 구현된 제어 시스템은 비디오 파이프라인 이득(236)과 카메라 노출 시간(238)을 제어한다. 포화된 픽셀의 부재시에, 캡처된 장면의 전체 밝기에서의 변화는 비디오 파이프라인 이득(236)과 카메라 노출 시간(238)의 선형 함수이다.
그러나, 장면 내의 임의의 포화된 픽셀은 고유하게 비선형이다. 불행하게도, 카메라(220) 및/또는 비디오 파이프라인(240)의 제한된 비트-깊이 또는 제한된 동적 범위와 결합된 매우 밝은 정반사성 하이라이트(specular highlight)는 디스플레이 유닛(251) 상에 디스플레이된 장면 내의 픽셀들의 포화를 초래한다. 또한, 포화된 픽셀들의 영역에서는 세부사항이 소실되기 때문에, 포화된 픽셀들은 이미지에서 바람직하지 못하다.
정반사성 하이라이트는 고도의 반사성 구조에서 생성되며 내시경(201)의 시야를 통해 이동하는 금속성 (고도로 반사성) 도구로부터 생성된다. 자동-노출 모듈(232)은, 도구가 장면 도처에 걸쳐 이동할 때 장면 밝기 변화를 최소화하고 임의의 자동-노출 파라미터들의 사용자-조절을 최소화하도록 구성된다.
장면 도처에 걸쳐 이동하는 반사성 도구의 영향을 최소화하는 한 방법은, 도구의 가장 가능성 큰 위치에 대한 원격작동형 수술 시스템(200)에서 이용가능한 공간 정보를 이용하고 도구가 위치해 있지 않을 가능성이 큰 장면의 영역에 자동-노출을 포커싱하는 것이다. 한 접근법은 장면의 중앙에서 직사각형 영역을 정의하는 것이다. 이 경우에 통계 모듈(231)은 직사각형 영역 내의 픽셀 위치들에 대해서만 이미지 통계를 생성할 것이다. 이것은, 도구가 디스플레이된 장면의 밝기에 영향을 미치지 않고, 장면의 주변에서 움직이는 것을 허용한다. 이 접근법은, 도구가 큰 이동 범위를 갖지 않아서 직사각형 영역을 관통하여 빈번하게 움직이지 않는 수술 절차 및 원격작동형 수술 시스템에 대해 유용할 수 있다.
그러나, 도구가 큰 이동 범위를 가져 직사각형 영역을 관통하여 움직인다면, 직사각형 영역만에 대한 통계의 이용은 비가시 장벽(영역의 외곽선)을 생성하고, 여기서, 반사성 도구가 이 장벽을 교차한다면, 자동-노출 모듈(232)이 고도로 반사성인 도구로부터의 반사에 기인하여 영역 내의 증가된 밝기에 대해 조절할 것이므로, 장면 밝기의 극적인 변화가 발생할 것이다. 비가시 장벽을 이동하는 도구와 연관된 밝기에서의 변화는 통상적으로 외과 의사를 산만케하고, 따라서, 이러한 변화는 바람직하지 않다. 이러한 이유로, 한 양태에서, 전체의 볼 수 있는 장면의 통계가 취해진다. 이 양태에서, 디스플레이된 장면을 생성하기 위해 전체의 프레임이 이용되기 때문에, 전체의 캡처된 프레임에 대한 통계가 생성된다. 또 다른 양태에서, 디스플레이된 장면을 생성하는데 이용되지 않는 픽셀들은 통계에 포함되지 않으며, 예를 들어, 비디오 처리는 디스플레이된 장면을 획득하기 위해 캡처된 프레임을 크롭(crop)하므로 크롭된 픽셀들은 통계를 생성하는데 이용되지 않는다.
따라서, 한 양태에서, 통계 모듈(231)은 카메라(220)의 이미지 센서에 의해 캡처된 프레임 내의 모든 픽셀 위치들에 대해 밝기 히스토그램을 생성한다. 프레임 내의 각각의 픽셀 위치에서, 적색, 녹색, 및 청색 픽셀들이 있다. 통계 모듈(231)은, 적색, 녹색, 및 청색 픽셀 값들을 그 픽셀 위치에 대한 밝기에 비례하는 값, 예를 들어, 이미지 휘도로 변환한다.
통계 모듈(231)은 가능한 밝기 값들 각각을 갖는 프레임 내의 픽셀 위치들의 개수를 카운팅하고 히스토그램을 생성한다. 밝기가 한 바이트 수로 표현된다면, 제로부터 255까지의 256개의 가능한 밝기 값들이 존재한다. 도 3은 포화된 픽셀들을 포함하는 프레임의 전형적인 히스토그램(300)을 도시한다. 가능한 밝기 값들이 x-축 상에 플롯팅되어 있다. 밝기 값들 각각에 대한 막대의 높이는 그 밝기 값을 갖는 프레임 내의 픽셀 위치들의 개수를 나타낸다. 또한, x-축을 따라 밝기의 그레이-스케일 표현이 있다.
통계 모듈(231)은 프레임 버퍼를 필요로 하지 않고 캡처된 프레임에 대한 통계를 생성하므로, 처리중인 프레임에 대한 추가의 스토리지를 요구하지 않을 뿐만 아니라, 프레임 버퍼로부터의 판독 및 저장에 요구되는 시간을 제거한다.
도 4는 자동-노출 모듈(232)의 한 양태에 대한 프로세스 흐름도이다. 이 양태에서, 자동-노출 모듈(232)은, 때때로 프로세스(441)라 부르는, 포화된 픽셀 제한(LIMIT SATURATED PIXELS) 프로세스(441), 때때로 프로세스(442)라 부르는, 이득 및 노출 시간 조절(ADJUST GAIN AND EXPOSURE TIME) 프로세스(442), 때때로 프로세스(443)라 부르는, 파워 및 노출 시간 조절(ADJUST POWER AND EXPOSURE TIME) 프로세스(443)를 포함한다.
자동-노출 모듈(232)은 도 1a 및 도 1b의 3개의 제어 루프들을 구현한다. 제1 제어 루프(포화 픽셀 제어 루프(133))는, 포화된 픽셀 제한 프로세스(441)를 포함하고, 제2 제어 루프(이득 및 노출 제어 루프(131))는, 이득 및 노출 시간 조절 프로세스(442)를 포함하며, 제3 제어 루프(파워 및 노출 제어 루프(132))는, 파워 및 노출 시간 조절 프로세스(443)를 포함한다. 자동-노출 모듈(232)에 의해 제공되는 제어가 안정적이도록 이들 3개의 제어 루프에 대해 시상수(time constant)들이 선택된다. 포화된 픽셀 제한 프로세스(441)를 포함하는 제1 제어 루프는, 이득 및 노출 시간 조절 프로세스(442)를 포함하는 제2 제어 루프의 시상수에 비해 긴 시상수를 가진다. 파워 조절 및 노출 조절 프로세스(443)를 포함하는 제3 제어 루프는, 제2 제어 루프의 시상수에 비해 긴 시상수를 가진다. 도 4가 3개의 프로세스들(441,　442, 및　443)을 나타내고 있지만, 일부 양태에서 프로세스들(442 및　443)만이 구현된다. 도 1a를 참조한다.
이하에서 더 완전히 설명되는 바와 같이, 포화된 픽셀 제한 프로세스(441)는 포화된 픽셀들에 의해 소비되는 디스플레이(251)의 총 스크린 면적을 시간에 관해 최소화시킨다. 포화된 픽셀 제한 프로세스(441)는 조절된 타겟 밝기(ADJUSTED TARGET BRIGHTESS, 444)를 제어하여 이 최소화를 수행한다. 도 5a는 포화된 픽셀 제한 프로세스(441)의 한 양태에 대한 프로세스 흐름도이다. 완료시에, 포화된 픽셀 제한 프로세스(441)는 이득 및 노출 시간 조절 프로세스(442)로 이전된다.
이득 및 노출 시간 조절 프로세스(442)는 비디오 파이프라인 이득 및 카메라 노출 시간을 제어한다. 이득 및 노출 시간 조절 프로세스(442)는, 조절된 타겟 밝기(444)에 대한 평균 프레임 밝기의 관계에 기초하여, 비디오 파이프라인 이득(VIDEO PIPELINE GAIN, 445) 및 카메라 노출 시간(CAMERA EXPOSURE TIME, 446) 중 하나를 조절한다. 비디오 파이프라인 이득(445)은 비디오 파이프라인 이득(236)을 제공한다. 카메라 노출 시간(446)은 카메라 노출 시간(238)을 제공한다.
도 5b는 이득 및 노출 시간 조절 프로세스(442)의 한 양태에 대한 프로세스 흐름도이다. 완료시에, 이득 및 노출 시간 조절 프로세스(442)는 파워 조절 및 노출 조절 프로세스(443)로 이전된다.
파워 조절 및 노출 조절 프로세스(443)는 조명기(210)의 출력 광 파워 및 카메라 노출 시간을 제어한다. 카메라 노출 시간이 제2 노출 임계치보다 작다면(도 6 참조), 출력 광 파워는 감소되고 카메라 노출 시간에 양성(positive) 조절이 적용되어 조명 변화를 보상한다. 카메라 노출 시간이 제1 노출 임계치보다 크다면(도 6 참조), 조명기(210)의 출력 광 파워는 증가되고 카메라 노출 시간에 음성(negative) 조절이 적용되어 조명 변화를 보상한다. 따라서, 파워 조절 및 노출조절 프로세스(443)는, 출력 광 파워(448)와 카메라 노출 시간 조절(447)의 변경이 필요한지를 결정한 다음, 다음 프레임의 처리를 위해 포화된 픽셀 제한 프로세스(441)로 처리를 복귀시킨다. 출력 광 파워(448)는 출력 광 파워(237)를 제공한다. 도 5c는 파워 조절 및 노출 조절 프로세스(443)의 한 양태에 대한 프로세스 흐름도이다.
상기에서 나타낸 바와 같이, 도 5a는 포화된 픽셀 제한 프로세스(441)의 한 양태를 나타낸다. 포화된 픽셀 계수 프로세스(501)는 히스토그램(300)의 가장 높은 빈(들) 내의 픽셀수를 계수한다. 가장 높은 빈(들), 예를 들어, 빈(255) 내의 픽셀수가 포화된 픽셀 임계치보다 크다면, 과도 포화된 픽셀 체크 프로세스(502)는 타겟 밝기 감소 프로세스(503)로 이전되고 그렇지 않다면 조절된 타겟 밝기 낮음 체크 프로세스(504)로 이전된다. 포화된 픽셀 계수 프로세스(501)가 이 양태에서는 포화된 픽셀 제한 프로세스(441)에 포함되는 것으로 도시되어 있지만, 포화된 픽셀 계수 프로세스(501)는 포화된 픽셀 제한 프로세스(441) 대신에 통계 모듈(231)에 포함될 수 있다.
한 양태에서, 때때로 프로세스(501)라 불리는, 포화된 픽셀 계수 프로세스(501)는 히스토그램(300)에서 포화된 픽셀(301)의 개수를 계수한다. 도 3의 예에서, 빈(255) 내의 포화된 픽셀들의 개수는 41873이다.
내시경(201)이 입체 내시경이라면, 통계 모듈(231)은 좌측 및 우측 광학 채널 각각에 대해 히스토그램을 생성한다. 내시경(201)이 입체 내시경이 아니라면, 통계 모듈(231)은 단일 광학 채널 각각에 대해 히스토그램을 생성한다. 한 양태에서, 밝기를 표시하기 위해 2 바이트가 사용되므로 히스토그램은 x축을 따라 512 빈(bin)을 가진다. 포화된 픽셀 계수 프로세스(501)는, 한 양태에서, 좌측 및 우측 히스토그램 각각의 빈(511) 내의 픽셀수의 합으로서, 포화된 픽셀들의 개수를 결정한다.
원격작동형 수술 시스템(200)의 일부 동작 모드들은 좌측 장면과 우측 장면 중 하나를 무효로 마킹할 수 있다. 이들 동작 모드에서, 포화된 픽셀의 계수는 유효한 장면의 히스토그램에 대해 이루어진다.
한 양태에서, 장면에서 허용된 포화된 픽셀들의 개수에 대한 포화된 픽셀 임계치는 경험적으로 결정되었다. 원격작동형 수술 시스템(200)은 디스플레이 유닛(251) 상에 디스플레이된 장면 내의 포화된 영역의 크기를 변화시키도록 구성되었다. 한 세트의 수술 작업이 시스템의 사용자들이 포화된 영역들을 그 작업의 달성을 산만케하거나 방해하는 것으로 라벨링하지 않고 수행될 수 있도록, 포화된 픽셀들의 개수에 대한 임계치와 포화된 픽셀들의 개수를 계수하는데 이용되는 빈을 결정하기 위해 이러한 시스템과 함께 임상 시험이 이용되었다.
한 양태에서, 히스토그램 내의 512개 빈들(빈 0 내지 빈 511로 라벨링됨)과 입체 내시경과 함께, 포화된 픽셀 임계치는 511 빈에서 12000으로서 선택되었다. 따라서, 이 양태의 경우, 과도 포화된 픽셀 체크 프로세스(502)는 포화된 픽셀 임계치 120000을 통계 모듈(231)로부터 수신된 좌측 히스토그램의 빈(511) 내의 포화된 픽셀의 총수와 우측 히스토그램의 빈(511) 내의 포화된 픽셀의 총수의 합과 비교했다. 최대 포화된 픽셀들의 개수, 및 포화된 픽셀을 계수하는데 이용되는 빈들의 개수를 조절함으로써, 자동-노출 모듈(232)은 스크린 상의 포화된 영역의 크기에 대해 튜닝될 수 있고, 비디오 파이프라인에서 나중에 이득을 보상할 수 있다. 프레임 내의 포화된 픽셀들의 개수가 포화된 픽셀 임계치보다 크다면, 체크 프로세스(502)는 타겟 밝기 감소 프로세스(503)로 이전된다.
좌측 및 우측 프레임의 동일한 빈 내의 포화된 픽셀의 총수를 이용하는 것은 디스플레이된 장면 내의 포화된 픽셀들의 총 면적의 측정을 준다(즉, 포화된 픽셀 영역은 픽셀들의 히스토그램에 거의 변화를 주지 않고 카메라의 시야 전체에 걸쳐 움직일 수 있다). 그럼에도 불구하고, 포화된 픽셀들의 개수가 포화된 픽셀 임계치를 초과하면, 타겟 밝기는 타겟 밝기 감소 프로세스(503)에 의해 저하된다. 결과적으로, 큰 영역의 포화된 픽셀들은 자동-노출 모듈(232)이 디스플레이된 장면을 어둡게하여 장면의 비-반사 영역이 너무 어두워지게 할 수 있다. 이러한 이유 때문에, 타겟 밝기에서의 감소는 범위-제한된다.
한 양태에서, 포화된 픽셀 제한 프로세스(441)에 대한 시상수는 4 내지 5초이고, 타겟 밝기에서의 최대 감소, 타겟 밝기에서의 범위 제한은 원래의 타겟 밝기(266)의 35 퍼센트이다. 타겟 밝기에 관한 범위 제한은 경험적으로 결정된다. 범위가 결정되어 수술 절차에서 이용될 수 있는 정보를 제공하는 것으로서 사용자들이 식별하는 디스플레이된 장면들의 가장 낮은 평균 밝기를 확인한다. 원래의 타겟 밝기에 대한 가장 낮은 평균 밝기의 비율은, 타겟 밝기에 관한 범위 제한을 정의하는데 이용된다, 예를 들어,
타겟 밝기 범위 제한 =
(1- (가장 낮은 허용가능한 평균 밝기/원래의 타겟 밝기))*100
프레임당 타겟 밝기의 허용된 변화를 결정하기 위해, 5초 시상수와 35 퍼센트 밝기 범위 제한의 경우, 초당 7 퍼센트의 변화가 허용된다. 초당 60 프레임을 캡처하는 카메라의 경우, 프레임당 타겟 밝기에서의 변화는, 캡처된 장면 내의 포화된 픽셀들의 개수가 포화된 픽셀 임계치보다 작거나, 또는 초기 타겟 밝기(266)로부터의 변화가 범위 제한되어, 예를 들어, 타겟 밝기가 타겟 밝기 범위 제한만큼 감소될 때까지, 0.11 퍼센트의 고정된 선형적 스텝이다. 이 예에서, 초기 타겟 밝기 1500과 35 퍼센트의 범위 제한의 경우, 타겟 밝기에 관한 한계는, (1500 * (1-0.35)), 즉, 한계치 975이다.
따라서, 조절된 타겟 밝기가 타겟 밝기 범위의 한계에 있지 않다면, 타겟 밝기 감소 프로세스(503)는 조절된 타겟 밝기를 하나의 고정된 크기 선형 스텝만큼 변화시키고 그 결과를 조절된 타겟 밝기(444)로서 저장한다. 타겟 밝기를 조절한 후에, 포화된 픽셀 제한 프로세스(441)는 이득 및 노출 시간 조절 프로세스(442)로 이전된다. 조절된 타겟 밝기가 타겟 밝기 범위의 한계에 있다면, 즉, 타겟 밝기가 범위 제한된다면, 타겟 밝기 감소 프로세스(503)는 아무런 행동도 취하지 않고 프로세스(442)로 이전된다.
가장 높은 빈(들) 내의 픽셀수가 포화된 픽셀 임계치보다 작다면, 과도 포화된 픽셀 체크 프로세스(502)는, 때때로 프로세스(504)라 불리는 조절된 타겟 밝기 낮음 체크 프로세스(504)로 이전된다. 프로세스(504)는 조절된 타겟 밝기(444)를 원래의 타겟 밝기(266)와 비교한다. 조절된 타겟 밝기(444)가 원래의 타겟 밝기(266)보다 작다면, 프로세스(504)는 타겟 밝기 증가 프로세스(505)로 이전되고, 그렇지 않다면 이득 및 노출 시간 조절 프로세스(442)로 이전된다.
타겟 밝기 증가 프로세스(505)는 조절된 노출 시간을 전술된 바와 같이 하나의 고정된 선형 크기 스텝만큼 증가시키고, 그 결과를 조절된 타겟 밝기(444)로서 저장한다. 프로세스(505)는 이득 및 노출 시간 조절 프로세스(442)로 이전된다.
상기에서 나타낸 바와 같이, 도 5b는 이득 및 노출 시간 조절 프로세스(442)의 한 양태를 나타낸다. 때때로 프로세스(511)라 불리는, 평균 프레임 밝기 계산 프로세스(511)는, 밝기 히스토그램으로부터, 때때로 평균 밝기라 불리는 밝기의 평균을 결정한다. 앞서 언급된 바와 같이, 내시경(201)이 입체 내시경이라면, 통계 모듈(231)은 좌측 및 우측 광학 채널 각각에 대해 히스토그램을 생성한다. 내시경(201)이 입체 내시경이 아니라면, 통계 모듈(231)은 단일 히스토그램을 생성한다. 따라서, 입체 내시경의 경우, 프로세스(511)는 좌측 광학 채널로부터 캡처된 좌측 장면에 대한 좌측 평균 밝기를 결정하고, 우측 광학 채널로부터 캡처된 우측 장면에 대한 우측 평균 밝기를 결정한다. 좌측 평균 밝기와 우측 평균 밝기는, 평균 프레임 밝기 ― 프레임의 전체 밝기를 구하기 위해 프로세스(501)에 의해 평균된다. 평균 프레임 밝기 계산 프로세스(511)가 이 양태에서는 이득 및 노출 시간 조절 프로세스(442)에 포함되는 것으로 도시되어 있지만, 평균 프레임 밝기 계산 프로세스(511)는 이득 및 노출 시간 조절 프로세스(442) 대신에 통계 모듈(231)에 포함될 수 있다.
원격작동형 수술 시스템(200)의 일부 동작 모드들은 좌측 장면과 우측 장면 중 하나를 무효로 마킹할 수 있다. 이들 동작 모드에서, 유효한 장면의 평균이 프로세스(511)에 의해 평균 프레임 밝기로서 취해진다. 평균 프레임 밝기를 결정한 후에, 프로세스(511)는 처리를 프레임 밝기 대 타겟 밝기 체크 프로세스(512)로 이전한다.
때때로 체크 프로세스(512)라 불리는 프레임 밝기 대 타겟 밝기 체크 프로세스(512)는, 평균 프레임 밝기를 조절된 타겟 밝기(444)와 비교한다. 평균 프레임 밝기가 조절된 타겟 밝기(444)보다 크다면, 체크 프로세스(512)는 이득 또는 노출 시간 감소 프로세스(514)로 이전된다. 평균 프레임 밝기가 조절된 타겟 밝기(444)보다 작다면, 체크 프로세스(512)는 이득 또는 노출 시간 증가 프로세스(513)로 이전된다.
처리가, 때때로 프로세스(513)라 불리는 이득 또는 노출 시간 증가 프로세스(513)로 이전될 때, 캡처된 이미지의 밝기는 너무 낮다. 카메라 노출 시간이 최대 카메라 노출 시간 Emax에 있지 않다면(도 6 참조), 프로세스(513)는 카메라 노출 시간을 증가시키고, 이것은 차례로 후속 캡처되는 프레임들의 평균 프레임 밝기를 증가시킨다. 그러나, 카메라 노출 시간이 최대 카메라 노출 시간 Emax에 있다면, 카메라 노출 시간은 더 이상 증가될 수 없다. 이 상황에서, 프로세스(513)는 비디오 파이프라인 이득을 증가시킨다.
따라서, 프로세스(513)는 먼저, 평균 프레임 밝기에 대한 조절된 타겟 밝기(444)의 비율을 결정한다. 평균 프레임 밝기는 조절된 타겟 밝기(444)보다 작기 때문에, 비율은 1보다 크다. 예로서, 비율이 1.2라고 가정하면, 밝기는 20 퍼센트만큼 증가될 필요가 있다. 밝기는 카메라 노출 시간의 선형 함수이다. 따라서, 카메라 노출 시간(446)이 최대 카메라 노출 시간 Emax보다 작다면, 프로세스(513)는 카메라 노출 시간(446)을 평균 프레임 밝기에 대한 조절된 타겟 밝기(444)의 비율로 곱하고, 예를 들어, 카메라 노출 시간은 1.2로 곱해지고, 그 결과는 카메라 노출 시간(446)으로서 저장된다. 카메라 노출 시간(446)이 최대 카메라 노출 시간 Emax라면, 프로세스(513)는 비디오 파이프라인 이득(445)을 평균 프레임 밝기에 대한 조절된 타겟 밝기(444)의 비율로 곱하고, 예를 들어, 비디오 파이프라인 이득은 1.2로 곱해지고, 그 결과는 비디오 파이프라인 이득(445)으로서 저장된다. 카메라 노출 시간(446)을 평균 프레임 밝기에 대한 조절된 타겟 밝기(444)의 비율로 곱하는 것이 최대 카메라 노출 시간 Emax보다 큰 카메라 노출 시간을 준다면, 증분은 카메라 노출 시간과 비디오 파이프라인 이득 사이에서 분할되어, 카메라 노출 시간(446)이 카메라 노출 시간 Emax에 있고 증분의 나머지가 비디오 파이프라인 이득(445)에 적용되게 한다. 20 퍼센트 증분을 갖는 예의 경우, 카메라 노출 시간(446)이 최대 카메라 노출 시간 Emax보다 10 퍼센트 낮다면, 카메라 노출 시간(446)이 증가되어 카메라 노출 시간(446)은 최대 카메라 노출 시간 Emax에 있고 비디오 파이프라인 이득(445)은, 나머지에 의해 증가된다, 예를 들어,
새로운 비디오 파이프라인 이득 = 1.2 * (1.0-0.1) = 1.08
완료시에, 프로세스(513)는 파워 및 노출 시간 조절 프로세스(443)로 이전된다.
처리가, 때때로 프로세스(514)라 불리는 이득 또는 노출 시간 감소 프로세스(514)로 이전될 때, 캡처된 이미지의 밝기는 너무 높다. 비디오 파이프라인 이득이 1보다 크다면(도 6 참조), 프로세스(514)는 비디오 파이프라인 이득을 감소시키고, 이것은 디스플레이된 장면의 밝기를 감소시킨다. 그러나, 비디오 파이프라인 이득이 1과 같다면, 프로세스(514)는 카메라 노출 시간을 감소시키고, 이것은 후속 캡처되는 이미지들의 평균 프레임 밝기를 감소시킨다.
따라서, 프로세스(514)는 먼저, 평균 프레임 밝기에 대한 조절된 타겟 밝기(444)의 비율을 결정한다. 평균 프레임 밝기는 조절된 타겟 밝기(444)보다 크기 때문에, 비율은 1보다 작다. 예로서, 비율이 0.8이라고 가정하면, 밝기는 20 퍼센트만큼 감소될 필요가 있다.
비디오 파이프라인 이득(445)이 1보다 크다면, 프로세스(514)는 비디오 파이프라인 이득(445)을 평균 프레임 밝기에 대한 조절된 타겟 밝기(444)의 비율로 곱하고, 예를 들어, 비디오 파이프라인 이득은 0.8로 곱해지고, 그 결과는 비디오 파이프라인 이득(445)으로서 저장된다. 비디오 파이프라인 이득(445)이 1이면, 프로세스(514)는 카메라 노출 시간(446)을 평균 프레임 밝기에 대한 조절된 타겟 밝기(444)의 비율로 곱하고, 예를 들어, 카메라 노출 시간은 0.8로 곱해지고, 그 결과는 카메라 노출 시간(446)으로서 저장된다. 비디오 파이프라인 이득(445)을 평균 프레임 밝기에 대한 조절된 타겟 밝기(444)의 비율로 곱하는 것이 1보다 작은 비디오 파이프라인 이득을 준다면, 감소분은 카메라 노출 시간과 비디오 파이프라인 이득 사이에서 분할되어, 비디오 파이프라인 이득(445)이 1에 있고 감소분의 나머지가 카메라 감소 시간(446)에 적용되게 한다. 20 퍼센트 감소를 갖는 예의 경우, 비디오 파이프라인 이득(445)이 1.1이면, 비디오 파이프라인 이득(445)은 1로 감소되고, 카메라 노출 시간(446)은 감소분의 나머지에 의해 감소되며, 예를 들어,
새로운 카메라 노출 시간
= 카메라 노출 시간 * (1 -0.2) / (1/1.1))
완료시에, 프로세스(514)는 파워 및 노출 시간 조절 프로세스(443)로 이전된다.
파워 및 노출 시간 조절 프로세스(443)는, 조명 제어기(215)에게 광원(211)의 바람직한 출력 광 파워와 함께 명령을 전송하고, 대응하는 노출 시간 조절을 카메라 노출 시간(446)에 전송함으로써 조명기(210)의 출력 광 파워를 제어한다. 출력 광 파워와 카메라 노출 시간에서의 변화는 도 7에 관하여 이하에서 설명되는 바와 같이 동기화된다.
도 5c는 파워 조절 및 노출 조절 프로세스(443)의 한 양태에 대한 프로세스 흐름도이다. 그러나, 도 5c를 고려하기 이전에, 도 5c의 프로세스에서 이용되는 파라미터들이 고려된다.
한 양태에서, 프로세스(443)는, 고정된-크기, 동기화된 스텝으로 광원(211)으로부터 출력된 조명의 밝기를 증가시키거나 감소시킨다. 카메라 노출 시간은 조명에서의 변화와 동일한 퍼센트로 변화된다, 예를 들어, 스텝 변경이 조명 출력을 1.006으로 곱한다면, 카메라 노출 시간은 1.006으로 나누어진다.
스텝의 고정된 크기를 확인하기 위해, 초단위의 램프 시간(ramp time) tramp는, 광원(211)으로부터 출력된 조명을, 최소 출력 광 파워 Pmin으로부터 최대 출력 광 파워 Pmax로, 및 그 역으로, 선형적으로 램프시키는데 이용되는 기간이다.
고정된 크기 출력 광 파워 스텝 Pstep은 다음과 같이 정의된다:
Pstep = (Pmax-Pmin)/(tramp*(카메라의 Frames/sec)).
예로서, 800 밀리와트의 최대 출력 광 파워, 400 밀리와트의 최소 출력 광 파워, 3초의 램프 시간 tramp, 및 초당 60 프레임을 캡처하는 카메라를 고려해 보자. 출력 광 파워가 변경된다면, 고정된 크기 스텝은 ±2.22 밀리와트/프레임이다. 현재의 출력 광 파워가 400 mW이면, 조명 출력은 (1+ (2.22/400)) 또는 1.0056로 곱해진다. 따라서, 카메라 노출 시간은 1.0056으로 나누어진다.
위에서 언급된 바와 같이, 조명에서의 변화는 디스플레이된 장면에서 주목할만한 깜빡임을 생성하지 않아야 한다. 따라서, 램프 시간은, 조명에서의 변화가 디스플레이 유닛(251) 상에 디스플레이된 장면에서의 주목할만한 밝기 깜빡임을 생성하지 않도록, 및 3개의 제어 루프가 안정적이도록, 예를 들어, 램프 시간이 제3 제어 루프에 대한 시상수이도록 선택된다. 따라서, 이들 예에서, 제1 제어 루프에 대한 시상수는 5초이고, 제3 제어 루프에 대한 시상수는 3초이다.
내시경(201)의 원위 첨두에서의 새로운 출력 광 파워 Pnew는 현재의 출력 광 파워 Pcurrent + 또는 - 출력 광 파워 스텝 Pstep, 즉,
Pnew = Pcurrent + Pstep
여기서, 이 예의 경우, 출력 광 파워 스텝 Pstep은, 제로, +2.22 또는 -2.22 중 하나이다. 출력 광 파워 스텝 Pstep에 대한 3개의 가능한 값들 중 어느 것이 이용되는지는, 후술되는 바와 같이, 카메라 노출 시간의 값에 의존한다. 또한, 도 7에 관하여 이하에서 더 완전히 설명되는 바와 같이, 출력 광 파워와 노출 시간에서의 변화는 파이프라인 프레임 시간에 동기화된다.
프레임당 출력 광 파워에서의 스텝 변화가 알려져 있는 동안, 조명 제어기(215)는, 광원이 LED일 때, 복수의 광원(211)의 각각의 광원에 대한 전류를 제어한다. 그러나, LED의 출력 광 파워는 전류에서의 변화에 관해 선형적이지 않다. 따라서, 출력 광 파워에서의 명령된 변화를 LED들 각각에 대한 전류로 변환하여 출력 광 파워가 내시경(201)의 원위 첨두에서 제공되도록 하기 위해 룩업 테이블이 이용된다.
룩업 테이블에서의 값들은 공지된 표준으로의 광원(211)의 캘리브레이션에 의해 결정된다. 출력 광 파워는 내시경(201)의 원위 첨두에 있으므로, 각각의 LED에 대한 전류는, 광원(211)의 실제 출력이 광원(211)의 출력과 내시경(201)의 원위 첨두 사이의 임의의 광의 감쇠를 고려하도록 충분히 더 높게 결정된다.
한 양태에서, 최대 출력 광 파워 Pmax는, 내시경(201)의 원위 첨두와 타겟(203) 사이의 최소 작업 거리에서, 최대 출력 광 파워 Pmax가 조직 손상을 생성하지 않도록 선택된다.
최소 출력 광 파워 Pmin은, 내시경(201)의 원위 첨두와 타겟(203) 사이의 최소 작업 거리에서, 디스플레이된 장면 내의 노이즈가 임계치 아래이고, 출력 광 파워가 조명기(210)의 최소 달성가능한 출력 광 파워 위에 있도록 선택된다.
조명 출력에서의 변화가 증가하는지, 감소하는지, 또는 동일하게 머무는지를 확인하기 위해, 카메라 노출 시간의 값이 이용된다. 평균 캡처된 장면 밝기가 높은 영역 3(603)(도 6) 내의 매우 작은 카메라 노출 시간에서, 출력 광 파워는 약화된다. 구체적으로는, 영역 3(603) 내의 카메라 노출 시간을 갖는 각각의 연속된 프레임에 대해, 출력 광 파워는 출력 광 파워 Pstep만큼 감소되고, 카메라(220)의 노출 시간은 출력 광 파워에서의 퍼센트 감소와 동일한 퍼센트만큼 증가된다. 출력 광 파워 스텝 Pstep이 조명 출력을 최소 출력 광 파워 Pmin 아래로 감소시키면, 조명 출력은 변하지 않고 조명 출력은 최소 출력 광 파워 Pmin에 유지되며 카메라(220)의 노출 시간은 변하지 않는다.
노출 시간에서의 증가와 조명에서의 대응하는 감소가 이전에 캡처된 이미지들과 대략 동일한 평균 밝기를 갖는 캡처된 이미지를 야기한다면, 카메라 노출 시간은 영역 2(602)를 향해 증가된다.
평균 캡처된 장면 밝기, 전체 장면 밝기가 높은 영역 1(601) 내의 매우 높은 카메라 노출 시간에서, 출력 광 파워는 증가된다. 구체적으로는, 영역 1(601) 내의 노출 시간을 갖는 각각의 연속된 프레임에 대해, 출력 광 파워는 출력 광 파워 스텝 Pstep만큼 증가되고, 카메라(220)의 노출 시간은 출력 광 파워에서의 퍼센트 증가와 동일한 퍼센트만큼 감소된다. 출력 광 파워에서의 변화가 조명 출력을 최대 출력 광 파워 Pmax 위로 증가시키면, 조명 출력은 변하지 않고 조명 출력은 최대 출력 광 파워 Pmax에 유지되며 카메라(220)의 노출 시간은 변하지 않는다.
노출 시간에서의 감소와 조명에서의 대응하는 증가가 이전에 캡처된 이미지들과 대략 동일한 평균 밝기를 갖는 캡처된 이미지를 야기한다면, 카메라 노출 시간은 영역 2(602)를 향해 감소된다.
따라서, 파워 및 노출 시간 조절 프로세스(443)를 포함하는 제어 루프는, 조명 출력이 영역 2(602)로 표시된 조명 출력 범위를 향해 이동하도록 조명을 변경한다. 영역 2(602)는 히스테리시스 영역이다.
가능한 범위까지, 조명 변화를 최소화시키는 것이 바람이다. 조명 변화와 연관된 밝기에서의 변화가 내시경(201)의 원위 첨두와 타겟(203) 사이의 평균 작업 거리에 위치해 있는 장면의 일부에 걸쳐 외과 의사에게 주목할만할 수준이 아닐 수 있지만, 평균 작업 거리보다 큰 장면 내의 위치들에서, 외과 의사는 산만하게 할 수 있는 밝기에서의 변화에 주목하는 경향이 있다. 따라서, 카메라 노출 시간에서의 변화와 함께 아무런 조명 또는 노출 변화도 이루어지지 않는 영역 2(602)는, 이 양태에서 가능한 카메라 노출 시간들의 범위의 50 퍼센트를 할당받는다. 본 개시내용에 비추어, 영역 2(602)의 범위는, 가능한 카메라 노출 시간들의 범위의 50 퍼센트 이외의 것으로서 선택될 수 있다.
따라서, 도 6에 도시된 바와 같이, 파워 및 노출 시간 조절 프로세스(443)가 카메라 노출 시간의 값에 기초하여 출력 광 파워와 카메라 노출 시간을 구성한다면. 제3 제어 루프, 파워 및 노출 제어 루프(132)는, 카메라 노출 시간이 제1 노출 임계치보다 크다면 출력 광 파워가 최대 출력 광 파워 Pmax보다 작은 한, 조명 출력을 증가시키고 카메라 노출 시간을 감소시킨다. 제3 제어 루프는, 카메라 노출 시간이 제2 노출 임계치보다 작다면, 출력 광 파워가 최소 출력 광 파워 Pmin보다 큰 한, 출력 광 파워를 증가시키고 카메라 노출 시간을 증가시킨다. 제3 제어 루프는, 노출 시간이 제1 노출 임계치와 제2 노출 임계치 사이에 있다면, 출력 광 파워와 카메라 노출 시간을 변경하지 않고 그대로 둔다.
한 양태에서 최대 출력 광 파워 Pmax는 출력 광 파워 800 밀리와트에 대응한다. 최소 출력 광 파워 Pmin은 400 밀리와트의 출력 광 파워에 대응하고, 최대 카메라 노출 시간 Emax는 4096이며, 최소 카메라 노출 시간 Emin은 제로이다.
도 5c로 가서, 때때로 프로세스(521)라 불리는, 노출 시간 제2 임계치 미만 체크 프로세스(521)는, 카메라 노출 시간(446)이 제2 노출 임계치 미만인지를 결정한다. 카메라 노출 시간(446)이 제2 노출 임계치 미만이면, 프로세스(521)는 처리를 조명 감소 및 노출 시간 증가 프로세스(523)로 이전하고, 그렇지 않다면, 처리를 노출 시간 제1 임계치 미만 체크 프로세스(522)로 이전한다.
처리가 때때로 프로세스(523)라 불리는 조명 감소 및 노출 시간 증가 프로세스(523)로 이전되면, 카메라 노출 시간(446)은 영역 3(603)에 있다. 따라서, 조명 출력이 최소 출력 광 파워 Pmin보다 큰 한, 프로세스(523)는 출력 광 파워(448), 예를 들어, 출력 광 파워 Pcurrent를 출력 광 파워 스텝 Pstep만큼 감소시킨다. 프로세스(523)는 또한, 카메라 노출 시간 조절(447) 내에 스텝 증가를 로딩하고, 이것은, 차례로, 카메라 노출 시간(446)을 증가시킨다. 조명 출력이 최소 출력 광 파워 Pmin과 동일하다면, 프로세스(523)는 아무런 행동도 취하지 않는다. 조명 감소 및 노출 시간 증가 프로세스(523)는 처리를 포화된 픽셀 제한 프로세스(441)로 이전한다.
체크 프로세스(521)가 처리를 노출 시간 제1 임계치 미만 체크 프로세스(522)로 이전한다면, 체크 프로세스(522)는 카메라 노출 시간(446)이 제1 노출 임계치 미만인지를 결정한다. 카메라 노출 시간(446)이 제1 노출 임계치 미만이면, 체크 프로세스(522)는 처리를 조명 증가 및 노출 시간 감소 프로세스(524)로 이전하고, 그렇지 않다면, 처리를 포화된 픽셀 제한 프로세스(441)로 이전한다.
처리가 때때로 프로세스(524)라 불리는 조명 증가 및 노출 시간 감소 프로세스(524)로 이전되면, 카메라 노출 시간(446)은 영역 1(601)에 있다. 따라서, 조명 출력이 최대 출력 광 파워 Pmax보다 작은 한, 프로세스(524)는 출력 광 파워(448), 예를 들어, 출력 광 파워 Pcurrent를 출력 광 파워 스텝 Pstep만큼 증가시킨다. 프로세스(524)는 또한, 카메라 노출 시간 조절(447) 내에 스텝 감소를 로딩하고, 이것은, 차례로, 카메라 노출 시간(446)을 감소시킨다. 출력 광 파워가 최대 출력 광 파워 Pmax와 동일하다면, 프로세스(524)는 아무런 행동도 취하지 않는다. 조명 증가 및 노출 시간 감소 프로세스(524)는 처리를 포화된 픽셀 제한 프로세스(441)로 이전한다.
파워 및 노출 시간 조절 프로세스(443)가 완료되면, 처리는 포화된 픽셀 제한 프로세스(441)로 복귀한다. 따라서, 프로세스들(441 내지 443)은 각각의 캡처된 프레임에 대해 반복된다.
조명 변화가 원격작동형 수술 시스템(200)의 사용자에게 보이지 않도록 하기 위해, 조명 변화는 카메라 노출 시간에서의 보상 변화와 동기화되어, 외과 의사에게 디스플레이된 비디오의 전체 밝기가 조명에서의 변화와 함께 대략 일정하게 머물게 한다. 예를 들어, 출력 광 파워에서의 감소와 카메라 노출 시간에서의 증가는 동일한 비디오 프레임 상에서 발생해야 한다. 여기서, 대략 일정하다라는 것은, 원격작동형 수술 시스템(200)의 공차 내에서 일정하다는 것을 의미한다.
원격작동형 수술 시스템(200)에서 비디오 스트림의 처리는 지연을 가진다. 조명 제어, 비디오 파이프라인 이득 제어, 카메라 노출 제어, 비디오 통계 수집 및 분석은 모두 상이한 파이프라인 지연을 가진다. 예를 들어, 비디오 스트림의 제1 프레임(701)에 대한 (도 7) 프레임 시간 t0에서, 프레임이 캡처되고 통계 모듈(231)에 의해 프레임(701)에 대한 통계가 수집되며 이전에 캡처된 프레임으로부터의 이득이 비디오 파이프라인 내에 기입된다.
프레임 시간 t1에서, 조명 출력, 및 카메라 노출 시간이 자동-노출 모듈(232)에 의해 계산되고, 카메라 노출 시간이 카메라(220)에 기입된다. 프레임 시간 t2의 시작시에, 출력 광 파워는 새로운 출력 광 파워 Pnew로 변경된다. 그 다음, 프레임 시간 t3에서, 제1 프레임(701)을 이용하여 생성된 노출 시간과 출력 광 파워로 카메라에 의해 프레임(702)이 캡처된다. 따라서, 새로운 노출 시간 및 출력 광 파워는 프레임(702)의 캡처에 대해 동기화된다.
이들 단계들은, 노출 시간과 조명기 밝기가 비디오의 모든 프레임에 대해 적용되도록 파이프라인화된다. 한 양태에서, 파이프라인 동기화는, 비디오 스트림과 함께 시스템(200) 전체를 통해 이동하는 비디오 프레임 동기화 신호에 메타데이터를 첨부함으로써, 즉, 비디오 스트림 내의 각각의 프레임에 메타데이터를 첨부함으로써 달성된다. 메타데이터는, 카메라 노출 시간, 조명기 밝기, 및 비디오 파이프라인 이득을 포함한다.
한 양태에서, 원격작동형 수술 시스템은, 외과 의사 명령을 통해 수술 분야에서 조명을 증가시키는 방법, 및 조직과 내시경(201) 사이의 접촉을 검출하기 위한 방법을 포함한다. 조직 접촉이 검출되면, 내시경(201)으로부터의 조명은 조직 접촉에 대해 안전한 레벨로 자동으로 감소된다.
디스플레이 유닛(251) 상에 디스플레이된 장면의 신호-대-잡음비는, 조명된 타겟(203)으로부터 카메라(220)의 이미지 센서로 다시 반사된 광의 감소에 따라 감소된다. 신호-대-잡음비에서의 이러한 감소는 내시경(201)의 이용가능한 작업 거리(204)(내시경 첨두와 촬상 타겟(203) 사이의 거리)를 제한할 수 있다.
그러나, 출력 광 파워 레벨과 조직 손상의 위험 사이에는 절충이 있다. 언급된 바와 같이, 증가된 출력 광 파워는 이용가능한 작업 거리(204)에서의 증가를 야기할 수 있다. 그러나, 증가된 출력 광 파워는 또한, 입사 광이 비-손상 레벨을 초과하도록 출력 광 파워가 충분히 높고 작업 거리는 충분히 낮다면, 조직 손상의 위험을 증가시킬 수 있다. 조직 손상의 증가된 위험은, 입사광의 증가된 광 파워 밀도로 인해, 또는 조직과 접촉하는 내시경 첨두의 증가된 온도로 인해 발생할 수 있다. 어느 경우든, 더 낮은 출력 광 파워 레벨이 더 적은 위험을 야기한다.
조직 손상의 위험을 피하기 위해, 내시경(201)으로부터의 출력 광 파워 레벨은, 출력 광 파워 레벨이 내시경과 조직 사이의 직접적인 접촉에 대해 안전하도록 제한된다. 그러나, 이것은 내시경(201)의 최대 작업 거리를 제한한다. 예의 목적을 위해, 1와트 미만의 출력 광 파워 레벨은 통상적으로 안정한 것으로 여겨진다고 고려해보자. 그러나, 한 양태에서, 원격작동형 수술 시스템(200)은, 출력 광 파워가 안전한 출력 광 파워보다 큰, 예를 들어, 출력 광 파워가 1.5 와트 등의 1 와트보다 큰, 높은 빔 동작 모드를 포함한다.
한 양태에서, 때때로, 고전파워 동작 모드라고 불리는 높은 빔 동작 모드는, 외과 의사가 외과 의사의 콘솔 상의 물리적 스위치(265)를 작동함으로써 개시된다. 또 다른 양태에서, 높은 빔 동작 모드는, 외과 의사가 디스플레이 유닛(251) 상에 디스플레이된 사용자 인터페이스에서 프리젠팅된 스위치를 클릭함으로써 개시된다.
외과 의사가 높은 빔 모드를 제어하는 경우, 높은 빔 동작 모드는, 이 동작 모드에서는 출력 광 파워가 안전하다고 여겨지는 수준보다 크기 때문에, 조직 손상의 위험이 낮을 때에만 작동되어야 한다. 복부 시술에서 수술 부위를 조사하는 것은, 높은 빔 동작 모드에 대한 전형적인 응용일 것이다. 그러나, 외과 의사가 부주의로 내시경(201)을 조직에 너무 가까이 이동시킬 위험이나, 조직과의 의도치 않은 접촉의 위험이 여전히 있다.
내시경(201)이 부주의로 조직에 너무 가까이 이동된다면, 캡처된 영상의 평균 밝기가 증가하고, 그에 따라 자동-노출 모듈(232)은, 앞서 설명된 바와 같이, 카메라 노출 시간을 감소시킨다. 카메라 노출 시간이 계속 감소됨에 따라, 노출 시간은 영역 3(603)에 도달한다. 그 다음, 자동-노출 모듈(232)은 출력 광 파워의 감소를 개시한다. 따라서, 조직에 너무 가까운 내시경(201)의 부주의한 이동에 의해 야기되는 조명 증가는 출력 광 파워를 감소시킴으로써 자동-노출 모듈(232)에 의해 자동으로 핸들링된다.
내시경(201)이 조직과 접촉한다면, 접촉은 접촉 검출 모듈(233)에 의해 검출되고, 조명은 정상 동작 모드에서 또는 높은 빔 동작 모드에서 적절한 레벨로 감소된다. 접촉 검출 모듈(233)은, 출력 광 파워에서의 변화 ― 증가 또는 감소 ―가 타겟(203)로부터의 평균 반사 휘도에서의 대응하는 변화를 야기하지 않는때를 검출함으로써 조직 접촉을 결정하고, 여기서, 평균 반사된 휘도는 캡처된 장면의 평균 밝기를 카메라 노출 시간으로 나눈값으로서 취해진다. 장면의 평균 밝기는 평균 프레임 밝기 계산 프로세스(511)(도 5c)에 의해 결정되고, 카메라 노출 시간은 카메라 노출 시간(446)에서 이용가능하다. 대안으로서, 평균 프레임 밝기 계산 프로세스(511)(도 5c)는 접촉 검출 모듈(233) 또는 통계 모듈(231)에 포함될 수 있다.
예를 들어, 카메라 렌즈 내에 어떠한 광도 들어가지 못하게 내시경의 첨두가 덮일 때, 즉, 조직과 접촉할 때, 자동-노출 시스템(232)은 출력 광 파워를 증가시킬 것이다. 그러나, 조직 접촉은 여전히, 반사된 광이 카메라 도달하지 못하게 한다. 결과적으로, 출력 광 파워가 증가될 때 평균 반사된 휘도에서 아무런 변화가 없다. 따라서, 접촉 검출 모듈(233)은 조직 접촉을 검출하고, 출력 광 파워를 조직 접촉에 대해 안전한 레벨로 감쇠시킨다. 한 양태에서, 조직 접촉에 대해 안전한 출력 광 파워는 최소 출력 광 파워보다 크다. 그러나, 조직 손상이 내시경 첨두와 조직 사이의 접촉으로부터의 전도성 열에 의해 지배된다면, 조직 접촉에 대해 안전한 출력 광 파워는 최소 출력 광 파워 아래일 수 있다.
한 양태에서, 접촉 검출 모듈(233)은 자동-노출 모듈(232)의 출력 광 파워 제어를 디스에이블하고 조명 제어기(215)에게 출력 광 파워를 안전한 레벨로 감소시킬 것을 명령한다. 대안으로서, 접촉 모듈(233)은, 광원(211)으로부터의 출력 광 파워를 안전한 레벨로 감소시키는 광원(211) 내의 감쇠기를 활성화할 것을 조명 제어기(215)에 명령한다.
한 양태에서, 조직 접촉 검출은 다음과 같이 구현된다:
dL / dI = 0
여기서,
dL은 2개의 캡처된 프레임의 평균 반사된 휘도에서의 변화이고,
dI는 2개의 캡처된 프레임에 대한 출력 광 파워에서의 변화이다.
또 다른 양태에서, 접촉은, 하기 내용이 만족될 때 검출된다:
-임계치 < dL / dI < 임계치
여기서,
임계치는 dL 및 dI의 측정에서 측정 불확실성 및 노이즈를 포괄한다.
따라서, 접촉 검출 방법은 다양한 출력 광 파워를 이용한다. 동적 조명 제어를 갖춘 시스템에서, 출력 광 파워는 조직이 내시경의 첨두에 접근할 때 변한다. 자동-노출 제어는, 조직이 내시경(201)의 첨두에 접근할 때 출력 광 파워를 감소시킨다. 일단 조직이 내시경(201)의 첨두와 접촉하고 나면, 광 파워에서의 변화에 의해 반사된 휘도에서의 거의 없는 변화 또는 무변화가 검출된다. 이러한 상태의 검출시에, 조명기 밝기는 감쇠된다, 즉, 조직 접촉에 안전한 미리결정된 레벨, 예컨대 조명 Pmin으로 감소된다.
또 다른 양태에서, 출력 광 파워에서의 변화와 함께 반사된 휘도에서의 변화를 모니터링하는 것 대신에, 조직이 내시경 첨두와 접촉할 때 특징적인 전체 반사된 휘도 프로파일이 접촉 검출 또는 개선된 접촉 검출을 위해 이용된다. 특징적 전체 반사된 휘도 프로파일은 시간 영역 또는 주파수 영역에 있을 수 있다. 캡처된 장면으로부터 결정된 평균 반사된 휘도가 임계치량 내에서 특징적 전체 휘도 프로파일과 정합한다면, 접촉이 검출된다. 한 양태에서, 특징적 전체 반사된 휘도 프로파일은, 내시경 첨두가 조직에 접근하여 접촉할 때 장면의 전체 반사된 휘도를 측정함으로써 경험적으로 결정된다.
접촉하는 조직의 제거가 반사된 휘도 변화를 초래하지 않는다면, 시스템(200)이 낮은 밝기 상태에 갇히는 상황이 있을 수 있다. 조명기(210)의 출력 광 파워가 변하지 않는 "갇히는" 상태를 피하기 위해, 낮은-레이트 출력 광 파워 디더링 기술(dithering technique)이 채용된다. 조직-접촉이 검출되면, 접촉 검출 모듈(233)은 디더 모듈(217)을 인에이블한다. 디더 모듈(217)은 비-접촉 상태를 검출하는 신뢰성을 증가시키기 위해 안전한 레벨에 관한 알려진 방식으로 출력 광 파워를 변화시킨다.
예를 들어, 디더 모듈(217)은 광원(211)으로부터의 출력 광 파워를 안전한 레벨에 관해 알려진 시변동 방식으로, 예를 들어, 정현파 방식으로 변화시킬 수 있다. 시변동 반사된 낮은 레벨 출력 광 파워가 카메라에 도달하면, 자동-노출 모듈(232)은 출력 광 파워에서의 변화를 검출한다, 예를 들어, 캡처된 장면에서의 평균 밝기에서의 변화를 검출하며, 이것은 내시경(201)의 첨두가 더 이상 조직과 접촉하지 않는다는 것을 의미한다. 따라서, 접촉 검출 모듈(233)은, 자동-노출 모듈(232)이 출력 광 파워를 제어할 수 있도록 리셋된다.
여기서 설명된 다양한 모듈들은 프로세서 상에서 실행되는 소프트웨어, 하드웨어, 펌웨어, 또는 이 셋의 임의 조합에 의해 구현될 수 있다. 모듈들이 프로세서 상에서 실행되는 소프트웨어에 의해 구현될 때, 소프트웨어는 컴퓨터 판독가능한 명령어로서 메모리에 저장되고 컴퓨터 판독가능한 명령어는 프로세서 상에서 실행된다. 메모리의 전부 또는 일부는, 프로세서가 메모리에 결합될 수 있는 한 프로세서와는 상이한 물리적 위치에 있을 수 있다. 메모리란, 휘발성 메모리, 비휘발성 메모리, 또는 이 둘의 임의 조합을 말한다.
또한, 여기서 설명된 다양한 모듈들의 기능은, 하나의 유닛에 의해 수행되거나, 상이한 컴포넌트들간에 분할되며, 이들 각각은 하드웨어, 프로세서 상에서 실행되는 소프트웨어, 펌웨어의 임의의 조합에 의해 구현될 수 있다. 상이한 컴포넌트들간에 분할될 때, 컴포넌트들은 하나의 장소에 집중되거나 분산 처리 목적을 위해 시스템(200)에 걸쳐 분산될 수도 있다. 다양한 모듈들의 실행은, 다양한 모듈들에 대해 전술된 프로세스들을 수행하는 방법들을 야기한다.
프로세서는 프로세서에 의해 실행되는 명령어들을 포함하는 메모리에 결합된다. 이것은 컴퓨터 시스템 내에서, 또는 모뎀 및 아날로그 라인을 통하거나 디지털 인터페이스 및 디지털 캐리어 라인을 통한 또 다른 컴퓨터로의 접속을 통해서 달성될 수 있다.
여기서, 컴퓨터 프로그램 제품은 여기서 설명된 프로세스들의 임의의 일부 또는 전부에 대해 필요한 컴퓨터 판독가능한 코드를 저장하도록 구성된, 또는 이들 프로세스들의 임의의 일부 또는 전부에 대한 컴퓨터 판독가능한 코드가 저장되는 컴퓨터 판독가능한 매체를 포함한다. 컴퓨터 프로그램 제품의 일부 예는, CD-ROM 디스크, DVD 디스크, 플래시 메모리, ROM 카드, 플로피 디스크, 자기 테이프, 컴퓨터 하드 드라이브, 네트워크 상의 서버 및 컴퓨터 판독가능한 프로그램 코드를 나타내는 네트워크를 통해 전송되는 신호이다. 비일시적 유형의 컴퓨터 프로그램 제품은, 프로세스들의 임의의 일부 또는 전부에 대한 컴퓨터 판독가능한 명령어를 저장하도록 구성된, 또는 프로세스들의 임의의 일부 또는 전부에 대한 컴퓨터 판독가능한 명령어가 저장되는 유형의 컴퓨터 판독가능한 매체를 포함한다. 비일시적 유형의 컴퓨터 프로그램 제품은 CD-ROM 디스크, DVD 디스크, 플래시 메모리, ROM 카드, 플로피 디스크, 자기 테이프, 컴퓨터 하드 드라이브, 및 기타의 물리적 저장 매체이다.
본 개시내용에 비추어, 여기서 설명된 프로세스들의 임의의 일부 또는 전부에서 이용되는 명령어는 운영 체제 및 사용자에게 관심대상이 되는 컴퓨터 프로그래밍 언어를 이용한 광범위한 컴퓨터 시스템 구성에서 구현될 수 있다.
본 발명의 양태 및 실시예를 예시하는 상기 설명 및 첨부된 도면들은 제한적인 것으로서 취해져서는 안된다―청구항들이 보호된 본 발명의 정의한다. 본 설명과 청구항들의 사상과 범위로부터 벗어나지 않고, 다양한 기계적, 구성적, 구조적, 전기적, 및 동작적 변경이 이루어질 수 있다. 일부 예에서, 공지된 회로, 구조, 및 기술들은, 본 발명을 흐리게 하는 것을 피하기 위하여 상세히 도시되거나 설명되지 않았다.
또한, 본 설명의 용어는 본 발명을 제한하기 위한 것이 아니다. 예를 들어, "아래의(beneath)", "아래쪽의(below)", "하위의(lower)", "위의(above)", "상위의(upper)", "근접한", "먼" 등과 같은 공간적으로 상대적인 용어들이, 도면들에 나타낸 한 요소 또는 피쳐에 대한 또 다른 요소 또는 피쳐의 관계를 설명하는데 사용될 수 있다. 이들 공간적으로 상대적인 용어들은, 도면들에 도시된 위치 및 배향 외에도, 사용 중이거나 동작 중인 디바이스의 상이한 위치(즉, 장소) 및 배향(즉, 회전적 배치)을 포괄하도록 의도된 것이다.
예를 들어, 도면 내의 디바이스가 뒤집히면, 다른 요소나 피쳐의 "아래쪽의" 또는 "아래의"로서 설명된 요소는 그 다른 요소 또는 피쳐의 "위의" 또는 "위쪽의"일 것이다. 따라서, 예시적인 용어 "아래쪽의"는 "위의" 및 "아래쪽의" 위치와 배향 양쪽 모두를 포함할 수 있다. 디바이스는 다른 방식으로 배향될 수도 있고(90도 회전되거나 기타의 배향), 여기서 사용된 공간적으로 상대적인 기술자(descriptor)는 그에 따라 해석될 수 있다.
마찬가지로, 다양한 축을 따른 및 축 주변의 움직임의 설명은 다양한 특별한 디바이스 위치와 배향을 포함한다. 단수 형태, "한(a)", "하나의(an)", 그 하나의(the)"는, 문맥상 달리 표시하지 않는 한, 복수 형태도 역시 포함하는 것을 의도한다. 용어 "포함한다(comprises)", "포함하는(comprising)", "내포한다(include)" 등은, 진술된 피쳐, 단계, 동작, 요소, 및/또는 컴포넌트의 존재를 명시하지만, 하나 이상의 다른 피쳐, 단계, 동작, 요소, 컴포넌트, 및/또는 그룹의 존재나 추가를 배제하지 않는다.
결합된 것으로 설명된 컴포넌트들은 전기적으로 또는 기계적으로 직접 결합되거나, 또는 이들은 하나 이상의 중간 컴포넌트를 통해 간접 결합될 수 있다. 본 개시내용에 비추어, 보강된 디스플레이 시스템에 관하여 여기서 설명된 동작들의 임의의 하나 또는 임의의 조합에서 이용되는 명령어는 운영 체제 및 사용자에게 관심대상이 되는 컴퓨터 프로그래밍 언어를 이용한 광범위한 컴퓨터 시스템 구성에서 구현될 수 있다.
모든 예들과 예시적 참조들은 비제한적이며 청구항들을 여기서 설명된 특정한 구현 및 실시예와 그 균등물로 제한하기 위해 이용되어서는 안된다. 표제들은 단지 서식화를 위한 것일 뿐이고, 한 표제하의 본문은 하나 이상의 표제하의 본문을 상호참조하거나 이에 적용될 수 있기 때문에, 어떠한 방식으로든 본 주제를 제한하기 위해 이용되어서는 안 된다. 마지막으로, 본 개시내용에 비추어, 하나의 양태 또는 실시예와 관련하여 설명된 특정한 피쳐는, 도면에 구체적으로 도시되거나 본문에서 설명되지 않더라도, 본 발명의 다른 개시된 양태 또는 실시예에 적용될 수 있다.

Claims (15)

  1. 시스템으로서,
    명령어를 저장하는 메모리; 및
    메모리에 통신가능하게 연결된 프로세서를 포함하고,
    프로세서는:
    장면의 조명 밝기에서의 변화에 응답한 장면의 캡처된 프레임의 휘도에서의 변화가 임계치 미만인 것을 결정하도록; 그리고
    장면의 캡처된 프레임의 휘도에서의 변화가 임계치 미만인 것에 대한 결정에 기초하여, 장면의 조명 밝기의 감쇠를 명령하도록
    명령어를 실행하도록 구성되는, 시스템.
  2. 제1항에 있어서,
    프로세서는:
    알려진 패턴으로의 장면의 조명 밝기의 변화를 명령하도록; 그리고
    카메라에 의한 알려진 패턴의 검출에 응답하여 장면의 조명 밝기의 감쇠를 종료하도록
    명령어를 실행하도록 더 구성되는, 시스템.
  3. 제1항 또는 제2항에 있어서,
    프로세서는:
    장면의 프레임의 평균 밝기와 장면의 후속적으로 캡처된 프레임의 평균 밝기에 기초하여 장면의 캡처된 프레임의 휘도에서의 변화를 검출하도록
    명령어를 실행하도록 더 구성되는, 시스템.
  4. 제3항에 있어서,
    프로세서는:
    장면의 프레임에 대한 밝기 히스토그램을 생성하도록;
    장면의 프레임에 대한 밝기 히스토그램에 기초하여 장면의 프레임의 평균 밝기를 결정하도록;
    장면의 후속적으로 캡처된 프레임에 대한 밝기 히스토그램을 생성하도록; 그리고
    장면의 후속적으로 캡처된 프레임에 대한 밝기 히스토그램에 기초하여 장면의 후속적으로 캡처된 프레임의 평균 밝기를 결정하도록
    명령어를 실행하도록 더 구성되는, 시스템.
  5. 제4항에 있어서,
    프로세서는:
    장면의 프레임의 휘도를 장면의 프레임을 캡처한 카메라의 노출 시간에 대한 장면의 프레임의 평균 밝기의 비율로서 결정하도록; 그리고
    장면의 후속적으로 캡처된 프레임의 휘도를 카메라의 노출 시간에 대한 장면의 후속적으로 캡처된 프레임의 평균 밝기의 비율로서 결정하도록
    명령어를 실행하도록 더 구성되는, 시스템.
  6. 제1항 또는 제2항에 있어서,
    프로세서는:
    장면의 프레임을 캡처한 카메라의 카메라 노출 시간 및 장면의 디스플레이된 프레임의 밝기를 제어하는 이득 중 하나 또는 둘 다를 조절하도록; 그리고
    카메라 노출 시간의 값에 기초하여, 장면의 조명 밝기 및 카메라 노출 시간을 조절하여 장면의 디스플레이된 프레임의 타겟 밝기를 유지하도록
    명령어를 실행하도록 더 구성되는, 시스템.
  7. 방법으로서,
    내시경 제어 시스템에 의해, 장면의 조명 밝기에서의 변화에 응답한 장면의 캡처된 프레임의 휘도에서의 변화가 임계치 미만인 것을 결정하는 단계; 및
    내시경 제어 시스템에 의해, 장면의 캡처된 프레임의 휘도에서의 변화가 임계치 미만인 것에 대한 결정에 기초하여, 장면의 조명 밝기의 감쇠를 명령하는 단계를 포함하는, 방법.
  8. 제7항에 있어서,
    내시경 제어 시스템에 의해, 알려진 패턴으로의 장면의 조명 밝기의 변화를 명령하는 단계; 및
    내시경 제어 시스템에 의해, 카메라에 의한 알려진 패턴의 검출에 응답하여 장면의 조명 밝기의 감쇠를 종료하는 단계를 더 포함하는, 방법.
  9. 제7항 또는 제8항에 있어서,
    내시경 제어 시스템에 의해, 장면의 프레임의 평균 밝기와 장면의 후속적으로 캡처된 프레임의 평균 밝기에 기초하여 장면의 캡처된 프레임의 휘도에서의 변화를 검출하는 단계를 더 포함하는, 방법.
  10. 제9항에 있어서,
    내시경 제어 시스템에 의해, 장면의 프레임에 대한 밝기 히스토그램을 생성하는 단계;
    내시경 제어 시스템에 의해, 장면의 프레임에 대한 밝기 히스토그램에 기초하여 장면의 프레임의 평균 밝기를 결정하는 단계;
    내시경 제어 시스템에 의해, 장면의 후속적으로 캡처된 프레임에 대한 밝기 히스토그램을 생성하는 단계; 및
    내시경 제어 시스템에 의해, 장면의 후속적으로 캡처된 프레임에 대한 밝기 히스토그램에 기초하여 장면의 후속적으로 캡처된 프레임의 평균 밝기를 결정하는 단계를 더 포함하는, 방법.
  11. 제10항에 있어서,
    내시경 제어 시스템에 의해, 장면의 프레임의 휘도를 장면의 프레임을 캡처한 카메라의 노출 시간에 대한 장면의 프레임의 평균 밝기의 비율로서 결정하는 단계; 및
    내시경 제어 시스템에 의해, 장면의 후속적으로 캡처된 프레임의 휘도를 카메라의 노출 시간에 대한 장면의 후속적으로 캡처된 프레임의 평균 밝기의 비율로서 결정하는 단계를 더 포함하는, 방법.
  12. 제7항 또는 제8항에 있어서,
    내시경 제어 시스템에 의해, 장면의 프레임을 캡처한 카메라의 카메라 노출 시간 및 장면의 디스플레이된 프레임의 밝기를 제어하는 이득 중 하나 또는 둘 다를 조절하는 단계; 및
    내시경 제어 시스템에 의해, 카메라 노출 시간의 값에 기초하여, 장면의 조명 밝기 및 카메라 노출 시간을 조절하여 장면의 디스플레이된 프레임의 타겟 밝기를 유지하는 단계를 더 포함하는, 방법.
  13. 명령어를 저장하는 비일시적 컴퓨터 판독가능 매체로서, 명령어는, 실행될 때, 컴퓨터 시스템의 프로세서로 하여금:
    장면의 조명 밝기에서의 변화에 응답한 장면의 캡처된 프레임의 휘도에서의 변화가 임계치 미만인 것을 결정하도록; 그리고
    장면의 캡처된 프레임의 휘도에서의 변화가 임계치 미만인 것에 대한 결정에 기초하여, 장면의 조명 밝기의 감쇠를 명령하도록 하는, 비일시적 컴퓨터 판독가능 매체.
  14. 제13항에 있어서,
    명령어는, 실행될 때, 컴퓨터 시스템의 프로세서로 하여금 추가로:
    알려진 패턴으로의 장면의 조명 밝기의 변화를 명령하도록; 그리고
    카메라에 의한 알려진 패턴의 검출에 응답하여 장면의 조명 밝기의 감쇠를 종료하도록 하는, 비일시적 컴퓨터 판독가능 매체.
  15. 제13항 또는 제14항에 있어서,
    명령어는, 실행될 때, 컴퓨터 시스템의 프로세서로 하여금 추가로:
    장면의 프레임의 평균 밝기와 장면의 후속적으로 캡처된 프레임의 평균 밝기에 기초하여 장면의 캡처된 프레임의 휘도에서의 변화를 검출하도록 하는, 비일시적 컴퓨터 판독가능 매체.
KR1020227025574A 2014-03-17 2015-03-17 조직 접촉 검출과 자동-노출 및 조명 제어를 위한 시스템 및 방법 KR102524391B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237013025A KR102587513B1 (ko) 2014-03-17 2015-03-17 조직 접촉 검출과 자동-노출 및 조명 제어를 위한 시스템 및 방법

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201461954381P 2014-03-17 2014-03-17
US201461954336P 2014-03-17 2014-03-17
US61/954,336 2014-03-17
US61/954,381 2014-03-17
KR1020217021895A KR102425786B1 (ko) 2014-03-17 2015-03-17 조직 접촉 검출과 자동-노출 및 조명 제어를 위한 시스템 및 방법
PCT/US2015/020892 WO2015142799A1 (en) 2014-03-17 2015-03-17 System and method for tissue contact detection and for auto-exposure and illumination control

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217021895A Division KR102425786B1 (ko) 2014-03-17 2015-03-17 조직 접촉 검출과 자동-노출 및 조명 제어를 위한 시스템 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237013025A Division KR102587513B1 (ko) 2014-03-17 2015-03-17 조직 접촉 검출과 자동-노출 및 조명 제어를 위한 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20220110596A KR20220110596A (ko) 2022-08-08
KR102524391B1 true KR102524391B1 (ko) 2023-04-24

Family

ID=54145195

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020217021895A KR102425786B1 (ko) 2014-03-17 2015-03-17 조직 접촉 검출과 자동-노출 및 조명 제어를 위한 시스템 및 방법
KR1020227025574A KR102524391B1 (ko) 2014-03-17 2015-03-17 조직 접촉 검출과 자동-노출 및 조명 제어를 위한 시스템 및 방법
KR1020237013025A KR102587513B1 (ko) 2014-03-17 2015-03-17 조직 접촉 검출과 자동-노출 및 조명 제어를 위한 시스템 및 방법
KR1020167028336A KR102278806B1 (ko) 2014-03-17 2015-03-17 조직 접촉 검출과 자동-노출 및 조명 제어를 위한 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020217021895A KR102425786B1 (ko) 2014-03-17 2015-03-17 조직 접촉 검출과 자동-노출 및 조명 제어를 위한 시스템 및 방법

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020237013025A KR102587513B1 (ko) 2014-03-17 2015-03-17 조직 접촉 검출과 자동-노출 및 조명 제어를 위한 시스템 및 방법
KR1020167028336A KR102278806B1 (ko) 2014-03-17 2015-03-17 조직 접촉 검출과 자동-노출 및 조명 제어를 위한 시스템 및 방법

Country Status (6)

Country Link
US (3) US10512512B2 (ko)
EP (2) EP3834702A1 (ko)
JP (4) JP6707033B2 (ko)
KR (4) KR102425786B1 (ko)
CN (2) CN106456276B (ko)
WO (1) WO2015142799A1 (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3834702A1 (en) 2014-03-17 2021-06-16 Intuitive Surgical Operations, Inc. System and method for tissue contact detection and for auto-exposure and illumination control
JP2017118296A (ja) * 2015-12-24 2017-06-29 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP7000861B2 (ja) * 2016-02-16 2022-02-04 ソニーグループ株式会社 画像処理装置、医療機器の作動方法及びプログラム
CN110337260B (zh) * 2017-03-30 2022-03-25 Hoya株式会社 电子内窥镜装置
US11268444B2 (en) * 2017-05-18 2022-03-08 Raytheon Technologies Corporation Turbine cooling arrangement
US10560629B2 (en) 2017-05-23 2020-02-11 Google Llc Systems and methods for automatic exposure in high dynamic range video capture systems
CN107610187B (zh) * 2017-09-19 2021-01-26 海信视像科技股份有限公司 一种用于医疗内窥装置采集图像的控制方法、装置及内窥系统
US20200306000A1 (en) * 2017-12-06 2020-10-01 Sony Olympus Medical Solutions Inc. Medical control apparatus and control method
WO2019167298A1 (ja) * 2018-02-28 2019-09-06 オリンパス株式会社 被検体観察システム、被検体観察システムの作動方法
JP7073145B2 (ja) * 2018-03-12 2022-05-23 ソニー・オリンパスメディカルソリューションズ株式会社 医療用調光制御装置、および医療用調光制御装置の作動方法
CN112118778A (zh) * 2018-05-21 2020-12-22 奥林巴斯株式会社 内窥镜系统
US10638921B2 (en) * 2018-07-20 2020-05-05 Arthrex, Inc. Medical imaging system
US10979648B2 (en) * 2018-11-07 2021-04-13 Inuitive Ltd. Stereoscopic apparatus and a method for determining exposure time
JP7191978B2 (ja) * 2018-11-12 2022-12-19 オリンパス株式会社 内視鏡用光源装置、内視鏡装置及び光量調整方法
EP3709628B1 (en) * 2019-03-14 2020-12-23 Axis AB Control of an illuminator
JP7252023B2 (ja) * 2019-03-22 2023-04-04 ソニー・オリンパスメディカルソリューションズ株式会社 画像処理装置及び医療用観察システム
CN110049257B (zh) * 2019-05-31 2021-09-21 影石创新科技股份有限公司 一种确定半同步曝光参数的方法及电子装置
WO2021026158A1 (en) * 2019-08-05 2021-02-11 GYRUS ACMI, INC., d/b/a Olympus Surgical Technologies America Signal coordinated delivery of laser therapy
DE102019128554A1 (de) * 2019-10-22 2021-04-22 Schölly Fiberoptic GmbH Endoskopieverfahren zur verbesserten Darstellung eines Videosignals sowie zugehöriges Endoskopiesystem und Computerprogrammprodukt
US11576554B2 (en) * 2019-12-20 2023-02-14 Verily Life Sciences Llc Method for adjusting an exposure of an endoscope
CN111948798B (zh) * 2020-08-21 2022-04-01 上海微创医疗机器人（集团）股份有限公司 内窥镜系统及用于检测内窥镜的末端与组织接触的方法
JP2022070310A (ja) * 2020-10-27 2022-05-13 Hoya株式会社 光源装置、および内視鏡システム
JP2022076076A (ja) * 2020-11-09 2022-05-19 Hoya株式会社 光源装置、および内視鏡システム
US11375141B1 (en) 2021-02-09 2022-06-28 Arthrex, Inc. Endoscopic camera region of interest autoexposure
CN112911165B (zh) * 2021-03-02 2023-06-16 杭州海康慧影科技有限公司 内窥镜曝光方法、装置及计算机可读存储介质
US11812938B2 (en) 2021-03-31 2023-11-14 Moon Surgical Sas Co-manipulation surgical system having a coupling mechanism removeably attachable to surgical instruments
US11819302B2 (en) 2021-03-31 2023-11-21 Moon Surgical Sas Co-manipulation surgical system having user guided stage control
US11844583B2 (en) 2021-03-31 2023-12-19 Moon Surgical Sas Co-manipulation surgical system having an instrument centering mode for automatic scope movements
US11832909B2 (en) 2021-03-31 2023-12-05 Moon Surgical Sas Co-manipulation surgical system having actuatable setup joints
WO2022208414A1 (en) 2021-03-31 2022-10-06 Moon Surgical Sas Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery
US11839442B1 (en) 2023-01-09 2023-12-12 Moon Surgical Sas Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery while estimating hold force

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008104467A (ja) 2006-10-23 2008-05-08 Pentax Corp 自動調光処理機能を備えた内視鏡装置

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5789842A (en) 1980-11-25 1982-06-04 Olympus Optical Co Endoscope apparatus
JP2511883B2 (ja) * 1986-06-18 1996-07-03 株式会社日立製作所 燃料電池
US5469840A (en) * 1991-12-10 1995-11-28 Olympus Optical, Ltd. Electromotive warping type endoscope with velocity control
JPH06300976A (ja) * 1993-04-12 1994-10-28 Fuji Photo Optical Co Ltd 光量絞り制御をする電子内視鏡装置
US6080104A (en) * 1995-05-16 2000-06-27 Asahi Kogaku Kogyo Kabushiki Kaisha Electronic endoscope system
US5647368A (en) * 1996-02-28 1997-07-15 Xillix Technologies Corp. Imaging system for detecting diseased tissue using native fluorsecence in the gastrointestinal and respiratory tract
US6331181B1 (en) 1998-12-08 2001-12-18 Intuitive Surgical, Inc. Surgical robotic tools, data architecture, and use
JPH10192232A (ja) 1997-01-14 1998-07-28 Olympus Optical Co Ltd 内視鏡装置
JP4349689B2 (ja) * 1998-06-26 2009-10-21 Ｈｏｙａ株式会社 電子内視鏡
JP4031591B2 (ja) * 1999-03-19 2008-01-09 フジノン株式会社 変倍機能を有する電子内視鏡装置
US6425858B1 (en) * 1999-03-19 2002-07-30 Fuji Photo Optical Co., Ltd. Electronic endoscope apparatus having magnification changing function
JP3235832B2 (ja) 1999-08-10 2001-12-04 オリンパス光学工業株式会社 内視鏡装置
US6464633B1 (en) * 1999-08-23 2002-10-15 Olympus Optical Co., Ltd. Light source device for endoscope using DMD
DE60109989T2 (de) * 2000-06-26 2006-02-23 Fuji Photo Film Co. Ltd., Minamiashigara Vorrichtung zur Aufnahme von Fluoreszenzbildern
JP2002078670A (ja) 2000-06-26 2002-03-19 Fuji Photo Film Co Ltd 蛍光撮像装置
JP2002085345A (ja) 2000-07-11 2002-03-26 Asahi Optical Co Ltd 電子内視鏡
JP4100875B2 (ja) 2001-03-26 2008-06-11 フジノン株式会社 電子内視鏡装置
KR100411631B1 (ko) * 2001-10-18 2003-12-18 주식회사 메디미르 형광 내시경 장치 및 그 장치를 이용한 진단부위 조상 방법
JP3938675B2 (ja) * 2001-10-26 2007-06-27 オリンパス株式会社 光源装置
US6511422B1 (en) * 2002-04-30 2003-01-28 Karl Storz Imaging, Inc. Method and apparatus for protection from high intensity light
JP2005040400A (ja) 2003-07-23 2005-02-17 Olympus Corp 光学的観察プローブ
WO2005101980A2 (en) 2004-04-26 2005-11-03 Given Imaging Ltd. Device, system, and method of wide dynamic range imaging
JP2006055503A (ja) 2004-08-23 2006-03-02 Pentax Corp 電子内視鏡装置
DE102005011121B4 (de) * 2004-10-14 2016-04-28 Möller-Wedel GmbH & Co. KG Verfahren zum optimierten Einstellen der Lichtleistung in der Objektebene bei Auflichtmikroskopen
CN101188965B (zh) 2005-06-08 2012-08-08 奥林巴斯医疗株式会社 内窥镜装置
JP4908003B2 (ja) 2006-01-30 2012-04-04 富士フイルム株式会社 電子内視鏡装置
AU2007254159B2 (en) * 2006-05-19 2013-07-04 Mako Surgical Corp. System and method for verifying calibration of a surgical device
US20080108871A1 (en) * 2006-11-06 2008-05-08 Mohr Catherine J Vacuum stabilized overtube for endoscopic surgery
US8498695B2 (en) 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
CN102176855B (zh) * 2008-10-24 2013-09-18 奥林巴斯医疗株式会社 胶囊型内窥镜系统
JP4857393B2 (ja) * 2009-06-10 2012-01-18 オリンパスメディカルシステムズ株式会社 カプセル型内視鏡装置
US8512232B2 (en) 2009-09-08 2013-08-20 Gyrus Acmi, Inc. Endoscopic illumination system, assembly and methods for staged illumination of different target areas
US9211058B2 (en) * 2010-07-02 2015-12-15 Intuitive Surgical Operations, Inc. Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra
DE102010033423A1 (de) * 2010-08-04 2012-02-09 Karl Storz Gmbh & Co. Kg Endoskop mit einstellbarer Blickrichtung
JP2012065690A (ja) * 2010-09-21 2012-04-05 Olympus Corp 内視鏡装置及び内視鏡装置の制御方法
JP5653163B2 (ja) 2010-10-19 2015-01-14 Hoya株式会社 内視鏡装置
WO2012056860A1 (ja) * 2010-10-26 2012-05-03 オリンパスメディカルシステムズ株式会社 内視鏡
JP5258869B2 (ja) * 2010-12-13 2013-08-07 富士フイルム株式会社 内視鏡装置
US8698885B2 (en) * 2011-02-14 2014-04-15 Intuitive Surgical Operations, Inc. Methods and apparatus for demosaicing images with highly correlated color channels
EP2691142B1 (en) 2011-03-22 2020-07-29 Given Imaging Ltd. Systems and methods for synchronizing between an in-vivo device and a localization system
JP5865606B2 (ja) * 2011-05-27 2016-02-17 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
US8878920B2 (en) * 2011-07-12 2014-11-04 Karl Storz Imaging, Inc. Method and apparatus for protection from high intensity light
JP5814698B2 (ja) * 2011-08-25 2015-11-17 オリンパス株式会社 自動露光制御装置、制御装置、内視鏡装置及び内視鏡装置の作動方法
CN102694981B (zh) * 2012-05-11 2014-10-29 中国科学院西安光学精密机械研究所 基于自适应阈值分割的直方图均衡化的自动曝光方法
US9258549B2 (en) * 2012-05-14 2016-02-09 Intuitive Surgical Operations, Inc. Single-chip sensor multi-function imaging
JP5623469B2 (ja) 2012-07-06 2014-11-12 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡用制御プログラム
US9413976B2 (en) 2012-08-08 2016-08-09 Intuitive Surgical Operations, Inc. Auto exposure of a camera in a surgical robot
US20140052004A1 (en) * 2012-08-15 2014-02-20 Arthrex, Inc. Endoscopic camera illumination system and method
EP3834702A1 (en) * 2014-03-17 2021-06-16 Intuitive Surgical Operations, Inc. System and method for tissue contact detection and for auto-exposure and illumination control

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008104467A (ja) 2006-10-23 2008-05-08 Pentax Corp 自動調光処理機能を備えた内視鏡装置

Also Published As

Publication number Publication date
US10512512B2 (en) 2019-12-24
JP7376552B2 (ja) 2023-11-08
KR20210091357A (ko) 2021-07-21
KR102425786B1 (ko) 2022-07-28
WO2015142799A1 (en) 2015-09-24
JP2020171710A (ja) 2020-10-22
US20220218424A1 (en) 2022-07-14
JP6707033B2 (ja) 2020-06-10
EP3119318B1 (en) 2021-03-10
JP2023178470A (ja) 2023-12-14
KR20160134739A (ko) 2016-11-23
KR20220110596A (ko) 2022-08-08
US20200078108A1 (en) 2020-03-12
US20170095297A1 (en) 2017-04-06
CN110772205B (zh) 2022-04-12
EP3834702A1 (en) 2021-06-16
US11331156B2 (en) 2022-05-17
JP2017510348A (ja) 2017-04-13
EP3119318A4 (en) 2017-12-13
CN106456276A (zh) 2017-02-22
KR102278806B1 (ko) 2021-07-19
JP2022009921A (ja) 2022-01-14
CN106456276B (zh) 2019-12-10
CN110772205A (zh) 2020-02-11
KR102587513B1 (ko) 2023-10-11
KR20230058176A (ko) 2023-05-02
EP3119318A1 (en) 2017-01-25
JP6972233B2 (ja) 2021-11-24

Similar Documents

Publication Publication Date Title
KR102524391B1 (ko) 조직 접촉 검출과 자동-노출 및 조명 제어를 위한 시스템 및 방법
US11759093B2 (en) Surgical system including a non-white light general illuminator
JP2017510348A5 (ko)
US11800968B2 (en) Method for adjusting an exposure of an endoscope
JP5855795B2 (ja) 内視鏡装置
JP2010207460A (ja) 観察装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant