KR102278509B1 - 광 부족 환경에서 연속된 비디오 - Google Patents

광 부족 환경에서 연속된 비디오 Download PDF

Info

Publication number
KR102278509B1
KR102278509B1 KR1020157002688A KR20157002688A KR102278509B1 KR 102278509 B1 KR102278509 B1 KR 102278509B1 KR 1020157002688 A KR1020157002688 A KR 1020157002688A KR 20157002688 A KR20157002688 A KR 20157002688A KR 102278509 B1 KR102278509 B1 KR 102278509B1
Authority
KR
South Korea
Prior art keywords
electromagnetic radiation
emitter
digital imaging
imaging system
image sensor
Prior art date
Application number
KR1020157002688A
Other languages
English (en)
Other versions
KR20150037955A (ko
Inventor
로랑 블랑카르
조슈아 디. 탈버트
도날드 엠. 위천
존 리차드슨
제레미아 디. 헨리
Original Assignee
디퍼이 신테스 프로덕츠, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디퍼이 신테스 프로덕츠, 인코포레이티드 filed Critical 디퍼이 신테스 프로덕츠, 인코포레이티드
Publication of KR20150037955A publication Critical patent/KR20150037955A/ko
Application granted granted Critical
Publication of KR102278509B1 publication Critical patent/KR102278509B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051—Details of CCD assembly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N5/2354—
    • H04N5/3532—
    • H04N5/361—

Abstract

본 발명은 광 부족 환경에서 이미지를 생성하기 위한 방법, 시스템, 및 컴퓨터 프로그램 제품에 확장하고 연관된 구조, 방법 및 특징이 개시되고 기술된다. 시스템의 특징은 구간, 세기, 혹은 둘 다를 통해 광원을 제어하고, 블랭킹 기간 동안 성분 제어된 광원을 펄싱하고, 최적 광이 될 수 있게 블랭킹 기간을 최대화하고, 컬러 밸런스를 유지하는 것을 포함할 수 있다.

Description

광 부족 환경에서 연속된 비디오{CONTINUOUS VIDEO IN A LIGHT DEFICIENT ENVIRONMENT}
관련 출원에 대한 상호참조
이 출원은 다음 언급되는 출원의 임의의 부분이 이 출원과 일관되지 않는 경우에 이 출원은 다음 언급되는 출원을 대신하는 이러한 예외를 갖고 참조로 포함되는 것으로, 특정하게 이하 나타나는 부분 -이것으로 제한되는 것은 아니다- 을 포함하여, 전체를 참조로 본원에 포함시키는 2012년 7월 26일에 출원된 미국 가 특허 출원번호 61/676,289, 및 2013년 3월 15일에 출원된 미국 가 특허 출원번호 61/790,487의 우선권을 주장한다.
기술에서 진보는 의료 용도를 위한 이미징 능력에서 진보를 제공하였다. 가장 이익이 되는 진보 중 일부를 향유하였던 한 영역은 내시경을 구성하는 성분들에서의 진보 때문에 내시경 수술 절차의 영역이다.
발명은 일반적으로 전자기 감지 및 센서에 관한 것이다. 발명은 또한 저 에너지 전자기 스루풋 조건 뿐만 아니라 저 에너지 전자기 입력 조건에 관한 것이다. 발명은, 반드시 전적으로는 아니지만, 특히, 광 부족 환경 및 연관된 구조에서 이미지를 생성하기 위한 시스템, 구간, 세기 또는 둘 다를 통해 광원을 제어하고, 블랭킹 기간 동안 성분 제어된 광원을 펄싱하고, 최적의 광이 될 수 있게 블랭킹 기간을 최대화하고, 컬러 밸런스를 유지하는 것을 포함할 수 있는, 방법 및 특징들에 관한 것이다.
발명의 특징 및 잇점은 다음 설명에 개시될 것이며, 부분적으로 설명으로부터 명백할 것이며, 혹은 과도한 실험 없이 발명의 실시예에 의해 알게 될 수 있다. 발명의 특징 및 잇점은 특히 첨부된 청구항에 개시된 기기 및 조합에 의해 실현되고 얻어질 수 있다.
발명의 비제한적 및 비고갈적 구현예는 달리 특정되지 않는 한 여러 도면 전체에 걸쳐 동일 구성요소에 동일 참조부호를 사용한 다음 도면을 참조하여 기술된다. 발명의 잇점은 다음 설명 및 동반된 도면에 관련하여 더 잘 이해될 것이다.
도 1은 -발명의 원리 및 교시되는 바에 따라 행해진 광 부족 환경에서 이미지를 생성하는데 사용하기 위한 동작에서 쌍이 된 센서 및 전자기 방출기의 시스템의 실시예의 개요도이다.
도 2는 상호보완적 시스템 하드웨어의 개요도이다.
도 2a 내지 도 2d는 발명의 원리 및 교시되는 바에 따라 한 이미지 프레임을 구축하기 위해 사용되는 센서의 동작 사이클을 도시한 것이다.
도 3은 발명의 원리 및 교시되는 바에 따라 전자기 방출기의 실시예의 동작의 그래프도이다.
도 4는 발명의 원리 및 교시되는 바에 따라 노출 제어를 제공하기 위해서 방출된 전자기 펄스의 구간 및 크기를 가변시키는 그래프도이다.
도 5는 발명의 원리 및 교시되는 바에 따라 동작 동안 이미징 시스템을 시사하는 도 2a 내지 도4의 센서, 전자기 방출기 및 방출된 전자기 펄스를 조합한 발명의 실시예의 그래프도이다.
도 6은 발명의 원리 및 교시되는 바에 따라 풀 스펙트럼 광 및 파티션된 스펙트럼 광에 대해 한 프레임의 비디오를 기록하기 위한 t(0) 내지 t(1) 시간의 기간에 걸쳐 2개의 구별되는 프로세스의 개요도이다.
도 7a 내지 도 7e는 발명의 원리 및 교시되는 바에 따라 풀 스펙트럼 광 및 파티션된 스펙트럼 광에 대해 한 프레임의 비디오를 기록하기 위한 시간 간격에 걸친 프로세스의 개요도이다.
도 8 내지 도 12는 전자기 방출기 및 센서의 조절을 도시한 것으로, 이러한 조절은 발명의 원리 및 교시되는 바에 따라 일부 실시예에서 동시에 행해질 수 있다.
도 13 내지 도 21은 발명의 원리 및 교시되는 바에 따라 파티션된 광 시스템에 사용하기 위한 센서 정정 방법 및 하드웨어 개요를 도시한 것이다.
도 22 및 도 23은 발명의 원리 및 교시되는 바에 따라 폐쇄된 혹은 제한된 광 환경 내에 동적범위를 증가시키기 위한 방법 및 하드웨어 개요를 도시한 것이다.
도 24는 컬러 정정이 없는 것에 비교한 전형적인 바이에르-기반 센서에 대한 컬러 정정의 신호 대 노이즈 비의 영향을 도시한 것이다.
도 25는 sRGB 개멋에 비견되는 3 단색의 레이저의 색도를 도시한 것이다.
도 26 내지 도 27b는 발명의 원리 및 교시되는 바에 따라 폐쇄된 혹은 제한된 광 환경 내에 동적범위를 증가시키기 위한 방법 및 하드웨어 개요를 도시한 것이다.
도 28a 내지 도 28c는 대응하는 컬러 센서에 펄싱된 및/또는 이와 동기되는 백색 광 방출의 사용을 도시한 것이다.
도 29a 및 도 29b는 발명의 교시된 바 및 원리에 따라 3차원 이미지를 생성하기 위한 복수의 화소 어레이를 갖는 구현예를 도시한 것이다.
도 30a 및 도 30b는 복수의 기판 상에 형성된 이미징 센서의 구현예의 사시도 및 측면도를 각각 도시한 것으로, 화소 어레이를 형성하는 복수의 화소 컬럼은 제 1 기판 상에 위치되고, 복수의 회로 컬럼은 제 2 기판 상에 위치되고 연관된 혹은 대응하는 컬럼의 회로에 한 컬럼의 화소들 간에 전기적 연결 및 통신을 도시한다.
도 31a 및 도 31b는 3차원 이미지를 생성하기 위한 복수의 화소 어레이를 갖는 이미징 센서의 구현예의 사시도 및 측면도이며, 복수의 화소 어레이 및 이미지 센서는 복수의 기판 상에 형성된다.
도 32 내지 도 36은 다양한 기계식 필터 및 셔터 구성을 포함하는 방출기의 실시예도이다.
발명은 주로 의료 응용에 적합할 수 있는 디지털 이미징을 위한 방법, 시스템, 및 컴퓨터 기반 제품에 확장한다. 발명의 다음 설명에서, 이의 부분을 형성하고 예시로서 발명이 실시될 수 있는 구체적 구현예를 도시한 동반된 도면을 참조한다. 다른 구현이 이용될 수 있으며 발명의 범위 내에서 구조적 변경이 행해질 수 있음이 이해된다.
예를 들면, 아스로스코피 및 라파로스코피에서 사용되는 통상의 내시경은 전형적으로 이미지 센서가 핸드-피스 유닛 내에 배치되게 설계된다. 이러한 구성에서, 내시경 유닛은 이의 길이를 따라 입사광을 최소 손실 및 왜곡을 갖고 복잡한 한 세트의 정밀하게 결합된 광학 성분들을 통해 센서 쪽으로 전송해야 한다. 내시경 유닛의 비용은 성분들이 고가이고 제조 프로세스가 노동 집약적이기 때문에, 광학(optics)에 의해 좌우된다. 또한, 이 유형의 스코프는 기계적으로 정교하며 비교적 사소한 충격은 쉽게 성분들에 손상을 주고, 상대적 정렬을 틀어지게 할 수 있고, 그럼으로써 광범한 광 저하를 야기하고 스코프를 사용할 수 없게 할 수 있다. 이것은 이미지 질을 유지하기 위해서 빈번한, 고가의 정비 사이클을 필요로 한다. 이 문제에 대한 한 해결책은 이미지 센서를 내시경 자체 내에 원단 단부에 배치하고, 그럼으로써 예를 들면, 모바일 전화 카메라 내에서 일반적으로 실현되는 광학 단순성, 강건성 및 경제성에 잠재적으로 접근하는 것이다. 그러나, 이 접근법에 대한 수락가능한 해결책은 이의 자신의 한 세트의 엔지지어링 과제들, -이중 가장 중요한 것은 Z 차원으로 더 자유도가 존재하지만 특히 X 및 Y 차원에서 매우 제약된 영역 내에 센서가 맞아야 한다는 사실이다- 을 유발하기 때문에, 결코 사소하지 않다.
센서 영역에 공세적 제약을 두는 것은 당연히 화소 어레이 내에 더 적은 및/또는 더 작은 화소들을 초래한다. 화소 카운트를 낮추 것은 공간적 해상도에 직접 영향을 미칠 수 있고, 반면 화소 영역을 감소시키는 것은 가용한 신호 용량 및 그럼으로써 화소의 감도를 감소시킬 수 있고, 이미지 질이 최대화되게 화소 수를 최적화하고, 최소 화소 해상도 및 원래 수의 화소는 해상도가 각 화소의 신호 대 노이즈 비(SNR)을 낮출 뿐만 아니라 해상도가 문제가 되지 않게 최대 화소 질 및 피치를 사용한다. 신호 용량을 낮추는 것은 동적범위, 즉, 큰 범위의 광휘를 가진 장면들로부터 모든 유용한 정보를 동시에 캡처하는 이미징 장치 또는 카메라의 능력을 감소시킨다. 화소 자신의 것을 넘어 이미징 시스템의 동적범위를 확장하는 다양한 방법이 존재한다. 그러나, 이들 모두는 어떤 종류의 페널티를 가질 수 있고(예를 들면, 해상도 또는 프레임 레이트에서), 이들은 극단적인 경우에 문제가 되는, 바람직하지 못한 아티팩트를 유발할 수 있다. 감도를 감소시키는 것은 장면의 어두운 지역을 수락가능한 신호 레벨까지 가져가기 위해서 더 큰 광 파워가 요구되는 결과를 갖는다. F-수를 낮추는 것(애퍼처를 확대하는 것)은 감도에 손실을 보상할 수 있지만 공간상에 왜곡 및 감소된 초점 심도를 희생할 수 있다.
센서 산업에서, CMOS 이미지 센서는 이들이 통합 및 동작이 매우 쉽고, 우수한 혹은 필적할만한 이미지 질, 큰 다기능성 및 낮은 비용 때문에, 엔도스코피와 같은 최근의 카메라 응용에서 통상의 CCD 이미지 센서를 대부분 대체하였다. 전형적으로, 이들은 이미지 정보를 디지털 데이터로 변환하고 이후 다양한 레벨의 디지털 처리가 탑재되게 하는데 필요한 회로를 포함할 수 있다. 이것은 범위가 예를 들면, 증폭기 행동에 변동에서 비롯될 수 있는 비-이상성을 정정할 목적의 기본 알고리즘 내지는, 표준 sRGB 컬러 공간, 예를 들면 (카메라-온-칩)에서 비디오 데이터를 제공하는, 풀 이미지 신호 처리(ISP) 체인에 이를 수 있다.
제어 유닛 또는 제 2 스테이지가 센서에 관하여 원격에 위치되고 이 센서로부터 상당한 거리에 있다면, 디지털 영역에서 데이터를 송신하는 것이, 아날로그 데이터 스트림을 송신하는 것과 비교했을 때 간섭 노이즈 및 신호 열화에 크게 영향을 받지 않기 때문에, 바람직할 수 있다. LVDS(저 전압 차동 시그널링), 부-LVDS, SLVS(스케일가능 저 전압 시그널링) 또는 이외 다른 전기 디지털 처리 표준과 같은 다양한 전기 디지털 처리 표준이 사용될 수 있음을 알 것이다.
센서 상에 공간을 소비하는 패드의 수를 감소시키고 센서 제조의 복잡성 및 비용을 감소시키기 위해서 전기 도체의 수를 최소화하는 강한 요망이 있을 수 있다. 센서에 아날로그-디지털 변환의 추가가 잇점이 있을지라도, 변환 회로에 의해 점유되는 추가의 영역은 디지털 신호로 조기의 변환에 기인하여 필요로 되는 아날로그 버퍼링 파워에 있어 현저한 감소때문에 오프셋된다.
영역 소비 면에서 CMOS 이미지 센서(CIS) 기술에서 가용한 전형적인 특징 크기가 주어졌을 때, 일부 구현예에서, 한 세트의 제어 레지스터 및 단순한 코맨드 인터페이스를 통해 화소 어레이와 동일한 칩 상에 발생되는 모든 내부 로직 신호들을 갖는 것이 바람직할 수 있다.
발명의 일부 구현예는 매우 제어된 조명 환경에서 감소된 화소 카운트들로 고 선명 이미징을 가능하게 하는 조합된 센서 및 시스템의 측면들을 포함할 수 있다. 이것은 단일 컬러 파장의 프레임씩으로 펄싱에 의해, 혹은 고 프레임 캡처 레이트 및 특별하게 설계된 대응하는 단색의 센서와 함께 제어된 광원을 사용하여 단일의 상이한 컬러 파장 간에 각 프레임을 스위칭 또는 교번함에 의해 달성될 수 있다. 본원에서 사용되는 바와 같이 단색의 센서는 필터링되지 않은 이미징 센서를 지칭한다. 화소는 컬러와는 무관하기(agnostic) 때문에, 실질적인 공간적 해상도는 통상의 단일-센서 카메라에서 이들의 컬러(전형적으로 바이에르-패턴 필터링된) 상대에 있어서보다 현저히 더 높다. 이들은 또한 개개의 화소들 간에 훨씬 더 적은 입사 광자가 낭비되기 때문에 더 큰 양자 효율을 가질 수 있다. 또한, 바이에르 기반의 공간 컬러 변조는 바이에르 패턴에 연관된 컬러 아티팩트를 없애기 위해서, 동반된 광학(optics)의 변조 전달함수(MTF)가 단색 변조에 비해 낮을 것을 요구한다. 이것은 컬러 센서들로 실현될 수 있는 실제 공간적 해상도에 불리한 영향을 미친다.
발명은 이미지 센서가 내시경의 원단 단부에 놓여진 엔도스코피 응용을 위한 시스템 해결책에 관계된다. 최소 영역 센서 기반의 시스템을 얻기 위해 노력함에 있어, 화소 카운트에 감소를 넘어서, 개발될 수 있는 다른 설계적 측면들이 존재한다. 칩의 디지털 부분의 영역이 최소화될 수 있다. 또한, 칩에의 연결들(패드)의 수 또한 최소화될 수 있다. 발명은 이러한 시스템의 실현을 위해 이들 목적을 달성하는 신규한 방법들을 기술한다. 이것은 몇몇 신규한 특징을 가진 풀-커스텀 CMOS 이미지 센서의 설계를 수반한다.
발명에 따른 원리의 이해를 촉진시킬 목적으로, 도면들에 도시된 실시예들이 이제 참조될 것이며 이를 기술하기 위해 특정한 언어가 사용될 것이다. 그럼에도불구하고 이에 의해 발명의 범위의 어떠한 제한도 의도되지 않음이 이해될 것이다. 관련 기술에 숙련되고 이 발명을 소유하는 자에게 통상적으로 일어나게 될, 본원에 예시된 발명의 특징의 임의의 변경 및 추가의 수정과, 본원에 예시된 바와 같은 발명의 원리의 임의의 추가의 응용은 청구된 발명의 범위 내에 있는 것으로 간주된다.
광 부족 환경에서 이미지를 생성하기 위한 구조, 시스템, 방법이 개시되고 기술되기 전에, 이 발명은 본원에 개시된 이러한 구조, 구성, 프로세스 단계, 및 물질이 다소 가변할 수도 있기 때문에 본원에 개시된 특정한 구조, 구성, 프로세스 단계, 및 물질로 이 발명이 제한되지 않음을 이해해야 한다. 또한, 분원에 채용된 용어는 특정 실시예만을 기술할 목적으로 사용되고 발명의 범위는 첨부된 청구항 및 이의 등가물에 의해서만 제한될 것이기 때문에 한정하려는 것은 아님을 이해해야 한다.
발명의 주 요지를 기술하고 청구함에 있어, 이하 개시되는 정의들에 따라 다음의 용어가 사용될 것이다.
이 명세서 및 첨부된 청구항에서 사용되는 바와 같이, 단수표현은 맥락이 명확히 달리 언급하지 않는한 복수의 지시 대상들을 포함하는 것에 유의해야 한다.
본원에서 사용되는 바와 같이, "포함하다", "내포하다", "을 특징으로 하다"라는 용어들은 추가되는, 인용되지 않은 구성요소들 또는 방법 단계들을 배제하지 않는 포괄적(inclusive) 또는 개방형(open-ended) 용어들이다.
본원에서 사용되는 바와 같이, "로 구성되다"라는 어구는 청구항에 명시되지 않은 어떠한 구성요소 또는 단계이든 배제한다.
본원에서 사용되는 바와 같이, "필수로 ~로 구성되다"라는 어구는 명시된 물질들 또는 단계들 및 청구된 발명의 기본이 되는 신규한 특징 또는 특징들에 실질적으로 영향을 미치지 않는 것들로 청구항의 범위를 제한한다.
본원에서 사용되는 바와 같이, "근단"이라는 용어는 기점에서 가장 가까운 부분의 개념을 넓게 지칭할 것이다.
본원에서 사용되는 바와 같이, "원단"이라는 용어는 일반적으로, 근단의 반대, 따라서 맥락에 따라, 기점에서 더 먼 부분, 혹은 가장 먼 부분을 지칭할 것이다.
본원에서 사용되는 바와 같이, 컬러 센서 또는 다수 스펙트럼 센서는 입사하는 전자기 방사를 이의 개별 성분들로 필터링하기 위해서 컬러 필터 어레이(CFA)를 위에 갖는 것으로 알려진 센서들이다. 전자기 스펙트럼의 시각 범위에서, 이러한 CFA는 광의 녹색, 적색 및 청색 스펙트럼 성분들을 분리하기 위해서 바이에르 패턴으로 혹은 이를 수정하여 형성될 수 있다. 이제 도 1 내지 도 5를 참조하여, 광 부족 환경에서 이미지를 생성하는 시스템 및 방법이 기술될 것이다. 도 1은 광 부족 환경에서 이미지를 생성하는데 사용하기 위해 동작에서 서로 쌍이 되는 센서 및 전자기 방출기의 개요도이다. 이러한 구성은 광 제어된 혹은 주변 광 부족 환경에서 증가된 기능을 가능하게 한다.
본원에서 사용되는 바와 같이 "광"이라는 용어는 입자이기도 하고 파장이기도 하며, 화소 어레이에 의해 검출 가능한 전자기 방사를 표기하게 의도되고 전자기 방사의 가시 및 비가시 스펙트럼으로부터의 파장들을 포함할 수 있음에 유의한다. "파티션"이라는 용어는 본원에서는 전체 스펙트럼 미만인 전자기 스펙트럼의 소정의 범위의 파장, 혹은 환원하여 전자기 스펙트럼의 일부분을 구성하는 소정의 범위의 파장들을 의미하기 위해 사용된다. 본원에서 사용되는 바와 같이, 방출기는, 방출되는 전자기 스펙트럼의 부분에 관하여 제어될 수 있는, 혹은 성분들, 방출의 세기, 혹은 방출의 구간, 혹은 이들 모두의 물리 특성에 관하여 동작할 수 있는 광원이다. 방출기는 임의의 디터된, 디퓨즈된, 혹은 시준된 방출로 광을 방출할 수 있고, 디지털방식으로 혹은 아날로그 방법 또는 시스템을 통해 제어될 수 있다. 본원에서 사용되는 바와 같이, 전자기 방출기는 전자기 에너지의 발생원이고 레이저, LED, 백열광과 같은 광원, 혹은 디지털 방식으로 제어될 수 있는 임의의 광원을 포함한다.
이미지 센서의 화소 어레이는 방출기와 전자적으로 쌍이 되어 이들이 방출을 수신함과 아울러 시스템 내에서 행해지는 조절을 위해 동작 동안 동기될 수 있다. 도 1에서 알 수 있는 바와 같이, 방출기(100)는 대상(110)을 조명하기 위해서 펄싱될 수 있는, 레이저 형태로 전자기 방사를 방출하게 조율될 수 있다. 방출기(100)는 화소 어레이(122)의 동작 및 기능에 대응하는 간격으로 펄싱할 수 있다. 방출기(100)는 복수의 전자기 파티션(105)에서 광을 펄싱하여, 화소 어레이가 전자기 에너지를 수신하고 각 특정한 전자기 파티션(105)에 대응하는(시간적으로) 데이터 세트를 생성하게 할 수 있다. 예를들면 도 1은 임의의 파장의 전자기 방사에 감응하는 화소 어레이(흑색 및 백색)(122) 및 지원회로를 갖는 단색의 센서(120)를 가진 시스템을 도시한다. 도면에 도시된 광 방출기(100)는 임의의 요망되는 시퀀스로 적색 전자기 파티션(105a), 청색 전자기 파티션(105b), 및 녹색 전자기 파티션(105c)을 방출할 수 있는 레이저 방출기일 수 있다. 발명의 범위 내에서, 디지털 또는 아날로그 기반의 방출기와 같은 다른 광 방출기(100)가 도 1에 사용될 수 있음을 알 것이다.
동작 동안, 임의의 개개의 펄스에 대해 단색의 센서(120)에 의해 생성되는 데이터에는 특정 컬러 파티션이 할당될 수 있는데, 이 할당은 방출기(100)로부터 펄싱되는 컬러 파티션의 타이밍에 기초한다. 화소(122)가 컬러에 전용되지 않을지라도, 이들에는 방출기에 관한 선험적 정보에 기초하여 임의의 주어진 데이터 세트에 대한 컬러가 할당될 수 있다.
일 실시예에서, 적색, 녹색 및 청색 전자기 펄스들을 나타내는 3개의 데이터 세트는 단일 이미지 프레임을 형성하기 위해 조합될 수 있다. 발명은 임의의 특정한 컬러 조합 또는 임의의 특정한 전자기 파티션으로 제한되지 않으며, 발명의 범위 내에서 적색, 녹색 및 청색 대신에 시안, 마젠타 및 황색; 자외선; 적외선; 모든 가시 및 비가시 파장들을 포함하여, 전술한 것의 임의의 조합, 혹은 이외 어떤 다른 컬러 조합과 같은, 임의의 컬러 조합 또는 임의의 전자기 파티션이 사용될 수 있음을 알 것이다. 도면에서, 이미징될 대상(110)은 적색 부분(110a), 녹색 부분(110b) 및 청색 부분(110c)을 내포한다. 도면에 도시된 바와 같이, 전자기 펄스로부터 반사된 광은 펄싱된 컬러 파티션에 대응하는 특정 컬러를 갖는 대상의 부분에 대한 데이터만을 내포한다. 이어, 이들 개별적 컬러(혹은 컬러 간격) 데이터 세트들은 130에서 데이터 세트들을 조합함으로써 이미지를 재구축하기 위해 사용될 수 있다.
도 2에 도시된 바와 같이, 본 발명의 구현들은 예를 들면, 이하 더 상세히 논의되는 바와 같이, 하나 이상의 프로세서 및 시스템 메모리와 같은, 컴퓨터 하드웨어를 포함하여, 전용 또는 범용 컴퓨터를 포함하거나 이용할 수 있다. 또한, 본 발명의 범위 내에서 구현들은 컴퓨터-실행가능 명령 및/또는 데이터 구조를 탑재 또는 저장하기 위한 물리적 및 그외 다른 컴퓨터-판독가능 매체를 포함할 수 있다. 이러한 컴퓨터-판독가능 매체는 범용 혹은 전용 컴퓨터 시스템에 의해 액세스될 수 있는 임의의 가용한 매체일 수 있다. 컴퓨터-실행가능 명령을 저장하는 컴퓨터-판독가능 매체는 컴퓨터 저장 매체(장치)이다. 컴퓨터-실행가능 명령을 탑재하는 컴퓨터-판독가능 매체는 전송 매체이다. 이에 따라, 제한이 아니라, 예로서, 발명의 구현들은 적어도 2개의 서로 구별되는 상이한 종류의 컴퓨터-판독가능 매체로서 컴퓨터 저장 매체(장치) 및 전송 매체를 포함할 수 있다.
컴퓨터 저장 매체(장치)는 컴퓨터-실행가능 명령 또는 데이터 구조 형태로 요망되는 프로그램 코드 수단을 저장하기 위해 사용될 수 있고 범용 또는 전용 컴퓨터에 의해 액세스될 수 있는, RAM, ROM, EEPROM, CD-ROM, 고체상태 드라이브("SSD")(예를 들면, RAM 기반), 플래시 메모리, 상-변화 메모리("PCM"), 이외 다른 유형의 메모리, 이외 다른 광학 디스크 저장장치, 자기 디스크 저장장치 혹은 이외 다른 자기 저장 장치, 혹은 이외 어떤 다른 매체를 포함한다.
"네트워크"는 컴퓨터 시스템 및/또는 모듈 및/또는 이외 다른 전자 장치들 간에 전자 데이터를 수송할 수 있게 하는 하나 이상의 데이터 링크로서 정의된다. 구현예에서, 센서 및 카메라 제어 유닛은 서로, 및 다른 성분들 -이들이 연결된 네트워크를 통해 연결된- 과 통신하기 위해서 네트워크될 수 있다. 정보가 네트워크 또는 또 다른 통신 연결(하드와이어, 무선, 혹은 하드와이어되거나 무선의 조합)을 통해 컴퓨터에 전송 또는 제공될 때, 컴퓨터는 연결을 전송 매체로서 적합히 인지한다. 전송 매체는 네트워크 및/또는 데이터 링크를 포함할 수 있고, 이들은 요망되는 프로그램 코드 수단을 컴퓨터-실행가능 명령 또는 데이터 구조 형태로 탑재하기 위해 사용될 수 있고, 범용 또는 전용 컴퓨터에 의해 액세스될 수 있다. 위에 조합들은 또한 컴퓨터-판독가능 매체의 범위 내에 포함될 것이다.
또한, 다양한 컴퓨터 시스템 성분들에 도달하였을 때, 전송 매체에서 컴퓨터 저장 매체(장치)로(혹은 그 반대로) 자동으로 전송될 수 있는 컴퓨터-실행가능 명령 또는 데이터 구조 형태의 프로그램 코드 수단. 예를 들면, 네트워크 또는 데이터 링크를 통해 수신된 컴퓨터-실행가능 명령 또는 데이터 구조는 네트워크 인터페이스 모듈(예를 들면, "NIC") 내에 RAM 내에 버퍼되고, 이어서 종국에 컴퓨터 시스템 RAM에 및/또는 컴퓨터 시스템에 비휘발성 컴퓨터 저장 매체(장치)에 전송될 수 있다. 또한, RAM은 고체상태 드라이브(SSD 또는 PCIx 기반의 실시간 메모리 결속된 저장장치, 이를테면 퓨전IO)을 포함할 수 있다. 이에 따라, 컴퓨터 저장 매체(장치)는 전송 매체를 이용하는(또는 심지어는 주로) 컴퓨터 시스템 성분 내 포함될 수 있다.
컴퓨터-실행가능 명령은 예를 들면, 프로세서에서 실행되었을 때, 범용 컴퓨터, 전용 컴퓨터, 또는 전용 처리 장치가 어떤 기능 또는 일 그룹의 기능들을 수행하게 하는 명령 및 데이터를 포함한다. 컴퓨터 실행가능 명령들은 예를 들면, 어셈블리 언어, 혹은 심지어 소스 코드와 같은 바이너리, 중간 포맷 명령일 수 있다. 요지가 구조적 특징들 및/또는 방법 단계들에 특정한 언어로 기술되었을지라도, 첨부된 청구항에 정의된 요지는 위에 기술된 특징 혹은 단계로 반드시 제한되는 것은 아님이 이해될 것이다. 그보다는, 기술된 특징 및 단계는 청구항을 구현하는 예시적 형태로서 개시된다.
당업자는 발명이 개인용 컴퓨터, 데스크탑 컴퓨터, 랩탑 컴퓨터, 메시지 프로세서, 제어 유닛, 카메라 제어 유닛, 휴대 장치, 핸드 피스, 다중-프로세서 시스템, 마이크로프로세서-기반 또는 프로그램가능 소비자 전자장치, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 모바일 전화, PDA, 태블릿, 페이저, 라우터, 스위치, 각종 저장 장치, 등을 포함하여, 많은 유형의 컴퓨터 시스템 구성을 가진 네트워크 계산 환경에서 실시될 수 있음을 알 것이다. 위에 언급된 계산 장치 중 어느 것이든 브릭 및 모타르 위치 옆에 혹은 이 내에 제공될 수 있음에 유의한다. 또한, 발명은 네트워크를 통해 링크되는(하드와이어된 데이터 링크, 무선 데이터 링크에 의해, 혹은 하드와이어된 및 무선 데이터 링크들의 조합에 의해)되는 로컬 및 원격 컴퓨터 시스템들 둘 다 작업을 수행하는 분산 시스템 환경에서 실시될 수도 있다. 분산 시스템 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치들 둘 다에 위치될 수 있다.
또한, 적합한 경우, 본원에 기술된 기능은 하드웨어, 소프트웨어, 펌웨어, 디지털 성분들, 또는 아날로그 성분들 중 하나 이상에서 수행될 수 있다. 예를 들면, 하나 이상의 응용특정의 집적회로(ASIC) 또는 필드 프로그램가능 게이트 어레이(FPGA)는 본원에 기술된 시스템 및 절차 중 하나 이상을 수행하게 프로그램될 수 있다. 어떤 용어들은 특정 시스템 성분들을 언급하기 위해 다음 설명 및 청구항 전체에 걸쳐 사용된다. 당업자가 알게 되는 바와 같이, 성분들은 상이한 명칭들에 의해 언급될 수도 있다. 이 문서는 명칭은 상이하나 기능은 상이하지 않은 성분들 간을 구별하지는 않는다.
도 2는 예시적 계산 장치(150)를 도시한 블록도이다. 계산 장치(150)는 본원에서 논의되는 것들과 같은, 다양한 절차를 수행하기 위해 사용될 수 있다. 계산 장치(150)는 서버, 클라이언트, 혹은 이외 어떤 다른 계산 실체로서 기능할 수 있다. 계산 장치(150)는 본원에서 논의되는 다양한 모니터링 기능을 수행할 수 있고, 본원에 기술된 응용 프로그램과 같은 하나 이상의 응용 프로그램을 실행할 수 있다. 계산 장치(150)는 데스크탑 컴퓨터, 노트북 컴퓨터, 서버 컴퓨터, 휴대 컴퓨터, 카메라 제어 유닛, 태블릿 컴퓨터, 등과 같은 매우 다양한 계산 장치 중 어느 것일 수 있다.
계산 장치(150)는 하나 이상의 프로세서(들)(152), 하나 이상의 메모리 장치(들)(154), 하나 이상의 인터페이스(들)(156), 하나 이상의 대량 저장 장치(들)(158), 하나 이상의 입력/출력(I/O) 장치(들)(160), 및 디스플레이 장치(180) -이들 모두는 버스(162)에 결합된다- 를 포함한다. 프로세서(들)(152)는 메모리 장치(들)(154) 및/또는 대량 저장 장치(들)(158)에 저장되는 명령들을 실행하는 하나 이상의 프로세서 또는 제어기를 포함한다. 프로세서(들)(152)은 또한 캐시 메모리와 같은 다양한 유형의 컴퓨터-판독가능 매체를 포함할 수 있다.
메모리 장치(들)(154)는 휘발성 메모리(예를 들면, 랜덤 액세스 메모리(RAM)(164)) 및/또는 비휘발성 메모리(예를 들면, 판독전용 메모리(ROM)(166))와 같은 다양한 컴퓨터-판독가능 매체를 포함한다. 메모리 장치(들)(154)는 또한 플래시 메모리와 같은 재기입가능 ROM을 포함할 수 있다.
대량 저장 장치(들)(158)은 자기 테이프, 자기 디스크, 광학 디스크, 고체상태 메모리(예를 들면, 플래시 메모리), 등과 같은 다양한 컴퓨터 판독가능 매체를 포함한다. 도 2에 도시된 바와 같이, 특정 대량 저장 장치는 하드 디스크 드라이브(174)이다. 여러 드라이브들 또한 여러 컴퓨터 판독가능 매체로부터 판독 및/또는 이에 기입할 수 있게 대량 저장 장치(들)(158) 내에 포함될 수 있다. 대량 저장 장치(들)(158)는 착탈가능 매체(176) 및/또는 비착탈가능 매체를 포함한다.
I/O 장치(들)(160)은 데이터 및/또는 다른 정보가 계산 장치(150)에 입력되거나 이로부터 인출될 수 있게 하는 다양한 장치를 포함한다. 예시적 I/O 장치(들)(160)는 디지털 이미징 장치, 전자기 센서 및 방출기, 커서 제어 장치, 키보드, 키패드, 마이크로폰, 모니터 또는 이외 다른 디스플레이 장치, 스피커, 프린터, 네트워크 인터페이스 카드, 모뎀, 렌즈, CCD 또는 다른 이미지 캡처 장치, 등을 포함한다.
디스플레이 장치(180)는 계산 장치(150)의 하나 이상의 사용자에게 정보를 디스플레이할 수 있는 임의의 유형의 장치를 포함한다. 디스플레이 장치(180)의 예는 모니터, 디스플레이 단말, 비디오 프로젝션 장치, 등을 포함한다.
인터페이스(들)(106)은 계산 장치(150)가 다른 시스템, 장치, 또는 계산 환경과 상호작용할 수 있게 하는 여러 인터페이스를 포함한다. 예시적 인터페이스(들)(156)은 이를테면 로컬 영역 네트워크(LAN), 광역 네트워크(WAN), 무선 네트워크, 및 인터넷에 대한 인터페이스와 같은, 임의의 수의 서로 다른 네트워크 인터페이스(170)를 포함할 수 있다. 이외 다른 인터페이스(들)은 사용자 인터페이스(168) 및 주변 장치 인터페이스(172)를 포함한다. 인터페이스(들)(156)는 또한 하나 이상의 사용자 인터페이스 요소(168)를 포함할 수 있다. 또한, 인터페이스(들)(156)는 프린터, 포인팅 장치(마우스, 트랙 패드, 등), 키보드, 등을 위한 인터페이스와 같은 하나 이상의 주변 인터페이스를 포함할 수 있다.
버스(162)는 프로세서(들)(152), 메모리 장치(들)(154), 인터페이스(들)(156), 대량 저장 장치(들)(158), 및 I/O 장치(들)(160)이 버스(162)에 결합된 다른 장치 또는 성분 뿐만 아니라, 서로 통신할 수 있게 한다. 버스(162)는 시스템 버스, PCI 버스, IEEE 1394 버스, USB 버스, 등과 같은 몇몇 유형들의 버스 구조 중 하나 이상을 나타낸다.
예시 목적을 위해, 프로그램 및 이외 다른 실행가능한 프로그램 성분은 이러한 프로그램 및 성분이 여러 시간들에서 계산 장치(150)의 서로 다른 저장 성분들 내 놓여지고 프로세서(들)(152)에 의해 실행되는 것으로 이해될지라도, 본원에 별개의 블록들로서 도시되었다. 대안적으로, 본원에 기술되는 시스템 및 절차는 하드웨어로, 혹은 하드웨어, 소프트웨어, 및/또는 펌웨어의 조합으로 구현될 수 있다. 예를 들면, 하나 이상의 응용특정의 집적회로(ASIC) 또는 필드 프로그램가능 게이트 어레이(FPGA)는 본원에 기술된 시스템 및 절차 중 하나 이상을 수행하게 프로그램될 수 있다.
도 2a는 롤링 판독 모드에서 혹은 센서 판독(200) 동안 사용되는 센서의 동작 사이클을 도시한 것이다. 프레임 판독은 수직선(210)에서 시작할 수 있고 이에 의해 나타낼 수 있다. 판독 기간은 대각선 또는 경사진 선(202)로 나타내었다. 센서는 행별로 판독될 수 있고, 아래쪽으로 경사진 끝의 상부는 센서 상부 행(212)이고 아래쪽으로 경사진 끝의 하부는 센서 하부 행(214)이다. 마지막 행 판독과 다음 판독 사이클 사이의 시간을 블랭킹 시간(216)이라고 할 수 있다. 센서 화소 행들 중 일부는 광 차폐(예를 들면, 금속 코팅 또는 이외 어떤 다른 실질적으로 또 다른 물질 유형의 흑색층)로 덮일 수도 있을 것임에 유의한다. 이들 덮인 화소 행을 광학 흑색 행(218, 220)이라 지칭할 수 있다. 광학 흑색 행(218, 220)은 정정 알고리즘을 위한 입력으로서 사용될 수 있다. 도 2a에 도시된 바와 같이, 이들 광학 흑색 행(218, 220)은 화소 어레이의 상부 상에 혹은 화소 어레이의 하부에 혹은 화소 어레이의 상부 및 하부에 위치될 수 있다. 도 2b는 화소에 노출되고, 그럼으로써 화소에 의해 통합되는 또는 축적되는 전자기 방사, 예를 들면, 광의 량을 제어하는 프로세스를 도시한 것이다. 광자는 전자기 방사의 원소 입자임을 알 것이다. 광자는 각 화소에 의해 통합되거나, 흡수되거나, 축적되고 전기적 전하 또는 전류로 변환된다. 전자 셔터 또는 롤링 셔터(점선(222)으로 도시된)는 화소를 리셋함으로써 통합 시간을 시작하기 위해 사용될 수 있다. 이어, 광은 다음 판독 국면까지 통합할 것이다. 전자 셔터(222)의 위치는 주어진 량의 광에 대해 화소 포화를 제어하기 위해서 2개의 판독 사이클(202) 사이에서 이동될 수 있다. 이 기술은 2개의 서로 다른 선들 간에 일정한 통합 시간을 가질 수 있게 하지만 상부 행에서 하부 행으로 이동할 때 지연을 유발함에 유의한다. 도 2c는 전자 셔터(222)가 제거되었을 때 경우를 도시한 것이다. 이 구성에서, 인입 광의 통합은 판독(202) 동안 시작할 수 있고, 다음 통합의 시작도 정의하는, 다음 판독 사이클(202)에서 끝날 수 있다. 도 2d는 전자 셔터(222)는 없으나 블랭킹 시간(216) 동안 제어되고 펄싱된 광(230)을 갖는 구성을 도시한 것이다. 이것은 모든 행이 동일 광 펄스(230)로부터 발행된 동일한 광을 보는 것을 보장한다. 즉, 각 행은 최대 광 펄스 폭 동안에 판독 프레임(m)의 광학 흑색 후방 행(220)에 있을 수 있는, 어두운 환경에서의 이의 통합을 시작할 것이고, 이어서 광 스트로브를 수신할 것이고, 최대 광 펄스 폭 동안에 다음 계속되는 판독 프레임 (m+1)의 광학 흑색 전방 행(218)에 있을 수 있는, 어두운 환경에서의 이의 통합을 종료할 것이다. 도 2d의 예에서, 광 펄스로부터 발생된 이미지는 프레임 (m) 및 (m+2)과 임의의 간섭 없이 프레임 (m+1) 판독 동안에만 가용할 것이다. 한 프레임에서만 판독되고 이웃 프레임과 간섭하지 않는 광 펄스를 갖는 조건은 블랭킹 시간(216) 동안 주어진 광 펄스 파이어를 갖는 것임에 유의한다. 광학 흑색 행(218, 220)은 광에 둔감하기 때문에, 프레임 (m)의 광학 흑색 후방 행(220) 시간 및 프레임 (m+1)의 광학 흑색 전방 행(218) 시간은 광 펄스(230)의 파이어 시간의 최대 범위를 판정하기 위해 블랭킹 시간(216)에 추가될 수 있다. 도 2a에 도시된 바와 같이, 센서는 각 펄싱된 컬러 (예를 들면, 적색, 녹색, 청색)에 대한 데이터를 수신하기 위해서 여러번 사이클될 수 있다. 각 사이클은 타이밍될 수 있다. 실시예에서, 사이클은 16.67ms의 간격 내에서 동작하게 타이밍될 수 있다. 또 다른 실시예에서, 사이클은 8.3ms의 간격 내에서 동작하게 타이밍될 수 있다. 다른 타이밍 간격이 발명에 의해 고찰되고 이 발명의 범위 내에 속하게 의도되는 것임을 알 것이다.
도 3은 전자기 방출기의 실시예의 동작을 그래프로 도시한 것이다. 방출기는 전자기 방사가 센서 동작 사이클 내에서 및/또는 센서 동작 사이클의 부분 동안 방출되게, 센서의 사이클에 대응하도록 타이밍될 수 있다. 도 3은 302에 펄스 1, 304에 펄스 2, 및 306에 펄스 3을 도시한 것이다. 실시예에서, 방출기는 센서 동작 사이클의 판독 부분(202) 동안 펄싱할 수 있다. 실시예에서, 방출기는 센서 동작 사이클의 블랭킹 부분(216) 동안 펄싱할 수 있다. 실시예에서, 방출기는 2 이상의 센서 동작 사이클의 부분들 동안인 부분들 동안 펄싱할 있다. 실시예에서, 방출기는 블랭킹 부분(216) 동안, 혹은 판독 부분(202)의 광학 흑색 부분(220) 동안 펄스를 시작하고, 판독 부분(202) 동안, 혹은 다음 계속되는 사이클의 판독 부분(202)의 광학 흑색 부분(218) 동안 펄스를 끝낼 수 있다. 위의 임의의 조합은 방출기의 펄스 및 센서의 사이클이 대응하는 한, 이 발명의 범위 내에 속하게 의도된 것임이 이해될 것이다.
도 4는 노출을 제어하기 위해 방출된 전자기 펄스(예를 들면, 402에서 펄스 1, 404에서 펄스 2, 406에서 펄스3)의 구간 및 크기를 가변시키는 것을 그래프로 나타낸 것이다. 고정된 출력 크기를 갖는 방출기는 필요한 전자기 에너지를 화소 어레이에 제공하기 위한 간격 동안 도 2d 및 도 3에 관련하여 위에 언급된 사이클들 중 어느 것 동안 펄싱될 수 있다. 고정된 출력 크기를 갖는 방출기는 더 긴 간격 시간에 펄싱될 수 있고, 그럼으로써 더 많은 전자기 에너지를 화소들에 제공할 수 있고 혹은 방출기는 더 짧은 시간 간격에 펄싱되고, 그럼으로써 더 적은 전자기 에너지를 제공할 수도 있다. 더 긴 혹은 더 짧은 간격 시간이 필요할지 여부는 동작 조건에 따른다.
방출기가 고정된 출력 크기를 펄싱하는 시간 간격을 조절하는 것과는 대조적으로, 방출 자체의 크기는 더 많은 전자기 에너지를 화소들에 제공하기 위해서 증가될 수 있다. 유사하게, 펄스의 크기를 감소시키는 것은 더 적은 전자기 에너지를 화소들에 제공한다. 시스템의 실시예는 요망된다면, 크기 및 구간 둘 다를 동시에 조절하는 능력을 가질 수 있다. 또한, 센서는 이의 감도 및 구간을 최적의 이미지 질을 위해 요망될 때 증가시키기 위해 조절될 수 있다. 도 4는 펄스의 크기 및 구간을 가변시키는 것을 도시한 것이다. 도면에서, 402에 펄스 1은 404에 펄스 2 또는 406에 펄스 3보다 큰 크기 또는 세기를 갖는다. 또한, 402에 펄스 1은 펄스에 의해 제공된 전자기 에너지가 도면에 도시된 펄스 밑에 영역에 의해 도시되게, 404에 펄스 2 또는 406에 펄스 3보다 짧은 구간을 갖는다. 도시에서, 404에 펄스 2는 402에 펄스 1 혹은 406에 펄스 3과 비교했을 때 상대적으로 낮은 크기 또는 세기 및 더 긴 구간을 갖는다. 마지막으로, 도시에서, 406에 펄스 3은 402에 펄스 1과 404에 펄스 2와 비교했을 때 중간 크기 또는 세기 및 구간을 갖는다.
도 5는 발명의 원리 및 교시되는 바에 따라 동작 동안의 이미징 시스템을 시사하기 위해서, 동작 사이클, 전자기 방출기 및 도 2 내지 도 4의 방출된 전자기 펄스를 조합하는 발명의 실시예를 그래프로 나타낸 것이다. 도면에서 알 수 있는 바와 같이, 전자기 방출기는 화소가 충전되어 센서 사이클의 판독 부분(202) 동안 판독할 준비가 되게, 주로 센서의 블랭킹 기간(216) 동안 방출을 펄싱한다. 펄스(도 3으로부터)에서 점선 부분은 전자기 에너지를 펄싱하는 것이 필요하거나 요망된다면 판독 사이클(센서 사이클)(200)의 광학 흑색 부분(220, 218) 동안 전자기 에너지를 방출하는 잠재 또는 능력을 도시한 것이다.
이제 도 6 내지 도 9a를 참조하면, 도 6은 풀 스펙트럼 광 및 파티션된 스펙트럼 광에 대해서 한 프레임의 비디오를 기록하기 위해 t(0)에서 t(1)까지 시간의 기간에 걸쳐 2개의 구별되는 프로세스들의 개요를 도시한 것이다. 컬러 센서는 풀 스펙트럼 광 수신을 위해 공통적으로 사용되는 화소당 광의 어떤 파장들을 걸러내기(filter out) 위해 컬러 필터 어레이(CFA)를 갖는다는 것에 유의한다. CFA의 예는 바이에르 패턴이다. 풀 스펙트럼 내로부터 단일 컬러에 감응하게 만들어진 어레이 내에 화소들을 컬러 센서가 포함할 수 있기 때문에, 화소 어레이가 풀 스펙트럼 내에 광의 단일 컬러만에 전용된 화소 공간을 가지므로 해상도 이미지는 감소하게 된다. 일반적으로 이러한 배열은 전체 어레이에 걸쳐 체크보드 유형의 패턴으로 형성된다.
반대로, 광의 파티션된 스펙트럼이 사용될 때, 각 사이클에서 전자기 에너지의 풀 스펙트럼의 소정의 파티션으로부터 전자기 에너지를 감지하는 것이 화소 어레이에 지시될 것이기 때문에, 센서를 모든 광 에너지의 크기에 감응 또는 응답하게 할 수 있다. 그러므로, 이미지를 형성하기 위해서 센서는 광의 풀 스펙트럼 내로부터 복수의 서로 상이한 파티션들로 사이클되고 어레이에 걸쳐 모든 화소에 대한 컬러 값들의 소정의 혼합을 디스플레이하기 위해 이미지를 재조립하는 것만이 필요하다. 따라서, 컬러 펄스들 각각에 대해 동일 컬러 감도의 화소 중심들 간에 바이에르 센서와 비교했을 때 감소된 거리가 존재하기 때문에 더 높은 해상도 이미지가 제공된다. 결국, 형성된 컬러 이미지는 더 큰 변조 전달함수(MTF)를 갖는다. 각 컬러 파티션 프레임 사이클로부터 이미지는 더 높은 해상도를 갖기 때문에, 파티션된 광 프레임이 풀 컬러 프레임에 조합되었을 때 생성되는 결과적인 이미지 또한 더 높은 해상도를 갖는다. 즉, 어레이 내 어느 화소든(컬러 필터를 가진 센서 내, 기껏해야, 매 제 2 화소가 아니라) 주어진 펄스 및 주어진 장면에 대한 에너지의 크기들을 감지하기 때문에, 따로따로 시간 부분들을 도입될 필요가 있는 더 도출된(덜 정확한) 데이터를 가진 각 장면에 대해 더 높은 해상도 이미지가 생성된다.
예를 들면, 백색 혹은 풀 스펙트럼 가시광은 적색, 녹색 및 청색 광의 조합이다. 도 6에 도시된 실시예에서, 파티션된 스펙트럼 프로세스(620) 및 풀 스펙트럼 프로세스(610) 둘 다에서, 이미지를 캡처할 시간은 t(0) 내지 t(1)임을 알 수 있다. 풀 스펙트럼 프로세스(610)에서, 백색 광 또는 풀 스펙트럼 전자기 에너지가 612에서 방출된다. 614에서, 백색 또는 풀 스펙트럼 전자기 에너지가 감지된다. 616에서, 이미지가 처리되고 디스플레이된다. 이에 따라, 시간 t(0) 내지 t(1) 사이에서, 이미지가 처리되고 디스플레이되어졌다. 반대로, 파티션된 스펙트럼 프로세스(620)에서, 제 1 파티션이 622에서 방출되고 624에서 감지된다. 626에서, 제 2 파티션이 방출되고 628에서 감지된다. 630에서, 제 3 파티션이 방출되고 632에서 감지된다. 634에서, 이미지가 처리되고 디스플레이된다. 백색 광 사이클보다 적어도 2배 빠른 이미지 센서 사이클을 사용하는 임의의 시스템은 발명의 범위 내에 속하게 의도된 것임을 알 것이다.
도 6에 도시된 실시예에서 그래프로 알 수 있는 바와 같이 시간들 t(0) 내지 t(1) 사이에서 파티션된 스펙트럼 시스템(620)을 위한 센서는 풀 스펙트럼 시스템의 모든 것에 대해 3회 사이클되었다. 파티션된 스펙트럼 시스템(620)에서, 3개의 센서 사이클 중 첫 번째는 녹색 스펙트럼(622, 624)에 대한 것이고, 3개 중 두 번째는 적색 스펙트럼(626, 628)에 대한 것이고, 세 번째는 청색 스펙트럼(630, 632)에 대한 것이다. 디스플레이 장치(LCD 패널)가 초당 50 내지 60 프레임에서 동작하는 실시예에서, 파티션된 광 시스템은 디스플레이된 비디오의 연속성 및 원할함을 유지하기 위해 초당 150 내지 180 프레임에서 동작할 것이다.
다른 실시예에서 서로 상이한 캡처 및 디스플레이 프레임 레이트이 존재할 수 있다. 또한, 평균 캡처 레이트는 임의의 배수의 디스플레이 레이트일 수도 있을 것이다.
실시예에서 모든 파티션이 시스템 프레임 레이트 내에 똑같이 표현되지 않을 것이 요망될 수 있다. 즉, 사용자에 의해 요망될 때 기록된 장면의 측면들을 강조 및 덜 강조하기 위해서 모든 광원이 동일 규칙성으로 펄싱되어야 하는 것은 아니다. 또한, 전자기 스펙트럼의 비가시 및 가시 파티션은 이들의 각각의 데이터가 사용자에게 디스플레이하기 위해 요망될 때 비디오 출력에 스티칭(stitch)됨과 아울러 시스템 내에 함께 펄싱될 수 있는 것이 이해될 것이다.
실시예는 다음과 같은 펄스 사이클 패턴을 포함할 수 있다:
녹색 펄스;
적색 펄스;
청색 펄스;
녹색 펄스;
적색 펄스;
청색 펄스;
적외선(IR) 펄스;
(반복)
예에서 알 수 있는 바와 같이, IR 파티션은 다른 파티션 펄스들의 레이트와는 다른 레이트로 펄싱될 수 있다. 이것은 요망되는 강조을 행하기 위해 IR 데이터가 간단히 비디오 출력 내 다른 데이터가 씌워져, 장면의 어떤 측면을 강조하기 위해 행해질 수 있다. 제 4 전자기 파티션의 추가는 모든 파티션이 펄스 패턴에서 똑같이 표현되어야 하는 것은 아니기 때문에 직렬화된 시스템이 풀 스펙트럼 비-직렬 시스템의 레이트의 4배로 동작할 것을 반드시 요구하는 것은 아니다. 실시예에서 알 수 있는 바와 같이, 펄스 패턴(위에 예에서 IR)에서 덜 표현되는 파티션 펄스의 추가는 불규칙한 파티션 샘플링을 수용하기 위해서 센서의 사이클링 속도의 20% 미만의 증가를 초래할 것이다.
실시예에서, 장면의 측면들을 하이라이트하기 위해 사용되는 염료 또는 물질에 감응하는 전자기 파티션이 방출될 수 있다. 실시예에서 고 해상도에 대한 필요성 없이 염료 또는 물질의 위치를 하이라이트하는 것이 충분할 수 있다. 이러한 실시예에서, 염료 감응 전자기 파티션은 강조된 데이터를 포함하기 위해서 시스템에서 다른 파티션보다 훨씬 덜 빈번히 사이클될 수 있다.
파티션 사이클은 다양한 이미징 및 비디오 표준들을 수용 또는 근사화하기 위해서 분할될 수도 있다. 실시예에서, 파티션 사이클은 도 7a 내지 도 7d에 최상으로 도시된 바와 같이 다음과 같이 적색, 녹색, 청색 스펙트럼에서 전자기 에너지의 펄스를 포함할 수 있다. 도 7a에서, 서로 상이한 광 세기들은 수직 회색 점선들에 의해 도시된 작동 범위 내에서 광 펄스 폭 또는 구간을 변조함으로써 달성되어졌다. 도 7b에서, 서로 상이한 광 세기들은 레이저 또는 LED 방출기일 수 있는 전자기 방출기의 광 파워 또는 파워를 변조시킴으로써, 그렇지만 펄스 폭 또는 구간을 일정하게 유지함으로써 달성되어졌다. 도 7c는 광 파워 및 광 펄스 폭 둘 다가 변조되고 더 큰 융통성에 이르게 하는 경우를 도시한 것이다. 파티션 사이클은 이미지를 생성하기 위해 혹은 현재 공지되거나 아직 개발되지 않은 요망되는 비디오 표준에 근사화하기 위해 요구되는 그외 어떤 다른 컬러 공간과, 가시 펄스원과 혼합된 비가시 펄스원을 사용하여 CMY, IR 및 자외선을 사용할 수 있다. 또한, 시스템은 요망되는 이미지 출력 질을 제공하기 위해 상황에 맞춰 컬러 공간들 간에 전환할 수 있음이 이해될 것이다.
컬러 공간 녹색-청색-녹색-적색(도 7d에 도시된 바와 같은)을 사용하는 실시예에서, 사용자는 광 컬러 차이보다는 광 크기 차이에 더 감응하기 때문에 크로미넌스보다 더 자주 루미넌스 성분에 펄싱하는 것이 바람직할 수 있다. 이 원리는 도 7d에 도시된 바와 같이 단색의 센서를 사용하여 활용될 수 있다. 도 7d에서, 가장 많은 루미넌스 정보를 내포하는 녹색은 루미넌스 데이터를 얻기 위해 (G-B-G-R-G-B-G-R...) 수법으로 더 자주 혹은 더 많은 세기를 갖고 펄싱될 수 있다. 이러한 구성은 인지불가 데이터를 생성하여 전송함이 없이 인지적으로 더 상세를 갖는 비디오 스트림을 생성할 것이다.
실시예에서, 더 약한 파티션의 펄스를 2배로 하는 것은 더 약한 펄스에 대해 조절되어진 출력을 생성하기 위해 사용될 수 있다. 예를 들면, 청색 레이저 광은 실리콘 기반의 화소의 감도에 비해 약한 것으로 간주되고 적색 또는 녹색 광과 비교하여 생성하기가 어렵고 따라서 광의 약함을 보상하기 위해 프레임 사이클 동안 더 자주 펄싱될 수 있다. 이들 추가의 펄스는 시간에 걸쳐 직렬로 혹은 요망되는 보상 효과를 생성하기 위해 동시에 펄싱하는 다수의 레이저들을 사용함으로써 행해질 수 있다. 블랭킹 기간(센서가 화소 어레이를 판독하고 있지 않은 시간 구간) 동안 펄싱함으로써, 센서는 동일 종류의 레이저들 간에 차이/미스매치에 둔감하고 간단히 요망되는 출력을 위해 광을 축적하는 것에 유의한다. 또 다른 실시예에서, 최대 광 펄스 범위는 프레임마다 상이할 수 있다. 이것은 도 7e에 도시되었고 여기에서 광 펄스들은 프레임마다 상이하다. 센서는 2 또는 3 또는 4 또는 n 프레임의 반복 패턴을 갖게 서로 상이한 블랭킹 시간들을 프로그램할 수 있기 위해서 형성될 수 있다. 도 7e에서, 4개의 서로 다른 광 펄스들이 도시되었고 펄스 1은 예를 들면 펄스 4 후에 반복할 수 있고 서로 다른 블랭킹 시간들을 가진 4 프레임의 패턴을 가질 수 있다. 이 기술은 최소의 블랭킹 시간 상에 가장 큰 강력한 파티션을 배치하고 판독 속도를 증가시킬 필요성 없이 가장 약한 파티션이 다음 프레임들 중 하나 상에 더 넓은 펄스를 가질 수 있게 할 수 있다. 재구축된 프레임은 여전히 많은 펄싱된 프레임들로 구성되기 때문에 프레임들간에 규칙적인 패턴을 가질 수 있다.
도 8에서 알 수 있는 바와 같이, 광의 각 파티션된 스펙트럼은 서로 상이한 에너지 값들을 가질 수 있기 때문에, 센서 및/또는 광 방출기는 에너지 값들에서 차이들을 보상하기 위해 조절될 수 있다. 810에서, 이전 프레임으로부터 히스토그램으로부터 얻어진 데이터가 분석될 수 있다. 820에서, 센서는 이하 언급된 바와 같이 조절될 수 있다. 또한, 830에서, 방출기는 조절될 수 있다. 840에서, 이미지는 센서로부터 조절된 샘플 시간으로부터 얻어질 수 있고 혹은 이미지는 조절된(증가되거나 감소된) 방출된 광, 혹은 위의 조합으로 얻어질 수 있다. 예를 들면, 적색 광 스펙트럼은 청색 광 스펙트럼보다 시스템 내에서 센서에 의해 더 쉽게 검출되기 때문에, 센서는 적색 파티션 사이클 동안 덜 감응하게 그리고 청색 파티션이 실리콘(도 9에 최상으로 도시된)에 관하여 갖는 낮은 양자 효율 때문에 청색 파티션 사이클 동안 더 감응하게 조절될 수 있다. 유사하게, 방출기는 조절된 파티션(예를 들면, 더 큰 혹은 더 낮은 세기 및 구간)을 제공하게 조절될 수 있다. 또한, 센서 및 방출기 레벨 둘 다에서 조절이 행해질 수 있다. 또한, 방출기는 한 측정한 주파수에서 방출하게 조절될 수 있고, 혹은 특정 응용을 위해 요망된다면, 방출되는 광의 스펙트럼을 넓히기 위해 특정 파티션의 복수의 주파수들을 방출하게 변경될 수 있다.
도 10은 비공유된 4T 화소의 개요를 도시한 것이다. TX 신호는 광 다이오드(PPD)로부터 축적된 전하를 플로팅 확산(FD)에 전송하기 위해 사용된다. 리셋 신호는 FD를 리셋 버스에 리셋하기 위해 사용된다. 리셋 및 TX 신호가 동시에 "온"된다면, PPD는 항시 리셋(PPD에서 발생된 각 광 전하는 직접적으로 리셋 버스에 수집된다)되고 PPD는 항시 비어있다. 일반적인 화소 어레이 구현예는 한 행 내에 모든 화소의 리셋 신호를 부착하는 수평 리셋 라인 및 한 행 내에 모든 화소의 TX 신호를 부착하는 수평 TX 라인을 포함한다.
실시예에서, 센서 감도 조절의 타이밍이 도시되었고 센서 감도 조절는 전역 리셋 메커니즘(즉, 즉시 모든 화소 어레이 리셋 신호를 파이어하는 수단) 및 전역 TX 메커니즘(즉, 즉시 모든 화소 어레이 TX 신호를 파이어하는 수단)을 사용하여 달성될 수 있다. 이것이 도 11에 도시되었다. 이 경우에, 광 펄스는 구간 및 진폭에서 일정한데, 그러나 모든 화소에 통합된 광은 전역 TX을 "온"에서 "오프"로 천이하여 시작하고 광 펄스로 끝난다. 그러므로, 변조는 전역 TX 펄스의 하강에지를 이동시킴으로써 달성된다.
반대로, 방출기는 정확하게 노출된 이미지(도 12에 최상으로 도시된)를 생성하기 위해서 청색광보다 더 적은 세기에서 적색광을 방출할 수 있다. 1210에서, 이전 프레임으로부터 히스토그램으로부터 얻어진 데이터가 분석될 수 있다. 1220에서, 방출기는 조절될 수 있다. 1230에서, 이미지는 조절된 방출된 광으로부터 얻어질 수 있다. 또한, 실시예에서 방출기 및 센서 둘 다는 동시에 조절될 수 있다.
파티션된 스펙트럼 프레임들을 나중에 출력을 위해 풀 스펙트럼 프레임으로 재구축하는 것은 일부 실시예들에서 어레이에서 각 화소에 대한 감지된 값들을 블렌딩하는 것만큼 간단할 수도 있을 것이다. 또한, 값의 블렌딩 및 혼합은 단순 평균일 수 있고, 혹은 요망되는 출력에 대한 값의 소정의 룩업 테이블(LUT)에 조율될 수 있다. 파티션된 광 스펙트럼을 사용하는 시스템의 실시예에서, 감지된 값은 사후-처리될 수 있고, 혹은 이미지 또는 2차 프로세서에 의해, 그리고 디스플레이에 출력되기 바로 전에 센서로부터 원격으로 더욱 정제될 수 있다.
도 13은 1300에 단색 ISP의 기본 예와, G-R-G-B 광 펄싱 수법가 있는데서 나오는 생 센서 데이터로부터 sRGB 이미지 시퀀스를 발생할 목적으로 ISP 체인이 어떻게 조립될 수 있는가를 도시한 것이다.
제 1 스테이지는 생 데이터 영역(도 21 참조)에서 작업하기에 가장 적합한 센서 기술에서 임의의 비-이상성을 감안하기 위해 정정하는 것에 관계된다(도 13에서 1302, 1304 및 1306 참조).
다음 스테이지에서, 각 최종의 프레임이 3개의 생 프레임으로부터 데이터를 도출하기 때문에 두 프레임(도 13에서 1308 및 1310 참조)이 버퍼될 것이다. 1314에서 프레임 재구축은 현재 프레임 및 2개의 버퍼된 프레임(1308 및/또는 1310)으로부터 데이터를 샘플링함으로써 진행할 것이다. 재구축 프로세스는 선형 RGB 컬러 공간에서 풀 컬러 프레임을 갖게 한다.
이 예에서, 1324에서 후속 에지 향상을 위해 1322에서 YCbCr 공간으로 전환하기 전에 1318에서 백색 밸런스 계수 및 1320에서 컬러 정정 매트릭스가 적용된다. 1324에서 에지 향상 후에, 이미지는 적용할 수 있다면, 1328에서 스케일링을 위해 1326에서 선형 RGB으로 다시 변환된다.
마지막으로, 1332에서 sRGB 영역으로 데이터를 전환하기 위해 1330에서 감마 전달함수가 적용될 것이다.
도 14는 컬러 퓨전 하드웨어의 실시예이다. 컬러 퓨전 하드웨어는 1402에서 RGBGRGBGRGBG 비디오 데이터 스트림을 취하고 이것은 1405에서 병렬 RGB 비디오 데이터 스트림으로 변환한다. 입력측에서 비트 폭은 예를 들면, 컬러당 12 비트일 수 있다. 이 예에 있어 출력 폭은 화소당 36 비트가 될 것이다. 다른 실시예는 서로 다른 초기 비트 폭들 및 및 출력 폭에 대한 이 수의 3배를 가질 수 있다. 메모리 기입기 블록은 이의 입력으로서 1402 에서 RGBG 비디오 스트림을 취하고 각 프레임을 1404에서 이의 정확한 프레임 메모리 버퍼에 기입한다(메모리 기입기는 레이저 광원을 운영하는 동일 펄스 발생기(1410)를 작동(trigger off)시킨다). 1404에 도시된 바와 같이, 메모리에 기입은 적색, 녹색 1, 청색, 녹색 2 패턴을 따르고, 이어 다시 적색으로 시작한다. 1406에서, 메모리 판독기는 RGB 화소를 구축하기 위해 즉시 3개의 프레임을 판독한다. 각 화소는 개개의 컬러 성분의 비트 폭의 3배이다. 또한, 판독기는 1410에서 레이저 펄스 발생기를 작동(trigger off)시킨다. 판독기는 적색, 녹색 1 및 청색 프레임이 기입될 때까지 기다리고, 이어 이들을 병렬로 판독 하는 것을 진행하고 반면 기입기가 녹색 2를 기입하기를 계속하고 적색 상에서 다시 시작한다. 적색이 완료되었을 때 판독기는 청색, 녹색 2 및 적색부터 판독을 시작한다. 이 패턴은 무한히 계속된다.
이제 도 15 및 도 16을 참조하면, 도 16에 도시된 RG1BG2RG1BG2 패턴 재구축은 실시예에서 120 fps 입력으로 60 fps 출력을 허용한다. 각 연이은 프레임은 이전 프레임으로부터 적색 또는 청색 성분을 내포한다. 도 16에서, 각 컬러 성분은 8.3ms 내에 가용하고 결과적인 재구축된 프레임은 16.67ms의 기간을 갖는다. 일반적으로 이 펄싱 수법에 있어서, 재구축된 프레임은 도 15에 도시된 바와 같이 인입 컬러 프레임의 기간의 2배의 기간을 갖는다. 다른 실시예에서, 서로 상이한 펄싱 수법들이 채용될 수도 있다. 예를 들면, 실시예는 각 컬러 성분 또는 프레임 (T1) 및 인입 컬러 프레임(2 x T1)의 기간의 2배의 기간을 갖는 재구축된 프레임의 타이밍에 기초할 수 있다. 시퀀스 내에 서로 다른 프레임들은 서로 다른 프레임 기간을 가질 수 있고 평균 캡처는 최종 프레임 레이트의 임의의 배수일 수도 있을 것이다.
도 17 내지 도 20은 파티션된 광 시스템에 사용하기 위한 컬러 정정 방법 및 하드웨어 개요를 도시한 것이다. 디지털 이미징에서는 사용자 기대를 충족시키기 위해 출력을 정정하고 이미징되는 대상의 어떤 측면들을 하이라이트하기 위해서 이미지 데이터 내에 값들을 조작하는 것은 일반적이다. 가장 공통적으로 이것은 서로에 대해 한 데이터 유형을 강조하기 위해 조율되고 조절되는 위성 이미지에서 행해진다. 가장 자주, 위성에서 획득된 데이터에서, 광원이 제어되지 않는, 즉, 태양이 광원이기 때문에 가용한 전자기 에너지의 풀 스펙트럼이 존재한다. 반대로, 광이 제어되고 심지에 사용자에 의해 제공되는 이미징 조건이 존재한다. 이러한 상황에서, 교정이 없다면 부적합한 강조가 다른 데이터보다 어떤 데이터에 주어질 수 있기 때문에, 이미지 데이터의 교정은 여전히 바람직하다. 광이 사용자에 의해 제어되는 시스템에서, 사용자에게 알려지고, 전자기 스펙트럼의 부분 혹은 풀 전자기 스펙트럼의 복수의 부분들만일 수 있는 광의 방출을 제공하는 것이 잇점이 있다. 교정은 사용자의 기대를 충족시키고 시스템 내에 장래에 대해 체크하기 위해 여전히 중요하다. 교정의 한 방법은 센서로부터 데이터에 비교될 수 있는 주어진 이미징 조건에 대한 기대되는 값들의 테이블일 수 있다. 실시예는 이미징 장치에 의해 출력되는 기지의 값을 갖는 컬러 중립 장면을 포함할 수 있고, 장치는 장치가 컬러 중립 장면을 샘플링할 때 이들 기지의 값을 충족시키기 위해 조절될 수 있다.
사용에서 그리고 기동시, 시스템은 1702에서 복수의 전자기 스펙트럼 파티션의 풀 사이클을 이행함으로써 1710(도 17에 도시된 바와 같이)에서 컬러 중립 장면을 샘플링할 수 있다. 1704에서 프레임을 위한 히스토그램을 생성하기 위해 값들의 테이블(1708)이 형성될 수 있다. 프레임의 값들은 1706에서 컬러 중립 장면으로부터 기지의 또는 기대되는 값들과 비교될 수 있다. 이어, 이미징 장치는 1712에서 요망되는 출력을 충족시키기 위해 조절될 수 있다. 도 17에 도시된 실시예에서, 시스템은 이미징 장치를 컬러 정정을 위해 조절될 수 있는 이미지 신호 프로세서(ISP)를 포함할 수 있다.
광의 각 파티션된 스펙트럼은 서로 다른 에너지 값들을 가질 수 있기 때문에, 센서 및/또는 광 방출기는 에너지 값들에서 차이를 보상하기 위해 조절될 수 있음에 유의한다. 예를 들면 실시예에서, 청색 광 스펙트럼은 실리콘 기반의 이미저에 관하여 적색 광 스펙트럼보다 낮은 양자 효율을 갖기 때문에, 센서의 응답성은 적색 사이클 동안 덜 응답되게 그리고 청색 사이클 동안 더 응답이 되게 조절될 수 있다. 반대로, 방출기는 정확하게 노출되는 이미지를 생성하기 위해서, 적색 광보다 청색광의 낮은 양자 효율 때문에, 더 큰 세기에 청색광을 방출할 수 있다.
광원 방출이 제공되고 시스템에 의해 정될 수 있는 도 18에 도시된 실시예에서, 이들 광 방출의 조절은 1800에서 이미지를 컬러 정정을 하기 위해서 행해질 수 있다. 조절은 스펙트럼 파티션 내에 크기, 구간(즉, 시간-온), 혹은 범위와 같은 방출된 광의 임의의 측면에 대해 행해질 수있다. 또한, 방출기 및 센서 둘 다는 도 19에 도시된 바와 같이 일부 실시예들에서 동시에 조절될 수 있다.
출력된 이미지 스트림 또는 비디오 내에 노이즈 및 아티팩트의 량을 감소시키기 위해서, 도 20에서 알 수 있는 바와 같이 시스템 내에 센서 또는 방출기에 대해 분할된(fractionalized) 조절이 행해질 수 있다. 도 20에는 방출기(2006) 및 센서(2008)가 조절될 수 있는 시스템(2000)이 도시되었는데, 그러나 사용 동안 혹은 사용의 부분 동안 방출기 또는 센서가 조절되는 이미징 장치가 고려되고 발명의 범위 내에 있다. 사용의 한 부분 동안 방출기만을 조절하고 사용의 또 다른 부분 동안 센서만을 조절하고 반면 사용의 부분 동안 둘 다를 여전히 동시에 조절하는 것이 잇점이 있을 수 있다. 위에 실시예들 중 어느 것에서, 프레임 사이클들 간에 시스템이 행할 수 있는 전체 조절을 제한함으로써, 개선된 이미지 질이 얻어질 수 있다. 즉, 실시예는 방출기가 프레임들 간에 언제든 자신의 동작 범위의 부분만이 조절될 수 있게 제한된다. 마찬가지로, 센서는 이것이 프레임들 간에 언제든 자신의 동작 범위의 부분만이 조절될 수 있게 제한될 수 있다. 또한, 방출기 및 센서 둘 다 이들이 실시예에서 프레임들 사이에 언제든 이들의 각각의 동작 범위의 부분만이 함께 조절될 수 있게 제한될 수 있다.
예시적 실시예에서, 시스템 내에 성분들의 부분적 조절은 예를 들면, 이전 프레임의 노출을 정정하기 위해서 성분들의 동작 범위의 약 .1dB에서 수행될 수 있다. .1dB은 단지 예이며, 다른 실시예에서 성분들의 허용된 조절은 이들의 각각의 동작 범위의 임의의 부분일 수 있음에 유의한다. 시스템의 성분들은 일반적으로 성분에 의한 비트 수(해상도) 출력에 의해 일반적으로 통제되는 세기 또는 구간 조절에 의해 변경할 수 있다. 성분 해상도는 전형적으로 한 범위의 약 10-24 비트 사이일 수 있는데, 그러나 현재 가용한 것들 외에도 아직 개발되지 않은 성분들에 대한 해상도를 포함하게 의도되기 때문에 이 범위로 제한되지 않을 것이다. 예를 들면, 제 1 프레임 후에, 장면이 관찰되었을 때 너무 청색인지 판정되고, 이어 방출기는 약 .1dB와 같이, 위에 논의된 바와 같이 부분적 조절에 의해 시스템의 청색 사이클 동안 청색광의 펄스의 크기 또는 구간을 감소시키기 위해 조절될 수 있다.
이 예시적 실시예에서, 10 퍼센트보다 더 필요하였을 수도 있는데, 그러나 시스템은 시스템 자신이 사이클당 동작 범위의 .1dB 조절로 제한되었다. 따라서, 다음 시스템 사이클 동안, 청색 광은 필요하다면, 다시 조절될 수 있다. 사이클들 간에 분할된(fractionalized) 조절은 출력된 이미징의 댐핑 효과를 가질 수 있고 이들의 동작 극단들에서 방출기 및 센서를 동작시킬 때 노이즈 및 아티팩트를 을 감소시킬 것이다. 조절의 성분들의 동작 범위의 임의의 부분적 량은 제한 요인으로서 사용될 수 있는지가 판정될 수 있고, 혹은 시스템의 어떤 실시예는 이들의 전체 동작 범위에 걸쳐 조절될 수 있는 성분들을 포함할 수 있는지가 판정될 수 있다.
또한, 임의의 이미지 센서의 광학 흑색 영역은 이미지 정정 및 노이즈 감소에서 도움을 주기 위해 사용될 수 있다. 실시예에서, 광학 흑색 영역으로부터 판독된 값들은 이미지 데이터 처리에서 사용될 기준점을 확정하기 위해서 센서의 활성 화소 지역의 것들과 비교될 수 있다. 도 21은 컬러 펄싱 시스템에서 채용될 수도 있을 종류의 센서 정정 프로세스를 도시한 것이다. CMOS 이미지 센서는 전형적으로 특히 낮은 광에서 이미지 질에 불리한 영향을 미치는 다수의 비-이상성들을 갖는다. 이들 중에 주된 것은 고정된 패턴 노이즈 및 라인 노이즈이다. 고정된 패턴 노이즈는 감지 요소들의 오프셋에서 분산이다. 전형적으로 대부분의 FPN은, 다른 원인들 중에서도, 암 전류에서 광다이오드마다 랜덤한 변동들에서 기인하는 화소마다의 분산이다. 이것은 보는 자에겐 매우 비정상적인 것으로 보인다. 훨씬 더 심한 것은 특정 컬럼들의 화소들에 연관된 판독 체인에서 오프셋에서 비롯되는, 컬럼 FPN이다. 이것은 이미지 내에 인지되는 수직 스트립을 초래한다.
조명이 총체적으로 제어되는 것은 암 데이터의 전체 프레임이 주기적으로 획득될 수 있고 화소 및 컬럼 오프셋을 정정하기 위해 사용될 수 있는 이익을 갖는다. 예시된 예에서, 단일 프레임 버퍼는, 예를 들면, 단순 지수함수적 평활을 사용하는 광 없이 전체 프레임의 이행 평균을 만들기 위해 사용될 수 있다. 이 암 평균 프레임은 규칙적인 동작 동안 모든 조명된 프레임으로부터 감해질 것이다.
라인-노이즈는 각 행 내에 화소의 오프셋에서 확률론적 일시적 변동이다. 이것은 일시적이기 때문에, 정정은 각 라인 및 각 프레임에 대해 새로이 계산되어야 한다. 이 목적을 위해 일반적으로, 광 감응 화소를 샘플링하기 전에 라인 오프셋을 평가하기 위해 먼저 샘플링되어야 하는, 어레이 내 각 행 내에 일반적으로 많은 광학적 블라인드(OB) 화소들이 존재한다. 라인 오프셋은 라인 노이즈 정정 프로세스 동안 간단히 감해진다.
도 21에 예에서, 데이터를 적합한 순서로 얻고, 아날로그 영역(흑색 클램프)에서 전압 오프셋을 모니터 및 제어하고, 개개의 결함 화소들을 식별/정정하는 것에 관계된 다른 정정들이 존재한다.
도 22 및 도 23은 폐쇄된 혹은 제한된 광 환경 내에 동적범위를 증가시키기 위해 방법 및 하드웨어 개요를 도시한 것이다. 실시예에서, 노출 입력은 시간에 걸쳐 서로 다른 레벨들의 입력이며 더 큰 동적범위를 생성하기 위해서 조합할 수 있다. 도 22에서 알 수 있는 바와 같이, 이미징 시스템은 2202에서 제 1 사이클 동안 제 1 세기에서 사이클될 수 있고, 이어 2204에서 제 2 사이클 동안 제 2 세기에서 사이클될 수 있고, 이들 제 1 및 제 2 사이클들을 2206에서 단일 프레임에 조합함으로써 더 큰 동적범위가 달성될 수 있게 할 수 있다. 더 큰 동적범위는 이미징 장치가 사용되는 제한된 공간 환경 때문에 특히 바람직할 수 있다. 광원에 의해 제공되는 광을 제외하고, 광원이 광 방출기에 가까운, 광 부족 또는 어두운 제한된 공간 환경에서, 노출은 거리에 대해 지수함수적 관계를 갖는다. 예를 들면, 광원에 가까운 대상 및 및 이미징 장치의 광학 개구는 과도하게 노출되는 경향이 있고, 반면 멀리 떨어진 대상은 매우 적은 (어느 것에서든) 주변 광이 존재하기 때문에 극히 미만으로 노출되는 경향이 있다.
도 23에서 알 수 있는 바와 같이, 복수의 파티션에서 전자기 에너지의 방출을 갖는 시스템의 사이클은 2300에서 전자기 스펙트럼의 파티션에 따라 직렬로 사이클될 수 있다. 예를 들면, 방출기가 분명한 적색 파티션, 분명한 청색 파티션, 및 분명한 녹색 파티션에서 레이저들을 방출하는 실시예에서, 조합될 두 사이클 데이터 세트는 다음 형태에 있을 수 있다:
2302에서 세기 1의 적색,
2304에서 세기 2의 적색,
2302에서 세기 1의 청색,
2304에서 세기 2의 청색,
2302에서 세기 1의녹색,
2304에서 세기 2의녹색.
대안적으로, 시스템은 다음 형태로 사이클될 수 있다:
2302에서 세기 1의 적색,
2302에서 세기 1의 청색,
2302에서 세기 1의 녹색,
2304에서 세기 2의 적색,
2304에서 세기 2의 청색,
2304에서 세기 2의 녹색.
이러한 실시예에서, 제 1 이미지는 세기 1 값들로부터 도출될 수 있고, 제 2 이미지는 세기 2 값들로부터 도출되고 이어 이들의 성분 부분들이 아니라 2310에서 완전한 이미지 데이터 세트들로서 조합 또는 처리될 수 있다.
임의의 수의 방출 파티션이 임의의 순서로 사용될 수 있다는 것은 이 발명의 범위 내에 있는 것으로 고려된다. 도 23에서 알 수 있는 바와 같이, "n"은 임의의 수의 파티션을 표기하기 위한 변수로서 사용되고, "m"은 "n" 파티션에 대한 임의의 레벨의 세기를 표기하기 위해 사용된다. 이러한 시스템은 다음 형태로 사이클될 수 있다:
2306에서 세기 m의 n,
세기 m+1의 n+ 1,
세기 m+2의 n+2,
2308에서 세기 m+j의 n+i.
따라서, 임의의 패턴의 직렬화된 사이클은 요망되는 이미지 정정을 생성하기 위해 사용될 수 있고, "i" 및 "j"은 이미징 시스템의 동작 범위 내에 추가의 값들이다.
디지털 컬러 카메라는 컬러 재현의 충실도를 최대화할 목적으로 이미지 처리 스테이지를 탑재한다. 이것은 컬러 정정 매트릭스(CCM)으로서 알려진 3X3 매트릭스에 의해 달성된다:
Figure 112015010435137-pct00001
CCM에서 항들은 sRGB 표준 컬러 공간에 최상의 전체적 매칭을 제공하기 위해 한 세트의 기준 컬러(예를 들면, 맥베스 차트로부터)를 사용하여 조율된다. 대각 항들인 a, e 및 i는 실질적으로 백색 밸런스 이득이다. 전형적으로 그렇지만, 백색 밸런스는 개별적으로 적용되고 수평 행들의 합들은 어떠한 순 이득이 CCM 자신에 의해 적용되지 않도록, 유니티(unity)가 되게 제약된다. 비-대각에 항들은 실제으로 입력 채널들에서 컬러 크로스토크를 다룬다. 그러므로, 바이에르 센서는 컬러 필러(filer) 어레이가 채널들 간에 다수의 응답 중첩을 갖기 때문에 3-칩 카메라보다 더 많은 비-대각을 갖는다.
비-대각 항들의 크기에 의존하는 컬러 정정에 대한 신호-대-노이즈 비 페널티가 존재한다. sRGB 성분에 완전히 매칭되는 채널을 가진 가상적 센서는 단위(identity) 매트릭스 CCM을 가질 것이다:
Figure 112015010435137-pct00002
이 경우에 있어 화소 당 10,000 e-의 완전한 백색 광신호에 대해 녹색 채널에서 평가된 신호 대 노이즈 비는 다음이 될 것이다:
Figure 112015010435137-pct00003
이것으로부터 임의의 일탈은 SNR을 저하시킨다. 예를 들어 바이에르 CMOS 센서에 대해 특이하지 않게 될 값들을 갖는 다음 CCM을 취한다:
Figure 112015010435137-pct00004
이 경우에 녹색 SNR:
Figure 112015010435137-pct00005
도 24는 단위 매트릭스 대 조율된 CCM을 사용하는 경우에 있어 전형적인 바이에르 센서 CCM에 대해 D65 조명을 사용한 풀 SNR 시뮬레이션의 결과를 도시한 것이다. 루미넌스 성분에 대해 평가된 SNR은 컬러 정정의 결과로서 약 6dB 더 악화된다.
이 발명에 기술된 시스템은 3개의 개별적 파장들에 단색의 조명을 사용하며, 따라서 컬러 크로스토크 그 자체가 없다. 도 25에서 십자 표시는 삼각형으로 나타낸 sRGB 개멋과 비교하여, 레이저 다이오드 소스(465, 532 & 639 nm)을 통해 가용한 3개의 파장의 위치를 나타낸다.
이 경우에 CCM에 대한 비-대각 항들은 바이에르 센서에 비해 극적으로 감소되고, 이것은 현저한 SNR 잇점을 제공한다.
도 26은 이미지 센서의 화소 어레이의 화소 구성에 의해 제공되는 증가된 동적범위을 갖는 이미징 시스템을 도시한 것이다. 도면에서 알 수 있는 바와 같이, 이웃한 화소(2602, 2604)는 서로에 관하여 다소 감응하는 화소들에 의해 생성되는 데이터를 각 사이클이 포함하게 서로 상이한 감도들로 설정될 수 있다. 복수의 감도들은 어레이의 단일 사이클에서 기록될 수 있기 때문에, 동적범위는 다른 실시예의 시간 종속적 직렬 특성과는 반대로, 병렬로 기록된다면 증가될 수 있다.
실시예에서, 어레이는 이들의 감도들에 기초하여 행들로 배치될 수 있는 행들의 화소들을 포함할 수 있다. 실시예에서, 서로 다른 감도들의 화소들은 이의 최근접한 이웃 화소들에 관하여 행 또는 컬럼 내에서 교번하여 이들 감도들에 기초하여 어레이 전체에 걸쳐 체크보드 패턴을 형성할 수 있다. 이상은 임의의 화소 회로 공유 배열을 통해서 혹은 임의의 독자형 화소 회로 배열로 달성될 수 있다.
넓은 동적범위는 다수의 전역 TX을 가짐으로써 달성될 수 있고, 각 TX는 상이한 한 세트의 화소들 상에서만 파이어한다. 예를 들면 전역 모드에서, 전역 TX1 신호는 세트 1의 화소들을 파이어하고 전역 TX2 신호는 세트 2의 화소들을 파이어하고 전역 TXn 신호는 세트 n의 화소들을 파이어한다.
도 11에 기초하여, 도 27a는 화소 어레이에서 2 서로 다른 화소 감도들(2중 화소 감도)에 대한 타이밍 예를 도시한 것이다. 이 경우에, 전역 TX1 신호는 어레이의 절반의 화소들을 파이어하고 전역 TX2는 다른 절반의 화소들을 파이어한다. 전역 TX1 및 전역 TX2는 "온"에서 "오프"로의 서로 다른 에지 위치들을 갖기 때문에, 통합된 광은 TX1 화소와 TX2 화소 간에 상이하다. 도 27b는 2중 화소 감도에 대한 타이밍의 다른 실시예를 도시한 것이다. 이 경우에, 광 펄스는 2번 변조된다(펄스 구간 및/또는 진폭). TX1 화소는 PI 펄스를 통합하고 TX2 화소는 P1+P2 펄스를 통합한다. 전역 TX 신호를 분리하는 것은 다수의 방법들로 행해질 수 있다. 다음은 예이다:
ㆍ각 행으로부터 TX 라인을 구별하고;
ㆍ행당 다수의 TX 라인들을 보내며, 각각은 상아한 한 세트의 화소들을 어드레스한다.
일 구현예에서, 넓은 동적범위 비디오를 제공하는 수단이 기술되며, 이것은 이 발명에서 기술된 컬러 펄싱 시스템을 활용한다. 이것의 토대는 화소들의 다수 종류의 화소들, 혹은 동일 프레임 내에서 서로 다른 구간 동안 입사광을 통합할 수 있는 동일 단색 어레이 내에서 다르게 조율될 수 있는 화소들을 갖는 것이다. 이러한 센서의 어레이 내 화소 배열의 예는 2개의 독립적으로 가변 통합 시간을 갖는 전체에 걸쳐 균일한 체크보드 패턴이 될 것이다. 이러한 경우에 있어서, 동일 프레임 내에 적색 및 청색 정보 둘 다를 제공하는 것이 가능하다. 사실, 이것을 녹색 프레임에 대한 동적범위를 확장함과 동시에 행하는 것이 가능하며, 이것은 두 통합 시간이 프레임별로 조절될 수 있기 때문에 가장 필요하다. 이익은 모든 데이터가 두 프레임 대 3으로부터 도출된다면 컬러 모션 아티팩트가 덜 문제가 될 것이라는 것이다. 물론 적색 및 청색 데이터에 대한 공간적 해상도의 후속 손실이 존재하는데, 그러나 이것은 루미넌스 성분이 녹색 데이터에 의해 좌우되기 때문에, 녹색과 비교하여 이미지 질에 덜 중요하다.
단색의 넓은 동적범위(WDR) 어레이의 본연의 특성은 긴 통합 시간을 갖는 화소가 짧은 통합 시간 화소가 받는 광의 확대집합을 통합해야 한다는 것이다. 녹색 프레임에서 정규의 넓은 동적범위 동작에 있어서, 이것은 바람직하다. 적색 및 청색 프레임들에 있어서, 예를 들면, 긴 노출의 시작부터 청색광을 제공하고 짧은 노출 화소가 턴 온(두 화소 유형들은 이들의 전하가 동시에 전송되게 한다)되는 지점에서 적색으로 스위칭하기 위해 펄싱은 노출 기간과 함께 제어되어야 함을 의미한다.
컬러 퓨전 스테이지에서, 화소의 두 특색은 두 버퍼로 분리된다. 이어, 빈 화소는 예를 들면, 선형 보간을 사용하여 채워진다. 이 시점에서, 한 버퍼는 청색 데이터 및 다른 적색+청색의 풀 이미지를 내포한다. 청색 버퍼는 순 적색 데이터를 주기 위해 제 2 버퍼로부터 감해질 수 있다.
도 28a 내지 도 28c은 대응하는 컬러 센서와 함께, 펄싱된 및/또는 동기된, 또는 일정하게 유지되는 백색 광 방출의 사용을 도시한 것이다. 도 28a에서 알 수 있는 바와 같이, 백색 광 방출기는 제어된 광 환경에서 제어된 광원을 제공하기 위해 대응하는 센서의 블랭킹 기간 동안 광 빔을 방출하게 구성될 수 있다. 광원은 일정한 크기에 빔을 방출할 수 있고, 도 28a에서 알 수 있는 바와 같이 펄스의 구간을 가변시키며, 혹은 도 28b에 도시된 바와 같이 정확하게 노출된 데이터를 달성하기 위해서 크기를 가변시키면서 펄스를 일정하게 유지할 수 있다. 도 28c에는 센서에 의해 제어되고 이와 동기되는 가변 전류로 변조될 수 있는 일정한 광원의 그래프도가 도시되었다.
실시예에서, 백색 광 또는 다수-스펙트럼 광은 시스템(도 28a 내지 도 28c에 최상으로 도시된) 내에서 사용하기 위한 데이터를 제공하기 위해서, 요망된다면, 펄스로서 방출될 수 있다. 전자기 스펙트럼의 파티션과 조합하여 백색 광 방출은 장면 내에 어떤 측면들을 강조 및 비-강조하는데 유용할 수 있다. 이러한 실시예는 다음의 펄싱 패턴을 사용할 수도 있을 것이다:
녹색 펄스;
적색 펄스;
청색 펄스;
녹색 펄스;
적색 펄스;
청색 펄스;
백색 광(다수-스펙트럼) 펄스;
(반복)
백색 광 사이클보다 적어도 2배 빠른 이미지 센서 사이클을 사용하는 임의의 시스템은 발명의 범위 내에 속하게 의도된다. 전자기 스펙트럼의 파티션의 임의의 조합은 이것이 풀 전자기 스펙트럼의 가시 또는 비가시스펙트럼이든지 간에 본원에서 고려됨을 알 것이다.
도 29a 및 도 29b는 이미지 발명의 교시된 바 및 원리에 따라 3차원 이미지를 생성하기 위한 복수의 화소 어레이를 갖는 모노리식 센서(2900)의 구현의 사시도 및 측면도를 각각 도시한 것이다. 이러한 구현예는 3차원 이미지 캡처를 위해 바람직할 수 있는 것으로 두 화소 어레이(2902, 2904)는 사용 동안 오프셋될 수 있다. 또 다른 구현예에서, 제 1 화소 어레이(2902) 및 제 2 화소 어레이(2904)는 전자기 방사의 소정의 범위의 파장을 수신하는 것에 전용될 수 있고, 제 1 화소 어레이는 제 2 화소 어레이와는 상이한 범위의 파장에 전용된다.
도 30a 및 도 30b는 복수의 기판 상에 형성된 이미징 센서(3000)의 구현의 사시도 및 측면도를 각각 도시한 것이다. 도시된 바와 같이, 화소 어레이를 형성하는 복수의 화소 컬럼(3004)은 제 1 기판(3002) 상에 위치되고, 복수의 회로 컬럼(3008)은 제 2 기판(3006) 상에 위치된다. 또한 도면에는 이의 연관된 또는 대응하는 컬럼의 회로에 한 컬럼의 화소들 간에 전기적 연결 및 통신이 도시되었다. 일 구현예에서, 단일 모노리식 기판/칩 상에 자신의 화소 어레이 및 지원회로와 함께 제조되었을 이미지 센서는 모든 또는 대부분의 지원회로로부터 분리된 화소 어레이를 가질 수 있다. 발명은 3차원 적층 기술을 사용하여 함께 적층될 적어도 2개의 기판/칩을 사용할 수 있다. 두 기판/칩의 제 1(3002)은 이미지 CMOS 프로세스를 사용하여 처리될 수 있다. 제 1 기판/칩(3002)은 화소 어레이로만 혹은 제한된 회로에 의해 둘러싸인 화소 어레이로 구성될 수 있다. 제 2 또는 후속 기판/칩(3006)은 임의의 프로세스를 사용하여 처리될 수 있고, 이미지 CMOS 프로세스로부터 될 필요는 없다. 제 2 기판/칩(3006)은 기판/칩 상에 매우 제한된 공간 또는 영역 내에 다양한 다수의 기능을 통합하기 위해서 고밀도 디지털 프로세스, 혹은 예를 들면 정밀한 아날로그 기능을 통합하기 위해서 혼합-모드 또는 아날로그 프로세스, 혹은 무선 능력을 구현하기 위해서 RF 프로세스, 혹은 MEMS 장치를 통합하기 위해서 MEMS(마이크로-전기-기계 시스템)일 수 있는데, 그러나 이들로 제한되지 않는다. 이미지 CMOS 기판/칩(3002)은 임의의 3차원 기술을 사용하여 제 2 또는 후속 기판/칩(3006)과 적층될 수 있다. 제 2 기판/칩(3006)은 주변 회로로서 제 1 이미지 CMOS 칩(3002)(모노리식 기판/칩 상에 구현된다면) 내 구현되고 따라서 화소 어레이 크기를 일정하게 유지하고 가능한 최대 범위에 최적화되면서 전체 시스템 영역을 증가시켰을 수도 있었을 대부분, 혹은 대다수의 회로를 지원할 수 있다. 두 기판/칩 간에 전기적 연결은 와이어본딩, 범프 및/또는 TSV(Through Silcon Via)일 수 있는 상호연결(3003, 3005)을 통해 행해질 수 있다.
도 31a 및 도 31b는 3차원 이미지를 생성하기 위한 복수의 화소 어레이를 갖는 이미징 센서(3100)의 구현예의 사시도 및 측면도를 각각 도시한 것이다. 3차원 이미지 센서는 복수의 기판 상에 형성될 수 있고 복수의 화소 어레이 및 다른 연관된 회로를 포함할 수 있고, 제 1 화소 어레이를 형성하는 복수의 화소 컬럼(3104a) 및 제 2 화소 어레이를 형성하는 복수의 화소 컬럼(3104b)는 각각 각각의 기판(3102a, 3102b) 상에 위치되며 복수의 회로 컬럼(3108a, 3108b)는 별도의 기판(3106) 상에 위치된다. 또한, 회로의 연관된 혹은 대응하는 컬럼에 화소의 컬럼들 간에 전기적 연결 및 통신이 도시되었다.
발명의 교시된 바 및 원리는 발명의 범위 내에서 재사용가능 장치 플랫폼, 제한된 사용 장치 플랫폼, 재-포즈가능 사용 장치 플랫폼, 또는 단일-사용/처분가능 장치 플랫폼에서 사용될 수 있음을 알 것이다. 재사용가능 장치 플랫폼에서 최종-사용자는 장치의 세정 및 살균에 책임이 있음을 알 것이다. 제한된 사용 장치 플랫폼에서 장치는 동작불가해지기 전에 어떤 특정된 시간량 동안 사용될 수 있다. 전형적인 새로운 장치는 추가의 사용전에 추가의 사용이 최종-사용자가 세정 및 살균할 것을 요구함과 함께 살균하여 전달된다. 재-포즈가능 사용 장치 플랫폼에서, 제 3자는 새로운 유닛보다 낮은 비용으로 추가의 사용을 위해 단일-사용 장치로 장치를 재처리(예를 들면, 세정, 패키징 및 살균)할 수 있다. 단일-사용/처분가능 장치 플랫폼에서, 장치는 작업실에서 살균하여 제공되고 처분되기 전에 1회만 사용된다.
방출기의 실시예는 펄싱된 컬러 광을 생성하기 위해 기계식 셔터 및 필터의 사용을 채용할 수 있다. 도 32에 도시된 바와 같이, 백색 광원 및 기계식 컬러 필터 및 셔터 시스템(3200)을 사용하여, 펄싱된 컬러 광을 생성하기 위한 대안적 방법. 휠은 반투명한 컬러 필터 윈도우의 패턴 및 셔터하기 위한 불투명한 섹션을 내포할 수도 있을 것이다. 불투명한 섹션은 광 투과를 허용하지 않을 것이며 센서 판독이 행해질 수도 있을 기간의 어두움을 생성할 것이다. 백색 광원은 임의의 기술로서 레이저, LED, 제논, 할로겐, 금속 할라이드, 또는 그외에 기초할 수도 있을 것이다. 백색 광은 요망되는 패턴의 컬러 광 펄스들의 일련의 컬러 필터(3207, 3209, 3211)를 통해 투사될 수 있다. 일 실시예 패턴은 적색 필터(3207), 녹색 필터(3209), 청색 필터(3211), 녹색 필터(3209)일 수도 있을 것이다. 필터 및 셔터 시스템(3200)은 기계식 컬러 필터(3207, 3209, 3211) 및 셔터(3205) 시스템의 아크 길이 및 회전 레이트를 앎으로써 대응하는 단색의 이미지 센서의 동작을 위한 타이밍 정보가 제공되게, 센서와 동기하게 요구되는 주파수로 스핀하는 휠 상에 배열될 수도 있을 것이다.
도 33에는 필터 휠(3300) 상에 한 패턴의 단지 반투명한 컬러 필터(3307, 3309, 3311)를 포함할 수 있는 실시예가 도시되었다. 본 구성에서, 다른 셔터가 사용될 수 있다. 셔터는 기계식일 수도 있을 것이며 크기를 가변시킴으로써 "펄스" 구간을 동적으로 조절할 수도 있을 것이다. 대안적으로, 셔터는 전자식이고 센서 설계에 탑재될 수도 있을 것이다. 필터 휠(3300)을 스핀하는 모터는 기계식 컬러 필터(3307, 3309, 3311) 시스템의 아크 길이 및 회전 레이트를 앎으로써 대응하는 단색의 이미지 센서의 동작을 위한 타이밍 정보가 제공되게, 센서와 함께 통신 또는 제어될 필요가 있을 것이다. 제어 시스템은 풀-컬러 이미지가 ISP에서 적합하게 재구축될 수 있도록 센서에 의해 캡처된 각 프레임에 대해 적합한 컬러 필터를 알 필요가 있을 것이다. RGBG의 컬러 패턴이 도시되었지만 다른 컬러 및/또는 패턴이 잇점이 있다면 사용될 수도 있을 것이다. 컬러 섹션의 상대적 크기는 동일한 것으로 도시되었지만 잇점이 있다면 조절될 수도 있을 것이다. 필터의 기계 구조는 회전하여 이동하는 원인 것으로서 도시되었지만, 그러나 선형 이동을 가진 사각형이거나, 혹은 다른 움직임 패턴을 가진 다른 형상일 수도 있을 것이다.
도 34에 도시된 바와 같이, 컬러 광을 펄싱하기 위한 실시예는 적색, 녹색, 청색 또는 백색 LED들을 위한 전자장치 및 열 싱크를 유지하는 기계식 휠 또는 배럴로 구성될 수 있다. LED는 특허 내 다른 실시예들과 일관된 광 펄싱의 타이밍을 가질 수 있게 배럴 또는 휠의 스핀 또는 트위스트 레이트에 관계될 거리에 이격될 것이다. 휠 또는 배럴은 전기 모터 및 휠 또는 배럴을 전기 모터에 부착하는 기계 브라켓을 사용하여 스핀될 것이다. 모터는 특허에 기술된 바와 같이 적합한 타이밍을 위해 제어 알고리즘을 내포할 마이크로제어기, FPGA, DSP, 또는 이외 다른 프로그램가능 장치를 사용하여 제어될 것이다. 특허에 기술된 방법으로 스코프의 단부에 섬유를 수송하기 위해 광섬유에 광학적으로 결합될 일측 상에 기계식 개구가 존재할 것이다. 이 결합은 또한 섬유 광학 케이블 밑으로 허용된 광량을 제어하기 위해 개폐할 수도 있을 기계식 애퍼처를 가질 수도 있을 것이다. 이것은 기계식 셔터 장치일 것이며 대안적으로 CMOS 또는 CCD 유형의 센서로 설계되는 전자 셔터를 사용할 수도 있을 것이다. 이 장치는 제작에서 제어 및 교정하기가 어려울 것이지만 또 다른 방법으로 펄싱된 광을 본 시스템에 가할 수도 있을 것이다.
도 35에는 펄싱된 전자기 방사를 제공하기 위한 선형 필터 및 셔터 메커니즘을 포함하는 방출기의 실시예가 도시되었다.
도 36에는 펄싱된 전자기 방사를 제공하기 위한 프리즘 필터 및 셔터 메커니즘을 포함하는 방출기의 실시예가 도시되었다.
또한, 발명의 교시된 바 및 원리는 적외선(IR), 자외선(UV), 및 X-선과 같은 가시 및 비가시 스펙트럼을 포함한, 전자기 에너지의 임의의 및 모든 파장을 포함할 수 있다.
본원에 개시된 여러 특징들은 이 기술에 유의한 잇점 및 진보를 제공함을 알 것이다. 다음 청구항은 이들 특징들의 일부의 전형이다.
발명의 전술한 상세한 설명에서, 발명의 여러 특징들은 발명을 간소화할 목적으로 단일 실시예에서 함께 그룹화된다. 발명의 이 방법은 청구된 발명이 각 청구항에 분명하게 인용된 것보다 더 많은 특징들을 요구하는 발명을 반영하는 것으로서 해석되지 않아야 한다. 그보다는, 발명의 측면들은 단일의 전술한 개시된 실시예의 모든 특징들 미만 이내에 놓여 있다.
위에 기술된 배열은 발명의 원리의 응용을 단지 예시하는 것임을 이해해야 한다. 발명의 정신 및 범위 내에서 당업자들에 의해 많은 수정들 및 대안적 배열들이 구상되며 청구된 청구항들은 이러한 수정들 및 배열들을 포함하게 의도된다.
이에 따라, 발명이 도면들에 도시되고 특징적으로 그리고 상세히 위에 기술되었지만 크기, 물질들, 형상, 형태, 기능 및 동작 방식, 조립 및 사용에 변화들을 포함하여 -이들로 제한되지 않는다- 수많은 수정들이 본원에 개시된 원리 및 개념 내에서 행해질 수 있음이 당업자들에게 명백할 것이다.
또한, 적합한 경우, 본원에 기술된 기능은 하드웨어, 소프트웨어, 펌웨어, 디지털 성분, 또는 아날로그 성분 중 하나 이상으로 수행될 수 있다. 예를 들면, 하나 이상의 응용특정의 집적회로(ASIC) 또는 필드 프로그램가능 게이트 어레이(FPGA)는 본원에 기술된 시스템들 및 절차들 중 하나 이상을 수행하게 프로그램될 수 있다. 어떤 용어들은 특정 시스템 성분들을 언급하기 위해 다음 설명 및 청구항들 전체에 걸쳐 사용된다. 당업자가 알게 되는 바와 같이, 성분들은 상이한 명칭들에 의해 언급될 수도 있다. 이 문서는 명칭은 상이하나 기능은 상이하지 않은 성분들 간을 구별하지는 않는다.
전술한 설명은 예시 및 설명의 목적으로 제시되었다. 발명을 철저히 하게 하거나 개시된 정밀한 형태로 발명을 제한하려는 것은 아니다. 많은 수정 및 변형이 위에 교시된 바에 비추어 가능하다. 위에 언급된 대안적 구현예들 중 어느 것 또는 전부는 발명의 추가의 혼합된 구현들을 형성하기 위해 요망되는 임의의 조합으로 사용될 수 있음에 유의한다.
또한, 발명의 구체적 구현예가 기술되고 예시되었지만, 발명은 이와 같이 기술되고 부분들의 예시된 특정한 형태 또는 배열로 제한되는 것은 아니다. 발명의 범위는 본원에 첨부된 청구항, 본원에서 그리고 다른 출원들에서 제출되는 임의의 미래에 청구항 및 이등의 등가물들에 의해 정의된다.

Claims (87)

  1. 주변 광 부족 환경에서 디지털 이미징하기 위한 시스템에 있어서,
    전자기 방사를 감지하기 위한 화소들의 어레이를 포함하는 이미지 센서;
    상기 주변 광 부족 환경에 액세스하기 위한 내시경;
    상기 내시경에 부착된 핸드 피스로서, 상기 내시경은 상기 핸드 피스의 조작에 의해 조정되는, 상기 핸드 피스;
    전자기 방사의 복수의 펄스들을 방출하게 구성된 방출기; 및
    프로세서를 포함하며, 상기 이미지 센서 및 상기 방출기와 전기적으로 통신하는 제어기를 포함하되,
    상기 제어기는 상기 이미지 센서의 블랭킹 기간 동안 상기 방출기로부터 방출되는 전자기 방사의 상기 복수의 펄스들의 타이밍을 조정하고 동기화하게 구성되고,
    상기 이미지 센서는 전자기 방사의 상기 복수의 펄스들 각각에 대응하는 프레임동안 이미징 데이터를 캡처하고,
    전자기 방사의 상기 복수의 펄스들에 대응하는 복수의 캡처된 프레임들은 이미지 프레임을 생성하는 데 이용되고,
    상기 복수의 캡처된 프레임들은 제 1 프레임 및 제 2 프레임을 포함하고, 상기 제 1 프레임에 대한 블랭킹 기간은 상기 제 2 프레임에 대한 블랭킹 기간과 상이하고, 그리고
    복수의 이미지 프레임들은 비디오 스트림을 생성하는 데 이용되는, 디지털 이미징 시스템.
  2. 제 1 항에 있어서, 상기 시스템은 상기 핸드 피스 및 상기 제어기를 전기적으로 연결하는 연결 케이블을 더 포함하는, 디지털 이미징 시스템.
  3. 제 1 항에 있어서, 상기 이미지 센서는 단색 센서인, 디지털 이미징 시스템.
  4. 제 1 항에 있어서, 상기 방출기는 복수의 전자기 파장들을 방출하게 구성된, 디지털 이미징 시스템.
  5. 제 4 항에 있어서, 상기 방출기는 3개의 전자기 파장들을 방출하게 구성된, 디지털 이미징 시스템.
  6. 제 5 항에 있어서, 상기 방출기에 의해 방출된 상기 3개의 전자기 파장들은
    녹색 파장의 전자기 방사,
    적색 파장의 전자기 방사, 및
    청색 파장의 전자기 방사를 포함하는, 디지털 이미징 시스템.
  7. 제 6 항에 있어서, 상기 청색, 적색 및 녹색 파장들의 전자기 방사는 반복 패턴으로 방출되는, 디지털 이미징 시스템.
  8. 제 7 항에 있어서, 상기 녹색 파장은 상기 반복 패턴에서 상기 적색 파장 및 청색 파장에 비해 두 배 빈번하게 나타나는, 디지털 이미징 시스템.
  9. 제 1 항에 있어서, 상기 방출기에 의해 방출되는 전자기 방사의 상기 펄스는 사람 눈에 보이는 파장인, 디지털 이미징 시스템.
  10. 제 1 항에 있어서, 상기 방출기에 의해 방출되는 전자기 방사의 상기 펄스는 사람 눈에 보이지 않는 파장인, 디지털 이미징 시스템.
  11. 제 4 항에 있어서, 상기 복수의 전자기 파장들은 사람 눈에 보이는 파장 및 사람 눈에 보이지 않는 파장을 포함하는, 디지털 이미징 시스템.
  12. 제 4 항에 있어서, 상기 방출기에 의하여 방출되는 전자기 방사의 상기 복수의 펄스들은 서로 상이한 파장들에 대해 서로 상이한 크기들을 포함하는, 디지털 이미징 시스템.
  13. 제 12 항에 있어서, 상기 서로 상이한 크기들은 서로 상이한 파장들에 대한 상기 이미지 센서의 감도를 보상하는 것인, 디지털 이미징 시스템.
  14. 제 1 항에 있어서, 상기 이미지 센서는 상기 핸드 피스에 관하여 상기 내시경 내에 이의 원단 부분에 배치된, 디지털 이미징 시스템.
  15. 제 1 항에 있어서, 상기 이미지 센서는 상기 핸드 피스 내에 배치된, 디지털 이미징 시스템.
  16. 제 1 항에 있어서, 전자기 방사의 상기 펄스들은 상기 방출기로부터 상기 내시경의 선단에 섬유 광학을 통해 전송되는, 디지털 이미징 시스템.
  17. 제 2 항에 있어서, 상기 연결 케이블은 상기 방출기에서 상기 내시경으로 전자기 방사를 전송하기 위한 섬유 광학을 포함하고, 상기 연결 케이블은 상기 제어기에서 상기 이미지 센서로 전자 통신을 제공하기 위한 전기적 도전성 와이어들을 더 포함하는, 디지털 이미징 시스템.
  18. 삭제
  19. 제 1 항에 있어서, 상기 제어기는 상기 핸드 피스 내에 배치되는, 디지털 이미징 시스템.
  20. 제 1 항에 있어서, 상기 방출기는 레이저 광을 방출하게 구성된 레이저 방출기인, 디지털 이미징 시스템.
  21. 제 20 항에 있어서, 상기 레이저 광을 고르게 분산하기 위한 데스페클러를 더 포함하는, 디지털 이미징 시스템.
  22. 제 1 항에 있어서, 상기 방출기는 발광 다이오드들을 포함하는, 디지털 이미징 시스템.
  23. 제 1 항에 있어서, 상기 화소 어레이는 복수의 부-세트들의 화소들을 포함하고, 상기 복수의 부-세트들의 화소들 각각은 서로 상이한 감도들을 갖는, 디지털 이미징 시스템.
  24. 제 23 항에 있어서, 서로 상이한 부-세트들의 화소들에 대한 감도에 변화들은 개별적인, 전역 노출 기간들에 의해 달성되는, 디지털 이미징 시스템.
  25. 제 24 항에 있어서, 상기 전자기 방사의 구성은 서로 상이한 노출 기간들 동안 변경되는, 디지털 이미징 시스템.
  26. 주변 광 부족 환경들에서 하나 이상의 프로세서에 의하여 실행되는 내시경에 사용하기 위한 디지털 이미징 방법에 있어서,
    상기 주변 광 부족 환경 내에서 조명을 야기하기 위해 전자기 방사의 복수의 펄스들을 방출하기 위해 방출기를 작동시키는 단계;
    이미지 센서의 블랭킹 기간 동안 펄싱되도록 조정되고 동기화되는 소정의 간격으로 광 빔을 방출하는 상기 방출기를 펄싱하는 단계;
    상기 이미지 센서의 화소 어레이로 상기 복수의 펄스들로부터 반사된 전자기 방사를 감지하는 단계;
    상기 화소 어레이는 상기 방출기의 상기 복수의 펄스들 각각에 대응하는 감지 간격으로 작동되며;
    상기 감지 간격에 대응하는 소정의 블랭킹 간격으로 상기 화소 어레이를 블랭킹 하는 단계;
    상기 이미지 센서는 전자기 방사의 상기 복수의 펄스들 각각에 대응하는 프레임 동안 이미징 데이터를 캡처하고,
    전자기 방사의 상기 복수의 펄스들에 대응하는 복수의 캡처된 프레임들은 이미지 프레임을 생성하는 데 이용되고,
    상기 복수의 캡처된 프레임들은 제 1 프레임 및 제 2 프레임을 포함하고, 상기 제 1 프레임에 대한 블랭킹 기간은 상기 제 2 프레임에 대한 블랭킹 기간과 상이하고, 그리고
    상기 이미지 센서에 의하여 감지된 반사된 전자기 방사로 인한 복수의 이미지 프레임들을 조합함으로써 이미지들의 스트림을 생성하는 단계를 포함하는, 디지털 이미징 방법.
  27. 제 26 항에 있어서, 상기 방법은 상기 방출기와 장면 사이에 조명 경로 내에 위치된 데스페클링 장치를 사용하여 상기 프레임을 데스페클링하는 단계를 더 포함하는, 디지털 이미징 방법.
  28. 제 26 항에 있어서, 상기 광 빔을 상기 주변 광 부족 환경 내에 분산하기 위해서 상기 방출기로부터 전자기 방사의 상기 복수의 펄스들을 디퓨즈하는 단계를 더 포함하는, 디지털 이미징 방법.
  29. 제 26 항에 있어서, 조명을 야기하게 시퀀스로 복수의 펄스들의 전자기 방사를 방출하기 위해 상기 방출기를 작동시키는 단계,
    제 1 펄스는 전자기 스펙트럼의 단지 부분인 제 1 범위 내에 있고,
    제 2 펄스는 전자기 스펙트럼의 단지 부분인 제 2 범위 내에 있고,
    제 3 펄스는 전자기 스펙트럼의 단지 부분인 제 3 범위 내에 있고,
    소정의 간격으로 상기 펄스들을 펄싱하는 단계,
    상기 화소 어레이는 상기 제 1 펄스의 상기 펄스 간격에 대응하는 제 1 감지 간격으로 작동되고,
    상기 화소 어레이는 상기 제 2 펄스의 상기 펄스 간격에 대응하는 제 2 감지 간격으로 작동되고,
    상기 화소 어레이는 상기 제 3 펄스의 상기 펄스 간격에 대응하는 제 3 감지 간격으로 작동되는, 디지털 이미징 방법.
  30. 제 26 항에 있어서, 교정 간격 동안 광을 방출하지 않게 상기 방출기를 작동시키는 단계, 및 상기 교정 간격 동안 상기 화소 어레이를 작동시키는 단계를 더 포함하는, 디지털 이미징 방법.
  31. 제 30 항에 있어서, 상기 화소 어레이가 상기 교정 간격 동안 광을 감지한다면 추가의 펄스들을 중지시키는 단계를 더 포함하는, 디지털 이미징 방법.
  32. 제 29 항에 있어서, 상기 블랭킹 간격은 상기 제 1 펄스, 상기 제 2 펄스, 상기 제 3 펄스의 임의의 간격과 일치하지 않는, 디지털 이미징 방법.
  33. 제 29 항에 있어서, 상기 블랭킹 간격은 상기 제 1 펄스, 상기 제 2 펄스, 상기 제 3 펄스의 임의의 간격의 부분과 일치하는, 디지털 이미징 방법.
  34. 제 29 항에 있어서, 상기 펄스는 녹색 가시광 스펙트럼 범위를 가지며, 상기 제 2 펄스는 적색 가시광 스펙트럼을 가지며, 상기 제 3 펄스는 청색 가시광 스펙트럼을 갖는, 디지털 이미징 방법.
  35. 제 29 항에 있어서, 상기 펄스들 중 하나는 전자기 스펙트럼의 비가시 범위 로부터 오는, 디지털 이미징 방법.
  36. 제 29 항에 있어서, 상기 센서는 상기 제 1 펄스, 제 2 펄스, 및 제 3 펄스 중 어느 것을 똑같이 감지하게 구성되는, 디지털 이미징 방법.
  37. 제 29 항에 있어서, 상기 센서는 상기 전자기 스펙트럼의 임의의 스펙트럼 범위를 감지하게 구성된, 디지털 이미징 방법.
  38. 제 26 항에 있어서, 상기 화소 어레이는 복수의 부-세트들의 화소들을 포함하고, 상기 복수의 부-세트들의 화소들 각각은 서로 다른 감도들을 갖는, 디지털 이미징 방법.
  39. 제 38 항에 있어서, 서로 상이한 부-세트들의 화소들에 대한 감도에 변화들은 개별적인, 전역 노출 기간들에 의해 달성되는, 디지털 이미징 방법.
  40. 제 39 항에 있어서, 서로 상이한 노출 기간들 동안 상기 전자기 방사의 구성을 변경하는 단계를 더 포함하는, 디지털 이미징 방법.
  41. 제 38 항에 있어서, 시스템의 동적범위를 확장할 목적으로 상기 복수의 화소 감도들을 이용하는 단계를 더 포함하는, 디지털 이미징 방법.
  42. 제 38 항에 있어서, 상기 복수의 화소 감도들은 시스템의 동적범위를 확장할 목적으로 사용되는, 디지털 이미징 방법.
  43. 주변 광 부족 환경에서 디지털 이미징 하기 위한 시스템에 있어서,
    전자기 방사를 감지하기 위한 화소들의 어레이를 포함하는, 이미지 센서;
    전자기 방사의 복수의 펄스들을 방출하게 구성된 방출기;
    비디오 스트림을 생성하기 위해서 상기 이미지 센서의 블랭킹 기간 동안 상기 방출기로부터의 전자기 방사의 상기 복수의 펄스들 중 적어도 하나의 타이밍을 조정하고 동기화하게 구성된 제어기를 포함하고,
    상기 제어기는 상기 시스템으로 하여금,
    전자기 방사의 상기 복수의 펄스들 각각에 대응하는 프레임 동안 이미징 데이터를 캡처하고, 여기서 전자기 방사의 상기 복수의 펄스들에 대응하는 복수의 캡처된 프레임들은 이미지 프레임을 생성하는 데 이용되고,
    제 1 판독 시간 동안 상기 이미지 센서로부터 상기 화소들의 어레이의 판독을 수행하고 제 1 블랭킹 기간 동안 상기 방출기를 이용하여 전자기 방사를 방출하여 제 1 프레임을 캡처하고,
    제 2 판독 시간 동안 상기 이미지 센서로부터 상기 화소들의 어레이의 판독을 수행하고 제 2 블랭킹 기간 동안 상기 방출기를 이용하여 전자기 방사를 방출하여 제 2 이미지 프레임을 캡처하고, 여기서 상기 제 2 블랭킹 기간은 상기 제 1 블랭킹 기간에 비하여 상이한 시간 길이를 포함함으로써,
    상기 제 1 프레임 및 상기 제 2 프레임을 포함하는 복수의 프레임들을 캡처하도록 하고,
    상기 복수의 프레임들은 상기 비디오 스트림의 생성 동안 반복되는, 디지털 이미징 시스템.
  44. 제 43 항에 있어서, 전자기 방사의 상기 복수의 펄스들 각각은 구간을 포함하고, 상기 전자기 방사의 펄스의 상기 구간은 상기 이미지 센서의 상기 블랭킹 기간 동안 시작하고 상기 이미지 센서의 상기 블랭킹 기간 내에서 종료하는, 디지털 이미징 시스템.
  45. 제 43 항에 있어서, 전자기 방사의 상기 복수의 펄스들 각각은 구간을 포함하고, 상기 전자기 방사의 펄스의 상기 구간은 상기 이미지 센서의 상기 블랭킹 기간 동안 시작하고 상기 이미지 센서의 상기 블랭킹 기간 후에 종료하는, 디지털 이미징 시스템.
  46. 제 43 항에 있어서, 전자기 방사의 상기 복수의 펄스들 각각은 구간을 포함하고, 전자기 방사의 상기 펄스의 상기 구간은 상기 이미지 센서의 상기 블랭킹 기간 전에 시작하고 상기 이미지 센서의 상기 블랭킹 기간 후에 종료하는, 디지털 이미징 시스템.
  47. 제 43 항에 있어서, 전자기 방사의 상기 복수의 펄스들 각각은 구간을 포함하고, 전자기 방사의 상기 펄스의 상기 구간은 상기 이미지 센서의 상기 블랭킹 기간 전에 시작하고 상기 이미지 센서의 상기 블랭킹 기간 동안에 종료하는, 디지털 이미징 시스템.
  48. 제 43 항에 있어서, 상기 이미지 센서는 광학 흑색 화소들을 포함하고, 상기 광학 흑색 화소들은 광학 흑색 전방 화소들 및 광학 흑색 후방 화소들을 포함하는, 디지털 이미징 시스템.
  49. 제 48 항에 있어서, 전자기 방사의 상기 복수의 펄스들 각각은 구간을 포함하고, 전자기 방사의 상기 펄스의 상기 구간은 상기 이미지 센서의 상기 블랭킹 기간 동안 시작하고 상기 센서가 상기 광학 흑색 전방 화소들을 판독할 때 종료하는, 디지털 이미징 시스템.
  50. 제 48 항에 있어서, 전자기 방사의 상기 복수의 펄스들 각각은 구간을 포함하고, 전자기 방사의 상기 펄스의 상기 구간은 센서가 상기 광학 흑색 후방 화소들을 판독할 때 시작하고, 상기 이미지 센서의 광학 흑색 전방 화소들을 상기 판독 후에 종료하는, 디지털 이미징 시스템.
  51. 제 43 항에 있어서, 전자기 방사의 상기 복수의 펄스들 각각은 구간을 포함하고, 전자기 방사의 상기 펄스의 상기 구간은 상기 이미지 센서의 상기 블랭킹 기간 전에 시작하고, 상기 이미지 센서의 상기 블랭킹 기간 동안 종료하는, 디지털 이미징 시스템.
  52. 제 43 항에 있어서, 상기 방출기는 복수의 전자기 파장들을 방출하게 구성된, 디지털 이미징 시스템.
  53. 제 52 항에 있어서, 상기 방출기는 3개의 전자기 파장들을 방출하게 구성된, 디지털 이미징 시스템.
  54. 제 53 항에 있어서, 상기 방출기에 의해 방출된 상기 3개의 전자기 파장들 은
    녹색 파장의 전자기 방사,
    적색 파장의 전자기 방사, 및
    청색 파장의 전자기 방사를 포함하는, 디지털 이미징 시스템.
  55. 제 54 항에 있어서, 상기 청색, 적색 및 녹색 파장들의 전자기 방사는 반복 패턴으로 방출되는, 디지털 이미징 시스템.
  56. 제 55 항에 있어서, 상기 녹색 파장은 상기 반복 패턴에서 상기 적색 파장 및 청색 파장만큼 자주 2번 나타나는, 디지털 이미징 시스템.
  57. 제 43 항에 있어서, 상기 방출기에 의해 방출되는 전자기 방사의 상기 펄스는 사람 눈에 보이는 파장인, 디지털 이미징 시스템.
  58. 제 43 항에 있어서, 상기 방출기에 의해 방출되는 전자기 방사의 상기 펄스는 사람 눈에 보이지 않는 파장인, 디지털 이미징 시스템.
  59. 제 52 항에 있어서, 상기 복수의 전자기 파장들은 사람 눈에 보이는 파장 및 사람 눈에 보이지 않는 파장을 포함하는, 디지털 이미징 시스템.
  60. 제 52 항에 있어서, 상기 복수의 전자기 파장들은 서로 상이한 크기들로 방출되는, 디지털 이미징 시스템.
  61. 제 60 항에 있어서, 상기 서로 상이한 크기들은 서로 상이한 파장들에 대한 상기 이미지 센서의 감도를 보상하는 것인, 디지털 이미징 시스템.
  62. 제 43 항에 있어서, 상기 이미지 센서는 내시경의 핸드 피스에 관하여 상기 내시경 내에 이의 원단 부분에 배치된, 디지털 이미징 시스템.
  63. 제 43 항에 있어서, 상기 이미지 센서는 내시경의 핸드 피스 내에 배치된, 디지털 이미징 시스템.
  64. 제 43 항에 있어서, 전자기 방사의 상기 펄스들은 상기 방출기로부터 내시경의 선단에 섬유 광학을 통해 전송되는, 디지털 이미징 시스템.
  65. 제 43 항에 있어서, 상기 시스템은 핸드 피스 및 상기 제어기를 전기적으로 연결하는 연결 케이블을 더 포함하고, 상기 연결 케이블은 상기 방출기에서 내시경으로 전자기 방사를 전송하기 위한 섬유 광학을 포함하고, 상기 연결 케이블은 상기 제어기에서 상기 이미지 센서로 전자 통신을 제공하기 위한 전기적 도전성 와이어들을 더 포함하는, 디지털 이미징 시스템.
  66. 제 43 항에 있어서, 상기 제어기는 상기 방출기 및 상기 이미지 센서와 전기적으로 통신하는, 디지털 이미징 시스템.
  67. 제 43 항에 있어서, 상기 제어기는 내시경의 핸드 피스 내에 배치되고, 상기 방출기 및 상기 이미지 센서와 전기적으로 통신하는, 디지털 이미징 시스템.
  68. 제 43 항에 있어서, 상기 방출기는 레이저 광을 방출하게 구성된 레이저 방출기인, 디지털 이미징 시스템.
  69. 제 68 항에 있어서, 상기 레이저 광을 고르게 분산하기 위한 데스페클러를 더 포함하는, 디지털 이미징 시스템.
  70. 제 43 항에 있어서, 상기 방출기는 복수의 발광 다이오드들을 포함하는, 디지털 이미징 시스템.
  71. 제 43 항에 있어서, 상기 방출기는 백색 광을 펄싱하는, 디지털 이미징 시스템.
  72. 제 43 항에 있어서, 상기 방출기는 일정한 백색 광을 방출하는, 디지털 이미징 시스템.
  73. 제 43 항에 있어서, 상기 펄스는 펄스 파워를 증가시키기 위해 동시에 펄싱되는 동일 파티션 내로부터 복수의 펄스들을 포함하는, 디지털 이미징 시스템.
  74. 제 73 항에 있어서, 상기 펄스는 요망되는 보상 효과를 생성하기 위해 동시에 펄싱하는 복수의 레이저들을 사용함으로써 생성되는, 디지털 이미징 시스템.
  75. 제 43 항에 있어서, 상기 이미지 센서는 단색 화소 어레이를 포함하는, 디지털 이미징 시스템.
  76. 제 52 항에 있어서, 상기 전자기 방사는 상기 펄스의 구간에 의해 제어되고 조절되는, 디지털 이미징 시스템.
  77. 제 52 항에 있어서, 상기 센서의 상기 복수의 화소들은 제어가능하고 조절가능한 제 1 감도 및 제 2 감도를 포함하며, 상기 전자기 방사는 상기 복수의 화소들의 상기 센서 감도의 조절에 의해 제어되고 조절되는, 디지털 이미징 시스템.
  78. 주변 광 부족 환경에서 디지털 이미징 하기 위한 시스템에 있어서,
    전자기 방사를 감지하기 위한 화소들의 어레이를 포함하는 이미지 센서;
    상기 이미지 센서와 전기적으로 통신하는 프로세서를 포함하는 제어기;
    전자기 방사의 복수의 펄스들을 방출하게 구성된 방출기를 포함하고,
    상기 방출기는 상기 이미지 센서의 블랭킹 기간 동안 상기 방출기가 전자기 방사의 복수의 펄스들을 방출하게 상기 제어기를 통해 상기 이미지 센서에 전기적으로 결합되고,
    상기 제어기는 상기 이미지 센서의 블랭킹 기간 동안 상기 방출기로부터 방출되는 전자기 방사의 상기 복수의 펄스들의 타이밍을 조정하고 동기화하게 구성되고,
    상기 이미지 센서는 전자기 방사의 상기 복수의 펄스들 각각에 대응하는 프레임동안 이미징 데이터를 캡처하고,
    전자기 방사의 상기 복수의 펄스들에 대응하는 복수의 캡처된 프레임들은 이미지 프레임을 생성하는 데 이용되고,
    상기 복수의 캡처된 프레임들은 제 1 프레임 및 제 2 프레임을 포함하고, 상기 제 1 프레임에 대한 블랭킹 기간은 상기 제 2 프레임에 대한 블랭킹 기간과 상이하고, 및
    복수의 이미지 프레임들은 비디오 스트림을 생성하는 데 이용되는, 디지털 이미징 시스템.
  79. 제 1 항에 있어서, 상기 제 1 프레임에 대한 판독 시간은 상기 제 2 프레임에 대한 판독 시간과 거의 동일한, 디지털 이미징 시스템.
  80. 제 1 항에 있어서, 상기 제어기는 제 1 프레임, 제 2 프레임 및 제 3 프레임을 포함하는 복수의 반복되는 프레임들을 캡처하고, 상기 제 3 프레임에 대한 블랭킹 기간은 상기 제 1 프레임에 대한 블랭킹 기간 및 상기 제 2 프레임에 대한 블랭킹 기간 모두와 상이한, 디지털 이미징 시스템.
  81. 하나 이상의 프로세서에 의하여 실행될 때 상기 하나 이상의 프로세서로 하여금,
    주변 광 부족 환경에서 조명을 야기하기 위하여 전자기 방사의 복수의 펄스들을 방출하도록 방출기를 작동시키고,
    이미지 센서의 블랭킹 기간 동안 펄싱되도록 조정되고 동기화되는 소정의 간격으로 상기 방출기를 펄싱하고,
    전자기 방사의 상기 복수의 펄스들로부터 반사된 전자기 방사를 감지하도록 상기 이미지 센서의 화소 어레이를 작동시키고, 여기서 상기 화소 어레이는 상기 방출기의 상기 복수의 펄스들 각각에 대응하는 감지 간격으로 작동되고,
    상기 감지 간격에 대응하는 소정의 블랭킹 간격으로 상기 화소 어레이를 블랭킹하고,
    상기 이미지 센서는 전자기 방사의 상기 복수의 펄스들 각각에 대응하는 프레임동안 이미징 데이터를 캡처하고,
    전자기 방사의 상기 복수의 펄스들에 대응하는 복수의 캡처된 프레임들은 이미지 프레임을 생성하는 데 이용되고,
    상기 복수의 캡처된 프레임들은 제 1 프레임 및 제 2 프레임을 포함하고, 상기 제 1 프레임에 대한 블랭킹 기간은 상기 제 2 프레임에 대한 블랭킹 기간과 상이하고, 그리고
    상기 이미지 센서에 의하여 감지된 반사된 전자기 방사로 인한 복수의 이미지 프레임들을 조합함으로써 이미지들의 스트림을 생성하도록 하는,
    명령어들을 저장하는 비-일시적 컴퓨터 판독 가능 저장 매체.
  82. 제 81 항에 있어서, 상기 제 1 프레임에 대한 제 1 판독 기간은 상기 제 2 프레임에 대한 제 2 판독 기간과 거의 동일하지만 다른, 비-일시적 컴퓨터 판독 가능 저장 매체.
  83. 제 81 항에 있어서, 상기 명령어들은 상기 하나 이상의 프로세서로 하여금, 제 3 판독 시간 동안 상기 이미지 센서로부터 화소들의 판독을 수행하고 제 3 블랭킹 기간 동안 상기 방출기를 이용하여 전자기 방사를 방사함으로써 복수의 반복되는 프레임들의 일부로서 제 3 프레임을 캡처하도록 하고, 상기 제 3 블랭킹 기간은 상기 제 2 블랭킹 기간 및 상기 제 1 블랭킹 기간 모두와 상이한 시간 길이를 포함하는, 비-일시적 컴퓨터 판독 가능 저장 매체.
  84. 제 81 항에 있어서, 상기 이미지 센서는 단색 센서를 포함하는, 비-일시적 컴퓨터 판독 가능 저장 매체.
  85. 제 81 항에 있어서, 상기 명령어들은 상기 하나 이상의 프로세서가 상기 방출기로 하여금, 상기 이미지 센서의 서로 상이한 블랭킹 기간들 내의 반복 패턴에서 복수의 전자기 파장들을 방출하도록 하고,
    선택적으로 상기 복수의 상이한 파장들은 적색 파장, 청색 파장 및 녹색 파장을 포함하고, 상기 명령어들은 상기 적색 및 청색 파장들에 비하여 상기 녹색 파장이 상기 반복 패턴에서 두 배 빈번하게 나타나도록 하는, 비-일시적 컴퓨터 판독 가능 저장 매체.
  86. 제 81 항에 있어서, 상기 명령어들은 상기 하나 이상의 프로세서가 상기 방출기로 하여금, 사람 눈에 보이는 하나 이상의 파장 및 사람 눈에 보이지 않는 하나 이상의 파장을 포함하는 복수의 전자기 파장들을 방출하도록 하는, 비-일시적 컴퓨터 판독 가능 저장 매체.
  87. 제 81 항에 있어서, 상기 명령어들은 상기 하나 이상의 프로세서가 상기 방출기로 하여금, 서로 상이한 파장들에 대해 서로 상이한 크기들로 전자기 방사의 펄스들을 방출하도록 하고,
    선택적으로 상기 이미지 센서는 전자기 방사의 상기 상이한 파장들에 감도를 갖는 화소들을 포함하고, 상기 명령어들은 상기 하나 이상의 프로세서로 하여금, 상기 서로 상이한 파장들에 대한 상기 이미지 센서의 감도를 보상하기 위하여 상기 상이한 크기들을 제어하도록 하는, 비-일시적 컴퓨터 판독 가능 저장 매체.
KR1020157002688A 2012-07-26 2013-07-26 광 부족 환경에서 연속된 비디오 KR102278509B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261676289P 2012-07-26 2012-07-26
US61/676,289 2012-07-26
US201361790487P 2013-03-15 2013-03-15
US61/790,487 2013-03-15
PCT/US2013/052406 WO2014018936A2 (en) 2012-07-26 2013-07-26 Continuous video in a light deficient environment

Publications (2)

Publication Number Publication Date
KR20150037955A KR20150037955A (ko) 2015-04-08
KR102278509B1 true KR102278509B1 (ko) 2021-07-19

Family

ID=49997990

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157002688A KR102278509B1 (ko) 2012-07-26 2013-07-26 광 부족 환경에서 연속된 비디오

Country Status (13)

Country Link
US (3) US10568496B2 (ko)
EP (2) EP2992810B1 (ko)
JP (2) JP6526560B2 (ko)
KR (1) KR102278509B1 (ko)
CN (1) CN104486986B (ko)
AU (1) AU2013295553B2 (ko)
BR (1) BR112015001555A2 (ko)
CA (1) CA2878511A1 (ko)
HK (1) HK1207549A1 (ko)
IL (1) IL236893B (ko)
IN (1) IN2015MN00018A (ko)
MX (2) MX2018006791A (ko)
WO (1) WO2014018936A2 (ko)

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2013295568B2 (en) 2012-07-26 2017-09-07 DePuy Synthes Products, Inc. YCbCr pulsed illumination scheme in a light deficient environment
KR102278509B1 (ko) 2012-07-26 2021-07-19 디퍼이 신테스 프로덕츠, 인코포레이티드 광 부족 환경에서 연속된 비디오
US8786732B2 (en) 2012-10-31 2014-07-22 Pixon Imaging, Inc. Device and method for extending dynamic range in an image sensor
US9077961B1 (en) * 2013-02-05 2015-07-07 Lucasfilm Entertainment Company Ltd. Rolling shutter timing tester
CA2906821A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Scope sensing in a light controlled environment
JP6404318B2 (ja) 2013-03-15 2018-10-10 デピュイ・シンセス・プロダクツ・インコーポレイテッド レーザーパルスの積算光エネルギー制御
EP2967294B1 (en) 2013-03-15 2020-07-29 DePuy Synthes Products, Inc. Super resolution and color motion artifact correction in a pulsed color imaging system
JP6224819B2 (ja) * 2014-03-12 2017-11-08 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
CN114191114A (zh) 2014-03-21 2022-03-18 德普伊新特斯产品公司 用于成像传感器的卡缘连接器
US9757015B2 (en) * 2014-04-23 2017-09-12 Omnivision Technologies, Inc. Imaging systems and methods for using in spatially constrained locations
JP6355527B2 (ja) * 2014-10-31 2018-07-11 富士フイルム株式会社 内視鏡システム及びその作動方法
JP6355531B2 (ja) * 2014-11-06 2018-07-11 富士フイルム株式会社 内視鏡用光源装置、内視鏡システム及びその作動方法
WO2016208685A1 (ja) * 2015-06-26 2016-12-29 オリンパス株式会社 内視鏡電源供給システム
EP3188470A4 (en) * 2015-07-22 2018-05-16 Olympus Corporation Imaging apparatus
CN113143355A (zh) 2015-09-04 2021-07-23 美多斯国际有限公司 多护罩脊柱进入系统
US10987129B2 (en) 2015-09-04 2021-04-27 Medos International Sarl Multi-shield spinal access system
US11672562B2 (en) 2015-09-04 2023-06-13 Medos International Sarl Multi-shield spinal access system
US11744447B2 (en) 2015-09-04 2023-09-05 Medos International Surgical visualization systems and related methods
US11439380B2 (en) 2015-09-04 2022-09-13 Medos International Sarl Surgical instrument connectors and related methods
US10178363B2 (en) 2015-10-02 2019-01-08 Invensas Corporation HD color imaging using monochromatic CMOS image sensors integrated in 3D package
KR20170082883A (ko) * 2016-01-07 2017-07-17 삼성전자주식회사 열화상 이미지를 제공하는 전자 장치 및 그의 동작 방법
JP2017148432A (ja) * 2016-02-26 2017-08-31 富士フイルム株式会社 内視鏡用光源装置
AU2017387099B2 (en) 2016-12-27 2023-02-02 DePuy Synthes Products, Inc. Systems, methods, and devices for providing illumination in an endoscopic imaging environment
EP3577894B1 (en) * 2017-02-06 2022-01-26 Intuitive Surgical Operations, Inc. System and method for extracting multiple feeds from a rolling-shutter sensor
KR20180093660A (ko) * 2017-02-14 2018-08-22 삼성전자주식회사 카메라를 이용한 객체 인식 방법 및 이를 지원하는 전자 장치
CN110337260B (zh) * 2017-03-30 2022-03-25 Hoya株式会社 电子内窥镜装置
WO2018223104A1 (en) * 2017-06-03 2018-12-06 Flir Systems, Inc. Extensible architecture for surveillance and targeting imaging systems and methods
JP7356726B2 (ja) * 2017-09-25 2023-10-05 ディンフー バイオターゲット カンパニー リミテッド タンパク性ヘテロ二量体及びその使用
EP3731724A4 (en) 2017-12-27 2021-10-13 Ethicon LLC FLUORESCENT IMAGING IN A LIGHT ENVIRONMENT
JP6982677B2 (ja) * 2018-02-28 2021-12-17 オリンパス株式会社 被検体観察システム、内視鏡用光源装置、被検体観察システムの作動方法、被検体観察システムの作動プログラム
US11202014B2 (en) * 2018-07-06 2021-12-14 Medos International Sari Camera scope electronic variable angle of view
WO2020150494A1 (en) * 2019-01-17 2020-07-23 Stryker Corporation Systems and methods for medical imaging using a rolling shutter imager
EP3928682A4 (en) * 2019-02-18 2022-03-23 Sony Olympus Medical Solutions Inc. LIGHT SOURCE DEVICE, MEDICAL OBSERVATION SYSTEM, SETTING DEVICE, ILLUMINATION METHOD, SETTING METHOD AND PROGRAM
US11877065B2 (en) * 2019-06-20 2024-01-16 Cilag Gmbh International Image rotation in an endoscopic hyperspectral imaging system
US11432706B2 (en) * 2019-06-20 2022-09-06 Cilag Gmbh International Hyperspectral imaging with minimal area monolithic image sensor
US11284783B2 (en) * 2019-06-20 2022-03-29 Cilag Gmbh International Controlling integral energy of a laser pulse in a hyperspectral imaging system
US11540696B2 (en) * 2019-06-20 2023-01-03 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11903563B2 (en) 2019-06-20 2024-02-20 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11674848B2 (en) * 2019-06-20 2023-06-13 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for hyperspectral imaging
US11925328B2 (en) * 2019-06-20 2024-03-12 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral imaging system
US11622094B2 (en) * 2019-06-20 2023-04-04 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11280737B2 (en) 2019-06-20 2022-03-22 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11265491B2 (en) 2019-06-20 2022-03-01 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US10979646B2 (en) 2019-06-20 2021-04-13 Ethicon Llc Fluorescence imaging with minimal area monolithic image sensor
US11134832B2 (en) 2019-06-20 2021-10-05 Cilag Gmbh International Image rotation in an endoscopic hyperspectral, fluorescence, and laser mapping imaging system
US11172810B2 (en) 2019-06-20 2021-11-16 Cilag Gmbh International Speckle removal in a pulsed laser mapping imaging system
US11294062B2 (en) * 2019-06-20 2022-04-05 Cilag Gmbh International Dynamic range using a monochrome image sensor for hyperspectral and fluorescence imaging and topology laser mapping
US11122968B2 (en) * 2019-06-20 2021-09-21 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for hyperspectral imaging
US11895397B2 (en) * 2019-06-20 2024-02-06 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US11412152B2 (en) * 2019-06-20 2022-08-09 Cilag Gmbh International Speckle removal in a pulsed hyperspectral imaging system
US11375886B2 (en) 2019-06-20 2022-07-05 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for laser mapping imaging
US20200403624A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Image synchronization without input clock and data transmission clock in a pulsed hyperspectral imaging system
US11758256B2 (en) * 2019-06-20 2023-09-12 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11533417B2 (en) 2019-06-20 2022-12-20 Cilag Gmbh International Laser scanning and tool tracking imaging in a light deficient environment
US11187658B2 (en) * 2019-06-20 2021-11-30 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11233960B2 (en) 2019-06-20 2022-01-25 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US20200397267A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Speckle removal in a pulsed fluorescence imaging system
US11221414B2 (en) 2019-06-20 2022-01-11 Cilag Gmbh International Laser mapping imaging with fixed pattern noise cancellation
US20200397240A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Laser mapping with minimal area monolithic image sensor
US11898909B2 (en) * 2019-06-20 2024-02-13 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11071443B2 (en) * 2019-06-20 2021-07-27 Cilag Gmbh International Minimizing image sensor input/output in a pulsed laser mapping imaging system
US11793399B2 (en) 2019-06-20 2023-10-24 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system
US11686847B2 (en) 2019-06-20 2023-06-27 Cilag Gmbh International Pulsed illumination in a fluorescence imaging system
US11412920B2 (en) * 2019-06-20 2022-08-16 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US11389066B2 (en) * 2019-06-20 2022-07-19 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11276148B2 (en) 2019-06-20 2022-03-15 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11516387B2 (en) * 2019-06-20 2022-11-29 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11671691B2 (en) * 2019-06-20 2023-06-06 Cilag Gmbh International Image rotation in an endoscopic laser mapping imaging system
US11716543B2 (en) * 2019-06-20 2023-08-01 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11172811B2 (en) 2019-06-20 2021-11-16 Cilag Gmbh International Image rotation in an endoscopic fluorescence imaging system
US11012599B2 (en) * 2019-06-20 2021-05-18 Ethicon Llc Hyperspectral imaging in a light deficient environment
US11187657B2 (en) * 2019-06-20 2021-11-30 Cilag Gmbh International Hyperspectral imaging with fixed pattern noise cancellation
US20200404131A1 (en) 2019-06-20 2020-12-24 Ethicon Llc Hyperspectral and fluorescence imaging with topology laser scanning in a light deficient environment
US20200397239A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US20200397277A1 (en) 2019-06-20 2020-12-24 Ethicon Llc Videostroboscopy of vocal cords with a hyperspectral, fluorescence, and laser mapping imaging system
US10952619B2 (en) 2019-06-20 2021-03-23 Ethicon Llc Hyperspectral and fluorescence imaging and topology laser mapping with minimal area monolithic image sensor
US11937784B2 (en) 2019-06-20 2024-03-26 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11633089B2 (en) 2019-06-20 2023-04-25 Cilag Gmbh International Fluorescence imaging with minimal area monolithic image sensor
US11213194B2 (en) * 2019-06-20 2022-01-04 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for hyperspectral, fluorescence, and laser mapping imaging
US20200400795A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Noise aware edge enhancement in a pulsed laser mapping imaging system
US11457154B2 (en) * 2019-06-20 2022-09-27 Cilag Gmbh International Speckle removal in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11931009B2 (en) * 2019-06-20 2024-03-19 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral imaging system
US10841504B1 (en) * 2019-06-20 2020-11-17 Ethicon Llc Fluorescence imaging with minimal area monolithic image sensor
US11398011B2 (en) 2019-06-20 2022-07-26 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed laser mapping imaging system
US20200397302A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Fluorescence imaging in a light deficient environment
US11122967B2 (en) * 2019-06-20 2021-09-21 Cilag Gmbh International Driving light emissions according to a jitter specification in a fluorescence imaging system
US11218645B2 (en) * 2019-06-20 2022-01-04 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11700995B2 (en) * 2019-06-20 2023-07-18 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US11288772B2 (en) 2019-06-20 2022-03-29 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11892403B2 (en) 2019-06-20 2024-02-06 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US11624830B2 (en) * 2019-06-20 2023-04-11 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for laser mapping imaging
US11550057B2 (en) * 2019-06-20 2023-01-10 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11237270B2 (en) * 2019-06-20 2022-02-01 Cilag Gmbh International Hyperspectral, fluorescence, and laser mapping imaging with fixed pattern noise cancellation
US11471055B2 (en) * 2019-06-20 2022-10-18 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US20200400566A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Image synchronization without input clock and data transmission clock in a pulsed laser mapping imaging system
CN112153296B (zh) * 2019-06-27 2022-04-05 杭州海康威视数字技术股份有限公司 一种自动曝光控制方法、装置及带有fpga的摄像机
DE102020105459A1 (de) * 2020-03-02 2021-09-02 Karl Storz Se & Co. Kg Medizinische bildgebungsvorrichtung mit mehreren bildgebungsmodi
JP2022082350A (ja) * 2020-11-20 2022-06-01 ソニー・オリンパスメディカルソリューションズ株式会社 光源制御装置及び医療用観察システム
US11297294B1 (en) * 2021-05-20 2022-04-05 Shenzhen Jifu Technology Co, Ltd Color enhancement of endoscopic image
US20230017411A1 (en) * 2021-07-14 2023-01-19 Cilag Gmbh International Endoscope with source and pixel level image modulation for multispectral imaging
US20230254589A1 (en) * 2022-02-04 2023-08-10 Applied Materials, Inc. Pulsed illumination for fluid inspection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009120228A1 (en) * 2008-03-24 2009-10-01 General Electric Company Image processing systems and methods for surgical applications
US20110028790A1 (en) * 2004-09-24 2011-02-03 Vivid Medical, Inc. Disposable endoscopic access device and portable display
US20110208004A1 (en) * 2008-11-18 2011-08-25 Benjamin Hyman Feingold Endoscopic led light source having a feedback control system

Family Cites Families (509)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1789961A (en) 1927-11-04 1931-01-27 Deister Machine Company Apparatus for treating liquids
GB1239962A (en) * 1968-01-04 1971-07-21 British Iron Steel Research Measuring apparatus and methods
US4011403A (en) 1976-03-30 1977-03-08 Northwestern University Fiber optic laser illuminators
JPS5850030B2 (ja) 1979-03-08 1983-11-08 日本放送協会 光電変換装置およびそれを用いた固体撮像板
US4356534A (en) 1979-10-19 1982-10-26 Olympus Optical Co., Ltd. Light supply device for an endoscope
JPS57164031A (en) 1981-04-01 1982-10-08 Olympus Optical Co Light source apparatus for endoscope
JPS5883488A (ja) * 1981-11-13 1983-05-19 Hitachi Ltd ビデオカメラの信号処理回路
US4436095A (en) 1981-12-22 1984-03-13 Thomson-Csf Broadcast, Inc. Method and apparatus for imaging a body
JPS5940830A (ja) * 1982-08-31 1984-03-06 浜松ホトニクス株式会社 レ−ザ光パルスを用いた癌の診断装置
JPS59201586A (ja) * 1983-04-28 1984-11-15 Canon Inc 撮像装置
JPH0773335B2 (ja) * 1983-10-24 1995-08-02 株式会社ニコン 光電変換装置
US4742388A (en) * 1984-05-18 1988-05-03 Fuji Photo Optical Company, Ltd. Color video endoscope system with electronic color filtering
DE3526993A1 (de) 1984-07-31 1986-02-13 Olympus Optical Co., Ltd., Tokio/Tokyo Blendenanordnung einer lichtquelle fuer ein endoskop
JPH0675568B2 (ja) * 1984-08-31 1994-09-28 オリンパス光学工業株式会社 内視鏡の光量制御装置
JPS6190539A (ja) 1984-10-09 1986-05-08 Olympus Optical Co Ltd 光出力安定化装置
KR890001908B1 (ko) * 1985-09-19 1989-05-31 가부시끼가이샤 도시바 Tv식 내시경 장치의 광 펄스 조사장치
US4780762A (en) 1985-12-04 1988-10-25 Olympus Optical Co., Ltd. Image signal correcting circuit
DE3607767C1 (de) * 1986-03-08 1987-04-02 Wolf Gmbh Richard Videoendoskop
JPH0664243B2 (ja) 1986-04-30 1994-08-22 オリンパス光学工業株式会社 内視鏡
DE3715417A1 (de) 1986-05-13 1987-11-19 Olympus Optical Co Halbleiter-bilderzeugungsvorrichtung, sowie hiermit ausgestattetes endoskop
JPS6343639A (ja) 1986-08-11 1988-02-24 オリンパス光学工業株式会社 電子内視鏡
JPS6363426A (ja) 1986-09-04 1988-03-19 オリンパス光学工業株式会社 電子内視鏡
US4832003A (en) 1986-09-12 1989-05-23 Olympus Optical Co., Ltd. Electronic endoscope tip
US5255087A (en) 1986-11-29 1993-10-19 Olympus Optical Co., Ltd. Imaging apparatus and endoscope apparatus using the same
DE3743920A1 (de) * 1986-12-26 1988-07-14 Olympus Optical Co Endoskopeinrichtung
US4918521A (en) 1987-01-20 1990-04-17 Olympus Optical Co., Ltd. Solid state imaging apparatus
US4853773A (en) 1987-01-31 1989-08-01 Olympus Optical, Co., Ltd. Endoscope signal processing apparatus using sequential and synchronous imaging devices
US4845555A (en) 1987-02-13 1989-07-04 Olympus Optical Co., Ltd. Electronic endoscope apparatus
US4853772A (en) 1987-02-26 1989-08-01 Olympus Optical Co., Ltd. Electronic endoscope apparatus having isolated patient and secondary circuitry
US4908701A (en) 1987-03-09 1990-03-13 Canon Kabushiki Kaisha Color image processing method and apparatus for color adjustment during image processing
JPH0828839B2 (ja) * 1987-04-21 1996-03-21 オリンパス光学工業株式会社 テレビカメラ装置
JP2592455B2 (ja) 1987-06-11 1997-03-19 オリンパス光学工業株式会社 内視鏡用光源装置
IL83213A (en) 1987-07-16 1991-08-16 Technion Res & Dev Foundation Intelligent scan image sensor
DE3724761C1 (de) 1987-07-25 1988-09-15 Wolf Gmbh Richard Video-Endoskop
JPS6464619A (en) 1987-09-03 1989-03-10 Olympus Optical Co Control apparatus for endoscope
US5001556A (en) 1987-09-30 1991-03-19 Olympus Optical Co., Ltd. Endoscope apparatus for processing a picture image of an object based on a selected wavelength range
US4884134A (en) * 1987-10-07 1989-11-28 Olympus Optical Co., Ltd. Video endoscope apparatus employing device shutter
US5021888A (en) 1987-12-18 1991-06-04 Kabushiki Kaisha Toshiba Miniaturized solid state imaging device
JP2954596B2 (ja) * 1988-02-08 1999-09-27 オリンパス光学工業株式会社 内視鏡装置
US4959710A (en) * 1988-03-01 1990-09-25 Olympus Optical Co., Ltd. Electronic endoscope whereby the position of the insertable part can be known by a transmitted light outside a body
JPH0220816A (ja) 1988-04-08 1990-01-24 Olympus Optical Co Ltd 内視鏡用光源装置
US4938205A (en) 1988-05-27 1990-07-03 The University Of Connecticut Endoscope with traced raster and elemental photodetectors
US5200838A (en) 1988-05-27 1993-04-06 The University Of Connecticut Lateral effect imaging system
JPH01303122A (ja) 1988-06-01 1989-12-07 Toshiba Corp 電子内視鏡装置
JPH0210308A (ja) * 1988-06-29 1990-01-16 Toshiba Corp 内視鏡装置
USRE33854E (en) 1989-02-03 1992-03-24 sterilizable sheathpe with .[.heat.].
JPH0617942B2 (ja) 1989-02-15 1994-03-09 株式会社東芝 電子内視鏡装置
JP2991299B2 (ja) 1989-08-04 1999-12-20 株式会社東芝 内視鏡装置
JP2864130B2 (ja) * 1989-08-25 1999-03-03 浜松ホトニクス株式会社 画像処理装置
US5133035A (en) 1989-11-14 1992-07-21 Hicks John W Multifiber endoscope with multiple scanning modes to produce an image free of fixed pattern noise
US5103497A (en) 1989-11-14 1992-04-07 Hicks John W Flying spot endoscope
US5196938A (en) 1989-11-20 1993-03-23 Eastman Kodak Company Solid state fast frame recorder having independently selectable frame rate and exposure
DE4005730A1 (de) 1990-02-23 1991-08-29 Kabelmetal Electro Gmbh Vorrichtung zur herstellung einer lichtwellenleiter-vorform
JPH0439789A (ja) 1990-06-05 1992-02-10 Mitsubishi Electric Corp 読取り装置
JPH0439789U (ko) * 1990-08-02 1992-04-03
JP3216650B2 (ja) 1990-08-27 2001-10-09 オリンパス光学工業株式会社 固体撮像装置
JP3164609B2 (ja) 1990-10-31 2001-05-08 オリンパス光学工業株式会社 内視鏡装置
JP3034019B2 (ja) 1990-11-26 2000-04-17 旭光学工業株式会社 内視鏡の先端部
JP2842687B2 (ja) 1990-11-27 1999-01-06 旭光学工業株式会社 電子内視鏡の先端部
JP2537587Y2 (ja) 1990-11-27 1997-06-04 旭光学工業株式会社 内視鏡の先端部
US5627584A (en) 1991-01-17 1997-05-06 Olympus Optical Co., Ltd. Endoscope system with centralized control of associated peripheral equipment
JP3065378B2 (ja) 1991-04-26 2000-07-17 富士写真光機株式会社 電子内視鏡用固体撮像素子の回路基板
US5313306A (en) 1991-05-13 1994-05-17 Telerobotics International, Inc. Omniview motionless camera endoscopy system
JP2964715B2 (ja) * 1991-07-01 1999-10-18 富士写真光機株式会社 電子内視鏡システム
US5188094A (en) 1991-09-30 1993-02-23 Adair Edwin Lloyd Heat sterilizable electronic video endoscope
JPH05199989A (ja) 1991-10-25 1993-08-10 Asahi Optical Co Ltd 内視鏡の先端部
US5241170A (en) 1992-02-19 1993-08-31 Itt Corporation Fiber optic imaging device and methods
US5658238A (en) 1992-02-25 1997-08-19 Olympus Optical Co., Ltd. Endoscope apparatus capable of being switched to a mode in which a curvature operating lever is returned and to a mode in which the curvature operating lever is not returned
JPH0630420A (ja) 1992-05-13 1994-02-04 Olympus Optical Co Ltd 面順次式撮像装置
US5264925A (en) * 1992-06-26 1993-11-23 Life Surgery, Inc. Single sensor video imaging system and method using sequential color object illumination
US5408268A (en) * 1992-06-26 1995-04-18 Apollo Camera, L.L.C. Video imaging system and method using a single full frame sensor and sequential color object illumination
US5402768A (en) 1992-09-01 1995-04-04 Adair; Edwin L. Endoscope with reusable core and disposable sheath with passageways
US5381784A (en) 1992-09-30 1995-01-17 Adair; Edwin L. Stereoscopic endoscope
JPH08511383A (ja) 1993-04-07 1996-11-26 オプティック インコーポレイテッド 先端にカラーｃｃｄを設けた内視鏡
US5558841A (en) 1993-04-26 1996-09-24 Olympus Optical Co., Ltd. Washing/sterilizing apparatus for an endoscope and method for washing/sterilizing its water supplying system
US5749830A (en) * 1993-12-03 1998-05-12 Olympus Optical Co., Ltd. Fluorescent endoscope apparatus
US5523786A (en) 1993-12-22 1996-06-04 Eastman Kodak Company Color sequential camera in which chrominance components are captured at a lower temporal rate than luminance components
US5949483A (en) 1994-01-28 1999-09-07 California Institute Of Technology Active pixel sensor array with multiresolution readout
US6166768A (en) 1994-01-28 2000-12-26 California Institute Of Technology Active pixel sensor array with simple floating gate pixels
US6021172A (en) 1994-01-28 2000-02-01 California Institute Of Technology Active pixel sensor having intra-pixel charge transfer with analog-to-digital converter
US5471515A (en) 1994-01-28 1995-11-28 California Institute Of Technology Active pixel sensor with intra-pixel charge transfer
JPH08555A (ja) 1994-06-16 1996-01-09 Fuji Photo Optical Co Ltd 内視鏡の照明装置
IL110595A0 (en) 1994-08-09 1994-11-11 Applitic Ltd A random access multispectral video and illumination system
US5784099A (en) 1994-09-13 1998-07-21 Intel Corporation Video camera and method for generating time varying video images in response to a capture signal
US5748234A (en) 1994-09-13 1998-05-05 Intel Corporation Video processing system and method
US5550595A (en) 1994-12-16 1996-08-27 Intel Corporation Apparatus and method for motion estimation with enhanced camera interface
US5665959A (en) 1995-01-13 1997-09-09 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Adminstration Solid-state image sensor with focal-plane digital photon-counting pixel array
US5704836A (en) * 1995-03-23 1998-01-06 Perception Systems, Inc. Motion-based command generation technology
US6023315A (en) * 1995-07-04 2000-02-08 Sharp Kabushiki Kaisha Spatial light modulator and directional display
US5924978A (en) 1995-08-04 1999-07-20 Asahi Kogaku Kogyo Kabushiki Kaisha Portable endoscope system with a bayonet switching mechanism.
JPH0961200A (ja) 1995-08-25 1997-03-07 Nippon Seiki Co Ltd 計器装置
JP3315859B2 (ja) 1996-04-03 2002-08-19 旭光学工業株式会社 電子内視鏡
US6038067A (en) 1996-05-23 2000-03-14 The Regents Of The University Of California Scanning computed confocal imager
JP3535660B2 (ja) * 1996-06-28 2004-06-07 キヤノン株式会社 画像読取り装置および画像読取り方法
US5734418A (en) 1996-07-17 1998-03-31 Welch Allyn, Inc. Endoscope with tab imager package
US5857963A (en) 1996-07-17 1999-01-12 Welch Allyn, Inc. Tab imager assembly for use in an endoscope
US5754313A (en) 1996-07-17 1998-05-19 Welch Allyn, Inc. Imager assembly
JPH1073873A (ja) 1996-08-30 1998-03-17 Minolta Co Ltd 画像撮影装置
US5887049A (en) 1996-11-12 1999-03-23 California Institute Of Technology Self-triggered X-ray sensor
JP3981173B2 (ja) * 1996-12-24 2007-09-26 オリンパス株式会社 撮像装置
US5783909A (en) 1997-01-10 1998-07-21 Relume Corporation Maintaining LED luminous intensity
US6142930A (en) 1997-01-13 2000-11-07 Asahi Kogaku Kogyo Kabushiki Kaisha Electronic endoscope having compact construction
JPH10192232A (ja) 1997-01-14 1998-07-28 Olympus Optical Co Ltd 内視鏡装置
DE69831541T2 (de) 1997-02-13 2006-01-19 Matsushita Electric Industrial Co., Ltd., Kadoma Endoskop und sein herstellungsverfahren
JP3153147B2 (ja) 1997-03-14 2001-04-03 松下電器産業株式会社 撮像装置
US6215517B1 (en) 1997-04-14 2001-04-10 Asahi Kogaku Kogyo Kabushiki Kaisha Electronic endoscope system
US6088058A (en) * 1997-05-29 2000-07-11 Foveon, Inc. Capacitive coupled bipolar active pixel imager having overflow protection and electronic shutter
US6184922B1 (en) * 1997-07-31 2001-02-06 Olympus Optical Co., Ltd. Endoscopic imaging system in which still image-specific or motion picture-specific expansion unit can be coupled to digital video output terminal in freely uncoupled manner
US5929901A (en) 1997-10-06 1999-07-27 Adair; Edwin L. Reduced area imaging devices incorporated within surgical instruments
US6043839A (en) 1997-10-06 2000-03-28 Adair; Edwin L. Reduced area imaging devices
JPH1199126A (ja) 1997-09-29 1999-04-13 Olympus Optical Co Ltd 電子内視鏡
US5986693A (en) 1997-10-06 1999-11-16 Adair; Edwin L. Reduced area imaging devices incorporated within surgical instruments
US7030904B2 (en) 1997-10-06 2006-04-18 Micro-Medical Devices, Inc. Reduced area imaging device incorporated within wireless endoscopic devices
US20110034769A1 (en) 1997-10-06 2011-02-10 Micro-Imaging Solutions Llc Reduced area imaging device incorporated within wireless endoscopic devices
US6310642B1 (en) 1997-11-24 2001-10-30 Micro-Medical Devices, Inc. Reduced area imaging devices incorporated within surgical instruments
US6677992B1 (en) 1997-10-23 2004-01-13 Olympus Corporation Imaging apparatus offering dynamic range that is expandable by weighting two image signals produced during different exposure times with two coefficients whose sum is 1 and adding them up
US6982740B2 (en) 1997-11-24 2006-01-03 Micro-Medical Devices, Inc. Reduced area imaging devices utilizing selected charge integration periods
WO1999033684A2 (en) 1997-12-31 1999-07-08 Gentex Corporation Vehicle vision system
US6489987B1 (en) * 1998-01-09 2002-12-03 Fuji Photo Optical Co., Ltd. Electronic endoscope apparatus
US6704049B1 (en) 1998-02-23 2004-03-09 Micron Technology, Inc. Interpolator for a CMOS image sensor using a digital register
US6222175B1 (en) 1998-03-10 2001-04-24 Photobit Corporation Charge-domain analog readout for an image sensor
US6809766B1 (en) 1998-03-11 2004-10-26 Micro Technology, Inc. Look ahead rolling shutter system in CMOS sensors
JPH11267098A (ja) * 1998-03-23 1999-10-05 Olympus Optical Co Ltd 面順次方式の電子内視鏡装置
US6847399B1 (en) 1998-03-23 2005-01-25 Micron Technology, Inc. Increasing readout speed in CMOS APS sensors through block readout
US6906745B1 (en) 1998-04-23 2005-06-14 Micron Technology, Inc. Digital exposure circuit for an image sensor
US6977684B1 (en) 1998-04-30 2005-12-20 Canon Kabushiki Kaisha Arrangement of circuits in pixels, each circuit shared by a plurality of pixels, in image sensing apparatus
US6444970B1 (en) 1998-06-26 2002-09-03 Scimed Life Systems, Inc. Miniature low-noise photodiode system
US6485414B1 (en) 1998-07-13 2002-11-26 Ceramoptec Industries, Inc. Color video diagnostic system for mini-endoscopes
US7119839B1 (en) 1998-07-22 2006-10-10 Micron Technology, Inc. High resolution CMOS circuit using a matched impedance output transmission line
US6879340B1 (en) 1998-08-19 2005-04-12 Micron Technology Inc. CMOS imager with integrated non-volatile memory
US6239456B1 (en) 1998-08-19 2001-05-29 Photobit Corporation Lock in pinned photodiode photodetector
US6707499B1 (en) * 1998-12-08 2004-03-16 Industrial Technology Research Institute Technique to increase dynamic range of a CCD image sensor
US6799065B1 (en) 1998-12-08 2004-09-28 Intuitive Surgical, Inc. Image shifting apparatus and method for a telerobotic system
JP2000180732A (ja) 1998-12-11 2000-06-30 Asahi Optical Co Ltd 電子内視鏡装置
US6445139B1 (en) 1998-12-18 2002-09-03 Koninklijke Philips Electronics N.V. Led luminaire with electrically adjusted color balance
JP2000199863A (ja) 1999-01-07 2000-07-18 Sony Corp 固体撮像装置
JP2000210251A (ja) 1999-01-21 2000-08-02 Olympus Optical Co Ltd 内視鏡装置
US6836288B1 (en) 1999-02-09 2004-12-28 Linvatec Corporation Automatic exposure control system and method
US6873363B1 (en) 1999-02-16 2005-03-29 Micron Technology Inc. Technique for flagging oversaturated pixels
US7116352B2 (en) * 1999-02-25 2006-10-03 Visionsense Ltd. Capsule
US6429953B1 (en) 1999-05-10 2002-08-06 Sharp Laboratories Of America, Inc. Super resolution scanning using color multiplexing of image capture devices
JP3784602B2 (ja) 1999-03-08 2006-06-14 シャープ株式会社 画像読み取り方法および画像読み取りシステム
US6445022B1 (en) * 1999-04-23 2002-09-03 Micron Technology, Inc. Increasing pixel conversion gain in CMOS image sensors
US6902527B1 (en) 1999-05-18 2005-06-07 Olympus Corporation Endoscope system with charge multiplying imaging device and automatic gain control
US6294775B1 (en) 1999-06-08 2001-09-25 University Of Washington Miniature image acquistion system using a scanning resonant waveguide
DE29910795U1 (de) 1999-06-21 1999-09-02 Wolf Gmbh Richard Elektronisches Endoskop
JP2000051150A (ja) 1999-07-12 2000-02-22 Olympus Optical Co Ltd 撮像装置
EP1208367A4 (en) 1999-08-06 2007-03-07 Cambridge Res & Instrmnt Inc DEVICE FOR SPECTRAL FIGURE
US6464633B1 (en) 1999-08-23 2002-10-15 Olympus Optical Co., Ltd. Light source device for endoscope using DMD
JP2001067723A (ja) 1999-08-25 2001-03-16 Toshiba Corp 光記録媒体、光記録再生方法及び光記録再生装置
US6796939B1 (en) 1999-08-26 2004-09-28 Olympus Corporation Electronic endoscope
US6139489A (en) 1999-10-05 2000-10-31 Ethicon Endo-Surgery, Inc. Surgical device with integrally mounted image sensor
DE19947812C2 (de) 1999-10-05 2001-11-22 Winter & Ibe Olympus Beleuchtungseinrichtung für Endoskope mit Helligkeitssteuerung
US6772181B1 (en) 1999-10-29 2004-08-03 Pentomics, Inc. Apparatus and method for trigonometric interpolation
US6272269B1 (en) 1999-11-16 2001-08-07 Dn Labs Inc. Optical fiber/waveguide illumination system
US6466618B1 (en) 1999-11-19 2002-10-15 Sharp Laboratories Of America, Inc. Resolution improvement for multiple images
US6631230B1 (en) 1999-12-22 2003-10-07 Micron Technology, Inc. Imaging application using coherent optical fiber bundle
US20010030744A1 (en) 1999-12-27 2001-10-18 Og Technologies, Inc. Method of simultaneously applying multiple illumination schemes for simultaneous image acquisition in an imaging system
JP4433347B2 (ja) 2000-01-17 2010-03-17 富士フイルム株式会社 蛍光撮像装置
US6738510B2 (en) 2000-02-22 2004-05-18 Olympus Optical Co., Ltd. Image processing apparatus
US7009648B2 (en) 2000-02-22 2006-03-07 Asulab S.A. Method for operating a CMOS image sensor
EP1263318A4 (en) 2000-03-08 2006-05-03 Given Imaging Ltd IN VIVO IMAGING DEVICE AND SYSTEM
US7151568B2 (en) * 2000-03-15 2006-12-19 Omron Corporation Displacement sensor
IL135571A0 (en) 2000-04-10 2001-05-20 Doron Adler Minimal invasive surgery imaging system
JP2001308531A (ja) 2000-04-25 2001-11-02 Nec Corp 多層プリント配線基板
US20010040632A1 (en) 2000-05-09 2001-11-15 Yang David Xiao Dong Multiple sampling via a time-indexed method to achieve wide dynamic ranges
US6733441B2 (en) 2000-05-11 2004-05-11 Olympus Corporation Endoscope device
US6552322B1 (en) 2000-05-16 2003-04-22 Micron Technology, Inc. Shared photodetector pixel image sensor
US6961461B2 (en) 2000-05-17 2005-11-01 Tidal Photonics, Inc. Apparatus and method for measurement, encoding and displaying of object color for digital imaging
JP4316118B2 (ja) 2000-07-14 2009-08-19 富士フイルム株式会社 蛍光内視鏡装置
US6975898B2 (en) 2000-06-19 2005-12-13 University Of Washington Medical imaging, diagnosis, and therapy using a scanning single optical fiber system
US7555333B2 (en) 2000-06-19 2009-06-30 University Of Washington Integrated optical scanning image acquisition and display
KR100397663B1 (ko) 2000-06-23 2003-09-13 (주) 픽셀플러스 데이터 입출력선이 리셋 모드의 전압으로 유지되는 씨모스 이미지 센서
WO2002003711A1 (en) 2000-06-29 2002-01-10 Koninklijke Philips Electronics N.V. Color image pickup device
JP3606170B2 (ja) 2000-07-04 2005-01-05 住友金属工業株式会社 低窒素含クロム鋼の製造方法
JP2002045329A (ja) 2000-08-01 2002-02-12 Fuji Photo Film Co Ltd 蛍光画像表示装置
JP2002076314A (ja) 2000-08-30 2002-03-15 Texas Instr Japan Ltd 超小型撮像装置
EP1334623A2 (en) 2000-10-12 2003-08-13 Reveo, Inc. 3d projection system with a digital micromirror device
JP2002112961A (ja) 2000-10-12 2002-04-16 Asahi Optical Co Ltd 発光ダイオードを光源として用いた電子内視鏡装置
US6967725B2 (en) 2000-10-13 2005-11-22 Lucent Technologies Inc. System and method for optical scanning
US6856712B2 (en) 2000-11-27 2005-02-15 University Of Washington Micro-fabricated optical waveguide for use in scanning fiber displays and scanned fiber image acquisition
JP4608766B2 (ja) 2000-11-27 2011-01-12 ソニー株式会社 固体撮像素子の駆動方法、及びカメラ
US7079178B2 (en) 2001-02-20 2006-07-18 Jaroslav Hynecek High dynamic range active pixel CMOS image sensor and data processing system incorporating adaptive pixel reset
US7184084B2 (en) 2001-02-26 2007-02-27 Florida Atlantic University Method and apparatus for image sensing with CCD
JP2002336190A (ja) 2001-03-12 2002-11-26 Olympus Optical Co Ltd 内視鏡
JP4846186B2 (ja) 2001-03-29 2011-12-28 ギブン イメージング リミテッド タイミング制御のための方法
US7586526B2 (en) * 2001-03-29 2009-09-08 Canon Kabushiki Kaisha Image sensing apparatus with at least two transfer speeds and its control method
US7102682B2 (en) 2001-04-25 2006-09-05 Hewlett-Packard Development Company, L.P. Exposure control in a digital camera
US6512280B2 (en) 2001-05-16 2003-01-28 Texas Instruments Incorporated Integrated CMOS structure for gate-controlled buried photodiode
US20030007686A1 (en) 2001-06-29 2003-01-09 Roever Jens A. Combined color space matrix transformation and FIR filter
JP4390096B2 (ja) 2001-07-06 2009-12-24 富士フイルム株式会社 内視鏡装置
TNSN02063A1 (en) 2001-07-07 2005-12-23 Egyptian Natural Oil Co Natoil The medical effect of jojoba oil
ES2324817T3 (es) 2001-07-12 2009-08-17 Dxo Labs Procedimiento y sistema para calcular una imagen transformada a partir de una imagen digital.
CA2453423C (fr) 2001-07-12 2014-10-14 Vision Iq Procede et systeme pour fournir des informations formatees a des moyens de traitement d'images
US7280139B2 (en) 2001-07-20 2007-10-09 Micron Technology, Inc. Double sampling active pixel sensor with double sampling temperature sensor
US7106377B2 (en) 2001-07-25 2006-09-12 Hewlett-Packard Development Company, L.P. Image capturing device capable of single pixel exposure duration control
US9149175B2 (en) 2001-07-26 2015-10-06 Given Imaging Ltd. Apparatus and method for light control in an in-vivo imaging device
US6791739B2 (en) 2001-08-08 2004-09-14 Eastman Kodak Company Electro-optic despeckling modulator and method of use
US6921920B2 (en) 2001-08-31 2005-07-26 Smith & Nephew, Inc. Solid-state light source
US6692431B2 (en) 2001-09-07 2004-02-17 Smith & Nephew, Inc. Endoscopic system with a solid-state light source
US8423110B2 (en) 2002-01-09 2013-04-16 Boston Scientific Scimed, Inc. Imaging device and related methods
US6899675B2 (en) 2002-01-15 2005-05-31 Xillix Technologies Corp. Fluorescence endoscopy video systems with no moving parts in the camera
US7545434B2 (en) 2002-02-04 2009-06-09 Hewlett-Packard Development Company, L.P. Video camera with variable image capture rate and related methodology
US6809358B2 (en) 2002-02-05 2004-10-26 E-Phocus, Inc. Photoconductor on active pixel image sensor
DE10214809A1 (de) 2002-04-04 2003-10-23 Wolf Gmbh Richard Festkörpervideokamera und Helligkeitsregelung dafür
US7141450B2 (en) 2002-04-08 2006-11-28 Lucent Technologies Inc. Flip-chip alignment method
US7106367B2 (en) 2002-05-13 2006-09-12 Micron Technology, Inc. Integrated CMOS imager and microcontroller
US6841947B2 (en) 2002-05-14 2005-01-11 Garmin At, Inc. Systems and methods for controlling brightness of an avionics display
AU2003224415A1 (en) 2002-05-16 2003-12-02 Cbyond Inc. Miniature camera head
AU2003248559A1 (en) 2002-05-22 2003-12-12 Beth Israel Deaconess Medical Center Device for wavelength-selective imaging
AU2003253626A1 (en) 2002-06-07 2003-12-22 University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
US6998594B2 (en) 2002-06-25 2006-02-14 Koninklijke Philips Electronics N.V. Method for maintaining light characteristics from a multi-chip LED package
US7532760B2 (en) 2002-08-27 2009-05-12 Aptina Imaging Corporation CMOS image sensor apparatus with on-chip real-time pipelined JPEG compression module
EP1592992B1 (en) 2003-01-24 2012-05-30 University of Washington Optical beam scanning system for compact image display or image acquisition
US7194129B1 (en) 2003-02-06 2007-03-20 Biomorphic Vlsi, Inc. Method and system for color space conversion of patterned color images
US7744528B2 (en) 2003-02-26 2010-06-29 Infinite Biomedical Technologies, Llc Methods and devices for endoscopic imaging
JP4483344B2 (ja) 2003-03-13 2010-06-16 チッソ株式会社 シルセスキオキサン骨格を有する化合物およびその重合体
US8118732B2 (en) 2003-04-01 2012-02-21 Boston Scientific Scimed, Inc. Force feedback control system for video endoscope
JP4328125B2 (ja) 2003-04-25 2009-09-09 オリンパス株式会社 カプセル型内視鏡装置およびカプセル型内視鏡システム
WO2004103167A1 (ja) 2003-05-22 2004-12-02 Olympus Corporation 画像記録装置
JP4299588B2 (ja) 2003-05-29 2009-07-22 株式会社ルネサステクノロジ 半導体集積回路装置
US7567366B2 (en) 2003-05-29 2009-07-28 Seiko Epson Corporation Image scanner provided with power saving mode and a system having a power saving mode
JP2005006856A (ja) 2003-06-18 2005-01-13 Olympus Corp 内視鏡装置
JP4009560B2 (ja) 2003-06-19 2007-11-14 オリンパス株式会社 内視鏡装置及び信号処理装置
IL156715A0 (en) 2003-06-30 2004-01-04 Medigus Ltd Autoclavable imager assembly
ES2415509T3 (es) 2003-07-28 2013-07-25 Synergetics, Inc. Fuente de iluminación
US20050027164A1 (en) 2003-07-29 2005-02-03 Scimed Life Systems, Inc. Vision catheter
US20050038322A1 (en) 2003-08-11 2005-02-17 Scimed Life Systems Imaging endoscope
US7924307B2 (en) 2003-08-14 2011-04-12 Carl Zeiss Ag Optical viewing system and method for operating the same
US6899375B2 (en) 2003-09-15 2005-05-31 Rsv Invention Enterprises Recreational vehicle with integrated pickup bed
EP1709476A4 (en) 2003-09-26 2010-08-04 Tidal Photonics Inc DEVICES AND METHODS RELATING TO IMAGING ENDOSCOPY SYSTEMS WITH ADVANCED DYNAMIC SCOPE
JP2007506947A (ja) 2003-09-26 2007-03-22 タイダール フォトニクス，インク． 強化されたスペクトル測定システムに関する装置および方法
WO2005031433A1 (en) 2003-09-26 2005-04-07 Tidal Photonics, Inc. Apparatus and methods relating to color imaging endoscope systems
US20050113641A1 (en) * 2003-11-22 2005-05-26 Bala John L. Endoscopic imaging and intervention system
US7443437B2 (en) 2003-11-26 2008-10-28 Micron Technology, Inc. Image sensor with a gated storage node linked to transfer gate
US7901348B2 (en) 2003-12-12 2011-03-08 University Of Washington Catheterscope 3D guidance and interface system
EP1702554B1 (en) * 2004-01-07 2013-04-24 Olympus Corporation Receiving apparatus
US7446812B2 (en) 2004-01-13 2008-11-04 Micron Technology, Inc. Wide dynamic range operations for imaging
JP2005204741A (ja) 2004-01-20 2005-08-04 Olympus Corp 電子内視鏡装置
US8134637B2 (en) 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US8948263B2 (en) 2004-02-03 2015-02-03 Broadcom Corporation Read/write separation in video request manager
JP3813961B2 (ja) * 2004-02-04 2006-08-23 オリンパス株式会社 内視鏡用信号処理装置
US20050200291A1 (en) 2004-02-24 2005-09-15 Naugler W. E.Jr. Method and device for reading display pixel emission and ambient luminance levels
US7261687B2 (en) 2004-03-23 2007-08-28 California Institute Of Technology Forward scanning imaging optical fiber probe
US20070206111A1 (en) 2004-04-16 2007-09-06 Iwane Laboratories, Ltd. Highlight Suppression Image Pickup Apparatus
DE102005018047A1 (de) 2004-04-19 2005-11-17 Acmi Corp., Southborough Autoklavierbare Videokamera für ein Endoskop
US7659911B2 (en) 2004-04-21 2010-02-09 Andreas Wittenstein Method and apparatus for lossless and minimal-loss color conversion
WO2005112735A2 (en) 2004-05-14 2005-12-01 Ethicon Endo-Surgery, Inc. Device employing camera connector
DE602005023608D1 (de) 2004-05-21 2010-10-28 Given Imaging Ltd Vorrichtung, system und verfahren zur in-vivo-probenentnahme
JP4542370B2 (ja) * 2004-05-24 2010-09-15 オリンパス株式会社 被検体内導入装置
IL162251A0 (en) 2004-05-31 2005-11-20 Medigus Ltd A reusable laparoscopic or endoscopic camera head
US8149235B2 (en) 2004-08-20 2012-04-03 Microsoft Corporation System and method for upscaling low-resolution images
US8556806B2 (en) 2004-09-24 2013-10-15 Vivid Medical, Inc. Wavelength multiplexing endoscope
US8858425B2 (en) 2004-09-24 2014-10-14 Vivid Medical, Inc. Disposable endoscope and portable display
US8602971B2 (en) 2004-09-24 2013-12-10 Vivid Medical. Inc. Opto-Electronic illumination and vision module for endoscopy
US8480566B2 (en) 2004-09-24 2013-07-09 Vivid Medical, Inc. Solid state illumination for endoscopy
US7298938B2 (en) 2004-10-01 2007-11-20 University Of Washington Configuration memory for a scanning beam device
US20060087841A1 (en) 2004-10-27 2006-04-27 United Epitaxy Company, Ltd. LED luminaire with feedback control
US20110310357A1 (en) 2004-11-15 2011-12-22 Kuo-Ching Chiang Multiple rate projector
US8615038B2 (en) 2004-12-06 2013-12-24 Nokia Corporation Video coding, decoding and hypothetical reference decoder
WO2006061828A2 (en) 2004-12-07 2006-06-15 Bright Imaging Ltd. Method and apparatus for imaging of scenes having large intensity variance
US7784697B2 (en) 2004-12-23 2010-08-31 University Of Washington Methods of driving a scanning beam device to achieve high frame rates
US7159782B2 (en) 2004-12-23 2007-01-09 University Of Washington Methods of driving a scanning beam device to achieve high frame rates
US20070293720A1 (en) 2005-01-05 2007-12-20 Avantis Medical Systems, Inc. Endoscope assembly and method of viewing an area inside a cavity
US8182422B2 (en) 2005-12-13 2012-05-22 Avantis Medical Systems, Inc. Endoscope having detachable imaging device and method of using
US8197399B2 (en) * 2006-05-19 2012-06-12 Avantis Medical Systems, Inc. System and method for producing and improving images
WO2006078861A2 (en) 2005-01-18 2006-07-27 Board Of Regents, The University Of Texas System Method, system and apparatus for a time stamped visual motion sensor
WO2006084279A2 (en) 2005-02-04 2006-08-10 University Of Florida Research Foundation, Inc. Single fiber endoscopic full-field optical coherence tomography (oct) imaging probe
US7189961B2 (en) 2005-02-23 2007-03-13 University Of Washington Scanning beam device with detector assembly
US7568628B2 (en) 2005-03-11 2009-08-04 Hand Held Products, Inc. Bar code reading device with global electronic shutter control
US20060226231A1 (en) 2005-03-29 2006-10-12 University Of Washington Methods and systems for creating sequential color images
US8675125B2 (en) 2005-04-27 2014-03-18 Parellel Consulting Limited Liability Company Minimized-thickness angular scanner of electromagnetic radiation
US7608807B2 (en) 2005-05-05 2009-10-27 Leviton Manufacturing Co., Inc. Closed loop daylight harvesting light control system having auto-calibration
US8648287B1 (en) 2005-05-27 2014-02-11 Rambus Inc. Image sensor using single photon jots and processor to create pixels
US7369140B1 (en) 2005-06-03 2008-05-06 Nvidia Corporation System, apparatus and method for subpixel shifting of sample positions to anti-alias computer-generated images
US7770799B2 (en) 2005-06-03 2010-08-10 Hand Held Products, Inc. Optical reader having reduced specular reflection read failures
US7798959B2 (en) 2005-07-05 2010-09-21 Hoya Corporation Endoscope light source unit with light quantity control
JP4814563B2 (ja) 2005-07-06 2011-11-16 Ｈｏｙａ株式会社 電子内視鏡装置
WO2007010997A1 (ja) 2005-07-20 2007-01-25 Olympus Medical Systems Corp. 体腔内導入装置用留置装置および体腔内導入装置留置システム
US7562573B2 (en) 2005-07-21 2009-07-21 Evigia Systems, Inc. Integrated sensor and circuitry and process therefor
JP4761882B2 (ja) 2005-08-10 2011-08-31 オプティスキャン ピーティーワイ リミテッド 走査型共焦点内視鏡システムおよび該システムの画像表示範囲調整方法
US20070041448A1 (en) 2005-08-17 2007-02-22 Miller Casey L Artifact and noise reduction in MPEG video
US7312879B2 (en) 2005-08-23 2007-12-25 University Of Washington Distance determination in a scanned beam image capture device
JP2007067666A (ja) 2005-08-30 2007-03-15 Alps Electric Co Ltd Ａｇｃ回路
JP2007082664A (ja) 2005-09-21 2007-04-05 Fujifilm Corp カプセル内視鏡
US7563010B2 (en) 2005-10-07 2009-07-21 Karl Storz Endovision, Inc. Endoscopic light source safety and control system with optical sensor
JP4752447B2 (ja) 2005-10-21 2011-08-17 ソニー株式会社 固体撮像装置およびカメラ
US7355155B2 (en) 2005-10-21 2008-04-08 Bwt Property, Inc. Light emitting apparatus for medical applications
US7573519B2 (en) 2005-10-26 2009-08-11 Eastman Kodak Company Method for correcting eclipse or darkle
US7437092B2 (en) 2005-10-26 2008-10-14 Kyocera Mita Corporation Image forming device
US8537203B2 (en) 2005-11-23 2013-09-17 University Of Washington Scanning beam with variable sequential framing using interrupted scanning resonance
JP2007143963A (ja) 2005-11-29 2007-06-14 Osada Res Inst Ltd 歯科用口腔内観察装置
JP4947975B2 (ja) 2005-12-28 2012-06-06 オリンパス株式会社 内視鏡装置および内視鏡用照明装置
JP4812430B2 (ja) 2005-12-28 2011-11-09 オリンパス株式会社 内視鏡装置
EP1809025A3 (en) 2006-01-17 2007-08-15 STMicroelectronics (Research & Development) Limited Memory enhanced image sensor
US20070182723A1 (en) 2006-01-31 2007-08-09 Toshiba Matsushita Display Technology Co., Ltd. Display device
EP1983883B1 (en) 2006-02-07 2015-11-18 Boston Scientific Limited Medical device light source
JP4487944B2 (ja) 2006-02-09 2010-06-23 ソニー株式会社 固体撮像装置
US7935050B2 (en) 2006-02-27 2011-05-03 Microvision, Inc. Endoscope tips, scanned beam endoscopes using same, and methods of use
US20070276187A1 (en) 2006-02-27 2007-11-29 Wiklof Christopher A Scanned beam imager and endoscope configured for scanning beams of selected beam shapes and/or providing multiple fields-of-view
JP2007240931A (ja) 2006-03-09 2007-09-20 Seiko Epson Corp 画像表示装置及びプロジェクタ
EP1837826A1 (en) 2006-03-20 2007-09-26 Matsushita Electric Industrial Co., Ltd. Image acquisition considering super-resolution post-interpolation
US8649848B2 (en) 2006-03-28 2014-02-11 The United States Of America, As Represented By The Secretary Of The Air Force Synchronization of illumination source and sensor for improved visualization of subcutaneous structures
US7435217B2 (en) 2006-04-17 2008-10-14 Microvision, Inc. Scanned beam imagers and endoscopes with positionable light collector
US7476197B2 (en) 2006-04-17 2009-01-13 Microvision, Inc. Scanned beam imagers and endoscopes utilizing multiple light collectors
CA2648723A1 (en) 2006-04-21 2007-11-01 Tir Technology Lp Method and apparatus for light intensity control
JP4864528B2 (ja) 2006-04-27 2012-02-01 Ｈｏｙａ株式会社 内視鏡装置
US7916362B2 (en) 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US7969097B2 (en) 2006-05-31 2011-06-28 Cree, Inc. Lighting device with color control, and method of lighting
US8059174B2 (en) 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
GB0613576D0 (en) 2006-07-10 2006-08-16 Leuven K U Res & Dev Endoscopic vision system
JP2007029746A (ja) 2006-08-03 2007-02-08 Olympus Corp 内視鏡装置
WO2008085553A1 (en) 2006-08-25 2008-07-17 Eliezer Jacob Improved digital camera with non-uniform image resolution
JP4948090B2 (ja) * 2006-08-25 2012-06-06 キヤノン株式会社 撮像装置及び駆動制御方法
US7796870B2 (en) 2007-01-16 2010-09-14 Capso Vision, Inc. Lighting control for in vivo capsule camera
US8213698B2 (en) 2006-09-19 2012-07-03 Capso Vision Inc. Systems and methods for capsule camera control
US7986834B2 (en) 2006-11-08 2011-07-26 Zoran Corporation Method and apparatus for color image correction
KR100830582B1 (ko) 2006-11-13 2008-05-22 삼성전자주식회사 디지털 더블 샘플링 방법 및 그것을 수행하는 씨모스이미지 센서 그리고 그것을 포함하는 디지털 카메라
US8184190B2 (en) 2006-11-28 2012-05-22 Youliza, Gehts B.V. Limited Liability Company Simultaneous global shutter and correlated double sampling read out in multiple photosensor pixels
JP2008153313A (ja) 2006-12-15 2008-07-03 Matsushita Electric Ind Co Ltd 光学デバイス装置およびその製造方法ならびにカメラモジュール
JP2008178075A (ja) 2006-12-18 2008-07-31 Sony Corp 表示制御装置、表示制御方法、及びプログラム
US8556807B2 (en) 2006-12-21 2013-10-15 Intuitive Surgical Operations, Inc. Hermetically sealed distal sensor endoscope
US7783133B2 (en) 2006-12-28 2010-08-24 Microvision, Inc. Rotation compensation and image stabilization system
US8514278B2 (en) 2006-12-29 2013-08-20 Ge Inspection Technologies Lp Inspection apparatus having illumination assembly
US7679167B2 (en) 2007-01-08 2010-03-16 Visera Technologies Company, Limited Electronic assembly for image sensor device and fabrication method thereof
US8305432B2 (en) 2007-01-10 2012-11-06 University Of Washington Scanning beam device calibration
US8101903B2 (en) 2007-01-23 2012-01-24 Micron Technology, Inc. Method, apparatus and system providing holographic layer as micro-lens and color filter array in an imager
KR20080076004A (ko) 2007-02-14 2008-08-20 삼성전자주식회사 촬상장치 및 그 다이나믹 레인지 확장방법
US7760258B2 (en) * 2007-03-07 2010-07-20 Altasens, Inc. Apparatus and method for stabilizing image sensor black level
JP4984981B2 (ja) 2007-03-08 2012-07-25 ソニー株式会社 撮像方法および撮像装置並びに駆動装置
US7583872B2 (en) 2007-04-05 2009-09-01 University Of Washington Compact scanning fiber device
US7813538B2 (en) 2007-04-17 2010-10-12 University Of Washington Shadowing pipe mosaicing algorithms with application to esophageal endoscopy
DE102008018931A1 (de) 2007-04-17 2008-11-13 Gyrus ACMI, Inc., Southborough Lichtquellenleistung auf der Grundlage einer vorbestimmten erfaßten Bedingung
EP1983759A1 (en) 2007-04-19 2008-10-22 Matsushita Electric Industrial Co., Ltd. Estimation of separable adaptive interpolation filters for hybrid video coding
GB0709026D0 (en) 2007-05-10 2007-06-20 Isis Innovation High speed imaging with slow scan cameras using pixel level dynami shuttering
US8831299B2 (en) 2007-05-22 2014-09-09 Intellectual Ventures Fund 83 Llc Capturing data for individual physiological monitoring
US8212884B2 (en) 2007-05-22 2012-07-03 University Of Washington Scanning beam device having different image acquisition modes
JP5346447B2 (ja) 2007-06-04 2013-11-20 オリンパス株式会社 照明装置及び内視鏡装置
CN101347324B (zh) 2007-07-17 2012-05-30 鸿富锦精密工业（深圳）有限公司 内窥镜装置
DE102007034704A1 (de) 2007-07-18 2009-01-22 Karl Storz Gmbh & Co. Kg Bildaufnehmermodul
US8896712B2 (en) 2007-07-20 2014-11-25 Omnivision Technologies, Inc. Determining and correcting for imaging device motion during an exposure
US8538203B2 (en) 2007-07-24 2013-09-17 Sharp Laboratories Of America, Inc. Image upscaling technique
US8098375B2 (en) 2007-08-06 2012-01-17 Lumencor, Inc. Light emitting diode illumination system
CN101827603B (zh) 2007-08-06 2013-03-06 成血管细胞系统公司 用于体内生成、修复和/或维护结缔组织的方法
US8194061B2 (en) 2007-08-09 2012-06-05 Ee Systems Group Inc. Process and system of power saving lighting
US20090074265A1 (en) 2007-09-17 2009-03-19 Capsovision Inc. Imaging review and navigation workstation system
US7940311B2 (en) * 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
WO2009088550A2 (en) 2007-10-19 2009-07-16 Lockheed Martin Corporation System and method for conditioning animal tissue using laser light
US20110255844A1 (en) 2007-10-29 2011-10-20 France Telecom System and method for parsing a video sequence
US20090137893A1 (en) 2007-11-27 2009-05-28 University Of Washington Adding imaging capability to distal tips of medical tools, catheters, and conduits
US7791009B2 (en) 2007-11-27 2010-09-07 University Of Washington Eliminating illumination crosstalk while using multiple imaging devices with plural scanning devices, each coupled to an optical fiber
JP2009136447A (ja) 2007-12-05 2009-06-25 Hoya Corp 光源制御システム、シャッタ制御システム。内視鏡プロセッサ、および内視鏡システム
US20090154886A1 (en) 2007-12-13 2009-06-18 Microvision, Inc. Multi-zone scanned-beam imager
TW200930066A (en) 2007-12-21 2009-07-01 Altek Corp Digital photogrphic camera with brightness compensation and compensation method thereof
WO2009090632A2 (en) * 2008-01-17 2009-07-23 Syneron Medical Ltd. A hair removal apparatus for personal use and the method of using same
US7901974B2 (en) 2008-02-08 2011-03-08 Omnivision Technologies, Inc. Masked laser anneal during fabrication of backside illuminated image sensors
US20090208143A1 (en) 2008-02-19 2009-08-20 University Of Washington Efficient automated urothelial imaging using an endoscope with tip bending
US20090227847A1 (en) 2008-03-07 2009-09-10 John Tepper Tunable Light Controller
US8306121B2 (en) 2008-03-17 2012-11-06 Ati Technologies Ulc Method and apparatus for super-resolution of images
US8077240B2 (en) 2008-04-23 2011-12-13 Inernational Business Machines Corporation Methods for enhancing quality of pixel sensor image frames for global shutter imaging
US8757812B2 (en) 2008-05-19 2014-06-24 University of Washington UW TechTransfer—Invention Licensing Scanning laser projection display devices and methods for projecting one or more images onto a surface with a light-scanning optical fiber
US8212483B2 (en) 2008-06-12 2012-07-03 Infineon Technologies Austria Ag Brightness controlled light source
US9531156B2 (en) 2008-06-18 2016-12-27 Versatile Power, Inc. Endoscopic light source
US8164657B2 (en) * 2008-06-27 2012-04-24 AltaSens, Inc Pixel or column fixed pattern noise mitigation using partial or full frame correction with uniform frame rates
JP2010010478A (ja) 2008-06-27 2010-01-14 Fujifilm Corp 光電変換装置、光電変換装置の製造方法及び撮像装置
JP2010017377A (ja) 2008-07-11 2010-01-28 Fujifilm Corp 内視鏡システム、内視鏡用光源装置、並びに内視鏡用光源装置の動作制御方法
CN201239130Y (zh) 2008-07-25 2009-05-20 比亚迪股份有限公司 一种连接器及其包括其连接器的内窥镜
CN101634749B (zh) 2008-07-22 2012-01-25 比亚迪股份有限公司 一种内窥镜
JP5435916B2 (ja) * 2008-09-18 2014-03-05 富士フイルム株式会社 電子内視鏡システム
WO2010039188A1 (en) 2008-09-23 2010-04-08 Amphenol Corporation High density electrical connector
US8445824B2 (en) 2008-10-24 2013-05-21 Cree, Inc. Lighting device
JP2010113312A (ja) 2008-11-10 2010-05-20 Hoya Corp 内視鏡装置および内視鏡プロセッサ
US20100121142A1 (en) 2008-11-12 2010-05-13 Ouyang Xiaolong Minimally Invasive Imaging Device
JP5467756B2 (ja) 2008-11-14 2014-04-09 Ｈｏｙａ株式会社 内視鏡装置
JP2010125284A (ja) * 2008-12-01 2010-06-10 Fujifilm Corp 撮像システム
GB0821873D0 (en) 2008-12-01 2009-01-07 Univ St Andrews Apparatus and method for obtaining an image of a fluorescent pattern under ambient light
JP2010125270A (ja) 2008-12-01 2010-06-10 Hoya Corp 内視鏡装置
US20100137684A1 (en) 2008-12-03 2010-06-03 Hoya Corporation Endoscope system with scanning function
WO2010064322A1 (ja) 2008-12-05 2010-06-10 オリンパス株式会社 照明装置及び内視鏡装置
US7952096B2 (en) 2008-12-08 2011-05-31 Omnivision Technologies, Inc. CMOS image sensor with improved backside surface treatment
TWI408620B (zh) 2008-12-12 2013-09-11 Mstar Semiconductor Inc 用以決定插補畫面之移動向量的影像處理方法及其相關裝置
WO2010070720A1 (ja) 2008-12-15 2010-06-24 オリンパス株式会社 照明装置及び内視鏡装置
WO2010073137A1 (en) 2008-12-22 2010-07-01 Koninklijke Philips Electronics N.V. Cmos imager with single photon counting capability
JP2010142597A (ja) 2008-12-22 2010-07-01 Hoya Corp 内視鏡装置
JP5342869B2 (ja) 2008-12-22 2013-11-13 Ｈｏｙａ株式会社 内視鏡装置、内視鏡照明装置、画像形成装置、内視鏡照明装置の作動方法および画像形成装置の作動方法
US20100165087A1 (en) 2008-12-31 2010-07-01 Corso Jason J System and method for mosaicing endoscope images captured from within a cavity
US8203581B2 (en) 2009-01-07 2012-06-19 Janlincia Llc Method of LED dimming using ambient light feedback
JP2010158415A (ja) 2009-01-08 2010-07-22 Hoya Corp 内視鏡用光源装置
JP4883223B2 (ja) 2009-01-09 2012-02-22 コニカミノルタホールディングス株式会社 動きベクトル生成装置および動きベクトル生成方法
GB2467118A (en) 2009-01-19 2010-07-28 Sony Espana Sa Video conferencing image compensation apparatus to compensate for the effect of illumination by the display of the scene in front of the display
JP2010194291A (ja) 2009-01-30 2010-09-09 Fujifilm Corp 内視鏡装置及びその駆動方法
US10009582B2 (en) 2009-02-13 2018-06-26 Seesoon, Inc. Pipe inspection system with replaceable cable storage drum
KR101094246B1 (ko) 2009-03-16 2011-12-19 이재웅 넓은 동적범위를 갖는 씨모스 이미지 센서
JP4900736B2 (ja) 2009-03-31 2012-03-21 カシオ計算機株式会社 光源装置及びプロジェクタ
US8773760B2 (en) 2009-04-27 2014-07-08 The Arizona Board Of Regents On Behalf Of The University Of Arizona Multi-point scan architecture
JP2010253155A (ja) 2009-04-28 2010-11-11 Fujifilm Corp 内視鏡システム、内視鏡、並びに内視鏡駆動方法
JP2010253156A (ja) 2009-04-28 2010-11-11 Fujifilm Corp 内視鏡システム、内視鏡、並びに内視鏡駆動方法
US20100305406A1 (en) 2009-05-26 2010-12-02 Ori Braun System, device and method for gynecological use
US8405750B2 (en) 2009-06-08 2013-03-26 Aptina Imaging Corporation Image sensors and image reconstruction methods for capturing high dynamic range images
US20120120282A1 (en) 2009-08-14 2012-05-17 Goris Andrew C Reducing Temporal Aliasing
US8351219B2 (en) 2009-09-03 2013-01-08 Visera Technologies Company Limited Electronic assembly for an image sensing device
JP5277117B2 (ja) 2009-09-03 2013-08-28 富士フイルム株式会社 撮影装置及びその制御方法
WO2011028595A2 (en) 2009-09-03 2011-03-10 University Of Florida Research Foundation Inc. Mems-based optical image scanning apparatus, methods, and systems
US8605177B2 (en) 2009-09-16 2013-12-10 Altasens, Inc. Image sensor with wide dynamic range
US8803960B2 (en) 2009-09-16 2014-08-12 Medigus Ltd. Small diameter video camera heads and visualization probes and medical devices containing them
US9661996B2 (en) 2009-10-01 2017-05-30 Sarcos Lc Needle delivered imaging device
JP5378147B2 (ja) * 2009-10-21 2013-12-25 オリンパス株式会社 内視鏡スコープおよび無線内視鏡システム
US20130018256A1 (en) 2009-11-25 2013-01-17 Hanoch Kislev Probing system for measuring the direction and speed of mucus flow in vivo
JP2011114558A (ja) 2009-11-26 2011-06-09 Fujifilm Corp 撮像装置及び撮像方法
KR101709941B1 (ko) 2009-12-02 2017-02-27 삼성전자주식회사 이미지 센서, 이를 포함하는 이미지 처리 장치, 및 이미지 센서 제조 방법
TWI410877B (zh) 2009-12-22 2013-10-01 Teco Image Sys Co Ltd 接觸式影像掃描裝置及其掃描控制方法
WO2011087801A1 (en) 2009-12-22 2011-07-21 Integrated Endoscopy, Inc. Endoscope with different color light sources
US20110184239A1 (en) 2009-12-22 2011-07-28 Integrated Endoscopy, Inc. Methods and systems for disabling an endoscope after use
WO2011079148A1 (en) 2009-12-22 2011-06-30 Integrated Endoscopy, Inc. Systems and methods for endoscope imaging with monochromatic detector
JP5287706B2 (ja) 2009-12-25 2013-09-11 ソニー株式会社 撮像装置、撮像装置の制御方法及びプログラム
US8444272B2 (en) 2010-01-25 2013-05-21 Corning Incorporated Multi-projector system using multiplexed illumination
JP5393554B2 (ja) 2010-03-23 2014-01-22 富士フイルム株式会社 電子内視鏡システム
JP5438571B2 (ja) 2010-03-24 2014-03-12 富士フイルム株式会社 電子内視鏡システム
CN102469932B (zh) * 2010-04-01 2013-04-24 奥林巴斯医疗株式会社 光源装置以及内窥镜系统
US8698887B2 (en) 2010-04-07 2014-04-15 Olympus Corporation Image pickup apparatus, endoscope and manufacturing method for image pickup apparatus
US20110288374A1 (en) 2010-05-10 2011-11-24 Nanamed, Llc Method and endoscopic device for examining or imaging an interior surface of a corporeal cavity
CA2835495A1 (en) 2010-05-10 2011-11-17 Nanamed,Llc Method and device for imaging an interior surface of an intracorporeal cavity
US8624505B2 (en) 2010-05-28 2014-01-07 Tsmc Solid State Lighting Ltd. Light color and intensity adjustable LED
US20110292258A1 (en) 2010-05-28 2011-12-01 C2Cure, Inc. Two sensor imaging systems
JP2012000160A (ja) * 2010-06-14 2012-01-05 Fujifilm Corp 内視鏡装置
US20120004508A1 (en) 2010-07-02 2012-01-05 Mcdowall Ian Surgical illuminator with dual spectrum fluorescence
JP5481294B2 (ja) 2010-07-15 2014-04-23 富士フイルム株式会社 内視鏡システム
US8165351B2 (en) 2010-07-19 2012-04-24 General Electric Company Method of structured light-based measurement
JP2012024450A (ja) 2010-07-27 2012-02-09 Hoya Corp 電子内視鏡用画像保存システム
US20140316199A1 (en) 2010-07-29 2014-10-23 Cannuflow, Inc. Arthroscopic system
US9375139B2 (en) 2010-07-29 2016-06-28 Cannuflow, Inc. Arthroscopic system
US20120041534A1 (en) 2010-08-10 2012-02-16 Boston Scientific Scimed, Inc. Stent delivery system with integrated camera
US9277855B2 (en) 2010-08-10 2016-03-08 Boston Scientific Scimed, Inc. Endoscopic system for enhanced visualization
US8444275B2 (en) * 2010-08-12 2013-05-21 Eastman Kodak Company Light source control for projector with multiple pulse-width modulated light sources
JP4657379B1 (ja) 2010-09-01 2011-03-23 株式会社ナックイメージテクノロジー 高速度ビデオカメラ
JP5651782B2 (ja) 2010-09-08 2015-01-14 コヴィディエン リミテッド パートナーシップ 撮像アセンブリを有するカテーテル
DE102010047288A1 (de) 2010-09-27 2012-03-29 Karl Storz Gmbh & Co. Kg Bildaufnehmermodul sowie Verfahren zur Herstellung eines Bildaufnehmermoduls
JP5259882B2 (ja) * 2010-09-30 2013-08-07 オリンパスメディカルシステムズ株式会社 撮像装置
JP5922134B2 (ja) 2010-10-12 2016-05-24 オプティスキャン ピーティーワイ リミテッド 内視鏡用スキャナ
US9294755B2 (en) 2010-10-20 2016-03-22 Raytheon Company Correcting frame-to-frame image changes due to motion for three dimensional (3-D) persistent observations
JP5682812B2 (ja) 2010-11-05 2015-03-11 セイコーエプソン株式会社 周波数差分出力装置、周波数測定装置、電子機器、及び周波数測定方法
JP5721406B2 (ja) 2010-11-24 2015-05-20 Hoya株式会社 走査型共焦点内視鏡システム
US8588524B2 (en) 2010-12-15 2013-11-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method and program
JP5637834B2 (ja) * 2010-12-15 2014-12-10 富士フイルム株式会社 内視鏡装置
JP5959150B2 (ja) 2011-01-12 2016-08-02 オリンパス株式会社 内視鏡システム
JP5752945B2 (ja) 2011-01-24 2015-07-22 オリンパス株式会社 内視鏡システム
US8810663B2 (en) 2011-01-27 2014-08-19 Aptina Imaging Corporation Methods for motion correction for high-dynamic-range imaging systems
JP5628062B2 (ja) 2011-02-01 2014-11-19 富士フイルム株式会社 電子内視鏡システム
FR2972815B1 (fr) * 2011-03-15 2013-03-22 Commissariat Energie Atomique Tete optique bispectrale a usage unique pour videoendoscope et videoendoscope associe
CA2867678C (en) 2011-03-16 2016-06-14 Arkalumen Inc. Lighting apparatus and methods for controlling lighting apparatus using ambient light levels
US9282879B2 (en) 2011-03-24 2016-03-15 EON Surgical Ltd. Laparoscope system
KR101788032B1 (ko) 2011-03-24 2017-10-19 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 깊이 정보 에러 보상 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
CN103327877A (zh) 2011-03-31 2013-09-25 奥林巴斯医疗株式会社 扫描型内窥镜装置
JPWO2012132754A1 (ja) 2011-03-31 2014-07-28 オリンパスメディカルシステムズ株式会社 走査型内視鏡装置
JP5881307B2 (ja) 2011-04-08 2016-03-09 オリンパス株式会社 外光を利用した挿入部先端位置検出が可能な観察装置
JP5750982B2 (ja) 2011-04-12 2015-07-22 ウシオ電機株式会社 プロジェクタ用光源装置
JP2012234393A (ja) 2011-05-02 2012-11-29 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
EP2706911B1 (en) 2011-05-12 2018-07-04 Depuy Synthes Products, Inc. System and method for sub-column parallel digitizers for hybrid stacked image sensor using vertical interconnects
US20120296238A1 (en) 2011-05-16 2012-11-22 Tyco Healthcare Group Lp System and Methods for Energy-Based Sealing of Tissue with Optical Feedback
US20130292571A1 (en) * 2011-06-02 2013-11-07 Infrasign, Inc. Optically multiplexed mid-infrared laser systems and uses thereof
JP5816464B2 (ja) 2011-06-07 2015-11-18 オリンパス株式会社 挿入口装着器
US20120319586A1 (en) 2011-06-14 2012-12-20 Scott Riesebosch Led lamp with integrated light detector
US8970719B2 (en) 2011-06-23 2015-03-03 JVC Kenwood Corporation Image processing apparatus and image processing method
US8878920B2 (en) 2011-07-12 2014-11-04 Karl Storz Imaging, Inc. Method and apparatus for protection from high intensity light
JP2013027432A (ja) 2011-07-26 2013-02-07 Fujifilm Corp 内視鏡装置及びその製造方法
US9179828B2 (en) * 2011-08-05 2015-11-10 Olympus Corporation Electronic endoscope apparatus
JP5709691B2 (ja) 2011-08-23 2015-04-30 富士フイルム株式会社 内視鏡装置
US9634878B1 (en) 2011-09-08 2017-04-25 See Scan, Inc. Systems and methods for data transfer using self-synchronizing quadrature amplitude modulation (QAM)
JP2013090116A (ja) 2011-10-18 2013-05-13 Olympus Corp 固体撮像装置および内視鏡装置
KR20140096383A (ko) 2011-11-30 2014-08-05 리얼디 인크. 레이저 빔 스캔식 디스플레이 장치 및 그 방법
JP2013119091A (ja) 2011-12-06 2013-06-17 Jfe Steel Corp 粗圧延機におけるシートバーセンタリング制御方法および粗圧延機
US20130155305A1 (en) 2011-12-19 2013-06-20 Sony Corporation Orientation of illustration in electronic display device according to image of actual object being illustrated
CH705952B1 (de) 2011-12-23 2017-06-15 Awaiba Consultadoria Desenvolvimento E Comércio De Componentes Microelectrónicos Unipessoal Lda Endoskopanordnung.
JP5926955B2 (ja) 2011-12-28 2016-05-25 オリンパス株式会社 撮像機構及び内視鏡装置
EP2615579A1 (en) 2012-01-12 2013-07-17 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure
JP5620932B2 (ja) 2012-02-14 2014-11-05 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5503035B2 (ja) 2012-03-13 2014-05-28 富士フイルム株式会社 内視鏡用基板コネクタ及びこれを用いた内視鏡
US9258549B2 (en) 2012-05-14 2016-02-09 Intuitive Surgical Operations, Inc. Single-chip sensor multi-function imaging
JP2013239074A (ja) 2012-05-16 2013-11-28 Sony Corp 情報処理装置および情報処理方法、並びにプログラム
EP2752150A4 (en) 2012-05-23 2015-05-20 Olympus Medical Systems Corp INSTRUMENT FOR CALIBRATING A SCAN ENDOSCOPE
JP5490331B1 (ja) 2012-06-01 2014-05-14 オリンパスメディカルシステムズ株式会社 内視鏡システム
US20130342690A1 (en) 2012-06-26 2013-12-26 Thomas H. Williams Technique for Enhancing the Quality of Compressed Video Images
KR102040148B1 (ko) 2012-06-29 2019-11-04 삼성전자주식회사 파이버 스캐닝 광 프로브 및 이를 채용한 의료 영상 기기
US20140012078A1 (en) 2012-07-05 2014-01-09 Raymond Coussa Accelorometer Based Endoscopic Light Source Safety System
CN104168815B (zh) * 2012-07-24 2016-08-24 奥林巴斯株式会社 控制装置和摄像系统
JP5677378B2 (ja) 2012-07-25 2015-02-25 富士フイルム株式会社 内視鏡システム
AU2013295568B2 (en) 2012-07-26 2017-09-07 DePuy Synthes Products, Inc. YCbCr pulsed illumination scheme in a light deficient environment
KR102278509B1 (ko) 2012-07-26 2021-07-19 디퍼이 신테스 프로덕츠, 인코포레이티드 광 부족 환경에서 연속된 비디오
US9509917B2 (en) 2012-07-26 2016-11-29 DePuy Synthes Products, Inc. Wide dynamic range using monochromatic sensor
US20140052004A1 (en) 2012-08-15 2014-02-20 Arthrex, Inc. Endoscopic camera illumination system and method
US9198835B2 (en) 2012-09-07 2015-12-01 Covidien Lp Catheter with imaging assembly with placement aid and related methods therefor
US20140078278A1 (en) 2012-09-19 2014-03-20 Omnivision Technologies, Inc. Systems and Methods for Controlling Lighting Strength of a Camera System by Time-Matched Intermittent Illumination
CN103780847A (zh) 2012-10-24 2014-05-07 霍尼韦尔国际公司 基于板上芯片的高度集成的成像器
US20140142383A1 (en) 2012-11-22 2014-05-22 Gyrus Acmi, Inc. (D.B.A. Olympus Surgical Technologies America) Endoscope Camera Head Memory
US9105550B2 (en) 2013-01-11 2015-08-11 Digimarc Corporation Next generation imaging methods and systems
US9252180B2 (en) 2013-02-08 2016-02-02 Taiwan Semiconductor Manufacturing Company, Ltd. Bonding pad on a back side illuminated image sensor
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US11013398B2 (en) * 2013-03-13 2021-05-25 Stryker Corporation System for obtaining clear endoscope images
EP2967294B1 (en) 2013-03-15 2020-07-29 DePuy Synthes Products, Inc. Super resolution and color motion artifact correction in a pulsed color imaging system
CA2906821A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Scope sensing in a light controlled environment
JP6404318B2 (ja) 2013-03-15 2018-10-10 デピュイ・シンセス・プロダクツ・インコーポレイテッド レーザーパルスの積算光エネルギー制御
JP5863709B2 (ja) 2013-06-04 2016-02-17 富士フイルム株式会社 内視鏡システム
CN105407789B (zh) * 2013-08-01 2017-07-14 奥林巴斯株式会社 内窥镜系统、内窥镜系统的工作方法
JP6270465B2 (ja) * 2013-12-25 2018-01-31 オリンパス株式会社 光走査型観察装置
US9723186B2 (en) 2014-02-19 2017-08-01 Stmicroelectronics Pte Ltd Low profile camera module with image compensation
CN114191114A (zh) 2014-03-21 2022-03-18 德普伊新特斯产品公司 用于成像传感器的卡缘连接器
KR20160080166A (ko) 2014-12-29 2016-07-07 에스케이하이닉스 주식회사 이미지 센서 내장형 패키지 및 그 제조방법
EP3731724A4 (en) 2017-12-27 2021-10-13 Ethicon LLC FLUORESCENT IMAGING IN A LIGHT ENVIRONMENT
US20190200906A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Dual cmos array imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110028790A1 (en) * 2004-09-24 2011-02-03 Vivid Medical, Inc. Disposable endoscopic access device and portable display
WO2009120228A1 (en) * 2008-03-24 2009-10-01 General Electric Company Image processing systems and methods for surgical applications
US20110208004A1 (en) * 2008-11-18 2011-08-25 Benjamin Hyman Feingold Endoscopic led light source having a feedback control system

Also Published As

Publication number Publication date
EP2877077B1 (en) 2021-05-26
AU2013295553A1 (en) 2015-03-05
US20210361152A1 (en) 2021-11-25
EP2992810A1 (en) 2016-03-09
MX2015001197A (es) 2016-01-22
HK1207549A1 (en) 2016-02-05
KR20150037955A (ko) 2015-04-08
US20140163319A1 (en) 2014-06-12
EP2877077A2 (en) 2015-06-03
CN104486986A (zh) 2015-04-01
CN104486986B (zh) 2018-06-01
IL236893A0 (en) 2015-03-31
JP6526560B2 (ja) 2019-06-05
US11083367B2 (en) 2021-08-10
MX2018006791A (es) 2022-01-20
JP2018153660A (ja) 2018-10-04
WO2014018936A2 (en) 2014-01-30
IL236893B (en) 2020-08-31
JP6804488B2 (ja) 2020-12-23
JP2015530893A (ja) 2015-10-29
MX356890B (es) 2018-06-19
EP2992810B1 (en) 2021-11-10
AU2013295553B2 (en) 2017-10-19
US11930994B2 (en) 2024-03-19
US20160183775A1 (en) 2016-06-30
CA2878511A1 (en) 2014-01-30
WO2014018936A3 (en) 2014-06-05
IN2015MN00018A (ko) 2015-10-16
EP2877077A4 (en) 2016-05-11
BR112015001555A2 (pt) 2017-07-04
US10568496B2 (en) 2020-02-25

Similar Documents

Publication Publication Date Title
US11930994B2 (en) Continuous video in a light deficient environment
US11751757B2 (en) Wide dynamic range using monochromatic sensor
KR102127100B1 (ko) 광 부족 환경에서 ycbcr 펄싱된 조명 수법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E902 Notification of reason for refusal
GRNT Written decision to grant