KR102229306B1 - 추적, 적대적 발사 표시, 반짝임 억제, 및 다른 응용을 위한 픽셀 기반 이벤트 검출 - Google Patents

추적, 적대적 발사 표시, 반짝임 억제, 및 다른 응용을 위한 픽셀 기반 이벤트 검출 Download PDF

Info

Publication number
KR102229306B1
KR102229306B1 KR1020197016840A KR20197016840A KR102229306B1 KR 102229306 B1 KR102229306 B1 KR 102229306B1 KR 1020197016840 A KR1020197016840 A KR 1020197016840A KR 20197016840 A KR20197016840 A KR 20197016840A KR 102229306 B1 KR102229306 B1 KR 102229306B1
Authority
KR
South Korea
Prior art keywords
counter
pixel
event
detector
value
Prior art date
Application number
KR1020197016840A
Other languages
English (en)
Other versions
KR20190085960A (ko
Inventor
미키 알. 해리스
에릭 제이. 보빌레
줄리엣 에스. 코스타
크리스티안 엠. 보엠럴
마크 에이. 매시
Original Assignee
레이던 컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 레이던 컴퍼니 filed Critical 레이던 컴퍼니
Publication of KR20190085960A publication Critical patent/KR20190085960A/ko
Application granted granted Critical
Publication of KR102229306B1 publication Critical patent/KR102229306B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06K9/00771—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/0266—Field-of-view determination; Aiming or pointing of a photometer; Adjusting alignment; Encoding angular position; Size of the measurement area; Position tracking; Photodetection involving different fields of view for a single detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/16—Measuring radiation intensity
    • G01T1/17—Circuit arrangements not adapted to a particular type of detector
    • G01T1/171—Compensation of dead-time counting losses
    • G06K9/00744—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H04N5/3559—
    • H04N5/3696—
    • H04N5/37455—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Studio Devices (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)

Abstract

방법(500)은 이미징 시스템(100)의 픽셀에서 수신된 조도에 기초하여 세기 값(216)을 생성하는 단계를 포함한다. 상기 세기 값은 제1 시간 주기 동안 검출기(200)의 제1 카운터(210)를 이용하여 값을 통합(506)함으로써 생성된다. 상기 방법은 또한 상기 검출기의 제2 카운터(212)를 이용하여 상기 제1 시간 주기 이내로 더 작은 제2 시간 주기 동안 반복적으로 값을 통합하는 단계(508)를 포함한다. 상기 제2 카운터는 상기 제1 카운터보다 낮은 비트 해상도를 가진다. 상기 방법은 상기 제2 시간 주기 각각에 대해 상기 제2 카운터를 리셋하는 단계를 더 포함한다. 또한, 상기 방법은 특정 값을 출력하는 상기 제2 카운터에 응답하여 픽셀 이벤트 표시자(218)를 생성하는 단계(510)를 포함한다. 상기 방법은 또한 하나 이상의 이웃 검출기(200)가 하나 이상의 픽셀 이벤트 표시자를 또한 생성하였는지 여부를 결정하는 단계(512); 및 상기 하나 이상의 이웃 검출기가 상기 하나 이상의 픽셀 이벤트 표시자를 또한 생성하였을 경우, 이벤트 표시자(226)를 생성하는 단계(514)를 포함한다.

Description

추적, 적대적 발사 표시, 반짝임 억제, 및 다른 응용을 위한 픽셀 기반 이벤트 검출
본 개시는 일반적으로 이미징 시스템에 관한 것이다. 보다 구체적으로, 본 개시는 추적(tracking), 적대적 발사 표시(hostile fire indication), 반짝임 억제(glint suppression), 및 다른 응용(applications)을 위한 픽셀 기반 이벤트 검출(pixel-based event detection)에 관한 것이다.
전형적인 이미징 시스템 또는 "이미저"는 특정 프레임 속도로 일련의 이미지 프레임의 시리즈를 캡처할 수 있다. 불행하게도, 이미저의 시간적 대역폭은 캡처된 이미지 프레임의 프레임 속도에 의해 제한된다. 세기에서 밝지만 프레임 속도보다 짧은 이벤트가 발생할 경우, 이벤트가 발생한 시간을 식별하는 정보는 이미저의 불충분한 시간적 해상도(poor temporal resolution)에 기인하여 손실될(lost) 수 있다. 이벤트의 밝은 세기는 또한 장면 내 공간 정보를 분별하기 위한 이미저의 능력을 제한할 수 있다. 이미저에 영향을 줄 수 있는 다양한 밝은 이벤트는 반사 객체로부터 반짝임(glint), 무기로부터의 총구 플래시(muzzle flashes), 또는 로켓 추진탄 발사(rocket propelled grenade launches)를 포함한다.
이러한 문제를 해결하는 것에 대한 종래의 하나의 접근법은 아날로그 피크 및 미분 필터링(analog peak and derivative filtering)의 사용을 포함한다. 하지만, 전형적으로 이러한 접근법은 대량의 전력을 소비하며, 상보형금속산화반도체(CMOS: Complementary-Metal-Oxide Semiconductor) 픽셀을 사용하는 시스템과 같은 진보된 디지털 이미징 시스템으로 작동이 잘 되지 않는다. 다른 종래의 접근법은 이미저의 전체 프레임 속도, 및 이벤트를 정하는(locate) 후처리 이미지 프레임(post-process image frames)을 증가시키는 것이지만, 이러한 접근법은 이미저의 감도를 낮추고, 전체 시스템에 의해 소비되는 전력의 양을 크게 증가시킨다.
본 개시는 추적, 적대적 발사 표시, 반짝임 억제, 및 다른 응용을 위한 픽셀 기반 이벤트 검출에 관한 것이다.
제1 실시예에서, 방법은 이미징 시스템의 픽셀에서 수신된 조도(illumination)에 기초하여 세기 값(intensity value)을 생성하는 단계를 포함한다. 상기 세기 값은 제1 시간 주기(period of time) 동안 검출기의 제1 카운터를 이용하여 값을 통합(integration)함으로써 생성된다. 상기 방법은 또한 상기 검출기의 제2 카운터를 이용하여 상기 제1 시간 주기 이내로 더 작은 제2 시간 주기 동안 반복적으로(repeatedly) 값을 통합하는 단계를 포함한다. 상기 제2 카운터는 상기 제1 카운터보다 낮은 비트 해상도를 가진다. 상기 방법은 상기 제2 시간 주기 각각에 대해 상기 제2 카운터를 리셋하는 단계를 더 포함한다. 또한, 상기 방법은 특정 값(specified value)을 출력하는 상기 제2 카운터에 응답하여 픽셀 이벤트 표시자(indicator)를 생성하는 단계를 포함한다.
제2 실시예에서, 장치는 픽셀에서 수신된 조도의 세기를 측정하고, 상기 수신된 조도를 이용하여 이벤트를 검출하도록 구성된 검출기를 포함한다. 상기 검출기는, 제1 시간 주기 동안 값을 통합함으로써, 상기 픽셀에서 수신된 상기 조도에 기초하여 세기 값을 생성하도록 구성된 제1 카운터를 포함한다. 또한, 상기 검출기는, 상기 제1 시간 주기 이내로 더 작은 제2 시간 주기 동안 반복적으로 상기 값을 통합하도록 구성된 제2 카운터를 포함한다. 상기 제2 카운터는 상기 제1 카운터보다 낮은 비트 해상도를 가지고, 상기 제2 시간 주기 각각에 대해 리셋되도록 구성된다. 상기 검출기는, 특정 값을 출력하는 상기 제2 카운터에 응답하여 픽셀 이벤트 표시자를 생성하도록 구성된 래치(latch)를 더 포함한다.
제3 실시예에서, 시스템은 복수의 픽셀을 포함하는 초점면(focal plane) 어레이; 및 상기 픽셀 중 적어도 일부 각각에 대해, 픽셀에서 수신된 조도의 세기를 측정하고, 상기 수신된 조도를 이용하여 이벤트를 검출하도록 구성된 검출기를 포함하고, 각각의 검출기는, 제1 시간 주기 동안 값을 통합함으로써, 상기 픽셀에서 수신된 상기 조도에 기초하여 세기 값을 생성하도록 구성된 제1 카운터를 포함한다. 각각의 검출기는, 상기 제1 시간 주기 이내로 더 작은 제2 시간 주기 동안 반복적으로 상기 값을 통합하도록 구성된 제2 카운터를 또한 포함하며, 상기 제2 카운터는 상기 제1 카운터보다 낮은 비트 해상도를 가지고 상기 제2 시간 주기 각각에 대해 리셋되도록 구성된다. 각각의 검출기는, 특정 값을 출력하는 상기 제2 카운터에 응답하여 픽셀 이벤트 표시자를 생성하도록 구성된 래치를 더 포함한다.
다른 기술적 특징은 다음의 도면, 설명 및 청구항으로부터 당업자에게 명백하기 쉬울 수 있다.
본 개시의 보다 완전한 이해를 위해, 첨부한 도면과 함께 다음의 설명에 대해 참조가 된다.
도 1은 본 개시에 따른 픽셀 기반 이벤트 검출을 지원하는 예시적인 시스템을 도시한다.
도 2는 본 개시에 따른 예시적인 픽셀 기반 이벤트 검출기를 도시한다.
도 3은 본 개시에 따른 픽셀 기반 이벤트 검출에 대한 동작과 연관된 예시적인 타이밍도이다.
도 4는 본 개시에 따른 픽셀 기반 이벤트 검출기에 대한 예시적인 사용을 도시한다.
도 5는 본 개시에 따른 픽셀 기반 이벤트 검출을 위한 예시적인 방법을 도시한다.
아래에서 설명되는 도 1 내지 5, 및 본 명세서에서 본 발명의 원리를 설명하는데 사용되는 다양한 실시예는 실례로서일 뿐이며, 본 발명의 범위를 제한하는 방식으로 이해되어서는 안된다. 당업자는 본 발명의 원리가 임의의 유형으로 적절하게 구성된 장치 또는 시스템으로 구현될 수 있다는 것을 이해할 것이다.
도 1은 본 개시에 따른 픽셀 기반 이벤트 검출을 지원하는 예시적인 시스템(100)을 도시한다. 도 1에 도시된 바와 같이, 시스템(100)은 포커싱 시스템(focusing system)(102), 초점면 어레이(focal plane array)(104) 및 처리 시스템(processing system)(106)을 포함한다. 일반적으로, 포커싱 시스템(102)은 장면(scene)으로부터의 조도를 초점면 어레이(104)에 포커스하도록(focus) 동작한다. 포커싱 시스템(102)은 60º x 60º(60º by 60º) 시야와 같은 초점면 어레이(104)로 향하는(directed) 임의의 적절한 시야를 가질 수도 있다. 포커싱 시스템(102)은 하나 이상의 렌즈, 거울 또는 다른 광학 장치와 같이 조도를 포커스하기 위한 임의의 적절한 구조를 포함한다.
초점면 어레이(104)는 일반적으로 장면의 이미지를 캡처하도록 동작한다. 초점면 어레이(104)는 장면을 나타내는 전기적 신호를 생성하는 픽셀의 매트릭스 또는 다른 집합을 포함한다. 초점면 어레이(104)는 임의의 적절한 스펙트럼, 또는 가시광, 적외선 또는 자외선 스펙트럼에서와 같은 스펙트럼들로 이미지를 캡처할 수도 있다.
또한, 초점면 어레이(104)가 약 8,000 픽셀 x 약 8,000 픽셀의 집합을 포함하는 경우와 같이, 초점면 어레이(104)는 또한 임의의 적절한 해상도를 가질 수도 있다. 초점면 어레이(104)는 이미지를 캡처하는 픽셀의 임의의 적절한 집합을 포함한다. 또한, 초점면 어레이(104)는 판독 집적 회로(ROICs: readout integrated circuits)와 같은 픽셀로부터 정보의 수신 및 출력을 용이하게 하는 추가적인 구성 요소를 포함할 수도 있다.
아래에서 보다 상세하게 설명하면, 초점면 어레이(104)는 선택된 세기의 이벤트를 구별하도록(discriminate) 디지털 픽셀로 사용되는 픽셀 기반 이벤트 검출기를 포함한다. 각각의 검출기에서의 필터는 (예를 들어, 1 비트 또는 수 비트 카운터와 같은) 저해상도 카운터 및 주파수 기준을 이용하여 형성될 수 있다. 저해상도 카운터는 비교기에 의해 증가될(incremented) 수 있고, 주파수 기준에 의해 정의되는 주기적인 시간 간격 이후에 리셋될 수 있다. 저해상도 카운터는 단일 주기적 시간 간격 내 임계 값으로 진행할 경우에, 픽셀에 의해 측정된 세기는 특정 세기를 초과하고, 이에 따라 관심(interest)의 이벤트를 나타낸다.
따라서, 각각의 픽셀 기반 이벤트 검출기의 출력은 높은 세기의 이벤트가 발생한 표시자로 사용될 수 있다. (반짝임 또는 깜빡이(blinkers)와 같은) 거짓 경보를 감소시키기 위해, 로컬 필터링(local filtering)은 검출기에 의해 지원될 수도 있다. 로컬 필터링은, 실제 이벤트가 검출된 것을 확인하기(verify) 위해, 하나의 검출기가 이웃 검출기로부터의 출력을 사용하게 한다.
이러한 접근법은 많은 이미지 프레임을 처리할 필요 없이 고해상도 시간적 정보를 획득하는 능력을 지원한다. 또한, 밝은 이벤트로부터 손실된 동적 범위를 회복하기 위해 이벤트가 발생할 때, 픽셀 기반 검출기로 실시간 정보를 처리하는 능력을 제공한다. 다른 것들 중에서, 검출기는 반짝임을 억제하고, 총구 플래시에 대한 로컬 검출을 수행하거나, 또는 객체를 추적하는데 사용될 수 있다. 픽셀 기반 검출기에 관한 추가적인 세부사항은 아래에 제공된다.
처리 시스템(106)은 초점면 어레이(104)로부터의 출력을 수신하고 상기 정보를 처리한다. 예를 들어, 처리 시스템(106)은, 디스플레이(108)에서와 같이 한 명 이상의 개인(personnel)에게 프리젠테이션을 위해 시각적 이미지를 생성하기 위해, 초점면 어레이(104)에 의해 생성된 이미지 데이터를 처리할 수도 있다. 처리 시스템(106)은, 관심의 이벤트가 픽셀 기반 검출기에 의해 검출되었는지 여부를 결정하도록, 초점면 어레이(104)에서 픽셀 기반 검출기로부터 정보를 처리할 수도 있다. 이벤트가 검출되었을 경우, 처리 시스템(106)은 임의의 적절한 동작을 취할 수 있다. 예를 들어, 처리 시스템(106)은 디스플레이(108)에서 검출된 이벤트와 연관된 정보를 제시하거나, 조기 경보 표시자(110)를 트리거할 수도 있다. 디스플레이(108)는 이벤트와 연관된 하나 이상의 이미지와 같이 검출된 이벤트에 대해 임의의 적절한 정보를 제시할 수도 있다. 조기 경보 표시자(110)는 청각적 또는 시각적 경보와 같은 임의의 적절한 유형의 표시자를 나타낼 수도 있다.
처리 시스템(106)은 초점면 어레이 또는 픽셀기반 검출기를 포함하는 다른 이미징 시스템으로부터 정보를 처리하기 위한 임의의 적절한 구조를 포함한다. 예를 들어, 처리 시스템(106)은 하나 이상의 마이크로프로세서, 마이크로컨트롤러, 디지털 신호 프로세서, 필드 프로그래머블 게이트 어레이(field programmable gate arrays), 주문형반도체(application specific integrated circuits), 또는 이산 논리 장치(discrete logic devices)와 같은 하나 이상의 처리 장치를 포함할 수도 있다. 디스플레이(108)는 정보를 그래픽적으로 제시하기 위한 임의의 적절한 장치를 포함한다. 조기 경보 표시자(110)는 하나 이상의 개인에 출력을 제공하는 임의의 적절한 구조를 포함한다.
도 1은 픽셀 기반 이벤트 검출을 지원하는 시스템(100)의 일 예를 도시한다. 예를 들어, 도 1에서의 다양한 구성 요소가 결합될 수 있고, 또한 세분될 수 있고, 재구성될 수 있거나, 또는 생략될 수 있고, 추가적인 구성요소가 특정 필요에 따라 추가될 수 있다. 또한, 도 1은 픽셀 기반 검출기가 관심의 이벤트를 식별하는데 사용될 수 있는 하나의 예시적인 유형의 시스템을 도시한다. 하지만, 이러한 기능은 임의의 다른 적절한 장치 또는 시스템에서 사용될 수 있다.
도 2는 본 개시에 따른 예시적인 픽셀 기반 이벤트 검출기(200)를 도시한다. 설명을 용이하게 하기 위해, 검출기(200)는 도 1의 시스템(100)에서 초점면 어레이(104) 내에 사용되는 것으로 설명된다. 검출기(200)는 초점면 어레이(104)의 모든 픽셀로 사용될 수 있거나, 검출기(200)는 초점면 어레이(104)의 픽셀의 서브세트로 사용될 수 있다. 하지만, 검출기(200)는 임의의 다른 적절한 장치에서와 임의의 다른 적절한 시스템에서 사용될 수 있다는 것을 유의하라.
도 2에 도시된 바와 같이, 검출기(200)는 픽셀(202)과 함께 사용된다. 픽셀(202)은 픽셀(202)에 의해 수신된 들어오는 조도의 세기에 기초하여, 전압 신호와 같은 전기 신호를 생성한다. 픽셀(202)은 광검출기와 같이 조도에 기초하여 신호를 생성하기 위한 임의의 적절한 구조를 포함한다. 예를 들어, 픽셀(202)은 초점면 어레이(104)에서 픽셀들 중 하나를 나타낼 수 있다.
커패시터(204)는 픽셀(202)과 직렬로 커플링되고, 스위치(204)와 병렬로 커플링된다. 커패시터(204)는 픽셀(202)의 출력에 기초하여 전기 전하를 저장한다. 커패시터(204)는 접지에 커플링된, 스위치(206)를 통해 방전될 수도 있다. 스위치(206)를 개방하는(Opening) 것은 픽셀(202)으로부터의 전기 에너지가 커패시터(204)를 충전하게 하고, 스위치(206)를 폐쇄하는 것은 커패시터(204)를 방전시킨다. 커패시터(204)는 바람직한 커패시턴스를 가지는 임의의 적절한 구조를 포함한다. 스위치(206)는 트랜지스터와 같은 전기적 연결을 선택적으로 형성하도록 구성된 임의의 적절한 구조를 포함한다.
비교기(208)는 도 2 에서의 VIntegration을 나타내는 커패시터(204)에 저장된 전압을 기준 전압과 비교하고, 비교에 기초하여 출력을 생성한다. 비교기(208)의 출력은, 커패시터(204)에 저장된 전압이 기준 전압 미만일 때 하나의 값을 가지고, 커패시터(204)에 저장된 전압이 기준 전압 초과일 때 다른 값을 가진다. 비교기(208)의 출력은 스위치(206)를 제어하기 위해 사용될 수 있으며, 스위치(206)를 폐쇄함으로써 (캐패시터의 전압이 특정 레벨에 도달한 이후에) 비교기(208)가 커패시터(204)를 방전시킬 수 있고, 스위치(204)를 개방함으로써 커패시터(204)가 충전하게 할 수 있다는 것을 의미한다. 비교기(208)는 전기 신호를 비교하기 위한 임의의 적절한 구조를 포함한다.
비교기(208)는 또한 세기 카운터(210) 및 필터 카운터(212)에 그 출력을 제공하며, 세기 카운터(210) 및 필터 카운터(212) 각각은 주파수 기준에 의해 정의된 주기적인 시간 간격 동안 비교기의 출력을 통합한다.
세기 카운터(210)는, 비교기(208)의 출력이 기준 전압을 초과하는 레벨과 같은 특정 레벨에 도달할 때마다 카운터 값을 증가시키거나 감소시키는 카운터를 나타낸다. 세기 카운터(210)는 각각의 주기적인 시간 간격 동안 비교기(208)의 출력을 통합할 수 있다. 세기 카운터(210)는 현재 주기적인 시간 간격의 종료 및 다음 주기적인 시간 간격의 시작에서 리셋될 수도 있고, 다른 통합이 발생할 수 있다. 따라서, 세기 카운터(210)는 주기적인 시간 간격 동안 픽셀(202)로 수신된 조명의 세기를 나타내는 카운터 값을 생성한다.
세기 카운터(210)는 각각의 주기적인 시간 간격 동안 세기를 효과적으로 측정할 수 있는 반면에, 세기 카운터(210)는 매우 빠른 밝은 이벤트(fast bright event)가 (이미저의 프레임 레이트보다 빠른) 시간 간격의 작은 부분 동안 발생할 때 지시할 때 효과적이지 않을 수 있다. 세기 카운터(210)는 전체 시간 간격에 걸쳐 세기를 통합하기 때문에, 그렇지 않으면 어두운 시간 간격에서 빠른 밝은 이벤트의 세기는 통합의 결과로 손실될 수 있다. 예를 들어, 평균 세기 시간 간격의 통합된 세기는 빠른 밝은 이벤트로 다른 어두운 시간 간격의 통합된 세기와 동등할 수 있다. 세기 카운터(210)의 출력은 빠른 밝은 이벤트가 발생하였다는 것을 반드시 나타내는 것은 아니다.
필터 카운터(212)는 더 낮은 비트 해상도에서는 아니지만 세기 카운터(210)와 동일한 값을 통합함으로써 이러한 문제를 해결하는 것을 돕는다. 필터 카운터(212)는 비교기(208)의 출력이 특정 레벨(예를 들어, 기준 전압)에 도달할 때마다 카운터 값을 증가시키거나 감소시키는 카운터를 나타낸다. 필터 카운터(212)는 각각의 주기적인 시간 간격 동안 비교기(208)의 출력을 통합할 수 있다. 필터 카운터(212)는 현재 주기적 시간 간격의 종료 및 다음의 주기적 시간 간격의 시작에서 리셋될 수도 있다. 하지만, 필터 카운터(212)는 세기 카운터(210)보다 낮은 비트 해상도를 가지기 때문에, 필터 카운터(212)는 세기 카운터(210)보다 많이 빠른 레이트로 (최대값에서부터 최소값까지 또는 그 반대와 같이) 카운터 값을 또한 "롤 오버"한다. 따라서, 동일한 값을 통합할 경우, 필터 카운터(212)는 (n > 1 경우) 세기 카운터(210)가 카운터 값을 롤 오버할 때마다 카운터 값을 n번 롤 오버할 수도 있다.
카운터(210 및 212) 각각은 카운터 값을 증가 또는 감소시키는 임의의 적절한 구조를 나타낸다. 복수의 플립 플롭을 사용하는 것들과 같이, 카운터를 위한 다양한 설계가 당업계에 알려진다. 또한, 카운터(210 및 212) 각각은 임의의 적절한 해상도를 가질 수 있다. 예를 들어, 필터 카운터(212)는 3 비트 카운터 값을 출력할 수도 있지만, 반면에 세기 카운터(210)는 3 비트보다 많은 카운터 값을 출력할 수도 있다.
필터 카운터(212)의 출력은 래치(214)에 제공되며, 상기 래치는 필터 카운터(212)가 임계 값을 출력하는지 여부에 기초하여 신호를 생성한다. 예를 들어, 래치(214)는 필터 카운터(212)의 출력이 모두 "1"일 때, 높은 논리 신호(high logic signal)를 출력할 수 있고, 래치(214)는 필터 카운터(212)의 출력이 임의의 다른 값을 가질 때 래치(214)는 낮은 논리 신호(low logic signal)를 출력할 수 있다. 이러한 예에서, 따라서 (필터 카운터(212)가 최소 카운터 값을 출력할 때마다 시그널링하는 것과 같은) 다른 접근법이 사용될 수 있음에도 불구하고, 래치(214)는 필터 카운터(212)가 최대 카운터 값을 출력할 시간을 식별한다. 래치(214)는 카운터 값이 디지털 비교기와 같이 특정된 값을 가지는 시간을 검출하기 위한 임의의 적합한 구조를 포함한다.
필터 카운터(212)는 세기 카운터(210)보다 더 낮은 비트 해상도를 갖으며, 필터 카운터(212)는 이벤트가 극히 짧더라도, 밝은 세기 이벤트가 발생할 시간을 식별하기 위해 사용된다. 예를 들어, 주기적인 시간 간격의 작은 부분 동안 이벤트가 발생하고, 시간 간격의 나머지 동안 조도가 거의 없거나 없을 경우에, 세기 카운터(210)는 시간 간격의 전체 길이에 걸쳐 세기를 효율적으로 평균 낼 수 있을 것이고, 이벤트에 대한 대부분 또는 모든 정보를 잃을 수 있다. 필터 카운터(212)는 더 낮은 비트 해상도를 가지기 때문에, 필터 카운터(212)는 이벤트 동안 한 번 이상 임계 값에 도달할 수도 있다. 따라서, 래치(214)는 (이벤트가 시간 간격보다 상당히 짧고, 세기 카운터(210)의 출력을 사용하여 인식할 수 없을지라도) 이벤트가 발생하였다는 것을 나타내는 필터 카운터(212)에 의해 임계 값이 도달되었음을 한 번 이상 나타낼 수 있다.
도 2에 도시된 바와 같이, 검출기(200)는 세기 값을 포함하는 신호(216)를 출력하며, 상기 세기 값은 상기 세기 카운터(210)에 의해 생성된 카운터 값들을 나타낼 수 있다. 검출기(200)는 또한 픽셀 이벤트 표시자 신호(218)를 출력하며, 상기 픽셀 이벤트 표시자 신호는 래치(214)에 의해 생성되고, 래치(214)가 필터 카운터(212)로부터 임계 값을 검출하는 시간을 나타낸다. 검출기(200)는 비교기(208)에 의해 출력되는 값을 포함하는 잔여 신호(220)를 선택적으로 출력할 수 있다.
검출기(200)의 이러한 구성 요소의 예시적인 동작은 도 3에 도시된다. 도 3은 본 개시에 따른 픽셀 기반 이벤트 검출기(200)의 동작과 연관된 예시적인 타이밍도(timing diagram)(300)을 도시한다. 도 3에서, vIntegration 전압(302)은 픽셀(202)에 의해 커패시터(204)에 저장된 전압을 나타낸다. 글로벌 시간 기준 신호(304) 및 글로벌 시간 카운터 값(306)이 또한 여기서 도시된다. 글로벌 시간 기준 신호(304)는 검출기(200)에 대한 주파수 기준을 정의하며, 글로벌 시간 기준 신호(304)에서의 펄스는 반복하는 시간 간격을 정의한다. 글로벌 시간 카운터 값(306)은 이러한 시간 간격의 카운트(count)를 나타낸다.
카운터 값(308)은 필터 카운터(212)로부터의 출력을 포함하며, 신호(310)는 (픽셀 이벤트 표시자 신호(218)로) 래치(214)로부터의 출력을 포함하며, 카운터 값(312)은 신호(216) 내 세기 카운터(210)로부터의 출력을 포함한다. 이러한 값은 도 3에 도시된 vIntegration 전압(302)을 처리할 때 생성된다. 커패시터(204)상의 vIntegration 전압(302)은, 이러한 특정 예에서, 커패시터(204)에서 전압을 리셋하기 위해 스위치(206)가 비교기(208)에 의해 폐쇄된 것을 가리키는, 최대값까지 증가할 수 있다. 세기 카운터(210)는 vIntegration 전압(302)이 최대값을 칠 때마다 카운터 값(312)을 증가시킨다. 필터 카운터(212)는 vIntegration 전압(302)이 최대값을 칠 때마다 카운터 값(308)을 유사하게 증가시킨다. 하지만, (더 낮은 비트 해상도를 가지는) 필터 카운터(212)는 세기 카운터(210)보다 더 자주 카운터 값(308)을 "롤 오버"할 수 있고, (시간 간격 각각에서) 글로벌 시간 기준 신호(304)로 각각의 펄스에서 리셋되고, 반면에 필터 카운터(212)는 상이한 프레임 간격 동안에만 리셋될 수 있다.
도 3에서 시간 간격(314) 동안, 밝은 이벤트가 발생하지 않는다. 결과로서, 세기 카운터(210)는 글로벌 시간 기준 신호(304)의 각각의 기간 동안 단일 카운터 값(312)을 출력한다. 또한, 필터 카운터(212)는 임계 값에 이르기에 충분한 수의 값을 카운트하지 않으므로, 래치(214)는 출력 신호(310)에서의 값을 변경하지 않는다.
시간 간격(316)동안, 밝은 이벤트가 발생한다. 이는 커패시터(204)가 최대 충전에 이르게 하고, 더 빠르게 방전하게 한다. 세기 카운터(210)는 이러한 시간 간격들(316) 동안 반복적으로 카운터 값(312)을 증가시키지만, 세기 카운터(210)가 더 높은 수의 비트를 갖기 때문에 롤 오버하지 않는다(물론, 이벤트가 시작될 때 카운터 값(312)에 따라 한번 롤 오버할 수 있다). 대조적으로, 필터 카운터(212)는 이러한 시간 간격(316) 동안 반복적으로 카운터 값(308)을 증가시키고, 필터 카운터(212)는 더 낮은 수의 비트를 가지기 때문에, 복수번 롤 오버한다. 이러한 예에서, 래치(214)는 필터 카운터(212)가 "111"의 값에 이를 때마다 출력 신호(310)를 높게 펄스하며(pulses), 이는 시간 간격(316) 동안 두 번 발생한다.
시간 간격(318) 동안, 밝은 이벤트는 발생하지 않는다. 결과적으로, 세기 카운터(210)는 글로벌 시간 기준 신호(304)의 각각의 기간 동안 단일 카운터 값(312)을 출력한다. 또한, 필터 카운터(212)는 임계 값에 이르기에 충분한 수의 값을 카운트하지 않으므로, 래치(214)는 출력 신호(310)에서의 값을 변경하지 않는다.
도 3에서 알 수 있는 바와 같이, 짧은 시간의 크기 내에서 발생할지라도, 필터 카운터(212) 및 래치(214)는 세기 증가를 식별하도록 동작한다. 세기 카운터(210)의 출력(즉, 카운터 값(312))은 이벤트가 발생한 것을 적절하게 나타낼 수 없다. 그렇게 했다고 하더라도, 정보는 세기 카운터(210)의 불량한 시간 해상도(poor temporal resolution)로 인해 손실될 수 있다. 예를 들어, 도 3에서의 세기 카운터(210)의 출력은 커패시터(204)가 6 개의 시간 간격에 걸쳐 최대 충전에 21번 이르는 것을 거의 나타낸다. 시스템(100)에서 밝은 이벤트로 등록하지 않을 수 있으며, 이러한 경우에, 시스템(100)은 세기가 시간의 일부 동안 빠르게 증가한 것을 검출하지 못할 것이다.
필터 카운터(212)가 세기 카운터(210)보다 더 낮은 해상도를 갖기 때문에, 밝은 이벤트는 필터 카운터(212)가 출력 신호(310)를 펄스하는 임계 값에 반복적으로 도달하게 한다. 필터 카운터(212)의 출력 신호(310)는, 밝은 이벤트가 단일 프레임 간격보다 더 신속하게 발생할지라도, 밝은 이벤트에 대한 표시자로 사용될 수 있다. 또한, 출력 신호(310)에서의 펄스는, 이벤트가 2 개의 이미지 프레임 사이에서 발생한 시간에 관한 시간적 정보를 제공할 수 있다.
도 2를 참조하면, 거짓 경보(false alarm)를 감소시키기 위해, 검출기(200)는 이웃 픽셀 필터 및 이벤트 플래그 생성기(222)를 포함한다. 이웃 픽셀 필터 및 이벤트 플래그 생성기(222)는 검출기(200)의 래치(214)로부터 픽셀 이벤트 표시자 신호(pixel event indictor signal)(218)를 수신할 뿐만 아니라, 하나 이상의 이웃 검출기로부터 하나 이상의 픽셀 이벤트 표시자 신호(224)를 수신한다. 이웃 픽셀 필터 및 이벤트 플래그 생성기(222)는 이웃 검출기가 검출기(200)와 동일한 이벤트를 검출하였는지 여부를 결정하고, 그럴 경우에, 이벤트 표시자 신호(226)로 펄스를 생성한다. 결과로서, 적절한 수의 검출기(200)가 동일한 이벤트를 검출할 경우, 실제 이벤트는 식별될 수 있을 뿐이다. 단일 검출기에서의 조도 내 랜덤 변동(random fluctuation) 또는 단일 검출기 내의 결함(fault)은 이벤트 표시자를 트리거하지(trigger) 않을 수 있다.
이웃 픽셀 필터 및 이벤트 플래그 생성기(222)는, 단일 이웃, 이웃의 서브세트, 또는 모든 이웃으로부터와 같이 임의의 적절한 이웃 검출기로부터 픽셀 이벤트 표시자 신호(224)를 수신할 수 있다. 일부 실시예에서, 각각의 검출기(200)에서 이웃 픽셀 필터 및 이벤트 플래그 생성기(222)는, 검출기(200)의 바로 위, 바로 아래, 바로 오른쪽, 바로 왼쪽에 있는 이웃 검출기와 같은 직교(orthogonal) 이웃 검출기로부터 픽셀 이벤트 표시자 신호(224)를 수신한다. 하지만, 검출기(200)의 다른 연관도(associations) 또한 사용될 수 있다. 이웃 픽셀 필터 및 이벤트 플래그 생성기(222)는 복수의 검출기가 이벤트를 식별하는지를 결정하기 위한 임의의 적절한 구조를 포함한다. 특정 예로서, 이웃 픽셀 필터 및 이벤트 플래그 생성기(222)는, 모든 입력이 이벤트가 검출되었음을 나타내는 경우에만 특정 논리 값을 출력하도록 배치되어 구성된 하나 이상의 AND 게이트를 사용하여 구현될 수 있다.
이웃 필터링을 가지는 복수의 검출기(200)가 이미저에서 사용될 수 있는 방법의 예가 도 4에 도시된다. 도 4는 본 개시에 따른 픽셀 기반 이벤트 검출기(200)의 예시적인 사용을 도시한다. 도 4는 본 개시에 따른 픽셀 기반 이벤트 검출기(200)의 예시적인 사용을 도시한다. 도 4에 도시된 바와 같이, 포커싱 시스템(102)은 초점면 어레이(104)의 일부(402) 상에 밝은 이벤트로부터의 광을 포커스한다(focuses). 원(404)은 밝은 이벤트로부터의 광이 초점면 어레이(104)에 이르는 것을 나타내고, 스타(star)(406)는 초점면 어레이(104)에 포커스되는 장면 내에서 밝은 이벤트의 실제 위치를 나타낸다. 여기에서 볼 수 있는 바와 같이, 원(404)은 상기 이벤트로부터 밝은 조도의 광학(optical) "블루밍(blooming)"으로 인한 실제 이벤트보다 훨씬 크다.
도 4에서 다양한 다이아몬드(408)는 검출기(200)의 연결(linkages)을 나타내기 위해 사용된다. 이는 각각의 검출기(200) 내 이웃 픽셀 필터 및 이벤트 플래그 생성기(222)가 (초점면 어레이(104)의 에지를 따라 배치되는 검출기를 제외한) 4 개의 직교 위치 이웃 검출기(orthogonally-positioned neighboring detectors)로부터 픽셀 이벤트 표시자 신호(224)를 수신하도록 구성된다는 것을 의미한다. 또한, 이는 각각의 검출기(200)가 (초점면 어레이(104)의 에지를 따라 배치되는 검출기를 제외한) 4 개의 직교 위치 이웃 검출기에 픽셀 이벤트 표시자 신호(218)를 제공한다는 것을 의미한다.
이벤트 표시자 신호(226) 내 펄스가 생성되기 전에 검출기(200)에 의해 또한 검출된 이벤트를 검출하기 위해, 각각의 검출기(200) 내 이웃 픽셀 필터 및 이벤트 플래그 생성기(222)가 4 개의 직교 검출기(200) 모두를 필요로 한다고 가정한다. 이러한 구성에서, 초점면 어레이(104)에서의 픽셀의 오직 작은 서브세트(410)로부터 이벤트 표시자 신호(226)에서 펄스가 생성될 수 있다. 도 4에 도시된 예에서, 초점면 어레이(104)의 부분(402) 내 90 개의 픽셀 중에서 4 개의 픽셀만이 이벤트 표시자 신호(226)에서 펄스를 생성한다.
따라서, 검출기(200)는 매우 빠른 방식으로 동작하여, 매우 작은 기간(durations)을 갖는 경우에도 밝은 이벤트를 검출할 수 있다. 검출기(200)는 또한 초점면 어레이(104)의 프레임 레이트보다 훨씬 더 높은 주파수에서 동작할 수 있다. 이는 (보통보다 높은 프레임 레이트가 초점면 어레이(104)로 계속 사용될 수 있음에도 불구하고) 검출기(200)가 증가된 프레임 레이트의 사용을 필요로 하지 않고 이벤트의 표시를 제공하게 한다. 특정 예로서, 초점면 어레이(104)가 60 헤르츠의 프레임 레이트로 이미지를 캡처하는 동안, 검출기(200)는 하나 또는 복수의 킬로헤르츠(kilo-Hertz)의 주파수에서 동작할 수 있다. 또한, "이웃(neighbor)" 필터링을 지원함으로써, 부정확한 검출기 동작 또는 결함 검출기(faulty detectors)로 인해 거짓 경보를 억제할 수 있는 능력을 제공하는 동안, 밝은 이벤트와 연관된 실제 영역은 매우 빠르게 식별될 수 있다. 효과적으로, 검출기(200)는 세기 측정을 허용하는 주파수 판별기(discriminators)이며, 전체 구조는 로컬 영역 억제(inhibition) 및 이웃 필터링을 통해 제한된 이벤트 보고(reporting) 둘 모두에 대한 대량 병렬 픽셀 기반 이벤트 검출(massively parallel pixel-based event detection)을 지원한다.
이벤트가 검출될 때, 임의의 적절한 정보는 처리 시스템(106) 또는 검출기(200)로부터의 정보를 사용하는 다른 시스템에 의해 유도될 수 있다. 예를 들어, 처리 시스템(106) 또는 다른 시스템은 초점면 어레이(104) 내의 검출 픽셀들의 X-Y 좌표, 검출된 이벤트의 중심 위치, 픽셀로부터 측정된 세기, 및 이벤트에 대한 타임스탬프(또는 이러한 정보의 임의의 서브세트)를 식별하기 위해 검출기(200)로부터 이벤트 표시자 신호(226)을 사용할 수 있다. 이러한 정보는 디스플레이(108)에 정보를 제시하는데 사용될 수 있으며, 조기 경보 표시자(early warning indicator)(110)를 트리거하거나, 다른 기능을 수행한다.
이러한 검출기 기능은 복수의 애플리케이션에서의 사용을 알 수 있다. 예를 들어, 이러한 기능은 군대 또는 다른 개인에 대해 다가오는 적대적 발사에 대한 조기 경보 표시자를 제공하는데 사용될 수 있다. 특정 예로서, 로켓 추진탄의 발사는 광에 대한 2번의 플래시를 통상적으로 포함하며, 이는 로켓 추진탄이 튜브로부터 발사될 때의 한번 및 로켓 추진탄의 추진체(propellant)가 점화할(ignites) 때 한번이다. 처리 시스템(106)은 복수의 플래시가 빠른 연속으로 초점면 어레이(104)에 의해 검출되는 시간을 결정할 수 있고, 파일럿(pilot) 또는 다른 개인에 대한 조기 경보 표시자(110)를 트리거할 수 있다. 탄에 대한 이동(travel) 방향은 또한 검출된 플래시를 이용하여 추정될 수 있다. 검출기(200)로부터의 데이터를 이용하여 발생할 수 있는 다른 처리 동작은, 무기 발사로부터 총구 플래시를 검출하거나, 객체로부터 반짝임이나 다른 반사에 기초하여 객체를 추적하는 것을 포함한다.
다른 예로서, 처리 시스템(106) 또는 다른 시스템은, 검출기(200)의 래치(214)로부터의 출력을 사용하여, 검출기(200)의 세기 카운터(210)에 의해 측정된 세기에서 검출기(200)의 필터 카운터(212)에 의해 측정된 세기를 감산할 수 있다. 이는 전체 장면과 관련된 세기 측정에서 빠른 밝은 이벤트와 관련된 세기 측정을 효과적으로 제거하며, 이는 플래시, 반짝임,또는 장면의 이미징을 방해할 수도 있는 다른 조도(illumination)를 억제하는데 도움을 줄 수 있다. 제3 예로서, 관심의 객체로부터 반짝임 또는 다른 반사가 객체를 추적하기 위해 검출되고 사용될 수 있다. 복수의 다른 기능은 이벤트의 세기, 이벤트의 위치, 또는 이벤트의 타이밍에 관한 지식과 같이, 빠른 밝은 이벤트에 대한 지식(knowledge)을 기초로 발생할 수도 있다.
도 2가 픽셀 기반 이벤트 검출기(200)의 일 예를 도시하고, 도 3 및 4가 검출기(200)의 사용에 관한 예시적인 상세 설명을 도시함에도 불구하고, 다양한 변경이 도2 내지 4에 대해 이루어질 수 있다. 예를 들어, 도 2에서의 다양한 구성 요소는 결합될 수 있고, 더 세분될 수 있고, 재배치될 수 있거나, 또는 생략될 수 있고, 추가적인 구성 요소는 특정 필요에 따라 추가될 수 있다. 또한, 도 3은 카운터(210 및 212)가 하나만큼(by one) 카운터 값을 증가시키고, 카운터(212)의 출력이 "111"인 경우 래치(214)가 펄스를 트리거한다고 가정한다. 그러나, 카운터(210 및 212)는 세기를 통합하기 위한 임의의 적절한 증가 또는 감소 동작을 수행할 수 있으며, 래치(214)는 카운터(212)로부터 임의의 적절한 임계 값을 검출하도록 구성될 수 있다. 또한, 다른 유형의 픽셀 이벤트 표시자 필터링이 사용될 수도 있음에도 불구하고, 도 4는 이웃 픽셀 필터 및 이벤트 플래그 생성기(222)가 4 개의 직교 이웃 검출기(200)로부터 픽셀 이벤트 표시자 신호(224)를 수신하도록 구성되는 것을 가정한다.
도 5는 본 개시에 따른 픽셀 기반 이벤트 검출을 위한 예시적인 방법(500)을 도시한다. 설명을 용이하게 하기 위해, 방법(500)은 도 1의 초점면 어레이(104)에서의 도 2의 검출기(200)에 의해 수행될 수 있고, 도 1의 처리 시스템(106)에 의해 수행될 수 있는 바와 같이 설명된다. 하지만, 방법(500)은 임의의 다른 적절한 장치로 사용될 수 있고, 임의의 다른 적절한 시스템에서 사용될 수 있음을 주의하라.
도 5에 도시된 바와 같이, 단계(502)에서 픽셀에 의해 감지된 조도에 기초하여 검출기의 커패시터에서 전압이 생성된다. 예를 들어, 이는 전기 신호를 생성하는 픽셀(202) 및 전압을 저장하는 커패시터(204)를 포함할 수 있다. 단계(504)에서 커패시터에 저장된 전압은 기준 전압과 비교된다. 예를 들어, 이는 커패시터(204)에 저장된 전압을 기준 전압과 비교하고, 비교에 기초하여 신호를 출력하는 비교기(208)를 포함할 수 있다. 신호는 커패시터(204)에 저장된 전압이 기준 전압보다 낮을 경우 하나의 값을 가질 수 있고, 커패시터(204)에 저장된 전압이 기준 전압보다 높은 경우 다른 하나의 값을 가질 수 있다. 일단 커패시터의 전압이 기준 레벨에 도달하면, 비교기(208)로부터의 신호는 커패시터(204)에서 전압을 리셋하기 위해 스위치(206)를 제어하기 위해 사용될 수 있다.
단계(506)에서, 세기 측정을 생성하기 위해, 비교 결과는 검출기의 제1 카운터를 이용하여 통합된다. 예를 들어, 이는 비교기(208)가 커패시터(204)에 저장된 전압이 기준 전압에 도달한다는 것을 표시할 때마다 카운터 값(312)을 증가시키거나 감소시키는 세기 카운터(210)를 포함할 수 있다. 세기 카운터(210)는 캡처되고 있는 각각의 이미지 프레임에 대해 한번과 같이 임의의 적절한 길이의 시간 이후에 리셋될 수 있다.
또한, 단계(508)에서 비교 결과는 제1 카운터보다 낮은 비트 해상도를 가지는, 검출기의 제2 카운터를 이용하여 통합된다. 예를 들어, 이는 비교기(208)가 커패시터(204)에 저장된 전압이 기준 전압에 도달할 때마다, 카운터 값(308)을 증가시키거나 감소시키는 필터 카운터(212)를 포함할 수 있다. 필터 카운터 (210)는 글로벌 시간 기준 신호(304)의 각각의 펄스 이후와 같이 임의의 적절한 길이의 시간 이후에 리셋될 수 있다. 일부 실시예에서, 필터 카운터(212)는 3 비트 카운터(three-bit counter)이고, 세기 카운터(210)는 3 비트 이상을 지원한다.
단계(512)에서, 하나 이상의 이웃 검출기가 동일한 시간에 또는 그 시간에 가깝도록 이벤트를 검출했는지 여부를 결정하는 것이 이루어진다. 예를 들어, 이는 하나 이상의 이웃 검출기(200)로부터 픽셀 이벤트 표시자 신호(224)에서 펄스가 수신되었는지를 결정하는 검출기(200) 내의 이웃 픽셀 필터 및 이벤트 플래그 생성기(222)를 포함한다. 전술한 바와 같이, 다른 실시예들이 사용될 수 있음에도 불구하고, 이웃 픽셀 필터 및 이벤트 플래그 생성기(222)는 4 개의 직교 이웃 검출기로부터 신호를 수신할 수 있다. 또한, 이웃 픽셀 필터 및 이벤트 플래그 생성기(222)는 이웃 검출기 중 하나, 일부, 또는 전부가 동일한 이벤트를 검출하였는지 여부를 확인하도록 구성될 수 있다.
적절한 수의 이웃 검출기(하나, 일부 또는 모두)가 동일한 이벤트를 검출하였을 경우에(단계(512)에서 YES), 단계(514)에서 이벤트 표시자가 생성된다. 예를 들어, 이는 이웃 픽셀 필터, 및 이벤트 표시자 신호(226)에서 펄스를 생성하는 이벤트 플래그 생성기(222)를 포함할 수 있다. 그렇지 않으면(단계(512)에서 NO), 단계(516)에서 픽셀 이벤트 표시자가 필터링되고(filtered) 무시된다(ignored).
단계(518)에서 검출기에 의해 생성된 데이터가 출력된다. 예를 들어, 이는 4 개의 직교 검출기 또는 다른 검출기와 같은 하나 이상의 이웃 검출기에 임의의 픽셀 이벤트 표시자를 제공하는 검출기(200)를 포함할 수 있다. 이는 또한 세기 측정 및 임의의 이벤트 표시자를 처리 시스템(106)에 제공하는 검출기(200)를 포함할 수 있다. 단계(520)에서, 데이터는 임의의 적합한 방식으로 처리되고 사용될 수 있다. 정확한 처리(processing)는 응용(application)에 따라 변할 수 있다. 전술한 바와 같이, 복수의 잠재적인 응용은 다가오는 적대적 발사 검출, 총구 플래시 검출, 또는 반짝임 또는 플래시 억제를 수행하는 것과 같은 이러한 검출 기술을 사용할 수 있다.
도 5는 픽셀 기반 이벤트 검출을 위한 방법(500)의 일 예를 도시함에도 불구하고, 도 5에 대해 다양한 변경이 이루어질 수 있다. 예를 들어, 도 5의 다양한 단계가 중첩될 수 있거나, 병렬로 발생할 수 있거나, 상이한 순서로 발생할 수 있거나, 또는 임의의 횟수로 발생할 수 있다. 특정 예로서, 도 5에서의 다양한 단계는 검출기(200)의 상이한 구성 요소를 이용하여 병렬로 발생할 수 있다.
일부 실시예에서, 본 특허 명세서에 설명된 다양한 기능은 컴퓨터 판독 가능 프로그램 코드로 형성되고, 컴퓨터 판독 가능 매체에서 구현되는 컴퓨터 프로그램에 의해 구현되거나 지원된다. "컴퓨터 판독 가능 프로그램 코드"라는 문구는, 소스 코드, 오브젝트 코드 및 실행 가능 코드를 포함하는 임의의 유형의 컴퓨터 코드를 포함한다. "컴퓨터 판독 가능 매체"라는 문구는 읽기 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 하드 디스크 드라이브, 컴팩트 디스크(CD), 디지털 비디오 디스크(DVD), 또는 임의의 다른 타입의 메모리와 같이 컴퓨터에 의해 액세스될 수 있는 임의의 유형의 매체를 포함한다. "비 일시적인(non-transitory)" 컴퓨터 판독 가능 매체는 일시적인 전기 또는 다른 신호를 전송하는 유선, 무선, 광학 또는 다른 통신 링크를 배제한다. 비 일시적인 컴퓨터 판독 가능 매체는 데이터가 영구적으로 저장될 수 있는 매체, 및 재기록 가능 광 디스크 또는 삭제 가능 메모리 장치와 같이 데이터가 저장되고 이후 덮어쓰기(overwritten) 가능한 매체를 포함한다.
본 특허 명세서 전체에 걸쳐 사용되는 특정 단어 및 문구에 대한 정의를 제시하는 것은 바람직할 수 있다. "애플리케이션(application)" 및 "프로그램"이라는 용어는 하나 이상의 컴퓨터 프로그램, 소프트웨어 컴포넌트, 명령어의 세트, 프로시저, 함수, 객체, 클래스, 인스턴스(instances) 및 관련된 데이터, 또는 (소스 코드, 객체 코드, 또는 실행 가능 코드를 포함하는) 적절한 컴퓨터 코드로의 구현으로 적응되는 그 일부분을 지칭한다. "통신(communicate)"이라는 용어뿐만 아니라, 그 파생어는 직접 및 간접 통신 모두를 포함한다. "포함(include)" 및 "구성(comprise)"이라는 용어뿐만 아니라, 그 파생어는 제한 없이 포함을 의미한다. "또는"이라는 용어는 "및/또는(and/or)"을 의미하는 모든 것을 포함한다(inclusive). "연관(associated with)")"이라는 용어뿐만 아니라 그 파생어는 포함하거나, 내부에 포함되거나, 서로 연결하거나, 함유하거나, 내포하거나, 연결하거나, 커플링하거나(couple to or with), 전달할 수 있거나, 협력하거나, 상호 배치하거나(interleave), 병치하거나(juxtapose), 근접하거나(proximate), 묶여 있거나(be bound to or with), 가지거나, 소유권을 가지거나, 관계를 가지는 등을 의미할 수 있다. 항목의 리스트로 사용될 때 "적어도 하나"라는 문구는 열거된 항목 중 하나 이상의 상이한 조합이 사용될 수 있다는 것을 의미하고, 리스트에서 하나의 항목만 필요할 수도 있다는 것을 의미한다. 예를 들어, "A, B 및 C 중 적어도 하나"는 A, B, C, A 및 B, A 및 C, B 및 C, A 및 B 및 C와 같은 임의의 조합을 포함한다.
이러한 특허 명세서의 설명은 임의의 특정 요소, 단계 또는 기능이 청구 범위에 포함되어야 하는 필수 또는 중요 요소인 것을 암시하는 것으로 해석해서는 안된다. 또한, 어떠한 청구항도, 기능을 식별하는 분사 구문이 따르는 특정 청구항에 "수단(means for)" 또는 "단계(step for)"가 명시적으로 사용되는 것을 제외하면, 첨부된 청구항 또는 청구항 구성 요소 중 어느 하나에 대해 35 U.S.C. § 112(f)를 적용하려고(invoke) 의도된 것은 아니다. 청구항 내 (제한되는 것은 아니지만) "메커니즘(mechanism)", "모듈(module)", "장치(device)", "유닛(unit)", "컴포넌트(component)" "요소(element)", "구성(member)", "장치(apparatus)", "머신(machine)", "시스템(system)", "프로세서(processor)", "처리 장치(processing device)" 또는 "제어기(controller)"와 같은 용어의 사용은, 청구항 자체의 특징에 의해 더 수정되거나 향상된 관련 기술 분야의 당업자에게 알려진 구조를 지칭하는 것으로 이해되고 의도되며, 35 U.S.C. § 112(f)를 적용하려고(invoke) 의도된 것은 아니다.
본 개시가 특정 실시예 및 일반적으로 연관된 방법을 설명하였지만, 이러한 실시예 및 방법의 변경 및 치환은 당업자에게 명백할 것이다. 따라서, 예시적인 실시예의 상기 설명은 본 개시를 정의하거나 제한하지 않는다. 다음의 청구항에 의해 정의된 바와 같이, 본 개시의 사상 및 범위를 벗어나지 않으면서 다른 변경, 대체 및 개량이 또한 가능하다.

Claims (20)

  1. 이미징 시스템의 픽셀에서 수신된 조도(illumination)에 기초하여 세기 값(intensity value)을 생성하는 단계 - 상기 세기 값은 제1 시간 주기(period of time) 동안 검출기의 제1 카운터를 이용하여 값을 통합(integration)함으로써 생성됨 - ;
    상기 검출기의 제2 카운터를 이용하여 상기 제1 시간 주기 이내로 더 작은 제2 시간 주기 동안 반복적으로(repeatedly) 값을 통합하는 단계 - 상기 제2 카운터는 상기 제1 카운터보다 낮은 비트 해상도를 가짐 - ;
    상기 제2 시간 주기 각각에 대해 상기 제2 카운터를 리셋하는 단계; 및
    특정 값(specified value)을 출력하는 상기 제2 카운터에 응답하여 픽셀 이벤트 표시자(indicator)를 생성하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    하나 이상의 이웃(neighboring) 검출기가 하나 이상의 픽셀 이벤트 표시자를 또한(also) 생성하였는지 여부를 결정하는 단계; 및
    상기 하나 이상의 이웃 검출기가 상기 하나 이상의 픽셀 이벤트 표시자를 또한 생성하였을 경우, 이벤트 표시자를 생성하는 단계
    를 더 포함하는 방법.
  3. 제2항에 있어서,
    상기 하나 이상의 이웃 검출기는,
    상기 검출기에 대해 직교(orthogonal)하는 4 개의 이웃 검출기
    를 포함하는 방법.
  4. 제1항에 있어서,
    복수의 제1 시간 주기 동안 세기 값을 반복적으로 생성하는 단계;
    상기 제1 시간 주기 각각 이내로 더 작은 제2 시간 주기 동안 상기 값을 반복적으로 통합하는 단계; 및
    상기 특정 값을 출력하는 상기 제2 카운터에 대한 복수의 경우에 응답하여 복수의 픽셀 이벤트 표시자를 생성하는 단계
    를 더 포함하는 방법.
  5. 제4항에 있어서,
    상기 픽셀 이벤트 표시자는,
    상기 세기 값보다 높은 시간 해상도(temporal resolution)에서 생성되는,
    방법.
  6. 제1항에 있어서,
    상기 픽셀에서 수신된 상기 조도에 기초하여 커패시터를 반복적으로 충전하고 방전시키는 단계; 및
    상기 커패시터에 저장된 전압을 기준 전압과 비교하여 비교 결과를 생성하는 단계
    를 더 포함하고,
    상기 통합된 값은 상기 비교 결과를 포함하는,
    방법.
  7. 제1항에 있어서,
    상기 제2 카운터는,
    상기 제1 및 상기 제2 카운터가 동일한 값을 통합하는 동안, 상기 제1 카운터에 의해 출력된 카운터 값보다 더 빈번하게(frequently) 롤 오버하는(roll over) 카운터 값을 출력하는,
    방법.
  8. 픽셀에서 수신된 조도의 세기를 측정하고, 상기 수신된 조도를 이용하여 이벤트를 검출하도록 구성된 검출기
    를 포함하고,
    상기 검출기는,
    제1 시간 주기 동안 값을 통합함으로써, 상기 픽셀에서 수신된 상기 조도에 기초하여 세기 값을 생성하도록 구성된 제1 카운터;
    상기 제1 시간 주기 이내로 더 작은 제2 시간 주기 동안 반복적으로 상기 값을 통합하도록 구성된 제2 카운터 - 상기 제2 카운터는 상기 제1 카운터보다 낮은 비트 해상도를 가지고 상기 제2 시간 주기 각각에 대해 리셋되도록 구성됨 - ; 및
    특정 값을 출력하는 상기 제2 카운터에 응답하여 픽셀 이벤트 표시자를 생성하도록 구성된 래치(latch)
    를 포함하는,
    장치.
  9. 제8항에 있어서,
    상기 검출기는,
    필터를 포함하고,
    상기 필터는,
    하나 이상의 이웃 검출기가 하나 이상의 픽셀 이벤트 표시자를 또한 생성하였는지 여부를 결정하는 단계; 및
    상기 하나 이상의 이웃 검출기가 상기 하나 이상의 픽셀 이벤트 표시자를 또한 생성하였을 경우, 이벤트 표시자를 생성하는 단계
    를 수행하도록 구성된,
    장치.
  10. 제8항에 있어서,
    제1 카운터는,
    복수의 제1 시간 주기 동안 세기 값을 반복적으로 생성하도록 구성되고,
    제2 카운터는,
    상기 제1 시간 주기 각각 이내로 더 작은 제2 시간 주기 동안 상기 값을 반복적으로 통합하도록 구성되고,
    상기 래치는,
    상기 특정 값을 출력하는 상기 제2 카운터에 대한 복수의 경우(instance)에 응답하여 복수의 픽셀 이벤트 표시자를 생성하도록 구성되는,
    장치.
  11. 제8항에 있어서,
    상기 픽셀에 의해 생성된 전기 에너지를 저장하도록 구성된 커패시터;
    상기 커패시터를 방전시키기 위해 선택적으로 폐쇄(close)되도록 구성된 스위치; 및
    상기 커패시터에 저장된 전압을 기준 전압과 비교하여 비교 결과를 생성하도록 구성된 비교기
    를 더 포함하고,
    상기 통합된 값은,
    상기 비교 결과를 포함하는,
    장치.
  12. 복수의 픽셀을 포함하는 초점면(focal plane) 어레이; 및
    상기 픽셀 중 적어도 일부 각각에 대해, 픽셀에서 수신된 조도의 세기를 측정하고, 상기 수신된 조도를 이용하여 이벤트를 검출하도록 구성된 검출기
    를 포함하고,
    각각의 상기 검출기는,
    제1 시간 주기 동안 값을 통합함으로써, 상기 픽셀에서 수신된 상기 조도에 기초하여 세기 값을 생성하도록 구성된 제1 카운터;
    상기 제1 시간 주기 이내로 더 작은 제2 시간 주기 동안 반복적으로 상기 값을 통합하도록 구성된 제2 카운터 - 상기 제2 카운터는 상기 제1 카운터보다 낮은 비트 해상도를 가지고 상기 제2 시간 주기 각각에 대해 리셋되도록 구성됨 - ; 및
    특정 값을 출력하는 상기 제2 카운터에 응답하여 픽셀 이벤트 표시자를 생성하도록 구성된 래치
    를 포함하는,
    시스템.
  13. 제12항에 있어서,
    상기 각각의 검출기는,
    필터를 포함하고,
    상기 필터는,
    하나 이상의 이웃 검출기가 하나 이상의 픽셀 이벤트 표시자를 또한 생성하였는지 여부를 결정하는 단계; 및
    상기 하나 이상의 이웃 검출기가 상기 하나 이상의 픽셀 이벤트 표시자를 또한 생성하였을 경우, 이벤트 표시자를 생성하는 단계
    를 수행하도록 구성된,
    시스템.
  14. 제12항에 있어서,
    상기 각각의 검출기에서,
    상기 제1 카운터는,
    복수의 제1 시간 주기 동안 세기 값을 반복적으로 생성하도록 구성되고,
    상기 제2 카운터는,
    상기 제1 시간 주기 각각 이내로 더 작은 제2 시간 주기 동안 상기 값을 반복적으로 통합하도록 구성되고,
    상기 래치는,
    상기 특정 값을 출력하는 상기 제2 카운터에 대한 복수의 경우에 응답하여 복수의 픽셀 이벤트 표시자를 생성하도록 구성되는,
    시스템.
  15. 제12항에 있어서,
    상기 각각의 검출기는,
    상기 픽셀에 의해 생성된 전기 에너지를 저장하도록 구성된 커패시터;
    상기 커패시터를 방전시키기 위해 선택적으로 폐쇄되도록 구성된 스위치; 및
    상기 커패시터에 저장된 전압을 기준 전압과 비교하여 비교 결과를 생성하도록 구성된 비교기
    를 더 포함하고,
    상기 통합된 값은,
    상기 비교 결과를 포함하는,
    시스템.
  16. 제12항에 있어서,
    상기 초점면 어레이로부터 정보를 수신하고 처리하도록 구성된 처리 시스템
    을 더 포함하는,
    시스템.
  17. 제16항에 있어서,
    상기 처리 시스템은,
    제1 레이트(rate)로 상기 초점면 어레이에 의해 캡처된 이미지를 수신하고 디스플레이하도록 구성되고,
    상기 제2 카운터 및 상기 검출기는,
    상기 제1 레이트보다 높은 제2 레이트로 동작하도록 구성되는,
    시스템.
  18. 제16항에 있어서,
    상기 처리 시스템은,
    검출된 이벤트에 응답하여 경고를 트리거하는 단계; 및
    상기 이벤트와 연관된 정보를 디스플레이하는 단계
    중 적어도 하나를 수행하도록 더 구성되는,
    시스템.
  19. 제16항에 있어서,
    상기 처리 시스템은,
    상기 검출된 이벤트에 기초하여 다가오는 적대적 발사(hostile fire)에 대한 경고를 트리거하는 단계; 및
    상기 검출된 이벤트에 기초하여 객체(object)를 추적하는 단계
    중 적어도 하나를 수행하도록 더 구성되는,
    시스템.
  20. 제16항에 있어서,
    상기 처리 시스템은,
    상기 제1 카운터에 의해 출력된 상기 세기 값에서 상기 제2 카운터에 의해 출력된 통합된 값을 감산(subtract)하여, 하나 이상의 이미지에서 반짝임(glint) 또는 플래시 억제(flash suppression)를 제공하도록 더 구성되는,
    시스템.

KR1020197016840A 2017-02-03 2017-10-06 추적, 적대적 발사 표시, 반짝임 억제, 및 다른 응용을 위한 픽셀 기반 이벤트 검출 KR102229306B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/424,509 2017-02-03
US15/424,509 US10242268B2 (en) 2017-02-03 2017-02-03 Pixel-based event detection for tracking, hostile fire indication, glint suppression, and other applications
PCT/US2017/055506 WO2018144076A1 (en) 2017-02-03 2017-10-06 Pixel-based event detection for tracking, hostile fire indication, glint suppression, and other applications

Publications (2)

Publication Number Publication Date
KR20190085960A KR20190085960A (ko) 2019-07-19
KR102229306B1 true KR102229306B1 (ko) 2021-03-17

Family

ID=60201659

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197016840A KR102229306B1 (ko) 2017-02-03 2017-10-06 추적, 적대적 발사 표시, 반짝임 억제, 및 다른 응용을 위한 픽셀 기반 이벤트 검출

Country Status (7)

Country Link
US (2) US10242268B2 (ko)
EP (1) EP3577892B1 (ko)
JP (1) JP6785978B2 (ko)
KR (1) KR102229306B1 (ko)
CN (1) CN110249616B (ko)
IL (1) IL266449B (ko)
WO (1) WO2018144076A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10540733B2 (en) * 2017-11-16 2020-01-21 The Boeing Company Frameless random-access image sensing
EP3921666A1 (en) * 2019-02-04 2021-12-15 Copious Imaging LLC Computational pixel imager with in-pixel histogram acquisition
ES2981443T3 (es) 2019-04-25 2024-10-08 Beijing Ruisizhixin Tech Co Ltd Sensor de visión delta
IT201900007225A1 (it) * 2019-05-24 2020-11-24 Fond Bruno Kessler Sensore di immagine a stato solido con fotomoltiplicatore distribuito ad elevata risoluzione spaziale
US11588987B2 (en) * 2019-10-02 2023-02-21 Sensors Unlimited, Inc. Neuromorphic vision with frame-rate imaging for target detection and tracking
US11467964B1 (en) * 2020-03-09 2022-10-11 Marvell Asia Pte Ltd Mergeable counter system and method
US11379370B1 (en) 2020-04-08 2022-07-05 Marvell Asia Pte Ltd System and methods for reducing global coherence unit snoop filter lookup via local memories
EP3930312B8 (en) 2020-06-26 2023-10-25 Alpsentek GmbH Delta image sensor with digital pixel storage
WO2022010456A1 (en) * 2020-07-06 2022-01-13 Hewlett-Packard Development Company, L.P. Event-based thermal camera system
BE1028950B9 (nl) * 2020-12-23 2023-10-09 Voxelsensors Srl Buurtgebonden geschakelde pixel-sensor
JP2024504569A (ja) 2020-12-23 2024-02-01 ボクセルセンサーズ エスアールエル 近隣ゲートによってスイッチする画素センサ
US11496701B2 (en) 2021-03-29 2022-11-08 Raytheon Company Digital pixel comparator with bloom transistor frontend
US11894670B2 (en) 2021-09-21 2024-02-06 Raytheon Company High-energy suppression for infrared imagers or other imaging devices
US11843355B2 (en) 2022-02-04 2023-12-12 Raytheon Company High-energy suppression for capacitor transimpedance amplifier (CTIA)-based imagers or other imaging devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070125951A1 (en) * 2005-11-08 2007-06-07 General Atomics Apparatus and methods for use in flash detection
US20100208986A1 (en) * 2009-02-18 2010-08-19 Wesley Kenneth Cobb Adaptive update of background pixel thresholds using sudden illumination change detection
US20100231562A1 (en) * 2006-06-12 2010-09-16 Christopher James Brown Combined image sensor and display device
US20150036005A1 (en) * 2013-07-31 2015-02-05 Michael W. Kelly Methods and apparatus for true high dynamic range imaging

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5585942A (en) * 1991-06-20 1996-12-17 Canon Kabushiki Kaisha Image pickup apparatus
US5200623A (en) 1991-12-04 1993-04-06 Grumman Aerospace Corp. Dual integration circuit
US6618117B2 (en) * 1997-07-12 2003-09-09 Silverbrook Research Pty Ltd Image sensing apparatus including a microcontroller
US7289154B2 (en) * 2000-05-10 2007-10-30 Eastman Kodak Company Digital image processing method and apparatus for brightness adjustment of digital images
JP2001333328A (ja) * 2000-05-18 2001-11-30 Sony Corp 撮像装置及び露光制御方法
US7349574B1 (en) * 2002-10-11 2008-03-25 Sensata Technologies, Inc. System and method for processing non-linear image data from a digital imager
US8179296B2 (en) * 2005-09-30 2012-05-15 The Massachusetts Institute Of Technology Digital readout method and apparatus
US8354650B2 (en) * 2006-03-22 2013-01-15 Endicott Interconnect Technologies, Inc. Multi-window signal processing electronics architecture for photon counting with multi-element sensors
JP4998056B2 (ja) * 2006-05-11 2012-08-15 セイコーエプソン株式会社 撮像装置、撮像システム及び撮像方法
US20100226495A1 (en) * 2007-10-29 2010-09-09 Michael Kelly Digital readout method and apparatus
US7829860B2 (en) * 2006-10-31 2010-11-09 Dxray, Inc. Photon counting imaging detector system
US20080218616A1 (en) * 2007-03-08 2008-09-11 Nokia Corporation Method and apparatus for video acquisition
JP4996323B2 (ja) * 2007-04-27 2012-08-08 株式会社東芝 ２次元デジタルデータ取得素子およびホログラフィックストレージ装置
US7851764B2 (en) 2009-03-20 2010-12-14 Direct Electron, Lp Method of high-energy particle imaging by computing a difference between sampled pixel voltages
JP2010279016A (ja) * 2009-04-30 2010-12-09 Sony Corp 固体撮像素子とその駆動方法および撮像装置
CN101909157B (zh) * 2009-06-05 2012-09-05 比亚迪股份有限公司 在图像传感器中获得高动态范围图像的方法及图像传感器
JP2012010105A (ja) * 2010-06-24 2012-01-12 Sony Corp 画像処理装置、撮像装置、画像処理方法、およびプログラム
WO2012176101A2 (en) * 2011-06-21 2012-12-27 Koninklijke Philips Electronics N.V. Method for robust and fast presence detection with a sensor
WO2013006188A1 (en) * 2011-07-01 2013-01-10 Schultz Kenneth I Methods and apparatus for in-pixel filtering in focal plane arrays
JP5917071B2 (ja) * 2011-09-30 2016-05-11 株式会社東芝 放射線測定器
US9635287B2 (en) 2011-10-11 2017-04-25 Raytheon Company Method and apparatus for integrated sensor to provide higher resolution, lower frame rate and lower resolution, higher frame rate imagery simultaneously
CN102740009B (zh) * 2012-07-16 2014-10-22 中国科学院上海高等研究院 图像传感器及其像素读出方法
CN108391066B (zh) * 2012-10-05 2020-11-10 拉姆伯斯公司 集成电路图像传感器以及在其中操作的方法
US8946613B2 (en) * 2012-11-07 2015-02-03 Himax Imaging, Inc. Ultra low readout noise architecture having a pixel sensor with dual active pixel sensor pixel and dual ramp line
CN105706439B (zh) * 2013-09-16 2019-06-28 超龙凯姆公司 动态、单个光电二极管像素电路及其操作方法
US9407832B2 (en) * 2014-04-25 2016-08-02 Himax Imaging Limited Multi-exposure imaging system and method for eliminating rolling shutter flicker
JP6302350B2 (ja) * 2014-05-13 2018-03-28 日本放送協会 信号電荷のａ／ｄ変換回路、信号読み出し回路及び固体撮像素子

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070125951A1 (en) * 2005-11-08 2007-06-07 General Atomics Apparatus and methods for use in flash detection
US20100231562A1 (en) * 2006-06-12 2010-09-16 Christopher James Brown Combined image sensor and display device
US20100208986A1 (en) * 2009-02-18 2010-08-19 Wesley Kenneth Cobb Adaptive update of background pixel thresholds using sudden illumination change detection
US20150036005A1 (en) * 2013-07-31 2015-02-05 Michael W. Kelly Methods and apparatus for true high dynamic range imaging

Also Published As

Publication number Publication date
IL266449A (en) 2019-06-30
US10242268B2 (en) 2019-03-26
JP6785978B2 (ja) 2020-11-18
KR20190085960A (ko) 2019-07-19
JP2020507974A (ja) 2020-03-12
US20180225521A1 (en) 2018-08-09
US10839229B2 (en) 2020-11-17
CN110249616A (zh) 2019-09-17
CN110249616B (zh) 2021-09-14
EP3577892B1 (en) 2020-09-30
IL266449B (en) 2022-02-01
EP3577892A1 (en) 2019-12-11
WO2018144076A1 (en) 2018-08-09
US20190180113A1 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
KR102229306B1 (ko) 추적, 적대적 발사 표시, 반짝임 억제, 및 다른 응용을 위한 픽셀 기반 이벤트 검출
JP5518359B2 (ja) 煙検出装置
EP2582131B1 (en) Method and apparatus for integrated sensor to provide higher resolution, lower frame rate and lower resolution, higher frame rate imagery simultaneously
EP3418772A1 (en) Distance measuring device
JP4729610B2 (ja) 煙検出装置
KR20080043635A (ko) 동적 촬영 대역의 확장을 위한 이미지 센서 및 화소에수광된 광량을 측정하는 방법
CN101726357A (zh) 烟检测装置
US12022211B1 (en) Pixel collection circuit, optical flow sensor, and optical flow and image information collection system
JP7155478B2 (ja) フラッシュ防止回路アセンブリ及び画像センサ
US20120211665A1 (en) System and method for identifying non-cooperative pulsed radiation sources in a field-of-view of an imaging sensor
JP6735515B2 (ja) 固体撮像装置
US20230253932A1 (en) High-energy suppression for capacitor transimpedance amplifier (ctia)-based imagers or other imaging devices
AU2017340675B2 (en) Detector unit and a method for detecting an optical detection signal
US9258494B2 (en) Method and system for restricting applications for a focal plane array
US9759601B2 (en) Muzzle flash detection
TWI820354B (zh) 熱健康監測感測器
JP6688280B2 (ja) 宇宙粒子により生じた画像欠陥を是正する時間遅延積分画像キャプチャ方法
US20240357261A1 (en) Digital pixel architecture having low power, high dynamic range, and/or efficient pixel area utilization
US20240292123A1 (en) Pixel array with dynamic lateral and temporal resolution
EP4387219A1 (en) Vehicle window color fringe processing method and apparatus, storage medium, and electronic device
Yang et al. A spad array sensor based on breakdown pixel extraction architecture with background readout for scintillation detector
JP5063479B2 (ja) 不審物監視装置
Tacke Position Noise in Images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant