KR20200040697A - 자동차 안전 및 주행 시스템을 위한 셔터리스 원적외선(fir) 카메라 - Google Patents

자동차 안전 및 주행 시스템을 위한 셔터리스 원적외선(fir) 카메라 Download PDF

Info

Publication number
KR20200040697A
KR20200040697A KR1020197035072A KR20197035072A KR20200040697A KR 20200040697 A KR20200040697 A KR 20200040697A KR 1020197035072 A KR1020197035072 A KR 1020197035072A KR 20197035072 A KR20197035072 A KR 20197035072A KR 20200040697 A KR20200040697 A KR 20200040697A
Authority
KR
South Korea
Prior art keywords
fir
image
correction
shutterless
camera
Prior art date
Application number
KR1020197035072A
Other languages
English (en)
Other versions
KR102555362B1 (ko
Inventor
올레그 쿠이베다
에이얄 마다르
샤론 울만
아비 카트츠
Original Assignee
아다스카이, 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아다스카이, 엘티디. filed Critical 아다스카이, 엘티디.
Publication of KR20200040697A publication Critical patent/KR20200040697A/ko
Application granted granted Critical
Publication of KR102555362B1 publication Critical patent/KR102555362B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H04N5/23299—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G06K9/00805—
    • G06K9/00825—
    • G06K9/03—
    • G06K9/2018—
    • G06K9/4642—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/617—Noise processing, e.g. detecting, correcting, reducing or removing noise for reducing electromagnetic interference, e.g. clocking noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N5/243—
    • H04N5/3577—
    • H04N5/3651—
    • H04N5/367—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/108—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 'non-standard' camera systems, e.g. camera sensor used for additional purposes i.a. rain sensor, camera sensor split in multiple image areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Quality & Reliability (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Toxicology (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

고급 운전자 보조 시스템을 위한 셔터리스 원적외선(FIR) 카메라는 적어도 하나의 렌즈를 포함하는 적어도 하나의 광학 유닛; 상기 광학 유닛에 결합되고 FIR 이미지를 캡처하도록 구성된 FIR 센서; 및 향상된(enhanced) 열 비디오 스트림을 출력하기 위해 상기 캡처된 FIR 이미지를 처리하도록 구성된 집적 회로(IC)를 포함하고, 상기 IC는 처리 회로; 및 상기 처리 회로에 의해 실행될 때, 상기 처리 회로가 적어도 셔터리스 보정을 포함하는 이미지 보정을 수행하도록 구성하는 명령어를 포함하는 메모리를 더 포함한다.

Description

자동차 안전 및 주행 시스템을 위한 셔터리스 원적외선(FIR) 카메라
<관련 출원의 상호 참조>
본 출원은 2017년 6월 5일에 출원된 미국 가출원 제62/515,200호; 2017년 6월 29일에 출원된 미국 가출원 제62/526,733호; 2017년 8월 9일에 출원된 미국 가출원 제62/543,108호; 및 2017년 8월 31일에 출원된 미국 가출원 제62/552,620호의 이익을 주장한다. 상기 참조된 모든 출원은 본원에 참조로 포함된다.
<기술 분야>
본 발명은 일반적으로 자동차 안전 시스템, 보다 구체적으로 이러한 시스템에 의해 효율적으로 사용될 수 있는 셔터리스 원적외선(FIR, shutterless far-infrared) 카메라에 관한 것이다.
열 적외선(IR) 카메라는 7.5~14 마이크로미터 범위의 이미지 파장을 캡처한다. 일반적인 적외선 카메라는 적외선 센서 (또는 감지기)를 사용하여 카메라 렌즈를 통하여 센서로 유도된 적외선 에너지를 감지한다. IR 카메라는 수동 모션 감지(passive motion detection), 나이트 비전(night vision), 열 매핑(thermal mapping), 헬스 케어(health care), 빌딩 점검(building inspection), 감시(surveillance) 등을 포함하지만 이에 한정되지 않는 다양한 영상 응용 분야에 이용될 수 있다. 최근 IR 산업에서는 향상된 운전자 보조 시스템 및 자율 차량 시스템에 IR 카메라를 통합하려는 시도가 있다.
응용 및 그에 따른 카메라 유형은 적외선 스펙트럼에 따라 달라질 수 있다. 적외선 스펙트럼은 가시광선 범위를 벗어나며 0.75-1.0 마이크로미터(μm)의 파장을 갖는 근적외선 섹션(NIR); 1-3.0 마이크로미터(μm)의 파장을 갖는 단적외선 섹션(SWIR); 3.0-5.0μm의 파장을 갖는 중간 적외선 섹션(MIR); 및 7.0-14μm의 파장을 갖는 원적외선(FIR) 섹션으로 구성된다.
적외선 카메라의 하나의 유형은 소형 폼 팩터(form factor)를 포함하는 비냉각 원적외선(uncooled far-infrared) 센서이다. 상기 센서는 일반적으로 적은 비용의 기술을 사용하여 대량 생산된다. 일반적인 방식으로, 비냉각 센서는 적절한 동작을 위한 극저온 쿨러(cryocooler)를 필요로 하지 않지만, 빈번한 교정을 위하여 셔터를 필요로 한다. 셔터는 센서가 적외선 파장에 차단되거나 노출되도록 렌즈와 원적외선 센서의 사이에 배치된 기계적인 구성 요소이다. 일반적으로, 셔터는 납작한 날 모양의 플래그(flag), 슬리브(sleeve), 그리고 플래그에 슬리브를 연결하는 암(arm)을 포함한다. 상기 플래그는 사전 정의된 시간 간격으로 개방되거나 폐쇄된다.
셔터는 FFC(flat-field correction) 프로세스 중에 사용된다. FFC 프로세스에서, 상기 셔터는 FIR 센서에 균일한 온도 소스를 제공한다. 플랫 필드 소스(flat-field source)를 영상화하는 동안 상기 카메라는 오프셋 교정 계수를 업데이트하여 프로세스가 완료된 후 이미지가 더 균일하게 된다. FCC 프로세스의 지속 시간은 수백 밀리 초이며, 셔터가 다시 개방될 때, 그동안 FFC 프로세스가 종료될 때까지 시야를 차단하는 셔터 직전에 캡처된 이미지가 정지된다. 이 프로세스는 몇 분마다 발생해야 한다.
셔터의 사용은 FIR 센서로 캡처한 열 이미지의 품질과 정확도를 개선할 수 있으나 특정 응용 분야에서는 수백 밀리 초의 암흑 기간(black period)을 갖는 것이 허용되지 않는다. 예를 들어, 고급 운전자 보조 시스템 및 자율 차량 시스템에서의 셔터 기반의 원적외선 카메라 이용은 FFC 길이 동안 카메라를 자주 꺼야하므로 위험이 커질 수 있다. 또한, 셔터는 시간이 지남에 따라 마모되는 움직이는 부품을 포함한다. 이는 운행 중 카메라의 오동작을 야기하고, 카메라의 수명을 단축한다.
고급 운전자 보조 시스템 및 자율 차량 시스템을 위하여 설계된 FIR 카메라는 안정뿐만 아니라 다른 추가적인 제약 조건들을 만족시켜야 한다. 이러한 제약 조건은 소형 폼 팩터, 정확하고 낮은 대기 시간(latency)의 영상 처리, 및 저전력 소비를 포함한다. 따라서, 현재 이용 가능한 FIR 카메라, 특히 셔터-기반 FIR 카메라는 이러한 자동차 응용에 적합하지 않다.
그러므로 전술한 결함을 극복할 수 있는 고급 운전자 보조 시스템 및 자율 주행 차량 시스템을 위한 셔터리스 FIR 카메라를 제공하는 것이 유리할 것이다.
본 발명의 몇 가지 예시적인 실시예의 요약이 이어진다 이 요약은 독자의 편의를 위하여 그러한 실시예에 대한 기본적인 이해를 돕기 위하여 제공되며 본 개시의 폭을 완전히 정의하지 않는다. 이 요약은 고려되고 있는 모든 실시예에 대한 포괄적인 개요가 아니고, 모든 실시 예의 핵심 또는 중요 구성 요소를 식별하거나 임의의 또는 모든 실시 예의 범위를 설명하기 위한 것이 아니다. 그 유일한 목적은 후술하는 상세한 설명의 서두로서 단순화된 형식으로 제공된 적어도 하나의 실시예에 대한 일부 개념을 제시하는 것이다. 편의를 위하여, "몇몇 실시예" 또는 "특정 실시예"라는 용어는 본 발명의 하나의 실시예 또는 다수의 실시예를 지시하는 것으로 이용될 수 있다.
본 명세서에 개시된 특정 실시 예는 적어도 하나의 렌즈를 포함하는 적어도 하나의 광학 유닛; 상기 광학 유닛에 결합되고 FIR 이미지를 캡처하도록 구성된 FIR 센서; 및 향상된(enhanced) 열 비디오 스트림을 출력하기 위해 상기 캡처된 FIR 이미지를 처리하도록 구성된 집적 회로(IC)를 포함하고, 상기 IC는 처리 회로; 및 상기 처리 회로에 의해 실행될 때, 상기 처리 회로가 적어도 셔터리스 보정을 포함하는 이미지 보정을 수행하도록 구성하는 명령어를 포함하는 메모리를 더 포함하는 고급 운전자 보조 시스템을 위한 셔터리스 원적외선(FIR) 카메라를 포함한다.
본 명세서에 개시된 특정 실시 예는 또한 처리 회로; 및 상기 처리 회로에 의해 실행될 때, 상기 처리 회로가, 향상된 열 비디오 스트림을 출력하기 위해 상기 FIR 이미지에 적어도 셔터리스 보정을 포함하여, 이미지 보정을 수행하도록 구성하는 명령어를 포함하는 메모리를 포함하는, 셔터리스 원적외선(FIR) 카메라에 통합되고 FIR 이미지를 처리하도록 구성된 전자 회로를 포함한다.
본 명세서에 개시된 주제는 명세서의 결론에 있는 청구 범위에 의하여 지시되고, 뚜렷하게 청구된다. 개시된 실시예에 대한 전술한 그리고 다른 목적, 특징 및 장점은 첨부된 도면과 함께 제공되는 후술하는 상세한 설명을 통하여 명확해질 것이다.
도 1은 일 실시 예에 따라 구성된 FIR 카메라의 블록 다이어그램(block diagram)이다.
도 2는 일 실시 예에 따른 도 1의 FIR 카메라에 통합된 집적 회로(IC)의 블록 다이어그램이다.
도 3은 일 실시 예에 따른 도 2의 IC에 의해 수행되는 처리 작업의 파이프 라인을 도시한다.
도 4A 및 4B는 도 1의 FIR 카메라에 의해 출력된 열 화상 이미지이다.
도 5는 실시 예에 따라 설계된 FIR 카메라의 예시적인 폼 팩터이다.
도 6은 FIR 카메라를 자동차에 장착하기 위한 다양한 위치를 나타내는 개략도이다.
본 명세서에 개시된 실시예들은 혁신적으로 본 명세서의 혁신적인 교사의 수많은 유리한 사용 예 중 단지 예시적인 것임을 주목하는 것이 중요하다. 일반적으로, 본 발명의 명세서에 기재된 표현들은 다양한 청구 실시예 중 어느 것도 필연적으로 한정하지 않는다. 더욱이, 일부 표현들은 일부 발명 특성에 적용되고, 다른 것에는 적용되지 않을 수 있다. 일반적으로, 달리 지시되지 않는 한 일반성을 잃지 않는 범위 내에서 단일 요소들은 복수일 수 있고, 그 반대도 가능하다. 도면에서 동일한 참조 부호는 몇몇 장면에 걸쳐 동일한 부분을 나타낸다.
동작 중 카메라의 시야를 차단하는 셔터 또는 다른 이동부(moving part)를 포함하지 않는 원적외선(FIR) 카메라를 포함한다. 따라서, 상기 FIR 카메라는 셔터가 없는(shutter-less) 카메라이다. 일 실시예에서, 상기 FIR 카메라는 개선된 운전자 보조 시스템 및 자율 차량 시스템(이하, AVS 시스템으로 통칭)에서 동작하거나 통합되도록 최적화된다.
도 1은 실시 예에 따라 구현된 FIR 카메라(100)의 예시적인 블록 다이어그램이다. 상기 FIR 카메라(100)는 광학 유닛(110) 및 집적 회로(IC)(130)에 연결된 FIR 센서(120)를 포함한다. 상기 FIR 카메라(100)의 출력은 FIR 센서(120)에 의해 캡처되고 IC(130)에 의해 처리되는 열 이미지의 비디오 스트림(열 비디오 스트림)이다.
일 실시 예에서, 2개의 열 비디오 스트림이 FIR 카메라(100)에 의해 출력된다. 제1스트림(104)은 FIR 센서(120)에 의해 캡처되고 셔터리스 보정(shutterless correction) 및 이미지 개선을 위해 IC(130)에 의해 처리되는 열 이미지를 포함한다. 예시적인 실시 예에서, 제1 열 비디오 스트림(104)은 8-비트 그레이스케일 비디오 스트림이다. 제1 열 비디오 스트림(104)은 차량의 스크린 또는 대시 보드일 수 있는 디스플레이(140)에 공급된다. 다른 실시 예에서, 복수의(multiple) 열 비디오 스트림이 FIR 카메라에 의해 출력된다. 상기 출력 스트림은 비-FIR 센서, 예를 들어 가시 파장, CCD 또는 CMOS 센서로부터 수신된 이미지로부터의 결과를 포함할 수 있다.
제2 스트림(105)은 상기 FIR 센서(120)에 의해 캡처되고 적어도 셔터리스 보정을 위해 상기 IC(130)에 의해 처리되는 열 이미지를 포함한다. 예시적인 실시 예에서, 제2 열 비디오 스트림(105)은 14-비트 데이터 스트림이다. 제2 스트림(105)은 컴퓨터 비전 프로세싱(computer vision processing)을 위해 컴퓨터(150)에 공급된다. 구체적으로, 상기 컴퓨터(150)는 AVS 및 다른 자율 시스템 및 응용과 관련된 다양한 컴퓨터 비전 알고리즘을 실행하도록 구성될 수 있다. 상기 알고리즘은 도로상의 물체, 장애물 또는 위험의 검출을 포함할 수 있지만, 이에 제한되지는 않는다. 예를 들어, 상기 FIR 카메라(100)에 의해 출력된 처리된 열 비디오 스트림은 차량, 보행자, 동물, 2륜차, 블랙 아이스 스팟, 쓰레기, 잔해, 움푹 들어간 곳, 맨홀 덮개(gully cover), 연석(curb) 등의 검출에 이용될 수 있다. 일 실시 예에서, 상기 컴퓨터(150)는 온 보드(onboard) 차량 컴퓨터 또는 상기 차량(도시되지 않음)에 설치된 전용 컴퓨터일 수 있다. 일부 예시적인 실시 예들에서, 상기 컴퓨터는 클라우드 컴퓨팅 플랫폼(도시되지 않음)에서 동작 가능한 가상 또는 물리적 컴퓨팅 머신일 수 있다.
이하에서 논의되는 바와 같이, 일부 실시 예에 따르면, IC(130)에 의해 수행되는 처리는 도로상의 물체, 장애물 및 위험의 정확하고 빠른 검출을 허용하기 위해 캡처된 열 이미지의 품질을 향상시키도록 구성된다. IC(130)에 의한 상기 처리는 주간 및 야간 조명 조건 및 모든 날씨 조건에서 물체의 수동 감지(passive detection)를 보장한다. 이를 위해, 상기 IC(130)는 하나 이상의 이미지 처리 작업을 수행하도록 구성된다. 이러한 작업에는 셔터리스 보정, 선번(sunburn) 보호, 불량 픽셀 교체, 니어 필드(near field) 보정, 시간 노이즈 제거(temporal denoising), 공간 노이즈 제거, 에지 향상(edge enhancement), 자동 이득 제어(gain control), 로컬 대비, 향상 및 밝기 및 극성 조정이 포함되지만 이에 제한되지는 않는다. 일 실시 예에서, 이들 작업은 파이프 라인 방식으로 수행되어 일부 또는 모든 작업이 FIR 이미지(프레임)를 처리하기 위해 이용될 수 있으며, 따라서 낮은 지연(latency) 처리를 보장한다.
IC(130)에 의해 수행되는 중요한 이미지 처리 작업은 FIR 센서(120)에 의해 캡처된 FIR 이미지의 셔터리스 보정(shutterless correction)이다. 도 1에 도시된 바와 같이, 상기 FIR 카메라(100)는 어떠한 셔터(또는 셔터로 볼 수 있는 임의의 이동 부분)를 포함하지 않는다. 상기 IC(130)에 의해 실행되는 셔터리스 보정은 셔터없이 플랫 필드(flat-field) 보정을 수행할 수 있게 한다. 즉, 셔터리스 보정은 균일한 FIR 이미지를 허용한다.
상기 셔터리스 FIR 카메라(100)는 기계적으로 신뢰할 수 있고 AVS 시스템에 요구되는 안전 표준을 충족한다는 것을 이해해야 한다. 또한, 셔터를 사용하지 않으면 설계에 움직이는 부품(moving part)을 포함할 필요가 없기 때문에 작은 폼 팩터로 FIR 카메라(100)를 설계할 수 있다. 상기 FIR 카메라(100)의 예시적인 폼 팩터가 도 5에 도시되어 있다.
일 실시 예에서, 상기 광학 유닛(110)은 하나 이상의 렌즈 요소를 포함하고, 각각의 렌즈 요소는 미리 정해진 시야(FOV, field of view)를 갖는다. 일 실시 예에서, 상기 렌즈 요소는 칼코게나이드(chalcogenide)이다. 상기 렌즈는 보호 창(protective window)으로 보호될 수 있다(도 1에는 도시되지 않음). 또한, 상기 광학 유닛(110)의 결빙을 방지하기 위해, 가열 수단(도 1에 도시되지 않음)에 의해 덮일 수 있다. 상기 가열 수단은 와이어 또는 코일을 포함할 수 있다.
일 실시 예에서, 상기 FIR 카메라(100)는 복수의(multiple) 광학 유닛(110)을 포함할 수 있다. 각각의 광학 유닛(110)은 독립적으로 사용될 수 있거나 하나 이상의 다른 광학 유닛(110)과 함께 사용될 수 있다. 예를 들어, 단일 FIR 센서(120)는 둘 이상의 광학 유닛(110)에 연결될 수 있다. 또한, 일 실시 예에서, 복수의 FIR 센서(120)는 단일 IC(130)에 연결될 수 있다. 복수의 광학 유닛(110) 및/또는 복수의 FIR 센서(120)는 단일 광학 유닛(110) 또는 FIR 센서(120)가 달리 제공할 수 있는 것보다 더 높은 최종 해상도(resolution)로 결과 이미지를 캡처하고 생성하기 위해 함께 사용될 수 있다. 비제한적인 예로서, 2개의 VGA(640 픽셀 × 480 픽셀) 크기의 FIR 센서(120)는 단일 1280 픽셀 × 480 픽셀 FIR 이미지를 캡처하는데 사용될 수 있다. 상기 IC(130)는 2개의 인접한 이미지를 자동으로 스티칭(stitch)하도록 구성될 수 있고 여기에서 논의된 모든 보정을 최종 합성 이미지에 적용할 수 있다. 대안적으로, 각각의 개별 이미지는 먼저 보정된 다음 함께 스티칭될 수 있다. 다른 실시 예에서, 상기 이미지는 스티칭되지 않고, 디스플레이 또는 컴퓨터로 출력될 때 수평 또는 수직으로 연결된다. 또 다른 실시 예에서, 상기 복수의 광학 유닛(110) 또는 FIR 센서(120)는 스테레오 비전 응용을 위해 또는 장면(scene)의 다수의 시야각을 제공하기 위해 사용될 수 있다.
또 다른 실시 예에서, 복수의 이미지 스트림이 FIR 카메라(100)에 의해 수신되고 처리된다. 이러한 실시 예는 상이한 이미징 양식(modalities)을 포함하는 다수의 비디오 스트림의 융합, 예를 들어 가시 스펙트럼 이미지와의 FIR 이미지의 융합, 다양한 초점 길이를 갖는 FIR 이미지의 융합 등인 출력 스트림을 생성하는 것을 포함할 수 있다. 상기 융합된 출력 스트림을 생성하기 위해 임의의 수의 입력 스트림이 수신 및 처리될 수 있다.
상기 FIR 센서(120)는 비냉각(uncooled) FIR 센서이다. 즉, 상기 센서(120)는 7.0 ~ 14.0 μm의 파장을 갖는 FIR 스펙트럼에서 작동한다. 일 예에서, 상기 FIR 센서(120)는 캡처된 FIR 이미지 및 메타 데이터(metadata)를 입력하기 위해 제1버스(101)를 통해 IC(130)에 연결된다. 일 실시 예에서, 접합 온도 센서(온도 센서)(121)는 접합 온도(junction temperature)를 측정하기 위해 상기 FIR 센서(120)의 인클로저(enclosure)에 포함된다.
제어 버스(102)는 또한 상기 FIR 센서(120)와 상기 IC(130) 사이에 연결된다. 상기 버스(102)에서, 상기 센서(120)의 상태, 클록, 동기화 및 다른 디지털 제어 신호와 관련된 신호가 전송된다. 일 실시 예에서, 상기 버스(102)는 예를 들어 상기 FIR 센서(120)에서 현재 주변 온도를 나타내는 아날로그 신호를 전달할 수 있다. 대안적으로, 상기 아날로그 신호는 제어 버스(102)의 일부가 아닐 수 있다.
상기 IC(130)는 메모리, 처리 회로, 및 여기에 언급된 작업의 실행을 허용하는 다양한 회로 및 모듈을 포함한다. 상기 IC(130)의 상세한 블록 다이어그램이 도 2에 제공된다. 상기 IC(130)는 칩셋, SoC(system on a chip), FPGA(Field Programmable Gate Array), PLD(programmable logic device), ASIC(application specific integrated circuit) 또는 임의의 다른 유형의 디지털 및/또는 아날로그 하드웨어 구성요소로서 구현될 수 있다.
상기 IC(130), 따라서 FIR 카메라(100)는 교정(calibration), 파워-온-테스트(power-on-test), 기능(function) 및 대기(standby)의 4가지 모드로 동작한다. 교정 모드는 상기 IC(130)가 이전 교정 포인트에 기초하여 교정 프로세스를 실행하는 랩에서 수행된다. 상기 프로세스 동안, 상기 FIR 카메라(100)는 미리 정의된 온도에서 안정화되고 온도 안정성을 결정하기 위해 FPGA 및 주변 온도 모두가 FIR 센서(120)로부터 주기적으로 판독된다.
파워-온-테스트 모드에서, 상기 FIR 카메라(100)는 상기 IC(130)의 다양한 회로가 올바르게 동작하는지 여부를 파워-업하는 동안 검사한다. 여기에는 예를 들어 메모리, 로직 모니터, 디지털 및 아날로그 구성 요소에 대한 내부 자체 테스트(internal self-test) 수행이 포함된다. 기능 모드에서, 상기 IC(130)는 이미지 처리 작업을 수행하고 외부 시스템 및 구성 요소(예를 들어, 센서 및 컴퓨터)와 통신한다. 대기 모드에서는 이미지 처리가 수행되지 않고 외부 시스템 및 구성 요소와의 통신만 수행된다. 　차량이 움직이지 않을 때 대기 모드가 활성화될 수 있다.
상기 FIR 센서(120) 및 상기 IC(130)는 열 코어(thermal core) 내에 캡슐화된다. 상기 열 코어는 상기 FIR 카메라(100)의 균일한 온도를 보장하기 위해 사용된다. 상기 열 코어의 온도 보정은 교정 모드 중에 수행된다. 상기 광학 유닛(110)은 일반적으로 상기 FIR 센서(120) 및 IC(130)가 열 코어에 캡슐화된 후에 사기 FIR 카메라(100)에 조립된다.
도 2는 일 실시 예에 따라 설계된 상기 IC(130)의 예시적인 블록 다이어그램을 도시한다. 상기 IC(130)는 본 명세서에서 논의된 다양한 이미지 프로세싱 작업을 수행하도록 구성된 프로세싱 회로(210), 셔터리스 보정 프로세서(SLCP)(220) 및 이미지 향상 프로세서(IEP)(230)를 포함한다. 상기 IC(130)는 메모리(240) 및 온도 센서(260)를 더 포함한다.
상기 IC(130)는 멀티미디어 링크(202)를 통해 컴퓨터(140) 및 디스플레이(150)와 같은 외부 요소와 접속(interface)한다. 　예시적인 실시 예에서, 상기 미디어 링크는 기가비트 멀티미디어 직렬 링크(GMSL, gigabit multimedia serial link)이다. 전술한 바와 같이, 일 실시 예에서, 상기 IC(130)는 FIR 이미지의 2개의 열 비디오 스트림을 출력하도록 구성될 수 있다: 제1스트림(104)은 SLCP(220) 및 IEP(230)에 의해 처리되고 상기 디스플레이(140)에 입력되고, 제2스트림(105)는 SLCP(220)에 의해 처리되어 디스플레이(150)에 입력된다. 두 열 비디오 스트림은 멀티미디어 링크(202)를 통해 출력된다. 다른 실시 예에서, 단일 열 비디오 스트림이 컴퓨터(150)로 출력된다. 예를 들어, 특정 자율 차량 시스템은 디스플레이를 포함하지 않을 수 있고, 따라서 열 비디오 스트림으로부터 컴퓨터(150)로의 입력만을 필요로 한다.
일부 선택적 실시 예에서, 상기 IC(130)는 IEP(230)를 포함하지 않는다. 이러한 실시 예에서, 셔터리스 보정은 상기 SLCP(220)에 의해 수행되고, 상기 출력은 컴퓨터(140)에 공급된다. 상기 IEP(130)가 없는 상기 FIR 카메라(100)의 구성은 디스플레이가 필요하지 않을 수 있는 자율 주행 차량 시스템에서 이용될 수 있다.
실시 예에서, 상기 메모리(240)는 교정 테이블을 저장하도록 구성된다. 교정 테이블에는 랩에서 계산된 각 픽셀에 대한 다양한 교정 값이 포함된다. 상기　교정 값에는 상기 FIR 센서의 불규칙성을 극복하고 광범위한 주변 온도에서 IR 방사(IR radiation)에 대한 픽셀의 반응을 통합(unifying)하기 위해 두 온도 지점(T1, T2)에서 계산된 게인 및 오프셋(Gain and Offset )이 포함될 수 있다. 상기 교정 테이블은 또한 교정 프로세스 동안 각 온도 포인트에서 각 픽셀에 대해 결정된 드리프트 값(drift value)을 포함한다. 일 실시 예에서, 상기 테이블은 또한 상기 FIR 카메라(100)를 설정하기 위해 다양한 파라미터의 값을 저장한다.
상기 메모리(240)는 처리 회로(210), SLCP(220) 및 IEP(230)에 의해 실행될 컴퓨터 판독 가능 명령어를 더 저장할 수 있다. 상기 컴퓨터 판독 가능 명령어는 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 설명 언어 또는 다른 방식으로 지칭되는 모든 유형의 명령어를 의미하는 것으로 광범위하게 해석되어야 한다. 상기 명령어는 코드(예를 들어, 소스 코드 형식, 이진 코드 형식, 실행 가능한 코드 형식 또는 임의의 다른 적절한 코드 형식)를 포함할 수 있다. 상기 처리 회로(210), SLCP(220) 및/또는 IEP(230)에 의해 실행될 때 상기 명령어는 이들 프로세서로 하여금 본 명세서에 설명된 다양한 실시 예 및 작업을 수행하게 한다. 상기 메모리(240)는 휘발성(예를 들어, RAM 등), 비-휘발성(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다.
선택적 구성에서, 상기 카메라 IC(130)는 모션 감지 유닛(MDU)(250)을 포함한다. 상기 MDU(250)는 상기 FIR 카메라(100)(및 그에 따른 차량)가 움직이는지 여부를 결정하기 위해 이용되는 하나 이상의 가속도계를 포함한다. 상기 MDU(250)가 이용되지 않을 때, 모션 검출은 캡처된 이미지에 기초한다. 상기 SLCP(220) 및 IEP(230)에 모션 표시가 제공된다. 상기 온도 센서(260)는 FIR 카메라(100)의 인클로저 내부의 주변 온도를 측정한다.
처리 회로(210)는 IC(130)의 다양한 구성 요소들을 제어하도록 구성된다. 상기 회로(210)는 또한 상기 FIR 센서(120)의 전원을 켜고, 초기 교정 테이블을 업로드하고, 상기테이블의 파라미터 값에 기초하여 사기 FIR 센서(120) 및 SLCP(220) 및 IEP(230)를 설정하도록 구성된다. 일 실시 예에서, 상기 회로(210)는 상기 온도 센서(260)에 의해 측정된 온도를 주기적으로 샘플링하고, 상기 측정된 온도 범위에 대한 교정 값을 포함하는 교정 테이블 세트를 메모리(240)로부터 업로드 한다. 빠른 실행을 위해 상기 FIR 이미지를 처리하는 동안 일부 테이블을 백그라운드에 업로드할 수 있다.
일 실시 예에서, 상기 SLCP(220)는 적어도 셔터리스 픽셀-기반 및 장면-기반(scene-based) 보정을 수행하도록 구성된다. 상기 픽셀-기반 보정은 각 픽셀의 오프셋, 이득(gain) 및 드리프트를 보정한다. 일 실시 예에서, 픽셀의 오프셋 및 이득은 상기 온도 센서(121)(도 1)에 의해 측정될 때 각각의 온도와 일치하는 교정 테이블의 각각의 값에 기초하여 보정된다. 이 보정은 상기 센서의 불규칙성을 보완하고 광범위한 주변 온도에서 IR 방사에 대한 픽셀의 반응을 통합한다. 상기 드리프트 보정은 각 픽셀에 드리프트 보정을 추가하는 것을 포함한다. 구체적으로, 각각의 픽셀에 대한 보정은 각각의 픽셀에 대해 개별적으로 로드된 교정 테이블로부터 제공된 미리 정의된 드리프트 값(drift value)과 상기 FIR 센서에 의해 생성된 프레임으로부터 계산되는 감마 값(gamma value)의 곱을 뺀 것이다. 상기 미리 정의된 드리프트 값은 상기 FIR 센서(121)에서 현재 측정된 온도에 기초하여 테이블로부터 선택된다.
일부 실시 예에 따르면, 상기 드리프트 보정은 상기 FIR 센서를 출력하는 이미지에서 각 픽셀에 대한 온도 드리프트 보정에 기초한다. 이것은 상기 FIR 카메라 전체의 온도 값과 상기 FIR 센서 및 IC의 개별 온도 값이 작동 중에 이동하는 경우 필요할 수 있다.
상기 드리프트 보정은 상기 FIR 카메라(100)의 교정 단계 동안 기록된 드리프트 패턴을 사용하여 드리프트 계수 γ를 측정(estimating)하는 것에 기초할 수 있다. 일 실시 예에서, 상기 드리프트 계수 γ의 측정은 각각의 입력 이미지에 기초하여 작은 증분 업데이트(incremental update)로 반복적으로 수행되므로, 예를 들어 주변 온도 변화로 인한 임의의 잔류 노이즈 또는 새로운 노이즈가 각각의 후속 이미지로 검출되고 제거된다.
측정된 드리프트 계수 γ를 사용하여 입력 이미지의 주변 드리프트를 보정한다. 드리프트 보정 이미지(Iout)는 다음과 같이 나타낼 수 있다:
[수학식 1]
Figure pct00001
여기서 Iin은 입력 이미지(FIR 센서(120)에 의해 생성됨)이다; γ는 드리프트 계수이며, 이는 모든 픽셀에서 동일하다; 'D'는 픽셀마다 고유한 드리프트 패턴이다. 'O'는 오프셋 이득 패턴(offset gain pattern)이다; ‘G'는 픽셀 당 고유한 장면 이득 패턴 값(scene gain pattern value)이다; 여기서, D, O 및 G 값은 상기 FIR 센서(120)의 초기 교정 동안 결정된다.
일부 구성에서, 상기 이득 및 오프셋은 드리프트 보정 전에 보정되며, 이 경우 드리프트 계수 γ를 측정하기 위해 이러한 값이 필요하지 않다. 따라서 좀 더 일반화된 버전의 드리프트 보정 계산은 2-포인트 보정된 입력 이미지(2-points corrected input image)(I2pt), 드리프트 계수 및 보정의 드리프트 패턴을 사용하며 다음 방정식으로 나타낼 수 있다:
[수학식 2]
Figure pct00002
수학식 2에서,
Figure pct00003
는 드리프트 패턴(D)의 값을 이득 패턴(G)으로 나눈 값이다.
상기 보정에 사용된 드리프트 계수 γ는 초기 교정으로부터의 드리프트 패턴 및 고역 통과 필터(high pass filter)가 적용된 후 입력 이미지 내의 드리프트의 결과 패턴으로부터 도출된다.
상기 드리프트 계수(drift coefficient)에 대한 일반화된 방정식은 드리프트 패턴과 그것에 고역 통과 필터를 적용한 후의 입력 이미지 픽셀 값의 곱 및 상기 드리프트 패턴과 그것에 고역 통과 필터를 적용한 후의 드리프트 패턴의 곱의 몫이며, 다음의 방정식으로 표현된다:
[수학식 3]
Figure pct00004
여기서 H 1, H 2는 장면의 깨끗한 이미지와 드리프트 패턴 간의 상관관계를 최소화하도록 설계된 전처리 연산자(pre-processing operators)이다. 일반성의 손실 없이 이러한 연산자에는 고역 통과 필터링 및 마스킹이 포함될 수 있다. 일반성을 잃지 않고 그러한 작동의 예는 H 1= 식별자 맵(identity map) 및 H 2=고역 통과 필터일 수 있다.
수학식 3(식 3)에서, γ는 2개의 내부 곱(inner product)의 비(ratio)로 얻어진 스칼라 값이다. 따라서 그것은 이 단계의 모든 픽셀에 대해 하나의 값이다. 일 실시 예에서, 상기 스칼라 값은 식 3을 사용하여 이미지의 다른 세그먼트 및 보간 결과(interpolating result)에서 픽셀 당 (느리게 변하는) 값으로 변환될 수 있다. 이러한 실시 예에 대한 예는 아래에서 논의된다.
일 실시 예에서, 장면-기반 보정(scene-based correction)은 고정 노이즈 패턴을 제거하는 것을 포함한다. 이러한 패턴은 원본 이미지에서 저역 통과 평활화 이미지(low-pass smoothed image)를 뺀 후 처리된 FIR 이미지에 남아있는 고주파 신호로 인해 발생했다. 셔터리스 구현에서, 상기 생성된 장면은 균질하여 실제 장면으로부터의 에지(고주파 신호)가 획득된 노이즈 패턴에 나타나게 유도한다. 이로 인해 장면의 실제 에지(edge)가 실수로 노이즈로 분류될 수 있다. 이를 위해 상기 노이즈 패턴은 시간의 이미지 샘플과 공간의 균일한 영역에서 결정된다.
이하에서 상세히 설명되는 바와 같이, 상기 SLCP(220)는 셔터리스 보정 및 다른 이미지 향상 작업을 실행하기 위해 복수의 모듈을 구현한다. 　일 실시 예에서, 장면-기반 보정은 또한 "선번 효과"로 손상되는(suffer from) 픽셀을 보정하는 것을 포함한다. 이러한 효과는 상기 FIR 카메라를 노출 과다로 인해 노출된 픽셀을 깊은 포화(deep saturation)로 만드는 직사광(direct sun)에 노출시킴으로써 발생된다. 이 효과의 결과는 노출 시간에 따라 몇 분 또는 몇 주 동안 지속될 수 있는 고정 패턴 노이즈와 유사한 태양의 유령 발자국(ghost footprint)에 의해 특징 된다. 개시된 실시 예에 따르면, 상기 선번 보정은 또한 몇 초(예를 들어, 2-5초) 내에 이미지로부터 유령 발자국을 제거한다.
상기 SLCP(220)는 최소한 픽셀 기반 셔터리스 보정, 컬럼 노이즈 억제, 장면-기반 노이즈 제거 및 근거리 보정을 수행하도록 구현된다. 일 실시 예에서, 상기 SLCP(220)는 물체의 정확한 검출을 가능하게 하는 고품질 열 비디오 스트림(thermal video stream)을 제공하기 위해 추가의 이미지 처리 작업을 수행하도록 구성될 수 있다. 상기 이미지 처리 작업은 도 3에 도시된 바와 같이 다양한 모듈에 의해 파이프 라인 방식으로 수행된다.
상기 불량 픽셀 보정(BPC, bad pixel correction) 모듈(301)은 불량 픽셀 맵에서 설계된 픽셀들을 마스킹한다. 이러한 픽셀은 상기 FIR 센서 제조에 필요한 기본 품질 요구 사항을 충족하지 않는다. 상기 맵의 불량 픽셀은 제조에 의해서 또는 랩의 상기 FIR 센서에서 수행된 테스트 중에 식별할 수 있다. 상기 불량 픽셀 맵은 메모리(240)에 저장된다.
상기 선번 감지 모듈(302)은 선번으로부터 손상된 픽셀, 예를 들어 깊은 포화(deep saturation)에 노출된 픽셀을 검출한다. 일 실시 예에서, FIR 센서로부터 수신된 이미지는 상기 이미지의 각 픽셀과 관련된 캡처된 저항 값(resistive value)을 계산하고 미리 정의된 시간 기간 동안 픽셀의 값이 미리 결정된 선번 임계 값(PSTV, predetermined sunburn threshold value)을 초과하는지 여부를 결정함으로써 분석된다. 상기 PSTV는 태양이나 자동차의 높은 광선과 같은 밝은 광원으로 인한 선번 아티팩트(sunburn artifact)일 가능성이 있는 픽셀의 과포화를 나타내는 값이다. 다음 방정식을 사용하여 상기 결정을 생성할 수 있다:
[수학식 4]
Figure pct00005
여기서 Max는 픽셀의 최대 가능한 값을 나타내고 P는 픽셀의 현재 값을 나타내고 PSTV는 미리 결정된 임계 값이다. P가 사전 정의된 기간 동안 PSTV와 Max 값 사이에 있으면 선번 지정이 할당된다.
그것은 현재 픽셀의 인접(neighboring) 픽셀이 상기 PSTV를 초과하는 경우에 결정된다. 비제한적인 예에서, 픽셀 주위의 r x r 픽셀 정사각형(r by r pixel square)이 분석된다(여기서 r은 1보다 큰 정수 수집이다(an integer gather than 1)). 상기 픽셀 자체가 상기 PSTV와 동일하거나 그 이하인 경우에도, 임의의 r x r 인접 픽셀이 상기 PSTV를 초과하고 미리 결정된 시간의 주기 동안 최대(max) 값보다 낮은 경우, 현재 픽셀에는 선번 지정이 할당된다. 이렇게 하면 햇볕에 의한 인공물(artifact caused by a sunburn)로 판단되는 더 큰 영역 내에 위치한 단일 픽셀이 여전히 선번 픽셀로 취급된다. 이 방법은 선번 인공물이 인접 픽셀과 높은 상관관계가 있는 지역화된 패턴으로 나타나기 때문에 선번 픽셀을 식별하는 데 효과적이다. 따라서, 충분한 시간주기에 걸쳐 측정될 때, 상기 인접 픽셀의 값은 선번 인공물의 존재를 나타낼 수 있다. 이는 고정 패턴 노이즈와 같이 이미지에 도입된 다른 원치 않는 인공물과 대조적으로, 이미지 내에서 임의의 위치에 나타나고 주변 픽셀과의 상관관계가 낮다.
일 실시 예에서, P = Max 인 경우, 평가된 픽셀이 현재 밝은 광원에 노출되는 것으로 결정된다. 상기 이미지 내에 밝은 빛이 존재하는 것으로 판단되므로 상기 장면이 올바르게 표시되므로 즉시 보정할 필요가 없다. 오히려, 픽셀의 값이 추적되고 그 값이 미리 결정된 시간의 주기 동안 상기 PSTV를 초과할 때, 보정이 트리거된다.
미리 결정된 시간의 주기 동안 주변 픽셀 중 어느 것도 PSTV를 초과하는 것으로 판정되지 않으면, 상기 픽셀은 비선번(non-sunburn) 지정으로 할당된다. 상기 전체 이미지가 평가될 때까지 프로세스가 계속된다. 상기 픽셀 매트릭스 내에 분석될 추가 픽셀이 있는지 여부가 결정될 수 있다.
상기 PBSC(pixel-based shutterless correction) 모듈(303)은 전술한 바와 같이 각 픽셀에 대한 오프셋, 이득 및 드리프트 값의 보정을 수행한다. 상기 CNS(column noise suppression) 모듈(304)은 상기 FIR 센서에 의한 상기 FIR 이미지 캡처에서 고정 패턴 컬럼 노이즈(fixed pattern column noise)를 억제한다. 상기 BPC(bad pixel correction) 모듈(305)은 가장 근접한 인접 픽셀의 픽셀 사전 정의된 수(예를 들어, 8)에 기초하여 최적의 보간(interpolation)을 사용하여 각각의 불량 픽셀을 근사치를 냄으로써(by approximating) 불량 픽셀을 보정하려고 시도한다.
상기 NFC(near field correction)(306)은 카메라 케이스 및 렌즈의 반사와 같은 다양한 물리적 효과에 의해 장면 이미지상에 중첩된 원하지 않는 패턴을 보정한다. 이러한 패턴은 교정 모드에서 모델링된다. 동작 모드 동안, 상기 NFC 모듈(306)은 상기 패턴과 입력 이미지 사이에서 베스트 핏(best fit)을 식별하고 그에 따라 이미지로부터 패턴을 감산(subtracts)한다. 상기 NFC 모듈(306)은 2개의 이러한 패턴을 독립적으로 또는 선형 조합으로 처리한다. 필요한 패턴 이미지 및 파라미터는 전원이 공급될 때 처리 회로(210)에 의해 제공되고 필요할 때 업데이트된다.
SBNR(scene-based noise removal) 모듈(307)은 위에서 논의된 셔터리스 장면 기반 및 선번 보정 작업을 수행한다. 적절한 셔터리스 동작을 위해서는 상기 모듈(307)이 필요하다.
장면 기반의 불균일 보정을 수행하기 위해, 상기 SLCP(220)는 노이즈 패턴을 학습 또는 달리 측정하기 위해 스무드 영역(smooth region)을 검출하고, (상기 노이즈 측정은 움직임 동안에만 수행되기 때문에) 상기 FIR 카메라(따라서 차량)가 움직이는 중인지 검출하고, 그리고 일부 영역은 모션 중에도 프레임에서 프레임으로 변경되지 않으므로 변경되는 영역을 감지한다. 일부 개시된 실시 예들에 따르면, 특정 시간(D t )에서 이미지 내의 잔여 불균일도(residual nonuniformity) 측정치는 다음과 같이 표현될 수 있다:
[수학식 5]
Figure pct00006
여기서, D t 는 시간 t에서 측정된 노이즈이고, D t -1 은 시간 t-1에서 이전에 측정된 노이즈이고, D curr 은 현재 캡처된 이미지로부터 측정된 노이즈이고, α는 0에서 1 사이의 스칼라 값을 갖는 학습율(learning rate)이다. 시간 t=0에서, 값은 D t 는 0이다. D t , D t -1 및 D curr 은 'm' x 'n' 픽셀을 포함하는 이미지의 경우 'm' x 'n' 크기의 행렬이다. 일 실시 예에서, 이미지 내의 각 픽셀의 노이즈가 계산되고, 따라서 각 픽셀에는 노이즈 값이 할당된다.
예시적인 실시 예에서, 값 D curr 은 다음과 같이 표현될 수 있다:
[수학식 6]
Figure pct00007
[수학식 7]
Figure pct00008
여기서 HI d 는 이미지의 고주파수(high frequency) 표현을 나타낸다. HI d 는 시간 t-1에서 현재 입력 이미지 I와 측정된 노이즈 D t -1 사이의 차이 이미지(diffidence image) I d 에 고역 통과 필터를 적용함으로써 결정될 수 있다. 일 실시 예에서, I h = HI d 는 I d 에 고역 통과 필터를 적용함으로써 계산된다. I d 의 계산은 상기 이미지의 모든 픽셀에 대해 수행된다. 일 실시 예에서, 불량(bad) 및 포화(saturated) 픽셀은 마스크 M에 픽셀을 포함시킴으로써 계산에서 제외된다. 여기서, 매트릭스 M은 마스킹, 즉 현재 이미지에 존재하는 잔여 불균일도의 계산에 포함되도록 지정된 상기 이미지의 픽셀을 나타낸다. 예시적인 실시 예에서, 상기 마스크 매트릭스 M은 4개의 상이한 마스크의 조합에 기초한다. 이러한 실시 예에서, M은 다음과 같이 표현될 수 있다:
[수학식 8]
Figure pct00009
여기서 M sat 는 과포화(over-saturated) 픽셀이 없는 마스크이다, M b 는 "불량 픽셀"을 제외한 것으로 간주되는 픽셀을 포함하는 마스크이다, M edge 는 에지를 제외한 마스크이다, M t 는 시간적 변화가 없는 영역이 제외된 마스크이다. M sat , M b , M edge , M t 는 모두 행렬이다. 일 실시 예에서, M은 포함 픽셀(included pixel)을 나타내는 1 및 제외 픽셀(excluded pixel)을 나타내는 0을 갖는 이진 마스크(binary mask)이다.
이미지를 분석하여 식별된 과포화 및 '불량' 픽셀을 나타내는 M sat 및 M b 는 장면-기반 불균일 보정(scene-based nonuniformity correction)을 계산하는데 사용된 이미지 영역에서 제거된다. '불량 픽셀'은 이미지 내에 결함이 있다고 알려진 이미지 내의 픽셀이다. 이 픽셀들은 이미지에 마스크 M b 를 적용하여 계산에서 제거된다. 반대로 M edge 및 M t 는 제거해야(be dropped) 하는 "라이브(live)" 픽셀을 제외한다. 그들은 에지가 너무 강하거나 충분히 역동적이지 않은 영역에서 나오기(come from) 때문이다.
매트릭스 M edge 는 픽셀을 인접(neighboring) 픽셀과 비교하여, 예를 들어 픽셀 주위에 q x q (여기서 q는 1보다 큰 정수 수집이다) 매트릭스를 생성하고 픽셀 값에 상당한 갭이 있는지를 결정함으로써 계산된다.
행렬 M t 는 두 이미지 사이에 변화가 있는 영역을 나타낸다. 예를 들어, 제1이미지에서 먼 산(distant mountain)의 낮은 대비(contrast) 묘사가 제2이미지에 대해 정지 상태(stationary)로 유지되면, 상기 대응하는 픽셀은 상기 이미지 내 변화를 나타내지 않기 때문에 계산에서 제외시키기 위해 마스킹된다. 그러나 상기 프레임의 전경(foreground) 내에서 움직이는 물체가 제1이미지와 제2이미지 사이에서 위치를 변경하면, 이들 픽셀은 마스킹되지 않으므로, 이미지 내의 변화로부터 노이즈를 계산할 수 있다.
h-플립 모듈(308)은 수신된 센서 이미지의 수평 플립(horizontal flip)을 구현한다. 일 실시 예에서, 상기 모듈(308)은 픽셀 값을 최소값과 최대값 사이에서 클리핑(clip)하도록 추가로 구성된다. 이 값은 미리 구성되어 있다.
시간 노이즈 제거 모듈(time denoise module)(309)은 적외선 비디오의 시간 노이즈 제거 프로세스를 수행하도록 구성된다. 상기 FIR 센서로부터 얻은 비디오에는 화이트 노이즈, 솔트 및 페퍼 노이즈(가끔 깜박임) 및 행/컬럼 노이즈와 같은 다양한 유형의 시간 노이즈가 포함된다. 일 실시 예에서, 상기 모듈(309)은 적응 임계값을 갖는 IIR 필터 및 깜빡임 방지(anti-flickering) 메커니즘에 의해 실현된다. 상기 시간 노이즈 제거 모듈(309)은 프레임에서 프레임으로의 픽셀 값의 변화를 측정된 노이즈 분산(noise variance)과 비교하여, 이러한 값이 노이즈에 의해 유발되는지 또는 풍경의 실제 변화에 의해 유발되는지를 결정한다. 상기 비교에 기초하여, 신호 대 노이즈 비가 결정된다.
공간 노이즈 제거 모듈(310)은 공간 노이즈를 노이즈 제거하도록 구성된다. 이러한 노이즈는 내부 전자 노이즈, 온도 변동으로 인한 픽셀 이득 및 오프셋 및 드리프트의 오류로 인해 발생한다. 　실시 예에서, 상기 모듈(310)은 각각의 노이즈 픽셀을 인접 픽셀의 가중 평균(weighted average)으로 대체한다. 일 실시 예에서, 미리 정의된 그레이 레벨 임계값에 더 가까운 그레이 레벨을 갖는 픽셀만이 교체된다.
특정 구성에서, 기술된 일부 모듈만이 처리의 일부로서 요구된다는 점에 유의해야 한다. 다양한 파라미터들, 맵들 및 교정 값들은 메모리(240)에 저장된 다양한 모듈들 및 프로세스들을 동작시키기 위해 요구되지 않으며 단지 단순성을 위해 여기에 도시되지 않았다.
예시적인 실시 예에서, 상기 공간 노이즈 제거 모듈(310)의 출력은 컴퓨터(140)(도 1) 및 IEP(230)에 공급되는 14-비트 그레이스케일 비디오 스트림(grayscale video stream)이다.
도 2로 돌아가면, 상기 IEP(230)는 14-비트 스트림을 처리하여 사람이 볼 수 있는 향상된 열 비디오 스트림을 생성한다. 일 실시 예에서, 상기 IEP(230)는 14-비트 스트림을 스크린 상에 효율적으로 디스플레이될 수 있는 고품질 8-비트 스트림으로 변환한다.
일 실시 예에서, 상기 IEP(230)는 이미지 향상 프로세스를 수행하는 도 3에 도시된 모듈을 포함한다. 제1모듈은 에지 보존 및 노이즈 감소 필터에 이용되는 양방향 필터(bilateral filter)(311)이다. 자동 이득 제어(AGC) 모듈(312)은 그레이 레벨 범위로부터 비어있는 빈(empty bin)의 영향을 감소시키도록 구성된다. 즉, 상기 모듈(312)은 본질적으로 정보를 잃지 않고 상기 이미지에서 가장 낮은 그레이 레벨과 가장 높은 그레이 레벨 사이의 거리를 최소로 감소시킨다. 다이내믹 레인지 감소(dynamic range reduction)로 상기 이미지 히스토그램을 최대한 늘릴수 있다.
로컬 대조 향상(LCE, local contrast enhancement) 모듈(313)은 CLAHE(Contrast Limited Adaptive Histogram Equalization)를 위한 프로세스를 수행한다. 이미지 처리에서, 대비 제한 적응 히스토그램 평활화(CLAHE)는 이미지의 로컬 대비(local contrast)를 개선하는데 사용되는 기술이다. 적응 히스토그램 평활화(adaptive histogram equalization)는 로컬(인근) 그레이 스케일 분포에 기초하여 각 픽셀에 대한 매핑을 찾기 위해 수행된다.
일 실시 예에서, 상기 LCE 모듈(313)은 훨씬 더 차단 효과를 감소시키기 위해 상기 이미지를 중첩 블록(overlapping block )으로 분할하도록 구성된다. 경우에 따라, 그레이 스케일 분포가 고도로 로컬화된 경우, 전체 히스토그램 평활화로 매우 낮은 대비의 이미지를 변환하는 것이 바람직하지 않을 수 있다. 그러한 경우에, 맵핑 곡선은 높은 경사를 갖는 세그먼트를 포함할 수 있으며, 이는 2개의 매우 가까운 그레이 스케일이 상당히 다른 그레이 스케일로 맵핑될 수 있음을 의미한다. 이것은 히스토그램 평활화를 통해 허용되는 대비를 제한함으로써 해결된다.
마지막 이미지 프로세싱 향상 모듈은 PB(polarity-and-brightness) 모듈(314)이다. 일 실시 예에서, 상기 모듈(314)은 화이트-핫 픽셀과 블랙-핫 픽셀 사이에서 변화하고 미리 정의된 오프셋에 의해 이미지 픽셀의 밝기를 조정한다.
도 3에 도시된 다양한 모듈의 처리는 상기 FIR 센서(120)에 의해 입력된 적외선 이미지에 대해 수행된다는 점에 유의해야 한다. 결과 이미지는 여전히 적외선 이미지이다(본 명세서에서 "FIR 이미지"라고 함). 따라서, 상기 처리는 이미지의 특성을 변경하지 않고(예를 들어, 적외선에서 가시광선 스펙트럼 이미지로) 오히려 적외선 이미지의 품질을 향상시킨다.
도 2를 다시 참조하면, 일 실시 예에서, 상기 처리 회로(210)는 단일 코어 또는 다중 코어 CPU일 수 있다. 상기 SLCP(220) 및 IEP(230) 각각은 하나 이상의 하드웨어 로직 구성 요소 및 회로로서 실현될 수 있다. 예를 들어, 제한 없이, 사용될 수 있는 예시적인 유형의 하드웨어 로직 구성 요소는 FPGA, ASIC, ASSP, SOC, 범용 마이크로 프로세서, 마이크로컨트롤러, DSP, GPU 등, 또는 정보의 계산 또는 기타 조작을 수행할 수 있는 임의의 다른 하드웨어 로직 구성 요소를 포함한다.
위에서 언급한 바와 같이, 상기 출력 열 비디오 스트림은 장면에서 물체, 장애물 및 위험을 검출하기 위해 처리 및 분석될 수 있다. 다음은 몇 가지 예이다:
도 4A는 자동차(도시되지 않음)에 설치된 상기 FIR 카메라(100)에 의해 출력된 밤에 캡처된 열 이미지(400)의 예를 도시한다. 상기 이미지(410)의 분석은 도로를 건너는 동물(410)의 검출을 허용한다.
도 4B는 자동차(도시되지 않음)에 설치된 상기 FIR 카메라(100)에 의해 출력된 비오는 밤에 캡처된 열 이미지(420)의 예를 도시한다. 상기 FIR 이미지의 분석은 도로 위를 걷는 보행자(430)의 검출을 허용한다.
도 5는 셔터리스 FIR 카메라(100)의 예시적인 실시 예를 도시한다. 일 실시 예에서, 상기 셔터리스 FIR 카메라(100)는 "C" 사이즈 배터리에 필적하는 크기를 갖는 실린더 형상이다. 예시적인 실시 예에서, 카메라의 직경은 25.4mm이고 셔터리스 카메라의 길이는 12mm이다. 상기 FIR 카메라(100)의 소형 폼 팩터는 차량의 전체 외관을 변화시키지 않는 차량에서 다양한 눈에 띄지 않는 위치에 카메라를 설치할 수 있게 한다.
도 6은 상기 FIR 카메라를 자동차에 장착하기 위한 다양한 위치를 나타내는 개략도이다. 예시적인 실시 예에서, 상기 셔터리스 FIR 카메라(100)는 차량(600)의 사이드 미러(610) 둘 중 하나 또는 모두, 그릴 가드(도시되지 않음), 프론트 범퍼(620), 백 범퍼(630), 자동차의 상단(640), 후드(650), 헤드 라이트(660) 및 안테나(예를 들어, 도시되지 않은 무선 위성 안테나)에 장착될 수 있다. 차단되지 않은 시야를 제공하는 다른 위치도 적용 가능아다.
일 실시 예에서, 복수의 셔터리스 FIR 카메라(100)는 단일 차량에 설치되거나 장착될 수 있다. 이러한 구성에서, 복수의 카메라의 넓은 시야는 횡단 물체 감지 및 장면 이해(understanding)를 담당하는 반면 좁은 시야 카메라는 원거리 물체(또는 장애물)를 처리한다.
또 다른 실시 예에서, 상기 차량에는 CMOS 카메라, LIDAR 및 RADAR과 같은 다른 수동 또는 능동 검출 수단이 장착될 수 있다. 이러한 구성에서, 물체, 장애물 또는 위험의 검출은 그러한 검출 수단에 의해 캡처된 데이터 및 개시된 셔터리스 FIR 카메라(100)에 의해 캡처되고 처리된 FIR 이미지에 기초하여 수행될 수 있다.
상기 개시된 셔터리스 FIR 카메라는 임의의 유형의 차량에 공개(disclosed)될 수 있음에 유의해야 한다. 예를 들어, 상기 개시된 FIR 카메라는 자동차, 버스, 오토바이, 트랙, 기차, 드론, 무인 항공기, 비행기, 에어 벌룬, 장갑차, 농업 기계, 탱크 등에 장착, 설치 또는 통합될 수 있다. 상기 차량은 자율적 차량일 수 있거나 작동자(예를 들어, 운전자)에 의해 작동될 수 있다.
본 명세서에 개시된 일부 실시 예는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 또한, 상기 소프트웨어는 바람직하게는 부품, 또는 특정 장치 및/또는 장치의 조합으로 구성된 프로그램 저장 유닛 또는 컴퓨터 판독 가능 매체 상에 유형적으로(tangibly) 구현된 응용 프로그램으로서 구현된다. 응용 프로그램은 임의의 적합한 아키텍처를 포함하는 기계에 업로드되고 이에 의해 실행될 수 있다. 바람직하게는, 상기 기계는 하나 이상의 중앙 처리 장치("CPU")와 같은 하드웨어, 메모리 및 입력/출력 인터페이스를 갖는 컴퓨터 플랫폼에서 구현된다. 상기 컴퓨터 플랫폼은 또한 운영 체제 및 마이크로 명령 코드를 포함할 수 있다. 본 명세서에 기술된 다양한 프로세스 및 기능은 이러한 컴퓨터 또는 프로세서가 명시적으로 도시되어 있는지 여부에 관계없이, 마이크로 명령 코드의 일부 또는 응용 프로그램의 일부 또는 CPU에 의해 실행될 수 있는 이들의 임의의 조합일 수 있다. 또한, 부가적인 데이터 저장 유닛 및 인쇄 유닛과 같은 다양한 다른 주변 유닛이 컴퓨터 플랫폼에 연결될 수 있다. 또한, 비일시적 컴퓨터 판독 가능한 매체는 일시적 전파 신호를 제외한 임의의 컴퓨터 판독 가능 매체이다.
본 명세서에 사용된 바와 같이, 아이템의 리스트에 이용된 "적어도 하나"의 표현은 리스트 상의 항목 중 어느 것이라도 개별적으로 사용되거나 2이상의 조합으로 사용될 수 있음을 의미한다. 예를 들어, 시스템이 "A, B, 및 C 중 적어도 하나"를 포함하는 것으로 기재된 경우, 해당 시스템은 A 단독; B 단독; C 단독; A 및 B를 조합; B 및 C를 조합; A 및 C를 조합; A, B, 및 C를 조합하여 포함할 수 있다.
"제1", "제2" 등과 같은 지정이 이용된 구성 요소의 참조부호는 그러한 구성 요소의 양 또는 순서를 일반적으로 제한하지 않는다는 것으로 이해되어야 한다. 오히려, 이들 지정은 2개 이상의 구성 요소 또는 구성 요소의 인스턴스를 구별하는 기존의 방법으로 사용된다. 따라서, 제1 및 제2구성 요소의 참조부호는 2개의 구성 요소가 적용되었거나 제1구성 요소가 제2구성 요소에 대하여 어떤 방식으로 우선하는 것을 의미하지 않는다. 또한, 다른 설명이 없으면, 구성 요소의 세트는 하나 이상의 구성 요소를 포함한다.
이상과 같이 인용된 모든 예제 및 조건식의 용어는 개시된 실시예의 원리 및 본 기술분야의 발명자에 의해 기여된 개념을 독자가 이해하는 것을 돕기 위하여 교육적인 목적을 의도한 것으로서, 그러한 인용된 예제 및 조건에 한정하고자 한 것이 아닌 것으로 이해되어야 한다. 더욱이, 특정 예제뿐만 아니라 개시된 실시예의 원리, 양태 및 실시예에서 인용된 모든 표현은 구조적이고 기능적인 균등물을 전반적으로 다루기 위한 것이다. 또한, 그러한 균등물은 미래에 구현된 균등물(즉, 구조에 무관하게 동일한 기능을 수행하도록 구현된 모든 요소)뿐만 아니라 현재 알려진 균등물을 포함하는 것을 의도한다.

Claims (30)

  1. 적어도 하나의 렌즈를 포함하는 적어도 하나의 광학 유닛;
    상기 광학 유닛에 결합되고 FIR 이미지를 캡처하도록 구성된 FIR 센서; 및
    향상된(enhanced) 열 비디오 스트림을 출력하기 위해 상기 캡처된 FIR 이미지를 처리하도록 구성된 집적 회로(IC)를 포함하고,
    상기 IC는 처리 회로; 및
    상기 처리 회로에 의해 실행될 때, 상기 처리 회로가 적어도 셔터리스 보정을 포함하는 이미지 보정을 수행하도록 구성하는 명령어를 포함하는 메모리를 더 포함하는, 고급 운전자 보조 시스템을 위한 셔터리스 원적외선(FIR) 카메라.
  2. 제1항에 있어서,
    상기 IC는 제1출력 열 비디오 스트림을 컴퓨터로 출력하도록 추가로 구성되는 셔터리스 FIR 카메라.
  3. 제2항에 있어서,
    상기 IC는 제2출력 열 비디오 스트림을 디스플레이에 출력하도록 추가로 구성되는 셔터리스 FIR 카메라.
  4. 제1항에 있어서,
    상기 FIR 카메라는 상기 IC에 연결된 복수의 이미지 센서를 더 포함하는 셔터리스 FIR 카메라.
  5. 제4항에 있어서,
    상기 복수의 이미지 센서 중 적어도 하나는 FIR 센서인 셔터리스 FIR 카메라.
  6. 제4항에 있어서,
    상기 IC는 상기 복수의 이미지 센서의 이미지 융합인 열 비디오 스트림을 출력하도록 추가로 구성되는 셔터리스 FIR 카메라.
  7. 제1항에 있어서,
    상기 FIR 센서 및 상기 IC는 열 코어(thermal core) 내에 캡슐화되는 셔터리스 FIR 카메라.
  8. 제1항에 있어서,
    상기 IC는
    미리 결정된 교정 테이블을 검색하고;
    상기 미리 결정된 교정 테이블에 기초하여 상기 FIR 이미지에 셔터리스 픽셀-기반 보정을 적용하고;및
    상기 FIR 이미지에 셔터리스 장면-기반 노이즈 보정을 적용하도록 추가로 구성되는 셔터리스 FIR 카메라.
  9. 제8항에 있어서,
    상기 교정 테이블은 상기 FIR 센서의 이득 및 오프셋 불규칙성을 극복하고 주변 온도 범위의 적외선(IR) 방사에 대한 상기 FIR 센서의 반응을 통합하기 위해 두 가지 온도 포인트를 기반으로 계산된 적어도 이득 및 오프셋 값을 포함하는 셔터리스 FIR 카메라.
  10. 제9항에 있어서,
    상기 IC는 상기 교정 테이블로부터 교정 값의 서브 세트를 검색하도록 추가로 구성되고, 상기 교정 값의 서브 세트는 현재 측정된 온도에 기초하여 결정된 특정 온도 범위에 있는 셔터리스 FIR 카메라.
  11. 제8항에 있어서,
    상기 교정 테이블은 상기 FIR 센서의 교정 프로세스 동안 각 온도 포인트에서 각 픽셀에 대해 결정된 드리프트 값을 포함하는 셔터리스 FIR 카메라.
  12. 제1항에 있어서,
    이미지 향상 프로세서(IEP, image enhancing processor)를 더 포함하고,
    상기 IEP는 상기 캡처된 FIR 이미지들에 보정 프로세스들을 적용하도록 추가로 구성되며, 상기 보정 프로세스들은 파이프 라인 방식(pipe-line fashion)으로 적용되는 셔터리스 FIR 카메라.
  13. 제12항에 있어서,
    상기 보정 프로세스들의 보정 프로세스는 상기 캡처된 FIR 이미지 내의 노이즈를 감소시키기 위해 에지(edge)를 보존하기 위해 양방향 필터를 사용하는 것을 포함하는 셔터리스 FIR 카메라.
  14. 제12항에 있어서,
    상기 보정 프로세스들의 보정 프로세스는 상기 FIR 이미지 내에서 최저 및 최고 그레이 레벨 사이의 거리를 감소시키기 위해 자동 이득(automatic gain)을 적용하는 단계, 따라서 상기 FIR 이미지의 이미지 히스토그램을 신장(stretching)시키는 단계를 포함하는 셔터리스 FIR 카메라.
  15. 제12항에 있어서,
    상기 보정 프로세스들의 보정 프로세스는 상기 FIR 이미지를 중첩 블록으로 분할함으로써 CLAHE(contrast limited adaptive histogram equalization)를 적용하는 단계 및 각 개별 블록 내에서 히스토그램 평활화를 적용하는 단계를 포함하는 셔터리스 FIR 카메라.
  16. 제10항에 있어서,
    상기 보정 프로세스들의 보정 프로세스는 화이트-핫 픽셀을 블랙-핫 픽셀로 변경하는 단계(changing white-hot pixels for black-hot pixels) 및 미리 정의된 오프셋에 의해 상기 FIR 이미지의 밝기를 조정하는 단계 중 적어도 하나를 수행하도록 구성된 극성 및 밝기 모듈(polarity-and-brightness module )을 포함하는 셔터리스 FIR 카메라.
  17. 제1항에 있어서,
    상기 향상된 열 비디오 스트림은 고급 운전자 보조 시스템에서 물체를 검출하도록 구성되는 셔터리스 FIR 카메라.
  18. 제17항에 있어서,
    상기 물체는 차량, 보행자, 동물, 2륜차, 블랙 아이스 스팟, 쓰레기, 잔해, 움푹 들어간 곳, 맨홀 덮개(gully cover), 연석(curb) 중 적어도 하나를 포함하는 셔터리스 FIR 카메라.
  19. 제1항에 있어서,
    상기 고급 운전자 보조 시스템은 자율 주행 차량 시스템을 포함하는 셔터리스 FIR 카메라.
  20. 처리 회로; 및
    상기 처리 회로에 의해 실행될 때, 상기 처리 회로가, 향상된 열 비디오 스트림을 출력하기 위해 상기 FIR 이미지에 적어도 셔터리스 보정을 포함하여, 이미지 보정을 수행하도록 구성하는 명령어를 포함하는 메모리를 포함하는, 셔터리스 원적외선(FIR) 카메라에 통합되고 FIR 이미지를 처리하도록 구성된 전자 회로.
  21. 제20항에 있어서,
    상기 전자 회로 및 FIR 카메라는 고급 운전자 보조 시스템에 통합되는 전자 회로.
  22. 제20항에 있어서,
    상기 처리 회로는 미리 결정된 교정 테이블을 검색하고;
    상기 미리 결정된 교정 테이블에 기초하여 상기 FIR 이미지에 셔터리스 픽셀-기반 보정을 적용하고;및
    상기 FIR 이미지에 셔터리스 장면-기반 노이즈 보정을 적용하도록 추가로 구성되는 전자 회로.
  23. 제22항에 있어서,
    상기 교정 테이블은 상기 FIR 센서의 이득 및 오프셋 불규칙성을 극복하고 주변 온도 범위의 적외선(IR) 방사에 대한 상기 FIR 센서의 반응을 통합하기 위해 두 가지 온도 포인트를 기반으로 계산된 적어도 이득 및 오프셋 값을 포함하는 전자 회로.
  24. 제22항에 있어서,
    상기 처리 회로는 상기 교정 테이블로부터 교정 값의 서브 세트를 검색하도록 추가로 구성되고, 상기 교정 값의 서브 세트는 현재 측정된 온도에 기초하여 결정된 특정 온도 범위에 있는 전자 회로.
  25. 제22항에 있어서,
    상기 교정 테이블은 상기 FIR 센서의 교정 프로세스 동안 각 온도 포인트에서 각 픽셀에 대해 결정된 드리프트 값을 포함하는 전자 회로.
  26. 제20항에 있어서,
    이미지 향상 프로세서(IEP, image enhancing processor)를 더 포함하고,
    상기 IEP는 상기 캡처된 FIR 이미지들에 보정 프로세스들을 적용하도록 추가로 구성되며, 상기 보정 프로세스들은 파이프 라인 방식(pipe-line fashion)으로 적용되는 전자 회로.
  27. 제26항에 있어서,
    상기 보정 프로세스들의 보정 프로세스는 상기 캡처된 FIR 이미지 내의 노이즈를 감소시키기 위해 에지(edge)를 보존하기 위해 양방향 필터를 사용하는 것을 포함하는 전자 회로.
  28. 제26항에 있어서,
    상기 보정 프로세스들의 보정 프로세스는 상기 FIR 이미지 내에서 최저 및 최고 그레이 레벨 사이의 거리를 감소시키기 위해 자동 이득(automatic gain)을 적용하는 단계, 따라서 상기 FIR 이미지의 이미지 히스토그램을 신장(stretching)시키는 단계를 포함하는 전자 회로.
  29. 제26항에 있어서,
    상기 보정 프로세스들의 보정 프로세스는 상기 FIR 이미지를 중첩 블록으로 분할함으로써 CLAHE(contrast limited adaptive histogram equalization)를 적용하는 단계 및 각 개별 블록 내에서 히스토그램 평활화를 적용하는 단계를 포함하는 전자 회로.
  30. 제26항에 있어서,
    상기 보정 프로세스들의 보정 프로세스는 화이트-핫 픽셀을 블랙-핫 픽셀로 변경하는 단계(changing white-hot pixels for black-hot pixels) 및 미리 정의된 오프셋에 의해 상기 FIR 이미지의 밝기를 조정하는 단계 중 적어도 하나를 수행하도록 구성된 극성 및 밝기 모듈(polarity-and-brightness module )을 포함하는 전자 회로.
KR1020197035072A 2017-06-05 2018-05-25 자동차 안전 및 주행 시스템을 위한 셔터리스 원적외선(fir) 카메라 KR102555362B1 (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201762515200P 2017-06-05 2017-06-05
US62/515,200 2017-06-05
US201762526733P 2017-06-29 2017-06-29
US62/526,733 2017-06-29
US201762543108P 2017-08-09 2017-08-09
US62/543,108 2017-08-09
US201762552620P 2017-08-31 2017-08-31
US62/552,620 2017-08-31
PCT/US2018/034620 WO2018226437A1 (en) 2017-06-05 2018-05-25 Shutterless far infrared (fir) camera for automotive safety and driving systems

Publications (2)

Publication Number Publication Date
KR20200040697A true KR20200040697A (ko) 2020-04-20
KR102555362B1 KR102555362B1 (ko) 2023-07-13

Family

ID=64458400

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197035072A KR102555362B1 (ko) 2017-06-05 2018-05-25 자동차 안전 및 주행 시스템을 위한 셔터리스 원적외선(fir) 카메라

Country Status (5)

Country Link
US (1) US10819919B2 (ko)
EP (1) EP3621850B1 (ko)
JP (1) JP2020522937A (ko)
KR (1) KR102555362B1 (ko)
WO (1) WO2018226437A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7293648B2 (ja) * 2018-12-21 2023-06-20 トヨタ自動車株式会社 運転支援装置、車両、運転支援システム、及び運転支援方法
CN109978840A (zh) * 2019-03-11 2019-07-05 太原理工大学 一种基于卷积神经网络的含纹理图像质量的判别方法
CN109978893B (zh) * 2019-03-26 2023-06-20 腾讯科技（深圳）有限公司 图像语义分割网络的训练方法、装置、设备及存储介质
CN114705302A (zh) * 2019-06-11 2022-07-05 杭州海康微影传感科技有限公司 热成像摄像机灼伤处理方法及装置
CN110717445B (zh) * 2019-10-09 2022-08-23 清华大学 一种用于自动驾驶的前车距离跟踪系统与方法
CN110633792B (zh) * 2019-10-22 2022-03-22 西安交通大学 端到端基于卷积循环神经网络的轴承健康指标构建方法
IT202000005686A1 (it) 2020-03-17 2021-09-17 Cnh Ind Italia Spa Sistema di guida autonoma in ambito agricolo mediante camera infrarossi
CN111428688B (zh) * 2020-04-16 2022-07-26 成都旸谷信息技术有限公司 基于mask矩阵的车辆的行驶车道智能识别方法、系统
CN111540217B (zh) * 2020-04-16 2022-03-01 成都旸谷信息技术有限公司 基于mask矩阵的平均车速智能监测方法、系统
WO2021226408A1 (en) * 2020-05-08 2021-11-11 Flir Commercial Systems, Inc. Burn-in mitigation and associated imaging systems and methods
CN112288642A (zh) * 2020-09-21 2021-01-29 北京迈格威科技有限公司 鬼影检测方法、图像融合方法及对应装置
US11611692B2 (en) * 2020-11-09 2023-03-21 Rockwell Collins, Inc. Fixed pattern noise reduction and high spatial frequency filtering using vari-focus lenses in low contrast scenes
FR3118558B1 (fr) * 2020-12-24 2023-03-03 Safran Electronics & Defense Procédé d’étalonnage d’une matrice de photodétecteurs, dispositif d’étalonnage et système d’imagerie associés
JP2023074749A (ja) * 2021-11-18 2023-05-30 株式会社Ｊｖｃケンウッド 制御システムおよび制御方法
CN115129069B (zh) * 2022-08-31 2022-12-20 福思(杭州)智能科技有限公司 行驶设备的控制方法和装置、存储介质及电子装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006197015A (ja) * 2005-01-11 2006-07-27 Sumitomo Electric Ind Ltd 車両用暗視撮像装置
US20130218500A1 (en) * 2012-02-22 2013-08-22 Ulis Method for correcting the drift of an infrared radiation detector comprising an array of resistive imaging bolometers and device implementing such a method
US20150009335A1 (en) * 2013-07-08 2015-01-08 Flir Systems Ab Facilitating improved calibration of captured infrared data values by an ir imaging system in a thermography arrangement
US20150332441A1 (en) * 2009-06-03 2015-11-19 Flir Systems, Inc. Selective image correction for infrared imaging devices

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2532928B2 (ja) 1988-10-26 1996-09-11 日本ビクター株式会社 ゴ―スト除去装置
US5323334A (en) 1992-12-04 1994-06-21 Hughes Aircraft Company Sensor system having nonuniformity suppression with image preservation
US5414439A (en) 1994-06-09 1995-05-09 Delco Electronics Corporation Head up display with night vision enhancement
US6433333B1 (en) * 2000-03-03 2002-08-13 Drs Sensors & Targeting Systems, Inc. Infrared sensor temperature compensated response and offset correction
JP2003016429A (ja) 2001-06-28 2003-01-17 Honda Motor Co Ltd 車両周辺監視装置
US6759949B2 (en) * 2002-05-23 2004-07-06 Visteon Global Technologies, Inc. Image enhancement in far infrared camera
DE10304703B4 (de) * 2003-02-06 2023-03-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit umgebungsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
US7880777B2 (en) 2005-05-26 2011-02-01 Fluke Corporation Method for fixed pattern noise reduction in infrared imaging cameras
US7786898B2 (en) 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
SE531942C2 (sv) 2007-02-01 2009-09-15 Flir Systems Ab Metod för bildbehandling av IR-bilder innefattande kontrastförhöjande filtrering
US8194920B2 (en) 2007-02-16 2012-06-05 Ford Global Technologies, Llc Method and system for detecting objects using far infrared images
US7995859B2 (en) 2008-04-15 2011-08-09 Flir Systems, Inc. Scene based non-uniformity correction systems and methods
US8378290B1 (en) 2008-09-02 2013-02-19 Flir Systems, Inc. Sensor calibration systems and methods for infrared cameras
US8330820B2 (en) 2008-12-05 2012-12-11 Bae Systems Information And Electronic Systems Integration Inc. Fast electrostatic shutter and method of achieving offset compensation in infrared video imagers using fast shutters
US7683321B1 (en) 2008-12-19 2010-03-23 Fluke Corporation Shutterless infrared imager algorithm with drift correction
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US8208026B2 (en) 2009-03-02 2012-06-26 Flir Systems, Inc. Systems and methods for processing infrared images
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US8384783B2 (en) 2009-09-29 2013-02-26 Flir Systems Ab Infrared camera and method for calculating output power value indicative of an amount of energy dissipated in an image view
US8743207B2 (en) 2010-07-27 2014-06-03 Flir Systems Inc. Infrared camera architecture systems and methods
WO2012115878A1 (en) 2011-02-22 2012-08-30 Flir Systems, Inc. Infrared sensor systems and methods
US9143703B2 (en) * 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
KR101778353B1 (ko) * 2011-06-10 2017-09-13 플리어 시스템즈, 인크. 적외선 이미징 장치용 불균일성 교정 기술
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
SE1130090A1 (sv) 2011-09-22 2012-10-09 Flir Systems Ab Förfarande för ströljuskompensering av IR-kamera
SE536510C2 (sv) 2012-02-21 2014-01-14 Flir Systems Ab Bildbehandlingsmetod för detaljförstärkning och brusreduktion
US9635220B2 (en) 2012-07-16 2017-04-25 Flir Systems, Inc. Methods and systems for suppressing noise in images
MX349155B (es) 2013-01-15 2017-07-14 Avigilon Corp Aparato de imagenologia con compensacion de auto-exposicion adaptable de escena.
WO2014144492A1 (en) 2013-03-15 2014-09-18 Drs Rsta, Inc. Method of shutterless non-uniformity correction for infrared imagers
US10115034B2 (en) 2013-05-01 2018-10-30 Life Technologies Holdings Pte Limited Method and system for projecting image with differing exposure times
US20150226613A1 (en) * 2014-02-07 2015-08-13 Raytheon Company Imaging device with shutterless non-uniformity correction
US10075658B2 (en) * 2014-05-30 2018-09-11 Seek Thermal, Inc. Data digitization and display for an imaging system
JP2015230950A (ja) 2014-06-04 2015-12-21 住友電気工業株式会社 アレイ型受光素子
US9830709B2 (en) 2016-03-11 2017-11-28 Qualcomm Incorporated Video analysis with convolutional attention recurrent neural networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006197015A (ja) * 2005-01-11 2006-07-27 Sumitomo Electric Ind Ltd 車両用暗視撮像装置
US20150332441A1 (en) * 2009-06-03 2015-11-19 Flir Systems, Inc. Selective image correction for infrared imaging devices
US9292909B2 (en) * 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
US20130218500A1 (en) * 2012-02-22 2013-08-22 Ulis Method for correcting the drift of an infrared radiation detector comprising an array of resistive imaging bolometers and device implementing such a method
US20150009335A1 (en) * 2013-07-08 2015-01-08 Flir Systems Ab Facilitating improved calibration of captured infrared data values by an ir imaging system in a thermography arrangement

Also Published As

Publication number Publication date
EP3621850A1 (en) 2020-03-18
JP2020522937A (ja) 2020-07-30
EP3621850A4 (en) 2021-01-27
EP3621850B1 (en) 2023-08-30
US10819919B2 (en) 2020-10-27
KR102555362B1 (ko) 2023-07-13
US20180352174A1 (en) 2018-12-06
WO2018226437A1 (en) 2018-12-13

Similar Documents

Publication Publication Date Title
KR102555362B1 (ko) 자동차 안전 및 주행 시스템을 위한 셔터리스 원적외선(fir) 카메라
US8208026B2 (en) Systems and methods for processing infrared images
US9292909B2 (en) Selective image correction for infrared imaging devices
CN107113408B (zh) 图像处理装置、图像处理方法、程序和系统
US20210243338A1 (en) Techniques for correcting oversaturated pixels in shutterless fir cameras
US10511789B2 (en) Infrared imaging device, control method thereof, and vehicle
JP2022509034A (ja) ニューラルネットワークを使用した輝点除去
US10699386B2 (en) Techniques for scene-based nonuniformity correction in shutterless FIR cameras
WO2014100787A1 (en) Compact multi-spectrum imaging with fusion
US10511793B2 (en) Techniques for correcting fixed pattern noise in shutterless FIR cameras
WO2020031970A1 (en) Information processing device, information processing method, and program
CA2989188A1 (en) Method for ir or thermal image enchancement based on scene information for video analysis
WO2014100786A1 (en) Selective image correction for infrared imaging devices
US8781158B1 (en) UVB-visible channel apparatus and method for viewing a scene comprising terrestrial corona radiation
US11544918B2 (en) Vehicle to infrastructure system and method with long wave infrared capability
US20180061008A1 (en) Imaging system and method
US11252344B2 (en) Method and system for generating multiple synchronized thermal video streams for automotive safety and driving systems
US10614556B2 (en) Image processor and method for image processing
WO2016015965A1 (en) Method for operating a camera system of a motor vehicle, driver assistance system and motor vehicle
JP2015232824A (ja) 検出装置
Hickman et al. The application of advanced image processing to rescue camera systems
GB2522095A (en) Viewing device

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant