KR102391619B1 - 비-균일성 정정을 위한 적외선 이미지 처리 방법 - Google Patents

비-균일성 정정을 위한 적외선 이미지 처리 방법 Download PDF

Info

Publication number
KR102391619B1
KR102391619B1 KR1020150061243A KR20150061243A KR102391619B1 KR 102391619 B1 KR102391619 B1 KR 102391619B1 KR 1020150061243 A KR1020150061243 A KR 1020150061243A KR 20150061243 A KR20150061243 A KR 20150061243A KR 102391619 B1 KR102391619 B1 KR 102391619B1
Authority
KR
South Korea
Prior art keywords
column
image
pixel
scale factor
matrix
Prior art date
Application number
KR1020150061243A
Other languages
English (en)
Other versions
KR20150125609A (ko
Inventor
아모리 세라갈리아
알랭 듀랜드
Original Assignee
율리스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 율리스 filed Critical 율리스
Publication of KR20150125609A publication Critical patent/KR20150125609A/ko
Application granted granted Critical
Publication of KR102391619B1 publication Critical patent/KR102391619B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J5/20—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using resistors, thermistors or semiconductors sensitive to radiation, e.g. photoconductive devices
    • G01J5/22—Electrical features thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J5/20—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using resistors, thermistors or semiconductors sensitive to radiation, e.g. photoconductive devices
    • G01J5/22—Electrical features thereof
    • G01J5/24—Use of specially adapted circuits, e.g. bridge circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/144—Image acquisition using a slot moved over the image; using discrete sensing elements at predetermined points; using automatic curve following means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/20—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals
    • H04N25/21—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals for transforming thermal infrared radiation into image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/672—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction between adjacent sensors or output registers for reading a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • H04N25/674—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/02—Scanning details of television systems; Combination thereof with generation of supply voltages by optical-mechanical means only
    • H04N3/08—Scanning details of television systems; Combination thereof with generation of supply voltages by optical-mechanical means only having a moving reflector
    • H04N3/09—Scanning details of television systems; Combination thereof with generation of supply voltages by optical-mechanical means only having a moving reflector for electromagnetic radiation in the invisible region, e.g. infrared
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/444—Compensating; Calibrating, e.g. dark current, temperature drift, noise reduction or baseline correction; Adjusting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Image Input (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 처리 장치에 의해서, 적외선 방사에 감응하는 화소 어레이에 의해 캡처되는 입력 이미지(IB)를 수신하는 단계; 입력 이미지에, 그리고 컬럼 성분 벡터(VCOL)에 기초하여, 입력 이미지에 존재하는 컬럼 스프레드의 레벨을 추정함으로써 제1 스케일 팩터(α)를 결정하는 단계; 벡터의 값들과 제1 스케일 팩터와의 곱에 기초하여 컬럼 오프셋 값들(α.VCOL(y))을 발생하는 단계; 입력 이미지에, 그리고 2D 분산 행렬(IDISP)에 기초하여, 입력 이미지에 존재하는 2D 분산의 레벨을 추정함으로써 제2 스케일 팩터(β)를 결정하는 단계; 행렬의 값들과 상기 제2 스케일 팩터와의 곱에 기초하여 화소 오프셋 값들(β.IDISP(x,y))을 발생하는 단계; 및 컬럼 및 화소 오프셋 값들을 적용함으로써 정정된 이미지(IC')를 발생하는 단계를 포함하는, 이미지 처리 방법에 관한 것이다.

Description

비-균일성 정정을 위한 적외선 이미지 처리 방법{METHOD OF INFRARED IMAGE PROCESSING FOR NON-UNIFORMITY CORRECTION}
본 발명은 적외선 이미지 센서 분야에 관한 것으로, 특히 적외선 광에 감응하는 화소들의 어레이에 의해 캡처된 이미지에서 오프셋 및 이득 정정을 수행하기 위한 방법 및 장치에 관한 것이다.
적외선(IR) 이미징의 분야에서, 셔터 또는 셔터-유사 하드웨어의 사용 없이, 캡처된 이미지에서 오프셋 정정을 수행하는 것은 마이크로볼로미터와 같은 비냉각형 IR 이미징 장치에, 그리고 냉각형 IR 이미징 장치에도, 중대한 과제를 안겨주고 있다. 이러한 이미징 장치는 화소 어레이를 형성하는 IR-감응 검출기들의 어레이를 포함한다.
이미지에서 오프셋 정정에 원인이 되는, 화소 어레이의 화소들 간에 공간상에 비-균일성은 시간적으로 뿐만 아니라 온도의 함수로서 변한다. 이 문제는 일반적으로 이미징 장치 내 내부 기계식 셔터를 사용하여 처리되며, 캘리브레이션을 위해 사용될 수 있을 비교적 균일한 장면의 기준 이미지를 얻기 위해서 셔터가 닫혀진 동안 이미지를 주기적으로 캡처하는 것을 수반한다. 그러나, 셔터를 사용하는 데 있어 무게 및 비용 추가, 및 이 성분의 취성과 같은, 몇가지 결점이 존재한다. 또한, 어떤 응용에 있어서, 셔터의 사용은 셔터가 닫혀지고 캘리브레이션이 행해지는 동안 유실되는 시간에 기인하여 수락될 수 없다. 이 캘리브레이션 기간 동안, 장면의 어떠한 이미지도 캡쳐될 수 없다.
셔터를 사용하는 것에 대한 대안으로서 오프셋을 정정하기 위한 이미지 처리 기술이 제안되어졌다. 그러나, 현존하는 기술은 복잡하고 및/또는 이미지를 적절히 정정하지 못한다. 이에 따라 이 기술에서는 적외선 이미지에서 오프셋 정정의 개선된 방법이 요구되어진다.
본 발명의 실시예의 목적은 종래 기술에서 하나 이상의 필요성을 적어도 부분적으로 해결하는 것이다.
일 측면에 따라, 처리 장치에 의해서, 적외선 방사에 감응하는 화소 어레이에 의해 캡처되는 입력 이미지를 수신하는 단계로서, 화소 어레이는 복수의 화소 컬럼들을 가지며, 각 화소 컬럼은 대응하는 기준 화소에 연관된 것인, 단계; 입력 이미지에, 그리고 기준 화소들에 의해 야기되는 컬럼 스프레드(spread)를 나타내는 컴럼 성분 벡터에 기초하여, 입력 이미지에 존재하는 상기 컬럼 스프레드의 레벨을 추정함으로써 제1 스케일 팩터를 결정하는 단계; 상기 벡터의 값들과 제1 스케일 팩터와의 곱에 기초하여 컬럼 오프셋 값들을 발생하는 단계; 입력 이미지에, 그리고 화소 어레이에 의해 야기되는 2D 분산(dispersion)을 나타내는 2D 분산 행렬에 기초하여, 입력 이미지에 존재하는 상기 2D 분산의 레벨을 추정함으로써 제2 스케일 팩터를 결정하는 단계; 상기 행렬의 값들과 제2 스케일 팩터와의 곱에 기초하여 화소 오프셋 값들을 발생하는 단계; 및 상기 컬럼 및 화소 오프셋 값들을 적용함으로써 정정된 이미지를 발생하는 단계를 포함하는, 이미지 처리 방법이 제공된다.
일 실시예에 따라, 방법은 컬럼 오프셋 값들에 기초하여 부분적으로 정정된 이미지를 발생하는 단계를 더 포함하고, 제2 스케일 팩터는 부분적으로 정정된 이미지에 기초하여 발생된다.
일 실시예에 따라, 컬럼 벡터 및 분산 행렬은 화소 어레이 및 연관된 기준 화소들에 의해 야기되는 오프셋들을 나타내는 기준 이미지에 기초하여 결정된다.
일 실시예에 따라, 정정된 이미지는 식,
Figure 112015042228255-pat00001
에 기초하여 발생되고, IB(x,y)는 입력 이미지이고, α는 제1 스케일 팩터이고, ICOL(x,y)는 이의 행들의 각각에 컬럼 벡터를 포함하는 행렬이고, β는 제2 스케일 팩터이고, IDISP(x,y)는 분산 행렬이다.
일 실시예에 따라, 컬럼 벡터는 제1 주변 온도에서 취해진 제1 기준 이미지에 기초한 제1 컬럼 벡터와 제2 주변 온도에서 취해진 제2 기준 이미지에 기초한 제2 컬럼 벡터 간에 차이를 나타내며; 분산 행렬은 제1 기준 이미지에 기초한 제1 분산 행렬과 제2 기준 이미지에 기초한 제2 분산 행렬 간에 차이를 나타낸다.
일 실시예에 따라, 정정된 이미지는 식,
Figure 112015042228255-pat00002
에 기초하여 발생되고, IB(x,y)는 입력 이미지이고, α는 제1 스케일 팩터이고,
Figure 112015042228255-pat00003
는 이의 행들의 각각에 제1 컬럼 벡터를 포함하는 행렬이고,
Figure 112015042228255-pat00004
는 I'COL=(
Figure 112015042228255-pat00005
-
Figure 112015042228255-pat00006
)과 동일한 행렬이고,
Figure 112015042228255-pat00007
는 이의 행들의 각각에 제2 컬럼 벡터를 포함하는 행렬이고, β는 제2 스케일 팩터이고,
Figure 112015042228255-pat00008
는 제1 분산 행렬이고,
Figure 112015042228255-pat00009
는 I'DISP=(
Figure 112015042228255-pat00010
-
Figure 112015042228255-pat00011
)과 동일한 행렬이고,
Figure 112015042228255-pat00012
는 제2 분산 행렬이다.
일 실시예에 따라, 방법은 적어도 한 컬럼 잔류 오프셋 값을 정정된 이미지에 기초하여 결정하는 단계를 더 포함한다.
일 실시예에 따라, 적어도 한 컬럼 잔류 오프셋값을 결정하는 단계는, 정정된 이미지의 화소들의 적어도 일부에 연관된 가중치들을 결정하는 단계로서, 가중치들은 적어도 일부 화소들 각각의 이웃의 균일성의 추정에 기초하여 발생되는 것인 단계; 적어도 일부 화소들 각각에 대해, 대응하는 한 행의 인접 컬럼 내 한 화소값에 관하여 차이를 계산하는 단계; 및 가중치들을 차이들에 적용하고 가중된 차이들을 누적(integrate)하여 적어도 한 컬럼 잔류 오프셋값을 발생하는 단계를 포함한다.
일 실시예에 따라, 적어도 일부 화소들 각각의 이웃의 균일성의 추정은 각 이웃에 대해 계산된 기울기(gradient) 값에 그리고 수평 변화 값에 기초한다.
일 실시예에 따라, 제1 스케일 팩터를 결정하는 단계는 이미지의 행들을 따라 고역 통과 필터를 적용하는 단계; 고역 통과 필터를 컬럼 벡터에 적용하는 단계; 및 필터링된 이미지의 컬럼 애버리지들을 결정하는 단계를 포함하고, 제1 스케일 팩터는 필터링된 이미지의 컬럼 애버리지들과 컬럼 벡터의 필터링된 값들 간에 차이들의 최소화에 기초하여 결정된다.
일 실시예에 따라, 제1 스케일 팩터(α)는 다음 식에 기초하여 결정되고,
Figure 112015042228255-pat00013
T()은 컬럼 벡터(VCOL)에 그리고 입력 이미지(IB(x,y))의 행들에 적용되는 고역 통과 필터를 나타낸다.
일 실시예에 따라, 제2 스케일 팩터를 결정하는 단계는, 입력 이미지의 각 화소에 대해서 그리고 분산 행렬의 각 요소에 대해서, 적어도 한 인접 화소에 기초하여 기울기 값을 결정하는 단계를 포함하고, 제2 스케일 팩터는 입력 이미지의 기울기와 분산 행렬의 기울기 간에 차이의 최소화에 기초하여 결정된다.
일 실시예에 따라, 제2 스케일 팩터(β)는 다음 식에 기초하여 결정되며,
Figure 112015042228255-pat00014
IB는 입력 이미지이고, IDISP는 분산 행렬이고, ▽x는 입력 이미지에서 행 방향으로 인접 화소들 간에 화소 기울기 값이고, ▽y는 입력 이미지에서 컬럼 방향으로 화소 기울기 값이다.
일 실시예에 따라, 컬럼 및 화소 오프셋 값들은 또 다른 입력 이미지에 적용된다.
일 실시예에 따라, 방법은 다음 최소화 문제를 해결함으로써 이득 정정값(γ)을 결정하는 단계를 더 포함한다.
Figure 112015042228255-pat00015
var은 변화이고, Ic'는 상기 정정된 이미지이고, 이득은 이득 행렬이다.
또 다른 측면에 따라, 컬럼 벡터 및 분산 행렬을 저장하는 메모리; 적외선 방사에 감응하는 화소 어레이에 의해 캡처되는 입력 이미지를 수신하는 것으로, 화소 어레이는 복수의 화소 컬럼들을 가지며, 각 화소 컬럼은 대응하는 기준 화소에 연관된 것이며; 입력 이미지에, 그리고 기준 화소들에 의해 야기되는 컬럼 스프레드를 나타내는 컬럼 성분 벡터에 기초하여, 입력 이미지에 존재하는 상기 컬럼 스프레드의 레벨을 추정함으로써 제1 스케일 팩터를 결정하고; 상기 벡터의 값들과 제1 스케일 팩터와의 곱에 기초하여 컬럼 오프셋 값들을 발생하고; 입력 이미지에, 그리고 화소 어레이에 의해 야기되는 2D 분산을 나타내는 분산 행렬에 기초하여, 입력 이미지에 존재하는 상기 2D 분산의 레벨을 추정함으로써 제2 스케일 팩터를 결정하고; 상기 행렬의 값들과 제2 스케일 팩터와의 곱에 기초하여 화소 오프셋 값들을 발생하고; 컬럼 및 화소 오프셋 값들을 적용함으로써 정정된 이미지를 발생하게 구성된 처리 장치를 포함하는, 이미지 처리 장치가 제공된다.
전술한 바 및 다른 특징 및 잇점은 동반된 도면을 참조하여, 제한함이 없이 예시로서 주어진 실시예의 다음 상세한 설명으로부터 명백해질 것이다.
도 1은 예시적 실시예에 따라 이미징 장치를 개요적으로 도시한 것이다.
도 2는 예시적 실시예에 따라 도 1의 이미징 장치의 화소 어레이의 일부를 더 상세히 개요적으로 도시한 것이다.
도 3은 예시적 실시예에 따라 도 1의 이미징 장치의 이미지 처리 블록을 더 상세히 개요적으로 도시한 것이다.
도 4는 예시적 실시예에 따라 이미징 처리의 방법에서 동작들을 도시한 흐름도이다.
도 5는 또 다른 예시적 실시예에 따라 이미지를 처리하는 방법에서 동작들을 도시한 흐름도이다.
도 6는 예시적 실시예에 따라 컬럼 잔류를 제거하는 방법에서 동작들을 도시한 흐름도이다.
도 7은 예시적 실시예에 따라 도 6의 동작들을 더 상세히 도시한 흐름도이다.
다음 설명에서 일부 실시예가 마이크로볼로미터 유형의 화소 어레이에 관련하여 기술되지만, 본원에 기술되는 방법은 냉각형 장치를 포함하여, 다른 유형의 IR 이미징 장치에도 똑같이 적용될 수도 있을 것임이 당업자에게 명백해질 것이다.
도 1은 IR 광에 감응하는 화소 어레이(102)를 포함하는 IR 이미징 장치(100)를 도시한 것이다. 예를 들면, 일부 실시예에서 화소 어레이는 7 내지 13㎛ 사이의 파장을 가진 광과 같은, 장-파 IR 광에 감응한다.
도시를 용이하게 하기 위해서, 12 행(row)과 12 컬럼(column)으로 배열된, 단지 144 화소(104)의 화소 어레이(102)가 도 1에 도시되었다. 대안적 실시예에서, 화소 어레이(102)는 임의의 수의 행 및 컬럼의 화소들을 포함할 수도 있을 것이다. 전형적으로, 어레이는 예를 들면 640 x 480, 혹은 1024 x 768 화소를 포함한다.
어레이(102)의 각 컬럼의 화소들은 대응하는 기준 구조(106)에 연관된다. 기능적으로는 화상 요소(picture element)가 아닐지라도, 이 구조는 이미징(또는 활성) 화소(104)와의 구조적 유사성에 의해 본원에서는 "기준 화소"라 지칭될 것이다. 또한, 출력 블록(108)은 화소 어레이(102)의 각 컬럼에 그리고 기준 화소(106) 각각에 결합되고, 생(raw) 이미지(IB)를 제공한다.
제어 회로(110)는 예를 들면 제어 신호를 화소 어레이, 기준 화소(106), 및 출력 블록(108)에 제공한다. 생 이미지(IB)는 예를 들면 이미지 처리 블록(112)에 제공되며, 이는 오프셋 및 이득을 이미지의 화소에 적용하여 정정된 이미지(IC)를 생성한다.
도 2는 이미징 장치가 마이크로볼로미터인 예에 따라 화소 어레이(102)의 두 컬럼(C1, C2) 및 이들의 연관된 기준 화소와 출력 회로를 더 상세히 도시한 것이다.
화소 어레이(102)의 각 컬럼의 화소들은 각각의 컬럼 라인(202)에 결합된다. 예를 들면, 각 화소(104)는 대응하는 컬럼 라인(202)과 그라운드 노드 사이에 직렬로 결합된 스위치(204), 트랜지스터(206) 및 볼로미터(208)를 포함한다.
볼로미터는 이 기술에 공지되어 있고, 예를 들면 IR 흡수 물질층을 포함하고 IR 방사의 존재에 관계된 멤브레인의 온도 상승에 의해 저항이 수정되는 특성을 가지는, 기판 상에 부유된 멤브레인을 포함한다.
각 행의 화소들의 스위치(204)는 예를 들면 공통 선택 신호에 의해 제어된다. 예를 들면, 도 2에서, 제1 행의 화소들은 제어 신호(S1)에 의해 제어되고, 제2 행의 화소들은 제어 신호(S2)에 의해 제어된다.
트랜지스터(206)는 예를 들면, 활성 볼로미터의 단부들 중 하나에 정상(steady) 전압을 유도하고 다른 단부는 그라운드됨으로써, 활성 볼로미터에 걸리는 전위 강하를 제어하기 위해 자신의 게이트에서 바이어싱 전압(VFID)을 수신하는 NMOS 트랜지스터이다.
각 컬럼에 연관된 기준 화소(106)는 대응하는 컬럼 라인(202)과 스키밍(skimming) 전압(VSK) 사이에 직렬로 결합된 트랜지스터(210) 및 블라인드(blind) 볼로미터(212)를 포함한다. 스키밍 전압(VSK)은 기준 볼로미터의 한 단부에 정상 전압을 유도함으로써 활성 화소와 기준 화소에 의해 형성된 볼로미터 브리지의 가장 높은 전위를 설정한다. 트랜지스터(210)는 예를 들면, 블라인드 볼로미터의 다른 단부에 정상 전압을 유도함으로써, 블라인드 볼로미터에 걸리는 전위 강하를 제어하기 위해 자신의 게이트에서 바이어싱 전압(GSK)을 수신하는 PMOS 트랜지스터이다.
블라인드 볼로미터(212)는 예를 들면 화소 어레이의 활성 볼로미터(208)와 유사한 구조를 갖는데, 그러나 예를 들면 반사형 배리어(reflective barrier)로 형성된 차폐에 의해서 및/또는 설계에 의한 열 싱크, 예를 들면 고열 콘덕턴스를 기판에 제공하고 볼로미터를 예를 들면 기판에 직접 접촉하여 형성함으로써, 이미지 장면으로부터 방사에 감응하지 않게 한다.
각 컬럼 라인(202)은 도 1의 출력 블록(108)의 부분을 형성하는 출력 회로에 더욱 결합된다. 도 2의 예에서, 각 출력 회로는 대응하는 컬럼 라인(202)에 결합된 음 입력 단자와 기준 전압(VBUS)을 수신하는 양 입력 단자를 가진 용량성 트랜스임피던스 증폭기(CTIA)(214)를 포함한다. 증폭기(214)의 출력은 컬럼의 출력 전압(VOUT)을 제공한다. 커패시터(216) 및 스위치(218)는 증폭기(214)의 음 입력 단자와 출력 단자 사이에 서로 병렬로 결합된다.
화소 어레이(102)의 판독 동작 동안에, 커패시터(216) 상에 전압을 리셋하기 위해 출력 블록(108)의 각 출력 회로의 스위치(218)를 활성화 및 비활성화하고, 판독될 행의 적합한 선택 신호(S1, S2), 등을 활성화함으로써, 화소들의 행들은 예를 들면 한번에 하나씩 판독된다. 기준 화소 내 전류(ICOMP)와 활성 화소 내 전류(IAC) 간에 차이는 화소값을 나타내는 출력 전압(VOUT)을 생성하기 위해 유한한 누적(integration) 시간 동안 커패시터(216)에 의해 누적된다.
도 3은 도 1의 이미지 처리 블록(112)을 예시적 실시예에 따라 더 상세히 도시한 것이다.
이미지 처리 블록(112)의 기능은 예를 들면 소프트웨어로 구현되고, 이미지 처리 블록(112)은 명령 메모리(304)에 저장된 명령들의 제어 하에 하나 이상의 프로세서를 가진 처리 장치(302)를 포함한다. 대안적 실시예에서, 이미지 처리 블록(112)의 기능은 적어도 부분적으로 전용 하드웨어에 의해 구현될 수도 있을 것이다. 이러한 경우에, 처리 장치(302)는 예를 들면 ASIC(application specific integrated circuit) 혹은 FPGA(field programmable gate array)을 포함하고 명령 메모리(304)는 생략될 수도 있다.
처리 장치(302)는 생 입력 이미지(IB)를 수신하고, 정정된 이미지(IC)를 발생하는데, 이는 예를 들면 이미징 장치의 디스플레이(도시되지 않음)에 제공된다. 처리 장치(302)는 또한 화소 어레이(102)에 의해 야기되는 구조상의 컬럼 스프레드(spread)를 나타내는 벡터(VCOL), 및 화소 어레이(102)에 의해 야기되는 2D 비-컬럼 구조상의 분산(dispersion)을 나타내는 행렬(IDISP)을 저장하는 데이터 메모리(306)에 결합된다. 컬럼 스프레드는 예를 들면 주로 각 컬럼 내 기준 화소(106)의 사용으로부터 비롯되는데, 반면 한 행의 컬럼 기준 화소들은 일반적으로 완벽하게 균일하지 않다. 2D 비-컬럼 분산은 예를 들면 주로, 예컨대 기술적 프로세스 분산으로부터 비롯되는 화소 어레이의 활성 볼로미터들 간에 국부적인 물리적 및/또는 구조상의 차이들로부터 비롯된다. 데이터 메모리(306)는 예를 들면 이하 더 상세히 논의되는 이득 행렬을 또한 저장한다.
도 4는 예시적 실시예에 따른 이미지 처리의 방법에서 동작을 도시한 흐름도이다. 이 방법은 예를 들면 위에 기술된 이미지 처리 블록(112)에 의해 구현된다.
생 이미지(IB)는 도 1의 화소 어레이(102)에 의해 캡처되어졌고, 화소 어레이는 어레이의 각 컬럼이 대응하는 기준 화소에 연관된 유형인 것으로 가정한다.
또한, 컬럼 벡터(VCOL) 및 2D 분산 행렬(IDISP)이 가용한 것으로 가정한다. 컬럼 벡터(VCOL) 및 2D 분산 행렬(IDISP)은 예를 들면 이미징 장치의 초기 셋업 국면 동안 캡처되는 단일의 기준 이미지 IREF(x,y)에 기초하여 발생된다. 기준 이미지는 예를 들면, 흑체원 또는 균일한 방출성 장면 전방에서 그리고 제어된 온도에서 캡처되어진 이미지이다. 주로 일시적 노이즈를 상쇄시키기 위해서, 기준 이미지는 예를 들면 복수의 프레임, 이를테면 약 50 프레임을 애버리지(average)함으로써 얻어진다. 이 기준 이미지 IREF(x,y)은 예를 들면 다음 관계식에 따라 구조상의 컬럼 및 2D 분산 성분들을 갖는 것으로 간주된다:
IREF(x,y) = ICOL(x,y)
Figure 112015042228255-pat00016
IDISP(x,y)
여기에서 ICOL(x,y)는 화소 어레이의 컬럼들 간에 기준 컬럼 스프레드를 나타내는 행렬이고, IDISP(x,y)는 화소 어레이의 각 화소에 대한 기준 2D 분산을 나타내는 행렬이다.
행렬(ICOL)은 이미지 내 n개의 컬럼과 동일한 길이를 갖는 벡터(VCOL)로 나타낼 수 있다. 예를 들면, 행렬 ICOL(x,y)는 이미지의 행들의 수와 동일한 m 개의 행을 가지며, 각 행은 벡터(VCOL)를 포함한다. 벡터(VCOL)의 생성은 예를 들면 컬럼 성분을 추출하기 위해 기준 이미지(IREF)를 처리하는 것을 수반한다. 이것은 예를 들면, 각 컬럼에 대해, 컬럼의 화소 값들의 평균(mean)과 같다. 행렬(IDISP)의 생성은 예를 들면, 기준 이미지의 각 화소 값에서, 대응하는 컬럼 스프레드 값 VCOL(x)을 감하는 것을 수반한다.
도 4의 제1 동작(401)에서, 생 이미지(IB)에 대해서, 이미지(IB) 내 컬럼 스프레드(VCOL)의 레벨을 나타내는 스케일 팩터(α)가 결정된다. 일 실시예에서, 스케일 팩터(α)의 값은 이미지(IB) 내 컬럼 성분(ICOL)의 량의 최소화에 기초하여 결정된다. 이것은 다음 최소화 함수로서 표현될 수 있다:
Figure 112015042228255-pat00017
여기에서,
Figure 112015042228255-pat00018
f(α)는 주어진 함수가 이의 최소값을 달성하는 인수(argument)이다. 위에 나타낸 바와 같이, 행렬 ICOL(x,y)는 벡터 VCOL(x)가 각 컬럼에 대한 단일의 값을 정의하기 때문에, 이로서 나타낼 수 있다. 이 최소화 문제를 해결하는 것을 용이하게 하기 위해서, 그리고 또한 계산을 단순화하기 위해서, 생 이미지(IB)는 또한 예를 들면 각 컬럼의 애버리지를 취함으로써 벡터 형태로 놓여진다. 또한, 고역 통과 필터는 예를 들면 이미지 내 수평으로, 즉 행의 방향으로 적용되고, 또한 벡터 VCOL(x)에도 적용된다. 그러면 최소화 문제는 예를 들면 다음과 같이, 변형된 이미지의 컬럼들의 애버리지에 기초하여 계산된다:
Figure 112015042228255-pat00019
여기에서 T()는 컬럼 벡터(VCOL)에 그리고 입력 이미지 IB(x,y)에 적용되는 고역 통과 필터를 나타내며, m은 이미지 내 행들의 수이다.
예를 들면, 필터 함수는 T(X)=X*hp으로서, 즉 수평 고역 통과 필터(hp)와의 행렬 X의 콘볼루션으로서 정의된다. 일예에서, 필터 함수(hp)는 계수 [0.0456 -0.0288 -0.2956 0.5575 -0.2956 -0.0288 0.0456]에 의해 정의되고, x 차원을 따라 국부적인 윈도우 내에 중앙 화소에 적용된다. 더 일반적으로, 필터는 예를 들면 이미지 내 수직 에지들이 선명해지게, 즉 컬럼 노이즈를 추출해내게 구성된 고역 통과 필터이다.
최소화 문제는 예를 들면 스케일 팩터(α)에 대한 다음 직접적인 해법에 기초하여 해결된다.
Figure 112015042228255-pat00020
즉, 스케일 팩터(α)의 결정은, 예를 들면 고역 통과 필터를 생 이미지에 이의 행들을 따라 그리고 또한 기준 컬럼 벡터에 적용하는 것과; 필터링된 이미지의 컬럼 애버리지들을 결정하여 기준 컬럼 벡터와 동일 크기의 벡터를 갖게 하고, 두 컬럼 벡터들 간에, 즉 필터링된 이미지 및 필터링된 컬럼 벡터의 컬럼 애버리지들 간에 차이의 최소화로서 스케일 팩터를 결정하는 것을 수반한다.
이하 더 상세히 기술되는 바와 같이, 스케일 팩터(α)는 이미지에 대해 컬럼 오프셋 값들(α.ICOL(x,y))이 결정될 수 있게 한다.
다시 도 4를 참조하면, 후속되는 동작(402)에서, 생 이미지(IB)에 대해, 이미지 내 기준 2D 분산 성분(IDISP)의 기여 수준을 나타내는 스케일 팩터(β)가 결정된다.
스케일 팩터(β)를 결정하기 위해서, 캡처된 이미지는 예를 들면 자연 장면 통계를 가진 자연 이미지이고, 화소들 간에 국부적 큰 변동(variation), 즉 화소와 이의 이웃 간에 변동은 고정된 2D 분산의 결과인 것으로 가정한다. 스케일 팩터(β)의 값은 예를 들면 전체 이미지에 걸쳐 이 분산의 영향을 감소시키기 위해서 결정된다. 채택된 접근법은 예를 들면 다음 식에 기초하여, 이미지 내 총 변동(TV)를 최소화하는 것이다:
Figure 112015042228255-pat00021
여기에서, ▽()는 화소 기울기 값이다. 최소화 문제의 양호한 근사로서, 이것은 예를 들면 다음의 최소화로서 취급된다:
Figure 112015042228255-pat00022
이러한 최소화 문제는 예를 들면 스케일 팩터(β)에 대한 다음 직접적인 해법에 기초하여 해결된다.
Figure 112015042228255-pat00023
여기에서 ▽x는 이미지 내 수평 방향으로, 즉 각 행을 따라 인접 화소들 간에 화소 기울기 값이고, ▽y는 이미지, 내 수직 방향으로, 즉 각 컬럼을 따라 인접 화소들 간에 화소 기울기 값이다.
그러므로 동작(402)은 생 입력 이미지의 각 화소에 대해서 그리고 기준 2D 분산 행렬의 각 요소에 대해서, 적어도 한 인접한 화소에 기초하여 기울기 값을 결정하고; 생 입력 이미지의 기울기들과 기준 2D 분산 행렬의 기울기들 간에 차이의 최소화에 기초하여 스케일 팩터(β)를 결정하는 것을 수반한다.
이 예에서, 스케일 팩터(β)는 생 이미지(IB)에 기초하여 결정된다. 그러나, 대안적 실시예에서, 스케일 팩터(β)는 컬럼 오프셋 α.ICOL(x,y)이 제거되어진 후에 이미지에 기초하여 결정될 수 있다. 이에 따라, 스케일 팩터(β)에 대한 직접적인 해법은 다음 식과 같게 된다:
Figure 112015042228255-pat00024
여기에서 ICC는 각 화소 (x,y)가 예를 들면 다음 식에 기초하여 정정되어진 이미지이며;
Figure 112015042228255-pat00025
ICOL(x,y)는 이의 행들 각각에 컬럼 벡터 VCOL(x)을 포함하는 행렬이다.
일부 실시예에서, 동작(402)의 계산에서, 상위 임계 미만인 화소 기울기 값들만이 고려된다. 실제로, 예를 들면 매우 큰 기울기는 이미지 내 장면에 관계된 에지에 대응하는 것으로 가정된다. 예를 들면, 이 상위 임계는 기준 분산 행렬(IDISP)에 대해 계산된 가장 큰 기울기 값의 약 3배가 되게 선택된다.
후속되는 동작(403)에서, 정정된 이미지(IC')는 α.ICOL(x,y)과 동일한 컬럼 오프셋 값 및 β.IDISP(x,y)와 동일한 화소 오프셋 값에 기초하여 발생된다. 예를 들면, 정정된 이미지는 다음과 같이 계산된다:
Figure 112015042228255-pat00026
위에 기술된 실시예에서, 정정된 이미지는 단일 기준 이미지(IREF)로부터 취해진 성분(ICOL, IDISP)에 기초한다. 대안적 실시예에서, 기준 정정의 정밀도를 증가시키기 위해서, 두 기준 이미지는 예를 들면 고유 기준 이미지 대신에, 각각 상이한 검출기 온도들(T0, T1)에서 캡처되어졌고, 장치는 예를 들면, T0에서 취해진 기준 이미지에 기초하여 제1 세트의 성분(
Figure 112015042228255-pat00027
및
Figure 112015042228255-pat00028
)과, T1에서 취해진 기준 이미지에 기초하여 제2 세트의 성분(
Figure 112015042228255-pat00029
및
Figure 112015042228255-pat00030
)을 도 3의 메모리(306)에 저장한다. 이러한 경우에, 스칼라(α, β)의 값들은 예를 들면 이들 성분들을 사용하여, 입력 이미지 IB(x,y)로부터 제1 성분을 직접 감함으로써, 그리고 예를 들면 동작(401, 402)에 관련하여 기술된 바와 동일한 방법으로, 그러나 구조상의 컬럼 성분 I'COL=(
Figure 112015042228255-pat00031
-
Figure 112015042228255-pat00032
) 및 2D 분산 성분 I'DISP=(
Figure 112015042228255-pat00033
-
Figure 112015042228255-pat00034
)에 기초하여 α 및 β를 계산함으로써 결정된다. 이어 정정된 이미지(IC')는 예를 들면 다음과 같이 결정된다:
Figure 112015042228255-pat00035
일부 실시예에서, 동작(401 내지 403)은 충분한 오프셋 정정을 제공할 수 있는데, 이 경우에 정정된 이미지(IC')는 도 1의 이미지 처리 블록(112)의 출력에서 이미지(IC)을 제공한다. 대안적 실시예에서, 예를 들면 후속하여 최종 이미지(IC)를 발생하기 위해 추가의 동작(404) 및/또는 추가의 동작(405)이 수행된다.
동작(404)에서, 이득 정정은 예를 들면 이미지로부터 감하기 전에 정정된 이미지(IC')로부터 이미지 정정 팩터(γ)를 계산하고 결과의 각 화소 값에 이득 행렬을 곱함으로써 이미지에 적용된다. 예를 들면, 이 이득 정정 값은 다음 최소화 문제를 해결함으로써 얻어진다:
Figure 112015042228255-pat00036
이에 따라 이미지 정정 팩터(γ)에 대한 직접적인 해법은 다음과 같게 된다:
Figure 112015042228255-pat00037
여기에서
Figure 112015042228255-pat00038
는 행렬 X의 평균(mean)이고, 이득은 예를 들면 벡터(VCOL) 및 행렬(IDISP)과 함께 메모리(306)에 저장되는 이득 행렬이다. 이러한 이득 행렬은 예를 들면 당업자에게 일반적인 바와 같이, 두 서로 다른 온도들에서, 흑체원와 같은 균일원 전방에서 캡처된 두 개의 기준 이미지들 간에 차이로부터 결정된다.
이어 정정된 이미지(IC")는 정정된 이미지에 이득을 곱한 것에 기초하여 발생된다. 예를 들면, 정정된 이미지(IC")는 다음과 같이 계산된다:
IC"=(IC'-γ) x Gain
동작(405)에서, 이미지 내 잔류하는, 컬럼 잔류(residue) 및/또는 분산 잔류와 같은 오프셋 잔류는 예를 들면 제거된다.
도 5는 또 다른 예시적 실시예에 따라 이미지에서 오프셋 정정의 방법에서 동작을 도시한 흐름도이다.
프로세스 블록(502)(α 계산)에 의해 나타낸 바와 같이, 입력 이미지(IB) 및 컬럼 벡터(VCOL)는 예를 들면 스케일 팩터(α)를 발생하기 위해 사용된다. 이어 컬럼 오프셋값(α.VCOL(y))을 발생하기 위해 벡터(VCOL)에 스케일 팩터(α)을 곱한다. 이어 이들 오프셋 값은 컬럼 스프레드가 정정된 이미지(ICC)를 제공하기 위해 생 이미지(IB)로부터 감해진다.
프로세스 블록(504)(β 계산)에 의해 나타낸 바와 같이, 컬럼 스프레드가 정정된 이미지(ICC) 및 분산 행렬(IDISP)은 예를 들면 스케일 팩터(β)를 발생하기 위해 사용된다. 이어 화소 오프셋 값(β.IDISP(x,y))을 발생하기 위해 행렬(IDISP)에 스케일 팩터(β)를 곱한다. 이어 이들 오프셋 값은 정정된 이미지(IC')를 발생하기 위해 이미지(ICC)로부터 감해진다.
또한, 오프셋 값(α.VCOL(y), β.IDISP(x,y))은 예를 들면 기준 이미지 오프셋 값(RI 오프셋 값)을 제공하기 위해 함께 더해진다(506).
도 5에 도시되지 않았지만, 이어서 선택적으로, 도 4의 동작(404)에 관련하여 위에 기술된 바와 같은 이득 정정은 정정된 이미지(IC')에 적용되고 이미지 정정 팩터(γ)이 이미지에 적용된다.
프로세스 블록(508)에 의해 나타낸 바와 같이, 컬럼 잔류 정정값(CR 오프셋 값)(510), 및 컬럼 잔류가 정정된 이미지(ICR)을 발생하기 위해서 이어서 예를 들면 정정된 이미지(IC')에 기초하여 컬럼 잔류 정정이 수행된다. 실제로, 각 컬럼의 컬럼 회로에 연관된 얼마간의 오프셋이 여전히 이미지 내에 있을 수 있어, 잠재적으로 이미지 내에 가시적 수직 스트라이프를 야기한다. 컬럼 잔류 정정은 예를 들면 이들 컬럼 아티팩트를 제거하기 위해 수행된다.
프로세스 블록(512)에 의해 나타낸 바와 같이, 2D 분산 잔류 정정은 이어서 예를 들면 2D 분산 잔류 오프셋 값(DR 오프셋 값)(514)을 발생하기 위해 컬럼 잔류가 정정된 이미지(ICR)에 기초하여 수행된다. 분산 잔류 정정은 예를 들면 이방성 확산 필터와 같은, 에지-보존 및 노이즈 감소 스무딩 필터를 사용하여 달성된다.
도 5의 예에서, 이미지에 적용될 합산된 오프셋 값(SOV(x,y))을 제공하기 위해 오프셋 값들(506, 510, 514)이 함께 합산된다. 이들 오프셋 값(SOV(x,y))은 이어 생 이미지(IB)로부터 감해진다. 그러나, 합산된 오프셋 값(SOV(x,y))을 결정하는 잇점은 이들 오프셋들이 이들을 발생하기 위해 사용되는 것과는 다른 이미지에 적용될 수 있다는 것이다. 예를 들면, 생 이미지(IB)가 이미징 장치에 의해 캡처되는 비디오 시퀀스의 프레임인 경우에, 오프셋 값(SOV(x,y))은 예를 들면 시퀀스 내 후속 이미지로부터 감해진다. 이것은 캡처된 생 이미지와 얻어지는 정정된 이미지 간에 시간 지연이 감소되게 한다.
대안적 실시예에서, 현재 또는 후속되는 생 이미지에 기준 이미지 오프셋(506)이 적용되고, 결과적인 이미지(IC')에 이득 정정이 수행되고, 이어 예를 들면 이득 정정된 이미지에 컬럼 및 분산 오프셋 잔류 값이 적용된다.
도 5의 동작(508)에서 수행되는 컬럼 잔류 정정이 이제 도 6 및 도 7의 흐름도를 참조하여 더 상세히 기술될 것이다.
도 6은 이미지에, 예를 들면 위에 기술된 프로세스로부터 나오는 정정된 이미지(IC)에 적용될 컬럼 잔류 오프셋을 계산하는 방법에서 동작을 도시한 흐름도이다. 이들 동작은 예를 들면 위에 논의된 도 3의 이미지 처리 블록(112)에 의해 구현된다.
제1 동작(601)에서, 이미지의 각 컬럼의 각 화소에 대해, 화소의 이웃에 의해 정의되는 이미지의 국부적인 구역에서 균일성의 추정에 기초하여, 가중치(wx,y)가 계산된다. 균일성이 높을수록, 화소에 연관된 가중치는, 컬럼들 간에 차이가 구조상의 (고정된) 컬럼 잔류에 더욱 기인하게 될 것이기 때문에, 더 크게 된다. 예를 들면, 계산은, 각 화소에 대해, 해당 화소를 포함하는 화소들의 9 x 3 이웃에, 즉 해당 화소의 좌측과 우측 상에 4개까지의 화소와 해당 화소 위 및 밑에 1개까지의 화소에 의해 정의되는 사각 구역에 기초한다. 균일성은 예를 들면 각 화소의 이웃에 대해 국부적인 기울기 및 국부적인 수평 변화를 계산함으로써 추정된다. 일부 실시예에서, 가중치들은 이하 더 상세히 기술되는 바와 같이, 컬럼이 저역 통과 필터에 의해 수직으로 필터링되어진 후에 이미지에 기초하여 계산된다.
후속되는 동작(602)에서, 각 컬럼과 다음 컬럼 간에 평균(mean) 차이는 대응하는 가중치만큼 가중되어, 각 컬럼에 대해 대응하는 컬럼 대 컬럼 오프셋값 ▽Colw(x)을 제공한다. 예를 들면, 컬럼 대 컬럼 오프셋 벡터 ▽Colw(x)는 다음 식에 기초하여 결정된다.
Figure 112015042228255-pat00039
여기에서 wx ,y는 위에 동작(601)에서 계산된 가중치이고, Ix+1,y는 다음 컬럼 x+1의 위치 y에서의 화소값이고, Ix,y는 현재 컬럼 x의 위치 y에서의 화소값이다. 즉, 각 컬럼 대 컬럼 오프셋값 ▽Colw(x)는 컬럼 x의 그리고 컬럼 x+1의 화소값들 간에 가중된 차이들의 애버리지로서 결정된다. 행의 마지막 컬럼 오프셋값은 예를 들면 0에 설정된다.
추가의 동작으로서, 컬럼 대 컬럼 오프셋은 컬럼과 다음 컬러 간에 순방향 오프셋만을 나타내기 때문에, 오프셋 벡터의 각 항은 예를 들면 역으로 누적되는데, 즉, 마지막에서 두 번째부터 시작하여, 각 컬럼 오프셋 값은 첫 번째 항에 도달할 때까지 선행 항에 축적되게 가산되어, 다음과 같이 최종 컬럼 오프셋 항 OffCol(x)을 제공하게 한다.
Figure 112015042228255-pat00040
이들 오프셋 값은 예를 들면 도 5에 510로 표기된 컬럼 잔류 오프셋 값을 제공하는데, 이는 예를 들면 다른 오프셋과 합산되어 생 이미지(IB)로부터 혹은 후속 생 이미지로부터 감해질 합산된 오프셋 값 SOV(x,y)을 제공한다. 대안적으로, 후속 동작(603)에서, 명료한 이미지(ICR)을 발생하기 위해서, 컬럼 스프레드 및 2D 분산 성분들(VCOL, IDISP)에 기초하여 이미 정정된 이미지(IC')에 오프셋 값이 적용된다. 또한, 도 6에 점선 화살표로 나타낸 바와 같이, 일부 실시예에서 동작(601)과 동작(602)은 훨씬 더 구조상의 컬럼 잔류들을 제거하기 위해서, 발생된 명료한 이미지에 기초하여 1회 이상 반복된다.
도 7은 예시적 실시예에 따라 더 상세히 도 6의 동작을 도시한 흐름도이다.
도시된 바와 같이, 화소가 있는 구역의 균일성에 기초하여 가중치를 계산하는 도 6의 동작(601)은 예를 들면 부-동작(701 내지 704)을 수반한다.
동작(701)은 이미지의 컬럼을 따라 수직으로 저역 통과 필터를 적용하는 것을 수반한다. 이러한 저역 통과 필터를 적용하는 것은 예를 들면 이미지 센서의 본연의 고정된 패턴 노이즈(FPN)의 영향을 감소시킨다. 이 필터링 동작은 선택적이다. 필터는 예를 들면 커널 크기(wG) 및 이의 표준편차 σ에 의해 정의되는 가우시안 필터이다. 일예에서, 필터는 9의 커널 크기(wG)와 2의 표준편차를 갖는다.
동작(702)은 이미지의 각 화소에 대해 국부적인 기울기 값(
Figure 112015042228255-pat00041
) 및 국부적인 수평 변화 값(
Figure 112015042228255-pat00042
)을 계산하는 것을 수반한다. 국부적인 기울기(
Figure 112015042228255-pat00043
)는 예를 들면 다음 식에 기초하여 결정된다:
Figure 112015042228255-pat00044
여기에서 Gx 및 Gy는 각각 x 및 y에서 소벨 연산자이며, I는 예를 들면 동작(701)에서 필터링된 후에 이미지이다.
국부적인 수평 변화(
Figure 112015042228255-pat00045
)는 예를 들면 다음 식에 기초하여 결정된다:
Figure 112015042228255-pat00046
여기에서
Figure 112015042228255-pat00047
는 고찰되는 화소의 수평 이웃이고,
Figure 112015042228255-pat00048
는 수평 이웃에 화소값들의 애버리지이고, I(f)는 수평 이웃 내에 대응하는 화소값이다. 수평 이웃
Figure 112015042228255-pat00049
는 예를 들면 3 이상의 화소의 크기 2*wV+1 및 예를 들면 9개까지의 화소들을 가지며, 일반적으로 다음과 같이 정의될 수 있다:
Figure 112015042228255-pat00050
동작(703)에서, 예를 들면 다음 식들에 기초하여, 예를 들면 국부적인 수평 변화 및 국부적인 기울기 값들 각각에 대해 수평 형태 팽창(dilation)이 수행된다:
Figure 112015042228255-pat00051
Figure 112015042228255-pat00052
여기에서, 주어진 화소 x에 대한
Figure 112015042228255-pat00053
는 예를 들면
Figure 112015042228255-pat00054
와 같고,
Figure 112015042228255-pat00055
는 화소 x의 수평 화소 이웃이다. 이웃
Figure 112015042228255-pat00056
는 예를 들면 3 이상의 화소의 크기 2*wD+1을 가지며, 일반적으로 다음과 같이 정의될 수 있다.
Figure 112015042228255-pat00057
수평 형태 팽창은 큰 수평 기울기 값들 및/또는 큰 변화 값들을 가진 구역들의 영향력(influence)을 수평으로 이웃 화소들까지 확장함으로써, 장면 내 고 대비 수직 구조들이 있는 데서, 가중치 계산에 블러의 영향력(일반적으로 광학 수차에 의해 야기되는)을 감소시키는 효과를 갖는다.
동작(704)에서, 값(
Figure 112015042228255-pat00058
) 및 값(
Figure 112015042228255-pat00059
)은 예를 들면 한 컬럼에 대해, 이들의 합이 1과 같게 되도록 각 컬럼에 대해 정규화된다. 예를 들면, 이들 정규화는 다음 식에 기초하여 계산된다:
Figure 112015042228255-pat00060
가중치(wx ,y)는 예를 들면 이들 정규화된 값(
Figure 112015042228255-pat00061
,
Figure 112015042228255-pat00062
)의 선형 조합에 의해 결정되어, 화소의 이웃에 의해 정의된 이미지의 국부적인 구역에 균일성의 추정을 제공한다. 일부 실시예에서, 기울기 값과 변화 값은 동일한 영향력이 주어질 수도 있을 것이며, 이 경우 가중치(wx,y)는 예를 들면 다음 식에 의해 결정된다:
Figure 112015042228255-pat00063
대안적으로, 각 값에 스칼라를 적용함으로써, 기울기 및 변화 값들에 상이한 영향력이 할당될 수 있다. 예를 들면, 가중치는 다음 식에 의해 결정된다:
Figure 112015042228255-pat00064
a 및 b는 스칼라이고 예를 들면 a+b=1이다. 예를 들면, a보다 이를테면 5배 이상 더 크도록 b를 선택하여, 수평 변화 영향력이 적용될 수 있다.
다시 도 7을 참조하면, 가중치(wx,y)는 가중치 맵(705)을 형성한다. 일부 실시예에서, 이미지의 매 화소에 대해 가중치가 계산되며, 다른 실시예에서 동작(701 내지 704)은 계산 시간을 감소시키기 위해서, 단지 어떤 화소들, 예를 들면 이미지의 매 제2, 제3 또는 제4 행의 화소들에 대한 가중치들을 제공하게 수정될 수 있다.
후속되는 동작은 도 6의 동작(602)이며, 여기에서 컬럼 대 컬럼 오프셋 ▽Colw(x)은 예를 들면 위에 식에 기초하여 결정된다.
Figure 112015042228255-pat00065
항 (Ix+ 1,y-Ix,y)은 컬럼 x과 컬럼 x+1 간에 순방향 차이이며, 이들은 예를 들면 이미지(IC')에 기초하여, 도 7의 동작(706)에서 계산된다. 일부 실시예에서, 어떤 임계 하에 있는 순방향 차이만이 주어진 컬럼에 대한 애버리지의 계산에서 고려된다. 실제로, 어떤 임계를 넘어선 값들은 제거되지 않아야 하는 이미지 장면 내 수직 에지를 나타내는 것으로 간주될 수 있다. 임계는 예를 들면 한 컬럼과 다음 컬럼 간에 최대 예상 컬럼 차이보다 약간 크게 되도록 선택된다. 오프셋 값 OffCol(x)은 예를 들면 위에 설명된 바와 같이, 값 ▽Colw(x)를 누적함으로써 계산된다.
위에 언급된 바와 같이, 벡터 OffCol(x)의 오프셋 값은 예를 들면, 컬럼 아티팩트가 이미지로부터 제거되어진 명료한 이미지(ICR)를 발생하기 위해 동작(603)에서 이미지(IC')로부터 감해질 수 있고, 혹은 이들은 도 5에 나타낸 바와 같이 다른 오프셋에 가산될 수 있다.
본원에 기술된 바와 같은 오프셋 정정 방법의 잇점은 이들이 기계식 셔터의 사용을 요구하지 않으며, 이들이 매우 효과적인 것으로 발견되어졌다는 것이다.
특히, 본 발명자들은 본원에 기술된 유형의 화소 어레이에서, 온도에 기인한 화소 변동 및 기준 화소 변동가 아레니우스 식에 따른다는 것을 발견하였으며, 활성화 에너지는 근본적으로 모든 화소에 대해 동일하고 근본적으로 모든 기준 화소에 대해 동일하여, 화소간 분산이 완전히, 혹은 적어도 근본적으로, 각 화소를 기술하는 아레니우스 식의 일정한 프리-팩터(pre-factor) 내에 내포되는 것으로 간주될 수 있음을 의미한다. 그러므로, 1D 성분 및 2D 성분에 화소 어레이에 의해 야기된 오프셋을 분해(decompose)하고 이들 성분을 나타내기 위해 스케일 팩터(α, β)을 도출함으로써, 유효한 오프셋 정정이 기계식 셔터의 사용 없이 달성될 수 있다.
이에 같이 하여 적어도 한 예시적 실시예를 기술하였지만, 다양한 변경, 수정 및 개선이 당업자에게 쉽게 일어날 것이다.
예를 들면, 마이크로-볼로미터의 구체적 예가 도 2에 관련하여 기술되었지만, 본원에 기술된 방법은 마이크로볼로미터의 여러 다른 구현예에, 혹은 다른 유형의 IR 이미징 장치에 적용될 수도 있을 것임이 당업자에게 명백해질 것이다.
또한, 여러 실시예에 관련하여 기술된 여러 동작들은 대안적 실시예에서, 이들의 유효성에 영향을 미치지 않고 다른 순서로 수행될 수도 있음이 당업자에게 명백해질 것이다. 예를 들면, 스케일 팩터(α, β)가 결정되는 순서는 바뀔 수도 있을 것이다.

Claims (16)

  1. 적외선 방사에 감응하는 화소 어레이(102) 및 복수의 기준 화소를 포함하는 IR 이미징 장치의 처리 장치(302)에 의해서, 상기 화소 어레이(102)에 의해 캡처된 입력 이미지(IB)를 수신하는 단계로서, 상기 화소 어레이는 복수의 화소 컬럼들(C1, C2)을 가지며, 각 화소 컬럼은 상기 기준 화소(106) 중 대응하는 것과 연관된 것인, 단계;
    상기 입력 이미지에, 그리고 상기 기준 화소들(106)에 의해 야기되는 컬럼 스프레드를 나타내는 컬럼 성분 벡터(VCOL)에 기초하여, 상기 입력 이미지에 존재하는 상기 컬럼 스프레드의 레벨을 추정함으로써 제1 스케일 팩터(α)를 결정하는 단계;
    상기 벡터의 상기 값들과 상기 제1 스케일 팩터와의 곱에 기초하여 컬럼 오프셋 값들(α.VCOL(x))을 생성하는 단계;
    상기 입력 이미지에, 그리고 상기 화소 어레이에 의해 야기되는 2D 분산을 나타내는 2D 분산 행렬(IDISP)에 기초하여, 상기 입력 이미지에 존재하는 상기 2D 분산의 레벨을 추정함으로써 제2 스케일 팩터(β)를 결정하는 단계;
    상기 행렬의 상기 값들과 상기 제2 스케일 팩터와의 곱에 기초하여 화소 오프셋 값들(β.IDISP(x,y))을 생성하는 단계; 및
    상기 컬럼 및 화소 오프셋 값들을 적용함으로써 정정된 이미지(IC')를 생성하는 단계를 포함하는 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 컬럼 오프셋 값들(α.VCOL(x))을 생성하는 단계 후에 그리고 제2 스케일 팩터(β)를 결정하는 단계 전에, 상기 컬럼 오프셋 값들에 기초하여 부분적으로 정정된 이미지(ICC)를 생성하는 단계로서, 하기의 식에 의해 정정된 이미지(ICC)가 결정되는 단계를 더 포함하고,
    Figure 112021084991457-pat00094

    상기 제2 스케일 팩터는 상기 부분적으로 정정된 이미지에 기초하여 생성되는 이미지 처리 방법.
  3. 제1항에 있어서, 상기 컬럼 벡터(VCOL) 및 분산 행렬(IDISP)은 상기 화소 어레이 및 상기 연관된 기준 화소들에 의해 야기되는 오프셋들을 나타내는 기준 이미지(IREF)에 기초하여 결정되는 이미지 처리 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 정정된 이미지(IC')는 식,
    Figure 112021084991457-pat00066

    에 기초하여 생성되고, IB(x,y)는 상기 입력 이미지이고, α는 상기 제1 스케일 팩터이고, ICOL(x,y)는 이의 행들의 각각에 상기 컬럼 벡터를 포함하는 행렬이고, β는 상기 제2 스케일 팩터이고, IDISP(x,y)는 상기 분산 행렬인 이미지 처리 방법.
  5. 제1항 또는 제2항에 있어서, 상기 컬럼 벡터(VCOL)는 제1 주변 온도(T0)에서 취해진 제1 기준 이미지에 기초한 제1 컬럼 벡터(
    Figure 112015042228255-pat00067
    )와 제2 주변 온도(T1)에서 취해진 제2 기준 이미지에 기초한 제2 컬럼 벡터(
    Figure 112015042228255-pat00068
    ) 간에 차이를 나타내며;
    상기 분산 행렬(IDISP)은 상기 제1 기준 이미지에 기초한 제1 분산 행렬(
    Figure 112015042228255-pat00069
    )과 상기 제2 기준 이미지에 기초한 제2 분산 행렬(
    Figure 112015042228255-pat00070
    ) 간에 차이를 나타내는 것인 이미지 처리 방법.
  6. 제5항에 있어서, 상기 정정된 이미지(IC')는 식:
    Figure 112021084991457-pat00071

    에 기초하여 생성되고, IB(x,y)는 상기 입력 이미지이고, α는 상기 제1 스케일 팩터이고,
    Figure 112021084991457-pat00072
    는 이의 행들의 각각에 상기 제1 컬럼 벡터를 포함하는 행렬이고,
    Figure 112021084991457-pat00073
    는 I'COL=(
    Figure 112021084991457-pat00074
    -
    Figure 112021084991457-pat00075
    )과 동일한 행렬이고,
    Figure 112021084991457-pat00076
    는 이의 행들의 각각에 상기 제2 컬럼 벡터를 포함하는 행렬이고, β는 상기 제2 스케일 팩터이고,
    Figure 112021084991457-pat00077
    는 상기 제1 분산 행렬이고,
    Figure 112021084991457-pat00078
    는 I'DISP=(
    Figure 112021084991457-pat00079
    -
    Figure 112021084991457-pat00080
    )과 동일한 행렬이고,
    Figure 112021084991457-pat00081
    는 상기 제2 분산 행렬인 이미지 처리 방법.
  7. 제1항 내지 제3항 중 어느 한 항에 있어서, 적어도 한 컬럼 잔류 오프셋 값(510)을 상기 정정된 이미지(IC')에 기초하여 결정하는 단계를 더 포함하는, 이미지 처리 방법.
  8. 제7항에 있어서, 상기 적어도 한 컬럼 잔류 오프셋값을 결정하는 단계는,
    상기 정정된 이미지의 상기 화소들의 적어도 일부에 연관된 가중치들(wx,y)을 결정하는 단계로서, 상기 가중치들은 상기 적어도 일부 화소들 각각의 이웃의 균일성의 추정에 기초하여 생성되는 것인 단계;
    상기 적어도 일부 화소들 각각에 대해, 대응하는 한 행의 인접 컬럼 내 한 화소값에 관하여 차이를 계산하는 단계; 및
    상기 가중치들을 상기 차이들에 적용하고 상기 가중된 차이들을 누적하여 상기 적어도 한 컬럼 잔류 오프셋값을 생성하는 단계를 포함하는 이미지 처리 방법.
  9. 제8항에 있어서, 상기 적어도 일부 화소들 각각의 상기 이웃의 상기 균일성의 상기 추정은 각 이웃에 대해 계산된 기울기 값(
    Figure 112015042228255-pat00082
    )에 그리고 수평 변화 값(
    Figure 112015042228255-pat00083
    )에 기초하는 이미지 처리 방법.
  10. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 제1 스케일 팩터를 결정하는 단계는
    상기 이미지의 상기 행들을 따라 고역 통과 필터를 적용하는 단계;
    상기 고역 통과 필터를 상기 컬럼 벡터에 적용하는 단계; 및
    상기 필터링된 이미지의 컬럼 애버리지들을 결정하는 단계를 포함하고, 상기 제1 스케일 팩터는 상기 필터링된 이미지의 상기 컬럼 애버리지들과 상기 컬럼 벡터의 상기 필터링된 값들 간에 차이들의 최소화에 기초하여 결정되는 이미지 처리 방법.
  11. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 제1 스케일 팩터(α)는 다음 식에 기초하여 결정되고,
    Figure 112021084991457-pat00084

    T()은 상기 컬럼 벡터(VCOL)에 그리고 상기 입력 이미지(IB(x,y))의 상기 행들에 적용되는 고역 통과 필터를 나타내는 것인 이미지 처리 방법.
  12. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 제2 스케일 팩터를 결정하는 단계는, 상기 입력 이미지의 각 화소에 대해서 그리고 상기 분산 행렬의 각 요소에 대해서, 적어도 한 인접 화소에 기초하여 기울기 값을 결정하는 단계를 포함하고, 상기 제2 스케일 팩터는 상기 입력 이미지의 상기 기울기들과 상기 분산 행렬의 상기 기울기들 간에 차이의 최소화에 기초하여 결정되는 이미지 처리 방법.
  13. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 제2 스케일 팩터(β)는 다음 식에 기초하여 결정되며,
    Figure 112021084991457-pat00085

    IB는 상기 입력 이미지이고, IDISP는 상기 분산 행렬이고, ▽x는 상기 입력 이미지에서 행 방향으로 인접 화소들 간에 상기 화소 기울기 값이고, ▽y는 상기 입력 이미지에서 컬럼 방향으로 상기 화소 기울기 값인 이미지 처리 방법.
  14. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 컬럼 및 화소 오프셋 값들은 또 다른 입력 이미지에 적용되는 이미지 처리 방법.
  15. 제1항 내지 제3항 중 어느 한 항에 있어서, 다음 최소화 문제를 해결함으로써 이득 정정값(γ)을 결정하는 단계를 더 포함하고,
    Figure 112021084991457-pat00086

    var은 변화이고, Ic'는 상기 정정된 이미지이고, 이득은 이득 행렬인 이미지 처리 방법.
  16. 이미지 처리 장치에 있어서,
    컬럼 벡터(VCOL) 및 분산 행렬(IDISP)을 저장하는 메모리(306);
    적외선 방사에 감응하는 화소 어레이(102) 및 복수의 기준 화소를 포함하는 IR 이미징 장치의 처리 장치(302)에 의해서, 상기 화소 어레이(102)에 의해 캡처된 입력 이미지(IB)를 수신하는 것으로, 상기 화소 어레이는 복수의 화소 컬럼들(C1, C2)을 가지며, 각 화소 컬럼은 상기 기준 화소 중 대응하는 것과 연관된 것이며;
    상기 입력 이미지에, 그리고 상기 기준 화소들에 의해 야기되는 컬럼 스프레드를 나타내는 상기 컬럼 성분 벡터에 기초하여, 상기 입력 이미지에 존재하는 상기 컬럼 스프레드의 레벨을 추정함으로써 제1 스케일 팩터(α)를 결정하고;
    상기 벡터의 상기 값들과 상기 제1 스케일 팩터와의 곱에 기초하여 컬럼 오프셋 값들(α.VCOL(x))을 생성하고;
    상기 입력 이미지에, 그리고 상기 화소 어레이에 의해 야기되는 2D 분산을 나타내는 상기 분산 행렬에 기초하여, 상기 입력 이미지에 존재하는 상기 2D 분산의 레벨을 추정함으로써 제2 스케일 팩터(β)를 결정하고;
    상기 행렬의 상기 값들과 상기 제2 스케일 팩터와의 곱에 기초하여 화소 오프셋 값들(β.IDISP(x,y))을 생성하고;
    상기 컬럼 및 화소 오프셋 값들을 적용함으로써 정정된 이미지(IC')를 생성하게 구성된 처리 장치(302)를 포함하는 이미지 처리 장치.
KR1020150061243A 2014-04-30 2015-04-30 비-균일성 정정을 위한 적외선 이미지 처리 방법 KR102391619B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1453917A FR3020735B1 (fr) 2014-04-30 2014-04-30 Procede de traitement d'une image infrarouge pour une correction des non uniformites
FR14/53917 2014-04-30

Publications (2)

Publication Number Publication Date
KR20150125609A KR20150125609A (ko) 2015-11-09
KR102391619B1 true KR102391619B1 (ko) 2022-04-27

Family

ID=51659717

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150061243A KR102391619B1 (ko) 2014-04-30 2015-04-30 비-균일성 정정을 위한 적외선 이미지 처리 방법

Country Status (8)

Country Link
US (1) US10015425B2 (ko)
EP (1) EP2940991B1 (ko)
JP (1) JP6887597B2 (ko)
KR (1) KR102391619B1 (ko)
CN (1) CN105049752B (ko)
CA (1) CA2889654C (ko)
FR (1) FR3020735B1 (ko)
RU (1) RU2677576C2 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017073401A1 (ja) * 2015-10-29 2017-05-04 富士フイルム株式会社 赤外線撮像装置および赤外線撮像装置による信号補正方法
CN106855435B (zh) * 2016-11-15 2019-04-09 北京空间机电研究所 长波线阵红外相机星上非均匀性实时校正方法
CN108665422B (zh) * 2017-08-30 2022-05-10 西安电子科技大学 傅里叶域内逆向感知的单帧红外非均匀性检测方法
US10672164B2 (en) * 2017-10-16 2020-06-02 Adobe Inc. Predicting patch displacement maps using a neural network
WO2019127059A1 (zh) * 2017-12-26 2019-07-04 西安电子科技大学 基于引导滤波和高通滤波的红外图像非均匀性校正方法
KR102110399B1 (ko) * 2018-06-19 2020-05-13 전주대학교 산학협력단 검사 대상체의 내부 또는 표면 결함을 측정하기 위한 적외선 열화상 보정 방법
FR3083901B1 (fr) 2018-07-10 2021-10-08 Schneider Electric Ind Sas Methode de traitement d'une image
KR101955498B1 (ko) * 2018-07-19 2019-03-08 엘아이지넥스원 주식회사 신경망 구조를 이용한 적외선 영상 보정 장치 및 그 방법
FR3088512B1 (fr) 2018-11-09 2020-10-30 Schneider Electric Ind Sas Procede de traitement d'une image
CN109767403B (zh) * 2019-01-23 2022-12-16 西安科技大学 一种基于场景的红外焦平面阵列条状噪声消除方法
CN111080561A (zh) * 2019-11-08 2020-04-28 上海航天控制技术研究所 一种时域高通滤波方法
CN111008944B (zh) * 2019-12-25 2023-07-14 武汉高德红外股份有限公司 一种红外焦平面探测器不稳定像元查找方法及系统
FR3111699A1 (fr) 2020-06-23 2021-12-24 Schneider Electric Industries Sas Procede de traitement d’une image brute collectee par un detecteur a bolometres et dispositif associe
JP2022022530A (ja) * 2020-06-25 2022-02-07 シャープ株式会社 カメラ、画像処理方法、プログラムおよびプログラムを記録したコンピュータ読み取り可能な記録媒体
CN112150377B (zh) * 2020-08-27 2024-03-29 北京空间机电研究所 一种红外图像非均匀性校正系数解析解交替迭代优化方法
CN112393807B (zh) * 2020-11-23 2021-11-23 昆明物理研究所 红外图像处理方法、装置、系统以及计算机可读存储介质
FR3118558B1 (fr) 2020-12-24 2023-03-03 Safran Electronics & Defense Procédé d’étalonnage d’une matrice de photodétecteurs, dispositif d’étalonnage et système d’imagerie associés

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006025146A (ja) 2004-07-07 2006-01-26 Sony Corp 固体撮像素子装置及び信号処理方法
US20090202177A1 (en) 2008-02-07 2009-08-13 Eric Jeffrey Non-Uniform Image Resizer
US20100030506A1 (en) 2006-12-28 2010-02-04 Thermoteknix Systems Limited Correction of non-uniformity of response in sensor arrays

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471240A (en) * 1993-11-15 1995-11-28 Hughes Aircraft Company Nonuniformity correction of an imaging sensor using region-based correction terms
JP3024532B2 (ja) * 1995-12-15 2000-03-21 日本電気株式会社 熱型赤外線撮像装置
JP3226859B2 (ja) * 1997-11-17 2001-11-05 日本電気株式会社 撮像装置
JP3149919B2 (ja) * 1997-12-03 2001-03-26 日本電気株式会社 固体撮像素子及びこれを用いた読み出し回路
US7015960B2 (en) * 2003-03-18 2006-03-21 Candela Microsystems, Inc. Image sensor that uses a temperature sensor to compensate for dark current
JP4991435B2 (ja) * 2007-08-02 2012-08-01 キヤノン株式会社 撮像装置
US8655614B2 (en) * 2007-11-30 2014-02-18 The Boeing Company Position only fit, POF, algorithm for blur spot target tracking and discrimination
US7995859B2 (en) * 2008-04-15 2011-08-09 Flir Systems, Inc. Scene based non-uniformity correction systems and methods
CA2757323C (en) * 2008-05-22 2014-10-28 George B. Stevens Stereoscopic measurement system and method
US8094215B2 (en) * 2008-10-02 2012-01-10 Altasens, Inc. Digital column gain mismatch correction for 4T CMOS imaging systems-on-chip
JP5640316B2 (ja) * 2009-02-24 2014-12-17 株式会社ニコン 撮像装置
US20130314536A1 (en) * 2009-03-02 2013-11-28 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9237284B2 (en) * 2009-03-02 2016-01-12 Flir Systems, Inc. Systems and methods for processing infrared images
EP2471258B1 (en) * 2009-08-25 2017-05-24 Dual Aperture International Co. Ltd. Reducing noise in a color image
CA2826675C (en) * 2011-02-25 2018-04-10 Photonis Netherlands B.V. Acquiring and displaying images in real-time
EP2693742B1 (en) * 2011-03-30 2016-08-31 Sony Corporation A/d converter, solid-state imaging device and drive method, as well as electronic apparatus
JP5871496B2 (ja) * 2011-06-24 2016-03-01 キヤノン株式会社 撮像装置及びその駆動方法
CN102385701B (zh) * 2011-10-14 2013-09-18 华中科技大学 扫描型红外成像系统的非均匀校正方法
FR2987210B1 (fr) * 2012-02-22 2014-02-21 Ulis Procede de correction de la derive d'un detecteur de rayonnement infrarouge comportant une matrice de bolometres resistifs d'imagerie et dispositif mettant en oeuvre un tel procede
JP6045220B2 (ja) * 2012-06-27 2016-12-14 キヤノン株式会社 撮像素子および撮像装置
CN102779332A (zh) * 2012-07-09 2012-11-14 中国人民解放军国防科学技术大学 时域卡尔曼滤波修正的非线性拟合红外非均匀校正方法
US20140028861A1 (en) * 2012-07-26 2014-01-30 David Holz Object detection and tracking
IN2015MN00019A (ko) * 2012-07-26 2015-10-16 Olive Medical Corp
CN102855610B (zh) * 2012-08-03 2015-11-04 南京理工大学 采用参数正确性因子的红外图像非均匀性校正方法
CN103076096A (zh) * 2013-01-07 2013-05-01 南京理工大学 基于中值直方图均衡的红外非均匀性校正算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006025146A (ja) 2004-07-07 2006-01-26 Sony Corp 固体撮像素子装置及び信号処理方法
US20100030506A1 (en) 2006-12-28 2010-02-04 Thermoteknix Systems Limited Correction of non-uniformity of response in sensor arrays
US20090202177A1 (en) 2008-02-07 2009-08-13 Eric Jeffrey Non-Uniform Image Resizer

Also Published As

Publication number Publication date
JP6887597B2 (ja) 2021-06-16
EP2940991A1 (fr) 2015-11-04
CA2889654A1 (fr) 2015-10-30
CA2889654C (fr) 2022-11-29
FR3020735B1 (fr) 2017-09-15
RU2015115885A (ru) 2016-11-20
US20150319387A1 (en) 2015-11-05
KR20150125609A (ko) 2015-11-09
CN105049752A (zh) 2015-11-11
EP2940991B1 (fr) 2017-09-27
RU2677576C2 (ru) 2019-01-17
RU2015115885A3 (ko) 2018-11-01
US10015425B2 (en) 2018-07-03
JP2015212695A (ja) 2015-11-26
FR3020735A1 (ko) 2015-11-06
CN105049752B (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
KR102391619B1 (ko) 비-균일성 정정을 위한 적외선 이미지 처리 방법
EP3499873B1 (en) Correction for variations in received light amount in photon counting image sensor
KR100946536B1 (ko) 광학적으로 검은 픽셀 및 결합된 픽셀을 모두 사용하여이미저에서 블랙 레벨을 설정하는 방법 및 장치
Zuo et al. Improved interframe registration based nonuniformity correction for focal plane arrays
Tendero et al. Efficient single image non-uniformity correction algorithm
WO2007086063A2 (en) Non-uniformity correction of images generated by focal plane arrays of photodetectors
US20080259180A1 (en) Methods, systems and apparatuses for high-quality green imbalance compensation in images
RU2717346C2 (ru) Коррекция плохих пикселей в устройстве захвата инфракрасных изображений
Wang Stripe noise removal for infrared image by minimizing difference between columns
Liu et al. Interframe phase-correlated registration scene-based nonuniformity correction technology
JP2016126592A5 (ko)
CN113379636B (zh) 一种红外图像非均匀性校正方法、装置、设备及存储介质
RU2705434C2 (ru) Обнаружение плохих пикселей в устройстве получения инфракрасных изображений
San Martin et al. Statistical recursive filtering for offset nonuniformity estimation in infrared focal-plane-array sensors
RU2744483C1 (ru) Способ компенсации геометрического шума в видеопоследовательности инфракрасных изображений, основанный на анализе наблюдаемой сцены
US11875483B2 (en) Method and device for removing remanence in an infrared image of a changing scene
JP6036998B2 (ja) 撮像装置、画像補正方法及び、画像補正プログラム
Rossi et al. A technique for ghosting artifacts removal in scene-based methods for non-uniformity correction in IR systems
Gopan et al. Scene based Non-uniformity Correction for Optical Remote Sensing Imagery
CN113767419A (zh) 用于去除静态场景的红外图像中的余辉的方法和设备
JP2019213193A (ja) 赤外線撮像装置及びそれに用いられるプログラム
Rossi et al. Improved nonuniformity correction using bilateral filters
Pipa et al. Joint bias and gain nonuniformity correction of infrared videos using tensorial-RLS technique
San Martin et al. Wavelet-FFT Filter Applied to Non Uniformity Correction in Infrared Imaging System
Zapata et al. An experimental validation of the Gauss-Markov model for nonuniformity noise in infrared focal plane array sensors

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant