WO2016185709A1 - 赤外線撮像装置及び固定パターンノイズデータの更新方法 - Google Patents

赤外線撮像装置及び固定パターンノイズデータの更新方法 Download PDF

Info

Publication number
WO2016185709A1
WO2016185709A1 PCT/JP2016/002400 JP2016002400W WO2016185709A1 WO 2016185709 A1 WO2016185709 A1 WO 2016185709A1 JP 2016002400 W JP2016002400 W JP 2016002400W WO 2016185709 A1 WO2016185709 A1 WO 2016185709A1
Authority
WO
WIPO (PCT)
Prior art keywords
infrared
fixed pattern
pattern noise
detector
detector element
Prior art date
Application number
PCT/JP2016/002400
Other languages
English (en)
French (fr)
Inventor
善工 古田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201680028646.8A priority Critical patent/CN107615017B/zh
Priority to JP2017518761A priority patent/JP6291629B2/ja
Publication of WO2016185709A1 publication Critical patent/WO2016185709A1/ja
Priority to US15/814,615 priority patent/US10523883B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/0228—Control of working procedures; Failure detection; Spectral bandwidth calculation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/0252—Constructional arrangements for compensating for fluctuations caused by, e.g. temperature, or using cooling or temperature stabilization of parts of the device; Controlling the atmosphere inside a photometer; Purge systems, cleaning devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/0295—Constructional arrangements for removing other types of optical noise or for performing calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/04—Optical or mechanical part supplementary adjustable parts
    • G01J1/0407—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings
    • G01J1/0411—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings using focussing or collimating elements, i.e. lenses or mirrors; Aberration correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/04—Optical or mechanical part supplementary adjustable parts
    • G01J1/0407—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings
    • G01J1/0448—Adjustable, e.g. focussing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/026—Control of working procedures of a pyrometer, other than calibration; Bandwidth calculation; Gain control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/06—Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/08—Optical arrangements
    • G01J5/0806—Focusing or collimating elements, e.g. lenses or concave mirrors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/08—Optical arrangements
    • G01J5/084—Adjustable or slidable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • H04N25/674—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/444—Compensating; Calibrating, e.g. dark current, temperature drift, noise reduction or baseline correction; Adjusting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J2005/106—Arrays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/06—Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity
    • G01J5/064—Ambient temperature sensor; Housing temperature sensor; Constructional details thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/06—Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity
    • G01J5/068—Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity by controlling parameters other than temperature
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems

Definitions

  • the present invention relates to an infrared imaging device, and more particularly to an infrared imaging device including an infrared detector that detects incident infrared rays and converts them into electrical signals.
  • the present invention also relates to a method for updating fixed pattern noise data in such an infrared imaging device.
  • an infrared imaging device that detects incident infrared light (infrared rays) and generates an infrared image is known.
  • an infrared imaging device includes an infrared detector that detects infrared rays emitted from a subject and converts them into electrical signals.
  • Infrared imaging devices are used in a wide range of fields, such as surveillance cameras, night vision devices, thermography, and remote monitoring devices mounted on vehicles, airplanes, and the like.
  • infrared imaging devices fixed pattern noise unique to the device such as variations in sensitivity of infrared detectors and variations in circuit gain and offset occurs.
  • each detector element in the array has a variation in characteristics. Fixed pattern noise that changes with time is generated.
  • fixed pattern noise occurs, even if a surface with a uniform temperature is imaged by an infrared imaging device, the pixel value varies and a uniform image cannot be obtained.
  • the fixed pattern noise data is acquired, for example, in a state where a light source having a uniform light amount is installed on the front surface of the infrared detector and infrared rays incident on the infrared detector from the outside are blocked.
  • Patent Document 2 discloses an infrared imaging device that can acquire fixed pattern noise data without using a shutter mechanism.
  • the infrared imaging apparatus described in Patent Document 2 is fixed from an optical system that collects light emitted from a target object (subject) and enters the infrared detector, and an image signal (image data) output from the infrared detector. And a subtractor for outputting image data obtained by subtracting the pattern noise data.
  • the optical system is positioned at a focus position by a focus adjustment mechanism during normal imaging.
  • the optical system is controlled to be out of focus when the fixed pattern noise data is acquired.
  • the optical system is out of focus, light from all directions within the observation field of the optical system is uniformly incident on the infrared detector.
  • the light beam incident on the optical system from various directions does not form an image at a specific point of the infrared detector, and is incident on the detection surface of the infrared detector equally.
  • Negative feedback is applied to the subtracter as feedback data based on this error as fixed pattern noise data, and the feedback data when the output image data of the subtractor and the expected value data are almost the same is held as fixed pattern noise data. .
  • Patent Document 2 a light source having a uniform light amount is installed on the front surface of an infrared detector, and image data obtained in a state where infrared rays incident on the infrared detector from the outside are blocked is used as expected value data of fixed pattern noise. ing.
  • image data obtained in a state where infrared rays incident on the infrared detector from the outside are blocked is used as expected value data of fixed pattern noise.
  • the present invention does not require a shutter mechanism, and even when light from all directions within the observation field of view does not uniformly enter the detection surface of the infrared detector, acquisition of fixed pattern noise data
  • An infrared imaging device capable of performing the above is provided.
  • the present invention also provides a method for updating fixed pattern noise data in such an infrared imaging device.
  • the present invention includes an optical system capable of controlling the imaging position and a plurality of detector elements for detecting incident infrared rays, and infrared rays are incident on the infrared detection surface via the optical system.
  • the optical system is coupled with an infrared detector, a noise correction processing unit that removes fixed pattern noise from the infrared detection signal by subtracting the fixed pattern noise data from the infrared detection signal detected by a plurality of detector elements.
  • a focus control unit that controls the image position, and an infrared detection signal detected by a plurality of detector elements in a state in which the focus control unit controls the imaging position of the optical system to place the optical system in a non-focused state.
  • a noise data update processing unit that calculates a fixed pattern noise component amount and updates the fixed pattern noise data with the calculated fixed pattern noise component amount. For each detector element to be processed for calculating the amount of fixed pattern noise component, the average value of the detection signals of a plurality of surrounding detector elements including each detector element is calculated and updated from the calculated average value By subtracting the average value of the previous fixed pattern noise data, a signal component depending on the incident infrared ray included in the detection signal of each detector element is calculated, and the calculated signal component is subtracted from the detection signal of each detector element. Accordingly, an infrared imaging device is provided that calculates the amount of a fixed pattern noise component.
  • the noise data update processing unit calculates, for each detector element, a difference between the calculated amount of the fixed pattern noise component and the fixed pattern noise data before the update, and the difference is the first value. It is preferable to update the fixed pattern noise data with the calculated amount of the fixed pattern noise component for the detector elements that are equal to or less than the threshold. In addition, it is preferable that the noise data update processing unit does not update the fixed pattern noise data for the detector elements in which the difference is larger than the first threshold value.
  • the noise data update processing unit When the ratio of the number of detector elements in which a difference in the area is larger than the first threshold is higher than the second threshold, the noise data update processing unit The fixed pattern noise data may not be updated for the included detector elements.
  • the noise data update processing unit calculates an average value by adding the detection signals of the detector elements existing around the detector element of interest.
  • the average value of the detection signal may be a weighted average value obtained by weighted addition of detection signals of detector elements existing around the detector element including the target detector element and calculating a weighted average.
  • the weight multiplied by each detector element in the weighted addition is set according to the distance between each surrounding detector element and the detector element of interest.
  • the weight is preferably set larger as the distance from the detector element of interest is shorter.
  • the infrared imaging device of the present invention may further include a temperature measuring unit that measures the ambient temperature.
  • the noise data update processing unit updates the fixed pattern noise data when the difference between the ambient temperature measured by the temperature measurement unit and the ambient temperature at the time of the previous update of the fixed pattern noise data is equal to or greater than the temperature difference threshold value. May be performed.
  • the noise data update processing unit may periodically and repeatedly update the fixed pattern noise data.
  • the present invention is also a method for updating fixed pattern noise data indicating fixed pattern noise in an infrared detector including a plurality of detector elements, the optical system capable of controlling an imaging position, and an infrared detector
  • updating the fixed pattern noise data with the calculated amount of the fixed pattern noise component.
  • the step of calculating the amount of the fixed pattern noise component for each detector element to be processed, Calculate the average value of the detection signals of multiple surrounding detector elements, including the, and subtract the average value of the fixed pattern noise data before update from the calculated average value.
  • the signal component depending on the incident infrared ray included in the detection signal of each detector element is calculated, and the amount of the fixed pattern noise component is calculated by subtracting the calculated signal component from the detection signal of each detector element.
  • a method of updating fixed pattern noise data is provided.
  • infrared light is incident on the infrared detector in a state where the optical system is controlled to be out of focus, and each detector element is processed for each detector element to be processed. Is included in the detection signal of each detector element by subtracting the average value of the fixed pattern noise data before update from the calculated average value. A signal component depending on the incident infrared ray is calculated. The amount of the fixed pattern noise component is calculated by subtracting the calculated signal component from the detection signal of each detector element.
  • FIG. 1 is a block diagram showing an infrared imaging device according to a first embodiment of the present invention.
  • the block diagram which shows the structure of a digital signal processing part.
  • the block diagram which shows the structure of a noise data update process part.
  • the figure which shows an example of the range used as a surrounding detector element.
  • the figure which shows an example of the weight used when calculating a weighted average value.
  • It is a figure which shows the signal component depending on incident infrared rays, a fixed pattern noise component, and an infrared detection signal.
  • the flowchart which shows the procedure of the update method of the fixed pattern noise data which concerns on 1st Embodiment of this invention.
  • the block diagram which shows the structure of the noise data update process part in the infrared imaging device which concerns on 2nd Embodiment of this invention.
  • the flowchart which shows the procedure of the update method of the fixed pattern noise data which concerns on 2nd Embodiment of this invention.
  • the figure which shows the example of a division
  • FIG. 1 shows an infrared imaging device according to the first embodiment of the present invention.
  • the infrared imaging apparatus 100 includes an optical system 10, an infrared detector 11, an analog signal processing unit 12, an AD converter (Analog Digital Convertor) 13, a digital signal processing unit 14, an output unit 15, a focus adjustment mechanism 16, and a position sensor 17.
  • the infrared imaging device 100 may be one completed product or a module used by being incorporated in another product.
  • the optical system 10 is an imaging optical system including one or more lenses.
  • the optical system 10 can control the position of the imaging plane (imaging position).
  • the infrared detector 11 is an infrared imaging device (infrared sensor), which captures an optical image formed by the optical system 10 and converts it into an electrical signal.
  • the infrared detector 11 includes a plurality of detector elements that detect incident infrared light (infrared rays). In the infrared detector 11, a plurality of detector elements are arranged in a two-dimensional manner, for example. Infrared rays are incident on an infrared detection surface (hereinafter also simply referred to as a detection surface) of the infrared detector 11 through the optical system 10.
  • An infrared image is constructed based on the detection signal of each detector element of the infrared detector 11.
  • the infrared detector 11 detects infrared rays in the wavelength range of 0.83 ⁇ m to 1000 ⁇ m, for example.
  • the infrared detector 11 is preferably one that detects far-infrared rays in the wavelength range of 6 ⁇ m to 1000 ⁇ m.
  • the infrared detector 11 can be a thermal infrared sensor such as a microbolometer or an SOI (Silicon-on-Insulator) diode type.
  • the analog signal processing unit 12 performs analog electrical processing on the infrared detection signal output from the infrared detector 11.
  • the analog signal processing unit 12 typically includes an amplifier that amplifies the infrared detection signal.
  • the AD converter 13 samples the infrared detection signal and converts the sampled infrared detection signal into digital data (digital signal value).
  • the digital signal processing unit 14 performs signal processing on the infrared detection signal converted into digital data by the AD converter 13.
  • the signal processing in the digital signal processing unit 14 includes fixed pattern noise (hereinafter also referred to as FPN (Fixed Pattern Noise)) correction processing of the infrared detection signal, and update processing of FPN data used in the correction processing.
  • FPN Fixed Pattern Noise
  • the control unit 19 controls the entire apparatus.
  • a PLD Programmable Logic Device
  • FPGA Field-Programmable Gate Array
  • the control unit 19 switches the operation mode of the infrared imaging device 100 between the normal imaging mode and the FPN data update mode.
  • the control unit 19 controls the signal processing in the digital signal processing unit 14 according to the operation mode through the control signal. Specifically, the digital signal processing unit 14 performs the FPN correction process in the normal imaging mode, and the FPN data update process in the FPN data update mode.
  • the temperature sensor (temperature measurement unit) 18 measures, for example, the temperature of the infrared detector 11 and its surroundings.
  • the control unit 19 may switch the operation mode to an FPN data update mode based on a change in temperature measured by the temperature sensor 18. For example, when the difference between the temperature measured by the temperature sensor 18 and the temperature at the time of the previous FPN data update is equal to or greater than a threshold (temperature threshold), the operation mode is switched to the FPN update mode and the FPN data is updated. An update may be performed. Further, the control unit 19 may periodically and repeatedly switch to the FPN data update mode between the normal imaging modes. In this case, the mode may be switched to the FPN data update mode after a certain time has elapsed since the last update time of the FPN data. The update period of FPN data does not need to be constant.
  • the focus adjustment mechanism 16 adjusts the relative positional relationship between the optical system 10 and the infrared detector 11. In the following description, it is assumed that the relative positional relationship between the optical system 10 and the infrared detector 11 is adjusted by changing the position of the optical system 10.
  • the focus adjustment mechanism 16 includes, for example, a motor that changes the position of a lens included in the optical system 10 and a drive circuit that drives the motor.
  • the position sensor 17 detects the position of a lens included in the optical system 10. When the position of the lens included in the optical system 10 changes, the imaging position of the optical system 10 changes.
  • the control unit 19 also functions as a focus control unit that controls the imaging position of the optical system 10.
  • the control unit 19 transmits a position signal for controlling the position of the optical system 10 to the focus adjustment mechanism 16.
  • the focus adjustment mechanism 16 moves the optical system 10 to the position indicated by the received position signal.
  • the control unit 19 controls the position of the optical system 10 through the focus adjustment mechanism 16 to a position where the imaging surface of the optical system 10 coincides with the detection surface of the infrared detector 11.
  • the position of the optical system 10 may be changed following the movement of the subject, or may be fixed at a certain position.
  • the control unit 19 controls the position of the optical system 10 through the focus adjustment mechanism 16 so that the image plane of the optical system 10 does not coincide with the detection surface of the infrared detector 11. .
  • the control unit 19 adjusts the position of the optical system 10 such that the optical system 10 is in a focused state when the subject is closest to the optical system 10 or the optical system 10 is aligned when the subject is at infinity.
  • the position is controlled to be in focus.
  • an out-of-focus state a state in which the imaging surface of the optical system 10 does not coincide with the detection surface of the infrared detector 11 is referred to as an out-of-focus state. That is, a state in which an image by the optical system 10 is not formed on the detector element of the infrared detector 11 is referred to as an out-of-focus state. It is not necessary that an image is not formed in all the detector element regions, and even if an image is formed in a part of the region, it is assumed that the entire region is out of focus. Further, a state where the imaging surface of the optical system 10 coincides with the detection surface of the infrared detector 11 is referred to as an in-focus state.
  • a state where an image formed by the optical system 10 is formed on the detector element of the infrared detector 11 is referred to as a focused state.
  • the imaging surface of the optical system 10 and the detection surface of the infrared detector 11 do not have to be completely coincident with each other, and include a state where the subject is resolved to the detection surface of the infrared detector 11 so that the subject can be recognized.
  • the output unit 15 outputs an infrared detection signal (image data) subjected to signal processing by the digital signal processing unit 14.
  • the output unit 15 outputs, for example, an infrared detection signal to a display device (not shown in FIG. 1) and displays an infrared image on the display screen.
  • the infrared detection signal may be output to an external storage device (not shown in FIG. 1) such as a hard disk device or a memory card and stored in the external storage device.
  • the infrared detection device may be transmitted to an external server or processing device via a network or a communication cable.
  • the output unit 15 includes, for example, a DA converter (Digital / Analog / Convertor) that converts a digital signal into an analog signal, and outputs an infrared detection signal as an analog signal.
  • the output unit 15 may output the infrared detection signal as a digital signal.
  • FIG. 2 shows the configuration of the digital signal processing unit 14.
  • the digital signal processing unit 14 includes a switch 41, a noise correction processing unit 42, an FPN data storage unit 43, and a noise data update processing unit 44.
  • the digital signal processing unit 14 is typically configured as an LSI (Large Scale Integration) such as a DSP (Digital Signal Processor).
  • a DSP typically includes a processor, a ROM (Read Only Memory) that stores instructions for the processor, and a RAM (Random Access Memory) that stores data, which are connected via a bus.
  • Functions such as the noise correction processing unit 42 and the noise data update processing unit 44 are realized by the processor operating according to instructions stored in the ROM.
  • the DPS may have an interface for connecting to an external storage device or the like.
  • the switch 41 digital data of an infrared detection signal output from the AD converter 13 (see FIG. 1) (hereinafter, the infrared detection signal converted into digital data is referred to as an infrared detection signal without particular distinction). Is entered).
  • the switch 41 selectively outputs the infrared detection signal to the noise correction processing unit 42 and the noise data update processing unit 44.
  • the switch 41 is switched based on, for example, a control signal output from the control unit 19.
  • the control unit 19 causes the noise correction processing unit 42 to output an infrared detection signal from the switch 41 in the normal imaging mode.
  • the control unit 19 causes the noise data update processing unit 44 to output an infrared detection signal from the switch 41. Further, it instructs the noise data update processing unit 44 to update the FPN data.
  • the FPN data storage unit 43 stores FPN data.
  • FPN refers to a noise component included in the detection signal of each detector element, which is specific to each detector element (each pixel) of the infrared detector 11 (see FIG. 1).
  • the FPN data is data representing the FPN of each detector element, and is a set of FPNs of each detector element.
  • the FPN data storage unit 43 is detected by the infrared detector 11 in a state where a light source having a uniform light amount is installed on the front surface of the infrared detector 11 and infrared rays incident on the infrared detector 11 from the outside are blocked.
  • the infrared detection signal may be stored as FPN data.
  • the FPN data storage unit 43 may be configured, for example, in a RAM included in the digital signal processing unit 14, or may be configured by a rewritable nonvolatile memory such as an EEPROM (Electrically Erasable and Programmable Read Only Memory). Also good.
  • EEPROM Electrically Erasable and Programmable Read Only Memory
  • the noise correction processing unit 42 refers to the FPN data storage unit 43 to correct (remove) the FPN component included in the infrared detection signal. More specifically, the FPN is removed from the infrared detection signal by subtracting the FPN data from the infrared detection signal. The noise correction processing unit 42 subtracts the FPN data of each detector element from the infrared detection signal output from each detector element included in the infrared detector 11, thereby removing a noise component specific to each detector element. Thus, a signal component depending on the amount of incident infrared rays is output.
  • the noise data update processing unit 44 receives an infrared detection signal detected by the infrared detector 11 through the switch 41 in a state where the optical system is controlled to be out of focus.
  • the noise data update processing unit 44 calculates the amount of FPN component (its estimated value) based on the infrared detection signal. More specifically, the noise data update processing unit 44 calculates, for each detector element to be processed for calculating the amount of the FPN component, infrared detection signals of a plurality of surrounding detector elements including the target detector element. By calculating the average value and subtracting the average value of the FPN data before update from the average value, a signal component depending on the incident infrared ray included in the infrared detection signal detected by the detector element of interest is calculated.
  • the noise data update processing unit 44 calculates the amount of the FPN component by subtracting the calculated signal component from the infrared detection signal detected by the detector element of interest.
  • the noise data update processing unit 44 updates the FPN data stored in the FPN data storage unit 43 with the calculated amount of FPN component.
  • updating the FPN data means rewriting the FPN data stored in the FPN data storage unit 43 with new data.
  • the update of the FPN data includes not only updating all detector elements included in the infrared detector 11 at a time but also partially updating a part of all detector elements. For example, when the infrared detector 11 includes 100 detector elements, the FPN data of the 100 detector elements may be updated at one time, or 40 to 70 out of 100 per update. The FPN data of the individual detector elements may be updated.
  • FIG. 3 shows the configuration of the noise data update processing unit 44.
  • the noise data update processing unit 44 includes a signal average value calculation unit 51, an FPN average value calculation unit 52, a subtracter 53, a subtracter 54, a data update unit 55, and a frame memory 56.
  • the frame memory 56 an infrared image captured by the infrared detector 11 is stored.
  • the frame memory 56 may be a part of the noise data update processing unit 44, or may be provided outside the noise data update processing unit 44.
  • the signal average value calculation unit 51 refers to the frame memory 56 and calculates the average value of the infrared detection signals of a plurality of peripheral detector elements including the detector element of interest. More specifically, the signal average value calculation unit 51 adds the infrared detection signals of a plurality of detector elements existing around the detector element including the target detector element, and divides the added value by the number of detector elements. The calculated value is calculated as an average value.
  • the peripheral detector elements refer to detector elements around the target detector element and having a certain positional relationship with the target detector element. For example, it refers to a detector element existing in a 3 ⁇ 3, 5 ⁇ 5, or 7 ⁇ 7 pixel range centered on a pixel of interest (detector element).
  • the range of the surrounding detector elements is defined as a pixel range of 30 ⁇ 30 at the maximum, for example.
  • a ratio to the total number of detector elements included in the infrared detector 11, for example, 1% of the total number may be defined as the peripheral range.
  • FIG. 4 shows an example of the range of surrounding detector elements.
  • the 5 ⁇ 5 pixel range centered on the pixel of interest is the range of the surrounding detector elements.
  • the signal average value calculation unit 51 has the detector elements included in the coordinate range of (x ⁇ 2, y ⁇ 2) to (x + 2, y + 2), where (x, y) is the coordinate of the detector element of interest. Add infrared detection signal.
  • the signal average value calculation unit 51 calculates the average value of the infrared detection signal for each position, for example, while raster scanning the position of the detector element of interest. Note that, at the edge of the image, since the pixel range extends beyond the image, the range of the surrounding detector elements may be narrower than the pixel range.
  • the average value calculated by the signal average value calculation unit 51 may be a weighted average value. That is, the average value may be a value obtained by weighted addition of detection signals of detector elements existing in the vicinity including the target detector element and dividing the added value by the total weight value.
  • the weight multiplied by each detector element in the weighted addition is preferably set according to the distance between the detector element of interest and each of the surrounding detector elements. For example, the weight is preferably set to be larger as the distance from the detector element of interest is shorter and smaller as the distance is longer.
  • FIG. 5 shows an example of the weight used when calculating the weighted average value.
  • the range for obtaining the average value is a 5 ⁇ 5 pixel range as in FIG.
  • the weight of the detector element of interest is set to the largest value, for example “3”.
  • a weight “2” is set to a detector element at a position shifted from the target detector element by one in the vertical direction and / or the horizontal direction of the image.
  • a minimum weight for example, a weight “1” is set for a detector element at a position shifted by two in the vertical direction and / or the horizontal direction of the image from the target detector element.
  • the setting of the weight shown in FIG. 5 is an example, and the weight can be arbitrarily set.
  • the FPN average value calculation unit 52 calculates the average value of the FPN data stored in the FPN data storage unit 43.
  • the FPN average value calculation unit 52 adds the FPN data of the detector elements included in the same range as the pixel range in which the signal average value calculation unit 51 calculated the average value.
  • the signal average value calculation unit 51 includes detector elements (x, y-2) to (x + 2, y + 2) that are included in the range of the detector element (x, y) of interest.
  • the FPN average value calculation unit 52 adds the FPN data in the same range.
  • the FPN average value calculation unit 52 calculates a value obtained by dividing the added value of the FPN data by the number of detector elements added, as an average value of the FPN data.
  • the weighted average value may be calculated using the same weight for the FPN data.
  • FIG. 6 is a diagram illustrating a signal component depending on incident infrared rays, a fixed pattern noise component, and an infrared detection signal.
  • FIG. 6 shows signal components that depend on incident infrared rays, fixed pattern noise components, and infrared detection signals for five detector elements 1 to 5.
  • the optical system 10 In the normal imaging mode, the optical system 10 (see FIG. 1) is controlled to be in focus, and the amount of infrared light incident on the detector element varies depending on the subject image. Therefore, as shown in FIG. 6, the signal components S1 to S5 depending on the infrared rays incident on the detector elements are often not equal to each other.
  • the fixed pattern noise components FPN1 to FPN5 of each detector element are specific to the detector element and do not depend on the amount of signal components.
  • the infrared detection signals DS1 to DS5 of the detector elements are obtained by adding fixed pattern noise components FPN1 to FPN5 to the signal components S1 to S5, respectively.
  • FIG. 7 shows an infrared detection signal detected in a state where the optical system 10 is controlled to be out of focus, and signal components depending on incident infrared rays included in the infrared detection signal.
  • the optical system 10 is brought out of focus, the subject image is formed at a position shifted from the detection surface of the infrared detector 11, and the subject is not resolved.
  • the infrared image picked up by the infrared detector 11 is a blurred image, and the difference between the amount of infrared light incident on the detector element at a certain position and the amount of infrared light incident on the surrounding detector elements is This is smaller than when the optical system 10 is in focus. Therefore, as shown in FIG.
  • the signal components S11 to S15 depending on the incident infrared rays can be expected to have substantially the same value.
  • the average value of the signal components S11 to S15 is considered to be substantially equal to the signal component of the detector element 3.
  • the average value of the signal components S11 to S15 can be calculated by the following procedure, assuming that the FPN of each detector element does not change significantly before and after the update. First, the average value of the infrared detection signals DS11 to DS15 of each detector element is calculated. As shown in FIG. 7, the infrared detection signals DS11 to DS15 include fixed pattern noise components FPN1 to FPN5 (see FIG. 6). Next, an average value of the fixed pattern noise components FPN1 to FPN5 is calculated. The average value of the signal components S11 to S15 can be calculated by subtracting the average value of the fixed pattern noise components FPN1 to FPN5 from the average value of the infrared detection signals DS11 to DS15.
  • This average value can be estimated to be equal to the signal component of the detector element of interest (for example, the central detector element 3).
  • the amount of the fixed pattern noise component of the detector element of interest can be calculated by subtracting the average value of the signal component from the detection signal of the detector element. The amount of the fixed pattern noise component calculated in this way can be used as update data for FPN data.
  • the subtractor 53 subtracts the average value calculated by the FPN average value calculation unit 52 from the average value calculated by the signal average value calculation unit 51.
  • the output of the subtractor 53 corresponds to the signal component of the detector element of interest.
  • the subtractor 54 acquires the infrared signal (its value) of the detector element of interest from the frame memory 56 and subtracts the output from the infrared detection signal to the subtractor 53.
  • the output of the subtractor 54 corresponds to the amount of the FPN component of the detector element of interest.
  • the data update unit 55 updates the FPN data of the detector element of interest stored in the FPN data storage unit 43 with the amount of the FPN component of the detector element of interest output from the subtractor 54.
  • FIG. 8 shows a procedure of a method for updating fixed pattern noise data according to the first embodiment of the present invention.
  • the infrared imaging device 100 operates in the normal imaging mode.
  • the infrared detection signal detected by the infrared detector 11 is input to the digital signal processing unit 14 via the analog signal processing unit 12 (see FIG. 1) and the AD converter 13.
  • the digital signal processing unit 14 performs FPN correction processing for removing FPN from the infrared detection signal.
  • the infrared detection signal from which the FPN has been removed is output from the output unit 15.
  • the control unit 19 switches the operation mode from the normal imaging mode to the FPN data update mode (step A1). For example, the control unit 19 switches the operation mode to the FPN data update mode after the difference between the temperature measured by the temperature sensor 18 and the temperature at the time of the previous FPN data update becomes equal to or higher than the temperature threshold value. Alternatively, the control unit 19 switches the operation mode to the FPN data update mode when a time equal to or more than a reference time has elapsed since the last update time of the FPN data. By switching the operation mode to the FPN data update mode, the signal processing in the digital signal processing unit 14 is switched from the FPN correction process to the FPN data update process.
  • the control unit 19 controls the optical system 10 to the out-of-focus state via the focus adjustment mechanism 16 (step A2).
  • step A ⁇ b> 2 the control unit 19 controls the position of the optical system 10 to a position where the imaging surface of the optical system 10 does not coincide with the detection surface of the infrared detector 11 by the position signal transmitted to the focus adjustment mechanism 16.
  • the control unit 19 transmits a position signal indicating the position where the optical system 10 is in focus to the focus adjustment mechanism 16.
  • a position signal indicating the position at which the optical system 10 is in focus when the subject exists at infinity is transmitted to the focus adjustment mechanism 16.
  • control unit 19 focuses the position of the optical system 10 detected by the position sensor 17 when the FPN data update mode is switched in step A1 and the optical system 10 when the subject is closest to the optical system 10.
  • the position signal to be transmitted to the focus adjustment mechanism 16 may be determined according to the positional relationship between the position where the optical system 10 is in focus and the position where the optical system 10 is in focus when the subject is at infinity.
  • the control unit 19 sets the position of the optical system 10 detected by the position sensor 17 to Px, sets the position of the optical system 10 that is in focus when the subject is closest to the optical system 10 to P1, and sets the subject to infinity.
  • the infrared detector 11 detects infrared rays in a state where the optical system 10 is controlled to be out of focus (step A3).
  • the infrared detection signal output from the infrared detector 11 is input to the digital signal processing unit 14 via the analog signal processing unit 12 and the AD converter 13.
  • the noise data update processing unit 44 (see FIG. 2) of the digital signal processing unit 14 inputs an infrared detection signal via the switch 41.
  • the infrared detection signal detected by each detector element of the infrared detector 11 is stored in the frame memory 56 (see FIG. 3).
  • the signal average value calculation unit 51 selects a detector element (target pixel) of interest from the detector elements of the infrared detector 11 (step A4).
  • the signal average value calculation unit 51 refers to the frame memory 56 and calculates the average value of the infrared detection signals detected by the peripheral detector elements including the detector element of interest (step A5).
  • the FPN average value calculation unit 52 refers to the FPN data storage unit 43 and calculates the average value of the FPN data of the peripheral detector elements including the detector element of interest (step A6).
  • the subtractor 53 calculates the difference between the average value of the infrared detection signal calculated in step A5 and the average value of the FPN data calculated in step A6 (step A7). This difference corresponds to the signal component of the detector element of interest as described above.
  • the subtractor 54 receives the infrared detection signal of the detector element of interest from the frame memory 56, and subtracts the difference (signal component of the detector element of interest) calculated in step A7 from the infrared detection signal.
  • the amount of the FPN component of the detector element of interest is calculated (step A8).
  • the data update unit 55 rewrites the FPN data of the detector element of interest stored in the FPN data storage unit 43 with the amount of the FPN component of the detector element of interest output from the subtractor 54 (step A9).
  • the noise data update processing unit 44 determines whether or not there is a detector element not selected as the target detector element (step A10). If there is an unselected detector element, the process returns to step A4 to select the next detector element. The noise data update processing unit 44 repeatedly performs the processing from step A4 to step A9 until there is no unselected detector element, for example, while raster scanning the position of the detector element of interest. Thereby, the FPN data of each detector element included in the infrared detector 11 is updated.
  • control unit 19 switches the operation mode from the FPN data update mode to the normal imaging mode (step A11).
  • the control unit 19 controls the optical system 10 to the in-focus state via the focus adjustment mechanism 16.
  • the signal processing in the digital signal processing unit 14 is switched from the FPN data update process to the FPN correction process.
  • the digital signal processing unit 14 performs FPN correction processing using the FPN data updated in step A9.
  • the optical system 10 is controlled to be out of focus in the FPN data update mode.
  • the optical system in the out-of-focus state By controlling the optical system in the out-of-focus state, the infrared rays incident on the detection elements of the infrared detector 11 can be made almost uniform at least locally.
  • an average value of infrared detection signals detected in an out-of-focus state is calculated in a range of a plurality of surrounding detector elements including each detector element, and the average value thereof Is subtracted from the average value of the FPN data before update, thereby calculating a signal component depending on the incident infrared ray included in the detection signal of each detector element.
  • the amount of FPN component (its estimated value) can be calculated. By doing so, the amount of FPN component can be calculated even when the infrared rays incident on each detector element are not uniform in the entire image, and the FPN data can be updated with the calculated amount of FPN component. . In the present embodiment, it is not necessary to provide a separate shutter mechanism for acquiring FPN data.
  • FIG. 9 shows a configuration of a noise data update processing unit in the infrared imaging apparatus according to the second embodiment of the present invention.
  • the configuration of the infrared imaging device is the same as that of the infrared imaging device 100 according to the first embodiment shown in FIG. 1, and the configuration of the digital signal processing unit is the digital signal used in the first embodiment shown in FIG.
  • the configuration is the same as that of the processing unit 14.
  • the noise data update processing unit 44a included in the digital signal processing unit includes a determination unit 57 in addition to the configuration of the noise data update processing unit 44 used in the first embodiment shown in FIG. Other points may be the same as in the first embodiment.
  • the determination unit 57 compares the amount of the FPN component output from the subtractor 54 with the FPN data stored in the FPN data storage unit 43 for each detector element.
  • the determination unit 57 calculates the difference between the amount of the FPN component output from the subtractor 54 and the FPN data stored in the FPN data storage unit 43, and the difference (its absolute value) is a threshold value (first threshold value). It is determined whether or not the threshold value is below.
  • the first threshold value is set to 20% of the value of the FPN data stored in the FPN data storage unit 43.
  • the first threshold value may not be a fixed value, and the first threshold value may be changed according to a temperature change from the previous update of the FPN data to the update of the current FPN data.
  • the first threshold value may be increased as the temperature change increases.
  • the determination unit 57 determines that the difference is equal to or smaller than the threshold value
  • the FPN data stored in the FPN data storage unit 43 is updated with the amount of the FPN component output from the subtractor 54 through the data update unit 55. To do. If it is determined that the difference is greater than the threshold, the FPN data is not updated for that detector element. In that case, the FPN data stored in the FPN data storage unit 43 is continuously used.
  • FIG. 10 shows a procedure of a method for updating fixed pattern noise data according to the second embodiment of the present invention. Steps B1 to B8 are the same as steps A1 to A8 in FIG.
  • the determination unit 57 calculates the difference between the amount of the FPN component of the detector element of interest calculated in step B8 and the FPN data of the detector element stored in the FPN data storage unit 43 (step B9).
  • the determination unit 57 determines whether or not the difference calculated in step B9 is within a threshold value (step B10).
  • the data update unit 55 pays attention to the FPN data of the detector element of interest stored in the FPN data storage unit 43 output from the subtractor 54. Rewrite with the amount of FPN component of the detector element (step B11). If it is determined in step B10 that the difference is greater than the threshold value, step B11 is skipped and the FPN data of the detector element currently focused on is not updated.
  • the noise data update processing unit 44 determines whether or not there is a detector element that is not selected as the detector element of interest (step B12). This step is the same as step A10 in FIG. If there is an unselected detector element, the process returns to step B4 to select the next detector element.
  • the control unit 19 switches the operation mode from the FPN data update mode to the normal imaging mode (step B13). This step is the same as step A11 in FIG.
  • the control unit 19 controls the optical system 10 to the in-focus state via the focus adjustment mechanism 16. By switching the operation mode to the normal imaging mode, the signal processing in the digital signal processing unit 14 is switched from the FPN data update process to the FPN correction process.
  • the digital signal processing unit 14 performs FPN correction processing using at least partially updated FPN data.
  • the infrared light incident on a certain detector element is considered to be substantially the same as the infrared light incident on the surrounding detector elements.
  • a subject pattern may appear in the infrared image.
  • an area where the subject is resolved exists in a part of the image.
  • the FPN component amount calculated by the noise data update processing unit 44a and the FPN data storage unit 43 are stored on the assumption that the FPN component amount does not vary greatly before and after the update. If the difference from the FPN data before update is large, the reliability of the calculated FPN component amount is low and the FPN data is not updated. By doing so, the FPN data storage is performed without using the amount of FPN component having a large error for the portion where the pattern of the subject appears, the portion where the subject is remodeled, and / or the portion where some subject crosses.
  • the FPN data stored in the unit 43 can be used continuously.
  • the noise data update processing unit 44a includes many detector elements in which the difference between the calculated FPN component amount and the FPN data stored in the FPN data storage unit 43 is larger than a threshold value. For an area, FPN data may not be updated in that area.
  • the determination unit 57 of the noise data update processing unit 44a determines that the difference between the calculated FPN component amount and the FPN data stored in the FPN data storage unit 43 in a certain region is larger than the threshold value. By counting the number of large detector elements and dividing that number by the total number of detector elements included in the region, the proportion of detector elements having a difference in that region greater than the threshold value is calculated. The determination unit 57 performs threshold processing on the calculated ratio, and when the ratio is higher than the threshold (second threshold), the FPN data is not updated for the detector elements included in the region. May be determined. For example, the second threshold value is set to 50% of the entire area.
  • FIG. 11 shows an example of dividing an image area.
  • the entire infrared image (effective pixel area) is divided into four parts in the vertical and horizontal directions, and a total of 16 areas R1 to R16 are set in the image.
  • the determination unit 57 calculates the ratio of detector elements in which the difference is larger than the threshold value in each of the regions R1 to R16, and determines whether the calculated ratio is high. For example, when the ratio is larger than the threshold value in the regions R11, R12, R15, and R16, the data update unit 55 updates the FPN data for the detector elements included in the regions R11, R12, R15, and R16.
  • the FPN data is updated with the calculated FPN component amount for the detector elements included in other regions, that is, the regions R1 to R10, R13, and R14.
  • update of FPN data can be suppressed in a lump in a region where many detector elements having a large error in the calculated FPN component amount are included.
  • the area including the detector element is dynamically set, and the area within the set area is set. It may be determined whether or not the ratio of the detector elements whose difference is larger than the threshold is high. In addition, when the ratio of detector elements having a difference larger than the threshold value is low in a certain region, whether or not the FPN data is updated for the detector elements included in the region whose difference is larger than the threshold value. Is optional. For such detector elements, the FPN data may not be updated, or the FPN data may be updated according to the calculated amount of FPN component.
  • the amount of one FPN component is calculated from the infrared detection signal from one infrared detector 11, and the FPN data is updated using the amount of the FPN component.
  • the noise data update processing unit 44 calculates the amount of the FPN component for each of the plurality of infrared detection signals, calculates the average value of the calculated amount of the FPN component, and calculates the average value of the amount of the FPN component.
  • FPN data may be updated.
  • the average value of the amount of FPN component calculated from a plurality of infrared detection signals is calculated, and the average value It is good also as updating FPN data.
  • the shape of the range to be the peripheral detector element with respect to the detector element of interest is square, but the shape of the range to be the peripheral detector element is not particularly limited, and is rectangular, circular, other The shape may also be
  • the surrounding detector elements may be in a range where there is a detector element having a certain positional relationship with the target detector element.
  • the distance (Euclidean distance) to the target detector element is a distance.
  • a range in which detector elements within a threshold are present may be defined as a range in which peripheral detector elements are used.
  • the infrared imaging device and the fixed pattern noise data update method of the present invention are not limited to the above embodiments, and the configuration of the above embodiments. To which various modifications and changes are made within the scope of the present invention.
  • Optical system 11 Infrared detector 12: Analog signal processing unit 13: AD converter 14: Digital signal processing unit 15: Output unit 16: Focus adjustment mechanism 17: Position sensor 18: Temperature sensor 19: Control unit 41: Switch 42: Noise correction processing unit 43: FPN data storage unit 44: Noise data update processing unit 51: Signal average value calculation unit 52: FPN average value calculation unit 53, 54: Subtractor 55: Data update unit 56: Frame memory 57: Determination unit 100: infrared imaging devices S1 to S5, S11 to S15: signal components FPN1 to FPN5: fixed pattern noise components DS1 to DS5, DS11 to DS15: infrared detection signals

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

赤外線撮像装置及び固定パターンノイズデータの更新方法において、シャッタ機構を必要とせず、固定パターンノイズデータの取得を可能とする。このために、ノイズデータ更新処理部（４４）は、光学系が非合焦状態に制御された状態で赤外線検出器により検出された赤外線の検出信号に基づいて固定パターンノイズ（ＦＰＮ）成分の量を算出し、算出したＦＰＮ成分の量でＦＰＮデータ記憶部（４３）を更新する。ノイズデータ更新処理部（４４）は、各検出器素子について、各検出器素子を含めた周辺の複数の検出器素子の検出信号の平均値を算出し、算出した平均値から更新前の固定パターンノイズデータの平均値を減算することにより、各検出器素子の検出信号に含まれる入射赤外線に依存する信号成分を算出する。そして、各検出器素子の検出信号から算出した信号成分を減算することにより、固定パターンノイズ成分の量を算出する。

Description

赤外線撮像装置及び固定パターンノイズデータの更新方法
　本発明は、赤外線撮像装置に関し、更に詳しくは、入射赤外線を検出して電気信号に変換する赤外線検出器を含む赤外線撮像装置に関する。また、本発明は、そのような赤外線撮像装置における固定パターンノイズデータの更新方法に関する。
　入射赤外光（赤外線）を検出して赤外線画像を生成する赤外線撮像装置が知られている。一般に、赤外線撮像装置は、被写体から放射される赤外線を検出して電気信号に変換する赤外線検出器を含む。赤外線撮像装置は、監視カメラ、暗視装置、サーモグラフィ、又は車両や航空機などに搭載する先方監視装置などの広範囲の分野で利用されている。
　赤外線撮像装置では、赤外線検出器が持つ感度のばらつきや、回路のゲイン及びオフセットのばらつきなどの装置固有の固定パターンノイズが発生する。特に、赤外線の検出器素子として２次元的に配列されたフォーカルプレーンアレイを用いた赤外線撮像装置では、アレイ内の各検出器素子が特性の変動を有しているため、結果として、比較的長い時間で変化する固定パターンノイズが発生する。
　固定パターンノイズが発生すると、赤外線撮像装置により均一な温度の面を撮像しても、画素値に変動が生じて均一な画像が得られない。固定パターンノイズの影響を低減するには、固定パターンノイズのデータ（固定パターンノイズデータ）を取得し、被写体を撮像して得られた画像信号から固定パターンノイズデータを減算すればよい。固定パターンノイズデータは、例えば、均一な光量の光源を赤外線検出器の前面に設置し、かつ外部から赤外線検出器に入射する赤外線を遮断した状態で取得される。
　固定パターンノイズは、温度など環境の変化によって変動するため、撮像を行っている途中に、繰り返し固定パターンノイズデータの取得を行うことが要望される。この要望に応えるために、赤外線撮像装置内にシャッタ機構を設け、外部から赤外線検出器に入射する赤外線を遮断して固定パターンノイズデータを取得することが提案されている（例えば特許文献１を参照）。しかしながら、特許文献１では、光学系及び赤外線検出器の周辺に、本来の撮像には不必要なシャッタ機構を配置する必要があり、コストアップや装置の大型化をもたらす。また、故障発生個所が増えるというデメリットもある。
　シャッタ機構を不要としつつ固定パターンノイズデータの取得が可能な赤外線撮像装置が特許文献２に記載されている。特許文献２に記載の赤外線撮像装置は、目標物体（被写体）から放射された光を集光して赤外線検出器に入射させる光学系と、赤外線検出器が出力した画像信号（画像データ）から固定パターンノイズデータを減算した画像データを出力する減算器とを含む。光学系は、通常の撮像時は、焦点調整機構により合焦位置に位置決めされる。
　特許文献２では、固定パターンノイズデータの取得時に、光学系が非合焦状態に制御される。光学系が非合焦状態となることで、光学系の観測視野内の全方向からの光が赤外線検出器に均等に入射する。つまり、光学系に対して様々な方向から入射した光束は、赤外線検出器の特定の点に結像せず、赤外線検出器の検出面に均等に入射する。この状態において、減算器の出力画像データと固定パターンノイズの期待値データとの誤差を求める。この誤差に基づく帰還データを固定パターンノイズデータとして減算器に与える負帰還を行い、減算器の出力画像データと期待値データとがほぼ同一となった時の帰還データを固定パターンノイズデータとして保持する。
　特許文献２では、均一な光量の光源を赤外線検出器の前面に設置し、かつ外部から赤外線検出器に入射する赤外線を遮断した状態で得られた画像データを固定パターンノイズの期待値データとして用いている。光学系を非合焦状態とし、赤外線検出器の検出面に観測視野内の全方向からの光を入射させることで、各検出器素子に均一な量の赤外線を入射させることができ、シャッタ機構を用いずに、固定パターンノイズデータを得ることができる。
特開平１０－１４２０６５号公報 特開２００１－３３６９８３号公報
　特許文献２に記載の赤外線撮像装置において、固定パターンノイズデータを適切に取得するためには、光学系の観測視野内の全方向からの光が赤外線検出器の検出面に均一に入射する必要がある。しかしながら、実際の使用環境においては、観測視野内の全方向からの光が赤外線検出器の検出面に入射できるとは限らない。光学系を非合焦状態としても、赤外線画像には模様が生じる。別の言い方をすれば、画像内に、入射赤外線が多い部分と、入射赤外線が少ない部分とが分布する。特許文献２に記載の赤外線撮像装置においては、赤外線検出器の検出面のある領域に入射する赤外線の量と、他の領域に入射する赤外線の量とに差があると、適切な固定パターンノイズデータを得ることができない。
　本発明は、上記事情に鑑み、シャッタ機構を必要とせず、かつ観測視野内の全方向からの光が赤外線検出器の検出面に均一に入射しない場合であっても、固定パターンノイズデータの取得が可能な赤外線撮像装置を提供する。
　また、本発明は、そのような赤外線撮像装置における固定パターンノイズデータの更新方法を提供する。
　上記目的を達成するために、本発明は、結像位置の制御が可能な光学系と、入射赤外線を検出する複数の検出器素子を含み、光学系を介し赤外線検出面に赤外線が入射される赤外線検出器と、複数の検出器素子により検出された赤外線の検出信号から固定パターンノイズデータを減算することにより、赤外線の検出信号から固定パターンノイズを除去するノイズ補正処理部と、光学系の結像位置を制御する焦点制御部と、焦点制御部が光学系の結像位置を制御して光学系を非合焦状態とした状態で複数の検出器素子により検出された赤外線の検出信号に基づいて固定パターンノイズ成分の量を算出し、算出した固定パターンノイズ成分の量で固定パターンノイズデータを更新するノイズデータ更新処理部とを備え、ノイズデータ更新処理部は、固定パターンノイズ成分の量を算出する処理の対象の各検出器素子について、各検出器素子を含めた周辺の複数の検出器素子の検出信号の平均値を算出し、算出した平均値から更新前の固定パターンノイズデータの平均値を減算することにより各検出器素子の検出信号に含まれる入射赤外線に依存する信号成分を算出し、各検出器素子の検出信号から算出した信号成分を減算することにより、固定パターンノイズ成分の量を算出することを特徴とする赤外線撮像装置を提供する。
　本発明の赤外線撮像装置では、ノイズデータ更新処理部は、各検出器素子について、算出した固定パターンノイズ成分の量と更新前の固定パターンノイズデータとの差を計算し、その差が第１のしきい値以下である検出器素子について、算出した固定パターンノイズ成分の量で固定パターンノイズデータを更新することが好ましい。また、ノイズデータ更新処理部は、上記の差が第１のしきい値よりも大きい検出器素子については、固定パターンノイズデータの更新を行わないことが好ましい。
　ノイズデータ更新処理部は、ある領域について、その領域における上記した差が第１のしきい値よりも大きい検出器素子の数の割合が第２のしきい値よりも高いときは、その領域に含まれる検出器素子について固定パターンノイズデータの更新を行わないこととしてもよい。
　ノイズデータ更新処理部は、注目する検出器素子を含めたその周辺に存在する検出器素子の検出信号を加算して平均値を算出することが好ましい。
　検出信号の平均値は、注目する検出器素子を含めたその周辺に存在する検出器素子の検出信号を重み付け加算し、加重平均を算出することで得られる加重平均値であってもよい。その場合、重み付け加算において各検出器素子に乗算される重みは、周辺の各検出器素子と注目する検出器素子との距離に応じて設定されることが好ましい。重みは、好ましくは、注目する検出器素子との距離が短いほど大きく設定される。
　本発明の赤外線撮像装置は、周辺温度を計測する温度計測部を更に備えていてもよい。その場合、ノイズデータ更新処理部は、温度計測部が計測する周辺温度と前回の固定パターンノイズデータの更新時の周辺温度との差が温度差しきい値以上の場合に、固定パターンノイズデータの更新を行ってもよい。
　ノイズデータ更新処理部は、周期的に繰り返し固定パターンノイズデータの更新を行ってもよい。
　本発明は、また、複数の検出器素子を含む赤外線検出器における固定パターンノイズを示す固定パターンノイズデータの更新方法であって、結像位置の制御が可能な光学系を制御し、赤外線検出器に入射する赤外線を非合焦状態にするステップと、非合焦状態に制御された状態で複数の検出器素子により検出された赤外線の検出信号に基づいて固定パターンノイズ成分の量を算出するステップと、算出された固定パターンノイズ成分の量で固定パターンノイズデータを更新するステップとを有し、固定パターンノイズ成分の量を算出するステップでは、処理対象の各検出器素子について、各検出器素子を含めた周辺の複数の検出器素子の検出信号の平均値を算出し、算出した平均値から更新前の固定パターンノイズデータの平均値を減算することにより各検出器素子の検出信号に含まれる入射赤外線に依存した信号成分を算出し、各検出器素子の検出信号から算出した信号成分を減算することにより、固定パターンノイズ成分の量を算出することを特徴とする固定パターンノイズデータの更新方法を提供する。
　本発明の赤外線撮像装置及び固定パターンノイズデータの更新方法では、光学系を非合焦状態に制御した状態で赤外線検出器に赤外線を入射させ、処理対象の各検出器素子について、各検出器素子を含めた周辺の複数の検出器素子の検出信号の平均値を算出し、算出した平均値から更新前の固定パターンノイズデータの平均値を減算することにより各検出器素子の検出信号に含まれる入射赤外線に依存した信号成分を算出する。各検出器素子の検出信号から算出した信号成分を減算することにより、固定パターンノイズ成分の量を算出する。このようにすることで、シャッタ機構を必要とせず、かつ観測視野内の全方向からの光が赤外線検出器の検出面に均一に入射しない場合であっても、固定パターンノイズのデータを取得することができる。
本発明の第１実施形態に係る赤外線撮像装置を示すブロック図。 デジタル信号処理部の構成を示すブロック図。 ノイズデータ更新処理部の構成を示すブロック図。 周辺の検出器素子とする範囲の一例を示す図。 加重平均値を算出する場合に用いられる重みの一例を示す図。 入射赤外線に依存する信号成分と、固定パターンノイズ成分と、赤外線検出信号とを示す図である図。 赤外線検出信号と入射赤外線に依存する信号成分とを示す図。 本発明の第１実施形態に係る固定パターンノイズデータの更新方法の手順を示すフローチャート。 本発明の第２実施形態に係る赤外線撮像装置におけるノイズデータ更新処理部の構成を示すブロック図。 本発明の第２実施形態に係る固定パターンノイズデータの更新方法の手順を示すフローチャート。 画像の領域の分割例を示す図。
　以下、図面を参照し、本発明の実施の形態を詳細に説明する。図１は、本発明の第１実施形態に係る赤外線撮像装置を示す。赤外線撮像装置１００は、光学系１０、赤外線検出器１１、アナログ信号処理部１２、ＡＤ変換器（Analog to Digital Convertor）１３、デジタル信号処理部１４、出力部１５、焦点調整機構１６、位置センサ１７、温度センサ１８、及び制御部１９を有する。赤外線撮像装置１００は、一つの完成した製品であってもよいし、他の製品に組み込んで使用されるモジュールであってもよい。
　光学系１０は１以上のレンズを含む結像光学系である。光学系１０は、結像面の位置（結像位置）の制御が可能である。赤外線検出器１１は、赤外線撮像素子（赤外線センサ）であり、光学系１０により形成された光学像を撮像して電気信号に変換する。赤外線検出器１１は、入射赤外光（赤外線）を検出する複数の検出器素子を含む。赤外線検出器１１において、複数の検出器素子は例えば２次元状に配列されている。赤外線検出器１１の赤外線検出面（以下、単に検出面とも呼ぶ）には、光学系１０を介して赤外線が入射される。赤外線検出器１１の各検出器素子の検出信号に基づいて、赤外線画像が構成される。
　赤外線検出器１１は、例えば波長０．８３μｍから１０００μｍの範囲の赤外線を検出する。赤外線検出器１１は、特に、波長６μｍから１０００μｍの範囲の遠赤外線を検出するものであることが好ましい。赤外線検出器１１には、マイクロボロメータ又はＳＯＩ（Silicon on Insulator）ダイオード型などの熱型の赤外線センサを用いることができる。
　アナログ信号処理部１２は、赤外線検出器１１が出力する赤外線検出信号に対してアナログ電気処理を実施する。アナログ信号処理部１２は、典型的には、赤外線検出信号を増幅する増幅器を含む。ＡＤ変換器１３は、赤外線検出信号をサンプリングし、サンプリングした赤外線検出信号をデジタルデータ（デジタル信号値）に変換する。デジタル信号処理部１４は、ＡＤ変換器１３によりデジタルデータに変換された赤外線検出信号に対して信号処理を行う。デジタル信号処理部１４における信号処理は、赤外線検出信号の固定パターンノイズ（以下、ＦＰＮ（Fixed Pattern Noise）とも呼ぶ）補正処理と、その補正処理で用いられるＦＰＮデータの更新処理とが含まれる。
　制御部１９は、装置全体の制御を行う。制御部１９には、例えばＦＰＧＡ（Field-Programmable Gate Array）などのＰＬＤ（Programmable Logic Device）を用いることができる。制御部１９は、赤外線撮像装置１００の動作モードを、通常撮像モードとＦＰＮデータの更新モードとの間で切り替える。制御部１９は、制御信号を通じて、デジタル信号処理部１４における信号処理を動作モードに応じて制御する。具体的には、通常撮像モード時はデジタル信号処理部１４にＦＰＮ補正処理を実施させ、ＦＰＮデータの更新モード時はＦＰＮデータ更新処理を実施させる。
　温度センサ（温度計測部）１８は、例えば赤外線検出器１１及びその周辺の温度を計測する。制御部１９は、温度センサ１８が計測する温度の変化に基づいて、動作モードをＦＰＮデータの更新モードに切り替えてもよい。例えば、温度センサ１８が計測する温度と、前回のＦＰＮデータの更新時の温度との差がしきい値（温度しきい値）以上となると、動作モードをＦＰＮの更新モードに切り替えてＦＰＮデータの更新を実施させてもよい。また、制御部１９は、通常撮像モードの合間に、周期的に繰り返しＦＰＮデータの更新モードに切り替えてもよい。その場合は、前回のＦＰＮデータの更新時刻からある時間経過した後に、ＦＰＮデータの更新モードに切り替えてもよい。ＦＰＮデータの更新周期は一定である必要はない。
　焦点調整機構１６は、光学系１０と赤外線検出器１１との相対的な位置関係を調整する。以下では、光学系１０の位置を変化させることで、光学系１０と赤外線検出器１１との相対的な位置関係を調整するものとして説明する。焦点調整機構１６は、例えば光学系１０に含まれるレンズの位置を変化させるモータと、モータを駆動する駆動回路とを含む。位置センサ１７は、光学系１０に含まれるレンズの位置を検出する。光学系１０に含まれるレンズの位置が変化することで、光学系１０の結像位置が変化する。
　制御部１９は、光学系１０の結像位置を制御する焦点制御部としても働く。制御部１９は、焦点調整機構１６に光学系１０の位置を制御するための位置信号を送信する。焦点調整機構１６は、受信した位置信号が示す位置に光学系１０を移動させる。制御部１９は、通常撮像モード時は、焦点調整機構１６を介して、光学系１０の位置を、光学系１０の結像面が赤外線検出器１１の検出面と一致する位置に制御する。通常撮像モード時において、光学系１０の位置は、被写体の動きに追従して変化させてもよいし、ある位置に固定してもよい。
　制御部１９は、ＦＰＮデータの更新モード時は、焦点調整機構１６を介して、光学系１０の位置を、光学系１０の結像面が赤外線検出器１１の検出面と一致しない位置に制御する。制御部１９は、例えば、光学系１０の位置を、被写体が最も光学系１０に近いときに光学系１０が合焦状態となる位置、又は被写体が無限遠に存在するときに光学系１０が合焦状態となる位置に制御する。
　ここで、光学系１０の結像面が赤外線検出器１１の検出面と一致しない状態を、非合焦状態と呼ぶ。つまり、赤外線検出器１１の検出器素子に光学系１０による像が結像しない状態を、非合焦状態と呼ぶ。全ての検出器素子の領域において像が結像しない状態であることまでは要せず、一部の領域において像が結像していたとしても、全体としては非合焦状態であるとする。また、光学系１０の結像面が赤外線検出器１１の検出面と一致する状態を、合焦状態と呼ぶ。つまり、赤外線検出器１１の検出器素子に光学系１０による像が結像する状態を、合焦状態と呼ぶ。光学系１０の結像面と赤外線検出器１１の検出面とは完全に一致している必要はなく、赤外線検出器１１の検出面に被写体が認識できる程度に解像している状態を含む。
　出力部１５は、デジタル信号処理部１４で信号処理された赤外線検出信号（画像データ）を出力する。出力部１５は、例えば赤外線検出信号を、ディスプレイ装置（図１において図示せず）などに出力し、赤外線画像を表示画面に表示させる。あるいは、ハードディスク装置やメモリカードなどの外部記憶装置（図１において図示せず）に赤外線検出信号を出力し、外部記憶装置に記憶させてもよい。さらには、ネットワークや通信ケーブルなどを介して、外部のサーバや処理装置に赤外線検出装置を送信してもよい。出力部１５は、例えばデジタル信号をアナログ信号に変換するＤＡ変換器（Digital Analog Convertor）を含み、赤外線検出信号をアナログ信号として出力する。出力部１５は、赤外線検出信号をデジタル信号として出力してもよい。
　図２は、デジタル信号処理部１４の構成を示す。デジタル信号処理部１４は、スイッチ４１、ノイズ補正処理部４２、ＦＰＮデータ記憶部４３、及びノイズデータ更新処理部４４を有する。デジタル信号処理部１４は、典型的には、ＤＳＰ（Digital Signal Processor）などのＬＳＩ（Large Scale Integration）として構成される。ＤＳＰは、典型的には、プロセッサと、プロセッサに対する命令を格納するＲＯＭ（Read Only Memory）と、データを格納するＲＡＭ（Random Access Memory）とを含み、これらはバスを介して接続されている。プロセッサがＲＯＭに格納された命令に従って動作することで、ノイズ補正処理部４２及びノイズデータ更新処理部４４などの機能が実現される。ＤＰＳは、外部の記憶装置などと接続するインタフェースを有していてもよい。
　スイッチ４１には、ＡＤ変換器１３（図１を参照）が出力する赤外線検出信号のデジタルデータ（以下では、デジタルデータに変換された赤外線検出信号を、特に区別せずに赤外線検出信号と呼ぶことがある）が入力される。スイッチ４１は、赤外線検出信号を、ノイズ補正処理部４２とノイズデータ更新処理部４４に選択的に出力する。スイッチ４１の切り替えは、例えば制御部１９が出力する制御信号に基づいて実施される。制御部１９は、通常撮像モード時はスイッチ４１からノイズ補正処理部４２に赤外線検出信号を出力させる。制御部１９は、ＦＰＮデータの更新モード時は、スイッチ４１からノイズデータ更新処理部４４に赤外線検出信号を出力させる。また、ノイズデータ更新処理部４４にＦＰＮデータの更新を指示する。
　ＦＰＮデータ記憶部４３は、ＦＰＮデータを記憶する。ここで、ＦＰＮとは、赤外線検出器１１（図１を参照）の各検出器素子（各画素）に固有の、各検出器素子の検出信号に含まれるノイズ成分を指す。ＦＰＮデータは、各検出器素子のＦＰＮを表すデータであり、各検出器素子のＦＰＮの集合である。ＦＰＮデータ記憶部４３は、初期状態では、均一な光量の光源を赤外線検出器１１の前面に設置し、かつ外部から赤外線検出器１１に入射する赤外線を遮断した状態で赤外線検出器１１により検出された赤外線検出信号を、ＦＰＮデータとして記憶していてもよい。ＦＰＮデータ記憶部４３は、例えばデジタル信号処理部１４が有するＲＡＭの内部に構成されていてもよいし、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）などの書き換え可能な不揮発性メモリで構成されていてもよい。
　ノイズ補正処理部４２は、ＦＰＮデータ記憶部４３を参照して、赤外線検出信号に含まれるＦＰＮ成分の補正（除去）を行う。より詳細には、赤外線検出信号からＦＰＮデータを減算することにより、赤外線検出信号からＦＰＮを除去する。ノイズ補正処理部４２は、赤外線検出器１１に含まれる各検出器素子が出力する赤外線検出信号からその検出器素子のＦＰＮデータを減算することにより、各検出器素子に固有のノイズ成分を除去して、入射赤外線の量に依存した信号成分を出力する。
　ノイズデータ更新処理部４４には、スイッチ４１を介して、光学系が非合焦状態に制御された状態で赤外線検出器１１により検出された赤外線検出信号が入力される。ノイズデータ更新処理部４４は、その赤外線検出信号に基づいてＦＰＮ成分の量（その推定値）を算出する。より詳細には、ノイズデータ更新処理部４４は、ＦＰＮ成分の量を算出する処理の対象の各検出器素子について、注目する検出器素子を含めた周辺の複数の検出器素子の赤外線検出信号の平均値を算出し、その平均値から更新前のＦＰＮデータの平均値を減算することにより、注目する検出器素子で検出された赤外線検出信号に含まれる入射赤外線に依存する信号成分を算出する。ノイズデータ更新処理部４４は、注目する検出器素子で検出された赤外線検出信号から算出した信号成分を減算することにより、ＦＰＮ成分の量を算出する。ノイズデータ更新処理部４４は、算出したＦＰＮ成分の量でＦＰＮデータ記憶部４３に記憶されたＦＰＮデータを更新する。
　ここで、ＦＰＮデータを更新するとは、ＦＰＮデータ記憶部４３に記憶されたＦＰＮデータを新たなデータで書き換えることを意味する。ＦＰＮデータの更新は、赤外線検出器１１に含まれる全ての検出器素子を一度に更新するもののみならず、全検出器素子のうちの一部を対象に行う一部更新も含む。例えば赤外線検出器１１が検出器素子を１００個含むとき、それら１００個の検出器素子のＦＰＮデータを一度に更新してもよいし、１回の更新につき、１００個のうちの４０個から７０個の検出器素子のＦＰＮデータを更新してもよい。
　図３は、ノイズデータ更新処理部４４の構成を示す。ノイズデータ更新処理部４４は、信号平均値計算部５１と、ＦＰＮ平均値計算部５２と、減算器５３と、減算器５４と、データ更新部５５、フレームメモリ５６とを含む。フレームメモリ５６には、赤外線検出器１１により撮像された赤外線画像が記憶される。フレームメモリ５６は、ノイズデータ更新処理部４４の一部であってもよいし、ノイズデータ更新処理部４４の外部に設けられていてもよい。
　信号平均値計算部５１は、フレームメモリ５６を参照して、注目する検出器素子を含めた周辺の複数の検出器素子の赤外線検出信号の平均値を算出する。より詳細には、信号平均値計算部５１は、注目する検出器素子を含めたその周辺に存在する複数の検出器素子の赤外線検出信号を加算し、その加算値を検出器素子の個数で割った値を平均値として算出する。
　ここで、周辺の検出器素子とは、注目する検出器素子の周りにある、注目する検出器素子と一定の位置関係にある検出器素子を指す。例えば注目する画素（検出器素子）を中心とした３×３、５×５、又は７×７の画素範囲に存在する検出器素子を指す。周辺の検出器素子の範囲は、最大で例えば３０×３０の画素範囲と定義される。赤外線検出器１１に含まれる検出器素子の総数に対する割合、例えば総数の１％を、周辺の範囲として定義してもよい。
　図４に、周辺の検出器素子の範囲の一例を示す。この例では、注目する画素を中心とした５×５の画素範囲が、周辺の検出器素子の範囲である。信号平均値計算部５１は、注目する検出器素子の座標を（ｘ，ｙ）としたとき、（ｘ－２，ｙ－２）から（ｘ＋２，ｙ＋２）の座標範囲に含まれる検出器素子の赤外線検出信号を加算する。信号平均値計算部５１は、例えば注目する検出器素子の位置をラスタスキャンしながら、各位置について赤外線検出信号の平均値を算出する。なお、画像の端部においては、上記画素範囲が画像からはみ出すため、周辺の検出器素子の範囲は上記画素範囲よりも狭くてよい。
　信号平均値計算部５１が算出する平均値は加重平均値であってもよい。すなわち、平均値は、注目する検出器素子を含めたその周辺に存在する検出器素子の検出信号を重み付け加算し、その加算値を重みの合計値で割った値であってもよい。重み付け加算において各検出器素子に乗算される重みは、注目する検出器素子と、その周辺の各検出器素子との距離に応じて設定することが好ましい。例えば、重みは、注目する検出器素子との距離が短いほど大きく、距離が長いほど小さく設定されることが好ましい。
　図５は、加重平均値を算出する場合に用いられる重みの一例を示す。平均値を求める範囲は、図４と同様に５×５の画素範囲であるとする。注目する検出器素子の重みは最も大きな値、例えば「３」に設定される。注目する検出器素子から画像の縦方向及び／又は横方向に１つずれた位置にある検出器素子には、例えば重み「２」が設定される。注目する検出器素子から画像の縦方向及び／又は横方向に２つずれた位置にある検出器素子には、最小の重み、例えば重み「１」が設定される。このような重みを用いることで、注目する検出器素子に近い検出器素子で検出された赤外線検出信号が平均値に与える影響を大きくできる。図５に示される重みの設定は一例であり、重みは任意に設定できる。
　図３に戻り、ＦＰＮ平均値計算部５２は、ＦＰＮデータ記憶部４３に記憶されたＦＰＮデータの平均値を算出する。ＦＰＮ平均値計算部５２は、信号平均値計算部５１が平均値を算出した画素範囲と同じ範囲に含まれる検出器素子のＦＰＮデータを加算する。例えば図４に示すように、信号平均値計算部５１が、注目する検出器素子（ｘ，ｙ）について（ｘ－２，ｙ－２）から（ｘ＋２，ｙ＋２）の範囲に含まれる検出器素子の赤外線検出信号を加算したときは、ＦＰＮ平均値計算部５２は、同じ範囲においてＦＰＮデータを加算する。ＦＰＮ平均値計算部５２は、ＦＰＮデータの加算値を加算した検出器素子の個数で割った値をＦＰＮデータの平均値として算出する。赤外線検出信号の加重平均値を算出した場合は、ＦＰＮデータについても、同じ重みを用いて加重平均値を算出すればよい。
　ここで、赤外線検出器１１の検出器素子により検出された赤外線検出信号と、その赤外線検出信号に含まれる入射赤外線に依存する信号成分及び固定パターンノイズ成分との関係を説明する。図６は、入射赤外線に依存する信号成分と、固定パターンノイズ成分と、赤外線検出信号とを示す図である。図６には、検出器素子１～５の５つの検出器素子について、入射赤外線に依存する信号成分と、固定パターンノイズ成分と、赤外線検出信号とが示されている。
　通常撮像モード時に、光学系１０（図１を参照）は合焦状態に制御されており、検出器素子に入射する赤外線の量は、被写体の像に依存して異なる。従って、図６に示すように、各検出器素子に入射した赤外線に依存する信号成分Ｓ１～Ｓ５は、相互に等しくはならないことが多い。一方で、各検出器素子の固定パターンノイズ成分ＦＰＮ１～ＦＰＮ５は、検出器素子に固有であり、信号成分の量には依存しない。各検出器素子の赤外線検出信号ＤＳ１～ＤＳ５は、それぞれ信号成分Ｓ１～Ｓ５に、固定パターンノイズ成分ＦＰＮ１～ＦＰＮ５を加えたものとなる。信号成分Ｓ１～Ｓ５は、固定パターンノイズ成分ＦＰＮ１～ＦＰＮ５と一緒に検出されるため、赤外線検出信号ＤＳ１～ＤＳ５のうち、どの部分が信号成分Ｓ１～Ｓ５で、どの部分が固定パターンノイズ成分ＦＰＮ１～ＦＰＮ５かは判別できない。
　図７は、光学系１０が非合焦状態に制御された状態で検出される赤外線検出信号と、その赤外線検出信号に含まれる入射赤外線に依存する信号成分とを示す。光学系１０が非合焦状態にされると、被写体の像が、赤外線検出器１１の検出面からずれた位置に結像し、被写体が解像しない。このため、赤外線検出器１１により撮像される赤外線画像はぼけた画像となり、ある位置の検出器素子に入射する赤外線の量と、その周辺の検出器素子に入射する赤外線の量との差が、光学系１０が合焦状態にあるときよりも小さくなる。従って、図７に示すように、入射赤外線に依存する信号成分Ｓ１１～Ｓ１５は、ほぼ同じ値になることが期待できる。中央の検出器素子３を注目する検出器素子としたとき、信号成分Ｓ１１～Ｓ１５の平均値は、検出器素子３の信号成分とほぼ等しくなると考えられる。
　信号成分Ｓ１１～Ｓ１５の平均値は、各検出器素子のＦＰＮが更新の前後で大きく変化しないと仮定すれば、以下の手順で算出できる。まず、各検出器素子の赤外線検出信号ＤＳ１１～ＤＳ１５の平均値を算出する。図７に示すように、赤外線検出信号ＤＳ１１～ＤＳ１５は、固定パターンノイズ成分ＦＰＮ１～ＦＰＮ５（図６を参照）を含んでいる。次いで、固定パターンノイズ成分ＦＰＮ１～ＦＰＮ５の平均値を算出する。赤外線検出信号ＤＳ１１～ＤＳ１５の平均値から、固定パターンノイズ成分ＦＰＮ１～ＦＰＮ５の平均値を減算することにより、信号成分Ｓ１１～Ｓ１５の平均値を算出できる。この平均値は、注目する検出器素子（例えば中央の検出器素子３）の信号成分に等しいと推定できる。注目する検出器素子の固定パターンノイズ成分の量は、その検出器素子の検出信号から、信号成分の平均値を減算することにより算出できる。このように算出された固定パターンノイズ成分の量を、ＦＰＮデータの更新データとすることができる。
　再び図３に戻り、減算器５３は、信号平均値計算部５１が算出した平均値から、ＦＰＮ平均値計算部５２が算出した平均値を減算する。減算器５３の出力は、注目する検出器素子の信号成分に相当する。減算器５４は、フレームメモリ５６から注目する検出器素子の赤外線信号（その値）を取得し、赤外線検出信号から減算器５３に出力を減算する。減算器５４の出力は、注目する検出器素子のＦＰＮ成分の量に相当する。データ更新部５５は、ＦＰＮデータ記憶部４３に記憶された注目する検出器素子のＦＰＮデータを、減算器５４が出力する注目する検出器素子のＦＰＮ成分の量で更新する。
　以下、動作手順について説明する。図８は、本発明の第１実施形態に係る固定パターンノイズデータの更新方法の手順を示す。はじめ、赤外線撮像装置１００は、通常撮像モードで動作している。赤外線検出器１１で検出された赤外線検出信号は、アナログ信号処理部１２（図１を参照）及びＡＤ変換器１３を介してデジタル信号処理部１４に入力される。デジタル信号処理部１４は、赤外線検出信号からＦＰＮを除去するＦＰＮ補正処理を行う。ＦＰＮが除去された赤外線検出信号は、出力部１５から出力される。
　制御部１９は、動作モードを、通常撮像モードからＦＰＮデータの更新モードに切り替える（ステップＡ１）。制御部１９は、例えば温度センサ１８が計測する温度と、前回のＦＰＮデータの更新時の温度との差が温度しきい値以上となった後に、動作モードをＦＰＮデータの更新モードに切り替える。あるいは、制御部１９は、前回のＦＰＮデータの更新時刻から、基準となる時間以上の時間が経過した場合に、動作モードをＦＰＮデータの更新モードに切り替える。動作モードがＦＰＮデータの更新モードに切り替えられることで、デジタル信号処理部１４における信号処理が、ＦＰＮ補正処理からＦＰＮデータの更新処理に切り替えられる。
　制御部１９は、焦点調整機構１６を介して、光学系１０を非合焦状態に制御する（ステップＡ２）。制御部１９は、ステップＡ２では、焦点調整機構１６に送信する位置信号により、光学系１０の位置を、光学系１０の結像面が赤外線検出器１１の検出面と一致しない位置に制御する。制御部１９は、例えば、被写体が最も光学系１０に近いときに光学系１０が合焦状態となる位置を示す位置信号を焦点調整機構１６に送信する。または、被写体が無限遠に存在するときに光学系１０が合焦状態となる位置を示す位置信号を焦点調整機構１６に送信する。
　なお、制御部１９は、ステップＡ１でＦＰＮデータの更新モードに切り替えられたときに位置センサ１７が検出する光学系１０の位置と、被写体が最も光学系１０に近いときに光学系１０が合焦状態となる位置及び被写体が無限遠に存在するときに光学系１０が合焦状態となる位置との位置関係に応じて、焦点調整機構１６に送信する位置信号を決定してもよい。制御部１９は、例えば、位置センサ１７が検出する光学系１０の位置をＰｘとし、被写体が最も光学系１０に近い場合に合焦状態となる光学系１０の位置をＰ１とし、被写体が無限遠に存在する場合に合焦状態となる光学系１０の位置をＰ２として、｜Ｐｘ－Ｐ１｜と｜Ｐｘ－Ｐ２｜とをそれぞれ計算する。制御部１９は、｜Ｐｘ－Ｐ１｜＞｜Ｐｘ－Ｐ２｜であれば、光学系１０の位置をＰ１とする旨の位置信号を焦点調整機構１６に出力する。制御部１９は、｜Ｐｘ－Ｐ１｜＜｜Ｐｘ－Ｐ２｜であれば、光学系１０の位置をＰ２とする旨の位置信号を焦点調整機構１６に出力する。このようにすることで、光学系１０の結像位置と赤外線検出器１１の検出面の位置とのずれをより大きくすることができ、赤外線画像のぼけを大きくすることができる。
　赤外線検出器１１は、光学系１０が非合焦状態に制御された状態で、赤外線を検出する（ステップＡ３）。赤外線検出器１１が出力する赤外線検出信号は、アナログ信号処理部１２及びＡＤ変換器１３を介して、デジタル信号処理部１４に入力される。デジタル信号処理部１４のノイズデータ更新処理部４４（図２を参照）は、スイッチ４１を介して赤外線検出信号を入力する。赤外線検出器１１の各検出器素子により検出された赤外線検出信号は、フレームメモリ５６（図３を参照）に記憶される。
　信号平均値計算部５１は、赤外線検出器１１が有する検出器素子の中から、注目する検出器素子（注目画素）を選択する（ステップＡ４）。信号平均値計算部５１は、フレームメモリ５６を参照し、注目する検出器素子を含む周辺の検出器素子で検出された赤外線検出信号の平均値を算出する（ステップＡ５）。ＦＰＮ平均値計算部５２は、ＦＰＮデータ記憶部４３を参照して、注目する検出器素子を含む周辺の検出器素子のＦＰＮデータの平均値を算出する（ステップＡ６）。減算器５３は、ステップＡ５で算出された赤外線検出信号の平均値と、ステップＡ６で算出されたＦＰＮデータの平均値との差を算出する（ステップＡ７）。この差は、前述したように、注目する検出器素子の信号成分に対応する。
　減算器５４は、フレームメモリ５６から注目する検出器素子の赤外線検出信号を入力し、その赤外線検出信号から、ステップＡ７で算出された差（注目する検出器素子の信号成分）を減算することにより、注目する検出器素子のＦＰＮ成分の量を算出する（ステップＡ８）。データ更新部５５は、ＦＰＮデータ記憶部４３に記憶された注目する検出器素子のＦＰＮデータを、減算器５４が出力する注目する検出器素子のＦＰＮ成分の量で書き換える（ステップＡ９）。
　ノイズデータ更新処理部４４は、注目する検出器素子として選択していない検出器素子が存在するか否かを判断する（ステップＡ１０）。未選択の検出器素子が存在する場合は、ステップＡ４に戻り、次の検出器素子を選択する。ノイズデータ更新処理部４４は、例えば注目する検出器素子の位置をラスタスキャンしながら、未選択の検出器素子がなくなるまで、ステップＡ４からステップＡ９の処理を繰り返し実施する。これにより、赤外線検出器１１が有する各検出器素子のＦＰＮデータが更新される。
　制御部１９は、ステップＡ１０において未選択の検出器素子が存在しないと判断されると、動作モードを、ＦＰＮデータの更新モードから通常撮像モードに切り替える（ステップＡ１１）。制御部１９は、焦点調整機構１６を介して光学系１０を合焦状態に制御する。動作モードが通常撮像モードに切り替えられることで、デジタル信号処理部１４における信号処理が、ＦＰＮデータの更新処理からＦＰＮ補正処理に切り替えられる。デジタル信号処理部１４は、ステップＡ９で更新されたＦＰＮデータを用いて、ＦＰＮ補正処理を実施する。
　本実施形態では、ＦＰＮデータの更新モードにおいて、光学系１０を非合焦状態に制御する。光学系を非合焦状態に制御することで、少なくとも局所的に、赤外線検出器１１の各検出素子に入射する赤外線をほぼ均一にできる。本実施形態では、各検出器素子について、非合焦状態で検出された赤外線検出信号の平均値を、各検出器素子を含めた周辺の複数の検出器素子の範囲において算出し、その平均値から更新前のＦＰＮデータの平均値を減算することにより、各検出器素子の検出信号に含まれる入射赤外線に依存した信号成分を算出する。各検出器素子の検出信号から算出した信号成分を減算することにより、ＦＰＮ成分の量（その推定値）を算出することができる。このようにすることで、各検出器素子に入射する赤外線が画像全体において均一にならない場合でもＦＰＮ成分の量を算出することができ、算出したＦＰＮ成分の量でＦＰＮデータを更新することができる。また、本実施形態では、ＦＰＮデータの取得のために、別途シャッタ機構を設ける必要がない。
　続いて、本発明の第２実施形態を説明する。図９は、本発明の第２実施形態に係る赤外線撮像装置におけるノイズデータ更新処理部の構成を示す。赤外線撮像装置の構成は、図１に示す第１実施形態に係る赤外線撮像装置１００と同様であり、また、デジタル信号処理部の構成は、図２に示す第１実施形態で用いられたデジタル信号処理部１４の構成と同様である。本実施形態では、デジタル信号処理部に含まれるノイズデータ更新処理部４４ａは、図３に示す第１実施形態で用いられたノイズデータ更新処理部４４の構成に加えて、判定部５７を有する。その他の点は、第１実施形態と同様でよい。
　判定部５７は、各検出器素子について、減算器５４が出力するＦＰＮ成分の量と、ＦＰＮデータ記憶部４３に記憶されたＦＰＮデータとを比較する。判定部５７は、減算器５４が出力するＦＰＮ成分の量と、ＦＰＮデータ記憶部４３に記憶されたＦＰＮデータとの差を算出し、差（その絶対値）がしきい値（第１のしきい値）以下か否かを判定する。第１のしきい値は、例えばＦＰＮデータ記憶部４３に記憶されたＦＰＮデータの値の２０％に設定される。第１のしきい値は固定値でなくてもよく、前回のＦＰＮデータの更新から今回のＦＰＮデータの更新までの温度変化に応じて第１のしきい値を変化させてもよい。例えば、温度変化が大きくなるに連れて、第１のしきい値を大きくしてもよい。判定部５７は、差がしきい値以下であると判定した場合は、データ更新部５５を通じて、減算器５４が出力するＦＰＮ成分の量で、ＦＰＮデータ記憶部４３に記憶されたＦＰＮデータを更新する。差がしきい値よりも大きいと判定した場合は、その検出器素子についてはＦＰＮデータを更新しない。その場合、ＦＰＮデータ記憶部４３に記憶されたＦＰＮデータが継続して使用される。
　以下、第２実施形態における動作手順を説明する。図１０は、本発明の第２実施形態に係る固定パターンノイズデータの更新方法の手順を示す。なお、ステップＢ１～Ｂ８は、図８におけるステップＡ１～Ａ８と同様であるため、説明を省略する。
　判定部５７は、ステップＢ８で算出された注目する検出器素子のＦＰＮ成分の量と、ＦＰＮデータ記憶部４３に記憶されたその検出器素子のＦＰＮデータとの差を算出する（ステップＢ９）。判定部５７は、ステップＢ９で算出した差がしきい値以内であるか否かを判定する（ステップＢ１０）。ステップＢ１０で差がしきい値以内であると判定された場合、データ更新部５５は、ＦＰＮデータ記憶部４３に記憶された注目する検出器素子のＦＰＮデータを、減算器５４が出力する注目する検出器素子のＦＰＮ成分の量で書き換える（ステップＢ１１）。ステップＢ１０で、差がしきい値よりも大きいと判定されたときは、ステップＢ１１はスキップされ、現在注目している検出器素子のＦＰＮデータの更新は行わない。
　ノイズデータ更新処理部４４は、注目する検出器素子として選択していない検出器素子が存在するか否かを判断する（ステップＢ１２）。このステップは、図８のステップＡ１０と同様である。未選択の検出器素子が存在する場合は、ステップＢ４に戻り、次の検出器素子を選択する。制御部１９は、ステップＢ１２において未選択の検出器素子が存在しないと判断されると、動作モードを、ＦＰＮデータの更新モードから通常撮像モードに切り替える（ステップＢ１３）。このステップは、図８のステップＡ１１と同様である。制御部１９は、焦点調整機構１６を介して光学系１０を合焦状態に制御する。動作モードが通常撮像モードに切り替えられることで、デジタル信号処理部１４における信号処理が、ＦＰＮデータの更新処理からＦＰＮ補正処理に切り替えられる。デジタル信号処理部１４は、少なくとも部分的に更新されたＦＰＮデータを用いて、ＦＰＮ補正処理を実施する。
　ＦＰＮデータの更新処理モードでは、光学系１０が非合焦状態に制御されるため、ある検出器素子に入射する赤外線は、その周辺の検出器素子に入射する赤外線とほぼ同じであると考えられる。しかしながら、光学系１０を非合焦状態に制御した場合でも、赤外線画像に被写体の模様が現れることがある。また、画像の一部において、被写体が解像する領域が存在する可能性がある。さらには、ＦＰＮデータの更新処理を行っている間に、何らかの被写体が画面を横切り、周辺の検出器素子に入射する赤外線が均一にならないことも考えられる。そのような場合、ある検出器素子に入射する赤外線と、その周辺の検出器素子に入射する赤外線とに大きな差が生じ、ノイズデータ更新処理部４４ａにおいて算出されたＦＰＮ成分の量の誤差が大きくなることがある。
　本実施形態では、ＦＰＮ成分の量は更新の前後で大きく変動することがないという仮定のもと、ノイズデータ更新処理部４４ａにおいて算出されたＦＰＮ成分の量と、ＦＰＮデータ記憶部４３に記憶された更新前のＦＰＮデータとの間の差が大きい場合には、算出されたＦＰＮ成分の量の信頼性が低いものとして、ＦＰＮデータを更新しない。このようにすることで、被写体の模様が現れている部分、被写体が改造している部分、及び／又は何らかの被写体が横切った部分について、誤差が大きいＦＰＮ成分の量を使用せず、ＦＰＮデータ記憶部４３に記憶されたＦＰＮデータを継続して使用することができる。
　上記では、ＦＰＮデータの更新の有無を検出器ごとに判断することとしたが、この判断を領域ごとに行うこととしてもよい。より詳細には、ノイズデータ更新処理部４４ａは、上記算出されたＦＰＮ成分の量とＦＰＮデータ記憶部４３に記憶されたＦＰＮデータとの差がしきい値よりも大きい検出器素子が多く含まれる領域については、その領域においてＦＰＮデータの更新を行わないこととしてもよい。
　例えば、ノイズデータ更新処理部４４ａの判定部５７は、ある領域について、その領域における、算出されたＦＰＮ成分の量とＦＰＮデータ記憶部４３に記憶されたＦＰＮデータとの差がしきい値よりも大きい検出器素子の数をカウントし、その数を領域に含まれる検出器素子の総数で割ることにより、その領域における差がしきい値よりも大きい検出器素子の割合を算出する。判定部５７は、算出した割合をしきい値処理し、割合がしきい値（第２のしきい値）よりも高いときは、その領域に含まれる検出器素子についてＦＰＮデータの更新を行わないと決定してもよい。第２のしきい値は、例えば領域全体５０％に設定される。
　図１１は、画像の領域の分割例を示す。この例では、赤外線画像の全体（有効画素領域）は、縦方向及び横方向にそれぞれ４分割され、画像内に領域Ｒ１～Ｒ１６の計１６個の領域が設定されている。判定部５７は、領域Ｒ１～Ｒ１６のそれぞれにおいて、上記差がしきい値よりも大きい検出器素子の割合を算出し、算出した割合が高いか否かを判定する。例えば、領域Ｒ１１、Ｒ１２、Ｒ１５、及びＲ１６において割合がしきい値よりも大きい場合、データ更新部５５は、領域Ｒ１１、Ｒ１２、Ｒ１５、及びＲ１６に含まれる検出器素子についてはＦＰＮデータの更新を行わず、他の領域、すなわち領域Ｒ１～Ｒ１０、Ｒ１３、及びＲ１４に含まれる検出器素子については算出されたＦＰＮ成分の量でＦＰＮデータを更新する。このようにすることで、算出されたＦＰＮ成分の量の誤差が大きい検出器素子が多く含まれる領域において、一括で、ＦＰＮデータの更新を抑止できる。
　なお、領域はあらかじめ設定しておく必要はなく、例えば差がしきい値よりも大きい検出器素子が存在するときに、その検出器素子を含む領域を動的に設定し、その設定した領域内において、差がしきい値よりも大きい検出器素子の割合が高いか否かを判定してもよい。また、ある領域において、差がしきい値よりも大きい検出器素子の割合が低いときに、その領域に含まれる、差がしきい値よりも大きい検出器素子についてＦＰＮデータの更新を行うか否かは任意である。そのような検出器素子について、ＦＰＮデータの更新を行わなくてもよいし、算出したＦＰＮ成分の量によってＦＰＮデータを更新してもよい。
　上記各実施形態では、１回の赤外線検出器１１による赤外線検出信号から１つのＦＰＮ成分の量を算出し、そのＦＰＮ成分の量を用いてＦＰＮデータを更新することとしたが、これには限定されない。ノイズデータ更新処理部４４は、複数回の赤外線検出信号のそれぞれに対してＦＰＮ成分の量を算出し、それら算出したＦＰＮ成分の量の平均値を算出し、そのＦＰＮ成分の量の平均値により、ＦＰＮデータを更新してもよい。第２実施形態においては、差がしきい値以上であると判定された場合を除外したうえで、複数回の赤外線検出信号から算出されたＦＰＮ成分の量の平均値を算出し、その平均値でＦＰＮデータを更新することとしてもよい。
　図４では、注目する検出器素子に対して周辺の検出器素子とする範囲の形状を正方形としたが、周辺の検出器素子とする範囲の形状は特に限定されず、長方形や、円形、その他の形状であってもよい。周辺の検出器素子とする範囲は、注目する検出器素子と一定の位置関係にある検出器素子が存在する範囲であればよく、例えば、注目する検出器素子との距離（ユークリッド距離）が距離しきい値以内の検出器素子が存在する範囲を、周辺の検出器素子とする範囲と定義してもよい。
　以上、本発明をその好適な実施形態に基づいて説明したが、本発明の赤外線撮像装置及び固定パターンノイズデータの更新方法は、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。
１０：光学系
１１：赤外線検出器
１２：アナログ信号処理部
１３:ＡＤ変換器
１４：デジタル信号処理部
１５：出力部
１６：焦点調整機構
１７：位置センサ
１８：温度センサ
１９：制御部
４１：スイッチ
４２：ノイズ補正処理部
４３：ＦＰＮデータ記憶部
４４：ノイズデータ更新処理部
５１：信号平均値計算部
５２：ＦＰＮ平均値計算部
５３、５４：減算器
５５：データ更新部
５６：フレームメモリ
５７：判定部
１００：赤外線撮像装置
Ｓ１～Ｓ５、Ｓ１１～Ｓ１５：信号成分
ＦＰＮ１～ＦＰＮ５：固定パターンノイズ成分
ＤＳ１～ＤＳ５、ＤＳ１１～ＤＳ１５：赤外線検出信号

Claims (11)

  1. 　結像位置の制御が可能な光学系と、
    　入射赤外線を検出する複数の検出器素子を含み、前記光学系を介して赤外線検出面に赤外線が入射される赤外線検出器と、
    　前記複数の検出器素子により検出された赤外線の検出信号から固定パターンノイズデータを減算することにより、前記赤外線の検出信号から固定パターンノイズを除去するノイズ補正処理部と、
    　前記光学系の結像位置を制御する焦点制御部と、
    　前記焦点制御部が前記光学系の結像位置を制御して前記光学系を非合焦状態とした状態で前記複数の検出器素子により検出された赤外線の検出信号に基づいて固定パターンノイズ成分の量を算出し、該算出した固定パターンノイズ成分の量で前記固定パターンノイズデータを更新するノイズデータ更新処理部とを備え、
    　前記ノイズデータ更新処理部は、固定パターンノイズ成分の量を算出する処理の対象の各検出器素子について、当該検出器素子を含めた周辺の複数の検出器素子の検出信号の平均値を算出し、該算出した平均値から更新前の固定パターンノイズデータの平均値を減算することにより当該検出器素子の検出信号に含まれる入射赤外線に依存する信号成分を算出し、当該検出器素子の検出信号から前記算出した信号成分を減算することにより、固定パターンノイズ成分の量を算出することを特徴とする赤外線撮像装置。
  2. 　前記ノイズデータ更新処理部は、各検出器素子について、前記算出した固定パターンノイズ成分の量と更新前の固定パターンノイズデータとの差を計算し、該差が第１のしきい値以下である検出器素子について、前記算出した固定パターンノイズ成分の量で前記固定パターンノイズデータを更新する請求項１に記載の赤外線撮像装置。
  3. 　前記ノイズデータ更新処理部は、前記差が前記第１のしきい値より大きい検出器素子については、前記固定パターンノイズデータの更新を行わない請求項２に記載の赤外線撮像装置。
  4. 　前記ノイズデータ更新処理部は、ある領域について、当該領域における前記差が第１のしきい値よりも大きい検出器素子の数の割合が第２のしきい値よりも高いときは、当該領域に含まれる検出器素子について、前記固定パターンノイズデータの更新を行わない請求項２又は３に記載の赤外線撮像装置。
  5. 　前記ノイズデータ更新処理部は、注目する検出器素子を含めた該注目する検出器素子の周辺に存在する検出器素子の検出信号を加算し、前記平均値を算出する請求項１から４何れか１項に記載の赤外線撮像装置。
  6. 　前記平均値は、注目する検出器素子を含めた該注目する検出器素子の周辺に存在する検出器素子の検出信号を重み付け加算し、加重平均を算出することで得られる加重平均値である請求項５に記載の赤外線撮像装置。
  7. 　重み付け加算において各検出器素子に乗算される重みは、各検出器素子と前記注目する検出器素子との距離に応じて設定される請求項６に記載の赤外線撮像装置。
  8. 　前記重みは、前記注目する検出器素子との距離が短いほど大きく設定される請求項７に記載の赤外線撮像装置。
  9. 　周辺温度を計測する温度計測部を更に備え、前記ノイズデータ更新処理部は、温度計測部が計測する周辺温度と前回の固定パターンノイズデータの更新時の周辺温度との差が温度差しきい値以上となると、前記固定パターンノイズデータの更新を行う請求項１から８何れか１項に記載の赤外線撮像装置。
  10. 　前記ノイズデータ更新処理部は、周期的に繰り返し前記固定パターンノイズデータの更新を行う請求項１から９何れか１項に記載の赤外線撮像装置。
  11. 　複数の検出器素子を含む赤外線検出器における固定パターンノイズを示す固定パターンノイズデータの更新方法であって、
    　結像位置の制御が可能な光学系を制御し、前記赤外線検出器に入射する赤外線を非合焦状態にするステップと、
    　前記非合焦状態に制御された状態で前記複数の検出器素子により検出された赤外線の検出信号に基づいて固定パターンノイズ成分の量を算出するステップと、
    　前記算出された固定パターンノイズ成分の量で前記固定パターンノイズデータを更新するステップとを有し、
    　前記固定パターンノイズ成分の量を算出するステップでは、処理対象の各検出器素子について、当該検出器素子を含めた周辺の複数の検出器素子の検出信号の平均値を算出し、該算出した平均値から更新前の固定パターンノイズデータの平均値を減算することにより当該検出器素子の検出信号に含まれる入射赤外線に依存した信号成分を算出し、当該検出器素子の検出信号から前記算出した信号成分を減算することにより、固定パターンノイズ成分の量を算出することを特徴とする固定パターンノイズデータの更新方法。
PCT/JP2016/002400 2015-05-21 2016-05-17 赤外線撮像装置及び固定パターンノイズデータの更新方法 WO2016185709A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680028646.8A CN107615017B (zh) 2015-05-21 2016-05-17 红外线摄像装置及固定模式干扰数据的更新方法
JP2017518761A JP6291629B2 (ja) 2015-05-21 2016-05-17 赤外線撮像装置及び固定パターンノイズデータの更新方法
US15/814,615 US10523883B2 (en) 2015-05-21 2017-11-16 Infrared imaging device and method of updating fixed pattern noise data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-103566 2015-05-21
JP2015103566 2015-05-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/814,615 Continuation US10523883B2 (en) 2015-05-21 2017-11-16 Infrared imaging device and method of updating fixed pattern noise data

Publications (1)

Publication Number Publication Date
WO2016185709A1 true WO2016185709A1 (ja) 2016-11-24

Family

ID=57319706

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/002400 WO2016185709A1 (ja) 2015-05-21 2016-05-17 赤外線撮像装置及び固定パターンノイズデータの更新方法

Country Status (4)

Country Link
US (1) US10523883B2 (ja)
JP (1) JP6291629B2 (ja)
CN (1) CN107615017B (ja)
WO (1) WO2016185709A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022264390A1 (ja) * 2021-06-18 2022-12-22 三菱電機株式会社 赤外線撮像装置及び固定パターンノイズデータの生成方法
CN116609033A (zh) * 2023-07-18 2023-08-18 山东莱恩光电科技股份有限公司 一种光电保护器的故障诊断方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6680884B2 (ja) * 2016-08-08 2020-04-15 株式会社日立国際電気 画像補正方法及び撮像装置
DE102018210264A1 (de) * 2018-06-25 2020-01-02 Robert Bosch Gmbh Verfahren zur kontaktfreien Ermittlung einer Temperaturverteilung sowie Infrarot-Messsystem

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5689033A (en) * 1979-12-21 1981-07-20 Fujitsu Ltd Method of processing infrared-ray image pickup signal
JPH07222059A (ja) * 1993-10-04 1995-08-18 Raytheon Co 合焦平面アレー補償技術を含む光学システム
JPH08223484A (ja) * 1995-02-09 1996-08-30 Fujitsu Ltd 赤外線検知素子のバラツキの自動補正方法
JP2000125206A (ja) * 1998-10-16 2000-04-28 Nec Corp 固定パターンノイズ補正装置及びその補正方法
JP2001111893A (ja) * 1999-10-07 2001-04-20 Sanyo Electric Co Ltd 画素欠陥検出方法及び画像処理装置
JP2001509996A (ja) * 1997-04-17 2001-07-24 レイセオン・カンパニー 適応不均一性補償アルゴリズム
JP2001336983A (ja) * 2000-05-30 2001-12-07 Nec Corp 赤外線撮像方法及び赤外線撮像装置
JP2010200236A (ja) * 2009-02-27 2010-09-09 Hitachi Kokusai Electric Inc 横引きノイズ補正方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1023335A (ja) * 1996-07-05 1998-01-23 Nec Corp 赤外線撮像装置
JP3675066B2 (ja) 1996-11-06 2005-07-27 三菱電機株式会社 赤外線撮像装置および画像補正方法
US9235876B2 (en) * 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US9208542B2 (en) * 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US8203116B2 (en) * 2010-10-19 2012-06-19 Raytheon Company Scene based non-uniformity correction for infrared detector arrays

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5689033A (en) * 1979-12-21 1981-07-20 Fujitsu Ltd Method of processing infrared-ray image pickup signal
JPH07222059A (ja) * 1993-10-04 1995-08-18 Raytheon Co 合焦平面アレー補償技術を含む光学システム
JPH08223484A (ja) * 1995-02-09 1996-08-30 Fujitsu Ltd 赤外線検知素子のバラツキの自動補正方法
JP2001509996A (ja) * 1997-04-17 2001-07-24 レイセオン・カンパニー 適応不均一性補償アルゴリズム
JP2000125206A (ja) * 1998-10-16 2000-04-28 Nec Corp 固定パターンノイズ補正装置及びその補正方法
JP2001111893A (ja) * 1999-10-07 2001-04-20 Sanyo Electric Co Ltd 画素欠陥検出方法及び画像処理装置
JP2001336983A (ja) * 2000-05-30 2001-12-07 Nec Corp 赤外線撮像方法及び赤外線撮像装置
JP2010200236A (ja) * 2009-02-27 2010-09-09 Hitachi Kokusai Electric Inc 横引きノイズ補正方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022264390A1 (ja) * 2021-06-18 2022-12-22 三菱電機株式会社 赤外線撮像装置及び固定パターンノイズデータの生成方法
JP7531711B2 (ja) 2021-06-18 2024-08-09 三菱電機株式会社 赤外線撮像装置及び固定パターンノイズデータの生成方法
CN116609033A (zh) * 2023-07-18 2023-08-18 山东莱恩光电科技股份有限公司 一种光电保护器的故障诊断方法
CN116609033B (zh) * 2023-07-18 2023-10-31 山东莱恩光电科技股份有限公司 一种光电保护器的故障诊断方法

Also Published As

Publication number Publication date
US10523883B2 (en) 2019-12-31
US20180098011A1 (en) 2018-04-05
JP6291629B2 (ja) 2018-03-14
CN107615017B (zh) 2019-11-05
CN107615017A (zh) 2018-01-19
JPWO2016185709A1 (ja) 2018-02-22

Similar Documents

Publication Publication Date Title
JP6275334B2 (ja) 赤外線撮像装置及び固定パターンノイズデータの更新方法
US10469747B2 (en) Infrared imaging device and signal correction method using infrared imaging device
JP6363804B2 (ja) 赤外線撮像装置及びその制御方法、並びに車両
JP6291629B2 (ja) 赤外線撮像装置及び固定パターンノイズデータの更新方法
JP6518452B2 (ja) 撮像装置及び撮像方法
US9961269B2 (en) Imaging device, imaging device body, and lens barrel that can prevent an image diaphragm value from frequently changing
US10447923B2 (en) Image processing apparatus, imaging apparatus, and method of controlling image processing apparatus
US9667853B2 (en) Image-capturing apparatus
JP7156352B2 (ja) 撮像装置、撮像方法、及びプログラム
US11343434B2 (en) Image processing apparatus and control method for same
US10362243B2 (en) Infrared imaging device, diaphragm control method, and diaphragm control program
US10735680B2 (en) Infrared imaging device, fixed pattern noise calculation method, and fixed pattern noise calculation program
JP6496883B2 (ja) ぶれ補正装置、ぶれ補正方法、ぶれ補正プログラム、レンズ装置、及び、撮像装置
JP7271353B2 (ja) 撮像装置および波長取得方法
JP2019095594A (ja) 焦点検出装置及び方法、及び撮像装置
JP6700751B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
CN107710733B (zh) 图像处理装置、图像处理方法以及存储介质
WO2016157569A1 (ja) 撮像装置及び合焦評価装置
JP2015114544A5 (ja)
JP6028365B2 (ja) 撮像装置及びプログラム
JP6566800B2 (ja) 撮像装置及び撮像方法
JP5355252B2 (ja) 撮像装置及びその制御方法
JP6036998B2 (ja) 撮像装置、画像補正方法及び、画像補正プログラム
JP2017125985A (ja) 撮像装置
JP2011013324A5 (ja)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16796104

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017518761

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16796104

Country of ref document: EP

Kind code of ref document: A1