WO2017073401A1 - 赤外線撮像装置および赤外線撮像装置による信号補正方法 - Google Patents

赤外線撮像装置および赤外線撮像装置による信号補正方法 Download PDF

Info

Publication number
WO2017073401A1
WO2017073401A1 PCT/JP2016/080805 JP2016080805W WO2017073401A1 WO 2017073401 A1 WO2017073401 A1 WO 2017073401A1 JP 2016080805 W JP2016080805 W JP 2016080805W WO 2017073401 A1 WO2017073401 A1 WO 2017073401A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
subject
pixel
infrared
correction
Prior art date
Application number
PCT/JP2016/080805
Other languages
English (en)
French (fr)
Inventor
小林 誠
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201680063045.0A priority Critical patent/CN108353135B/zh
Priority to JP2017547741A priority patent/JP6356926B2/ja
Publication of WO2017073401A1 publication Critical patent/WO2017073401A1/ja
Priority to US15/951,388 priority patent/US10469747B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • H04N25/674Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44Electric circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/20Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44Electric circuits
    • G01J2001/444Compensating; Calibrating, e.g. dark current, temperature drift, noise reduction or baseline correction; Adjusting

Definitions

  • the present invention relates to an infrared imaging device that captures an infrared image and a signal correction method using the infrared imaging device, and more particularly to an infrared imaging device that corrects a pixel signal of an infrared image and a signal correction method using the infrared imaging device.
  • an infrared imaging device that detects incident infrared light (infrared rays) and generates an infrared image is known.
  • an infrared imaging device includes an infrared detector that detects infrared rays emitted from a subject and converts them into electrical signals.
  • Infrared imaging devices are used in a wide range of fields, such as surveillance cameras, night vision devices, thermography, and remote monitoring devices mounted on vehicles, airplanes, and the like.
  • the infrared imaging device there is non-uniformity for each pixel such as a variation in sensitivity inherent to a pixel of a detector element (pixel) of the infrared detector. If non-uniformity exists for each pixel, even if a surface having a uniform temperature is imaged by the infrared imaging device, the image signal (pixel value) varies and a uniform image cannot be obtained.
  • correction data including correction values corresponding to the non-uniformity of each pixel is acquired, and the pixel value detected from that pixel is associated with that pixel.
  • a non-uniformity correction process for offset correction of the correction value may be performed.
  • the correction data used for the non-uniformity correction processing is acquired, for example, in a state where a light source having a uniform light amount is installed on the front surface of the infrared detector and infrared rays incident on the infrared detector from the outside are blocked.
  • Patent Document 1 discloses a method of obtaining correction data used for non-uniformity correction processing by providing a shutter mechanism in an infrared imaging device and blocking infrared light incident on the infrared detector from the outside by the shutter. ing.
  • the non-uniformity for each pixel varies depending on temperature changes of the main body of the infrared imaging device, the circuit board, and the pixel itself. For this reason, it is preferable to repeatedly acquire correction data used for non-uniformity correction processing. If non-uniformity correction processing is performed on infrared images at multiple time points using common correction data regardless of temperature changes, an appropriate correction result is obtained for infrared images at a certain time point. However, for infrared images at other points in time, there are problems such as overexposure in which the bright part of the image is displayed in white, or darkening in which the dark part of the image is displayed in black. There is a possibility of having an inappropriate correction result.
  • Patent Document 2 an average value of pixel values of a person in two infrared images is obtained based on two infrared images obtained by imaging the same person with two imaging devices, and the average value is obtained.
  • a method for correcting the pixel values of the two infrared images so that the pixel values of the persons of the two infrared images coincide with each other has been proposed.
  • Patent Document 2 is merely a technique for calculating a correction value for matching pixel values of a corresponding subject between two infrared images captured by different imaging devices. For this reason, in the technique of Patent Document 2, when a temperature change or the like of the external environment occurs, it is necessary to update correction data used for non-uniformity correction processing in each of the two imaging devices. There will be times when each cannot capture images.
  • the present invention has been made in view of the above circumstances, and an infrared imaging device capable of correcting a variation in non-uniformity for each pixel due to a temperature change without interrupting imaging in the external environment, and the infrared imaging device
  • An object of the present invention is to propose a signal correction method based on the above.
  • An infrared imaging device includes an optical system, a plurality of pixels that are positioned on an imaging plane of the optical system and that detect incident infrared rays, and an infrared detector that captures an infrared image by the plurality of pixels,
  • An offset value calculation unit comprising: a correction unit that corrects an infrared image and outputs a post-correction image based on basic correction data for correcting non-uniformity of each pixel of the pixel; and an offset value calculation unit Includes a region detection unit that detects a subject region corresponding to the target subject from the corrected image, a pixel value calculation unit that calculates a subject value that represents a pixel value of the subject region, and a reference infrared image captured by the infrared detector Based on the reference subject value that is the pixel value of the subject region and the subject value in the corrected reference image obtained by correcting the reference infrared image that is an image based on the basic correction data, the subject region
  • a signal correction method using an infrared imaging device is a signal correction method using an infrared imaging device including an infrared detector that is located on an image plane of an optical system and includes a plurality of pixels that detect incident infrared rays. Then, based on the imaging step of capturing an infrared image with a plurality of pixels and basic correction data for correcting the non-uniformity of each of the plurality of pixels, the infrared image is corrected and a corrected image is output.
  • a correction step and an offset value calculating step wherein the offset value calculating step calculates a subject value representing a pixel value of the subject region, a region detecting step for detecting a subject region corresponding to the target subject from the corrected image;
  • the pixel value calculation step and the reference infrared image which is the reference infrared image captured by the infrared detector, are corrected based on the basic correction data.
  • a change amount calculating step for calculating a subject value change amount that is a change amount of a pixel value of the subject region based on a reference subject value that is a pixel value of the subject region and a subject value in the corrected reference image;
  • a representative offset value calculating step for calculating a value change amount as a representative offset value representing a change amount of a pixel value of a plurality of pixels due to a temperature change, and the correction step includes the representative offset value and the basic correction data. Based on the above, the infrared image is corrected.
  • “amount of change in pixel values of a plurality of pixels due to temperature change” is a change amount of pixel values of a plurality of pixels included in the infrared detector, and represents a change amount caused by a temperature change. means.
  • a change amount a pixel value of a pixel value generated by a temperature change of the infrared imaging device main body, the circuit board, and the pixel itself accompanying a temperature change of the external environment, a temperature change of the circuit board and the pixel itself generated by energizing the circuit board There is a change amount.
  • the correction unit offset-corrects the infrared image using data obtained by increasing or decreasing the basic correction data with the representative offset value.
  • the offset value calculation unit represents the relationship between the representative offset value and the specific offset value indicating the amount of change in the pixel value of the pixel due to the temperature change, for each of the plurality of pixels.
  • the image processing apparatus further includes an eigenoffset value calculation unit that calculates an eigenoffset value corresponding to the representative offset value for each pixel of the plurality of pixels, and the correction unit increases or decreases the basic correction data by the eigenoffset value.
  • the infrared image may be offset corrected using the obtained data.
  • the change amount calculation unit reduces a shading difference caused by the optical system between the reference subject value and the subject value with respect to at least one of the reference subject value and the subject value. It is preferable to calculate the value obtained by subtracting the reference subject value after performing correction for reducing the shading difference from the subject value after performing correction to reduce the shading difference as the subject value change amount. .
  • the offset value calculation unit prior to the calculation of the subject value change amount by the change amount calculation unit, performs shading caused by the optical system on at least a part of the pixel value of the corrected image. It is preferable to further include a shading correction unit that performs a shading correction process for correcting.
  • shading caused by the optical system means non-uniformity (variation) of pixel values caused by the optical system.
  • shading by the optical system there is a so-called peripheral light amount drop in which the light amount is reduced at a position farther from the optical axis than the light amount on the optical axis of the optical system.
  • the shading correction unit performs shading correction processing on pixel values corresponding to a plurality of pixels in the corrected image, and the region detection unit performs shading correction processing. It is preferable to detect the subject region based on pixel values corresponding to a plurality of subsequent pixels.
  • the shading correction unit performs a shading correction process on the pixel values of the pixels included in the subject area, and the pixel value calculation unit performs the shading correction process. It is preferable to calculate the subject value based on the pixel value included in the subject region.
  • the pixel value calculation unit calculates any one of the mode value, the average value, and the median value as a subject value based on a histogram representing a distribution of pixel values in the subject region. It is preferable.
  • the area detection unit detects an area corresponding to a person as a subject area.
  • the offset value calculation unit calculates the representative offset value periodically and repeatedly.
  • a basic correction data update unit that executes basic correction data update processing for correcting basic correction data
  • a shutter that is located between the infrared detector and the optical system, and that can be opened and closed
  • a control unit that causes the infrared detector to capture a shutter image in a state in which the shutter is closed while the subject region does not exist in the post-correction image, and causes the basic correction data update unit to execute basic correction data update processing based on the shutter image; It is preferable to further comprise.
  • “When the subject area does not exist in the corrected image” means a period in which the subject area is not substantially included in the corrected image.
  • the present invention is not limited to the case where the presence or absence of the subject area is confirmed by detecting the presence or absence of the subject area from the corrected image, and includes the case where it is known that there is no subject area in the corrected image.
  • the change amount of the pixel value caused by the temperature change in the plurality of pixels of the infrared detector is calculated based on the information of the infrared image itself.
  • a representative offset value is calculated, and the infrared image is corrected based on the representative offset value. For this reason, it is possible to correct the variation in non-uniformity for each pixel caused by the temperature change without interrupting the imaging of the external environment.
  • FIG. 1 is a schematic block diagram showing a configuration of an infrared imaging device according to an embodiment of the present invention.
  • the block diagram which shows the structure of the digital signal processing part of 1st Embodiment.
  • FIG. 6 is a diagram showing an example of basic correction data before correction corresponding to the pixel shown in FIG. 5.
  • FIG. 6 is a diagram showing an example of basic correction data after correction corresponding to the pixel shown in FIG. 5.
  • the flowchart which shows the signal correction process of 1st Embodiment.
  • the figure which shows another example of the infrared image which received the influence of the temperature change Diagram for explaining shading by optical system The block diagram which shows the structure of the digital signal processing part of 3rd Embodiment.
  • FIG. 1 is a schematic block diagram showing a configuration of an infrared imaging device 100 according to an embodiment of the present invention.
  • an infrared imaging device 100 includes an infrared imaging optical system 1 and an infrared detector that detects an infrared ray that has passed through the optical system 1 by positioning a detection surface on the imaging surface of the optical system 1.
  • a known analog signal process including an amplification process on the pixel signal detected by the detector 3, the infrared detector 3 and the optical system 1, which is located between the infrared detector 3 and the optical system 1, and is openable and closable.
  • An infrared signal composed of an analog signal processing circuit 4 that performs analog conversion, an AD conversion circuit 5 that performs analog-to-digital conversion on an analog signal-processed pixel signal, and a digital signal that has undergone AD conversion processing
  • the output unit 8 that outputs a corrected infrared image, the infrared imaging device 100 includes a control unit 9 that performs control such as imaging of an infrared image, and a shutter drive mechanism 10 that drives the shutter 2 controlled by the control unit 9. .
  • the infrared imaging device 100 includes a device main body (not shown in FIG. 1), and the above-described units are arranged in the imaging device main body.
  • the infrared detector 3 is composed of an image sensor that is a solid-state imaging device in which a plurality of infrared detection elements are arranged in a matrix.
  • the pixels of the infrared detector 3 are infrared detectors (infrared detectors) that can detect infrared rays (wavelength 0.7 ⁇ m to 1 mm), and in particular, infrared detectors that can detect far infrared rays (wavelength 8 to 15 ⁇ m). is there.
  • a bolometer-type or SOI (Silicon-on-Insulator) diode-type infrared detection element can be used as the infrared detection element used as the effective pixel or the reference pixel.
  • the output unit 8 outputs an infrared image subjected to various digital signal processing including the signal correction processing according to the embodiment of the present invention to a not-shown external storage unit and display unit by wireless or wired communication.
  • the external storage unit (not shown) is composed of various storage media such as a hard disk.
  • the external storage unit may be configured as a memory card type auxiliary storage device.
  • the display unit (not shown) includes a known display such as a liquid crystal display, and displays the output infrared image.
  • An external storage unit (not shown) stores an infrared image acquired from the output unit 8.
  • the control unit 9 performs overall control of the entire apparatus.
  • a PLD Programmable Logic Device
  • FPGA Field-Programmable Gate Array
  • the control unit 9 switches the operation mode of the infrared imaging device 100 between the normal imaging mode and the basic correction data update mode.
  • the control unit 9 controls the signal processing in the digital signal processing unit 6 according to the operation mode through the control signal. Specifically, in the normal imaging mode, the digital signal processing unit 6 performs correction processing, and in the basic correction data update mode, basic correction data update processing is performed.
  • the control unit 9 controls the shutter drive mechanism 10 during the basic correction data update mode so that the image side surface of the shutter 2 is set to a uniform reference temperature by the heater 2A provided in the shutter 2. Then, control is performed to capture a shutter image in a state where the image side surface of the shutter 2 is controlled to a uniform reference temperature.
  • the digital signal processing unit 6 typically includes a processor, a ROM (Read Only Memory) that stores instructions for the processor, and a RAM (Random Access Memory) that stores data, which are connected via a bus. Has been.
  • FIG. 2 is a block diagram showing a detailed configuration of the digital signal processing unit 6 according to the first embodiment.
  • the digital signal processing unit 6 is operated by the processor according to a program stored in the ROM, so that the correction unit 62, the offset value calculation unit 60, the basic correction data update unit 63, and the switch SW Function as such.
  • the RAM of the digital signal processing unit 6 functions as a frame memory 61, a reference value storage unit 66, and a correction data storage unit 64.
  • the digital signal processing unit 6 may have an interface connected to an external storage device or the like.
  • the reference value storage unit 66 and the correction data storage unit 64 may be configured by rewritable nonvolatile memories such as EEPROM (ElectricallyrErasablerasand Programmable Read Only Memory).
  • EEPROM ElectricallyrErasablerasand Programmable Read Only Memory
  • the frame memory 61 stores an infrared image that is a frame image detected by the infrared detector 3. Further, an infrared image to be processed is stored as necessary for each image processing.
  • the corrected image which is a corrected infrared image subjected to the signal correction process, is appropriately subjected to other necessary correction processes after the signal correction process by the digital signal processing device of the infrared imaging apparatus 100 and output.
  • the data is appropriately output to an external storage unit and a display unit (not shown) by the unit 8.
  • arbitrary processing such as gradation processing, edge enhancement processing, local contrast enhancement processing, sharpness adjustment processing, and / or shading correction processing may be performed on the corrected image.
  • the correction data storage unit 64 stores basic correction data representing a non-uniformity correction value for each pixel.
  • each pixel value (each pixel signal) detected by each detector element (each pixel) of the infrared detector 3 has a variation component (non-uniformity component) unique to that pixel.
  • the basic correction data is data representing a correction value corresponding to a variation component value of each pixel, and is a set of correction values of each pixel.
  • the correction data storage unit 64 is detected by the infrared detector 3 in a state where a light source having a uniform light amount is installed on the front surface of the infrared detector 3 and infrared rays incident on the infrared detector 3 from the outside are blocked.
  • the infrared image may be stored as basic correction data.
  • the correction unit 62 corrects the infrared image based on the basic correction data and outputs a corrected image.
  • the correction unit 62 refers to the basic correction data stored in the correction data storage unit 64 and corrects (removes) the variation component included in each pixel value of the infrared image. More specifically, the correction unit 62 performs an offset calculation on each pixel value of the infrared image captured by the infrared detector 3 to calculate each correction value corresponding to the pixel variation component of the pixel value, thereby calculating each pixel value.
  • a non-uniformity correction process for removing a unique variation component is performed, and a pixel value depending on the amount of incident infrared rays is output.
  • the correction unit 62 corrects the infrared image based on the representative offset value and the basic correction data. Further, the correction unit 62 performs offset correction on the infrared image using data obtained by increasing or decreasing the basic correction data with the representative offset value.
  • the infrared image to be corrected by the correction unit 62 may be an infrared image used when calculating the representative offset value, and is later than the infrared image used when calculating the representative offset value. It may be a captured infrared image.
  • the infrared image is offset corrected using data obtained by increasing or decreasing the basic correction data using the representative offset value means that the pixel value of the infrared image is changed to the representative offset value and the pixel value included in the basic correction data. This means that the correction value of the corresponding pixel is offset-corrected.
  • the infrared image is offset corrected using data obtained by increasing or decreasing the basic correction data with the representative offset value as a result is included in the representative offset value and the basic correction data from each pixel value of the infrared image. Any method of offset correction (removal) of the correction value of the pixel corresponding to the pixel value is included.
  • the correction unit 62 includes the representative offset value, the basic correction data, Referring to equation (1), the offset is obtained by subtracting the representative offset value and the correction value of the pixel corresponding to the pixel value included in the basic correction data from each pixel value of the infrared image. Correction may be performed. Further, as in the present embodiment, when the basic correction data in the correction data storage unit 64 is updated with the basic correction data to which the representative offset value is added, the correction unit 62 calculates the pixel value of the infrared image from the pixel values described later.
  • offset correction may be performed by subtracting the correction value of the pixel corresponding to the pixel value included in the updated basic correction data.
  • (Output pixel value corresponding to the i-th pixel) (Input pixel value of the i-th pixel) ⁇ (Correction value of the i-th pixel) ⁇ (Representative offset value) (1)
  • the correction unit 62 corrects (removes) at least the representative offset value and the corresponding correction value included in the basic correction data from each pixel value of the infrared image.
  • the correction process may be performed using a further correction value.
  • a post-correction image which is an infrared image that has been subjected to non-uniformity correction processing by the correction unit 62, is input to the switch SW.
  • the switch SW selectively outputs the corrected image to the offset value calculation unit 60 and the basic correction data update unit 63.
  • the switch SW is switched based on, for example, a control signal output from the control unit 9.
  • the control unit 9 causes the offset value calculation unit 60 to output the corrected image from the switch SW in the normal imaging mode. Further, the control unit instructs the offset value calculation unit 60 to calculate the offset value.
  • the control unit 9 causes the basic correction data update unit 63 to output the corrected image from the switch SW. Further, the control unit 9 instructs the basic correction data update unit 63 to update the basic correction data.
  • the basic correction data update unit 63 updates the basic correction data.
  • the basic correction data update unit 63 receives a shutter image captured with the image side surface of the shutter 2 controlled to a uniform reference temperature via the switch SW. Based on the shutter image, the basic correction data update unit 63 calculates, for each pixel, a correction value at which each pixel has a uniform output value by a known method, and acquires basic correction data that is a set of correction values for each pixel. To do. Then, the basic correction data stored in the correction data storage unit 64 is updated with the acquired basic correction data.
  • the basic correction data update unit 63 may acquire pixel value data of the shutter image as basic correction data.
  • the basic correction data may be created at the time of manufacturing the infrared imaging device 100 and stored in the correction data storage unit 64. Further, the infrared imaging apparatus 100 may omit the basic correction data update unit 63 and the switch SW.
  • the basic correction data update unit 63 performs the basic data update process when the condition that no human area is detected from the immediately previous corrected image is satisfied. Specifically, the basic correction data update unit 63 has a time interval that has been set since the previous update process of the basic correction data, and further, the human region is detected by the region detection unit 65 from the immediately previous corrected image. If the update condition is not satisfied, the basic correction data is updated.
  • the time interval for updating the basic correction data can be any required time interval, and may be a constant time interval or a different time interval depending on the specifications and requirements of the apparatus. For example, when the amount of infrared rays due to external factors irrelevant to the object to be photographed, such as the substrate temperature (especially the sensor temperature) and the housing temperature of the infrared imaging device 100, fluctuates frequently, the time interval is set to be short. If the amount of infrared rays due to a general factor does not vary much, it is conceivable to set the time interval longer. As an example, the time interval can be set to about 2 to 3 minutes.
  • the basic correction data update unit 63 may update the basic correction data by an arbitrary method. For example, when the optical system is out of focus, light from all directions within the observation field of the optical system is uniformly incident on the infrared detector 3. In other words, the light beam incident on the optical system from various directions does not form an image at a specific point of the infrared detector 3 and enters the detection surface of the infrared detector 3 evenly.
  • the basic correction data updating unit 63 may update the basic correction data using an image obtained by imaging such an optical system in an out-of-focus state.
  • the basic correction data update unit 63 may acquire fixed pattern noise data obtained by the method disclosed in Japanese Patent Laid-Open No. 2001-336983 as basic correction data.
  • a processed image obtained by subtracting fixed pattern noise data from an infrared image output from an infrared detector in a state where the optical system is out of focus, and fixed pattern noise noise Find the error from the expected value data.
  • Negative feedback is applied to the subtracter as feedback data based on this error as fixed pattern noise data, and the feedback data when the output image data of the subtractor and the expected value data are almost the same is held as fixed pattern noise data.
  • updating the basic correction data means rewriting the basic correction data stored in the correction data storage unit 64 with new data.
  • the update of the basic correction data includes not only updating the correction values corresponding to all the pixels included in the infrared detector 3 at a time but also partial updating for updating the correction values corresponding to some pixels.
  • FIG. 3 is a diagram showing signal components depending on incident infrared rays and variation components in pixel values (output pixel values) detected by the infrared detector 3.
  • the pixel values of the five pixels P1 to P5 are indicated by the signal components D1 to D5 depending on the incident infrared rays from the subject, and the hatched lines in the figure. It is the sum with the inherent variation component for each pixel shown.
  • the variation components of the five pixels P1 to P5 include components A1 to A5 that do not change due to a temperature change and temperature dependent components B1 to B5 that change as the temperature changes.
  • the left side of FIG. 3 shows pixel values at the reference temperature
  • the right side of FIG. 3 shows pixel values at other temperatures where the temperature has changed from the reference temperature.
  • the basic correction data is a set of correction values corresponding to the variation component of each pixel at the reference temperature
  • the variation component can be corrected (removed) appropriately using the basic correction data at the reference temperature.
  • the temperature dependent components B1 to B5 increase or decrease as indicated by arrows in the temperature dependent components B1 to B5.
  • the increased portion in the temperature dependent components B1 to B5 (the portion indicated by the arrow in the temperature dependent components B1 to B5) remains in the output pixel value, and the pixel value is It shifts to increase overall.
  • the corrected pixel value is inappropriately decreased by the amount corresponding to the decreased portion of the temperature dependent components B1 to B5, and the pixel value is decreased overall. It will shift.
  • the pixel value of the corrected image after the non-uniformity correction processing fluctuates due to the temperature change.
  • FIG. 4 shows, in order from the left, a corrected image obtained by correcting an infrared image captured at a reference temperature and a corrected image obtained by correcting an infrared image captured at another temperature different from the reference temperature. Note that both corrected images are subjected to non-uniform correction processing using basic correction data corresponding to the reference temperature.
  • the left and right images in FIG. 4 include a person having a body temperature within a known temperature range, and there is little difference in the body temperature of the person between the two images, but the fluctuation of the temperature-dependent component as described above.
  • the pixel values in the image fluctuate as a whole, and the pixel values in the human region are small.
  • the pixel value of the target subject that is known to maintain a substantially constant temperature regardless of the ambient temperature in order to correct the fluctuation of the pixel value caused by the temperature change.
  • the amount of infrared rays incident from the target subject is estimated to be maintained at a substantially constant value regardless of the ambient temperature. For this reason, if the pixel value of the target subject changes, the change amount of the pixel value is considered to represent the change amount of the pixel value due to the temperature change.
  • the temperature change that affects the pixel value is a temperature change of the imaging value main body, the circuit board, and the pixel itself caused by a temperature change of the external environment or energization of the circuit board, and is similar to the entire infrared detector 3. It is estimated that a temperature change has occurred. For this reason, in the present invention, the amount of change in the pixel value of the target subject is considered to represent the amount of change in the pixel values of a plurality of pixels included in the entire infrared detector 3.
  • the offset value calculation unit 60 includes a representative offset value calculation unit 69 described later, and the representative offset value calculation unit 69 uses the change amount of the pixel value of the subject value as a change amount due to a temperature change, This is calculated as a representative offset value representing the amount of change in the pixel values of the plurality of pixels of the infrared detector 3. Then, the correction unit 62 performs offset correction based on the representative offset value so as to cancel the variation of the temperature dependent component of the pixel value of the infrared image.
  • the offset value calculation unit 60 includes an area detection unit 65, a pixel value calculation unit 67, a change amount calculation unit 68, and a representative offset value calculation unit 69.
  • the offset value calculation unit 60 calculates a change amount (subject value change amount) from the pixel value of the subject in the left image in FIG. 4 to the pixel value of the subject in the right image in FIG. 4.
  • the process for calculating the representative offset value will be described below.
  • the correction unit 62 corrects the variation (decrease) in the pixel value due to the temperature shown in the right image of FIG. 4 by performing correction to reduce the variation in the pixel value using the representative offset value. Correction is performed so that the pixel value of the subject of the right image in FIG. 4 becomes a pixel value corresponding to the pixel value of the subject of the left image in FIG.
  • the region detection unit 65 acquires a corrected image after the nonuniformity correction processing is performed by the correction unit 62, and detects a subject region R corresponding to the target subject from the corrected image.
  • the region detection unit 65 detects a pixel set representing the temperature in the reference range corresponding to the person temperature from the infrared image by a known method, and extracts an edge of the detected pixel set.
  • a person is detected from the infrared image by performing pattern recognition on the extracted edge using a pattern representing a known person shape.
  • the region detection unit 65 acquires the corrected image shown on the right in FIG. 4, detects the head (face) of the subject from the corrected image, and sets the rectangular region including the head as the subject region R. To detect.
  • the region detection unit 65 can employ any method as long as it can detect the target subject from the infrared image.
  • the region detection unit 65 may adopt the subject region R detection method disclosed in Patent Document 1 when detecting a person region.
  • the region detection unit 65 detects a region corresponding to a person as the subject region R, it is accurately based on the pixel value of the human region having a temperature within the known human body temperature range.
  • a representative offset value can be calculated to perform correction for suppressing fluctuation due to temperature change of the infrared image.
  • an arbitrary object having a temperature in a known specific range may be set as a target subject in accordance with the purpose of installing the imaging apparatus and the observation target.
  • the region detection unit 65 may be configured to detect a region such as a constant temperature animal other than a person as a region corresponding to the target subject.
  • the pixel value calculation unit 67 calculates a subject value representing the pixel value of the subject region R detected by the region detection unit 65.
  • the pixel value calculation unit 67 calculates the mode value of the subject region R as the subject value based on the histogram representing the distribution of the pixel values of the subject region R.
  • the pixel value calculation unit 67 may calculate one of the average value and the median value as the subject value based on a histogram representing the distribution of the pixel values in the subject region R. In these cases, by using an appropriate value as the subject value that is the representative pixel value of the subject region R, the change in the pixel value of the subject region R can be accurately calculated.
  • the pixel value calculation unit 67 may calculate the subject value as an object value representing the pixel value of the subject region R by an arbitrary method. For example, an addition average value or a weighted addition average value of the pixel values of the subject region R may be used as the subject value, and the subject based on the pixel value at a specific position or the pixel values of a plurality of selected pixels in the subject region R. A value may be calculated.
  • the change amount calculation unit 68 calculates a subject value change amount that is a change amount of the pixel value of the subject region R based on the reference subject value and the subject value calculated by the pixel value calculation unit 67. Specifically, the change amount calculation unit 68 refers to the reference subject value stored in the reference value storage unit 66 and uses the subject value calculated from the target infrared image by the pixel value calculation unit 67 as a reference subject value. The difference value obtained by subtracting is calculated as the subject value change amount.
  • 100 is calculated as a reference subject value from the left image of FIG. 4 and stored in the reference value storage unit 66 as will be described later.
  • the reference subject value is a subject value calculated from a reference reference infrared image.
  • the subject value obtained from the reference subject value and the target infrared image is subjected to non-uniformity correction processing using the same basic correction data, and the subject region R is detected by the same method, and the subject region R by the same method. It is preferable that the subject value at is calculated.
  • the reference infrared image it is preferable to use an infrared image captured at a time as close as possible to the time when the image for acquiring the basic correction data is captured, and including the subject.
  • a method of calculating the reference subject value from the corrected reference image shown on the left in FIG. 4 will be described.
  • the digital signal processing unit 6 shifts from the basic correction data update mode to the normal imaging mode, the captured infrared image is stored in the frame memory 61, and the correction unit 62 performs basic correction on the infrared image stored in the frame memory 61.
  • a corrected image subjected to non-uniformity correction processing based on the data is output.
  • the region detection unit 65 detects the subject region R for the corrected image.
  • the pixel value calculation unit 67 calculates the mode value of the subject region R from the subject region R of the corrected image based on the histogram representing the distribution of the pixel values of the subject region R as the reference subject.
  • the reference subject value is stored in the reference value storage unit 66.
  • an infrared image is stored in the frame memory 61 every time an infrared image is captured, and a corrected image obtained by performing non-uniformity correction processing on the stored infrared image is output. Then, a series of processes of detecting the subject region R in the corrected image is repeated.
  • the reference infrared image is an infrared image corresponding to the corrected image in which the subject region R is first detected after shifting from the basic correction data update mode to the normal imaging mode.
  • the time interval between the acquisition of the basic correction data and the acquisition of the reference subject value can be made as small as possible. Therefore, the reference subject value can be calculated in a state where the difference between the external environment and the circuit board temperature at the time of obtaining the basic correction data and the external environment and circuit board temperature at the time of obtaining the reference subject value is as small as possible. it can. As a result, the reference subject value is brought close to the pixel value corresponding to the temperature when the basic correction data is acquired, and the subject value change that approximately represents the change in the pixel value due to the temperature change from the acquisition of the basic correction data. A quantity is calculated.
  • the subject value change amount as the representative offset value, it is possible to suitably correct the fluctuation of the pixel value due to the temperature change from when the basic correction data is acquired.
  • the representative offset value calculation unit 69 calculates the subject value change amount as the representative offset value. Then, the representative offset value calculation unit 69 updates the basic correction data stored in the correction data storage unit 64 using data obtained by performing an offset calculation (increase / decrease) on each correction value of the basic correction data using the representative offset value. .
  • the representative offset value calculation unit 69 may store the representative offset value in the correction data storage unit 64 separately from the basic correction data.
  • FIG. 5 shows 5 ⁇ 5 pixels P1 to P25 which are part of the pixels of the infrared detector 3.
  • 6A and 6B are basic correction data, and indicate correction values corresponding to the pixels P1 to P25 at positions corresponding to the pixels P1 to P25 in FIG. 5, respectively.
  • 6A shows basic correction data before update processing by the representative offset value calculation unit 69
  • FIG. 6B shows basic correction data after update processing by the representative offset value calculation unit 69.
  • the basic correction data is a set of unique correction values for correcting (removing) non-uniformity (variation components for each pixel) of each pixel.
  • FIGS. 6A and 6B are simplified numerical values for explanation, and are different from actual values.
  • 5 ⁇ 5 pixels will be described, but the representative offset value calculation unit 69 performs update processing by the representative offset value calculation unit 69 on all of the n pixels included in the infrared detector 3. Execute.
  • the representative offset value calculation unit 69 calculates the above-described subject value change amount ( ⁇ 10) as a representative offset value, and each pixel Pi (1 ⁇ i ⁇ 25) of the basic correction data shown in FIG. 6A.
  • the subsequent basic correction data is calculated, and the basic correction data stored in the correction data storage unit 64 is updated using the basic correction data after the offset calculation. It can be seen that a representative offset value ( ⁇ 10) is added to each correction value shown in FIG. 6B for each correction value shown in FIG. 6A.
  • the correction unit 62 calculates the pixel correction value corresponding to the pixel value from each pixel value of the infrared image based on the basic correction data stored in the correction data storage unit 64.
  • the non-uniformity correction process is executed by subtracting. That is, the correction unit 62 is input by performing the offset calculation shown in Expression (1-1) for each i-th pixel (1 ⁇ i ⁇ n) of the infrared image based on the updated correction data.
  • a non-uniformity correction process is performed on the infrared image, and a corrected image is output.
  • FIG. 7 is a flowchart showing the flow of signal correction processing according to the first embodiment. The flow of signal correction processing will be described in detail with reference to FIG.
  • the infrared imaging device 100 captures an infrared image
  • the captured infrared image is stored in the frame memory 61 (ST01).
  • the correction unit 62 performs non-uniformity correction processing on the infrared image stored in the frame memory 61 with reference to the correction data storage unit 64 (ST02).
  • the corrected image is output by subtracting the correction value of the pixel corresponding to the pixel value from each pixel value of the infrared image based on the basic correction data.
  • the region detection unit 65 detects the subject region R from the corrected image (ST03). If the subject area R is not detected (ST04, YES), the processes of ST01 to ST03 are repeated.
  • the pixel value calculation unit 67 calculates the subject value based on the detected pixel value of the subject area R (ST05).
  • the change amount calculation unit 68 calculates the difference obtained by subtracting the reference subject value from the subject value as the subject value change amount (ST06), and the representative offset value calculation unit 69 uses the calculated subject value change amount as the representative offset value. Is calculated as (ST07).
  • the representative offset value calculation unit 69 updates the basic correction data stored in the correction data storage unit 64 using the calculated representative offset value (ST08). If the termination condition is not satisfied (ST09, NO), infrared imaging apparatus 100 repeats the processes of ST01 to ST08. If the end condition is satisfied (ST09, YES), the infrared imaging apparatus 100 ends the process.
  • the representative offset value representing the amount of change in the pixel values of the plurality of pixels of the infrared detector 3 due to the temperature change is calculated based on the information of the infrared image itself, and the representative offset value and the basis are calculated.
  • the infrared image is corrected based on the correction data. For this reason, it is possible to correct pixel value variations caused by temperature changes without interrupting imaging of the external environment.
  • the basic correction data update unit 63 is provided, and the basic correction data update unit 63 updates the basic correction data when the update condition that no person is detected from the infrared image captured immediately before is satisfied.
  • the offset value calculation unit 60 calculates a representative offset value when a subject is detected.
  • the correction unit 62 performs non-uniformity correction processing by offset-correcting the infrared image based on data obtained by increasing or decreasing the basic correction data with the representative offset value.
  • the representative offset value is appropriately calculated according to whether or not the subject region R is detected. Therefore, even if the imaging is not interrupted and the basic correction data is not updated, a plurality of pixels due to temperature changes are updated. The change amount of the pixel value can be suitably corrected.
  • the basic correction data can be updated as appropriate in a state in which the person who is the subject of interest is not imaged. Therefore, the correction unit 62 can appropriately acquire correction data corresponding to a temperature change according to the presence or absence of a subject to be noticed, and preferably performs non-uniformity correction processing based on the acquired correction data. It can be carried out.
  • the offset value calculation unit 60 when the offset value calculation unit 60 repeatedly calculates the representative offset value periodically, it is possible to suitably correct the change amount of the pixel value due to the temperature change.
  • the representative offset value is preferably set to the temperature change. The effect is particularly significant because it can be adapted.
  • the offset value calculation unit 60 may perform a representative offset calculation process or a unique offset value calculation process described later with a time interval.
  • the update condition for performing the update process of the basic correction data by the basic correction data update unit 63 may be set arbitrarily.
  • control unit 9 instructs execution of an offset value calculation process (representative offset value calculation process or specific offset value calculation process described later) by the offset value calculation unit 60 regardless of the update condition by the basic correction data update unit 63. You may comprise.
  • the offset value calculation unit 60 may calculate a representative offset or a specific offset value described later at a set time interval.
  • the time interval is set shorter.
  • the time interval at which the offset value calculation unit 60 calculates the representative offset value can be 3 minutes or less, or 5 minutes or less.
  • a temperature sensor (not shown) for detecting a temperature change is provided outside or inside the infrared imaging device 100, and the control unit 9 monitors the temperature change based on the measured value of the temperature sensor. Good. If a temperature change is observed, the offset value calculation unit 60 may be instructed to perform the representative offset value calculation process (or both the representative offset value calculation process and the unique offset value calculation process). Good. In this case, for example, the control unit may monitor the measured value of the temperature sensor, determine the threshold value of the measured value, and determine the temperature change equal to or higher than the reference value.
  • control unit 9 is configured to update the basic correction data by the basic correction data update unit 63 such as a situation in which it is not desired to interrupt image capturing even when an arbitrary update condition based on the passage of time, temperature change, or the like is satisfied.
  • the update process of the basic correction data by the basic correction data update unit 63 is postponed, and instead, the offset value calculation process by the offset value calculation unit 60 is executed. May be indicated.
  • the control unit 9 appropriately instructs execution of the offset value calculation process by the offset value calculation unit 60 until the situation where it is not preferable to perform the update process is resolved.
  • the corrected image including the subject to be noted is continuously output to the output unit 8 depending on whether or not it is not preferable to perform the update process of the basic correction data by the basic correction data update unit 63.
  • the offset value calculation process can suppress the fluctuation of the pixel value due to the temperature change.
  • the infrared image is easily and preferably corrected.
  • the amount of change in pixel value due to temperature change can be corrected from each pixel value.
  • the change amount calculation unit 68 performs shading (lens shading) caused by the optical system 1 between the reference subject value and the subject value with respect to at least one of the reference subject value and the subject value. Performs correction to reduce the difference and calculates the value obtained by subtracting the reference subject value after correction to reduce the shading difference from the subject value after correction to reduce the shading difference. This is different from the first embodiment.
  • FIG. 8A shows, from the left, a corrected image obtained by correcting an infrared image (reference infrared image) captured at a reference temperature and a corrected image obtained by correcting an infrared image captured at a temperature different from the reference temperature. Note that both corrected images are subjected to non-uniform correction processing using basic correction data corresponding to the reference temperature.
  • the human region is located at the image center Z
  • the human region is located at a position C that is separated from the image center Z.
  • FIG. 8B conceptually shows a light amount distribution incident on the pixels on the detection surface when a subject having a uniform temperature is imaged.
  • FIG. 8B is a light amount distribution of pixels on a straight line included in the detection surface of the infrared detector 3, and this straight line corresponds to a position (corresponding to the optical axis) on the detection surface corresponding to the image center Z in FIG. 8A. It is a straight line passing through the position Z1) and the position (C1) on the detection surface corresponding to the center C of the subject region R. As shown in FIG. 8B, it can be seen that the amount of light is reduced by lens shading at the position C1 of the subject region R away from the position Z1 corresponding to the optical axis.
  • the reference subject value and the subject value have different values.
  • changes in pixel values due to lens shading differ.
  • the subject region R of the right image is located at a position C that is separated from the center Z of the image corresponding to the optical axis. Therefore, the subject value includes a decrease in pixel value due to temperature change and lens shading. The pixel value is reduced.
  • the reference subject value of the left image is located at the image center Z where the subject region R corresponds to the optical axis, the pixel value of the reference subject value does not decrease due to lens shading.
  • the subject value change amount is not only the decrease in the pixel value due to the temperature change but also the lens shading between both images. It reflects the difference.
  • the subject value change amount is calculated with the influence of the lens shading difference between the reference subject value and the subject value removed. Is preferred.
  • the change amount calculation unit 68 has a shading difference caused by the optical system 1 between the reference subject value and the subject value with respect to at least one of the reference subject value and the subject value.
  • the value obtained by subtracting the reference subject value after the correction for reducing the shading difference from the subject value after the correction for reducing the shading difference is calculated as the subject value change amount.
  • the configuration and function of each unit other than the first embodiment and the change amount calculation unit 68 are the same, and therefore only the differences will be described.
  • the change amount calculation unit 68 uses the reference position, which is the position of the subject region R of the reference infrared image, and the position of the subject region R detected from the infrared image. A certain position C is specified. Note that the position of the subject area R is specified as the center position of the subject area R. Then, based on the information representing the lens shading of a plurality of pixels of the infrared detector 3 acquired in advance at the time of manufacture or the like as shown in FIG. 8B, the change amount calculation unit 68 uses the following formula (2).
  • the reference subject value when the subject region R is located at the reference position is converted into the reference subject value when the subject region R is located at the position C, and converted from the subject value when the subject region R is located at the position C.
  • the subject value change amount is calculated by subtracting the obtained reference subject value.
  • the reference subject value is 100 when the subject is located at the reference position that is the center Z of the image.
  • the change amount calculation unit 68 refers to the information representing the lens shading, and based on the ratio (80/100) of the light amount at the position C to the light amount at the reference position, the reference when the subject region R is located at the reference position.
  • the subject value (100) is converted into a reference subject value (80) when the subject region R is located at the position C.
  • a value obtained by subtracting the reference conversion value (80) when the subject region R is located at the position C from the subject value (70) when the subject region R is located at the position C is obtained as a subject value change amount ( ⁇ 10 ) Get as.
  • the reference subject value when the subject region R is located at the reference position is converted into the reference subject value when the subject region R is located at the position C, whereby the reference subject value is obtained.
  • the subject value change amount can be accurately calculated.
  • the position of the subject region R in the reference infrared image is appropriately selected as the reference position.
  • the pixel value calculation unit 67 may calculate the subject value by any method that represents the representative pixel value of the subject region R.
  • the change amount calculating unit 68 may employ any correction method that can reduce (cancel) the difference in lens shading between the reference subject value and the subject value. For example, the change amount calculation unit 68 calculates the subject value when the subject region R is located at the position C in order to reduce (cancel) the lens shading difference between the reference subject value and the subject value.
  • the reference subject value when the subject region R is located at the third position and the subject value when the subject region R is located at the third position may be respectively converted.
  • the subject value change amount is the pixel due to the temperature change.
  • the nonuniformity correction process can be performed with high accuracy by correcting the pixel value of the infrared image using the subject value change amount as the representative offset value. Also, by using the subject value and the reference subject value to calculate the subject value change amount that cancels the shading difference, the subject value change amount can be calculated easily and accurately.
  • FIG. 9 is a diagram illustrating a configuration of the digital signal processing unit 6 according to the third embodiment
  • FIG. 10 is a flowchart illustrating signal correction processing according to the third embodiment.
  • the offset value calculation unit 60 is caused by the optical system 1 for at least a part of the pixel value of the corrected image prior to the calculation of the subject value change amount by the change amount calculation unit 68.
  • a shading correction unit 70 that performs a shading correction process for correcting shading is provided.
  • a shading correction is performed on a corrected image obtained by performing non-uniform correction processing on the reference infrared image by a shading correction unit 70, which will be described later, and the subject region R is detected from the image subjected to the shading correction. Then, it is preferable that a subject value is calculated from the detected subject region R, and the calculated subject value is stored in the reference value storage unit 66 as a reference subject value.
  • the offset value calculation unit 60 includes a shading correction unit 70 that performs a shading correction process on pixel values corresponding to a plurality of pixels in the corrected image, and the region detection unit 65 performs the shading correction process.
  • the difference from the first embodiment is that the subject region R is detected based on pixel values corresponding to a plurality of subsequent pixels. For this reason, the same code
  • the description will focus on differences from the first embodiment, and description of other common parts will be omitted.
  • the shading correction unit 70 refers to lens shading correction information, which is a set of shading correction values corresponding to lens shading for each pixel, with respect to the corrected image output from the correction unit 62, and sets each position in the corrected image.
  • the shading correction value of the corresponding pixel is acquired.
  • the shading correction unit 70 performs shading correction by performing an offset calculation on the shading correction value so as to correct (remove) the lens shading of the corresponding pixel from each pixel value of the corrected image (ST23).
  • the shading correction information may be created by measurement at the time of manufacture and stored in the correction data storage unit 64 in advance.
  • the region detection unit 65 detects the subject region R based on the pixel values corresponding to the plurality of pixels after the shading correction process is performed (ST24). Thereafter, the processing of ST26 to ST30 is the same as the processing of ST05 to ST09 in FIG.
  • the subject value change amount is calculated using the subject value in which the difference in lens shading is corrected, the same effect as in the second embodiment can be obtained. Further, as in the third embodiment, when the region detection unit 65 is configured to detect the subject region R from the corrected image with the lens shading corrected, the detection accuracy of the subject region R is improved. be able to.
  • the shading correction unit 70 performs a shading correction process on the pixel values of the pixels included in the detected subject region R as shown by the broken line portion in FIG.
  • the value calculation unit 67 may be configured to calculate the subject value based on the pixel value included in the subject region R after the shading correction process is performed. The following description will focus on the differences from the third embodiment, and description of other common parts will be omitted.
  • the subject region R is detected from the corrected image obtained by performing the non-uniform correction process on the reference infrared image, and the shading correction unit 70 performs shading on the detected subject region R. It is preferable to perform correction processing, calculate a subject value from the subject region R subjected to shading correction, and store the calculated subject value in the reference value storage unit 66 as a reference subject value.
  • FIG. 11 is a flowchart showing a signal correction process in the case of the above modification. Note that the processing of ST31 to ST34 in FIG. 11 is the same as ST01 to ST04 of FIG.
  • the shading correction unit 70 acquires the subject region R detected by the region detection unit 65, and the shading correction value corresponding to the lens shading for each pixel is obtained for the subject region R.
  • the shading correction value of the pixel corresponding to each position of the subject region R is acquired with reference to the lens shading correction information that is a set. Then, the shading correction unit 70 performs shading correction by performing an offset calculation on the shading correction value of the corresponding pixel so as to correct (remove) the lens shading of the corresponding pixel from each pixel value of the subject region R ( ST35).
  • the shading correction information may be created by measurement at the time of manufacture and stored in the correction data storage unit 64 in advance.
  • the pixel value calculation unit 67 calculates a subject value based on the pixel value included in the subject region R after the shading correction process is performed (ST36). Thereafter, the processing of ST37 to ST40 is the same as the processing of ST06 to ST09 in FIG.
  • the shading correction unit 70 performs the shading correction on the detected subject region R, the shading correction is performed on the pixel values in the range necessary for the calculation of the subject value, and the calculation load is excessive. Can be suppressed. Also in the case of the above-described modification example, the subject value change amount can be calculated using the subject value whose lens shading is corrected, so that the same effect as in the second and third embodiments can be obtained.
  • each change amount of the temperature dependent components B1 to B5 of each of the pixels P1 to P5 due to the temperature change is converted into an infrared detector.
  • the pixel value of each pixel was corrected using the subject region R value as a representative offset value, approximating the common value of all three.
  • the change amount of the pixel value of each pixel due to the temperature change is considered to be a unique value for each pixel.
  • the offset value calculation unit 60 uses each representative offset value that represents the amount of change in the pixel values of the plurality of pixels included in the infrared detector 3 to each of the elements included in the infrared detector 3. A unique offset value representing a change amount of a pixel value unique to the pixel is calculated. More specifically, in the fourth embodiment, the offset value calculation unit 60 further includes a unique offset value calculation unit 71, and the correction unit 62 uses data obtained by increasing or decreasing the basic correction data using the unique offset value. The point which offset-corrects an infrared image differs from 1st Embodiment. Hereinafter, the description will focus on differences from the first embodiment, and description of other common parts will be omitted.
  • the unique offset value calculation unit 71 generates a unique value corresponding to the representative offset value for each pixel of the plurality of pixels, based on the unique value information that represents the relationship between the representative offset value and the unique offset value. Each offset value is calculated.
  • the eigenvalue information is measured and acquired in the manufacturing stage, and is stored in the correction data storage unit 64 in advance.
  • the eigenvalue information may be configured by an arbitrary method that represents the relationship between the representative offset value and the eigenoffset value for each pixel.
  • the unique value information may include a table in which a unique offset value corresponding to the representative offset value is associated with each of the plurality of representative offset values for each pixel.
  • the eigenvalue information may include a table in which the difference between the representative offset value and the eigenoffset value is associated with each pixel for each of the plurality of representative offset values.
  • the eigenvalue information is a table in which a value of a ratio (eigenvalue) of a difference between the representative offset value and the eigenoffset value of the pixel is associated with the representative offset value for each pixel.
  • FIG. 13 shows an example of the eigenvalue information.
  • the eigenvalue information in FIG. 13 indicates eigenvalues corresponding to the 5 ⁇ 5 pixels P1 to P25 in FIG.
  • the eigenvalue of the i-th pixel can be expressed as the following formula (3).
  • (Eigenvalue of i-th pixel) ⁇ (inherent offset value of i-th pixel) ⁇ (representative offset value) ⁇ / (representative offset value) (3)
  • the relationship between the inherent offset value and the representative offset value and the inherent value can be expressed as the following equation (4).
  • the difference value between the representative offset value and the inherent offset value of the i-th pixel may be simply referred to as a difference value.
  • 14A and 14B are basic correction data corresponding to the pixels P1 to P25 shown in FIG. 5, respectively.
  • 14A shows basic correction data before update processing by the unique offset value calculation unit 71
  • FIG. 14B shows basic correction data after update processing by the unique offset value calculation unit 71.
  • a process in which the specific offset value calculation unit 71 calculates the specific offset value using the representative offset value and updates the basic correction data using the specific offset value will be described with reference to FIGS. 13, 14A, and 14B.
  • the basic correction data is originally set for each pixel with a unique correction value for correcting non-uniformity (variation component for each pixel) of the pixel. This is the correction value.
  • the numerical values shown in FIGS. 13, 14A, and 14B are all numerical values for explanation, and are different from actual values.
  • the offset value calculation unit 60 performs basic correction data update processing on all the pixels included in the infrared detector 3.
  • each correction value of the basic correction data is offset by adding a unique offset value.
  • (Correction value after update of i-th pixel) (Correction value of i-th pixel) + (Inherent offset value of i-th pixel) (5)
  • the unique offset value calculation unit 71 updates the basic correction data stored in the correction data storage unit 64 using the basic correction data after the offset calculation.
  • the correction unit 62 calculates the pixel correction value corresponding to the pixel value from each pixel value of the infrared image based on the basic correction data stored in the correction data storage unit 64.
  • the non-uniformity correction process is executed by subtracting. That is, the correction unit 62 performs the offset calculation shown in Expression (6) on the i-th pixel (1 ⁇ i ⁇ n) of the infrared image based on the post-update correction data, thereby obtaining the input infrared image.
  • non-uniformity correction processing is performed, and a corrected image is output.
  • the unique offset value calculation unit 71 may store the unique offset value in an arbitrary manner as long as the unique offset value can be specified when the correction unit 62 corrects the unique offset value.
  • the unique offset value calculation unit 71 may store the unique offset data, which is a set of unique offset values, in the correction data storage unit 64 separately from the basic correction data, as indicated by a broken line in FIG.
  • the unique offset value calculation unit 71 corrects the unique offset data by dividing it into a representative offset value and difference data indicating a difference value between the representative offset value and the unique offset value for each pixel. You may memorize
  • the correction unit 62 performs offset correction on the infrared image using data obtained by increasing or decreasing the basic correction data with the inherent offset value.
  • the infrared image to be corrected by the correction unit 62 may be an infrared image used when calculating the representative offset value, and is later than the infrared image used when calculating the representative offset value. It may be a captured infrared image.
  • Infrared image offset correction using data obtained by increasing / decreasing basic correction data with specific offset value means that each pixel value of the infrared image includes the specific offset value and the pixel value included in the basic correction data. This means offset correction (removal) of the correction value of the pixel corresponding to. “The infrared image is offset corrected using data obtained by increasing or decreasing the basic correction data using the unique offset value”, as a result, is included in the unique offset value and the basic correction data from each pixel value of the infrared image. Any method of offset correction (removal) of the correction value of the pixel corresponding to the pixel value is included.
  • the correcting unit 62 includes the specific offset value, the basic correction data, By referring to each pixel value of the infrared image, by subtracting the inherent offset value and the correction value of the pixel corresponding to the pixel value included in the basic correction data, as shown in Equation (6-1) Offset correction may be performed.
  • (Output pixel value corresponding to i-th pixel) (input pixel value of i-th pixel) ⁇ (correction value of i-th pixel) ⁇ (inherent offset value of i-th pixel) (6-1)
  • the unique offset value may be stored in the correction data storage unit 64 separately by the unique offset value calculation unit 71 into the representative offset value and the difference value, and the basic correction data may be stored independently.
  • the correction unit 62 calculates the pixel correction value corresponding to the pixel value included in the basic correction data and the representative offset value from each pixel value of the infrared image.
  • the offset correction may be performed by subtracting the representative offset value and the difference value between the representative offset value and the inherent offset value of the pixel. As long as the same result is obtained, the order of subtraction may be appropriately changed.
  • the correction unit 62 corrects (removes) at least the representative offset value and the corresponding correction value included in the basic correction data from each pixel value of the infrared image.
  • the correction process may be performed using a further correction value.
  • FIG. 15 is a flowchart showing the flow of signal correction processing in the fourth embodiment.
  • the flow of signal correction processing in the fourth embodiment will be described with reference to FIG. Note that the processing of ST41 to ST47 in FIG. 15 is the same as ST01 to ST07 of FIG.
  • the unique offset value calculation unit 71 refers to the unique value information and calculates a unique offset value corresponding to the representative offset value for each pixel (ST48). Then, the unique offset value calculation unit 71 performs an offset calculation on each correction value in the basic correction data with the specific offset value, and the basic correction data stored in the correction data storage unit 64 by the basic correction data obtained by the offset calculation. Is updated (ST49). If the end condition is not satisfied (ST50, NO), infrared imaging apparatus 100 repeats the processes of ST41 to ST49. If the end condition is satisfied (ST50, YES), the infrared imaging apparatus 100 ends the process.
  • the correction unit 62 performs the non-uniformity correction process by performing the offset correction based on the data obtained by increasing or decreasing the basic correction data by the inherent offset value.
  • the variation in non-uniformity for each pixel can be corrected more suitably.
  • the eigenvalue information is stored as a table in which the ratio value (eigenvalue) of the difference between the representative offset value and the specific offset value of the pixel with respect to the representative offset value is associated with each pixel, and the eigenvalue information is unique based on the eigenvalue information Since the offset value is calculated, it is possible to suitably suppress an excessive increase in the eigenvalue information stored in the correction data storage unit 64.
  • each effect described above is preferably applied to noise generated based on far-infrared light (wavelength 8 to 15 ⁇ m) in infrared light (wavelength 0.7 ⁇ m to 1 mm). Is obtained.
  • the infrared imaging device 100 according to each embodiment of the present invention can be suitably applied to a security imaging device, a vehicle-mounted imaging device, and the like, and may be configured as a single imaging device that captures infrared images. It may be configured to be incorporated in an imaging system having an infrared image capturing function.
  • Optical System 2 Shutter 3 Infrared Detector (Infrared Image Sensor) 4 Analog signal processing circuit 5 Conversion circuit 6 Digital signal processing unit 8 Output unit 9 Control unit 10 Shutter drive mechanism 60 Offset value calculation unit 61 Frame memory 62 Correction unit 63 Basic correction data update unit 64 Correction data storage unit 65 Area detection unit 66 Standard value storage unit 67 Pixel value calculation unit 67 68 Change amount calculation unit 69 Representative offset value calculation unit 70 Shading correction unit 71 Specific offset value calculation unit 100 Infrared imaging device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

赤外線撮像装置および赤外線撮像装置による信号補正方法において、外部環境の撮像を途切れさせないで、温度変化に起因する画素ごとの非均一性の変動を補正する。赤外線撮像装置が、光学系と、赤外線画像を撮像する赤外線検出器と、基礎補正データに基づいて、赤外線画像を補正して補正後画像を出力する補正部62と、オフセット値算出部60とを備える。オフセット値算出部60は、補正後画像から被写体領域を検出し、被写体領域の画素値を表す被写体値を算出し、基準被写体値と、算出された被写体値とに基づいて、被写体領域の画素値の変化量である被写体値変化量を算出し、被写体値変化量を、温度変化に起因する複数の画素の画素値の変化量を表す代表オフセット値として算出する。

Description

赤外線撮像装置および赤外線撮像装置による信号補正方法
 本発明は、赤外線画像を撮像する赤外線撮像装置および赤外線撮像装置による信号補正方法に関し、特に赤外線画像の画素信号を補正する赤外線撮像装置および赤外線撮像装置による信号補正方法に関する。
 入射赤外光(赤外線)を検出して赤外線画像を生成する赤外線撮像装置が知られている。一般に、赤外線撮像装置は、被写体から放射される赤外線を検出して電気信号に変換する赤外線検出器を含む。赤外線撮像装置は、監視カメラ、暗視装置、サーモグラフィ、又は車両や航空機などに搭載する先方監視装置などの広範囲の分野で利用されている。
 赤外線撮像装置では、赤外線検出器の検出器素子(画素)が持つ画素固有の感度のばらつきなどの画素ごとの非均一性が存在する。画素ごとの非均一性が存在すると、赤外線撮像装置により均一な温度の面を撮像しても、画像信号(画素値)にばらつきが生じて均一な画像が得られない。画素ごとの非均一性の影響を低減するには、各画素の非均一性に対応する補正値を備えてなる補正データを取得し、その画素で検出された画素値から、その画素に対応する補正値をオフセット補正する非均一性補正処理を実施すればよい。非均一性補正処理に用いる補正データは、例えば、均一な光量の光源を赤外線検出器の前面に設置し、かつ外部から赤外線検出器に入射する赤外線を遮断した状態で取得される。
 例えば、特許文献1には、赤外線撮像装置内にシャッタ機構を設け、シャッタにより外部から赤外線検出器に入射する赤外線を遮断して、非均一性補正処理に用いる補正データを取得する方法が開示されている。
 画素ごとの非均一性は、赤外線撮像装置の本体、回路基板および画素自体などの温度変化によって変動する。このため、非均一性補正処理に用いる補正データを繰り返し取得することが好ましい。もし、温度変化に関わらず、共通の補正データを用いて、複数の時点の赤外線画像に対して非均一性補正処理を実施した場合には、ある時点の赤外線画像に対しては適切な補正結果が得られても、他の時点の赤外線画像に対しては、画像の明るい部分が白一色に表示される白飛び、又は、画像の暗い部分が黒一色に表示される黒沈みなどの不具合を有する不適切な補正結果となる可能性がある。
 また、特許文献2には、2つの撮像装置で同一の人物をそれぞれ撮像して得られた2つの赤外線画像に基づいて、2つの赤外線画像の人物の画素値の平均値を求め、係る平均値に2つの赤外線画像の人物の画素値が一致するように、2つの赤外線画像の画素値を補正する方法が提案されている。
特開2005-96752号公報 特許4910529号公報
 ここで、特許文献1に記載された技術においては、非均一性補正処理に用いる補正データを取得するためにシャッタを閉じた状態とする必要があるため、外部環境を撮像できない時間が生じてしまう。しかし、例えば、注目すべき被写体を撮像している期間など特定の状況下では、外部環境の撮像が途切れることは好ましくない。
 また、特許文献2は、異なる撮像装置でそれぞれ撮像された2つの赤外線画像間で対応する被写体の画素値を一致させる補正値を算出する技術にすぎない。このため、特許文献2の技術において、外部環境の温度変化などが生じた場合には、2つの撮像装置のそれぞれに非均一性補正処理に用いる補正データを更新する必要があり、各撮像装置のそれぞれに撮像できない時間が生じてしまう。
 このため、温度変化に起因して画素ごとの非均一性の変動が生じても、外部環境の撮像を途切れさせないで、非均一性補正処理に用いる補正データを取得できる方法が要望されている。
 本発明は上記事情に鑑みてなされたものであり、外部環境の撮像を途切れさせないで、温度変化に起因する画素ごとの非均一性の変動を補正することができる赤外線撮像装置、係る赤外線撮像装置による信号補正方法を提案することを目的とする。
 本発明に係る赤外線撮像装置は、光学系と、光学系の結像面に位置し、入射した赤外線を検出する複数の画素を備え、複数の画素により赤外線画像を撮像する赤外線検出器と、複数の画素の画素ごとの非均一性をそれぞれ補正するための基礎補正データに基づいて、赤外線画像を補正して補正後画像を出力する補正部と、オフセット値算出部とを備え、オフセット値算出部が、補正後画像から対象被写体に対応する被写体領域を検出する領域検出部と、被写体領域の画素値を表す被写体値を算出する画素値算出部と、赤外線検出器によって撮像された基準となる赤外線画像である基準赤外線画像を基礎補正データに基づいて補正した補正後基準画像における、被写体領域の画素値である基準被写体値と、被写体値とに基づいて、被写体領域の画素値の変化量である被写体値変化量を算出する変化量算出部と、被写体値変化量を、温度変化に起因する複数の画素の画素値の変化量を表す代表オフセット値として算出する代表オフセット値算出部とを有してなり、補正部が、代表オフセット値と基礎補正データとに基づいて、赤外線画像を補正する、ことを特徴とする。
 本発明に係る赤外線撮像装置による信号補正方法は、光学系の結像面に位置し、入射した赤外線を検出する複数の画素を備えた赤外線検出器を備えた赤外線撮像装置による信号補正方法であって、複数の画素により赤外線画像を撮像する撮像ステップと、複数の画素の画素ごとの非均一性をそれぞれ補正するための基礎補正データに基づいて、赤外線画像を補正して補正後画像を出力する補正ステップと、オフセット値算出ステップとを有し、オフセット値算出ステップが、補正後画像から対象被写体に対応する被写体領域を検出する領域検出ステップと、被写体領域の画素値を表す被写体値を算出する画素値算出ステップと、赤外線検出器によって撮像された基準となる赤外線画像である基準赤外線画像を基礎補正データに基づいて補正した補正後基準画像における、被写体領域の画素値である基準被写体値と、被写体値とに基づいて、被写体領域の画素値の変化量である被写体値変化量を算出する変化量算出ステップと、被写体値変化量を、温度変化に起因する複数の画素の画素値の変化量を表す代表オフセット値として算出する代表オフセット値算出ステップとを有してなり、補正ステップが、代表オフセット値と基礎補正データとに基づいて、赤外線画像を補正することを特徴とする。
 上記において、「温度変化に起因する複数の画素の画素値の変化量」とは、赤外線検出器に含まれる複数の画素の画素値の変化量であって温度変化に起因して生じる変化量を意味する。係る変化量の一例として、外部環境の温度変化に伴う赤外線撮像装置本体と回路基板および画素自体の温度変化、回路基板に通電することにより生じる回路基板および画素自体の温度変化などによって生じる画素値の変化量がある。
 本発明に係る赤外線撮像装置において、補正部は、代表オフセット値によって基礎補正データを増減させたデータを用いて、赤外線画像をオフセット補正することが好ましい。
 本発明に係る赤外線撮像装置において、オフセット値算出部が、複数の画素の画素ごとに、代表オフセット値と温度変化に起因する画素の画素値の変化量を表す固有オフセット値との関係をそれぞれ表す固有値情報に基づいて、複数の画素の画素ごとに、代表オフセット値に対応する固有オフセット値をそれぞれ算出する固有オフセット値算出部をさらに備え、補正部は、固有オフセット値によって基礎補正データを増減させたデータを用いて、赤外線画像をオフセット補正してもよい。
 本発明に係る赤外線撮像装置において、変化量算出部は、基準被写体値と被写体値の少なくとも一方の値に対して、基準被写体値と被写体値の間の光学系に起因するシェーディングの差を低減する補正を行い、シェーディングの差を低減する補正を行った後の被写体値から、シェーディングの差を低減する補正を行った後の基準被写体値を減算した値を被写体値変化量として算出することが好ましい。
 本発明に係る赤外線撮像装置において、オフセット値算出部は、変化量算出部による被写体値変化量の算出に先立って、補正後画像の画素値の少なくとも一部に対して、光学系に起因するシェーディングを補正するシェーディング補正処理を行うシェーディング補正部をさらに有することが好ましい。
 上記「光学系に起因するシェーディング」とは、光学系に起因して生じる画素値の非均一性(ばらつき)を意味する。例えば、光学系によるシェーディングとして、光学系の光軸における光量よりも光軸から離れた位置において光量が低減する、いわゆる周辺光量落ちなどがあげられる。
 オフセット値算出部がシェーディング補正部を有する場合に、シェーディング補正部は、補正後画像における複数の画素に対応する画素値に対してシェーディング補正処理を行い、領域検出部は、シェーディング補正処理を行った後の複数の画素に対応する画素値に基づいて、被写体領域を検出することが好ましい。
 オフセット値算出部がシェーディング補正部を有する場合に、シェーディング補正部は、被写体領域に含まれる画素の画素値に対してシェーディング補正処理を行い、画素値算出部は、シェーディング補正処理を行った後の被写体領域に含まれる画素値に基づいて、被写体値を算出することが好ましい。
 本発明に係る赤外線撮像装置において、画素値算出部は、被写体領域の画素値の分布を表すヒストグラムに基づいて、最頻値と平均値と中央値とのいずれか1つを被写体値として算出することが好ましい。
 本発明に係る赤外線撮像装置において、領域検出部が、人に対応する領域を被写体領域として検出することが好ましい。
 本発明に係る赤外線撮像装置において、オフセット値算出部は、周期的に繰り返し代表オフセット値を算出することが好ましい。
 本発明に係る赤外線撮像装置において、基礎補正データを補正する基礎補正データ更新処理を実行する基礎補正データ更新部と、赤外線検出器と光学系との間に位置し、開閉自在であるシャッタと、補正後画像に被写体領域が存在しない間に、赤外線検出器にシャッタを閉じた状態におけるシャッタ画像を撮像させ、シャッタ画像に基づいて基礎補正データ更新部に基礎補正データ更新処理を実行させる制御部とをさらに備えることが好ましい。
 「補正後画像に被写体領域が存在しない間に」とは、補正後画像に実質的に被写体領域が含まれない間を意味する。また、例えば、補正後画像から被写体領域の有無を検出して被写体領域が存在しないことを確認した場合に限定されず、補正後画像に被写体領域がないことが既知である場合なども含む。
 本発明の赤外線撮像装置および本発明の赤外線撮像装置による信号補正方法によれば、赤外線画像自体の情報に基づいて、赤外線検出器の複数の画素における、温度変化に起因する画素値の変化量を表す代表オフセット値を算出し、代表オフセット値に基づいて赤外線画像を補正する。このため、外部環境の撮像を途切れさせないで、温度変化に起因する画素ごとの非均一性の変動を補正することができる。
本発明の一実施形態による赤外線撮像装置の構成を示す概略ブロック図。 第1の実施形態のデジタル信号処理部の構成を示すブロック図。 温度変化による画素値の変化を説明するための図。 温度変化の影響を受けた赤外線画像の一例を示す図。 赤外線検出器の一部の画素を示す図。 図5に示す画素に対応する補正前の基礎補正データの例を示す図。 図5に示す画素に対応する補正後の基礎補正データの例を示す図。 第1の実施形態の信号補正処理を示すフローチャート。 温度変化の影響を受けた赤外線画像の他の一例を示す図 光学系によるシェーディングを説明するための図 第3の実施形態のデジタル信号処理部の構成を示すブロック図。 第3の実施形態の信号補正処理を示すフローチャート。 第3の実施形態の変形例の信号補正処理を示すフローチャート。 第4の実施形態のデジタル信号処理部の構成を示すブロック図。 第4の実施形態の固有値情報の例を示す図。 第4の実施形態の補正前の基礎補正データの例を示す図。 第4の実施形態の補正後の基礎補正データの例を示す図。 第4の実施形態の信号補正処理を示すフローチャート
 以下、図面を参照して本発明の実施形態について説明する。図1は本発明の一実施形態による赤外線撮像装置100の構成を示す概略ブロック図である。
 まず、本発明の一実施形態の赤外線撮像装置100は、赤外線撮影用の光学系1と、光学系1の結像面に検出面を位置させ、光学系1を通過した赤外線を検出する赤外線検出器3と、赤外線検出器3と光学系1との間に位置し、開閉自在であるシャッタ2と、赤外線検出器3で検出された画素信号に対して増幅処理を含む公知のアナログ信号処理を行うアナログ信号処理回路4と、アナログ信号処理を施された画素信号に対してAD変換(Analog to Digital変換)を行うAD変換回路5と、AD変換処理を施されたデジタル信号から構成される赤外線画像に対して、本発明の実施形態による信号補正処理を含む各種の信号補正処理を行うデジタル信号処理装置(Digital Signal Processor)であるデジタル信号処理部6と、デジタル信号処理部6により補正された赤外線画像を出力する出力部8と、赤外線撮像装置100は赤外線画像の撮像などの制御を行う制御部9と、制御部9によって制御されるシャッタ2を駆動するシャッタ駆動機構10を備える。また、赤外線撮像装置100は、図1には不図示の装置本体を備え、上記各部は、撮像装置本体の中に配置されている。
 赤外線検出器3は、複数の赤外線検出素子を行列状に配置した固体撮像素子であるイメージセンサから構成される。赤外線検出器3の画素は、赤外線(波長0.7μm~1mm)を検出可能な赤外線検出素子(赤外線検出器)であり、特に、遠赤外線(波長8~15μm)を検出可能な赤外線検出素子である。例えば、上記有効画素又は参照画素として用いられる赤外線検出素子としてボロメータ型又はSOI(Silicon on Insulator)ダイオード型の赤外線検出素子を用いることができる。
 出力部8は、無線又は有線通信によって、本発明の実施形態の信号補正処理を含む各種のデジタル信号処理が施された赤外線画像を不図示の外部記憶部と表示部に出力する。ここでは、不図示の外部記憶部は、ハードディスクなど各種の記憶媒体から構成される。例えば、外部記憶部をメモリカード型の補助記憶装置として構成してもよい。なお、不図示の表示部は、液晶型ディスプレイなど公知のディスプレイを備え、出力した赤外線画像を表示する。また、不図示の外部記憶部は出力部8から取得した赤外線画像を記憶する。
 制御部9は、装置全体の統括的な制御を行う。制御部9には、例えばFPGA(Field-Programmable Gate Array)などのPLD(Programmable Logic Device)を用いることができる。制御部9は、赤外線撮像装置100の動作モードを、通常撮像モードと基礎補正データの更新モードとの間で切り替える。制御部9は、制御信号を通じて、デジタル信号処理部6における信号処理を動作モードに応じて制御する。具体的には、通常撮像モード時はデジタル信号処理部6に補正処理を実施させ、基礎補正データの更新モード時は基礎補正データ更新処理を実施させる。また、制御部9は、基礎補正データの更新モードの際に、シャッタ駆動機構10を制御して、シャッタ2に設けられたヒータ2Aによってシャッタ2の像側面を均一な基準温度にするように制御し、シャッタ2の像側面が均一な基準温度に制御された状態でシャッタ画像を撮像する制御を行う。
 デジタル信号処理部6は、典型的には、プロセッサと、プロセッサに対する命令を格納するROM(Read Only Memory)と、データを格納するRAM(Random Access Memory)とを含み、これらはバスを介して接続されている。
 図2は、第1の実施形態のデジタル信号処理部6の詳細な構成を示すブロック図である。図2に示すように、プロセッサがROMに格納されたプログラムに従って動作することで、デジタル信号処理部6は、補正部62と、オフセット値算出部60と、基礎補正データ更新部63と、スイッチSWなどとして機能する。また、デジタル信号処理部6のRAMは、フレームメモリ61と、基準値記憶部66と、補正データ記憶部64として機能する。デジタル信号処理部6は、外部の記憶装置などと接続されるインタフェースを有していてもよい。なお、基準値記憶部66と、補正データ記憶部64は、例えばEEPROM(Electrically Erasable and Programmable Read Only Memory)などの書き換え可能な不揮発性メモリで構成されていてもよい。
 フレームメモリ61は、赤外線検出器3で検出されたフレーム画像である赤外線画像を記憶する。また、各画像処理の必要に応じて処理対象の赤外線画像を記憶する。
 なお、信号補正処理が行われた補正後の赤外線画像である補正後画像は、赤外線撮像装置100のデジタル信号処理装置によって、信号補正処理の後にその他の必要な補正処理などが適宜施され、出力部8によって不図示の外部記憶部および表示部などに適宜出力される。なお、補正後画像に対して例えば、階調処理、エッジ強調処理、局所的コントラスト強調処理、シャープネス調整処理および/又はシェーディング補正処理など任意の処理を行ってよい。
 補正データ記憶部64は、画素ごとの非均一性の補正値を表す基礎補正データを記憶する。ここで、赤外線検出器3の各検出器素子(各画素)に検出される各画素値(各画素信号)は、その画素に固有のばらつき成分(非均一性成分)を有する。基礎補正データは、各画素のばらつき成分の値に相当する補正値を表すデータであり、各画素の補正値の集合である。補正データ記憶部64は、初期状態では、均一な光量の光源を赤外線検出器3の前面に設置し、かつ外部から赤外線検出器3に入射する赤外線を遮断した状態で赤外線検出器3により検出された赤外線画像を、基礎補正データとして記憶していてもよい。
 補正部62は、基礎補正データに基づいて、赤外線画像を補正して補正後画像を出力する。ここでは、補正部62は、補正データ記憶部64に記憶された基礎補正データを参照して、赤外線画像の各画素値に含まれるばらつき成分の補正(除去)を行う。より詳細には、補正部62は、赤外線検出器3によって撮像された赤外線画像の各画素値から、その画素値の画素のばらつき成分に相当する補正値をそれぞれオフセット演算することにより、各画素に固有のばらつき成分を除去する非均一性補正処理を行って、入射赤外線の量に依存した画素値を出力する。
 また、補正部62は、代表オフセット値が算出された後は、代表オフセット値と基礎補正データに基づいて赤外線画像を補正する。また、補正部62は、代表オフセット値によって基礎補正データを増減させたデータを用いて、赤外線画像をオフセット補正する。なお、ここで補正部62の補正対象となる赤外線画像は、代表オフセット値の算出の際に用いられた赤外線画像であってもよく、代表オフセット値の算出の際に用いられた赤外線画像より後に撮像された赤外線画像であってもよい。
 「代表オフセット値によって基礎補正データを増減させたデータを用いて、赤外線画像をオフセット補正する」とは、赤外線画像の各画素値から、代表オフセット値と、基礎補正データに含まれるその画素値に対応する画素の補正値と、をオフセット補正することを意味する。「代表オフセット値によって基礎補正データを増減させたデータを用いて、赤外線画像をオフセット補正する」とは、結果的に、赤外線画像の各画素値から、代表オフセット値と、基礎補正データに含まれるその画素値に対応する画素の補正値とをそれぞれオフセット補正(除去)するいかなる方法も含む。
 例えば、補正部62は、赤外線検出器3が1~n個の画素を有する場合、補正部62によって出力されるi番目(1≦i≦n)の画素の出力画素値が、(i番目の画素に対応する出力画素値)=(i番目の画素の入力画素値)-(i番目の画素の補正値)-(代表オフセット値)となる範囲で、任意の方法でオフセット補正を行ってよい。
 一例として、図2に破線で示すように、補正データ記憶部64に代表オフセット値と基礎補正データとが個々に記憶されている場合に、補正部62は、代表オフセット値と、基礎補正データと参照して、式(1)に示すように、赤外線画像の各画素値から、代表オフセット値と、基礎補正データに含まれるその画素値に対応する画素の補正値とを減算することにより、オフセット補正を行ってもよい。また、本実施形態のように、代表オフセット値を加算した基礎補正データによって、補正データ記憶部64の基礎補正データを更新した場合には、補正部62は、赤外線画像の各画素値から、後述の式(1-1)に示すように、更新された基礎補正データに含まれるその画素値に対応する画素の補正値を減算することによりオフセット補正を行ってもよい。
  (i番目の画素に対応する出力画素値)=(i番目の画素の入力画素値)-(i番目の画素の補正値)-(代表オフセット値)    (1)
 また、補正部62は、結果的に、赤外線画像の各画素値から、少なくとも代表オフセット値と、基礎補正データに含まれる、対応する補正値とを補正(除去)するものであれば、代表オフセット値と基礎補正データに含まれる補正値に加えて、さらなる補正値を用いて補正処理を行ってもよい。
 スイッチSWには、補正部62によって非均一性補正処理が行われた赤外線画像である補正後画像が入力される。スイッチSWは、補正後画像を、オフセット値算出部60と基礎補正データ更新部63に選択的に出力する。スイッチSWの切り替えは、例えば制御部9が出力する制御信号に基づいて実施される。制御部9は、通常撮像モード時はスイッチSWからオフセット値算出部60に補正後画像を出力させる。また、制御部は、オフセット値算出部60にオフセット値の算出を指示する。一方、制御部9は、基礎補正データの更新モード時は、スイッチSWから基礎補正データ更新部63に補正後画像を出力させる。また、制御部9は、基礎補正データ更新部63に基礎補正データの更新を指示する。
 基礎補正データ更新部63は、基礎補正データを更新する。基礎補正データ更新部63には、基礎補正データ更新モードになると、スイッチSWを介して、シャッタ2の像側面が均一な基準温度に制御された状態で撮像されたシャッタ画像が入力される。基礎補正データ更新部63は、シャッタ画像に基づいて、公知の方法により各画素が均一な出力値となる補正値を画素ごとに算出し、画素ごとの補正値の集合である基礎補正データを取得する。そして、取得した基礎補正データにより補正データ記憶部64に記憶された基礎補正データを更新する。なお、均一な温度としたシャッタを撮像したシャッタ画像において、シャッタ画像における画素値は、画素ごとの固有のばらつき成分の値と、被写体から入射する均一な画素値との和となる。このため、例えば、基礎補正データ更新部63は、シャッタ画像の画素値データを基礎補正データとして取得してもよい。なお、基礎補正データは、赤外線撮像装置100の製造時に作成されて補正データ記憶部64に保存されてもよい。また、赤外線撮像装置100は、基礎補正データ更新部63およびスイッチSWを省略してもよい。
 なお、ここでは、基礎補正データ更新部63は、直前の補正後画像から人領域が検出されていないという条件を満たす場合に基礎データ更新処理を行う。詳細には、基礎補正データ更新部63は、前回の基礎補正データの更新処理から設定された時間間隔が経過しており、さらに、直前の補正後画像から領域検出部65によって人領域が検出されていないという更新条件を満たす場合に、基礎補正データの更新処理を行う。
 基礎補正データを更新する時間間隔は、必要とされる任意の時間間隔とすることができ、装置の仕様や要求事項に応じて、一定の時間間隔としてもよく、それぞれ異なる時間間隔としてもよい。例えば、基板温度(特にセンサ温度)および赤外線撮像装置100の筐体温度などの撮影対象に無関係な外的要因による赤外線量が頻繁に変動する場合には、上記時間間隔を短めに設定し、外的要因による赤外線量があまり変動しない場合には、上記時間間隔を長めに設定することが考えられる。一例として、上記時間間隔を、2~3分程度とすることができる。
 なお、基礎補正データ更新部63は、任意の方法により基礎補正データを更新してよい。例えば、光学系が非合焦状態となることで、光学系の観測視野内の全方向からの光が赤外線検出器3に均等に入射する。つまり、光学系に対して様々な方向から入射した光束は、赤外線検出器3の特定の点に結像せず、赤外線検出器3の検出面に均等に入射する。基礎補正データ更新部63は、このような光学系を非合焦状態として撮像した画像を用いて、基礎補正データを更新してもよい。
 なお、一例として、基礎補正データ更新部63は、特開2001-336983号公報に示す方法で得た固定パターンノイズデータを基礎補正データとして取得してよい。特開2001-336983号公報に示す方法によれば、光学系を非合焦とした状態において、赤外線検出器が出力した赤外線画像から固定パターンノイズデータを減算した処理後画像と、固定パターンノイズノイズの期待値データとの誤差を求める。この誤差に基づく帰還データを固定パターンノイズデータとして減算器に与える負帰還を行い、減算器の出力画像データと期待値データとがほぼ同一となった時の帰還データを固定パターンノイズデータとして保持する。
 なお、基礎補正データを更新するとは、補正データ記憶部64に記憶された基礎補正データを新たなデータで書き換えることを意味する。基礎補正データの更新は、赤外線検出器3に含まれる全ての画素に対応する補正値を一度に更新するもののみならず、一部の画素に対応する補正値を更新する一部更新も含む。
 ここで、本発明における、各画素の画素値に含まれる画素ごとの非均一性を補正する技術の原理を説明する。特に、本発明では、各画素の画素値から温度変化に起因する画素値の変動を抑制することに注目した。図3は、赤外線検出器3で検出した画素値(出力画素値)における、入射赤外線に依存する信号成分と、ばらつき成分とを示す図である。図3に示すように、5つの画素P1~P5について、5つの画素P1~P5の各画素値は、被写体からの入射赤外線に依存する各信号成分D1~D5と、図中斜線を付して示す画素ごとの固有のばらつき成分との和である。また、5つの画素P1~P5の各ばらつき成分は、温度変化によって変化しない成分A1~A5と温度変化に伴い変動する温度依存成分B1~B5を含む。
 また、図3の左には、基準温度での画素値を示し、図3の右には、基準温度から温度が変化した他の温度での画素値を示す。基礎補正データが、基準温度における各画素のばらつき成分に相当する補正値の集合である場合、基準温度では、基礎補正データを用いて、ばらつき成分を適切に補正(除去)することができる。しかし、基準温度から温度変化が生じると、温度依存成分B1~B5中の矢印で示すように、温度依存成分B1~B5が増減するため、例えば、基準温度に対応する基礎補正データを用いて、図3右の他の温度における画素値を補正すると、温度依存成分B1~B5中の増加部分(温度依存成分B1~B5中の矢印の部分)が出力される画素値に残存し、画素値が全体的に増加するようにシフトしてしまう。逆に、温度依存成分B1~B5が減少した場合には、温度依存成分B1~B5の減少部分の分だけ補正後の画素値が不適切に小さくなり、画素値が全体的に減少するようにシフトしてしまう。このように、温度変化に起因して、非均一性補正処理後の補正後画像の画素値が変動するという問題が生じる。
 図4は、左から順に、基準温度において撮像された赤外線画像を補正した補正後画像と基準温度と異なる他の温度で撮像された赤外線画像を補正した補正後画像とを示す。なお、両補正後画像は、基準温度に対応する基礎補正データを用いて非均一補正処理が行われている。図4の左右の画像では、既知の温度範囲内の体温を有する人が含まれており、両画像で人の体温にはほとんど差がないにも関わらず、上記のような温度依存成分の変動により、図4の右に示す基準温度と異なる温度に対応する補正後画像では、画像中の画素値が全体的に変動し、人領域の画素値が小さくなっている。
 このような画素値の変動を抑制するために、周期的に基礎補正データを繰り返し取得して、取得した基礎補正データを用いて赤外線画像の不均一補正処理を行うことが好ましい。しかし、基礎補正データの取得は、従来の方法では、基礎補正データのための画像を取得するために、外部環境の撮像をできない期間が生じてしまう。しかし、例えば、車載用の赤外線撮像装置100などでは、歩行者など注目すべき被写体が赤外線画像に含まれている期間などには、基礎補正データの更新を遅らせて外部環境を途切れず撮像して観察したいという要求がある。また、外部環境を途切れず撮像したい状況が、一定の期間、継続することも生じうる。このような場合には、外部環境の撮像を途切れさせないで、温度変化に起因する画素値の変動を補正することができることが好ましい。
 本発明では、温度変化に起因する画素値の変動を補正するために、周囲温度に関わらず概ね一定温度を保つことが既知である対象被写体の画素値を利用することに着目した。例えば、赤外線画像に人体などの既知の特定温度範囲の温度を有する対象被写体が存在する場合、対象被写体から入射する赤外線量は周囲温度に関わらず、概ね一定値を保つと推定される。このため、もし対象被写体の画素値が変化すると、その画素値の変化量は、温度変化に起因する画素値の変化量を表していると考えられる。また、画素値に影響を与える温度変化は、外部環境の温度変化や回路基板の通電により生じる撮像値本体、回路基板および画素自体の温度変化であり、赤外線検出器3の全体に対して類似する温度変化が生じていると推定される。このため、本発明では、対象被写体の画素値の変化量は、赤外線検出器3全体に含まれる複数の画素の画素値の変化量を表しているととらえる。
 このことから、オフセット値算出部60は、後述の代表オフセット値算出部69を備え、代表オフセット値算出部69により被写体値の画素値の変化量を、温度変化に起因する変化量であって、赤外線検出器3の複数の画素の画素値の変化量を表す代表オフセット値として算出する。そして、補正部62が代表オフセット値に基づいて、赤外線画像の画素値の温度依存成分の変動を打ち消すように、オフセット補正を行う。
 オフセット値算出部60は、領域検出部65と、画素値算出部67と、変化量算出部68と、代表オフセット値算出部69とを有してなる。以下、一例として、図4を用いて、オフセット値算出部60が、図4の左画像の被写体の画素値から図4の右画像の被写体の画素値への変化量(被写体値変化量)を代表オフセット値として算出する処理を以下に説明する。なお、補正部62は、代表オフセット値を用いて、画素値の変動を低減する補正を行うことにより、図4の右画像に示す温度に起因する画素値の変動(低下)を補正して、図4の右画像の被写体の画素値が図4の左画像の被写体の画素値に相当する画素値になるように補正する。
 領域検出部65は、補正部62によって非均一性補正処理が行われた後の補正後画像を取得し、補正後画像から対象被写体に対応する被写体領域Rを検出する。ここでは、領域検出部65は、公知の手法により、赤外線画像から人物温度に対応する基準範囲の温度を表す画素集合を検出し、検出された画素集合のエッジを抽出する。そして、抽出されたエッジに対して、既知の人物形状を表すパターンを用いてパターン認識を行うことにより、赤外線画像から人物を検出する。
 また、ここでは、領域検出部65は、図4の右に示す補正後画像を取得し、補正後画像から被写体の頭部(顔)を検出し、頭部を含む矩形領域を被写体領域Rとして検出する。領域検出部65は、赤外線画像から対象の被写体を検出できる手法であれば、任意の手法を採用することができる。例えば、領域検出部65は、人物領域を検出する場合に、特許文献1に示される被写体領域Rの検出方法を採用してもよい。
 なお、上記のように、領域検出部65が、人に対応する領域を被写体領域Rとして検出する場合には、既知の人体温度範囲内の温度を有する人領域の画素値に基づいて、精度よく代表オフセット値を算出して赤外線画像の温度変化による変動を抑制する補正を行うことができる。なお、撮像装置の設置される目的や観察対象に応じて、既知の特定範囲の温度を有する任意の物体を対象被写体とすればよい。例えば、領域検出部65は、人以外の恒温動物などの領域を対象被写体に対応する領域として検出するように構成してもよい。
 画素値算出部67は、領域検出部65によって検出された被写体領域Rの画素値を表す被写体値を算出する。ここでは、画素値算出部67は、被写体領域Rの画素値の分布を表すヒストグラムに基づいて、被写体領域Rの最頻値を被写体値として算出する。また、例えば、画素値算出部67は、被写体領域Rの画素値の分布を表すヒストグラムに基づいて、平均値と中央値のいずれか1つを被写体値として算出してもよい。これらの場合には、被写体領域Rの代表画素値である被写体値として適切な値を用いることにより、被写体領域Rの画素値の変化を精度よく算出することができる。
 画素値算出部67は、被写体領域Rの画素値を表す被写体値として、任意の方法で被写体値を算出してよい。例えば、被写体領域Rの画素値の加算平均値又は重み付け加算平均値を被写体値としてもよく、被写体領域Rのうち、特定の位置の画素値又は選択された複数の画素の画素値に基づいて被写体値を算出してもよい。
 変化量算出部68は、基準被写体値と、画素値算出部67によって算出された被写体値とに基づいて、被写体領域Rの画素値の変化量である被写体値変化量を算出する。具体的には、変化量算出部68は、基準値記憶部66に記憶された基準被写体値を参照して、画素値算出部67によって対象となる赤外線画像から算出された被写体値から基準被写体値を減算した差分の値を被写体値変化量として算出する。ここでは、図4の左画像から、後述のように基準被写体値として100が算出されて基準値記憶部66に記憶されている。画素値算出部67が、図4の右画像から、被写体値として90を算出すると、変化量算出部68は、被写体値(90)から基準被写体値(100)を減算した値(90-100=-10)を被写体値変化量として算出する。
 なお、基準被写体値は、基準となる基準赤外線画像から算出される被写体値である。基準被写体値と対象となる赤外線画像から得られる被写体値は、同じ基礎補正データを用いて非均一性補正処理が施され、同様の方法で被写体領域Rが検出され、同様の方法で被写体領域Rにおける被写体値が算出されたものであることが好ましい。また、基準赤外線画像として、基礎補正データの取得ための画像を撮像した時刻とできるだけ近い時刻に撮像された赤外線画像であって、被写体が含まれる赤外線画像を用いることが好ましい。
 図4の左に示す補正後基準画像から基準被写体値を算出する方法について説明する。デジタル信号処理部6は、基礎補正データ更新モードから通常撮像モードに移行すると、撮像した赤外線画像がフレームメモリ61に記憶され、補正部62がフレームメモリ61に記憶された赤外線画像に対して基礎補正データに基づいて非均一性補正処理を施した補正後画像を出力する。そして、領域検出部65が、補正後画像に対して被写体領域Rを検出する。被写体領域Rが検出されると、画素値算出部67が、補正後画像の被写体領域Rから、被写体領域Rの画素値の分布を表すヒストグラムに基づいて、被写体領域Rの最頻値を基準被写体値として算出し、基準被写体値を基準値記憶部66に記憶する。
 なお、被写体領域Rが検出されるまで、赤外線画像の撮像ごとに、フレームメモリ61に赤外線画像が記憶され、記憶された赤外線画像に対して、非均一性補正処理を施した補正後画像を出力し、補正後画像中の被写体領域Rを検出するという一連の処理が繰り返される。なお、上記の場合には、基準赤外線画像は、基礎補正データ更新モードから通常撮像モードに移行後、最初に被写体領域Rが検出された補正後画像に対応する赤外線画像である。
 上記の場合には、基礎補正データの取得時と基準被写体値の取得時との時間間隔をできるだけ小さくすることができる。このため、基礎補正データの取得時の外部環境および回路基板の温度と、基準被写体値の取得時の外部環境および回路基板の温度との差ができるだけ小さい状態で、基準被写体値を算出することができる。このことにより、基準被写体値を、基礎補正データを取得した時の温度に対応する画素値に近づけて、基礎補正データの取得時からの温度変化による画素値の変化を近似的に表す被写体値変化量が算出される。従って、被写体値変化量を代表オフセット値として用いて、基礎補正データを取得したときからの温度変化による画素値の変動を好適に補正することができる。なお、基準赤外線画像として、対象となる赤外線画像の撮像時よりも前に赤外線検出器3で撮像された任意の赤外線画像を用いてもよい。
 代表オフセット値算出部69は、被写体値変化量を、代表オフセット値として算出する。そして、代表オフセット値算出部69は、代表オフセット値を用いて基礎補正データの各補正値をオフセット演算(増減)したデータを用いて、補正データ記憶部64に記憶された基礎補正データを更新する。なお、代表オフセット値算出部69は、代表オフセット値を基礎補正データとは別に補正データ記憶部64に記憶してもよい。
 図5、図6Aおよび図6Bを用いて、代表オフセット値算出部69が、代表オフセット値を用いて基礎補正データを更新する処理を説明する。図5は、赤外線検出器3の画素の一部である5×5画素P1~P25を示す。図6Aと図6Bは、基礎補正データであり、図5の画素P1~P25にそれぞれ対応する位置に、画素P1~P25に対応する補正値を示している。また、図6Aは代表オフセット値算出部69による更新処理前の基礎補正データを示し、図6Bは、代表オフセット値算出部69による更新処理後の基礎補正データを示す。また、図6A等に示すように、基礎補正データは、画素ごとに、その画素の非均一性(画素ごとのばらつき成分)を補正(除去)する固有の補正値の集合となっている。
 なお、図6Aおよび図6Bに示す各数値は、いずれも説明のために簡略化した数値であって、実際とは異なる値とされている。また、説明のために5×5画素について説明するが、代表オフセット値算出部69は、赤外線検出器3に含まれるn個の画素の全てに対して、代表オフセット値算出部69による更新処理を実行する。
 ここでは、代表オフセット値算出部69は、先述の被写体値変化量(-10)を代表オフセット値として算出し、図6Aに示す、基礎補正データの各画素Pi(1≦i≦25)にそれぞれ対応する補正値について、(i番目の画素に対応する補正値)=(i番目の画素に対応する補正値)+(代表オフセット値)とするオフセット演算を行って、図6Bに示す、オフセット演算後の基礎補正データを算出し、オフセット演算後の基礎補正データを用いて、補正データ記憶部64に記憶された基礎補正データを更新する。図6Aに示す各補正値に対して、図6Bに示す各補正値に、代表オフセット値(-10)が加算されていることが分かる。
 なお、代表オフセット値が算出されると、補正部62は、補正データ記憶部64に記憶された基礎補正データに基づいて、赤外線画像の各画素値から、その画素値に対応する画素の補正値を減算することにより、非均一性補正処理を実行する。つまり、補正部62は、更新後補正データに基づいて、赤外線画像の各i番目の画素(1≦i≦n)について、式(1-1)に示すオフセット演算を行うことにより、入力された赤外線画像に対して非均一性補正処理を行って、補正後画像を出力する。
  (i番目の画素に対応する出力画素値)=(i番目の画素の入力画素値)-(i番目の画素の更新後の補正値)=(i番目の画素の入力画素値)-((i番目の画素の補正値)+(代表オフセット値))    (1-1)
 図7は、第1の実施形態の信号補正処理の流れを示すフローチャートである。図7を用いて信号補正処理の流れを詳細に説明する。
 まず、通常撮影モードの場合、赤外線撮像装置100が赤外線画像を撮像すると、撮像された赤外線画像はフレームメモリ61に記憶される(ST01)。補正部62は、フレームメモリ61に記憶された赤外線画像に対して、補正データ記憶部64を参照して、非均一性補正処理を実施する(ST02)。具体的には、基礎補正データに基づいて、赤外線画像の各画素値から、その画素値に対応する画素の補正値をそれぞれ減算することにより、補正後画像を出力する。続いて、領域検出部65は、補正後画像から被写体領域Rを検出する(ST03)。被写体領域Rが検出されない場合には(ST04,YES)、ST01~ST03の処理を繰り返す。一方、被写体領域Rが検出された場合には(ST04,YES)、画素値算出部67が、検出された被写体領域Rの画素値に基づいて、被写体値を算出する(ST05)。次いで、変化量算出部68は、被写体値から基準被写体値を減算した差分を被写体値変化量として算出し(ST06)、代表オフセット値算出部69は、算出された被写体値変化量を代表オフセット値として算出する(ST07)。ここでは、代表オフセット値算出部69は、算出された代表オフセット値を用いて、補正データ記憶部64に記憶された基礎補正データを更新する(ST08)。赤外線撮像装置100は、終了条件を満たさない場合には(ST09、NO)、ST01~ST08の処理を繰り返す。赤外線撮像装置100は、終了条件が満たされた場合には(ST09、YES)、処理を終了する。
 上記実施形態によれば、赤外線画像自体の情報に基づいて、温度変化に起因する、赤外線検出器3の複数の画素の画素値の変化量を表す代表オフセット値を算出し、代表オフセット値と基礎補正データとに基づいて、赤外線画像を補正する。このため、外部環境の撮像を途切れさせないで、温度変化に起因する画素値の変動を補正することができる。
 また、上記実施形態では、基礎補正データ更新部63を備え、基礎補正データ更新部63が、直前に撮像された赤外線画像から人が検出されないという更新条件を満たす場合に基礎補正データの更新を行い、オフセット値算出部60が、被写体が検出されている場合に、代表オフセット値を算出する。そして、補正部62は、代表オフセット値によって基礎補正データを増減したデータに基づいて、赤外線画像をオフセット補正することにより非均一性補正処理を行っている。
 このことにより、注目される被写体である人が撮像されている場合には、外部の撮像を中断する基礎補正データの更新処理を行わないで、通常撮像モードとして撮像を継続することができる。さらに、通常撮像モードにおいて、被写体領域Rの検出の有無に応じて代表オフセット値を適宜算出しているため、撮像を中断して基礎補正データを更新しなくても、温度変化による複数の画素の画素値の変化量を好適に補正することができる。また、注目される被写体である人が撮像されていない状態において、適宜基礎補正データを更新することができる。このため、補正部62は、注目すべき被写体の有無に応じて、適宜温度変化に応じた補正データを取得することができ、取得された補正データに基づいて、好適に不均一性補正処理を行うことができる。
 また、上記各実施形態に示すように、オフセット値算出部60が、周期的に繰り返し代表オフセット値を算出した場合には、温度変化による画素値の変化量を好適に補正することができる。なお、上記のように、毎フレーム画像に対して被写体領域Rを検出し、被写体領域Rが検出される度に代表オフセット値を算出した場合には、温度変化に対して好適に代表オフセット値を適合させることができるため、上記効果が特に著しい。
 なお、オフセット値算出部60は、代表オフセットの算出処理、又は、後述の固有オフセット値の算出処理を、時間間隔をあけて行ってもよい。
 また、基礎補正データ更新部63による基礎補正データの更新処理を行う更新条件は、任意に設定されてよい。
 また、制御部9を、基礎補正データ更新部63による更新条件とは無関係に、オフセット値算出部60によるオフセット値算出処理(代表オフセット値算出処理又は後述の固有オフセット値算出処理)の実行を指示するように構成してもよい。
 例えば、オフセット値算出部60は、設定した時間間隔で、代表オフセットの算出又は後述の固有オフセット値の算出を行ってよい。この場合には、基板温度(特にセンサ温度)および赤外線撮像装置100の筐体温度などの撮影対象に無関係な外的要因による赤外線量が頻繁に変動する場合には、上記時間間隔を短めに設定し、外的要因による赤外線量があまり変動しない場合には、上記時間間隔を長めに設定することが考えられる。例えば、オフセット値算出部60が代表オフセット値を算出する時間間隔を、3分以下、あるいは5分以下とすることができる。
 また、一例として、温度変化を検出するための不図示の温度センサを赤外線撮像装置100の外部又は内部に設けて、制御部9が温度センサの計測値に基づいて、温度変化を監視してもよい。そして温度変化が観測された場合に、オフセット値算出部60に指示して、代表オフセット値の算出処理(あるいは、代表オフセット値の算出処理と固有オフセット値の算出処理の両方)を実施させてもよい。この場合、例えば、制御部が温度センサの計測値を監視し、計測値を閾値判定して基準値以上の温度の変化を判断すればよい。
 また、制御部9は、時間経過や温度変化などに基づく任意の更新条件が満足された状態であっても、画像の撮像を中断したくない状況など基礎補正データ更新部63による基礎補正データの更新処理を行うことが好ましくない状況が検出された場合には、基礎補正データ更新部63による基礎補正データの更新処理を延期し、その代わりに、オフセット値算出部60によるオフセット値算出処理の実行を指示してもよい。この場合、制御部9は、更新処理を行うことが好ましくない状況が解消されるまで、オフセット値算出部60によるオフセット値算出処理の実行を適宜指示することが好ましい。この場合には、基礎補正データ更新部63による基礎補正データの更新処理を行うことが好ましくない状況の有無に応じて、注目すべき被写体を含む補正後画像を継続して出力部8に出力しつつ、オフセット値算出処理によって、温度変化による画素値の変動を抑制することができる。
 また、上記のように、被写体値変化量が代表オフセット値として算出され、代表オフセット値によって基礎補正データを増減したデータに基づいて、赤外線画像をオフセット補正した場合には、簡易かつ好適に赤外線画像の各画素値から温度変化に起因する画素値の変化量を補正することができる。
 以下、図8Aと図8Bとを用いて、第2の実施形態について説明する。第2の実施形態では、変化量算出部68が、基準被写体値と被写体値の少なくとも一方の値に対して、基準被写体値と被写体値の間の光学系1に起因するシェーディング(レンズシェーディング)の差を低減する補正を行い、シェーディングの差を低減する補正を行った後の被写体値から、シェーディングの差を低減する補正を行った後の基準被写体値を減算した値を被写体値変化量として算出する点が第1の実施形態と異なる。
 図8Aは、左から順に、基準温度において撮像された赤外線画像(基準赤外線画像)を補正した補正後画像と基準温度と異なる温度で撮像された赤外線画像を補正した補正後画像とを示す。なお、両補正後画像は、基準温度に対応する基礎補正データを用いて非均一補正処理が行われている。ここで、図8Aの左画像は、人領域が画像中央Zに位置し、図8Bの右画像は、人領域が画像中央Zから離間した位置Cに位置する。図8Bに、均一な温度の被写体を撮像した場合に検出面上の画素に入射する光量分布を概念的に示す。なお、図8Bは、赤外線検出器3の検出面に含まれる直線上の画素の光量分布であり、この直線は、図8Aにおける画像中央Zに対応する検出面上の位置(光軸に対応する位置Z1)と、被写体領域Rの中心Cに対応する検出面上の位置(C1)とを通る直線である。図8Bに示すように、光軸に対応する位置Z1から離れた被写体領域Rの位置C1では、レンズシェーディングにより光量が低減していることが分かる。
 図8Aに示すように、基準被写体値の検出に用いられる補正後画像と、被写体値の検出に用いられる補正後画像で被写体領域Rの位置が異なる場合、基準被写体値と被写体値にはそれぞれの被写体領域Rの位置に応じて、レンズシェーディングによる画素値の変化が異なるものとなる。例えば、図8Aの例では、右画像の被写体領域Rは光軸に対応する画像中央Zから離間した位置Cに位置するため、被写体値には、温度変化による画素値の低下と、レンズシェーディングによって画素値の低下が生じている。一方、左画像の基準被写体値は、被写体領域Rが光軸に対応する画像中央Zに位置するため、基準被写体値には、レンズシェーディングによる画素値の低下は生じていない。
 上記場合、単に被写体値から基準被写体値を減算した差分値を被写体値変化量とした場合、被写体値変化量が、温度変化に起因する画素値の低下だけでなく、両画像間のレンズシェーディングの差を反映したものとなる。被写体値変化量が精度よく温度変化に起因する画素値の変化を表すためには、基準被写体値と被写体値の間のレンズシェーディングの差の影響を除去した状態で被写体値変化量を算出することが好ましい。
 このため、第2の実施形態では、変化量算出部68が、基準被写体値と被写体値の少なくとも一方の値に対して、基準被写体値と被写体値の間の光学系1に起因するシェーディングの差を低減する補正を行い、シェーディングの差を低減する補正を行った後の被写体値から、シェーディングの差を低減する補正を行った後の基準被写体値を減算した値を被写体値変化量として算出する。第2の実施形態は、第1の実施形態と変化量算出部68以外の各部の構成や機能は共通しているため、相違部分についてのみ説明する。
 図8Aを例に説明すると、ここでは変化量算出部68は、図8Aに示すように、基準赤外線画像の被写体領域Rの位置である基準位置、赤外線画像から検出された被写体領域Rの位置である位置Cを特定する。なお、被写体領域Rの位置は、被写体領域Rの中央の位置として特定される。そして、図8Bに示すような、製造時などに予め取得した、赤外線検出器3の複数の画素のレンズシェーディングを表す情報に基づいて、変化量算出部68は、以下の式(2)を用いて、被写体領域Rが基準位置に位置する場合の基準被写体値を、被写体領域Rが位置Cに位置する場合の基準被写体値に変換し、被写体領域Rが位置Cに位置する被写体値から、変換した基準被写体値を減算することにより、被写体値変化量を算出する。
(位置Cにおける被写体値変化量)=(位置Cにおける被写体値)-(基準位置の基準被写体値)×(位置Cにおける光量/基準位置における光量)   (2)
 図8Aの左画像において、画像中央Zである基準位置に被写体が位置する場合の基準被写体値は100である。図8Bに基づいて、光軸に対応する位置Z1の光量に対する、被写体領域Rに対応する位置C1の光量が80%であったとする。変化量算出部68は、レンズシェーディングを表す情報を参照して、基準位置における光量に対する、位置Cにおける光量の割合(80/100)に基づいて、被写体領域Rが基準位置に位置する場合の基準被写体値(100)を、被写体領域Rが位置Cに位置する場合の基準被写体値(80)に変換する。そして、被写体領域Rが位置Cに位置する場合の被写体値(70)から、被写体領域Rが位置Cに位置する場合の基準変換値(80)を減算した値を、被写体値変化量(-10)として取得する。このように、レンズシェーディングを表す情報に基づいて、被写体領域Rが基準位置に位置する場合の基準被写体値を、被写体領域Rが位置Cに位置する場合の基準被写体値に変換することで、基準被写体値と被写体値との間のレンズシェーディングの差を低減する補正を行った場合には、被写体値変化量を正確に算出することができる。
 なお、基準位置は基準赤外線画像中の被写体領域Rの位置が適宜選択される。また、第2の実施形態においても、第1の実施形態と同様に、画素値算出部67は、被写体領域Rの代表的な画素値を表す任意の方法で、被写体値を算出してよい。変化量算出部68は、基準被写体値と被写体値との間のレンズシェーディングの差を低減する(打ち消す)ことのできる、任意の補正方法を採用してよい。例えば、変化量算出部68は、基準被写体値と被写体値との間のレンズシェーディングの差を低減する(打ち消す)ために、被写体領域Rが位置Cに位置する場合の被写体値を、被写体領域Rが基準位置に位置する場合の被写体値に変換してもよく、被写体領域Rが基準位置に位置する場合の基準被写体値と、被写体領域Rが位置Cに位置する場合の被写体値との双方を、被写体領域Rが第3の位置に位置する場合の基準被写体値と、被写体領域Rが第3の位置に位置する場合の被写体値とにそれぞれ変換してもよい。
 上記のように、被写体位置の違いによる、基準被写体値と被写体値のレンズシェーディングの差が打ち消された状態で、被写体値変化量を算出した場合には、被写体値変化量が、温度変化による画素値の変化をより顕著に表すため、被写体値変化量を代表オフセット値して用いて赤外線画像の画素値を補正することにより、精度よく非均一性補正処理を行うことができる。また、被写体値と基準被写体値とを用いて、シェーディングの差を打ち消した被写体値変化量を算出することにより、簡易かつ精度よく被写体値変化量を算出することができる。
 また、上記のような効果は、被写体値と基準被写体値との差を被写体値変化量として算出する処理の前に、被写体値と基準被写体値とのレンズシェーディングの差を補正できるものであれば、レンズシェーディングの差を補正するタイミングを異ならせても同様の効果が得られる。以下、レンズシェーディングを補正した画素値に基づいて被写体値を算出する例である、第3の実施形態について説明する。図9は、第3の実施形態のデジタル信号処理部6の構成を示す図であり、図10は、第3の実施形態の信号補正処理を示すフローチャートである。
 第3の実施形態では、オフセット値算出部60が、変化量算出部68による被写体値変化量の算出に先立って、補正後画像の画素値の少なくとも一部に対して、光学系1に起因するシェーディングを補正するシェーディング補正処理を行うシェーディング補正部70を備えている。また、第3の実施形態では、基準赤外線画像に対して非均一補正処理を実施した補正後画像に後述のシェーディング補正部70によってシェーディング補正を行い、シェーディング補正された画像から、被写体領域Rを検出し、検出された被写体領域Rから被写体値を算出して、算出された被写体値が基準被写体値として基準値記憶部66に記憶されることが好ましい。
 さらに、ここでは、オフセット値算出部60が、補正後画像における複数の画素に対応する画素値に対してシェーディング補正処理を行うシェーディング補正部70を備え、領域検出部65は、シェーディング補正処理を行った後の複数の画素に対応する画素値に基づいて、被写体領域Rを検出する点が、第1の実施形態と異なる。このため、第1の実施形態と同様の構成については同じ符号を付して説明を省略する。以下、第1の実施形態との相違点を中心に説明し、その他の共通部分については説明を省略する。
 図10に従って、第3の実施形態における信号補正処理の流れを説明する。なお、図10におけるST21~ST22の処理は、図7のST01~ST02とそれぞれ同様の処理であるため説明を省略する。
 シェーディング補正部70は、補正部62から出力された補正後画像に対して、画素ごとのレンズシェーディングに対応するシェーディング補正値の集合であるレンズシェーディング補正情報を参照し、補正後画像の各位置に対応する画素のシェーディング補正値を取得する。そして、シェーディング補正部70は、補正後画像の各画素値から、対応する画素のレンズシェーディングを補正(除去)するように、シェーディング補正値をオフセット演算することによりシェーディング補正を行う(ST23)。なお、シェーディング補正情報は、製造時に測定等によって作成され、補正データ記憶部64に予め記憶しておけばよい。
 その後、領域検出部65は、シェーディング補正処理を行った後の複数の画素に対応する画素値に基づいて、被写体領域Rを検出する(ST24)。その後ST26~ST30の処理は、図7のST05~ST09の処理とそれぞれ同様の処理であるため説明を省略する。
 第3の実施形態の場合にも、レンズシェーディングの差が補正された被写体値を用いて被写体値変化量が算出されるため、第2の実施形態と同様の効果が得られる。さらに、第3の実施形態のように、領域検出部65を、レンズシェーディングが補正された補正後画像から被写体領域Rを検出するように構成した場合には、被写体領域Rの検出精度を向上することができる。
 なお、第3の実施形態の変形例として、図9の破線部で示すようにシェーディング補正部70を、検出された被写体領域Rに含まれる画素の画素値に対してシェーディング補正処理を行い、画素値算出部67を、シェーディング補正処理を行った後の被写体領域Rに含まれる画素値に基づいて、被写体値を算出するように構成してもよい。以下、第3の実施形態との相違点を中心に説明し、その他の共通部分については説明を省略する。
 なお、第3の実施形態の変形例では、基準赤外線画像に対して非均一補正処理を実施した補正後画像から、被写体領域Rを検出し、検出された被写体領域Rにシェーディング補正部70がシェーディング補正処理を行い、シェーディング補正を行った被写体領域Rから被写体値を算出して、算出された被写体値が基準被写体値として基準値記憶部66に記憶されることが好ましい。
 図11は、上記変形例の場合の信号補正処理を示すフローチャートである。なお、図11におけるST31~ST34の処理は、図7のST01~ST04とそれぞれ同様の処理であるため説明を省略する。
 被写体領域Rが検出されると、シェーディング補正部70は、領域検出部65に検出された被写体領域Rを取得して、被写体領域Rに対して、画素ごとのレンズシェーディングに対応するシェーディング補正値の集合であるレンズシェーディング補正情報を参照し、被写体領域Rの各位置に対応する画素のシェーディング補正値を取得する。そして、シェーディング補正部70は、被写体領域Rの各画素値から、対応する画素のレンズシェーディングを補正(除去)するように、対応する画素のシェーディング補正値をオフセット演算することによりシェーディング補正を行う(ST35)。なお、シェーディング補正情報は、製造時に測定等によって作成され、補正データ記憶部64に予め記憶しておけばよい。
 その後、画素値算出部67は、シェーディング補正処理を行った後の被写体領域Rに含まれる画素値に基づいて、被写体値を算出する(ST36)。その後ST37~ST40の処理は、図7のST06~ST09の処理とそれぞれ同様の処理であるため説明を省略する。
 上記のように、シェーディング補正部70が、検出された被写体領域Rに対してシェーディング補正を行う場合には、被写体値の算出に必要な範囲の画素値にシェーディング補正を行って、計算負荷の過度の増加を抑制することができる。また、上記変形例に示す場合にも、レンズシェーディングが補正された被写体値を用いて被写体値変化量を算出できるため、第2および第3の実施形態と同様の効果が得られる。
 以下、第4の実施形態について説明する。第1の実施形態では、図3に示すように、温度変化に起因する各画素P1~P5の温度依存成分B1~B5の各変化量(図3右図の矢印部分参照)を、赤外線検出器3全体の共通の値と近似し、被写体領域R値を代表オフセット値として用いて、各画素の画素値を補正した。しかし、詳細には、温度変化に起因する各画素の画素値の変化量(各画素値の温度依存成分の変化量)は、画素ごとに固有の値であると考えられる。
 このため、第4の実施形態では、オフセット値算出部60が、赤外線検出器3に含まれる複数の画素の画素値の変化量を表す代表オフセット値を用いて、赤外線検出器3に含まれる各画素に固有の画素値の変化量を表す固有オフセット値を算出する。さらに詳細には、第4の実施形態は、オフセット値算出部60が、固有オフセット値算出部71をさらに備え、補正部62が、固有オフセット値によって基礎補正データを増減させたデータを用いて、赤外線画像をオフセット補正する点が第1の実施形態と異なる。以下、第1の実施形態との相違点を中心に説明し、その他の共通部分については説明を省略する。
 固有オフセット値算出部71は、複数の画素の画素ごとに、代表オフセット値と固有オフセット値との関係をそれぞれ表す固有値情報に基づいて、複数の画素の画素ごとに、代表オフセット値に対応する固有オフセット値をそれぞれ算出する。
 固有値情報は、製造段階で計測されて取得され、予め補正データ記憶部64に記憶されている。固有値情報は、画素ごとに、代表オフセット値と固有オフセット値との関係を表す任意の方法で構成されてよい。例えば、固有値情報は、画素ごとに、代表オフセット値に対応する固有オフセット値を対応づけたテーブルを、複数の代表オフセット値に対してそれぞれ備えたものであってもよい。また、例えば、固有値情報は、画素ごとに、代表オフセット値と固有オフセット値との差を対応づけたテーブルを、複数の代表オフセット値に対してそれぞれ備えたものであってもよい。
 ここでは、固有値情報は、画素ごとに、代表オフセット値に対する、代表オフセット値とその画素の固有オフセット値との差の割合の値(固有値)を対応づけたテーブルである。図13に固有値情報の例を示す。図13の固有値情報は、図5における5×5画素P1~P25に対応する固有値を示している。i番目の画素の固有値は、以下の式(3)のように表すことができる。
  (i番目の画素の固有値)={(i番目の画素の固有オフセット値)-(代表オフセット値)}/(代表オフセット値)     (3)
 固有オフセット値算出部71は、固有値情報に基づいて、各画素の固有値に代表オフセット値をそれぞれ乗算することにより、画素ごとに、代表オフセット値とその画素の固有オフセット値との差分値(=(i番目の画素の固有オフセット値)-(代表オフセット値))を算出する。そして、固有オフセット値算出部71は、代表オフセット値と差分値の和として、固有オフセット値を算出する。なお、固有オフセット値と、代表オフセット値と固有値との関係は、以下の式(4)のように表すことができる。なお、以下、代表オフセット値とi番目の画素の固有オフセット値との差分値を単に差分値と記載する場合がある。
  (i番目の画素の固有オフセット値)=(代表オフセット値)+(差分値)=(代表オフセット値)+(代表オフセット値)×(i番目の画素の固有値)     (4)
 図14Aと図14Bは、図5に示す画素P1~P25にそれぞれ対応する基礎補正データである。また、図14Aは固有オフセット値算出部71による更新処理前の基礎補正データを示し、図14Bは、固有オフセット値算出部71による更新処理後の基礎補正データを示す。図13、図14Aおよび図14Bを用いて、固有オフセット値算出部71が、代表オフセット値を用いて固有オフセット値を算出し、固有オフセット値を用いて基礎補正データを更新する処理を説明する。
 なお、基礎補正データは、本来は、画素ごとに、その画素の非均一性(画素ごとのばらつき成分)を補正する固有の補正値が設定されているが、図14Aでは説明のために、共通の補正値とされている。なお、図13、図14Aおよび図14Bに示す各数値は、いずれも説明のための数値であって、実際とは異なる値とされている。また、説明のために5×5画素について説明するが、オフセット値算出部60は、赤外線検出器3に含まれる全ての画素に対して、基礎補正データの更新処理を実行する。
 ここでは、代表オフセット値算出部69が、被写体値変化量(-10)を代表オフセット値として算出したとする。すると、固有オフセット値算出部71は、図14Aに示す基礎補正データの各画素Pi(1≦i≦25)にそれぞれ対応する補正値について、式(5)に示すオフセット演算を行って、図14Bに示す、基礎補正データを算出する。図14Bに示すように、基礎補正データの各補正値がそれぞれ、固有オフセット値が加算されてオフセット演算されていることが分かる。
  (i番目の画素の更新後の補正値)=(i番目の画素の補正値)+(i番目の画素の固有オフセット値)  (5)
 そして、固有オフセット値算出部71は、オフセット演算後の基礎補正データを用いて、補正データ記憶部64に記憶された基礎補正データを更新する。
 なお、代表オフセット値が算出されると、補正部62は、補正データ記憶部64に記憶された基礎補正データに基づいて、赤外線画像の各画素値から、その画素値に対応する画素の補正値を減算することにより、非均一性補正処理を実行する。つまり、補正部62は、更新後補正データに基づいて、赤外線画像のi番目の画素(1≦i≦n)について、式(6)に示すオフセット演算を行うことにより、入力された赤外線画像に対して非均一性補正処理を行って、補正後画像を出力する。
  (i番目の画素に対応する出力画素値)=(i番目の画素の入力画素値)-(i番目の画素の更新後の補正値)=(i番目の画素の入力画素値)-((i番目の画素の補正値)+(i番目の画素の固有オフセット値))     (6)
 なお、固有オフセット値算出部71は、補正部62が補正する際に、固有オフセット値を特定できる態様であれば、任意の態様で固有オフセット値を記憶してよい。例えば、固有オフセット値算出部71は、図12の破線で示すように、固有オフセット値の集合である固有オフセットデータを、基礎補正データとは別に、補正データ記憶部64に記憶してもよい。また、図示は省略するが、固有オフセット値算出部71は、固有オフセットデータを、代表オフセット値と、画素ごとに代表オフセット値と固有オフセット値との差分値を示す差分データと、に分けて補正データ記憶部64に記憶してもよい。
 また、補正部62は、固有オフセット値によって基礎補正データを増減させたデータを用いて、赤外線画像をオフセット補正する。なお、ここで補正部62の補正対象となる赤外線画像は、代表オフセット値の算出の際に用いられた赤外線画像であってもよく、代表オフセット値の算出の際に用いられた赤外線画像より後に撮像された赤外線画像であってもよい。
 「固有オフセット値によって基礎補正データを増減させたデータを用いて、赤外線画像をオフセット補正する」とは、赤外線画像の各画素値から、固有オフセット値と、基礎補正データに含まれる、その画素値に対応する画素の補正値とをオフセット補正(除去)することを意味する。「固有オフセット値によって基礎補正データを増減させたデータを用いて、赤外線画像をオフセット補正する」とは、結果的に、赤外線画像の各画素値から、固有オフセット値と、基礎補正データに含まれるその画素値に対応する画素の補正値とをそれぞれオフセット補正(除去)するいかなる方法も含む。
 例えば、補正部62は、赤外線検出器3が1~n個の画素を有する場合、補正部62によって出力されるi番目(1≦i≦n)の画素の出力画素値が、(i番目の画素に対応する出力画素値)=(i番目の画素の入力画素値)-(i番目の画素の補正値)-(固有オフセット値)となる範囲で、任意の方法でオフセット補正を行ってよい。
 一例として、図12に破線で示すように、補正データ記憶部64に固有オフセット値と基礎補正データとが個々に記憶されている場合に、補正部62は、固有オフセット値と、基礎補正データと参照して、赤外線画像の各画素値から、式(6-1)に示すように、固有オフセット値と、基礎補正データに含まれるその画素値に対応する画素の補正値とを減算することにより、オフセット補正を行ってもよい。
  (i番目の画素に対応する出力画素値)=(i番目の画素の入力画素値)-(i番目の画素の補正値)-(i番目の画素の固有オフセット値)       (6-1)
 また、補正データ記憶部64に、固有オフセット値算出部71によって、固有オフセット値が代表オフセット値と差分値とに分けて記憶され、さらに基礎補正データが独立して記憶されていてもよい。この場合には、式(6-2)に示すように、補正部62は、赤外線画像の各画素値から、基礎補正データに含まれるその画素値に対応する画素の補正値と、代表オフセット値と、代表オフセット値とその画素の代表オフセット値と固有オフセット値の差分値とを、減算することによりオフセット補正を行ってもよい。同じ結果が得られる範囲で、減算の順番等は適宜異ならせてよい。
  (i番目の画素に対応する出力画素値)=(i番目の画素の入力画素値)-(i番目の画素の補正値)-(代表オフセット値)-(i番目の画素の差分値) (6-2)
 なお、補正部62は、結果的に、赤外線画像の各画素値から、少なくとも代表オフセット値と、基礎補正データに含まれる、対応する補正値とを補正(除去)するものであれば、代表オフセット値と基礎補正データに含まれる補正値に加えて、さらなる補正値を用いて補正処理を行ってもよい。
 図15は、第4の実施形態における信号補正処理の流れを示すフローチャートである。以下図15に従って、第4の実施形態における信号補正処理の流れを説明する。なお、図15におけるST41~ST47の処理は、図7のST01~ST07とそれぞれ同様の処理であるため説明を省略する。
 代表オフセット値が算出されると、固有オフセット値算出部71は、固有値情報を参照して、画素ごとに、代表オフセット値に対応する固有オフセット値を算出する(ST48)。そして、固有オフセット値算出部71は、基礎補正データにおける各補正値を固有オフセット値によってオフセット演算し、オフセット演算して得られた基礎補正データによって、補正データ記憶部64に記憶された基礎補正データを更新する(ST49)。そして、赤外線撮像装置100は、終了条件を満たさない場合には(ST50、NO)、ST41~ST49の処理を繰り返す。赤外線撮像装置100は、終了条件が満たされた場合には(ST50、YES)、処理を終了する。
 上記第4の実施形態によれば、補正部62が、固有オフセット値によって基礎補正データを増減させたデータに基づいて、オフセット補正を行うことにより非均一性補正処理を行うため、温度変化に起因する画素ごとの非均一性の変動をより好適に補正することができる。
 また、固有値情報を、画素ごとに、代表オフセット値に対する、代表オフセット値とその画素の固有オフセット値との差の割合の値(固有値)を対応づけたテーブルとして記憶し、固有値情報に基づいて固有オフセット値を算出するようにしたため、補正データ記憶部64に記憶する固有値情報が過度に増大することを好適に抑制することができる。
 なお、第4の実施形態は、第1~第3の実施形態およびその変形例と組み合わせることができる。
 本発明の各実施形態によれば、赤外線(波長0.7μm~1mm)のうち、特に、遠赤外線(波長8~15μm)に基づいて発生するノイズに対しても好適に上記に説明した各効果が得られるものである。なお、本発明の各実施形態に係る赤外線撮像装置100は、防犯用の撮像装置、車載用の撮像装置などに好適に適用可能であり、赤外線画像を撮影する単独の撮像装置として構成されてもよく、赤外線画像の撮像機能を有する撮像システムに組み込まれて構成されてもよい。
 上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。本発明の態様は、上記した個々の実施例(第1~第4の実施形態、その他の変形例および応用例)に限定されるものではなく、個々の実施例の各要素のいかなる組合せも本発明に含み、また、当業者が想到しうる種々の変形も含むものである。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
1  光学系
2  シャッタ
3  赤外線検出器(赤外線イメージセンサ)
4  アナログ信号処理回路
5  変換回路
6  デジタル信号処理部
8  出力部
9  制御部
10 シャッタ駆動機構
60 オフセット値算出部
61 フレームメモリ
62 補正部
63 基礎補正データ更新部
64 補正データ記憶部
65 領域検出部
66 標準値記憶部
67 画素値算出部67
68 変化量算出部
69 代表オフセット値算出部
70 シェーディング補正部
71 固有オフセット値算出部
100  赤外線撮像装置

Claims (12)

  1.  光学系と、
     前記光学系の結像面に位置し、入射した赤外線を検出する複数の画素を備え、該複数の画素により赤外線画像を撮像する赤外線検出器と、
     前記複数の画素の画素ごとの非均一性をそれぞれ補正するための基礎補正データに基づいて、前記赤外線画像を補正して補正後画像を出力する補正部と、
     オフセット値算出部とを備え、
     前記オフセット値算出部が、
      前記補正後画像から対象被写体に対応する被写体領域を検出する領域検出部と、
      前記被写体領域の画素値を表す被写体値を算出する画素値算出部と、
      前記赤外線検出器によって撮像された基準となる赤外線画像である基準赤外線画像を前記基礎補正データに基づいて補正した補正後基準画像における、前記被写体領域の画素値である基準被写体値と、前記被写体値とに基づいて、前記被写体領域の画素値の変化量である被写体値変化量を算出する変化量算出部と、
      前記被写体値変化量を、温度変化に起因する前記複数の画素の画素値の変化量を表す代表オフセット値として算出する代表オフセット値算出部とを有してなり、
     前記補正部が、前記代表オフセット値と前記基礎補正データとに基づいて、前記赤外線画像を補正する、
     ことを特徴とする赤外線撮像装置。
  2.  前記補正部は、前記代表オフセット値によって前記基礎補正データを増減させたデータを用いて、前記赤外線画像をオフセット補正する請求項1記載の赤外線撮像装置。
  3.  前記オフセット値算出部が、前記複数の画素の画素ごとに、前記代表オフセット値と温度変化に起因する当該画素の画素値の変化量を表す固有オフセット値との関係をそれぞれ表す固有値情報に基づいて、前記複数の画素の画素ごとに、前記代表オフセット値に対応する前記固有オフセット値をそれぞれ算出する固有オフセット値算出部をさらに備え、
     前記補正部が、前記固有オフセット値によって前記基礎補正データを増減させたデータを用いて、前記赤外線画像をオフセット補正する請求項1記載の赤外線撮像装置。
  4.  前記変化量算出部は、前記基準被写体値と前記被写体値の少なくとも一方の値に対して、前記基準被写体値と前記被写体値の間の前記光学系に起因するシェーディングの差を低減する補正を行い、前記シェーディングの差を低減する補正を行った後の前記被写体値から、前記シェーディングの差を低減する補正を行った後の前記基準被写体値を減算した値を前記被写体値変化量として算出する請求項1から3のいずれか1項記載の赤外線撮像装置。
  5.  前記オフセット値算出部は、前記変化量算出部による前記被写体値変化量の算出に先立って、前記補正後画像の画素値の少なくとも一部に対して、前記光学系に起因するシェーディングを補正するシェーディング補正処理を行うシェーディング補正部をさらに有する請求項1から3のいずれか1項記載の赤外線撮像装置。
  6.  前記シェーディング補正部は、前記補正後画像における前記複数の画素に対応する画素値に対して前記シェーディング補正処理を行い、
     前記領域検出部は、前記シェーディング補正処理を行った後の前記複数の画素に対応する画素値に基づいて、前記被写体領域を検出する請求項5記載の赤外線撮像装置。
  7.  前記シェーディング補正部は、前記被写体領域に含まれる画素の画素値に対して前記シェーディング補正処理を行い、
     前記画素値算出部は、前記シェーディング補正処理を行った後の前記被写体領域に含まれる画素値に基づいて、前記被写体値を算出する請求項5記載の赤外線撮像装置。
  8.  前記画素値算出部は、前記被写体領域の画素値の分布を表すヒストグラムに基づいて、最頻値と平均値と中央値とのいずれか1つを前記被写体値として算出する請求項1から7のいずれか1項記載の赤外線撮像装置。
  9.  前記領域検出部が、人に対応する領域を前記被写体領域として検出する請求項1から8いずれか1項に記載の赤外線撮像装置。
  10.  前記オフセット値算出部は、周期的に繰り返し前記代表オフセット値を算出する請求項1から9いずれか1項に記載の赤外線撮像装置。
  11.  前記基礎補正データを補正する基礎補正データ更新処理を実行する基礎補正データ更新部と、
     前記赤外線検出器と前記光学系との間に位置し、開閉自在であるシャッタと、
     前記補正後画像に前記被写体領域が存在しない間に、前記赤外線検出器に前記シャッタを閉じた状態におけるシャッタ画像を撮像させ、該シャッタ画像に基づいて前記基礎補正データ更新部に前記基礎補正データ更新処理を実行させる制御部とをさらに備える請求項1から10のいずれか1項記載の赤外線撮像装置。
  12.  光学系の結像面に位置し、入射した赤外線を検出する複数の画素を備えた赤外線検出器を備えた赤外線撮像装置による信号補正方法であって、
     前記複数の画素により赤外線画像を撮像する撮像ステップと、
     前記複数の画素の画素ごとの非均一性をそれぞれ補正するための基礎補正データに基づいて、前記赤外線画像を補正して補正後画像を出力する補正ステップと、
     オフセット値算出ステップとを有し、
     前記オフセット値算出ステップが、
      前記補正後画像から対象被写体に対応する被写体領域を検出する領域検出ステップと、
      前記被写体領域の画素値を表す被写体値を算出する画素値算出ステップと、
      前記赤外線検出器によって撮像された基準となる赤外線画像である基準赤外線画像を前記基礎補正データに基づいて補正した補正後基準画像における、前記被写体領域の画素値である基準被写体値と、前記被写体値とに基づいて、前記被写体領域の画素値の変化量である被写体値変化量を算出する変化量算出ステップと、
      前記被写体値変化量を、温度変化に起因する前記複数の画素の画素値の変化量を表す代表オフセット値として算出する代表オフセット値算出ステップとを有してなり、
     前記補正ステップが、前記代表オフセット値と前記基礎補正データとに基づいて、前記赤外線画像を補正することを特徴とする赤外線撮像装置による信号補正方法。
PCT/JP2016/080805 2015-10-29 2016-10-18 赤外線撮像装置および赤外線撮像装置による信号補正方法 WO2017073401A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680063045.0A CN108353135B (zh) 2015-10-29 2016-10-18 红外线摄像装置及基于红外线摄像装置的信号校正方法
JP2017547741A JP6356926B2 (ja) 2015-10-29 2016-10-18 赤外線撮像装置および赤外線撮像装置による信号補正方法
US15/951,388 US10469747B2 (en) 2015-10-29 2018-04-12 Infrared imaging device and signal correction method using infrared imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-213031 2015-10-29
JP2015213031 2015-10-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/951,388 Continuation US10469747B2 (en) 2015-10-29 2018-04-12 Infrared imaging device and signal correction method using infrared imaging device

Publications (1)

Publication Number Publication Date
WO2017073401A1 true WO2017073401A1 (ja) 2017-05-04

Family

ID=58630113

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/080805 WO2017073401A1 (ja) 2015-10-29 2016-10-18 赤外線撮像装置および赤外線撮像装置による信号補正方法

Country Status (4)

Country Link
US (1) US10469747B2 (ja)
JP (1) JP6356926B2 (ja)
CN (1) CN108353135B (ja)
WO (1) WO2017073401A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020095630A1 (ja) * 2018-11-05 2020-05-14 ソニー株式会社 温度推定装置、温度推定方法及び温度推定プログラム
CN111567031A (zh) * 2018-01-10 2020-08-21 索尼公司 校准装置、校准方法以及校准图表装置
JPWO2021106322A1 (ja) * 2019-11-27 2021-06-03
WO2021245772A1 (ja) * 2020-06-02 2021-12-09 三菱電機株式会社 赤外線撮像装置
JP2021189171A (ja) * 2020-06-02 2021-12-13 三菱電機株式会社 赤外線撮像装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6944196B2 (ja) * 2018-11-16 2021-10-06 株式会社ジェイエイアイコーポレーション 撮像装置
CN111238646A (zh) * 2018-11-29 2020-06-05 东京毅力科创株式会社 红外线摄像机的校正方法和红外线摄像机的校正系统
CN114705302A (zh) * 2019-06-11 2022-07-05 杭州海康微影传感科技有限公司 热成像摄像机灼伤处理方法及装置
JP7535704B2 (ja) * 2019-09-06 2024-08-19 パナソニックIpマネジメント株式会社 撮像装置
CN111556252B (zh) * 2020-05-22 2021-12-21 烟台艾睿光电科技有限公司 一种快门校正的方法、装置及电子设备
JP7494615B2 (ja) * 2020-07-22 2024-06-04 株式会社Jvcケンウッド 画像処理装置、画像処理方法およびプログラム
CN114414070B (zh) * 2020-12-07 2024-04-19 杭州美盛红外光电技术有限公司 校正系统、校正装置和校正方法
TWI806006B (zh) * 2021-02-20 2023-06-21 緯創資通股份有限公司 熱影像定位方法及其系統
EP4084467B1 (en) * 2021-04-30 2023-02-01 Axis AB A method and a thermal camera having a microbolometer detector for capturing a sequence of image frames
CN113566981B (zh) * 2021-09-26 2022-01-04 南京智谱科技有限公司 红外探测器的自适应调整方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001518760A (ja) * 1997-09-26 2001-10-16 イギリス国 センサシステム
JP2003298949A (ja) * 2002-04-05 2003-10-17 Mitsubishi Electric Corp 点滅欠陥検出方法、映像補正方法及び固体撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03270567A (ja) * 1990-03-20 1991-12-02 Fuji Photo Film Co Ltd 画像信号補正方法
US6230108B1 (en) * 1997-10-23 2001-05-08 Fujitsu Limited Realtime sensitivity correction method and infrared imaging system
JP4016022B2 (ja) 1999-01-14 2007-12-05 松下電器産業株式会社 赤外線画像撮像装置およびこれを搭載した車両
JP4910529B2 (ja) 2006-07-14 2012-04-04 住友電気工業株式会社 障害物検出システム及び障害物検出方法
US9237284B2 (en) * 2009-03-02 2016-01-12 Flir Systems, Inc. Systems and methods for processing infrared images
CN103404123B (zh) * 2011-02-28 2017-10-20 富士胶片株式会社 成像装置和缺陷像素校正方法
JP2013088192A (ja) * 2011-10-14 2013-05-13 Toshiba Corp 赤外線固体撮像装置
FR3020735B1 (fr) * 2014-04-30 2017-09-15 Ulis Procede de traitement d'une image infrarouge pour une correction des non uniformites
JP2016029759A (ja) * 2014-07-25 2016-03-03 キヤノン株式会社 撮像装置の欠陥画素検出方法
CN104580894B (zh) * 2014-12-25 2017-10-31 烟台艾睿光电科技有限公司 一种红外焦平面的多点校正方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001518760A (ja) * 1997-09-26 2001-10-16 イギリス国 センサシステム
JP2003298949A (ja) * 2002-04-05 2003-10-17 Mitsubishi Electric Corp 点滅欠陥検出方法、映像補正方法及び固体撮像装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111567031A (zh) * 2018-01-10 2020-08-21 索尼公司 校准装置、校准方法以及校准图表装置
WO2020095630A1 (ja) * 2018-11-05 2020-05-14 ソニー株式会社 温度推定装置、温度推定方法及び温度推定プログラム
JPWO2020095630A1 (ja) * 2018-11-05 2021-09-30 ソニーグループ株式会社 温度推定装置、温度推定方法及び温度推定プログラム
US11852538B2 (en) 2018-11-05 2023-12-26 Sony Corporation Temperature estimation device, temperature estimating method, and temperature estimating program
JPWO2021106322A1 (ja) * 2019-11-27 2021-06-03
WO2021106322A1 (ja) * 2019-11-27 2021-06-03 パナソニックIpマネジメント株式会社 赤外線処理システム、赤外線センサシステム、赤外線処理方法、及び、プログラム
JP7373777B2 (ja) 2019-11-27 2023-11-06 パナソニックIpマネジメント株式会社 赤外線処理システム、赤外線センサシステム、赤外線処理方法、及び、プログラム
WO2021245772A1 (ja) * 2020-06-02 2021-12-09 三菱電機株式会社 赤外線撮像装置
JP2021189171A (ja) * 2020-06-02 2021-12-13 三菱電機株式会社 赤外線撮像装置
JP7271604B2 (ja) 2020-06-02 2023-05-11 三菱電機株式会社 赤外線撮像装置

Also Published As

Publication number Publication date
JP6356926B2 (ja) 2018-07-11
JPWO2017073401A1 (ja) 2018-07-19
US20180234628A1 (en) 2018-08-16
US10469747B2 (en) 2019-11-05
CN108353135A (zh) 2018-07-31
CN108353135B (zh) 2020-07-21

Similar Documents

Publication Publication Date Title
JP6356926B2 (ja) 赤外線撮像装置および赤外線撮像装置による信号補正方法
EP3621850B1 (en) Shutterless far infrared (fir) camera for automotive safety and driving systems
US9924116B2 (en) Time based offset correction for imaging systems and adaptive calibration control
CN107836111B (zh) 用于增强动态范围红外成像的系统和方法
US10432881B2 (en) Infrared imaging device and method of updating fixed pattern noise data
US12101569B2 (en) Techniques for correcting oversaturated pixels in shutterless FIR cameras
US10699386B2 (en) Techniques for scene-based nonuniformity correction in shutterless FIR cameras
US10523883B2 (en) Infrared imaging device and method of updating fixed pattern noise data
US7391925B2 (en) System and method for estimating noise using measurement based parametric fitting non-uniformity correction
CN109565557A (zh) 用于热成像系统的固定模式噪声减轻
US10735680B2 (en) Infrared imaging device, fixed pattern noise calculation method, and fixed pattern noise calculation program
US10362243B2 (en) Infrared imaging device, diaphragm control method, and diaphragm control program
JP2011044813A (ja) 撮像装置、補正値算出方法、及び撮像方法
JP2018007083A (ja) 画像処理装置
KR101429512B1 (ko) 밴딩 노이즈 제거 장치 및 방법
JP3882640B2 (ja) 赤外線カメラ
WO2023119751A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5003533B2 (ja) 赤外線撮像装置および固定パターンノイズ補正方法
US20240303864A1 (en) Control system and control method
US9641765B2 (en) Image capture device, image correction method, and image correction program
CN117480366A (zh) 红外线拍摄装置以及固定模式噪声数据的生成方法
Chen et al. A chopper-free measurement-based parametric-fitting nonuniformity correction system
JP2009278551A (ja) 赤外線撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16859631

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017547741

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16859631

Country of ref document: EP

Kind code of ref document: A1