WO2023119751A1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2023119751A1
WO2023119751A1 PCT/JP2022/034500 JP2022034500W WO2023119751A1 WO 2023119751 A1 WO2023119751 A1 WO 2023119751A1 JP 2022034500 W JP2022034500 W JP 2022034500W WO 2023119751 A1 WO2023119751 A1 WO 2023119751A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
noise component
unit
infrared camera
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/034500
Other languages
English (en)
French (fr)
Inventor
啓太 林
浩史 山本
靖文 中明
忠司 石渡
圭二 土屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of WO2023119751A1 publication Critical patent/WO2023119751A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Definitions

  • the present invention relates to an image processing device, an image processing method, and a program.
  • Patent Documents 1 and 2 disclose infrared imaging devices.
  • the infrared imaging apparatus disclosed in Patent Document 1 corrects variations in pixels using a plurality of preset correction coefficient data based on the environmental temperature measured by the temperature sensor, without updating the correction data.
  • the infrared imaging device of Patent Document 2 captures an image with the shutter closed. The infrared imaging device detects response defective pixels from this image.
  • Infrared sensors such as microbolometers used in infrared imaging devices are affected by temperature stress, etc., and their characteristics change over time.
  • the reproducibility of the output characteristics of the infrared sensor with respect to the ambient temperature deteriorates, and it is difficult to appropriately correct pixel variations.
  • the apparatus of Patent Document 2 detects a response defect, it is difficult to easily detect the defect. Therefore, it becomes difficult to perform appropriate processing.
  • the present disclosure has been made in view of the above points, and provides an image processing apparatus, an image processing method, and a program capable of appropriately processing thermal image data even when the characteristics of an infrared sensor change over time. I will provide a.
  • the image processing apparatus includes a thermal image data acquisition unit that acquires thermal image data captured by an infrared camera, and first thermal image data captured by the infrared camera with the shutter closed, A correcting unit that generates shutterless corrected image data by correcting based on the environmental temperature of the usage environment of the infrared camera and pre-obtained calibration data; A noise component extraction unit for extracting noise components, and a noise removal unit for removing the noise components of the second thermal image data captured by the infrared camera with the shutter open.
  • the image processing method includes the steps of acquiring first thermal image data captured by an infrared camera with the shutter closed, and adjusting the ambient temperature of the environment in which the infrared camera is used and pre-acquired calibration data. generating shutterless corrected image data by correcting the first thermal image data based on the above; extracting temporally changing noise components contained in the shutterless corrected image data; and removing noise components from second thermal image data captured by the infrared camera with the shutter open.
  • a program according to the present embodiment is a program for causing a computer to execute an image processing method, the image processing method including the step of acquiring first thermal image data captured with the shutter of an infrared camera closed. generating shutterless corrected image data by correcting the first thermal image data based on the environmental temperature of the environment in which the infrared camera is used and previously obtained calibration data; and the shutterless corrected image data. and removing the noise component of the second thermal image data with the shutter open.
  • An object of the present disclosure is to provide an image processing device, an image processing method, and a program capable of appropriately processing thermal image data from an infrared camera.
  • FIG. 1 is a block diagram showing the configuration of an imaging system
  • FIG. 1 is a block diagram showing the configuration of an infrared camera
  • FIG. 3 is a block diagram showing the configuration of an image processing unit
  • FIG. It is a block diagram which shows the structure of a NUC part.
  • 4 is a flow chart showing an image processing method according to the first embodiment
  • FIG. 8 is a block diagram showing the configuration of an image processing unit in Embodiment 2
  • FIG. 4 is a diagram for explaining defective pixels appearing in noise components
  • 9 is a flowchart showing an image processing method according to the second embodiment
  • 9 is a flowchart showing an image processing method according to the second embodiment
  • FIG. 12 is a block diagram showing the configuration of an image processing unit in Embodiment 3
  • 10 is a flow chart showing an image processing method according to the third embodiment
  • 11 is a flow chart showing an image processing method according to the third embodiment;
  • FIG. 1 is a block diagram showing the configuration of an imaging system 1.
  • the imaging system 1 includes an image processing device 100 , an infrared camera 200 and a display device 300 .
  • the imaging system 1 is, for example, a vehicle imaging system that is used in a vehicle to obtain a thermal image of the surroundings, an imaging system that is used for monitoring purposes, or the like.
  • the infrared camera 200 captures a thermal image (infrared image).
  • the infrared camera 200 captures a thermal image by detecting far-infrared rays from a subject.
  • the infrared camera 200 is a Far Infrared Rays (FIR) camera capable of visualizing far infrared rays emitted from an object.
  • FIR Far Infrared Rays
  • Data of a thermal image captured by the infrared camera 200 is also called thermal image data (or infrared image data).
  • Thermal image data indicates the temperature distribution in the imaging range of infrared camera 200 .
  • the infrared camera 200 outputs thermal image data to the image processing device 100 .
  • Thermal image data input from the infrared camera 200 to the image processing apparatus 100 is also referred to as input thermal image data.
  • Thermal image data indicates thermal image data captured by an infrared camera. A configuration of the infrared camera 200 will be described later.
  • the image processing apparatus 100 generates display image data by performing image processing on input thermal image data. For example, the image processing apparatus 100 performs various processes such as correction of pixel variations of the infrared camera 200 and noise removal caused by changes in characteristics over time. By doing so, the temperature can be measured more accurately.
  • the image processing device 100 outputs the image-processed display image data to the display device 300 .
  • the display image data subjected to image processing by the image processing device 100 and output to the display device 300 is also referred to as output thermal image data.
  • the input thermal image data is data before processing by the image processing apparatus 100
  • the output thermal image data is data after processing.
  • the display device 300 includes a liquid crystal display or the like for displaying display image data.
  • the display device 300 displays display image data that has undergone image processing in the image processing device 100 . Thereby, the display device 300 can display a more accurate temperature distribution.
  • the image processing apparatus 100 includes a control IF (interface) 110, a ROM (Read Only Memory) 120, a RAM (Random Access Memory) 130, a system control section 140, a shutter control section 150, a thermal image data acquisition section 160, and an image processing section 170. , and a display image data output unit 180 .
  • the thermal image data acquisition unit 160 acquires thermal image data captured by the infrared camera 200 .
  • an IF interface for inputting thermal image data from the infrared camera 200 is provided.
  • the interface between the thermal image data acquiring unit 160 and the infrared camera 200 may be wired connection or wireless connection.
  • the ROM 120 stores control programs and various parameters for controlling the image processing apparatus 100 .
  • the ROM 120 stores image processing programs executed by the image processing section 170 .
  • the ROM 120 also stores a system control program executed by the system control unit 140 .
  • the RAM 130 stores various programs and parameters used for their execution. Further, it stores calculation data and the like of the image processing unit 170 .
  • the system control unit 140 controls the imaging system 1 as a whole.
  • the system control unit 140 includes a processor such as a CPU (Central Processing Unit).
  • the processor of the system control unit 140 can control the entire system by executing the control program.
  • the system control unit 140 includes a shutter control unit 150.
  • the shutter control unit 150 controls opening and closing of the shutter of the infrared camera 200 .
  • the shutter control section 150 outputs a control signal for opening and closing the shutter.
  • the control IF 110 is an interface for controlling the infrared camera 200.
  • the shutter control unit 150 outputs control signals for opening and closing the infrared camera 200 via the control IF 110 .
  • the image processing apparatus 100 can transmit various signals and data to the infrared camera 200 via the control IF 110 .
  • the control IF 110 can receive various signals and data from the infrared camera 200 .
  • the control IF 110 acquires the environmental temperature measured by the temperature sensor of the infrared camera 200 .
  • the image processing unit 170 performs predetermined image processing on the thermal image data acquired by the thermal image data acquisition unit 160 .
  • the image processing section 170 may include a processor or the like for executing an image processing program.
  • the processor of the image processing unit 170 may be a general-purpose processor or a dedicated processor.
  • the processor of the image processing unit 170 and the processor of the system control unit 140 may be common. Processing in the image processing unit 170 will be described later.
  • Display image data is generated by the image processing unit 170 performing image processing on the input thermal image data.
  • a display image data output unit 180 is an interface that outputs display image data to the display device 300 .
  • FIG. 2 is a block diagram schematically showing the detailed configuration of the infrared camera 200.
  • FIG. Infrared camera 200 comprises lens 210 , shutter 220 , sensor 230 , transmission device 240 and temperature sensor 250 .
  • the lens 210 forms an image of the far-infrared light from the subject on the light receiving surface of the sensor 230 .
  • Sensor 230 comprises a plurality of pixels. Each pixel of sensor 230 receives infrared light from a subject. Thereby, a thermal image of the subject can be captured.
  • sensor 230 has a microbolometer for detecting far infrared radiation.
  • Sensor 230 comprises a plurality of pixels arranged in a two-dimensional array. A detected value (detected signal) of each pixel forms a thermal image of the subject.
  • the transmission device 240 serves as an interface for transmitting various signals and data to the image processing apparatus 100 .
  • the transmission device 240 transmits thermal image data captured by the sensor 230 to the image processing apparatus 100 . Also, the transmission device 240 receives a control signal from the image processing apparatus 100 .
  • the temperature sensor 250 measures the temperature in the usage environment of the infrared camera.
  • the transmission device 240 transmits the environmental temperature measured by the temperature sensor 250 to the image processing apparatus 100 .
  • the ambient temperature measured by the temperature sensor 250 is used for shutterless correction, which will be described later.
  • the shutter 220 is arranged on the front side of the sensor 230 .
  • the shutter 220 blocks infrared light entering the sensor 230 from the outside.
  • the shutter 220 has an openable/closable mechanism.
  • Shutter 220 opens and closes according to a control signal from shutter control section 150 . Outside light from the lens 210 does not enter the sensor 230 when the shutter 220 is closed (hereinafter also simply referred to as a closed state). That is, in the closed state, infrared light from the shutter 220 enters the sensor 230 . Infrared light from the lens 210 enters the sensor 230 when the shutter 220 is open (hereinafter also simply referred to as an open state).
  • the shutter 220 can make the imaging range of the sensor 230 a thermal uniform surface.
  • shutter 220 may be like a barrier or cover positioned in front of lens 210 .
  • FIG. 3 is a block diagram showing the detailed configuration of the image processing section 170.
  • the image processing unit 170 includes a defective pixel correction unit 171 , an NUC (Non-Uniformity Correction) unit 172 and a noise component extraction unit 173 .
  • the image processing unit 170 cooperates with the system control unit 140 and the RAM 130 to execute predetermined processing.
  • the defective pixel correction unit 171 interpolates the pixel values of the defective pixels of the sensor 230 stored in advance in the RAM 130 from the pixel values of the pixels surrounding the defective pixels.
  • the defective pixel correction unit 171 performs the above-described interpolation processing on the input thermal image data acquired by the thermal image data acquisition unit 160 and outputs the image data that has undergone the interpolation processing to the NUC unit 172 .
  • a NUC (Non-Uniformity Correction) unit 172 performs processing for correcting variations in output between pixels.
  • a detailed configuration of the NUC unit 172 is shown in FIG.
  • the NUC section 172 includes a correction section 177 and a noise elimination section 178 .
  • the correction unit 177 performs shutterless correction on the input thermal image data based on the environmental temperature.
  • Shutterless correction is, for example, correcting pixel variations of the sensor 230 without closing the shutter 220 using a plurality of correction values corresponding to the environmental temperature.
  • pixel variations in the output of the sensor 230 are corrected using correction values based on pre-obtained calibration data.
  • the infrared camera 200 or the image processing device 100 acquires a plurality of pieces of calibration data in advance and stores them in a memory or the like. For example, calibration data corresponding to seven different environmental temperatures are obtained in advance.
  • the calibration data corresponding to the environmental temperature that have not been acquired in advance can be predicted by interpolation processing using approximate values obtained by approximating a plurality of calibration data that have been acquired in advance using a polynomial or the like.
  • the sensor output of the sensor 230 varies in pixel variation depending on the environmental temperature. Therefore, when the sensor 230 receives infrared light, the pixel variation with respect to the ambient temperature at that time is corrected using calibration data acquired in advance.
  • the correction unit 177 corrects pixel variations based on a plurality of pieces of calibration data obtained in advance without performing calibration using a shutter. Such correction is called shutterless correction.
  • the thermal image data subjected to shutterless correction by the correction unit 177 is taken as shutterless corrected image data. That is, the shutterless corrected image data is thermal image data on which shutterless correction processing has been performed.
  • the noise removal unit 178 removes noise generated in the shutterless corrected image data when the sensor characteristics change with time and the correction accuracy based on the pre-acquired calibration data deteriorates. The processing of the noise removal unit 178 will be described later.
  • the noise component extraction unit 173 extracts noise components in the input thermal image data. Specifically, the noise component extraction unit 173 extracts noise components from the shutterless corrected image data with the shutter 220 closed. The noise component changes over time due to temperature stress of the sensor 230 or the like.
  • the noise removal section 178 performs processing for removing the noise component extracted by the noise component extraction section 173 .
  • the correction by the correction unit 177 can correct pixel variations at any environmental temperature by performing correction processing using calibration data obtained in advance.
  • the noise component extraction unit 173 extracts the noise component generated over time for each pixel.
  • the noise removal unit 178 removes noise components generated over time for each pixel.
  • Isless (w, h) Pixel data after shutterless correction is hereinafter referred to as Isless (w, h).
  • w is the horizontal pixel address and h is the vertical pixel address.
  • n(w, h) be a noise component generated by a change over time.
  • n(w, h) indicates a two-dimensional distribution of noise components.
  • the shutterless correction output Iout(w, h) including noise components generated over time is expressed by the sum of Isless(w, h) and n(w, h) as shown in the following equation (1).
  • Iout(w,h) Isless(w,h)+n(w,h) (1)
  • the noise component n(w, h) generated in the shutterless-corrected image data also gradually increases. Therefore, the shutterless-corrected image quality also deteriorates over time.
  • the noise component n(w, h) also includes newly generated defective pixel information.
  • T0 is the ambient temperature measured by the temperature sensor 250 in the closed state. That is, T0 is the ambient temperature during the noise component extraction process.
  • the noise component extraction unit 173 obtains the average value of Isless_T0(w, h) of all pixels.
  • the noise component extraction unit 173 calculates a subtraction value obtained by subtracting the average value from Isless_T0(w, h) as a noise component.
  • the noise component n(w, h) is shown in the following equation (2).
  • W is the number of pixels in the horizontal direction
  • H is the number of pixels in the vertical direction.
  • the product of W and H indicates the total number of pixels of thermal image data.
  • the second term on the right side is the pixel average value of Isless_T0(w, h). That is, the average value is obtained by dividing the total sum of Isless_T0(w, h) by the total number of pixels (W*sH).
  • the noise component extraction unit 173 extracts the noise component n(w, h) by performing the above processing.
  • the noise removal section 178 removes noise from the shutterless corrected image data in the open state.
  • T is the environmental temperature.
  • ⁇ is a coefficient and has a constant value.
  • ⁇ may be a variable that changes according to environmental temperature or the like.
  • ⁇ is common between pixels, it may be different for each pixel.
  • the noise removal unit 178 generates noise-removed image data by performing noise removal processing on the shutterless corrected image data.
  • the noise removal unit 178 outputs the noise-removed image data to the display image data output unit 180 (see FIG. 1).
  • the display image data output unit 180 outputs the noise-removed image data to the display device 300 as output thermal image data.
  • the image processing apparatus 100 can remove noise components that occur over time in the input thermal image data. Since the image processing apparatus 100 extracts the noise component from the thermal image data in the closed state, the noise component can be extracted with higher accuracy. Thereby, the measurement accuracy of the temperature distribution of the infrared camera 200 can be improved. Furthermore, the noise component extraction unit 173 may extract the noise component each time the thermal image data is captured in the closed state. This allows the noise component extraction unit 173 to repeatedly calculate the noise component. Therefore, even when the degree of change in characteristics over time differs for each pixel, appropriate processing can be performed.
  • the correction unit 177 performs shutterless correction on the thermal image data captured in the closed state. Then, the noise component extraction unit 173 extracts the noise component based on the shutterless corrected image data in the closed state. This makes it possible to extract the noise component generated when the accuracy of correction based on calibration data obtained in advance deteriorates due to changes in the sensor 230 over time.
  • the image processing device 100 stores the extracted noise components in a memory or the like and removes the noise components. Since noise components due to deterioration over time can be removed by simple processing, the processing load can be reduced.
  • the noise component n(w, h) also includes information on defective pixels. By performing the noise component removal described above, it is possible to appropriately correct the pixel data of the defective pixels.
  • FIG. 5 is a flow chart showing an image processing method.
  • the user turns on the imaging system 1 (S101). For example, the user turns on the image processing device 100 and the infrared camera 200 .
  • the shutter control unit 150 determines whether or not the shutter is closed (S102). If the shutter 220 is not closed (NO in S102), the shutter control unit 150 outputs a control signal for the shutter 220 to close the shutter 220 (S103).
  • the thermal image data acquisition unit 160 acquires thermal image data in the closed state (S104).
  • infrared camera 200 captures a uniform thermal image.
  • the temperature sensor 250 detects the environmental temperature.
  • a transmission device 240 transmits the thermal image data and the environmental temperature to the image processing apparatus 100 .
  • the defective pixel correction unit 171 corrects the defective pixel (S105). For example, the pixel data (pixel value) of the defective pixel registered in advance is interpolated with the pixel data (pixel value) of the peripheral pixels. Thereby, the defective pixel correction unit 171 can correct the pixel data of the defective pixel.
  • the correction unit 177 performs shutterless correction (S106). Thereby, shutterless corrected image data is generated.
  • the noise component extraction unit 173 determines whether noise has been extracted (S107). For example, the noise component extractor 173 can extract the noise component when the system power is ON. In other words, the noise component extractor 173 extracts the noise component immediately after the system power is turned on.
  • the noise component extraction unit 173 extracts the noise component from the shutterless corrected image data (S108). That is, the noise component extraction unit 173 calculates the noise component by subtracting the average value from the pixel data. As described above, the noise component extraction unit 173 extracts the noise component for each pixel, but may extract the noise component for each region including a plurality of pixels.
  • the shutter control unit 150 opens the shutter 220 (S109). That is, the shutter control section 150 outputs a control signal to open the shutter 220 . It is determined whether or not the system power is off (S110). If the system power is not turned off (NO in S110), the process returns to step S104. That is, the thermal image data acquisition unit 160 acquires thermal image data in the shutter open state (S104). Also, the image processing apparatus 100 acquires the environmental temperature measured by the temperature sensor 250 .
  • the defective pixel correction unit 171 corrects defective pixels (S105), and the correction unit 177 performs shutterless correction (S106). Thereby, a shutterless corrected image is generated.
  • the noise component extraction unit 173 determines whether noise has been extracted (S107). Since the noise component extraction unit 173 has already extracted the noise component (YES in S107), the noise removal unit 178 removes noise from the shutterless corrected image (S111).
  • the noise removal unit 178 removes noise components from the shutterless corrected image data.
  • the noise removal unit 178 removes the noise component extracted in step S109 from the shutterless corrected image data to generate noise-removed image data.
  • the system control unit 140 determines whether the system power is turned off (S110). If the system power is not turned off (NO in S110), the process returns to step S104 to repeat the process. That is, the image processing unit 170 performs shutterless correction and noise component removal for each acquired input thermal image data. The noise component n(w, h) in this repetition becomes common. If the system power is turned off (YES in S110), the process ends.
  • the noise component changes over time.
  • the image processing apparatus 100 extracts noise components when the imaging system 1 is powered on. This allows the image processing unit 170 to perform appropriate processing, thereby suppressing deterioration in image quality.
  • a noise component that changes with time can be accurately extracted, and the measurement accuracy of the temperature distribution can be improved.
  • the imaging system 1 can be an infrared camera imaging system mounted on an automobile or the like.
  • the infrared camera 200 captures an image in front of the vehicle or around the vehicle.
  • a display device 300 displays the output thermal image data. It can be an in-vehicle monitor.
  • the system power supply of the imaging system 1 is turned on at the timing when the engine of the automobile is started. Therefore, the noise component extractor 173 can extract the noise component at each timing of starting the engine.
  • the timing for extracting noise components is not limited to when the system power is on.
  • the noise component extraction unit 173 may extract the noise component when a certain period of time or more has elapsed since the previous noise component extraction.
  • the user may instruct extraction of noise components.
  • the image processing device 100 and the infrared camera 200 are shown separately in FIG. 1, the image processing device 100 may be mounted on the infrared camera 200. Also, at least part of the processing of the image processing device 100 may be executed by the infrared camera 200 .
  • the image processing apparatus 100 described above is not limited to a physically single apparatus. Therefore, a plurality of devices may distribute and execute the processing of the image processing device 100 .
  • Embodiment 2 processing for detecting defective pixels and processing for correcting defective pixels are added to the processing of the first embodiment. It should be noted that other than these processes are the same as those of the first embodiment, and thus description thereof will be omitted as appropriate.
  • FIG. 6 is a block diagram showing the image processing section 170 of the image processing apparatus 100 according to this embodiment.
  • the configuration and processing other than the image processing unit 170 are the same as those of the first embodiment.
  • the image processing unit 170 includes a defect data detection unit 174 and a defect data correction unit 175 in addition to the configuration of the first embodiment.
  • the defective data detection unit 174 detects newly generated defective pixels.
  • the defect data detection unit 174 obtains the pixel address of the defective pixel and updates the defective pixel information stored in the RAM 130 (see FIG. 1) or the like.
  • the defect data detection unit 174 may calculate correction parameters according to the detected defects and record them in the RAM 130 or the like.
  • FIG. 7 is a diagram showing shutterless corrected image data when the shutter is closed.
  • FIG. 7 shows a profile showing the noise component n(w,h) as a function of pixel address.
  • the horizontal axis indicates the pixel address w in the horizontal direction
  • the vertical axis indicates the noise component.
  • the defect data detection unit 174 detects defective pixels according to the result of comparison between a certain threshold value and the noise component n(w, h). For example, the defect data detector 174 stores a threshold Th+ and a threshold Th-.
  • the threshold Th+ is a positive value and the threshold Th- is a negative value.
  • the defective data detection unit 174 detects pixels whose noise component n(w, h) is equal to or greater than the threshold Th+ as defective pixels.
  • the defect data detection unit 174 detects pixels whose noise component n(w, h) is equal to or less than the threshold value Th ⁇ as defective pixels.
  • the defective data detection unit 174 updates the defective pixel address, which is the defective pixel information stored in the RAM 130 in advance, based on the pixel address of the detected defective pixel. By doing so, the pixel address of the newly detected defect and its information are stored in the RAM 130 .
  • the defective pixel information is information indicating a defective pixel address and peripheral pixels used for interpolation processing.
  • the defect data correction unit 175 removes data of defective pixels included in the extracted noise components, updates the noise components, and obtains noise components n′( w, h). That is, the noise component n'(w, h) indicates the noise component after defective pixel correction is performed on the noise component n(w, h).
  • the NUC unit 172 performs shutterless correction and noise removal on the thermal image data in the open state (see FIG. 4). Shutterless correction by the correcting unit 177 is the same as in the first embodiment, so description thereof is omitted.
  • the noise removal unit 178 removes noise using the noise component n'(w,h).
  • the defect data correction unit 175 calculates the noise component n'(w, h) excluding the defective pixels detected by the defect data detection unit 174. Then, the noise removal unit 178 removes the noise component of the shutterless corrected image data based on n'(w, h) subjected to defective pixel correction. By doing so, more appropriate processing can be performed.
  • FIG. 8 and 9 are flow charts showing the image processing method. Note that the processing from step S301 to step S308 is the same as that of the first embodiment, so description thereof will be omitted. The processing from steps S301 to S308 is the same as the processing from steps S101 to S108 in FIG.
  • the user turns on the imaging system 1 (S301).
  • the shutter control unit 150 determines whether the shutter is closed (S302). If the shutter 220 is not closed (NO in S302), the shutter control unit 150 closes the shutter 220 (S303). If the shutter 220 is closed (YES in S302), or if the shutter is closed in step S303, the thermal image data acquisition unit 160 acquires thermal image data in the closed state (S304).
  • the defective pixel correction unit 171 corrects the defective pixel (S305).
  • the correction unit 177 performs shutterless correction (S306). Thereby, shutterless corrected image data is generated.
  • the noise component extraction unit 173 determines whether noise has been extracted (S307). If the noise has not been extracted (NO in S307), the noise component extraction unit 173 extracts the noise component from the shutterless corrected image data (S308). Thereby, the noise component n(w, h) is obtained.
  • the defect data detection unit 174 determines whether the noise component is equal to or greater than the threshold (S309). If the noise component is greater than or equal to the threshold (YES in S309), the defect data detector 174 detects defect data (S310). For example, the defect data detection unit 174 compares the noise component with the thresholds Th+ and Th-, and detects defects based on the comparison result. Then, the defective data correction unit 175 removes defective pixels from the noise component n(w, h) (S311). Thereby, the noise component n'(w, h) to which the defective pixel correction has been applied is calculated. The defective data detection unit 174 updates the defective pixel information of the defective pixel correction unit 171 (S312). Thereby, the defective pixel information of the newly detected defective pixel is added to the defective pixel correction unit 171 . Then, the defective pixel correction unit 171 accumulates defect information.
  • step S313 it is determined whether or not all pixels have been processed. If the processing of all pixels has not ended (NO in S313), the process returns to step S309. That is, the defect data detection unit 174 compares the noise component n(w, h) of the next pixel with the threshold to detect a new defect. If all pixels have been processed (YES in S313), the shutter control unit 150 opens the shutter 220 (S314).
  • step S316 It is determined whether or not the system power is off (S316). If the system power is not off (NO in S316), the process returns to step S304. That is, the thermal image data acquisition unit 160 acquires thermal image data in the shutter open state (S304). Also, the image processing apparatus 100 acquires the environmental temperature measured by the temperature sensor 250 . Similarly to the above, the defective pixel correction unit 171 corrects defective pixels (S305), and the correction unit 177 performs shutterless correction (S306). Thereby, a shutterless corrected image is generated.
  • the noise component extraction unit 173 determines whether noise has been extracted (S307). Since the noise component extraction unit 173 has already extracted the noise component (YES in S307), the noise removal unit 178 removes noise from the shutterless corrected image (S315). Here, the noise removal unit 178 removes the noise component n'(w, h) from the shutterless corrected image data. In addition to previously detected defective pixels, the defective pixels detected in step S310 are corrected.
  • the system control unit 140 determines whether the system power is turned off (S316). If the system power is not turned off (NO in S316), the process returns to step S304. Here, since the noise has already been extracted, the processing is repeated in the order of steps S304, S305, S306, and S315. That is, the image processing unit 170 performs shutterless correction and noise component removal for each acquired input thermal image data. The noise component n'(w, h) in this repetition becomes common. If the system power is turned off (YES in S316), the process ends.
  • the thermal image data can be processed more appropriately.
  • the defective data detection unit 174 detects, as defective pixels, pixels in which the noise component n(w, h) is extremely large or extremely small compared to the noise component of normal pixels.
  • the defect data detector 174 updates the information of the newly generated defective pixel.
  • the defect data correction unit 175 updates the noise component by excluding data of defective pixels from the noise component n(w, h).
  • the defective pixel correction unit 171 performs noise removal using the noise component '(w, h) from which the defective pixel data included in the newly generated noise component is removed. By doing so, a shutterless corrected image can be generated.
  • the defect data detection unit 174 detects defects each time a noise component is extracted.
  • the defective pixel correction unit 171 accumulates defect information indicating pixel addresses of defective pixels. By doing so, even if defects increase over time, the defective pixel correction unit 171 can appropriately reflect the defect information. Therefore, more appropriate processing can be performed, and measurement accuracy can be improved.
  • Embodiment 3 This embodiment differs from the first and second embodiments in defect detection and defective pixel correction processing in the image processing unit 170 .
  • An image processing apparatus according to this embodiment will be described with reference to FIG.
  • FIG. 10 is a block diagram showing the configuration of the image processing section 170 of the image processing apparatus 100. As shown in FIG.
  • the image processing unit 170 includes a defective pixel correction unit 171, an NUC unit 172, a filter processing unit 176, a difference calculation unit 179, and a defect data detection unit 174.
  • the defective pixel correction unit 171 and the NUC unit 172 are the same as those in the first and second embodiments, so descriptions thereof are omitted.
  • the filtering unit 176 performs filtering on the extracted noise component (w, h). Specifically, the filtering unit 176 applies a median filter to the noise component (w, h). Here, the filtering unit 176 uses a median filter with a pixel size of 3 ⁇ 3. Of course, the pixel size of the filter is not limited to 3 ⁇ 3. For example, the filter pixel size may be 5 ⁇ 5.
  • the noise component (w, h) to which the median filter is applied is used as filtered image data.
  • the difference calculation unit 179 calculates the difference between the noise component (w, h) and the filtered image data.
  • the image data indicated by the difference value between the noise component (w, h) and the filtered image data is referred to as difference image data.
  • Spike noise present in the noise component (w, h) is removed by applying a median filter.
  • Spike noise is extracted from the differential image data.
  • differential image data differential pixel data (luminance data) is close to 0 in areas other than spike noise.
  • the defect data detection unit 174 detects defects by comparing the pixel data of the difference image data with the thresholds Th+ and Th ⁇ . By doing so, the defect detection accuracy can be improved.
  • the noise components (w, h) are not necessarily uniform noise components in the vicinity of the quadrangle of the thermal image data and in the center.
  • the imaging performance of the lens 210 may cause variations in pixel data, making it difficult to appropriately set the thresholds Th+ and Th- for defect detection.
  • the difference calculator 179 calculates the difference between image data before and after filtering.
  • the defect data detection unit 174 compares difference image data composed of difference values with a threshold value, and detects defects based on the comparison result. By doing so, the defect data detection unit 174 can set an appropriate threshold value, so that a defective pixel can be detected accurately.
  • the threshold Th+ can be set to 1000, for example. If there is a pixel difference of 1000 or more between the center pixel and its eight neighboring pixels, it is detected as a defect.
  • step S509 noise component filtering processing
  • step S510 difference value calculation processing
  • step S518 the processing of steps S310 to S316.
  • the shutter control unit 150 determines whether the shutter is closed (S502). If the shutter 220 is not closed (NO in S502), the shutter control unit 150 closes the shutter 220 (S503). If the shutter 220 is closed (YES in S502), or if the shutter is closed in step S503, the thermal image data acquisition unit 160 acquires thermal image data in the closed state (S504).
  • the defective pixel correction unit 171 corrects the defective pixel (S505).
  • the correction unit 177 performs shutterless correction (S506). As a result, shutterless corrected image data is generated.
  • the noise component extraction unit 173 determines whether noise has been extracted (S507). If the noise has not been extracted (NO in S507), the noise component extraction unit 173 extracts the noise component from the shutterless corrected image data (S508). As a result, the noise component n(w, h) before defective pixel correction is obtained.
  • the filtering unit 176 filters the noise component (S509) That is, the filtering unit 176 applies the median filter to the noise component n(w, h). Filtered image data is thus obtained. Then, the difference calculator 179 calculates the difference value between the noise component and the filtered image data (S510).
  • the defect data detection unit 174 determines whether the difference value is equal to or greater than the threshold (S511). If the difference value is greater than or equal to the threshold (YES in S511), the defect data detector 174 detects defect data (S512). For example, the defect data detection unit 174 compares the difference value with the thresholds Th+ and Th-, and detects defects based on the comparison result. Then, the defect data correction unit 175 removes defective pixels from the noise component n(w, h) (S513). Thereby, the noise component n'(w, h) to which the defective pixel correction has been applied is calculated. The defective data detection unit 174 updates the defective pixel information of the defective pixel correction unit 171 (S514). Thereby, the defective pixel information of the newly detected defective pixel is added to the defective pixel correction unit 171 . Then, the defective pixel correction unit 171 accumulates defect information.
  • step S515 it is determined whether or not all pixels have been processed. If the processing of all pixels has not ended (NO in S515), the process returns to step S511. That is, the defect data detection unit 174 compares the difference value of the next pixel with the threshold to detect a new defect. If all pixels have been processed (YES in S515), the shutter control unit 150 opens the shutter 220 (S516).
  • the process returns to step S504. That is, the thermal image data acquisition unit 160 acquires thermal image data in the shutter open state (S504). Also, the image processing apparatus 100 acquires the environmental temperature measured by the temperature sensor 250 . Similarly to the above, the defective pixel correction unit 171 corrects defective pixels (S505), and the correction unit 177 performs shutterless correction (S506). Thereby, a shutterless corrected image is generated.
  • the noise component extraction unit 173 determines whether noise has been extracted (S507). Since the noise component extraction unit 173 has already extracted the noise component (YES in S507), the noise removal unit 178 removes noise from the shutterless corrected image (S517). Here, the noise removal unit 178 removes the noise component n'(w, h) from the shutterless corrected image data. In addition to previously detected defective pixels, the defective pixels detected in step S512 are corrected.
  • the system control unit 140 determines whether the system power is turned off (S518). If the system power is not turned off (NO in S518), the process returns to step S504. Here, since the noise has already been extracted, the processing is repeated in the order of steps S504, S505, S506, and S517. That is, the image processing unit 170 performs shutterless correction and noise component removal for each acquired input thermal image data. The noise component n'(w, h) in this repetition becomes common. If the system power is turned off (YES in S518), the process ends.
  • the processing in Embodiment 3 can be used in addition to the processing in Embodiment 1 or Embodiment 2.
  • the defect information may be merged.
  • the processing in the third embodiment can be performed independently of the processing in the first or second embodiment.
  • the processing of Embodiment 3 may be performed on corrected image data after shutter correction.
  • the image data to which the median filter is applied is not particularly limited.
  • the data to which the median filter is applied is not limited to image data, and the median filter may be applied to a gain table or the like. That is, the median filter can be applied not only to the image data captured by the infrared camera 200 but also to the gain table, which is the correction value used when correcting the pixel variation. In this case, a pixel address with an extremely large gain or an extremely small pixel address is detected as a defect.
  • Non-transitory computer-readable media include various types of tangible storage media. Examples of non-transitory computer-readable media include magnetic recording media (eg, flexible discs, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical discs), CD-ROMs (Read Only Memory), CD-Rs, Includes CD-R/W, semiconductor memory (eg, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).
  • magnetic recording media eg, flexible discs, magnetic tapes, hard disk drives
  • magneto-optical recording media eg, magneto-optical discs
  • CD-ROMs Read Only Memory
  • CD-Rs Includes CD-R/W
  • semiconductor memory eg, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)
  • the program may also be delivered to the computer by various types of transitory computer readable media.
  • Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves.
  • Transitory computer-readable media can deliver the program to the computer via wired channels, such as wires and optical fibers, or wireless channels.
  • Imaging system 100 image processing device 110 control IF 120 ROMs 130 RAM 140 system control unit 150 shutter control unit 160 thermal image data acquisition unit 170 image processing unit 171 defect pixel correction unit 172 NUC unit 173 noise component extraction unit 174 defect data detection unit 175 defect data correction unit 176 filter processing unit 177 correction unit 178 noise Removal unit 179 Difference calculation unit 180 Display image data output unit 200 Infrared camera 210 Lens 220 Shutter 230 Sensor 240 Transmission device 250 Temperature sensor 300 Display device

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Radiation Pyrometers (AREA)
  • Studio Devices (AREA)

Abstract

本実施の形態にかかる画像処理装置は、赤外線カメラ（２００）で撮像された熱画像データを取得する熱画像データ取得部（１６０）と、シャッタを閉じた状態の赤外線カメラ（２００）で撮像された第１の熱画像データを、赤外線カメラ（２００）の使用環境の環境温度及び予め取得された較正データに基づいて補正することで、シャッタレス補正画像データを生成する補正部（１７７）と、シャッタレス補正画像データに基づいて、経時的に変化するノイズ成分を抽出するノイズ成分抽出部（１７３）と、シャッタを開いた状態の赤外線カメラ（２００）で撮像された第２の熱画像データのノイズ成分を除去するノイズ除去部（１７８）と、を備えている。

Description

画像処理装置、画像処理方法、及びプログラム
　本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
　特許文献１、２には赤外線画像撮像装置が開示されている。特許文献１の赤外線画像撮像装置は、温度センサで測定された環境温度に基づいて、予め複数設定された補正係数データにより補正データの更新作業を行わずに画素のばらつきを補正している。特許文献２の赤外線画像撮像装置は、シャッタを閉じた状態で画像を撮像している。赤外線画像撮像装置は、この画像から応答欠陥の画素を検出している。
特開２０１０－２１６８１７号公報 特開２０１３－２４７４１６号公報
　赤外線撮像装置で用いられるマイクロボロメータ等の赤外線センサは、温度ストレス等による影響を受けて特性が経時的に変化していく。特許文献１の装置では、赤外線センサの温度ストレスなどによる経時的な特性の変化が生じた場合、赤外線センサの環境温度に対する出力特性の再現性が悪化し、適切に画素のばらつきを補正することが困難である。また、特許文献２の装置では、応答欠陥を検出しているため、欠陥を簡便に検出することが困難である。従って、適切な処理を行うことが困難となる。
　本開示は上記の点に鑑みなされたものであり、赤外線センサでの経時的な特性の変化が起こった場合でも熱画像データを適切に処理することができる画像処理装置、画像処理方法，及びプログラムを提供する。
　本実施形態にかかる画像処理装置は、赤外線カメラで撮像された熱画像データを取得する熱画像データ取得部と、シャッタを閉じた状態の前記赤外線カメラで撮像された第１の熱画像データを、前記赤外線カメラの使用環境の環境温度及び予め取得した較正データに基づいて補正することで、シャッタレス補正画像データを生成する補正部と、前記シャッタレス補正画像データに含まれる、経時的に変化するノイズ成分を抽出するノイズ成分抽出部と、前記シャッタを開いた状態の前記赤外線カメラで撮像された第２の熱画像データの前記ノイズ成分を除去するノイズ除去部と、を備えている。
　本実施形態にかかる画像処理方法は、シャッタを閉じた状態の赤外線カメラで撮像された第１の熱画像データを取得するステップと、前記赤外線カメラの使用環境の環境温度及び予め取得した較正データに基づいて、前記第１の熱画像データを補正することで、シャッタレス補正画像データを生成するステップと、前記シャッタレス補正画像データに含まれる、経時的に変化するノイズ成分を抽出するステップ、前記シャッタを開いた状態の前記赤外線カメラで撮像された第２の熱画像データのノイズ成分を除去するステップと、を備えている。
　本実施形態にかかるプログラムは、画像処理方法をコンピュータに実行させるプログラムであって、前記画像処理方法は、赤外線カメラのシャッタを閉じた状態で撮像された第１の熱画像データを取得するステップと、前記赤外線カメラの使用環境の環境温度及び予め取得した較正データに基づいて、前記第１の熱画像データを補正することで、シャッタレス補正画像データを生成するステップと、前記シャッタレス補正画像データに含まれる、経時的に変化するノイズ成分を抽出するステップと、前記シャッタを開いた状態の第２の熱画像データのノイズ成分を除去するステップと、を備えている。
　本開示によれば、赤外線カメラでの熱画像データを適切に処理することができる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
撮像システムの構成を示すブロック図である。 赤外線カメラの構成を示すブロック図である。 画像処理部の構成を示すブロック図である。 ＮＵＣ部の構成を示すブロック図である。 本実施の形態１にかかる画像処理方法を示すフローチャートである。 実施の形態２での画像処理部の構成を示すブロック図である。 ノイズ成分に表れる欠陥画素を説明するための図である。 本実施の形態２にかかる画像処理方法を示すフローチャートである。 本実施の形態２にかかる画像処理方法を示すフローチャートである。 実施の形態３での画像処理部の構成を示すブロック図である。 本実施の形態３にかかる画像処理方法を示すフローチャートである。 本実施の形態３にかかる画像処理方法を示すフローチャートである。
　以下、本発明を適用した具体的な実施形態について、図面を参照しながら詳細に説明する。ただし、本開示が以下の実施形態に限定される訳ではない。また、説明を明確にするため、以下の記載及び図面は、適宜、簡略化されている。
実施の形態１．
　本実施の形態にかかる画像処理装置、及び撮像システムについて、図１を用いて説明する。図１は、撮像システム１の構成を示すブロック図である。撮像システム１は、画像処理装置１００と赤外線カメラ２００と表示装置３００とを備えている。撮像システム１は、例えば、車両において用いられ周囲の熱画像を取得する車両用の撮像システムや、監視用途に用いられる撮像システムなどである。
　赤外線カメラ２００は、熱画像（赤外線画像）を撮像する。例えば、赤外線カメラ２００は、被写体からの遠赤外線を検出することで、熱画像を撮像する。赤外線カメラ２００は、物体から放射される遠赤外線を可視化することが可能な遠赤外線（ＦＩＲ：Far Infrared Rays）カメラである。赤外線カメラ２００で撮像した熱画像のデータを熱画像データ（又は赤外線画像データ）ともいう。熱画像データは、赤外線カメラ２００の撮像範囲の温度分布を示す。
　赤外線カメラ２００は熱画像データを、画像処理装置１００に出力する。なお、赤外線カメラ２００から画像処理装置１００に入力される熱画像データを入力熱画像データともいう。熱画像データは、赤外線カメラで撮像された熱画像データを示す。赤外線カメラ２００の構成については後述する。
　画像処理装置１００は、入力熱画像データに対して画像処理を行うことで、表示画像データを生成する。例えば、画像処理装置１００は、赤外線カメラ２００の画素ばらつきの補正や、経時的な特性の変化によって生じるノイズ除去等の各種処理を行う。このようにすることで、温度をより正確に測定することができる。
　画像処理装置１００は、画像処理が施された表示画像データを表示装置３００に出力する。なお、画像処理装置１００で画像処理が施されて、表示装置３００に出力される表示画像データを出力熱画像データともいう。つまり、入力熱画像データは画像処理装置１００による処理前のデータであり、出力熱画像データは処理後のデータである。
　表示装置３００は、表示画像データを表示するための液晶ディスプレイ等を備えている。表示装置３００は、画像処理装置１００において、画像処理が施された表示画像データを表示する。これにより、表示装置３００が、より正確な温度分布を表示することができる。
　画像処理装置１００は、制御ＩＦ（インタフェース）１１０，ＲＯＭ（Read Only Memory）１２０、ＲＡＭ（Random Access Memory）１３０、システム制御部１４０，シャッタ制御部１５０、熱画像データ取得部１６０，画像処理部１７０、表示画像データ出力部１８０を備えている。
　熱画像データ取得部１６０は、赤外線カメラ２００で撮像された熱画像データを取得する。例えば、赤外線カメラ２００からの熱画像データを入力するためのＩＦ（インターフェース）を備えている。なお、熱画像データ取得部１６０と、赤外線カメラ２００とのインタフェースは、有線接続であってもよく、無線接続であってもよい。
　ＲＯＭ１２０は、画像処理装置１００を制御するための制御プログラムや各種パラメータを格納する。例えば、ＲＯＭ１２０は、画像処理部１７０で実行される画像処理プログラムを格納している。また、ＲＯＭ１２０は、システム制御部１４０で実行されるシステム制御プログラムを格納している。
　ＲＡＭ１３０は、各種プログラムやその実行に用いるパラメータなどを格納している。さらに、画像処理部１７０の演算データ等を記憶する。
　システム制御部１４０は、撮像システム１の全体を制御する．システム制御部１４０は、ＣＰＵ（Central Processing Unit）等のプロセッサを備えている。システム制御部１４０のプロセッサが制御プログラムを実行することで、システム全体を制御することができる。
　システム制御部１４０は、シャッタ制御部１５０を備えている。シャッタ制御部１５０は、赤外線カメラ２００のシャッタの開閉を制御する。シャッタ制御部１５０は、シャッタを開閉するための制御信号を出力する。
　制御ＩＦ１１０は、赤外線カメラ２００を制御するためのインタフェースである。例えば、シャッタ制御部１５０は、制御ＩＦ１１０を介して、赤外線カメラ２００を開閉するための制御信号を出力する。また、画像処理装置１００は、制御ＩＦ１１０を介して、赤外線カメラ２００に各種の信号やデータを送信することができる。さらに、制御ＩＦ１１０は、赤外線カメラ２００からの各種の信号やデータを受信することができる。例えば、制御ＩＦ１１０は、赤外線カメラ２００の温度センサで測定された環境温度を取得する。
　画像処理部１７０は、熱画像データ取得部１６０で取得された熱画像データに対して、所定の画像処理を行う。画像処理部１７０は、画像処理プログラムを実行するためのプロセッサなどを備えていてもよい。画像処理部１７０のプロセッサは汎用プロセッサであってもよく、専用プロセッサであってもよい。画像処理部１７０のプロセッサとシステム制御部１４０のプロセッサは共通であってもよい。画像処理部１７０における処理については後述する。
　画像処理部１７０が入力熱画像データに対して画像処理を行うことで、表示画像データが生成される。表示画像データ出力部１８０は表示画像データを表示装置３００に出力するインタフェースである。
　図２は赤外線カメラ２００の詳細構成を模式的に示すブロック図である。赤外線カメラ２００は、レンズ２１０、シャッタ２２０、センサ２３０，伝送デバイス２４０，及び温度センサ２５０を備えている。
　レンズ２１０は、被写体からの遠赤外光をセンサ２３０の受光面に結像する。センサ２３０は、複数の画素を備えている。センサ２３０の各画素が被写体からの赤外光を受光する。これにより、被写体の熱画像を撮像することができる。例えば、センサ２３０は、遠赤外線を検出するためのマイクロボロメータを有している。センサ２３０は、２次元アレイ状配列された複数の画素を備えている。各画素の検出値（検出信号）が被写体の熱画像を形成する。
　伝送デバイス２４０は、画像処理装置１００に各種の信号やデータを伝送するためのインタフェースとなる。伝送デバイス２４０は、センサ２３０で撮像された熱画像データを画像処理装置１００に伝送する。また、伝送デバイス２４０は、画像処理装置１００からの制御信号を受信する。
　温度センサ２５０は、赤外線カメラの使用環境における温度を測定する。伝送デバイス２４０は、温度センサ２５０で測定された環境温度を画像処理装置１００に送信する。温度センサ２５０で測定された環境温度は後述するシャッタレス補正に用いられる。
　シャッタ２２０は、センサ２３０の前面側に配置されている。シャッタ２２０は、外部からセンサ２３０に入射する赤外光を遮る。シャッタ２２０は、開閉可能な機構を有している。シャッタ２２０は、シャッタ制御部１５０からの制御信号によって開閉する。シャッタ２２０が閉じた状態（以下、単に閉状態ともいう）では、レンズ２１０からの外光がセンサ２３０に入射しなくなる。つまり、閉状態では、シャッタ２２０からの赤外光がセンサ２３０に入射する。シャッタ２２０が開いた状態（以下、単に開状態ともいう）では、レンズ２１０からの赤外光がセンサ２３０に入射する。なお、シャッタ２２０は、センサ２３０の撮像範囲を熱的な均一面とするとすることができる。例えば，シャッタ２２０は、レンズ２１０の前面側に配置されたバリヤ又はカバーのようなものであってもよい。
　画像処理部１７０の構成について、図３を用いて説明する。図３は、画像処理部１７０の詳細構成を示すブロック図である。画像処理部１７０は、欠陥画素補正部１７１と、ＮＵＣ（Ｎｏｎ－Ｕｎｉｆｏｒｍｉｔｙ　Ｃｏｒｒｅｃｔｉｏｎ）部１７２と、ノイズ成分抽出部１７３とを備えている。画像処理部１７０は、システム制御部１４０とＲＡＭ１３０と連携し、所定の処理を実行する。
　欠陥画素補正部１７１は、ＲＡＭ１３０に予め記憶されているセンサ２３０の欠陥画素の画素値を、欠陥画素の周辺の画素における画素値から補間処理を行う。欠陥画素補正部１７１は、熱画像データ取得部１６０が取得した入力熱画像データに対して、上述の補間処理を行い、補間処理を行った画像データを、ＮＵＣ部１７２に出力する。
　ＮＵＣ（Ｎｏｎ－Ｕｎｉｆｏｒｍｉｔｙ　Ｃｏｒｒｅｃｔｉｏｎ）部１７２は、画素間の出力ばらつきを補正するための処理を行う。ＮＵＣ部１７２の詳細構成を図４に示す。ＮＵＣ部１７２は、補正部１７７とノイズ除去部１７８とを備えている。補正部１７７は、環境温度に基づいて入力熱画像データをシャッタレス補正する。
　シャッタレス補正とは、例えば、シャッタ２２０を閉じずに、センサ２３０の画素ばらつきを、環境温度に対応した複数の補正値を用いて補正するものである。シャッタレス補正では、予め取得した較正データによる補正値を用いて、センサ２３０の出力の画素ばらつきが補正される。
　センサ２３０は、環境温度に応じて温度ドリフト特性を持つため、環境温度によって画素ばらつきが変化する。したがって、赤外線カメラ２００、又は画像処理装置１００が予め複数の較正データを取得し、メモリなどに格納しておく。例えば、異なる７つの環境温度に対応した較正データが予め取得されている。予め取得されていない環境温度に対応した較正データは、予め取得されている複数の較正データを多項式などで近似した近似値を用いた補間処理で予測することができる。
　センサ２３０のセンサ出力は、環境温度に応じて画素ばらつきが変化する。よって、センサ２３０が赤外光を受光した場合、そのときの環境温度に対する画素ばらつきを、予め取得した較正データを用いて補正する。補正部１７７は、予め取得した複数の較正データに基づいて、シャッタを用いた較正を行わずに、画素ばらつきの補正を行う。このような補正を、シャッタレス補正という。
　補正部１７７によって、シャッタレス補正が施された熱画像データをシャッタレス補正画像データとする。つまり、シャッタレス補正画像データはシャッタレス補正処理が行われた熱画像データとなる。ノイズ除去部１７８は、経時変化によりセンサ特性が変化し、予め取得した較正データによる補正精度が悪化した場合にシャッタレス補正画像データに発生するノイズを除去する。ノイズ除去部１７８の処理については、後述する。
　図３の説明に戻る。ノイズ成分抽出部１７３は、入力熱画像データにおけるノイズ成分を抽出する。具体的には、ノイズ成分抽出部１７３は、シャッタ２２０が閉じた状態のシャッタレス補正画像データからノイズ成分を抽出する。ノイズ成分は、センサ２３０の温度ストレスなどにより、経時的に変化する。ノイズ除去部１７８は、ノイズ成分抽出部１７３で抽出されたノイズ成分を除去するための処理を行っている。
　補正部１７７による補正は、予め取得された較正データを用いて補正処理を行うことで、理想的には、どの環境温度においても画素ばらつきを補正することができる。しかしながら、センサ２３０は、経時的に特性が変化するため、予め取得した較正データによる補正精度が悪化した場合、シャッタレス補正画像にノイズが生じる。そこで、本実施の形態では、ノイズ成分抽出部１７３が、経時的に発生したノイズ成分を画素毎に抽出している。そして、ノイズ除去部１７８が、経時的に発生したノイズ成分を画素毎に除去している。
　以下、シャッタレス補正後の画素データをＩｓｌｅｓｓ（ｗ，ｈ）とする。ｗは、水平方向の画素アドレスであり、ｈは垂直方向の画素アドレスである。経時的な変化により発生したノイズ成分をｎ（ｗ，ｈ）とする。ｎ（ｗ，ｈ）はノイズ成分の２次元分布を示す。経時的に発生したノイズ成分を含むシャッタレス補正出力Ｉｏｕｔ（ｗ，ｈ）は以下の式（１）の通り、Ｉｓｌｅｓｓ（ｗ，ｈ）とｎ（ｗ，ｈ）の和で示される。
Ｉｏｕｔ（ｗ，ｈ）＝Ｉｓｌｅｓｓ（ｗ，ｈ）＋ｎ（ｗ，ｈ）　・・・（１）
　センサ２３０の特性は、経時変化するため、シャッタレス補正した画像データに発生するノイズ成分ｎ（ｗ，ｈ）も徐々に増加していく。したがって、シャッタレス補正した画質も経時的に劣化してしまう。また、このノイズ成分ｎ（ｗ，ｈ）には、新たに発生した欠陥画素情報も含まれる。
　閉状態におけるシャッタレス補正後の画素データをＩｓｌｅｓｓ＿Ｔ０（ｗ，ｈ）とする。Ｔ０は、閉状態において、温度センサ２５０で測定された環境温度である。つまり、Ｔ０はノイズ成分抽出処理時の環境温度である。
　ノイズ成分抽出部１７３は、全画素のＩｓｌｅｓｓ＿Ｔ０（ｗ，ｈ）の平均値を求めている。ノイズ成分抽出部１７３は、Ｉｓｌｅｓｓ＿Ｔ０（ｗ，ｈ）から平均値を減算した減算値をノイズ成分として算出する。具体的には、ノイズ成分ｎ（ｗ，ｈ）は以下の式（２）に示される。
Figure JPOXMLDOC01-appb-M000001
　なお、Ｗは水平方向の画素数であり、Ｈは垂直方向の画素数である。ＷとＨの積が熱画像データの全画素数を示す。右辺第２項がＩｓｌｅｓｓ＿Ｔ０（ｗ，ｈ）の画素平均値となる。つまり、Ｉｓｌｅｓｓ＿Ｔ０（ｗ，ｈ）の総和を全画素数（Ｗ＊ｓＨ）で除算した値が平均値となる。ノイズ成分抽出部１７３は、上記のような処理を行うことで、ノイズ成分ｎ（ｗ，ｈ）を抽出する。
　そして、ノイズ除去部１７８が開状態でのシャッタレス補正画像データに対して、ノイズ除去を行う。ノイズ除去部１７８はノイズ成分ｎ（ｗ，ｈ）に基づいて、シャッタレス補正画像データのノイズを除去する。例えば、ノイズ除去部１７８は、以下の式（３）により、シャッタレス補正画像データの画素データのノイズを除去する。
Ｉｏｕｔ（ｗ，ｈ）＝Ｉｓｌｅｓｓ＿Ｔ（ｗ，ｈ）－α＊ｎ（ｗ，ｈ）　・・・（３）
　ここで、Ｔは環境温度である。αは係数であり一定値となっている。もちろん、αは環境温度などに応じて変化する変数であってもよい。αは画素間で共通としているが、画素毎に異なっていてもよい。ここで、ノイズ除去部１７８でのノイズ除去処理が施されたシャッタレス補正画像データをノイズ除去画像データとする。つまり、ノイズ除去部１７８は、シャッタレス補正画像データに対してノイズ除去処理を行うことで、ノイズ除去画像データを生成する。
　ノイズ除去部１７８は、ノイズ除去画像データを表示画像データ出力部１８０（図１参照）に出力する。表示画像データ出力部１８０はノイズ除去画像データを出力熱画像データとして、表示装置３００に出力する。
　このようにすることで、画像処理装置１００は、入力熱画像データに生じた経時的に発生するノイズ成分を除去することができる。画像処理装置１００は、閉状態での熱画像データによりノイズ成分を抽出しているため、より精度よくノイズ成分を抽出することができる。これにより、赤外線カメラ２００の温度分布の測定精度を向上することができる。さらに、閉状態での熱画像データを撮像する毎に、ノイズ成分抽出部１７３がノイズ成分を抽出してもよい。これにより、ノイズ成分抽出部１７３が、ノイズ成分を繰り返し算出することができる。よって、画素毎に経時的な特性の変化度合いが異なる場合であっても適切に処理を行うことができる。
　さらに、補正部１７７が、閉状態で撮像された熱画像データに対してシャッタレス補正を行っている。そして、ノイズ成分抽出部１７３が、閉状態のシャッタレス補正画像データに基づいて、ノイズ成分を抽出している。これにより、センサ２３０の経時変化によって、予め取得した較正データによる補正精度が悪化した場合に発生するノイズ成分を抽出することができる。
　画像処理装置１００は、抽出されたノイズ成分をメモリなどに記憶して、ノイズ成分を除去している。簡便な処理で経時劣化によるノイズ成分を除去することができるため、処理負荷を軽減することができる。また、ノイズ成分ｎ（ｗ，ｈ）には、欠陥画素の情報も含まれる。上記のノイズ成分除去を行うことで、欠陥画素の画素データを適切に補正することができる。
　以下、本実施の形態に係る画像処理方法について図５を用いて説明する。図５は、画像処理方法を示すフローチャートである。
　まず、ユーザが撮像システム１の電源をＯＮする（Ｓ１０１）。例えば、ユーザが画像処理装置１００及び赤外線カメラ２００の電源をオンにする。シャッタ制御部１５０は、シャッタが閉じているか否かを判定する（Ｓ１０２）。シャッタ２２０が閉じていない場合（Ｓ１０２のＮＯ）、シャッタ制御部１５０がシャッタ２２０の制御信号を出して、シャッタ２２０を閉じる（Ｓ１０３）。
　シャッタ２２０が閉じている場合（Ｓ１０２のＹＥＳ）、又はステップＳ１０３でシャッタを閉じた場合、熱画像データ取得部１６０が閉状態での熱画像データを取得する（Ｓ１０４）。ここでは、赤外線カメラ２００が均一な熱画像を撮像する。また、ここでは、温度センサ２５０が環境温度を検出する。伝送デバイス２４０が、熱画像データと環境温度とを画像処理装置１００に送信する。
　欠陥画素補正部１７１が欠陥画素を補正する（Ｓ１０５）。例えば、予め登録されている欠陥画素の画素データ（画素値）を周辺画素の画素データ（画素値）で補間する。これにより、欠陥画素補正部１７１が、欠陥画素の画素データを補正することができる。補正部１７７がシャッタレス補正を行う（Ｓ１０６）。これにより、シャッタレス補正画像データが生成される。ノイズ成分抽出部１７３は、ノイズが抽出済みか否かを判定する（Ｓ１０７）。例えば、システム電源ＯＮ時に、ノイズ成分抽出部１７３がノイズ成分を抽出することができる。つまり、システム電源がＯＮとなった直後に、ノイズ成分抽出部１７３がノイズ成分を抽出する。
　ノイズが抽出済みでない場合（Ｓ１０７のＮＯ）、ノイズ成分抽出部１７３がシャッタレス補正画像データからノイズ成分を抽出する（Ｓ１０８）。つまり、ノイズ成分抽出部１７３は画素データから平均値を減算することで、ノイズ成分を算出する。上記の通り、ノイズ成分抽出部１７３は、画素毎にノイズ成分を抽出するが、複数の画素を含む領域毎にノイズ成分を抽出してもよい。
　ノイズ成分の抽出が完了すると、シャッタ制御部１５０がシャッタ２２０を開く（Ｓ１０９）。つまり、シャッタ制御部１５０が制御信号を出力して、シャッタ２２０を開く。システム電源がＯＦＦか否かを判定する（Ｓ１１０）。システム電源がＯＦＦ出ない場合（Ｓ１１０のＮＯ）、ステップＳ１０４に戻る。つまり、熱画像データ取得部１６０がシャッタ開状態の熱画像データを取得する（Ｓ１０４）。また、画像処理装置１００が、温度センサ２５０で測定された環境温度を取得する。
　上記と同様に、欠陥画素補正部１７１が欠陥画素を補正し（Ｓ１０５）、補正部１７７がシャッタレス補正を行う（Ｓ１０６）。これにより、シャッタレス補正画像が生成される。ノイズ成分抽出部１７３が、ノイズを抽出済みか否かを判定する（Ｓ１０７）。ノイズ成分抽出部１７３が既にノイズ成分を抽出しているので（Ｓ１０７のＹＥＳ）、ノイズ除去部１７８がシャッタレス補正画像のノイズを除去する（Ｓ１１１）。
　ノイズ除去部１７８がシャッタレス補正画像データからノイズ成分を除去する。ノイズ除去部１７８が、ステップＳ１０９で抽出されたノイズ成分をシャッタレス補正画像データから除去して、ノイズ除去画像データを生成する。
　システム制御部１４０が、システム電源がＯＦＦされた否かを判定する（Ｓ１１０）。システム電源がＯＦＦされていない場合（Ｓ１１０のＮＯ）、ステップＳ１０４に戻り、処理を繰り返す。つまり、画像処理部１７０は、取得された入力熱画像データ毎にシャッタレス補正とノイズ成分除去を行う。この繰り返しでのノイズ成分ｎ（ｗ，ｈ）は共通となる。システム電源がＯＦＦされた場合（Ｓ１１０のＹＥＳ）、処理を終了する。
　ノイズ成分は経時的に変化する。例えば、撮像システム１の電源がオンしたときに画像処理装置１００がノイズ成分を抽出するようにする。これにより、画像処理部１７０が適切に処理することができるため、画質の劣化を抑制することができる。経時的に変化するノイズ成分を正確に抽出することでき、温度分布の測定精度を向上することができる。
　例えば、撮像システム１は自動車などに搭載された赤外線カメラ撮像システムとすることができる。赤外線カメラ２００は、車両前方又は車両周辺を撮像する。表示装置３００、出力熱画像データを表示する。車載モニタとすることができる。この場合、自動車のエンジンが起動するタイミングで，撮像システム１のシステム電源がオンする。よって、エンジン起動のタイミング毎にノイズ成分抽出部１７３がノイズ成分を抽出することができる。
　システム電源をＯＮ直後に１度ノイズを抽出した後は、Ｓ１０７ではＹＥＳのフローでループする。よって、ノイズが抽出された後は、開状態での熱画像データが繰り返し取得される。もちろん、ノイズ成分を抽出するタイミングはシステム電源ＯＮ時に限られるものではない。例えば、前回のノイズ成分抽出から一定期間以上経過した場合に、ノイズ成分抽出部１７３がノイズ成分を抽出してもよい。あるいは、ユーザがノイズ成分の抽出を指示してもよい。
　図１では、画像処理装置１００と赤外線カメラ２００が別体として示されているが、画像処理装置１００は赤外線カメラ２００に搭載されていてもよい。また、画像処理装置１００の少なくとも一部の処理は、赤外線カメラ２００で実行されていてもよい。上記の画像処理装置１００は物理的に単一な装置に限られるものではない。よって、複数の装置が、画像処理装置１００の処理を分散して実行していてもよい。
　実施の形態２．
　実施の形態２では、実施の形態１の処理に加えて欠陥画素を検出する処理と、欠陥画素を補正する処理が追加されている。なお、これらの処理以外は実施の形態１と同様であるため適宜説明を省略する。
　図６を用いて、本実施の形態にかかる画像処理について説明する。図６は、本実施の形態にかかる画像処理装置１００の画像処理部１７０を示すブロック図である。なお、画像処理部１７０以外の構成及び処理は実施の形態１と同様である。画像処理部１７０は、実施の形態１の構成に加えて、欠陥データ検出部１７４と，欠陥データ補正部１７５を備えている。
　欠陥データ検出部１７４は新たに発生した欠陥画素を検出する。欠陥データ検出部１７４は、欠陥となる画素の画素アドレスを求め、ＲＡＭ１３０（図１参照）などに記憶されている欠陥画素の情報を更新する。または、欠陥データ検出部１７４は、検出した欠陥に応じた補正パラメータを算出して、ＲＡＭ１３０などに記録してもよい。
　欠陥データ検出部１７４による欠陥画素の検出について図７を用いて説明する。図７は、シャッタが閉状態におけるシャッタレス補正画像データを示す図である。図７は、画素アドレスに応じたノイズ成分ｎ（ｗ，ｈ）を示すプロファイルを示している。図７では、横軸が水平方向の画素アドレスｗを示し、縦軸がノイズ成分を示している。
　ノイズ成分ｎ（ｗ，ｈ）において、ノイズ成分が極端に大きくなる画素又は画素データが極端に小さくなるが画素が欠陥画素となりうる。したがって、欠陥データ検出部１７４は、ある閾値とノイズ成分ｎ（ｗ，ｈ）との比較結果に応じて、欠陥画素を検出している。例えば、欠陥データ検出部１７４は閾値Ｔｈ＋と閾値Ｔｈ－を格納している。閾値Ｔｈ＋は正の値で有り、閾値Ｔｈ－は負の値となる。
　欠陥データ検出部１７４は、ノイズ成分ｎ（ｗ，ｈ）が閾値Ｔｈ＋以上となる画素を欠陥画素として検出する。欠陥データ検出部１７４は、ノイズ成分ｎ（ｗ，ｈ）が閾値Ｔｈ－以下となる画素を欠陥画素として検出する。欠陥データ検出部１７４は、検出した欠陥画素の画素アドレスに基づいて、ＲＡＭ１３０に予め記憶された欠陥画素の情報である欠陥画素のアドレスを更新する。このようにすることで、新規に検出された欠陥の画素アドレスとその情報がＲＡＭ１３０に蓄積されている。欠陥画素の情報とは、欠陥の画素アドレスと、補間処理に用いる周辺画素を示す情報である。
　欠陥データ補正部１７５は、抽出したノイズ成分に含まれる欠陥画素のデータを除去して、ノイズ成分を更新し、ノイズ成分ｎ（ｗ，ｈ）から欠陥画素のデータを除去したノイズ成分ｎ’（ｗ，ｈ）を生成する。つまり、ノイズ成分ｎ’（ｗ，ｈ）は、ノイズ成分ｎ（ｗ，ｈ）に対して欠陥画素補正が行われた後のノイズ成分を示す。
　ＮＵＣ部１７２は、開状態の熱画像データに対して、シャッタレス補正及びノイズ除去を行う（図４参照）。補正部１７７のシャッタレス補正は実施の形態１と同様であるため、説明を省略する。ノイズ除去部１７８は、ノイズ成分ｎ’（ｗ，ｈ）を用いて、ノイズを除去する。ノイズ除去部１７８は、以下の式（４）に従ってノイズ除去する。
Ｉｏｕｔ（ｗ，ｈ）＝Ｉｓｌｅｓｓ＿Ｔ’（ｗ，ｈ）－α＊ｎ’（ｗ，ｈ）・・・（４）
　本実施の形態では、欠陥データ補正部１７５は、欠陥データ検出部１７４が検出した欠陥画素を除いたノイズ成分ｎ’（ｗ，ｈ）を算出している。そして、ノイズ除去部１７８が、欠陥画素補正が行われたｎ’（ｗ，ｈ）に基づいて、シャッタレス補正画像データのノイズ成分を除去している。このようにすることで、より適切な処理を行うことができる。
　次に、本実施の形態にかかる画像処理方法について、図８、図９を用いて説明する。図８，図９は画像処理方法を示すフローチャートである。なお、ステップＳ３０１～ステップＳ３０８までの処理は実施の形態１と同様であるため説明を省略する。ステップＳ３０１～ステップＳ３０８までの処理は図５のステップＳ１０１～Ｓ１０８までの処理と同様である。
　まず、ユーザが撮像システム１の電源をＯＮする（Ｓ３０１）。シャッタ制御部１５０は、シャッタが閉じているか否かを判定する（Ｓ３０２）。シャッタ２２０が閉じていない場合（Ｓ３０２のＮＯ）、シャッタ制御部１５０が、シャッタ２２０を閉じる（Ｓ３０３）。シャッタ２２０が閉じている場合（Ｓ３０２のＹＥＳ）、又はステップＳ３０３でシャッタを閉じた場合、熱画像データ取得部１６０が閉状態での熱画像データを取得する（Ｓ３０４）。
　欠陥画素補正部１７１が欠陥画素を補正する（Ｓ３０５）。補正部１７７がシャッタレス補正を行う（Ｓ３０６）。これにより、シャッタレス補正画像データが生成される。ノイズ成分抽出部１７３は、ノイズが抽出済みか否かを判定する（Ｓ３０７）。ノイズが抽出済みでない場合（Ｓ３０７のＮＯ）、ノイズ成分抽出部１７３がシャッタレス補正画像データからノイズ成分を抽出する（Ｓ３０８）。これにより、ノイズ成分ｎ（ｗ，ｈ）が求められる。
　欠陥データ検出部１７４が、ノイズ成分が閾値以上であるか否かを判定する（Ｓ３０９）。ノイズ成分が閾値以上の場合（Ｓ３０９のＹＥＳ）、欠陥データ検出部１７４が欠陥データを検出する（Ｓ３１０）。例えば、欠陥データ検出部１７４は、ノイズ成分と閾値Ｔｈ＋、Ｔｈ－を比較して、比較結果に基づいて、欠陥を検出する。そして、欠陥データ補正部１７５がノイズ成分ｎ（ｗ，ｈ）から欠陥画素を除去する（Ｓ３１１）。これにより、欠陥画素補正が施されたノイズ成分ｎ’（ｗ，ｈ）が算出される。欠陥データ検出部１７４は、欠陥画素補正部１７１の欠陥画素情報を更新する（Ｓ３１２）。これにより、新たに検出された欠陥画素の欠陥画素情報が、欠陥画素補正部１７１に追加される。そして、欠陥画素補正部１７１は欠陥情報を蓄積していく。
　次に、全画素処理したか否かを判定する（Ｓ３１３）。全画素の処理が終了していない場合（Ｓ３１３のＮＯ）、ステップＳ３０９に戻る。つまり、欠陥データ検出部１７４が
次の画素のノイズ成分ｎ（ｗ，ｈ）と閾値を比較して、新たな欠陥を検出する。全画素処理した場合（Ｓ３１３のＹＥＳ）、シャッタ制御部１５０が、シャッタ２２０を開く（Ｓ３１４）。
　システム電源がＯＦＦか否かを判定する（Ｓ３１６）。システム電源がＯＦＦでない場合（Ｓ３１６のＮＯ）、ステップＳ３０４に戻る。つまり、熱画像データ取得部１６０がシャッタ開状態の熱画像データを取得する（Ｓ３０４）。また、画像処理装置１００が、温度センサ２５０で測定された環境温度を取得する。上記と同様に、欠陥画素補正部１７１が欠陥画素を補正し（Ｓ３０５）、補正部１７７がシャッタレス補正を行う（Ｓ３０６）。これにより、シャッタレス補正画像が生成される。
　ノイズ成分抽出部１７３が、ノイズを抽出済みか否かを判定する（Ｓ３０７）。ノイズ成分抽出部１７３が既にノイズ成分を抽出しているので（Ｓ３０７のＹＥＳ）、ノイズ除去部１７８がシャッタレス補正画像のノイズを除去する（Ｓ３１５）。ここでは、ノイズ除去部１７８がシャッタレス補正画像データからノイズ成分ｎ’（ｗ，ｈ）を除去する。過去に検出された欠陥画素に加えて、ステップＳ３１０で検出された欠陥画素が補正される。
　システム制御部１４０が、システム電源がＯＦＦされた否かを判定する（Ｓ３１６）。システム電源がＯＦＦされていない場合（Ｓ３１６のＮＯ）、ステップＳ３０４に戻る。ここでは、ノイズ抽出済みであるため、ステップＳ３０４、Ｓ３０５，Ｓ３０６，Ｓ３１５の順で処理を繰り返す。つまり、画像処理部１７０は、取得された入力熱画像データ毎にシャッタレス補正とノイズ成分除去を行う。この繰り返しでのノイズ成分ｎ’（ｗ，ｈ）は共通となる。システム電源がＯＦＦされた場合（Ｓ３１６のＹＥＳ）、処理を終了する。
　このようにすることで、より適切に熱画像データを処理することができる。例えば、欠陥データ検出部１７４は、ノイズ成分ｎ（ｗ，ｈ）が正常な画素のノイズ成分に比べて極端に大きくなる画素又は極端に小さくなる画素を欠陥画素として検出する。欠陥データ検出部１７４は、新たに発生した欠陥画素の情報を更新する。
　欠陥データ補正部１７５は、ノイズ成分ｎ（ｗ，ｈ）から欠陥画素のデータを除外して、ノイズ成分を更新する。欠陥画素補正部１７１は、新たに発生したノイズ成分に含まれる欠陥画素のデータが除外されたノイズ成分’（ｗ，ｈ）を用いてノイズ除去を行っている。このようにすることで、シャッタレス補正画像を生成することができる。
　さらに、ノイズ成分の抽出毎に、欠陥データ検出部１７４が欠陥を検出する。そして、欠陥画素補正部１７１は欠陥画素の画素アドレスを示す欠陥情報を蓄積している。このようにすることで経時的に欠陥が増加していく場合であっても、欠陥画素補正部１７１が、欠陥情報を適切に反映させることができる。よって、より適切な処理を行うことができ、測定精度を向上することができる。
実施の形態３．
　本実施の形態では、画像処理部１７０における欠陥の検出、及び欠陥画素補正の処理が実施の形態１，２と異なっている。本実施の形態の画像処理装置について、図１０を用いて説明する。図１０は、画像処理装置１００の画像処理部１７０の構成を示すブロック図である。
　画像処理部１７０は、欠陥画素補正部１７１，ＮＵＣ部１７２，フィルタ処理部１７６，差分算出部１７９，及び欠陥データ検出部１７４を備えている。欠陥画素補正部１７１とＮＵＣ部１７２は、実施の形態１、２と同様であるため説明を省略する。
　フィルタ処理部１７６は、抽出されたノイズ成分（ｗ，ｈ）に対して、フィルタ処理を行う。具体的には、フィルタ処理部１７６は、ノイズ成分（ｗ，ｈ）に対して、メディアンフィルタを適用する。ここでは、フィルタ処理部１７６は、ピクセルサイズが３×３のメディアンフィルタを用いている。もちろん、フィルタのピクセルサイズは３×３に限定されるものではない。例えば、フィルタのピクセルサイズは、５×５であってもよい。
　メディアンフィルタは、３×３＝９画素の中央値を出力する。つまり、３×３の中心画素の画素データが中央値に置き換えられる。このようにすることでスパイクノイズを除去することができる。メディアンフィルタが適用されたノイズ成分（ｗ，ｈ）をフィルタ処理画像データとする。
　差分算出部１７９は、ノイズ成分（ｗ，ｈ）とフィルタ処理画像データの差分を算出する。ノイズ成分（ｗ，ｈ）とフィルタ処理画像データの差分値が示す画像データを差分画像データとする。ノイズ成分（ｗ，ｈ）に存在するスパイクノイズが、メディアンフィルタを適用することで、除去されている。
　差分画像データでは、スパイクノイズが抽出される。例えば、差分画像データでは、スパイクノイズ以外の部分では、差分画素データ（輝度データ）が０に近くなる。欠陥データ検出部１７４は、差分画像データの画素データを閾値Ｔｈ＋、Ｔｈ－と比較することで、欠陥を検出する。このようにすることで、欠陥の検出精度を向上することができる。
　例えば、ノイズ成分（ｗ，ｈ）は、熱画像データの四角近傍と、中央部で、均一なノイズ成分になるとは限らない。あるいは、レンズ２１０の結像性能の影響により、画素データにばらつきが生じるこのため、欠陥検出のための閾値Ｔｈ＋、Ｔｈ－を適切に設定することが困難になる。
　例えば、欠陥の検出感度を高くするため、閾値Ｔｈ＋を厳しく設定すると、熱画像データの四角近傍で欠陥を誤検出してしまう可能性が高くなる。よって、本実施の形態では、差分算出部１７９がフィルタ処理の前後の画像データの差分を算出している。欠陥データ検出部１７４は差分値から構成される差分画像データを閾値と比較して、比較結果に基づいて欠陥を検出している。このようにすることで、欠陥データ検出部１７４が、適切な閾値を設定することができるため、欠陥画素を正確に検出することができる。
　画素データを１４ビット（０～１６３８３）とする。閾値Ｔｈ＋は例えば１０００とすることができる。中心画素とその８近傍画素の中央値の画素差分が１０００以上有れば、欠陥として検出される。
　図１１、図１２は、本実施の形態にかかる画像処理方法を示すフローチャートである。本実施の形態では、実施の形態２のフローにおいて、ノイズ成分を抽出する処理（Ｓ５０８）の後に、ノイズ成分のフィルタ処理（ステップＳ５０９）と、差分値算出処理（Ｓ５１０）とが追加されている。そして、ステップＳ５１１において、差分値と閾値が比較されている。これらの以外のステップについては、実施の形態２と同様であるため、適宜説明を省略する。つまり、ステップＳ５０１～Ｓ５０８の処理は、ステップＳ３０１～Ｓ３０８の処理と同様の処理になっている。また、ステップＳ５１２～Ｓ５１８の処理は、ステップＳ３１０～Ｓ３１６の処理と同様になっている。
　まず、ユーザが撮像システム１の電源をＯＮする（Ｓ５０１）。シャッタ制御部１５０は、シャッタが閉じているか否かを判定する（Ｓ５０２）。シャッタ２２０が閉じていない場合（Ｓ５０２のＮＯ）、シャッタ制御部１５０が、シャッタ２２０を閉じる（Ｓ５０３）。シャッタ２２０が閉じている場合（Ｓ５０２のＹＥＳ）、又はステップＳ５０３でシャッタを閉じた場合、熱画像データ取得部１６０が閉状態での熱画像データを取得する（Ｓ５０４）。
　欠陥画素補正部１７１が欠陥画素を補正する（Ｓ５０５）。補正部１７７がシャッタレス補正を行う（Ｓ５０６）。これにより、シャッタレス補正画像データが生成される。ノイズ成分抽出部１７３は、ノイズが抽出済みか否かを判定する（Ｓ５０７）。ノイズが抽出済みでない場合（Ｓ５０７のＮＯ）、ノイズ成分抽出部１７３がシャッタレス補正画像データからノイズ成分を抽出する（Ｓ５０８）。これにより、欠陥画素補正が行われる前のノイズ成分ｎ（ｗ，ｈ）が求められる。
　フィルタ処理部１７６がノイズ成分をフィルタ処理する（Ｓ５０９）つまり、フィルタ処理部１７６がノイズ成分ｎ（ｗ，ｈ）にメディアンフィルタを適用する。これにより、フィルタ処理画像データが求められる。そして、差分算出部１７９がノイズ成分とフィルタ処理画像データの差分値を算出する（Ｓ５１０）。
　欠陥データ検出部１７４が、差分値が閾値以上であるか否かを判定する（Ｓ５１１）。差分値が閾値以上の場合（Ｓ５１１のＹＥＳ）、欠陥データ検出部１７４が欠陥データを検出する（Ｓ５１２）。例えば、欠陥データ検出部１７４は、差分値と閾値Ｔｈ＋、Ｔｈ－を比較して、比較結果に基づいて、欠陥を検出する。そして、欠陥データ補正部１７５がノイズ成分ｎ（ｗ，ｈ）から欠陥画素を除去する（Ｓ５１３）。これにより、欠陥画素補正が施されたノイズ成分ｎ’（ｗ，ｈ）が算出される。欠陥データ検出部１７４は、欠陥画素補正部１７１の欠陥画素情報を更新する（Ｓ５１４）。これにより、新たに検出された欠陥画素の欠陥画素情報が、欠陥画素補正部１７１に追加される。そして、欠陥画素補正部１７１は欠陥情報を蓄積していく。
　次に、全画素処理したか否かを判定する（Ｓ５１５）。全画素の処理が終了していない場合（Ｓ５１５のＮＯ）、ステップＳ５１１に戻る。つまり、欠陥データ検出部１７４が次の画素の差分値と閾値を比較して、新たな欠陥を検出する。全画素処理した場合（Ｓ５１５のＹＥＳ）、シャッタ制御部１５０が、シャッタ２２０を開く（Ｓ５１６）。
　システム電源がＯＦＦか否かを判定する（Ｓ５１８）。システム電源がＯＦＦでない場合（Ｓ５１８のＮＯ）、ステップＳ５０４に戻る。つまり、熱画像データ取得部１６０がシャッタ開状態の熱画像データを取得する（Ｓ５０４）。また、画像処理装置１００が、温度センサ２５０で測定された環境温度を取得する。上記と同様に、欠陥画素補正部１７１が欠陥画素を補正し（Ｓ５０５）、補正部１７７がシャッタレス補正を行う（Ｓ５０６）。これにより、シャッタレス補正画像が生成される。
　ノイズ成分抽出部１７３が、ノイズを抽出済みか否かを判定する（Ｓ５０７）。ノイズ成分抽出部１７３が既にノイズ成分を抽出しているので（Ｓ５０７のＹＥＳ）、ノイズ除去部１７８がシャッタレス補正画像のノイズを除去する（Ｓ５１７）。ここでは、ノイズ除去部１７８がシャッタレス補正画像データからノイズ成分ｎ’（ｗ，ｈ）を除去する。過去に検出された欠陥画素に加えて、ステップＳ５１２で検出された欠陥画素が補正される。
　システム制御部１４０が、システム電源がＯＦＦされた否かを判定する（Ｓ５１８）。システム電源がＯＦＦされていない場合（Ｓ５１８のＮＯ）、ステップＳ５０４に戻る。ここでは、ノイズ抽出済みであるため、ステップＳ５０４、Ｓ５０５，Ｓ５０６，Ｓ５１７の順で処理を繰り返す。つまり、画像処理部１７０は、取得された入力熱画像データ毎にシャッタレス補正とノイズ成分除去を行う。この繰り返しでのノイズ成分ｎ’（ｗ，ｈ）は共通となる。システム電源がＯＦＦされた場合（Ｓ５１８のＹＥＳ）、処理を終了する。
　なお、実施の形態３における処理は、実施の形態１，又は実施の形態２の処理に追加して用いることができる。例えば、実施の形態２の欠陥検出と実施の形態３の欠陥検出を両方行った上で、欠陥の情報をマージしてもよい。また、実施の形態３における処理は、実施の形態１，又は２の処理と独立して実施することも可能である。例えば、シャッタ補正後の補正画像データに対して実施の形態３の処理を行ってもよい。さらに、メディアンフィルタが適用される画像データは特に限定されるものではない。
　また、メディアンフィルタが適用されるデータは画像データに限定されるものではなく、ゲインテーブルなどにメディアンフィルタを適用してもよい。つまり、赤外線カメラ２００で撮像された画像データに限らず、画素ばらつきを補正する際に使用する補正値であるゲインテーブルにメディアンフィルタを適用することができる。この場合、ゲインが極端に大きくなっている画素アドレスや、極端に小さくなっている画素アドレスは欠陥として検出される。
　また、上述した画像処理装置１００における処理の一部又は全部は、コンピュータプログラムとして実現可能である。このようなプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。上記の実施の形態の２つ以上を適宜組み合わせることも可能である。
　この出願は、２０２１年１２月２０日に出願された日本出願特願２０２１－２０６１６８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１　撮像システム
　１００　画像処理装置
　１１０　制御ＩＦ
　１２０　ＲＯＭ
　１３０　ＲＡＭ
　１４０　システム制御部
　１５０　シャッタ制御部
　１６０　熱画像データ取得部
　１７０　画像処理部
　１７１　欠陥画素補正部
　１７２　ＮＵＣ部
　１７３　ノイズ成分抽出部
　１７４　欠陥データ検出部
　１７５　欠陥データ補正部
　１７６　フィルタ処理部
　１７７　補正部
　１７８　ノイズ除去部
　１７９　差分算出部
　１８０　表示画像データ出力部
　２００　赤外線カメラ
　２１０　レンズ
　２２０　シャッタ
　２３０　センサ
　２４０　伝送デバイス
　２５０　温度センサ
　３００　表示装置

Claims (5)

  1. 　赤外線カメラで撮像された熱画像データを取得する熱画像データ取得部と、
    　シャッタを閉じた状態の前記赤外線カメラで撮像された第１の熱画像データを、前記赤外線カメラの使用環境の環境温度及び予め取得した較正データに基づいて補正することで、シャッタレス補正画像データを生成する補正部と、
    　前記シャッタレス補正画像データに含まれる、経時的に変化するノイズ成分を抽出するノイズ成分抽出部と、
    　前記シャッタを開いた状態の前記赤外線カメラで撮像された第２の熱画像データの前記ノイズ成分を除去するノイズ除去部と、を備えた画像処理装置。
  2. 　前記ノイズ成分を閾値と比較することで、前記ノイズ成分に含まれる赤外線カメラの欠陥データを検出する欠陥データ検出部と、
    　前記欠陥データを除外して、前記ノイズ成分を更新する欠陥データ補正部と、をさらに備えた請求項１に記載の画像処理装置。
  3. 　前記ノイズ成分に対してメディアンフィルタを適用するフィルタ処理部と、
    　前記メディアンフィルタを適用する前後の画像データの差分を算出する差分算出部と、をさらに備え、
    　前記差分に基づいて，欠陥画素を検出する請求項１、又は２に記載の画像処理装置。
  4. 　シャッタを閉じた状態の赤外線カメラで撮像された第１の熱画像データを取得するステップと、
    　前記赤外線カメラの使用環境の環境温度及び予め取得した較正データに基づいて、前記第１の熱画像データを補正することで、シャッタレス補正画像データを生成するステップと、
    　前記シャッタレス補正画像データに含まれる、経時的に変化するノイズ成分を抽出するステップと、
    　前記シャッタを開いた状態の前記赤外線カメラで撮像された第２の熱画像データのノイズ成分を除去するステップと、を備えた画像処理方法。
  5. 　画像処理方法をコンピュータに実行させるプログラムであって、
    　前記画像処理方法は、
    　赤外線カメラのシャッタを閉じた状態で撮像された第１の熱画像データを取得するステップと、
    　前記赤外線カメラの使用環境の環境温度及び予め取得した較正データに基づいて、前記第１の熱画像データを補正することで、シャッタレス補正画像データを生成するステップと、
    　前記シャッタレス補正画像データに含まれる、経時的に変化するノイズ成分を抽出するステップと、
    　前記シャッタを開いた状態の第２の熱画像データのノイズ成分を除去するステップと、を備えた、プログラム。
PCT/JP2022/034500 2021-12-20 2022-09-15 画像処理装置、画像処理方法、及びプログラム Ceased WO2023119751A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-206168 2021-12-20
JP2021206168A JP2023091428A (ja) 2021-12-20 2021-12-20 画像処理装置、画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2023119751A1 true WO2023119751A1 (ja) 2023-06-29

Family

ID=86901874

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/034500 Ceased WO2023119751A1 (ja) 2021-12-20 2022-09-15 画像処理装置、画像処理方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP2023091428A (ja)
WO (1) WO2023119751A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025074066A1 (fr) * 2023-10-06 2025-04-10 Safran Electronics & Defense Méthode de correction de défauts optiques résiduels

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001124629A (ja) * 1999-10-26 2001-05-11 Nippon Avionics Co Ltd 赤外線サーモグラフィーにおける１点補正手段の自己診断装置
JP2002310804A (ja) * 2001-04-11 2002-10-23 Nec Corp 赤外線撮像装置及びドリフト補正方法
JP2004241818A (ja) * 2003-02-03 2004-08-26 Nec Corp 赤外線撮像装置の固定パターンノイズ補正方法および固定パターンノイズ補正装置
US20160065848A1 (en) * 2014-08-28 2016-03-03 Seek Thermal, Inc. Thermography for a thermal imaging camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001124629A (ja) * 1999-10-26 2001-05-11 Nippon Avionics Co Ltd 赤外線サーモグラフィーにおける１点補正手段の自己診断装置
JP2002310804A (ja) * 2001-04-11 2002-10-23 Nec Corp 赤外線撮像装置及びドリフト補正方法
JP2004241818A (ja) * 2003-02-03 2004-08-26 Nec Corp 赤外線撮像装置の固定パターンノイズ補正方法および固定パターンノイズ補正装置
US20160065848A1 (en) * 2014-08-28 2016-03-03 Seek Thermal, Inc. Thermography for a thermal imaging camera

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025074066A1 (fr) * 2023-10-06 2025-04-10 Safran Electronics & Defense Méthode de correction de défauts optiques résiduels
FR3153957A1 (fr) * 2023-10-06 2025-04-11 Safran Electronics & Defense Méthode de correction de défauts optiques résiduels

Also Published As

Publication number Publication date
JP2023091428A (ja) 2023-06-30

Similar Documents

Publication Publication Date Title
EP3621850B1 (en) Shutterless far infrared (fir) camera for automotive safety and driving systems
CN108353135B (zh) 红外线摄像装置及基于红外线摄像装置的信号校正方法
US8208026B2 (en) Systems and methods for processing infrared images
US10742913B2 (en) Shutterless calibration
US12101569B2 (en) Techniques for correcting oversaturated pixels in shutterless FIR cameras
RU2717346C2 (ru) Коррекция плохих пикселей в устройстве захвата инфракрасных изображений
JP7306408B2 (ja) 温度推定装置、温度推定方法及び温度推定プログラム
US10536626B2 (en) Infrared imaging device, fixed pattern noise calculation method, and fixed pattern noise calculation program
US8481918B2 (en) System and method for improving the quality of thermal images
WO2020241471A1 (ja) キャリブレーション方法
US10511793B2 (en) Techniques for correcting fixed pattern noise in shutterless FIR cameras
US10699386B2 (en) Techniques for scene-based nonuniformity correction in shutterless FIR cameras
WO2023119751A1 (ja) 画像処理装置、画像処理方法、及びプログラム
KR102602846B1 (ko) 적외선 화상 포착 장치의 기생 화소들의 검출
JP2016076851A (ja) 撮像装置、画像処理方法、及びプログラム
JP6251817B2 (ja) 赤外線撮像装置、画像処理方法、及び画像処理プログラム
JP2023095734A (ja) 検出システム、検出方法、及びプログラム
JP2014017724A (ja) 撮像装置
JP2010011161A (ja) 撮像装置および撮像素子測温方法
JP2007174113A (ja) 障害物検出システム及び障害物検出方法
JP2013115702A5 (ja) 撮像装置、及び撮像装置の制御方法
KR101918761B1 (ko) 적외선 열상 검출기의 불량 화소 처리 방법 및 장치
JP2024079035A (ja) 撮像システム、ぶれ検出方法、及びプログラム
US9641765B2 (en) Image capture device, image correction method, and image correction program
JP2023074749A (ja) 制御システムおよび制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22910477

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22910477

Country of ref document: EP

Kind code of ref document: A1