WO2007141858A1 - 汚れ検出方式 - Google Patents

汚れ検出方式 Download PDF

Info

Publication number
WO2007141858A1
WO2007141858A1 PCT/JP2006/311527 JP2006311527W WO2007141858A1 WO 2007141858 A1 WO2007141858 A1 WO 2007141858A1 JP 2006311527 W JP2006311527 W JP 2006311527W WO 2007141858 A1 WO2007141858 A1 WO 2007141858A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
contamination
pixel
dirt
unit
Prior art date
Application number
PCT/JP2006/311527
Other languages
English (en)
French (fr)
Inventor
Mitsuaki Fukuda
Soichi Hama
Takahiro Aoki
Toshio Endoh
Original Assignee
Fujitsu Limited
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Limited filed Critical Fujitsu Limited
Priority to EP06766500.0A priority Critical patent/EP2031557B1/en
Priority to JP2008520094A priority patent/JP4644283B2/ja
Priority to PCT/JP2006/311527 priority patent/WO2007141858A1/ja
Priority to CN2006800548522A priority patent/CN101460971B/zh
Priority to KR1020087029606A priority patent/KR101078474B1/ko
Publication of WO2007141858A1 publication Critical patent/WO2007141858A1/ja
Priority to US12/329,860 priority patent/US8098302B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor

Definitions

  • the present invention relates to a technique for detecting dirt and foreign matter adhering to the surface of an image sensor exposed to the outside of a device that captures an image used for a monitoring camera or inspection device installed at a fixed point.
  • the technique for detecting dirt and foreign matter adhering to the sensor surface described in Patent Document 1 is such that a mirror is installed so that the sensor surface of the surveillance power mela is reflected at the edge of the captured image, and the captured image is displayed as an image. By processing, it detects dirt.
  • This conventional technique has a problem in that a mirror is installed outside the sensor, resulting in an increase in the size and cost of the apparatus, and a decrease in performance as a surveillance camera due to part of the captured image being hidden.
  • the technique for detecting dirt and foreign matter adhering to the sensor surface described in Patent Document 2 drives an imaging system such as a lens diaphragm to create different shooting conditions, and takes a plurality of images. Invariant portions between images are determined as dirt or foreign matter.
  • This conventional technology increases the cost by having a movable part such as a lens diaphragm, and also does not change between multiple images. Since the portion is determined to be dirty, there is a problem that the background may be erroneously determined to be dirty because the background is not changed.
  • Patent Document 1 Japanese Patent Laid-Open No. 2001-8193
  • Patent Document 2 JP 2004-172820 A
  • the present invention automatically detects a subject to be compared by a subject region extraction unit from among images captured by an image photographing unit that has no movable system and is fixed at a fixed point, and images inside the subject. Extract regions. This prevents the background from being mistakenly judged as dirty. Also, a plurality of recent area extraction images obtained by extracting image areas inside the subject are held in the area extraction image storage unit. Then, the region extraction images held in the stain level calculation unit are compared. The contamination level calculation unit compares the stored subject area image for each pixel, and indicates a situation that is likely to occur when the contamination is attached, and the pixel stored in the contamination level storage unit. To increase the value of the degree of dirt.
  • the dirt determination unit outputs whether or not dirt is attached based on the information on the degree of dirt stored in the dirt degree storage unit, or the degree of dirt adhesion as a determination result.
  • the contamination that overlaps the subject to be captured and interferes with the processing Only can be reliably detected. Unlike the conventional technology, it is possible to prevent the background from being erroneously determined as dirty.
  • the contamination level calculation unit repeatedly compares multiple images to extract pixels with high probability of contamination, and based on the probability information, the contamination determination unit determines whether contamination has occurred. Patterns in the image that appear to be dirty at first glance from the captured image are not mistakenly judged as dirty.
  • initial setting such as taking a reference image (reference sheet or the like) in advance before operation becomes unnecessary, which is very simple. Operation can be started. The user looks at the output of the dirt judgment unit and cleans and exchanges the device. By performing replacement, etc., it is possible to prevent degradation of the performance of the monitoring device, etc. due to continued operation with dirt attached. In addition, it is possible to automatically stop the use of the device by using the judgment result, and it is possible to prevent the disadvantages caused by operating with the dirt attached.
  • FIG. 1 is a block diagram showing a configuration of a dirt detection method according to a first embodiment of the present invention.
  • FIG. 2A is a flowchart for explaining the operation of the dirt detection method according to the first embodiment of the present invention.
  • FIG. 2B is a flowchart for explaining the operation of the dirt detection method according to the first embodiment of the present invention.
  • FIG. 3 is a flowchart for explaining the conceptual operation of the dirt detection method according to the first embodiment of the present invention.
  • FIG. 4 is a graph showing an example of a contamination degree function used in the embodiment of the present invention.
  • FIG. 5 is a table for calculating the degree of contamination used in the embodiment of the present invention.
  • FIG. 6 is an explanatory diagram for calculating a contamination level with reference to the vicinity of a specific pixel used in the embodiment of the present invention.
  • FIG. 7 is a diagram for explaining a first dirt determination method performed by a dirt judgment unit according to an embodiment of the present invention.
  • FIG. 8 is a flowchart for explaining the operation of the first dirt determination method shown in FIG.
  • FIG. 9 is a diagram for explaining a second stain determination method performed by the stain determination unit according to the embodiment of the present invention.
  • FIG. 10 is a flowchart for explaining the operation of the second dirt determination method shown in FIG. 9.
  • ⁇ 11] A block diagram showing the configuration of the dirt detection method according to the second embodiment of the present invention.
  • FIG. 12A is a flowchart for explaining the operation of the dirt detection method according to the second embodiment of the present invention.
  • FIG. 12B is a flowchart for explaining the operation of the dirt detection method according to the second embodiment of the present invention.
  • FIG. 13 is a block diagram showing a configuration of a dirt detection method according to a third embodiment of the present invention.
  • FIG. 14A is a flowchart for explaining the operation of the dirt detection method according to the third embodiment of the present invention.
  • FIG. 14B is a flowchart for explaining the operation of the dirt detection method according to the third embodiment of the present invention.
  • FIG. 14C is a flowchart for explaining the operation of the dirt detection method according to the third embodiment of the present invention.
  • FIG. 15 is a block diagram showing a configuration of a dirt detection method according to a fourth embodiment of the present invention.
  • FIG. 16A is a flowchart for explaining the operation of the dirt detection method according to the fourth embodiment of the present invention.
  • FIG. 16B is a flowchart for explaining the operation of the dirt detection method according to the fourth embodiment of the present invention.
  • FIG. 17 is a flowchart for explaining an operation of a dirt degree storage initialization unit according to the fourth embodiment of the present invention.
  • FIG. 1 is a block diagram showing a configuration of a dirt detection method according to the first embodiment of the present invention.
  • the dirt detection method according to the first embodiment of the present invention includes an image photographing unit 11 that is fixed at a fixed point that does not have a movable system for monitoring or the like and always captures an image.
  • a captured image storage unit 12 for storing an image captured by the image capturing unit 11; and detecting that a target subject (for example, a vehicle) appears in the captured image stored in the captured image storage unit 12;
  • a subject region extraction unit 13 that extracts a region of a subject and generates a region extraction image, a region extraction image storage unit 14 that accumulates two or more recent photographed images extracted by the subject region extraction unit 13, and a region extraction image storage
  • the contamination level calculation unit 15 that compares the plurality of region extraction images stored in the unit 14 for each pixel and calculates the contamination level, the contamination level storage unit 16 that stores the calculated contamination level for each pixel, and the contamination level storage unit
  • a contamination determination unit 17 is provided that evaluates the contamination level of each pixel read from 16 and outputs the presence or absence of contamination or the contamination level.
  • step S 11 of FIG. 2A! The image capturing unit 11 captures the latest image I.
  • step S 12 the captured image I is stored in the captured image storage unit 12.
  • step S 13 the subject region extraction unit 13 performs image processing on the image I stored in the photographed image storage unit 12, extracts the region of the subject to be photographed, and generates a region extraction image E.
  • step S14 the extracted image E of the subject area is stored in the area extraction image storage unit 14. If there is an image already stored as the image E in the area extraction image storage unit 14, it is stored as the previous image E.
  • step S15 the smear level calculation unit 15 initializes a pixel coordinate variable ( ⁇ , ⁇ ) indicating one arbitrary pixel in the image so as to indicate the first pixel (such as the upper left corner).
  • step S16 the pixel value ⁇ of the pixel indicated by the pixel coordinate variable ( ⁇ , ⁇ ) is read out from the latest image stored in the region extraction image storage unit 14.
  • step S17 the pixel value A of the pixel indicated by the pixel coordinate variable ( ⁇ , ⁇ ) is read from the previous image E stored in the region extraction image storage unit 14.
  • step S18 based on the pixel values A and A, whether or not the pixel is contaminated
  • step S19 in FIG. 2B the pixel contamination degree ⁇ indicated by the pixel coordinate variable ( ⁇ , ⁇ ) in the contamination degree storage unit 16 is read.
  • step S20 a new contamination level ⁇ is calculated from the contamination levels ⁇ and ⁇ .
  • step S22 it is determined whether the pixel coordinate variable ( ⁇ , ⁇ ) is the last pixel force in the image, that is, whether all pixels have been processed. If all the pixels have not been processed, the process proceeds to step S23. In step S23, the pixel coordinate variable ( ⁇ , ⁇ ) is updated to point to the next pixel, and the process returns to step S16 in FIG. On the other hand, if all the pixels have been processed, the process proceeds to step S 24, and in step S 24, the stain determination unit 17 obtains a value ⁇ ⁇ that is the sum of the stain levels of all the pixels stored in the stain level storage unit 16, and the stain determination threshold value ⁇ Compare with In step S25, it is determined whether the value ⁇ is greater than the threshold value ⁇ .
  • step S26 it is determined that “dirt is adhered”, the determination result is output, and then the process ends.
  • step S27 it is determined that “dirt is not adhered” in step S27, and then the process returns to step S11 in FIG. 2A.
  • the stain degree calculation unit repeatedly compares a plurality of images to extract pixels having a high probability of stain, and based on the probability information, the stain determination unit determines whether or not the stain adheres. Patterns in the image that appear to be dirty at first glance from the captured image are not mistakenly determined as dirty.
  • initial setting such as taking a reference image (reference paper, etc.) in advance before operation becomes unnecessary, which is very simple. Operation can be started. The user can prevent the deterioration of the performance of the monitoring device and the like by continuing the operation with the dirt attached by cleaning or replacing the device by looking at the output of the dirt judgment unit. In addition, it is possible to automatically stop the use of the device by using the judgment result, and it is possible to prevent the disadvantages caused by operating with the dirt attached.
  • FIG. 3 is a flowchart for explaining the conceptual operation of the dirt detection method according to the first embodiment of the present invention described above.
  • the image capturing unit 11 is an example of a fixed point camera, and images are continuously captured by the camera, and the captured images are continuously stored in the captured image storage unit 12.
  • the subject region extraction unit 13 extracts only the subject region and stores it in the region extraction image storage unit 14.
  • only the area of the subject to be photographed is set as the target area for contamination detection, and only the 'dirt' foreign object that appears on the subject is detected, and the background image that appears around the subject is erroneously detected as a 'dirt' foreign object. I will do it in this way.
  • the degree-of-dirt calculation unit 15 compares each pixel within the region extracted from each of two or more photographed images.
  • the attached dirt is recorded in the dirt degree storage unit 16 as a candidate for dirt by utilizing the property that even if a different subject is photographed, the same pixel value appears at the same position.
  • the contamination level is not determined by a single comparison, and the contamination level is increased or decreased based on the comparison result.
  • the contamination level is P
  • the pixel value of the arbitrary coordinate (x, y) of the latest captured image is A (x, y)
  • the pixel value of the arbitrary coordinate (x, y) of the previous captured image is B (x , y)
  • the content of the function is arbitrary.
  • the absolute value of the difference in pixel values (A (x, y)-B (x, y)) is small, the degree of contamination P becomes maximum. Use a function with the characteristics shown.
  • FIG. 5 is a table for performing a stain detection filter process in which the stain level P increases when the pixel is close to black and A (x, y) and B (x, y) are close values.
  • Fig. 6 is a diagram for explaining the third method for calculating the degree of contamination.
  • the degree of contamination is judged to be large only when the central pixel has the same pixel value and is similar to the neighboring pixels.
  • the degree of contamination is judged to be large only when the central pixel has the same pixel value and is similar to the neighboring pixels.
  • the image pattern is not characteristic at the time of dirt adhesion, it is judged that the degree of dirt is small even if the surrounding patterns are similar.
  • the central pixel has the same pixel value, but if it is not the characteristic image pattern seen when the dirt is attached, the degree of dirt is judged to be small. As shown in Fig. 6 (b), if the central pixel has the same pixel value and pixels near the force are not similar, the degree of contamination is judged to be small.
  • the first dirt determination method obtains the total dirt degree of the entire image stored in the dirt degree storage unit, and the total value is determined in advance. If it exceeds the threshold P_sum_thresh! /, It is judged that dirt is attached! /. If this method is used, the sensor surface will be entirely thin, thin, or dirty. Can be determined as dirty.
  • FIG. 8 is a flow chart for explaining the first dirt determination method according to the embodiment of the present invention.
  • step S31 of FIG. 8 the total value P_sum of the smear level of the entire image is initialized.
  • step S32 a pixel coordinate variable (x, y) indicating an arbitrary pixel in the image is initialized so as to indicate the first pixel (such as the upper left corner).
  • step S33 the contamination level P (x, y) of the pixel coordinate variable (x, y) is read from the contamination level storage unit.
  • step S34 the total value P_sum of the contamination level of the entire image and the read contamination level P (x, y) are totaled, and the total value P_sum of the contamination level of the entire image is updated.
  • step S35 it is determined whether the pixel coordinate variable (x, y) is the last pixel in the image, that is, whether all pixels have been processed.
  • step S36 If all the pixels have been processed! /, If not, the process proceeds to step S36, and the pixel coordinate variable (X, y) is updated to point to the next pixel in step S36, and the process returns to step S33.
  • step S37 it is determined in step S37 whether the total value P_sum of the contamination level of the entire image exceeds the threshold value P_sum_thresh. If it exceeds the threshold value, the process proceeds to step S38. In step S38, it is determined that “dirt has adhered” and the dirt determination is terminated. On the other hand, if it does not exceed the threshold value, the process proceeds to step S39. In step S39, it is determined that “dirt is attached and V ⁇ is a defect” and the stain determination is terminated.
  • the second stain determination method sequentially checks the stain degree of the entire image stored in the stain degree storage unit, and the stain degree larger than a predetermined threshold value P_thresh.
  • a predetermined threshold value P_thresh When the number N of pixels in N is counted and the number N of pixels exceeds a predetermined threshold value N_thresh, it is determined that dirt is attached. If this determination method is used, it is possible to determine that there is a stain when there is a dark, dirty, or part that can be clearly determined as dirty. It should be noted that instead of the total number N of pixels having a degree of contamination greater than the threshold value described above, the determination may be made based on the total area of the pixels having a degree of contamination greater than the threshold value.
  • FIG. 10 is a flow chart for explaining the second dirt determination method according to the embodiment of the present invention.
  • step S41 in FIG. 10 the number N of pixels having a degree of contamination larger than the threshold value P_thresh is initialized.
  • step S42 a pixel coordinate variable (x, y) indicating an arbitrary pixel in the image is initialized so as to indicate the first pixel (such as the upper left corner).
  • step S43 the stain degree P (x, y) of the stain degree storage unit pixel coordinate variable (x, y) is read.
  • step S44 it is determined whether the degree of contamination P (x, y) is larger than the threshold value P_thresh.
  • step S44 If it is not larger than the threshold value P_thresh in the determination in step S44, the process proceeds to step S45, and the pixel coordinate variable (x, y) is updated to indicate the next pixel in step S45, and the process returns to step S43. On the other hand, if the determination in step S44 is larger than the threshold value P_thresh, the process proceeds to step S46, and the number N of pixels is incremented in step S46. In step S47, it is determined whether the pixel coordinate variable (x, y) is the last pixel force in the image, that is, whether all pixels have been processed.
  • step S45 If all pixels have been processed! / ?, return to step S45, update the pixel coordinate variable (X, y) to indicate the next pixel in step S45, and return to step S43.
  • step S48 it is determined in step S48 whether the number of pixels N exceeds a predetermined threshold value N_thresh. If it exceeds the threshold N_thresh, the process proceeds to step S49, where it is determined that “dirt is attached” in step S49, and the dirt determination is terminated. On the other hand, if it does not exceed the predetermined threshold value N_thresh, the process proceeds to step S50, and in step S50, it is determined that “dirt adheres and is a bad habit” and the stain determination is terminated.
  • the dirt determination unit determines the dirt as described above, the dirt determination unit outputs the degree of dirt adhesion along with the presence or absence of dirt adhesion. Since the dirt judgment unit outputs the presence / absence of dirt and the degree of dirt adherence, it is possible to reliably warn before judging that dirt adheres. Also, by logging them, it is possible to check changes in the sensor state.
  • FIG. 11 is a block diagram showing the configuration of the dirt detection method according to the second embodiment of the present invention.
  • the dirt detection method according to the second embodiment of the present invention includes an image capturing unit 21 that is fixed at a fixed point that does not have a movable system for monitoring or the like and always captures an image, and an image capturing unit.
  • a captured image storage unit 22 for storing images captured by the image capturing unit 21, and a target image is detected in the captured image stored in the captured image storage unit 22.
  • the region-extracted image correction unit 25 that performs luminance correction and re-accumulates in the region-extracted image storage unit 24 is compared with a plurality of region-extracted images that are accumulated by correcting the luminance in the region-extracted image storage unit 24, and the pixel
  • the degree of contamination calculation unit 26 for calculating the degree of contamination, the degree of contamination storage unit 27 for storing the calculated degree of contamination for each pixel, and the degree of contamination for each pixel read out from the degree of contamination storage unit 27 are evaluated to adhere to the contamination.
  • FIGS. 12A and 12B are flowcharts for explaining the operation of the dirt detection method according to the second embodiment of the present invention.
  • the image capturing unit 21 captures the latest image I.
  • the captured image 1a is stored in the captured image storage unit 22.
  • the subject region extraction unit 23 performs image processing on the image I stored in the photographed image storage unit 22, extracts the region of the subject that is the subject of photographing, and generates a region extraction image E.
  • the extracted image E of the subject area is stored in the area extracted image storage unit 24. If there is an image already stored as the image E in the region extraction image storage unit 24, it is stored as the previous image E. Step S5
  • the region extraction image correction unit 25 calculates the total luminance V of all the pixels of the region extraction image E, and sets all the pixels of the region extraction image to V /
  • the brightness is corrected by multiplying by V and stored again in the region extraction image storage unit 24.
  • step S56 the smear level calculation unit 26 initializes a pixel coordinate variable ( ⁇ , ⁇ ) indicating one arbitrary pixel in the image so as to indicate the first pixel (such as the upper left corner).
  • step S57 the pixel value ⁇ of the pixel indicated by the pixel coordinate variable ( ⁇ , ⁇ ) is read from the latest image ⁇ stored in the region extraction image storage unit 24.
  • step S58 the pixel value A of the pixel indicated by the pixel coordinate variable ( ⁇ , ⁇ ) is read from the previous image E stored in the region extraction image storage unit 24.
  • step S59 of FIG. 12B the pixel is contaminated based on the pixel values A and A.
  • the pixel coordinate variables ( ⁇ , ⁇ ) in the contamination degree storage unit 27 are
  • step S61 Read out the contamination level ⁇ of the indicated pixel.
  • the dirt level is changed from ⁇ ⁇ to ⁇ ⁇ .
  • step S62 the value of the degree of contamination of the pixel indicated by the pixel coordinate variable ( ⁇ , ⁇ ) in the degree-of-dirt storage unit 27 is
  • step S63 it is determined whether the pixel coordinate variable ( ⁇ , ⁇ ) is the last pixel force in the image, that is, whether all pixels have been processed. If all the pixels have not been processed, the process proceeds to step S64. In step S64, the pixel coordinate variable ( ⁇ , ⁇ ) is updated to indicate the next pixel, and the process returns to step S57 in FIG. 12A. On the other hand, if all the pixels have been processed, the process proceeds to step S65. In step S65, the stain determination unit 28 obtains a sum ⁇ ⁇ of the stain levels of all the pixels stored in the stain level storage unit 27 to obtain a stain determination threshold value. Compare with ⁇ . Step S66 determines whether the value ⁇ is greater than the threshold ⁇ th th
  • step S67 it is determined that “dirt has adhered”, the determination result is output, and then the process ends.
  • step S68 it is determined that “dirt is not adhered” in step S68, and then the process returns to step S51 in FIG. 12A.
  • the imaging condition is corrected by correcting the pixel value to be compared based on the brightness level of the region extraction image before calculating the dirt level. Even if they are not the same, it is possible to calculate an appropriate level of contamination by comparing pixels that are close to those taken under the same shooting conditions. In addition, before calculating the contamination level, the accuracy of the contamination determination is improved by lowering the contamination level of the pixels that indicate pixel values that can be determined to be clearly unaffected by contamination such as V, high brightness, and pixels. Can be improved.
  • FIG. 13 is a block diagram showing a configuration of a dirt detection method according to the third embodiment of the present invention.
  • the dirt detection method according to the third embodiment of the present invention includes an image photographing unit 31 that is fixed at a fixed point that does not have a movable system and is always photographed for monitoring or the like, and an image photographing unit.
  • a captured image storage unit 32 for storing images captured by the image pickup unit 31, and a target object is reflected in the captured image stored in the captured image storage unit 32.
  • a subject area extraction unit 33 that generates an extracted image and a plurality of recent captured images extracted by the subject area extraction unit 33 and an extraction region mask that distinguishes whether or not the pixels related to the boundary of the region extraction are within the subject region
  • the region extraction image storage unit 34 for storing information and a plurality of recent region extraction images stored in the region extraction image storage unit 34 as pixels Refers to the degree of contamination of each pixel stored in the degree-of-dirt storage unit 36 that stores the calculated degree of contamination for each pixel, the degree-of-contamination storage unit 36 that stores the calculated degree of contamination for each pixel. At this time, it is determined whether or not the pixel is in the subject region by referring to the extracted region mask information stored in the region extraction image storage unit 34. If the pixel is in the subject region, It is configured to include a dirt determination unit 37 for determining the adhesion of dirt by increasing the specific gravity of the degree of dirt of pixels.
  • FIG. 14A, FIG. 14B, and FIG. 14C are flowcharts for explaining the operation of the dirt detection method according to the third embodiment of the present invention.
  • the image capturing unit 31 captures the latest image I.
  • the photographed image I is stored in the photographed image storage unit 32.
  • the subject region extraction unit 33 performs image processing on the image I stored in the photographed image storage unit 72, extracts the subject region to be photographed, and extracts the region extraction image E and the extraction region mask information M. Generate.
  • the extracted image E of the subject area and the extracted area mask information M are stored in the area extracted image storage unit 74.
  • the image and mask information already stored as the image and mask information E ⁇ ⁇ in the region extraction image storage unit 74 are stored as the previous image and mask information ⁇ ⁇ ⁇ .
  • step S75 the smear level calculation unit 35 initializes a pixel coordinate variable ( ⁇ , ⁇ ) indicating an arbitrary pixel in the image so as to indicate the first pixel (eg, the upper left corner).
  • step S76 the pixel value ⁇ of the pixel indicated by the pixel coordinate variable ( ⁇ , ⁇ ) is read out from the latest image stored in the region extraction image storage unit 34.
  • step S77 the pixel value A of the pixel indicated by the pixel coordinate variable ( ⁇ , ⁇ ) is read from the previous image E stored in the region extraction image storage unit 34.
  • step S78 based on pixel values A and A, whether or not the pixel is contaminated
  • step S79 of FIG. 14B the pixel contamination degree ⁇ ⁇ indicated by the pixel coordinate variable ( ⁇ , ⁇ ) in the contamination degree storage unit 36 is read.
  • step S80 a new contamination level ⁇ is calculated from the contamination level, and ⁇ .
  • step S81 ⁇ is written as the value of the degree of contamination of the pixel pointed to by the pixel coordinate variable ( ⁇ , ⁇ ) in the degree-of-dirt storage unit 36.
  • step S82 the pixel coordinate variables ( ⁇ , ⁇ ) Pixels, that is, whether all pixels have been processed. If all the pixels have not been processed, the process proceeds to step S83.
  • step S83 the pixel coordinate variable ( ⁇ , ⁇ ) is updated to point to the next pixel, and the process returns to step S76 in FIG. 14A. On the other hand, if all the pixels have been processed, the process proceeds to step S84. ) To initialize.
  • step S85 the contamination level P (x, y) of the pixel coordinate variable (x, y) is read from the contamination level storage unit.
  • step S86 the extraction area mask information M (x, y) of the pixel coordinate variable (x, y) is read from the area extraction storage unit 34.
  • step S87 of FIG. 14C if the extracted area mask information M (x, y) is greater than 0, the degree of contamination P (x, y) is multiplied by a factor K to obtain a new degree of contamination P (x, y). If the extracted area mask information M (x, y) is 0, the contamination level P (x, y) is multiplied by K to obtain a new contamination level P (x, y).
  • coefficient K is a coefficient
  • step S88 it is determined whether the pixel coordinate variable (x, y) is the last pixel in the image, that is, whether all pixels have been processed. If all the pixels have not been processed, the process proceeds to step S89. In step S89, the pixel coordinate variable (x, y) is updated to indicate the next pixel, and the process returns to step S85 in FIG. 14B. On the other hand, if all pixels have been processed, the process proceeds to step S90. In step 90, the contamination level P (x, y) of all pixels is summed to calculate a value P, and the contamination determination threshold P
  • step S91 it is determined whether the value P is larger than the threshold value P. If so, proceed to step S92 and step S th
  • step S93 it is determined that “dirt is not adhered” in step S93, and then the process returns to step S71 in FIG. 14A.
  • the subject area extraction unit extracts the subject area.
  • the stain detection is not important because it does not overlap the subject such as the edge of the image. This makes it possible to focus on detection of dirt that mainly overlaps the subject rather than dirt that adheres to any part.
  • FIG. 15 is a block diagram showing a configuration of a dirt detection method according to the fourth embodiment of the present invention.
  • the dirt detection method according to the fourth embodiment of the present invention includes an image capturing unit 41 that is fixed at a fixed point that does not have a movable system for monitoring or the like and always captures an image, and an image capturing unit.
  • a captured image storage unit 42 that stores images captured by 41, and an area of the subject is detected by detecting that a target subject (for example, a vehicle) appears in the captured image stored in the captured image storage unit 42.
  • a subject area extraction unit 43 that extracts a region extraction image, a region extraction image storage unit 44 that stores two or more recent photographed images extracted by the subject region extraction unit 43, and a region extraction image storage unit 44.
  • a plurality of accumulated region extraction images are compared for each pixel to calculate a contamination level, a contamination level calculation unit 45 that stores the calculated contamination level for each pixel, and a contamination level storage unit 46 that reads the calculated contamination level.
  • the timer 49 is configured to output a periodic timer output to the contamination degree storage initialization unit 48.
  • FIG. 16A and FIG. 16B are flowcharts for explaining the operation of the dirt detection method according to the fourth embodiment of the present invention.
  • the image capturing unit 41 captures the latest image I.
  • the captured image I is stored in the captured image storage unit 42.
  • the subject region extraction unit 43 performs image processing on the image I stored in the photographed image storage unit 42, extracts the region of the subject to be photographed, and generates a region extraction image E.
  • the extracted image E of the subject area is stored in the area extracted image storage unit 44. If there is an image already stored as the image E in the area extraction image storage unit 44, it is stored as the previous image E.
  • step S105 it is checked whether or not the contamination level storage unit 46 is locked. After confirming that 6 is not locked, proceed to Step S106.
  • step S106 the dirt storage unit 46 is locked.
  • the smear level calculation unit 45 initializes a pixel coordinate variable ( ⁇ , ⁇ ) indicating an arbitrary pixel in the image so as to indicate the first pixel (such as the upper left corner).
  • step S108 the pixel value ⁇ of the pixel indicated by the pixel coordinate variable ( ⁇ , ⁇ ) is also read out from the latest image receptive force stored in the region extraction image storage unit 44.
  • step S109 the pixel coordinate is changed from the previous image E stored in the region extraction image storage unit 44.
  • step S110 of FIG. 16B based on the pixel values A and A, the pixel is soiled.
  • the degree of contamination P is a function of the pixel values A and A.
  • step S111 F (A, A)
  • step S111 the pixel coordinate variable ( ⁇ , ⁇ ) in the dirt storage unit 46
  • step S112 Read out the pixel contamination level ⁇ ⁇ indicated by.
  • step S 113 ⁇ is written as the contamination level value of the pixel indicated by the pixel coordinate variable ( ⁇ , ⁇ ) in the contamination level storage unit 46.
  • step S114 it is determined whether the pixel coordinate variable ( ⁇ , ⁇ ) is the last pixel force in the image, that is, whether all pixels have been processed. If all the pixels have not been processed, the process proceeds to step S115. In step S115, the pixel coordinate variable ( ⁇ , ⁇ ) is updated to point to the next pixel, and the process returns to step S108 in FIG. On the other hand, if all pixels have been processed, the process proceeds to step S116, where V is determined in step S116, and the stain determination unit 47 obtains a value ⁇ ⁇ that is the sum of the stain levels of all the pixels stored in the stain level storage unit 46, Compare with the dirt judgment threshold ⁇ . In step S117, the dirt storage unit 46 th
  • step SI 18 it is determined whether the value P is larger than the threshold value P. Large th
  • step S119 determines that “dirt is attached” in step S119, output the determination result, and then terminate the processing.
  • the process proceeds to step S120, where it is determined in step S120 that “dirt is not adhered”, and then the process returns to step S101 in FIG. 16A.
  • FIG. 17 is a diagram illustrating a flowchart for explaining the operation of the contamination degree storage initializing unit according to the fourth embodiment of the present invention.
  • FIG. I based on the assumption that the timer 49 is started by a periodic timer output.
  • step S121 it is confirmed whether or not the contamination degree storage unit 46 is locked by determining whether or not the contamination degree storage unit 46 is locked, and the process proceeds to step S122.
  • step S122 the contamination degree storage unit 46 is locked.
  • step S123 the contamination level values of all the pixels in the contamination level storage unit 46 are initialized to zero.
  • step S124 the mouth of the dirt storage unit 46 is released. As a result, the dirty degree memory initialization operation is completed.
  • the stored content of the stain level storage unit is periodically initialized, and as a result of continuing the processing for a long time, the stain level It is possible to prevent illegal information from remaining in the storage unit and to maintain the accuracy of the dirt determination.
  • the force explaining the application in the usage of the tangle monitoring device is not limited to this application, and can be applied in various fields such as a product inspection device and a biometric authentication device using an image sensor. It is.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　可動系を持たず定点に固定した画像撮影部で撮影した撮影画像の中から被写体領域抽出部で比較の対象とする被写体を自動的に検出し、その被写体内側の画像領域を抽出する。被写体内側の画像領域を抽出した最近の複数の領域抽出画像を領域抽出画像記憶部で保持する。そして汚れ度算出部で保持した領域抽出画像を比較する。汚れ度算出部では、保持した被写体領域画像を画素毎に比較し、汚れが付着した際に生じる可能性の高い状況を示している場合に、汚れ度記憶部に記憶されているその画素の汚れ度の値を上げ、逆の場合は汚れ度記憶部に記憶されているその画素の汚れ度の値を下げる処理を行う。画像を撮影する度に被写体領域抽出と汚れ度算出を行い、汚れ度記憶部の情報を更新する。汚れ判定部では、汚れ度記憶部に格納された汚れ度の情報をもとに汚れが付着しているかどうか、あるいは、汚れの付着の度合いを判定結果として出力する。

Description

明 細 書
汚れ検出方式
技術分野
[0001] 本発明は、定点に設置した監視カメラや検査装置などに使用される画像を撮影す る装置の外部に露出したイメージセンサ表面に付着した汚れや異物の検出技術に 関するものである。
背景技術
[0002] 監視カメラや検査装置の用途においては、イメージセンサの性能の範囲において 可能な限り鮮明な画像を撮影することが重要である。しかし、装置の外部に露出した センサ表面に付着した汚れや異物は鮮明な画像撮影の障害となり、そのような条件 で撮影した画像を用いて処理を行うと装置の誤動作などにつながる可能性がある。
[0003] 製造物の検査装置などで、同じ形状の物体を撮影する場合は、予め以前に撮影し た基準画像と比較することによって、異なった映り方をしている部分があれば、それは 汚れや異物の混入と判断することができるが、異なる形状の物体を検査する場合は、 予め撮影した基準画像との比較はできない。また、汚れ検出のために定期的に同じ 基準画像を撮影して比較する場合は、同じ基準画像を撮影するための時間や手間 が必要であり、また基準画像の撮影ができな ヽ用途ではこの方法をとることはできな い。
[0004] また特許文献 1に記載されたセンサ表面に付着した汚れや異物の検出技術は、監 視力メラのセンサ表面が撮影画像の端に映りこむ様に鏡を設置し、その撮影画像を 画像処理することによって汚れ'異物を検出するものである。この従来技術は、センサ 外に鏡を設置するため装置の大型化やコストアップにつながり、また、撮影画像の一 部が隠れることによる監視カメラとしての性能低下も招くという課題があった。
[0005] また特許文献 2に記載されたセンサ表面に付着した汚れや異物の検出技術は、レ ンズゃ絞りなど撮像系を駆動して異なる撮影条件を作り出して複数画像を撮影し、そ の複数画像間の不変部分を汚れや異物と判定するものである。この従来技術は、レ ンズゃ絞り等の可動部を持つことでコストアップとなり、また複数画像間における不変 部分を汚れと判定するため、本来汚れではな 、背景を不変部分であるとして誤って 汚れと判定してしまう可能性があるという課題があった。
特許文献 1：特開 2001-8193号公報
特許文献 2：特開 2004-172820号公報
発明の開示
[0006] 本発明は、可動系を持たず定点に固定した画像撮影部で撮影した撮影画像の中 から被写体領域抽出部で比較の対象とする被写体を自動的に検出し、その被写体 内側の画像領域を抽出する。これによつて誤って背景などを汚れと誤判定することを 抑止する。また被写体内側の画像領域を抽出した最近の複数の領域抽出画像を領 域抽出画像記憶部で保持する。そして汚れ度算出部で保持した領域抽出画像を比 較する。汚れ度算出部では、保持した被写体領域画像を画素毎に比較し、汚れが付 着した際に生じる可能性の高い状況を示している場合に、汚れ度記憶部に記憶され て 、るその画素の汚れ度の値を上げる処理を行う。汚れではな ヽと 、う可能性の高 い状況を示した場合は、逆に汚れ度記憶部に記憶されているその画素の汚れ度の 値を下げる処理を行う。このようにして、画像を撮影する度に被写体領域抽出と汚れ 度算出を行い、汚れ度記憶部の情報を更新する。最終的に汚れ判定部では、汚れ 度記憶部に格納された汚れ度の情報をもとに汚れが付着しているかどうか、あるいは 、汚れの付着の度合いを判定結果として出力する。
[0007] 本発明によれば、複数の撮影画像の画素値を比較する前に、各撮影画像中の被 写体領域抽出を行うことによって、撮影したい被写体に重なって処理の妨害となる汚 れだけを確実に検出することができるようになる。従来技術と異なり背景などを誤って 汚れと判定することを防止できる。また汚れ度算出部は複数画像の比較を繰り返して 汚れの確率の高 ヽ画素を抽出し、その確率情報を元に汚れ判定部で汚れ付着かど うかを判定するようにしているので、 1枚の撮影画像からは一見して汚れに見えてしま うような画像中の模様を誤って汚れと判定することがない。
[0008] さらに、本発明によれば、従来技術と異なり、運用の前に予め基準画像 (基準紙な ど)を撮影しておくという様な初期設定 (キャリブレーション)が不要となり、非常に簡単 に運用を開始することができる。ユーザは汚れ判定部の出力を見て装置の清掃や交 換などを行うことによって、汚れが付着したまま運用を続けることによる監視装置など の性能の低下などを防止することができる。また、判定結果を用いて装置の使用を自 動的に停止することも可能で、汚れが付着したまま運用することによるデメリットを防 止することができる。
[0009] また従来技術と異なり、汚れ検出専用のハードウ アが不要であり、かつ撮像系を 機械的に駆動して異なる撮影条件を設定する必要がなぐ駆動部の無い装置で異 物を検出することが可能となり、駆動系を持つことによるメンテナンス作業の人手及び 手間を削減することができるので従来技術よりも低コストィ匕が可能である。
図面の簡単な説明
[0010] [図 1]本発明の第 1の実施形態に係る汚れ検出方式の構成を示すブロック図である。
[図 2A]本発明の第 1の実施形態に係る汚れ検出方式の動作を説明するためのフロ 一チャートである。
[図 2B]本発明の第 1の実施形態に係る汚れ検出方式の動作を説明するためのフロ 一チャートである。
[図 3]本発明の第 1の実施形態に係る汚れ検出方式の概念的動作を説明するための 流れ図である。
[図 4]本発明の実施形態で用いる汚れ度関数の一例を示すグラフである。
[図 5]本発明の実施形態で用いる汚れ度を算出する表である。
[図 6]本発明の実施形態で用いる特定画素の近傍を参照して汚れ度を算出する説明 図である。
[図 7]本発明の実施形態に係る汚れ判定部で実施する第 1の汚れ判定方法を説明 するための図である。
[図 8]図 7に示した第 1の汚れ判定方法の動作を説明するためのフローチャートである
[図 9]本発明の実施形態に係る汚れ判定部で実施する第 2の汚れ判定方法を説明 するための図である。
[図 10]図 9に示した第 2の汚れ判定方法の動作を説明するためのフローチャートであ る。 圆 11]本発明の第 2の実施形態に係る汚れ検出方式の構成を示すブロック図である
[図 12A]本発明の第 2の実施形態に係る汚れ検出方式の動作を説明するためのフロ 一チャートである。
[図 12B]本発明の第 2の実施形態に係る汚れ検出方式の動作を説明するためのフロ 一チャートである。
[図 13]本発明の第 3の実施形態に係る汚れ検出方式の構成を示すブロック図である
[図 14A]本発明の第 3の実施形態に係る汚れ検出方式の動作を説明するためのフロ 一チャートである。
[図 14B]本発明の第 3の実施形態に係る汚れ検出方式の動作を説明するためのフロ 一チャートである。
[図 14C]本発明の第 3の実施形態に係る汚れ検出方式の動作を説明するためのフロ 一チャートである。
[図 15]本発明の第 4の実施形態に係る汚れ検出方式の構成を示すブロック図である
[図 16A]本発明の第 4の実施形態に係る汚れ検出方式の動作を説明するためのフロ 一チャートである。
[図 16B]本発明の第 4の実施形態に係る汚れ検出方式の動作を説明するためのフロ 一チャートである。
[図 17]本発明の第 4の実施形態に係る汚れ度記憶初期化部の動作を説明するため のフローチャートである。 発明を実施するための最良の形態
以下、本発明の実施形態を、図面を参照しながら詳細に説明する。
[第 1の実施形態]
図 1は、本発明の第 1の実施形態に係る汚れ検出方式の構成を示すブロック図で ある。図 1において本発明の第 1の実施形態に係る汚れ検出方式は、監視などの目 的で可動系を持たず常に画象を撮影し続ける定点に固定した画像撮影部 11と、画 像撮影部 11が撮影した画像を記憶する撮影画像記憶部 12と、撮影画像記憶部 12 が記憶した撮影画像の中に目的の被写体 (例えば車両等）が映って ヽることを検出し て前記被写体の領域を抜き出し領域抽出画像を生成する被写体領域抽出部 13と、 被写体領域抽出部 13が領域抽出した最近の 2枚以上の撮影画像を蓄積する領域 抽出画像記憶部 14と、領域抽出画像記憶部 14に蓄積された複数の領域抽出画像 を画素毎に比較し汚れ度を算出する汚れ度算出部 15と、算出した汚れ度を画素毎 に記憶する汚れ度記憶部 16と、汚れ度記憶部 16から読み出された画素毎の汚れ度 を評価して汚れ付着の有無または汚れ度合いを出力する汚れ判定部 17を備えて構 成される。
[0012] 図 2Aおよび図 2Bは、本発明の第 1の実施形態に係る汚れ検出方式の動作を説明 するためのフローチャートを示す図である。図 2Aのステップ S 11にお!/、て画像撮像 部 11は最新の画像 Iを撮影する。次にステップ S 12では撮影した画像 Iを撮影画像 記憶部 12に保存する。ステップ S 13では被写体領域抽出部 13が撮影画像記憶部 1 2に保存した画像 Iを画像処理して、撮影対象である被写体の領域を抜き出して、領 域抽出画像 Eを生成する。ステップ S14では抜き出した被写体領域の画像 Eを、領 域抽出画像記憶部 14に保存する。既に領域抽出画像記憶部 14に画像 Eとして記 憶されている画像が有れば、それは 1つ前の画像 Eとして保存する。
2
[0013] ステップ S 15では汚れ度算出部 15が画像の中の任意の 1画素を指し示す画素座 標変数 (Χ,Υ)を、最初の画素 (左上端など)を示す様に初期化する。ステップ S16では 領域抽出画像記憶部 14に記憶されている最新の画像 Εカゝら画素座標変数 (Χ,Υ)が 指す画素の画素値 Αを読み出す。ステップ S 17では領域抽出画像記憶部 14に記 憶されている 1回前の画像 Eから画素座標変数 (Χ,Υ)が指す画素の画素値 Aを読み
2 2 出す。ステップ S18では画素値 A， Aを元に、その画素に汚れが付着しているかどう
1 2
かを示す汚れ度 Pを算出する。汚れ度 Pは、画素値 A , Aの関数として、 P =F (A , A )と表せる。
1 2
[0014] 図 2Bのステップ S19では汚れ度記憶部 16の画素座標変数 (Χ,Υ)が示す画素の汚 れ度 Ρを読み出す。ステップ S20では汚れ度 Ρ , Ρから、新たな汚れ度 Ρを算出す
2 1 2 3 る。汚れ度 Ρは、汚れ度 Ρ , Ρの関数として、 P =G (P , P )と表すことができる。そ してステップ S21では汚れ度記憶部 16の画素座標変数 (Χ,Υ)が指す画素の汚れ度 の値として、 Ρを書き込む。
3
[0015] ステップ S22では画素座標変数 (Χ,Υ)は画像中の最後の画素力、すなわち全画素 処理したか、を判定する。全画素処理していなければステップ S23に進み、ステップ S23で画素座標変数 (Χ,Υ)を次の画素を指す様に更新し、図 2Αのステップ S16に戻 る。一方、全画素処理していればステップ S 24に進み、ステップ S24において、汚れ 判定部 17は汚れ度記憶部 16に記憶された全画素の汚れ度を合計した値 Ρを求め、 汚れ判定閾値 Ρ と比較する。ステップ S25では値 Ρが閾値 Ρ より大きいかを判定す
th th
る。大きければ、ステップ S26に進み、ステップ S26において「汚れが付着している」と 判定し、判定結果を出力し、その後で処理を終了する。一方、大きくなければ、ステツ プ S27に進み、ステップ S27において「汚れが付着していない」と判定し、その後、図 2Aのステップ S 11に戻る。
[0016] このように本発明の第 1の実施形態に係る汚れ検出方式によれば、複数の撮影画 像の画素値を比較する前に、各撮影画像中の被写体領域抽出を行うことによって、 撮影したい被写体に重なって処理の妨害となる汚れだけを確実に検出することがで きるようになる。従来技術と異なり背景などを誤って汚れと判定することを防止できる。 また汚れ度算出部は複数画像の比較を繰り返して汚れの確率の高い画素を抽出し、 その確率情報を元に汚れ判定部で汚れ付着力、どうかを判定するようにして 、るので、 1枚の撮影画像からは一見して汚れに見えてしまうような画像中の模様を誤って汚れ と判定することがない。
[0017] さらに、本発明によれば、従来技術と異なり、運用の前に予め基準画像 (基準紙な ど)を撮影しておくという様な初期設定 (キャリブレーション)が不要となり、非常に簡単 に運用を開始することができる。ユーザは汚れ判定部の出力を見て装置の清掃や交 換などを行うことによって、汚れが付着したまま運用を続けることによる監視装置など の性能の低下などを防止することができる。また、判定結果を用いて装置の使用を自 動的に停止することも可能で、汚れが付着したまま運用することによるデメリットを防 止することができる。
[0018] また従来技術と異なり、汚れ検出専用のハードウェアが不要であり、かつ撮像系を 機械的に駆動して異なる撮影条件を設定する必要がなぐ駆動部の無い装置で異 物を検出することが可能となり、駆動系を持つことによるメンテナンス作業の人手及び 手間を削減することができるので従来技術よりも低コストィ匕が可能である。
[0019] 図 3は、上述した本発明の第 1の実施形態に係る汚れ検出方式の概念的動作を説 明するための流れ図である。本図では、画像撮影部 11が定点固定カメラの例で、該 カメラで画像を撮影し続けて、撮影した画像を撮像画像記憶部 12に蓄積し続ける。 目的の被写体が車両であるとして被写体領域抽出部 13は被写体領域だけを抽出処 理し、領域抽出画像記憶部 14に記憶する。本実施形態では撮影対象とする被写体 の領域だけを汚れ検出の対象領域とし、被写体に重なって映る汚れ'異物だけを検 出し、被写体の周囲に映って 、る背景画像を汚れ'異物と誤検出しな 、ようにして ヽ る。
[0020] 汚れ度算出部 15は、 2枚以上の撮影画像の中でそれぞれ抽出された領域内にお いて画素毎に比較する。付着した汚れは異なる被写体を写した場合でも同じ位置に 同じ画素値で映る性質を利用して、画素値が等しい画素を汚れ候補として汚れ度記 憶部 16に記録する。この際に単に 1回の比較で汚れ付着と判定せず、比較結果を 踏まえて汚れ度の上げ下げを行う。この様な画像の比較を何回も繰り返すことによつ て、各画素における汚れ度が徐々に収束し、本当の汚れの部位の汚れ度は高くなり 、汚れでない部分の汚れ度は低くなる。これによつて、対象とする被写体が比較的似 た画像であって汚れ ·異物以外の部分で似た画素値を持つ領域が有った場合でも、 多くの画像の比較結果を累積することで、汚れ'異物以外の画素部分は相殺され汚 れ度が低くなるが、本当の汚れ'異物の画素は汚れ度が高くなるため、誤検出を防ぐ ことができる。
[0021] ここで本発明の実施形態に係る汚れ度の算出法について説明する。本実施形態に お!、ては、以下に示す幾つかの汚れ度算出法を用いることができる。
(第 1の汚れ度算出法）
汚れ度を P、最新の撮影画像の任意座標 (x,y)の画素値を A(x,y)、 1つ前の撮影画 像の任意座標 (x,y)の画素値を B(x,y)としたとき、汚れ度 Pは、
P = F (A(x,y), B(x,y)) という関数によって汚れ度を算出する。
[0022] 関数の中身は任意である力 画素値の差 (A(x,y)— B(x,y))の絶対値が小さい時に 、汚れ度 Pが最大となる、例えば、図 4に示す様な特性を持つ関数を用いる。
(第 2の汚れ度算出法）
最新の撮影画像の任意座標 (x,y)の画素値 A(x,y)および 1つ前の撮影画像の任意 座標 (x,y)の画素値 B(x,y)をそれぞれ縦軸、横軸の値として、図 5に示す様な表を参 照し、その値を汚れ度 Pの値として用いる（図 5の表中に無い場合は近傍の値を基に 補間し、その補間値を汚れ度の値とする)。図 5は、画素が黒に近ぐかつ、 A(x,y),B( x,y)が近い値の場合に汚れ度 Pが大きくなる様な汚れ検出フィルタ処理を行う表であ る。
[0023] (第 3の汚れ度算出法）
図 6は、第 3の汚れ度算出法を説明する図であり、最新の撮影画像の任意座標 (x,y )の汚れ度を算出するにあたって、その座標 (x,y)の画素値だけではなぐ座標 (x,y)の 近傍の画素値も用いて、汚れ度 Pを算出する。その場合、図 6 (a)に示されるように、 中心画素が同じ画素値で、近傍の画素も含めて似ている時にのみ、汚れ度が大と判 断する。また、図 6 (c)に示されるように、汚れ付着時に特徴的な画像パターンではな いときは、周囲のパターンが似ていても汚れ度は小と判断する。すなわち、中心画素 は同じ画素値だが、周囲も含めて見ると汚れ付着時に見られる特徴的な画像パター ンではないときには汚れ度は小と判断する。なお、図 6 (b)に示されるように、中心画 素は同じ画素値だ力 近傍の画素は似ていない時は、汚れ度は小と判断する。
[0024] つぎに本発明の実施形態に係る汚れ判定部で実施する汚れ判定方法につ!ヽて説 明する。本実施形態においては、以下に示す幾つかの汚れ判定方法を採ることがで きる。
(第 1の汚れ判定方法）
本発明の実施形態に係る第 1の汚れ判定方法は、図 7に示すように、汚れ度記憶 部に記憶された画像全体の汚れ度の合計を求め、その合計値があら力じめ決められ た閾値 P_sum_threshを上回って!/ヽれば、汚れが付着して!/、ると判定するものである。 この判定方法を用いれば、センサ表面に全体的に薄 、あるいは細力 、汚れが付着し た場合に汚れと判定することができる。
[0025] 図 8は、本発明の実施形態に係る第 1の汚れ判定方法を説明するためのフローチ ヤートである。図 8のステップ S31では画像全体の汚れ度の合計値 P_sumを初期化す る。次 、でステップ S32では画像の中の任意の 1画素を指し示す画素座標変数 (x,y) を、最初の画素 (左上端など)を示す様に初期化する。ステップ S33では汚れ度記憶 部から画素座標変数 (x,y)の汚れ度 P(x,y)を読み出す。ステップ S34では画像全体の 汚れ度の合計値 P_sumと読み出した汚れ度 P(x,y)の総計し、画像全体の汚れ度の合 計値 P_sumを更新する。ステップ S35では画素座標変数 (x,y)は画像中の最後の画素 カゝ、すなわち全画素処理したか、を判定する。
[0026] 全画素処理して!/、なければ、ステップ S36に進み、ステップ S36で画素座標変数 (X ,y)を次の画素を指す様に更新してステップ S33に戻る。一方、全画素処理していれ ば、ステップ S37に進み、ステップ S37で画像全体の汚れ度の合計値 P_sumが閾値 P_sum_threshを上回っているかを判定する。閾値を上回っていれば、ステップ S38に 進み、ステップ S38で「汚れが付着している」と判定して汚れ判定を終了する。一方、 閾値を上回っていなければ、ステップ S39に進み、ステップ S39で「汚れが付着して Vヽな ヽ」と判定して汚れ判定を終了する。
[0027] (第 2の汚れ判定方法）
本発明の実施形態に係る第 2の汚れ判定方法は、図 9に示すように、汚れ度記憶 部に記憶された画像全体の汚れ度を順に調べ、予め決めた閾値 P_threshよりも大き な汚れ度になっている画素の数 Nを数えて、その画素数 Nが予め決められた閾値 N_ threshを上回っていれば、汚れが付着していると判定する。この判定方法を用いれば 、濃 、汚れや明確に汚れと判断できる部分がある場合に汚れと判定することができる 。なお、上述した閾値よりも大きな汚れ度になっている画素の総数 Nに代えて、閾値 よりも大きな汚れ度になって 、る画素の総面積で判定するようにしても良 、。
[0028] 図 10は、本発明の実施形態に係る第 2の汚れ判定方法を説明するためのフローチ ヤートである。図 10のステップ S41では閾値 P_threshよりも大きな汚れ度になっている 画素の数 Nを初期化する。次いでステップ S42では画像の中の任意の 1画素を指し 示す画素座標変数 (x,y)を、最初の画素 (左上端など)を示す様に初期化する。ステツ プ S43では汚れ度記憶部力 画素座標変数 (x,y)の汚れ度 P(x,y)を読み出す。ステツ プ S44では汚れ度 P(x,y)が閾値 P_threshよりも大きいかを判定する。
[0029] ステップ S44の判定で閾値 P_threshよりも大きくなければ、ステップ S45に進み、ス テツプ S45で画素座標変数 (x,y)を次の画素を示す様に更新しステップ S43に戻る。 一方、ステップ S44の判定で閾値 P_threshよりも大きければ、ステップ S46に進み、ス テツプ S46で画素の数 Nをインクリメントする。次!、でステップ S47では画素座標変数 (x,y)は画像中の最後の画素力、すなわち全画素処理したか、を判定する。
[0030] 全画素処理して!/、なければ、ステップ S45に戻り、ステップ S45で画素座標変数 (X, y)を次の画素を示す様に更新しステップ S43に戻る。一方、全画素処理していれば、 ステップ S48に進み、ステップ S48で画素数 Nが予め決めた閾値 N_threshを上回つ ているかを判定する。閾値 N_threshを上回っていれば、ステップ S49に進み、ステツ プ S49で「汚れが付着している」と判定して汚れ判定を終了する。一方、予め決めた 閾値 N_threshを上回っていなければ、ステップ S50に進み、ステップ S50で「汚れが 付着して ヽな ヽ」と判定して汚れ判定を終了する。
[0031] このように汚れ判定部は上記のようにして汚れを判定した上で、汚れ判定部は、汚 れの付着の有無とともに汚れの付着の度合いを出力する。汚れ判定部が汚れの付 着の有無及び汚れの付着の度合 、を出力するので、確実に汚れ付着と判定する前 に警告することができる。またそれらをログ記録することでセンサの状態変化をチエツ クすることち可會となる。
[第 2の実施形態]
図 11は、本発明の第 2の実施形態に係る汚れ検出方式の構成を示すブロック図で ある。図 11において本発明の第 2の実施形態に係る汚れ検出方式は、監視などの目 的で可動系を持たず常に画象を撮影し続ける定点に固定した画像撮影部 21と、画 像撮影部 21が撮影した画像を記憶する撮影画像記憶部 22と、撮影画像記憶部 22 が記憶した撮影画像の中に目的の被写体が映って!/、ることを検出して前記被写体の 領域を抜き出し領域抽出画像を生成する被写体領域抽出部 23と、被写体領域抽出 部 23が領域抽出した最近の 2枚以上の撮影画像を蓄積する領域抽出画像記憶部 2 4と、領域抽出画像全画素の輝度合計を算出して、予め設定した輝度基準に合致す るように輝度補正し領域抽出画像記憶部 24に再蓄積する領域抽出画像補正部 25と 、領域抽出画像記憶部 24に輝度補正して蓄積された複数の領域抽出画像を比較し 画素毎に汚れ度を算出する汚れ度算出部 26と、算出した汚れ度を画素毎に記憶す る汚れ度記憶部 27と、汚れ度記憶部 27から読み出された画素毎の汚れ度を評価し て汚れ付着の有無または汚れ度合いを出力する汚れ判定部 28を備えて構成される
[0032] 図 12Aおよび図 12Bは、本発明の第 2の実施形態に係る汚れ検出方式の動作を 説明するためのフローチャートを示す図である。図 12Aのステップ S51において画像 撮像部 21は最新の画像 Iを撮影する。次にステップ S52では撮影した画像 1ェを撮影 画像記憶部 22に保存する。ステップ S53では被写体領域抽出部 23が撮影画像記 憶部 22に保存した画像 Iを画像処理して、撮影対象である被写体の領域を抜き出し て、領域抽出画像 Eを生成する。ステップ S54では抜き出した被写体領域の画像 E を、領域抽出画像記憶部 24に保存する。既に領域抽出画像記憶部 24に画像 Eとし て記憶されている画像が有れば、それは 1つ前の画像 Eとして保存する。ステップ S5
2
5では領域抽出画像補正部 25において、領域抽出画像 Eの全画素の輝度合計 V を算出し、予め決めた基準輝度 Vに合致するように、領域抽出画像の全画素を V /
0 0
V倍して輝度補正を行って、領域抽出画像記憶部 24に再び保存する。
[0033] ステップ S56では汚れ度算出部 26が画像の中の任意の 1画素を指し示す画素座 標変数 (Χ,Υ)を、最初の画素 (左上端など)を示す様に初期化する。ステップ S57では 領域抽出画像記憶部 24に記憶されている最新の画像 Εから画素座標変数 (Χ,Υ)が 指す画素の画素値 Αを読み出す。ステップ S58では領域抽出画像記憶部 24に記 憶されている 1回前の画像 Eから画素座標変数 (Χ,Υ)が指す画素の画素値 Aを読み
2 2 出す。
[0034] 図 12Bのステップ S59では画素値 A , Aを元に、その画素に汚れが付着している
1 2
かどうかを示す汚れ度 Pを算出する。汚れ度 Pは、画素値 Aの関数として、 P =F (A , A )と表せる。ステップ S60では汚れ度記憶部 27の画素座標変数 (Χ,Υ)が
1 2
示す画素の汚れ度 Ρを読み出す。ステップ S61では汚れ度 Ρ , Ρから、新たな汚れ
2 1 2
度 Ρを算出する。汚れ度 Ρは、汚れ度 Ρ , Ρの関数として、 P =G (P , P )と表すこ とができる。そしてステップ S62では汚れ度記憶部 27の画素座標変数 (Χ,Υ)が指す 画素の汚れ度の値として、 Ρ
3を書き込む。
[0035] ステップ S63では画素座標変数 (Χ,Υ)は画像中の最後の画素力、すなわち全画素 処理したか、を判定する。全画素処理していなければステップ S64に進み、ステップ S64で画素座標変数 (Χ,Υ)を次の画素を指す様に更新し、図 12Aのステップ S57に 戻る。一方、全画素処理していればステップ S65に進み、ステップ S65において、汚 れ判定部 28は汚れ度記憶部 27に記憶された全画素の汚れ度を合計した値 Ρを求 め、汚れ判定閾値 Ρ と比較する。ステップ S66では値 Ρが閾値 Ρ より大きいかを判 th th
定する。大きければ、ステップ S67に進み、ステップ S67において「汚れが付着してい る」と判定し、判定結果を出力し、その後で処理を終了する。一方、大きくなければ、 ステップ S68に進み、ステップ S68において「汚れが付着していない」と判定し、その 後、図 12Aのステップ S51に戻る。
[0036] このように本発明の第 2の実施形態に係る汚れ検出方式によれば、汚れ度算出の 前に領域抽出画像の輝度の高低により比較する画素値を補正することによって、撮 影条件が同じでなくても同じ撮影条件で撮影したのに近い画素比較を行うことにより 適切な汚れ度の算出を行うことができる。また汚れ度算出の前に領域抽出画像につ V、て輝度の高 、画素など明確に汚れによる影響ではな 、と断定できる画素値を示す 画素の汚れ度を下げるようにして汚れ判定の精度を向上させることができる。
[第 3の実施形態]
図 13は、本発明の第 3の実施形態に係る汚れ検出方式の構成を示すブロック図で ある。図 13において本発明の第 3の実施形態に係る汚れ検出方式は、監視などの目 的で可動系を持たず常に画象を撮影し続ける定点に固定した画像撮影部 31と、画 像撮影部 31が撮影した画像を記憶する撮影画像記憶部 32と、撮影画像記憶部 32 が記憶した撮影画像の中に目的の被写体が映って!/、ることを検出し前記被写体の 領域を抜き出して領域抽出画像を生成する被写体領域抽出部 33と、被写体領域抽 出部 33が領域抽出した複数の最近の撮影画像と領域抽出の境界に係る画素が被 写体領域内かどうかを区別する抽出領域マスク情報を蓄積する領域抽出画像記憶 部 34と、領域抽出画像記憶部 34に蓄積された複数の最近の領域抽出画像を画素 毎に比較し汚れ度を算出する汚れ度算出部 35と、算出した汚れ度を画素毎に記憶 する汚れ度記憶部 36と、汚れ度記憶部 36に記憶される各画素の汚れ度を参照する 際に、領域抽出画像記憶部 34に記憶された抽出領域マスク情報を参照することによ つて、当該画素が被写体領域内かどうかを判定し、当該画素が被写体領域内である 場合には、当該画素の汚れ度の比重を高くして汚れの付着を判定する汚れ判定部 3 7を備えて構成される。
[0037] 図 14A、図 14Bおよび図 14Cは、本発明の第 3の実施形態に係る汚れ検出方式の 動作を説明するためのフローチャートを示す図である。図 14Aのステップ S71におい て画像撮像部 31は最新の画像 Iを撮影する。次にステップ S72では撮影した画像 I を撮影画像記憶部 32に保存する。ステップ S73では被写体領域抽出部 33が撮影画 像記憶部 72に保存した画像 Iを画像処理して、撮影対象である被写体の領域を抜 き出して、領域抽出画像 Eと抽出領域マスク情報 Mを生成する。ステップ S74では 抜き出した被写体領域の画像 Eと抽出領域マスク情報 Mを、領域抽出画像記憶部 74に保存する。既に領域抽出画像記憶部 74に画像とマスク情報 E ·Μとして記憶 されていた画像とマスク情報は 1つ前の画像とマスク情報 Ε ·Μとして保存する。
2 2
[0038] ステップ S75では汚れ度算出部 35が画像の中の任意の 1画素を指し示す画素座 標変数 (Χ,Υ)を、最初の画素 (左上端など)を示す様に初期化する。ステップ S76では 領域抽出画像記憶部 34に記憶されている最新の画像 Εカゝら画素座標変数 (Χ,Υ)が 指す画素の画素値 Αを読み出す。ステップ S77では領域抽出画像記憶部 34に記 憶されている 1回前の画像 Eから画素座標変数 (Χ,Υ)が指す画素の画素値 Aを読み
2 2 出す。ステップ S78では画素値 A， Aを元に、その画素に汚れが付着しているかどう
1 2
かを示す汚れ度 Pを算出する。汚れ度 Pは、画素値 A , Aの関数として、 P =F (A , A )と表せる。
1 2
[0039] 図 14Bのステップ S79では汚れ度記憶部 36の画素座標変数 (Χ,Υ)が示す画素の 汚れ度 Ρを読み出す。ステップ S80では汚れ度 Ρ , Ρから、新たな汚れ度 Ρを算出
2 1 2 3 する。汚れ度 Ρは、汚れ度 Ρ , Ρの関数として、 P =G (P , P )と表すことができる。
3 1 2 3 1 2 そしてステップ S81では汚れ度記憶部 36の画素座標変数 (Χ,Υ)が指す画素の汚れ 度の値として、 Ρを書き込む。ステップ S82では画素座標変数 (Χ,Υ)は画像中の最後 の画素か、すなわち全画素処理したか、を判定する。全画素処理していなければス テツプ S83に進み、ステップ S83で画素座標変数 (Χ,Υ)を次の画素を指す様に更新 し、図 14Aのステップ S76に戻る。一方、全画素処理していればステップ S84に進み 、ステップ S84において、汚れ判定部 37は画像の中の任意の 1画素を指し示す画素 座標変数 (x,y)を、最初の画素 (左上端など)を示す様に初期化する。そしてステップ S85では汚れ度記憶部 36から画素座標変数 (x,y)の汚れ度 P(x,y)を読み出す。また ステップ S86では領域抽出記憶部 34から画素座標変数 (x,y)の抽出領域マスク情報 M(x,y)を読み出す。
[0040] 図 14Cのステップ S87では抽出領域マスク情報 M(x,y)が 0より大ならば、汚れ度 P( x,y)を係数 K倍して新たな汚れ度 P(x,y)とし、また抽出領域マスク情報 M(x,y)が 0で あれば、汚れ度 P(x,y)を K倍して新たな汚れ度 P(x,y)とする。ただし、係数 Kは係数
2 1
Kよりも大であるとし、両係数 Κ , Kは 1と 0の間にあるものとする。つまりステップ S8
2 1 2
7では、画素座標変数 (x,y)の抽出領域マスク情報 M(x,y)が 0より大である場合、すな わち被写体領域の境界に係る画素が被写体領域内である場合は、当該画素座標変 数 (x,y)の汚れ度の比重を画素座標変数 (x,y)の抽出領域マスク情報 M(x,y)が 0である 場合、すなわち被写体領域の境界に係る画素が被写体領域内でない場合よりも高く して汚れ度を評価する。
[0041] ステップ S88では画素座標変数 (x,y)は画像中の最後の画素か、すなわち全画素 処理したか、を判定する。全画素処理していなければステップ S89に進み、ステップ S89で画素座標変数 (x,y)を次の画素を指す様に更新し、図 14Bのステップ S85に戻 る。一方、全画素処理していればステップ S 90に進み、ステップ 90では全画素の汚 れ度 P(x,y)を合計して値 Pを算出し、汚れ判定閾値 P
thと比較する。ステップ S91では 値 Pが閾値 P より大きいかを判定する。大きければ、ステップ S92に進み、ステップ S th
92において「汚れが付着している」と判定し、判定結果を出力し、その後で処理を終 了する。一方、大きくなければ、ステップ S93に進み、ステップ S93において「汚れが 付着していない」と判定し、その後、図 14Aのステップ S71に戻る。
[0042] このように本発明の第 3の実施形態に係る汚れ検出方式によれば、汚れ判定部で 汚れが付着していると判定する際に、被写体領域抽出部で被写体領域として抽出し た画素の汚れ度を、被写体領域外の画素の汚れ度よりも重視して、汚れ判定の際に 重みを掛けて汚れ判定を行うことで、画像の端など被写体に重ならずあまり重要でな い部分に付着した汚れではなく主に被写体に重なる汚れを重視して検出することが でさるよう〖こなる。
[第 4の実施形態]
図 15は、本発明の第 4の実施形態に係る汚れ検出方式の構成を示すブロック図で ある。図 15において本発明の第 4の実施形態に係る汚れ検出方式は、監視などの目 的で可動系を持たず常に画象を撮影し続ける定点に固定した画像撮影部 41と、画 像撮影部 41が撮影した画像を記憶する撮影画像記憶部 42と、撮影画像記憶部 42 が記憶した撮影画像の中に目的の被写体 (例えば車両等）が映って ヽることを検出し て前記被写体の領域を抜き出し領域抽出画像を生成する被写体領域抽出部 43と、 被写体領域抽出部 43が領域抽出した最近の 2枚以上の撮影画像を蓄積する領域 抽出画像記憶部 44と、領域抽出画像記憶部 44に蓄積された複数の領域抽出画像 を画素毎に比較し汚れ度を算出する汚れ度算出部 45と、算出した汚れ度を画素毎 に記憶する汚れ度記憶部 46と、汚れ度記憶部 46から読み出された画素毎の汚れ度 を評価して汚れ付着の有無または汚れ度合 ヽを出力する汚れ判定部 47と、タイマー 49により起動され定期的に汚れ度記憶部 46の記憶された全画素の汚れ度情報を初 期化する汚れ度記憶初期化部 48と、定期的なタイマー出力を汚れ度記憶初期化部 48に出力するタイマー 49を備えて構成される。
[0043] 図 16Aおよび図 16Bは、本発明の第 4の実施形態に係る汚れ検出方式の動作を 説明するためのフローチャートを示す図である。図 16Aのステップ S101において画 像撮像部 41は最新の画像 Iを撮影する。次にステップ S102では撮影した画像 Iを 撮影画像記憶部 42に保存する。ステップ S103では被写体領域抽出部 43が撮影画 像記憶部 42に保存した画像 Iを画像処理して、撮影対象である被写体の領域を抜 き出して、領域抽出画像 Eを生成する。ステップ S104では抜き出した被写体領域の 画像 Eを、領域抽出画像記憶部 44に保存する。既に領域抽出画像記憶部 44に画 像 Eとして記憶されている画像が有れば、それは 1つ前の画像 Eとして保存する。
1 2
[0044] ステップ S 105では汚れ度記憶部 46がロックされて 、るかを調べ、汚れ度記憶部 4 6がロックされていないことを確認してステップ S 106に進む。ステップ S 106では汚れ 度記憶部 46をロックする。これらの動作に関連する汚れ度記憶部 46の初期化動作 については図 17で詳述する。そしてステップ S 107では汚れ度算出部 45が画像の 中の任意の 1画素を指し示す画素座標変数 (Χ,Υ)を、最初の画素 (左上端など）を示 す様に初期化する。ステップ S108では領域抽出画像記憶部 44に記憶されている最 新の画像 Ε力も画素座標変数 (Χ,Υ)が指す画素の画素値 Αを読み出す。ステップ S 109では領域抽出画像記憶部 44に記憶されている 1回前の画像 Eから画素座標変
2
数 (Χ,Υ)が指す画素の画素値 Aを読み出す。
2
[0045] 図 16Bのステップ S110では画素値 A， Aを元に、その画素に汚れが付着してい
1 2
るかどうかを示す汚れ度 Pを算出する。汚れ度 Pは、画素値 A , Aの関数として、 P
1 1 1 2
=F (A , A )と表せる。ステップ S 111では汚れ度記憶部 46の画素座標変数 (Χ,Υ)
1 1 2
が示す画素の汚れ度 Ρを読み出す。ステップ S 112では汚れ度 Ρ , Ρから、新たな
2 1 2
汚れ度 Ρを算出する。汚れ度 Ρは、汚れ度 Ρ , Ρの関数として、 P =G (P , P )
3 3 1 2 3 1 2と 表すことができる。そしてステップ S 113では汚れ度記憶部 46の画素座標変数 (Χ,Υ) が指す画素の汚れ度の値として、 ρを書き込む。
3
[0046] ステップ S114では画素座標変数 (Χ,Υ)は画像中の最後の画素力、すなわち全画素 処理したか、を判定する。全画素処理していなければステップ S115に進み、ステツ プ S 115で画素座標変数 (Χ,Υ)を次の画素を指す様に更新し、図 16Αのステップ S 1 08に戻る。一方、全画素処理していればステップ S116に進み、ステップ S 116にお Vヽて、汚れ判定部 47は汚れ度記憶部 46に記憶された全画素の汚れ度を合計した 値 Ρを求め、汚れ判定閾値 Ρ と比較する。またステップ S 117では汚れ度記憶部 46 th
のロックを解除する。ステップ SI 18では値 Pが閾値 P より大きいかを判定する。大き th
ければ、ステップ S119に進み、ステップ S119において「汚れが付着している」と判定 し、判定結果を出力し、その後で処理を終了する。一方、大きくなければ、ステップ S 120に進み、ステップ S 120において「汚れが付着していない」と判定し、その後、図 1 6Aのステップ S 101に戻る。
[0047] 図 17は、本発明の第 4の実施形態に係る汚れ度記憶初期化部の動作を説明する ためのフローチャートを示す図である。図 17においてまず汚れ度記憶初期化部 48 は、タイマー 49の定期的なタイマー出力により起動されることを前提としている。そし てステップ S121では汚れ度記憶部 46がロックされているかを判定することにより汚 れ度記憶部 46がロックされて ヽな 、ことを確認してステップ S 122に進む。ステップ S 122では汚れ度記憶部 46をロックする。そしてステップ S 123では汚れ度記憶部 46 の全画素の汚れ度の値を 0に初期化する。ステップ S 124では汚れ度記憶部 46の口 ックを解除する。これにより汚れ度記憶初期化の動作を終了する。
[0048] このように本発明の第 4の実施形態に係る汚れ検出方式によれば、定期的に汚れ 度記憶部の記憶内容を初期化することで、長期にわたって処理を続けた結果として 汚れ度記憶部に不正な情報が残り続けてしまうことを防止し、汚れ判定の精度を保 つことができる。
産業上の利用可能性
[0049] 上記ではもつばら監視装置における用途での適用を説明した力 これへの適用に 限定されず、画像センサを用いる製造物の検査装置、生体認証装置などでの多方 面での適用も可能である。

Claims

請求の範囲
[1] 可動系を持たず常に画象を撮影し続ける定点に固定した画像撮影部と、該画像撮 影部が撮影した画像を記憶する撮影画像記憶部と、該撮影画像記憶部が記憶した 撮影画像の中に目的の被写体が映って 、ることを検出して前記被写体の領域を抜き 出し領域抽出画像を生成する被写体領域抽出部と、該被写体領域抽出部が領域抽 出した複数の最近の撮影画像を蓄積する領域抽出画像記憶部と、前記領域抽出画 像記憶部に蓄積された前記複数の最近の領域抽出画像を画素毎に比較し汚れの 可能性を示す汚れ度を算出する汚れ度算出部と、算出した汚れ度を画素毎に記憶 する汚れ度記憶部と、該汚れ度記憶部から読み出した画素毎の汚れ度を評価して 汚れの付着を判定する汚れ判定部を備えることを特徴とする汚れ検出方式。
[2] 前記汚れ判定部で汚れが付着して!/ヽると判定する際に、画像全体の前記汚れ度の 総計があらかじめ設定した閾値を超えたかどうかで判定を行うことを特徴とする請求 項 1に記載の汚れ検出方式。
[3] 前記汚れ判定部で汚れが付着していると判定する際に、前記汚れ度があらかじめ 設定した閾値を超えて汚れであると確定可能な画素の総量で判定を行うことを特徴と する請求項 1に記載の汚れ検出方式。
[4] 前記汚れ度算出部が各画素の汚れ度を算出する際に、前記複数の最近の領域抽 出画像の同じ位置の画素を比較して、画素値が近!、場合にその画素の汚れ度を上 げ、画素値が離れて ヽる場合にその画素の汚れ度を下げる処理を行うことを特徴と する請求項 1に記載の汚れ検出方式。
[5] 前記汚れ度算出部は、着目画素の周辺部の画素値との比較によって汚れである確 率の高い画素を検出する汚れ検出フィルタを備え、前記汚れ検出フィルタの出力が 高い場合にその画素の汚れ度を上げ、前記汚れ検出フィルタの出力が小さい場合 にその画素の汚れ度を下げる処理を行うことを特徴とする請求項 1に記載の汚れ検 出方式。
[6] 可動系を持たず常に画象を撮影し続ける定点に固定した画像撮影部と、該画像撮 影部が撮影した画像を記憶する撮影画像記憶部と、該撮影画像記憶部が記憶した 撮影画像の中に目的の被写体が映って 、ることを検出して前記被写体の領域を抜き 出し領域抽出画像を生成する被写体領域抽出部と、該被写体領域抽出部が領域抽 出した複数の最近の撮影画像を蓄積する領域抽出画像記憶部と、蓄積された前記 領域抽出画像全画素の輝度合計を算出して、予め設定した輝度基準に合致するよう に輝度補正し前記領域抽出画像記憶部に再蓄積する領域抽出画像補正部と、前記 領域抽出画像記憶部に輝度補正して蓄積された前記複数の最近の領域抽出画像 を画素毎に比較し汚れの可能性を示す汚れ度を算出する汚れ度算出部と、算出し た前記汚れ度を画素毎に記憶する汚れ度記憶部と、該汚れ度記憶部から読み出し た画素毎の汚れ度を評価して汚れの付着を判定する汚れ判定部を備えることを特徴 とする汚れ検出方式。
[7] 前記汚れ度算出部が各画素の汚れ度を算出する際に、輝度の高い画素など明確 に汚れではないと断定できる画素値を示す画素の汚れ度を下げることを特徴とする 請求項 6に記載の汚れ検出方式。
[8] 可動系を持たず常に画象を撮影し続ける定点に固定した画像撮影部と、該画像撮 影部が撮影した画像を記憶する撮影画像記憶部と、該撮影画像記憶部が記憶した 撮影画像の中に目的の被写体が映って 、ることを検出し前記被写体の領域を抜き 出して領域抽出画像を生成する被写体領域抽出部と、該被写体領域抽出部が領域 抽出した複数の最近の撮影画像と領域抽出の境界に係る画素が被写体領域内かど うかを区別する抽出領域マスク情報を蓄積する領域抽出画像記憶部と、該領域抽出 画像記憶部に蓄積された前記複数の最近の領域抽出画像を画素毎に比較し汚れ の可能性を示す汚れ度を算出する汚れ度算出部と、算出した前記汚れ度を画素毎 に記憶する汚れ度記憶部と、該汚れ度記憶部に記憶される各画素の汚れ度を参照 する際に、前記領域抽出画像記憶部に記憶された前記抽出領域マスク情報を参照 することによって、当該画素が被写体領域内かどうかを判定し、当該画素が被写体領 域内である場合には、当該画素の汚れ度の比重を高くして汚れの付着を判定する汚 れ判定部を備えることを特徴とする汚れ検出方式。
[9] 前記汚れ度記憶部の記憶内容を初期化する汚れ度記憶初期化手段を備え、該汚 れ度記憶初期化手段を定期的に起動して前記汚れ度記憶部の記憶内容を初期化 することを特徴とする請求項 1ないし 8のいずれかに記載の汚れ検出方式。 前記汚れ判定部は汚れ判定結果として汚れの付着の有無とともに汚れの付着の度 合 、を出力することを特徴とする請求項 1な 、し 9の 、ずれかに記載の汚れ検出方 式。
PCT/JP2006/311527 2006-06-08 2006-06-08 汚れ検出方式 WO2007141858A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP06766500.0A EP2031557B1 (en) 2006-06-08 2006-06-08 Uncleanness detecting device
JP2008520094A JP4644283B2 (ja) 2006-06-08 2006-06-08 汚れ検出方式
PCT/JP2006/311527 WO2007141858A1 (ja) 2006-06-08 2006-06-08 汚れ検出方式
CN2006800548522A CN101460971B (zh) 2006-06-08 2006-06-08 污物检测装置
KR1020087029606A KR101078474B1 (ko) 2006-06-08 2006-06-08 오염 검출 장치
US12/329,860 US8098302B2 (en) 2006-06-08 2008-12-08 Stain detection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2006/311527 WO2007141858A1 (ja) 2006-06-08 2006-06-08 汚れ検出方式

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/329,860 Continuation US8098302B2 (en) 2006-06-08 2008-12-08 Stain detection system

Publications (1)

Publication Number Publication Date
WO2007141858A1 true WO2007141858A1 (ja) 2007-12-13

Family

ID=38801130

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/311527 WO2007141858A1 (ja) 2006-06-08 2006-06-08 汚れ検出方式

Country Status (6)

Country Link
US (1) US8098302B2 (ja)
EP (1) EP2031557B1 (ja)
JP (1) JP4644283B2 (ja)
KR (1) KR101078474B1 (ja)
CN (1) CN101460971B (ja)
WO (1) WO2007141858A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010016650A (ja) * 2008-07-03 2010-01-21 Canon Inc 撮像装置及びその制御方法及びプログラム
EP3493111A1 (en) 2017-12-01 2019-06-05 Fujitsu Limited Biometric image processing apparatus, method and program
CN111275022A (zh) * 2020-03-19 2020-06-12 山东宜佳成新材料有限责任公司 基于遗忘因子型经验模态分解的污渍检测分析方法及应用
WO2020175589A1 (ja) * 2019-02-27 2020-09-03 ダイキン工業株式会社 情報提供システム
JP2021052233A (ja) * 2019-09-20 2021-04-01 株式会社デンソーテン 付着物検出装置および付着物検出方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2287807A1 (en) 2009-07-21 2011-02-23 Nikon Corporation Image processing device, image processing program, and imaging device
JP2011078047A (ja) * 2009-10-02 2011-04-14 Sanyo Electric Co Ltd 撮像装置
US9295415B2 (en) 2010-03-04 2016-03-29 Nec Corporation Foreign object determination device, foreign object determination method and foreign object determination program
JP5953658B2 (ja) 2011-05-25 2016-07-20 ソニー株式会社 ロボット制御装置及びロボット装置の制御方法、コンピューター・プログラム、プログラム記憶媒体、並びにロボット装置
JP2014011785A (ja) * 2012-07-03 2014-01-20 Clarion Co Ltd 車載カメラ汚れ除去装置の診断装置、診断方法及び車両システム
US9726883B2 (en) * 2012-07-27 2017-08-08 Nissan Motor Co., Ltd Three-dimensional object detection device and foreign matter detection device
JP6102213B2 (ja) 2012-11-22 2017-03-29 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US10823592B2 (en) 2013-09-26 2020-11-03 Rosemount Inc. Process device with process variable measurement using image capture device
US11076113B2 (en) 2013-09-26 2021-07-27 Rosemount Inc. Industrial process diagnostics using infrared thermal sensing
US10638093B2 (en) * 2013-09-26 2020-04-28 Rosemount Inc. Wireless industrial process field device with imaging
CN105389577A (zh) * 2014-08-25 2016-03-09 中兴通讯股份有限公司 一种污物的检测方法、装置及终端
US10914635B2 (en) 2014-09-29 2021-02-09 Rosemount Inc. Wireless industrial process monitor
KR101672116B1 (ko) * 2015-02-02 2016-11-02 울산대학교 산학협력단 세차시스템 장치 및 그 세차 방법
CN104867159B (zh) * 2015-06-05 2018-04-10 北京大恒图像视觉有限公司 一种数字相机传感器污点检测及分级方法与装置
US10311314B2 (en) 2016-11-23 2019-06-04 Ford Global Technologies, Llc Detection of lane-splitting motorcycles
CN106803252A (zh) * 2017-01-16 2017-06-06 广东容祺智能科技有限公司 一种输电线路塔号牌污浊定位与自动检测方法
US10290158B2 (en) 2017-02-03 2019-05-14 Ford Global Technologies, Llc System and method for assessing the interior of an autonomous vehicle
US10509974B2 (en) * 2017-04-21 2019-12-17 Ford Global Technologies, Llc Stain and trash detection systems and methods
US10304165B2 (en) 2017-05-12 2019-05-28 Ford Global Technologies, Llc Vehicle stain and trash detection systems and methods
US10803264B2 (en) 2018-01-05 2020-10-13 Datamax-O'neil Corporation Method, apparatus, and system for characterizing an optical system
US10795618B2 (en) 2018-01-05 2020-10-06 Datamax-O'neil Corporation Methods, apparatuses, and systems for verifying printed image and improving print quality
US10546160B2 (en) 2018-01-05 2020-01-28 Datamax-O'neil Corporation Methods, apparatuses, and systems for providing print quality feedback and controlling print quality of machine-readable indicia
US10834283B2 (en) 2018-01-05 2020-11-10 Datamax-O'neil Corporation Methods, apparatuses, and systems for detecting printing defects and contaminated components of a printer
CN109936676B (zh) * 2019-03-29 2020-12-18 富士施乐实业发展（中国）有限公司 一种用于复合机的输稿器的控制方法及装置
CN109862202B (zh) * 2019-03-29 2021-11-30 富士施乐实业发展（中国）有限公司 一种用于复合机的输稿器的控制方法及装置
CN110166769B (zh) * 2019-06-27 2020-10-02 信利光电股份有限公司 检测摄像模组输出错位的方法、装置、系统及存储介质
KR102157005B1 (ko) * 2019-12-12 2020-09-16 주식회사 제이시스 영상 필터링 기법을 적용한 딥러닝 결과영상의 정확성 향상방법
CN111739012A (zh) * 2020-06-30 2020-10-02 重庆盛泰光电有限公司 基于转盘的摄像头模组白斑检测系统
KR20220006895A (ko) * 2020-07-09 2022-01-18 현대자동차주식회사 자동차 및 그를 위한 실내 청결 관리 방법
CN111812341A (zh) * 2020-07-22 2020-10-23 英华达（上海）科技有限公司 自动化设备检测系统和检测自动化设备内部运作的方法
CN113458072B (zh) * 2021-07-06 2022-01-18 广东固特超声股份有限公司 一种智能终端控制的眼镜超声波清洗方法及清洗机

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202998A (ja) * 1995-01-31 1996-08-09 Isuzu Motors Ltd 車線逸脱警報装置
JP2001008193A (ja) 1999-06-24 2001-01-12 Secom Co Ltd 画像センサ
JP2002094978A (ja) * 2000-09-18 2002-03-29 Toyota Motor Corp レーン検出装置
JP2003259358A (ja) * 2002-03-06 2003-09-12 Nissan Motor Co Ltd カメラの汚れ検出装置およびカメラの汚れ検出方法
JP2004172820A (ja) 2002-11-19 2004-06-17 Minolta Co Ltd 撮像装置
JP2005117262A (ja) * 2003-10-06 2005-04-28 Fujitsu Ltd レンズの汚れ判定方法及び装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60124783A (ja) 1983-12-10 1985-07-03 Meidensha Electric Mfg Co Ltd 画像処理装置
JPH11195121A (ja) 1997-12-29 1999-07-21 Canon Inc 画像評価装置および方法
JP2002290994A (ja) 2001-03-26 2002-10-04 Sharp Corp 小型カメラモジュールの異物検査方法およびその異物検査装置
JP2003209749A (ja) * 2002-01-11 2003-07-25 Olympus Optical Co Ltd 撮像装置
JP2003295281A (ja) * 2002-04-03 2003-10-15 Canon Inc 撮像装置及び動作処理方法及びプログラム及び記憶媒体
JP4179079B2 (ja) * 2002-08-30 2008-11-12 株式会社ニコン 電子カメラ及びその制御プログラム
JP2004153422A (ja) * 2002-10-29 2004-05-27 Toshiba Corp 撮影装置、顔照合装置、撮影装置の汚れ検知方法、及び顔照合方法
US7676110B2 (en) * 2003-09-30 2010-03-09 Fotonation Vision Limited Determination of need to service a camera based on detection of blemishes in digital images
JP2007215151A (ja) * 2006-01-12 2007-08-23 Canon Inc 撮像装置及びその制御方法及びプログラム
JP4764265B2 (ja) * 2006-06-20 2011-08-31 キヤノン株式会社 撮像装置
JP4166253B2 (ja) * 2006-07-10 2008-10-15 トヨタ自動車株式会社 物体検出装置、物体検出方法、および物体検出用プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202998A (ja) * 1995-01-31 1996-08-09 Isuzu Motors Ltd 車線逸脱警報装置
JP2001008193A (ja) 1999-06-24 2001-01-12 Secom Co Ltd 画像センサ
JP2002094978A (ja) * 2000-09-18 2002-03-29 Toyota Motor Corp レーン検出装置
JP2003259358A (ja) * 2002-03-06 2003-09-12 Nissan Motor Co Ltd カメラの汚れ検出装置およびカメラの汚れ検出方法
JP2004172820A (ja) 2002-11-19 2004-06-17 Minolta Co Ltd 撮像装置
JP2005117262A (ja) * 2003-10-06 2005-04-28 Fujitsu Ltd レンズの汚れ判定方法及び装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2031557A4

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010016650A (ja) * 2008-07-03 2010-01-21 Canon Inc 撮像装置及びその制御方法及びプログラム
EP3493111A1 (en) 2017-12-01 2019-06-05 Fujitsu Limited Biometric image processing apparatus, method and program
US10936848B2 (en) 2017-12-01 2021-03-02 Fujitsu Limited Biometric image processing apparatus, biometric image processing method, and biometric image processing program
WO2020175589A1 (ja) * 2019-02-27 2020-09-03 ダイキン工業株式会社 情報提供システム
JP2020139730A (ja) * 2019-02-27 2020-09-03 ダイキン工業株式会社 情報提供システム
US11538204B2 (en) 2019-02-27 2022-12-27 Daikin Industries, Ltd. Information providing system
JP2021052233A (ja) * 2019-09-20 2021-04-01 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP7156224B2 (ja) 2019-09-20 2022-10-19 株式会社デンソーテン 付着物検出装置および付着物検出方法
CN111275022A (zh) * 2020-03-19 2020-06-12 山东宜佳成新材料有限责任公司 基于遗忘因子型经验模态分解的污渍检测分析方法及应用
CN111275022B (zh) * 2020-03-19 2023-05-16 山东宜佳成新材料有限责任公司 基于遗忘因子型经验模态分解的污渍检测分析方法及应用

Also Published As

Publication number Publication date
KR20090009944A (ko) 2009-01-23
CN101460971A (zh) 2009-06-17
JPWO2007141858A1 (ja) 2009-10-15
JP4644283B2 (ja) 2011-03-02
US8098302B2 (en) 2012-01-17
US20090087022A1 (en) 2009-04-02
EP2031557B1 (en) 2017-12-27
KR101078474B1 (ko) 2011-10-31
EP2031557A1 (en) 2009-03-04
EP2031557A4 (en) 2014-04-16
CN101460971B (zh) 2012-06-27

Similar Documents

Publication Publication Date Title
WO2007141858A1 (ja) 汚れ検出方式
JP4186699B2 (ja) 撮像装置および画像処理装置
US7889890B2 (en) Image capture apparatus and control method therefor
JP4533836B2 (ja) 変動領域検出装置及びその方法
KR101223046B1 (ko) 정지장면의 연속프레임 영상에 기반한 영상분할장치 및 방법
JP4466015B2 (ja) 画像処理装置および画像処理プログラム
US20050068452A1 (en) Digital camera with built-in lens calibration table
Andreopoulos et al. On sensor bias in experimental methods for comparing interest-point, saliency, and recognition algorithms
US20150363920A1 (en) Method, electronic apparatus, and computer readable medium for processing reflection in image
JPWO2005022901A1 (ja) 撮像系診断装置、撮像系診断プログラム、撮像系診断プログラム製品、および撮像装置
WO2019146097A1 (ja) 欠陥のある撮影データの検知装置及び検知システム
JP5207057B2 (ja) 撮影装置の汚れを検知する汚れ検知装置及び同検知方法
JP4419479B2 (ja) 画像処理装置および画像処理プログラム
JP2011015299A (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
JP4466017B2 (ja) 画像処理装置および画像処理プログラム
JP4438363B2 (ja) 画像処理装置および画像処理プログラム
JP2008042227A (ja) 撮像装置
Premachandran et al. Measuring the effectiveness of bad pixel detection algorithms using the ROC curve
JP6348883B2 (ja) 画像撮像装置、画像撮像方法及びコンピュータプログラム
JP2009088884A (ja) 撮像データにおける動きベクトル検出方法と装置
CN107147845B (zh) 对焦方法、装置和终端设备
JP3957495B2 (ja) 画像センサ
JP5213493B2 (ja) 動き検出装置
JP2006203688A5 (ja)
JP6617124B2 (ja) 物体検出装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680054852.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 06766500

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008520094

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 1020087029606

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2006766500

Country of ref document: EP