WO2018021076A1 - 検出装置、撮像装置、移動体及び検出方法 - Google Patents

検出装置、撮像装置、移動体及び検出方法 Download PDF

Info

Publication number
WO2018021076A1
WO2018021076A1 PCT/JP2017/025790 JP2017025790W WO2018021076A1 WO 2018021076 A1 WO2018021076 A1 WO 2018021076A1 JP 2017025790 W JP2017025790 W JP 2017025790W WO 2018021076 A1 WO2018021076 A1 WO 2018021076A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
captured image
region
control unit
imaging
Prior art date
Application number
PCT/JP2017/025790
Other languages
English (en)
French (fr)
Inventor
隆一 澤田
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to US16/319,873 priority Critical patent/US10904409B2/en
Priority to EP17834084.0A priority patent/EP3493536B1/en
Priority to JP2018529787A priority patent/JP6655721B2/ja
Publication of WO2018021076A1 publication Critical patent/WO2018021076A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
    • G01N21/9009—Non-optical constructional details affecting optical inspection, e.g. cleaning mechanisms for optical parts, vibration reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Definitions

  • the present disclosure relates to a detection device, an imaging device, a moving body, and a detection method.
  • the image captured by the camera can be regarded as a composite wave in which a plurality of waves overlap.
  • the image can be represented as a spatial frequency spectrum by spatial frequency analysis.
  • Conventionally, a configuration for detecting foreign matter such as dirt or water droplets attached to the lens surface of a camera based on a spatial frequency spectrum is known (for example, see Patent Document 1).
  • a detection apparatus includes an image acquisition unit that acquires a captured image captured by an imaging unit, and a control unit that generates or acquires a smoothed image obtained by smoothing the captured image.
  • the control unit compares the captured image with the smoothed image and detects a low frequency region having a predetermined spatial frequency spectrum from the captured image.
  • An imaging apparatus includes an imaging unit that includes an imaging optical system and an imaging element that photoelectrically converts a subject image formed by the imaging optical system.
  • the imaging apparatus includes an image acquisition unit that acquires a captured image from the imaging element, and a control unit that smoothes the captured image and acquires a smoothed image.
  • the control unit compares the captured image with the smoothed image and detects a low frequency region having a predetermined spatial frequency spectrum from the captured image.
  • a moving body includes an imaging device.
  • the imaging apparatus includes an imaging unit that includes an imaging optical system and an imaging element that photoelectrically converts a subject image formed by the imaging optical system.
  • the imaging apparatus includes an image acquisition unit that acquires a captured image from the imaging element, and a control unit that smoothes the captured image and acquires a smoothed image.
  • the control unit compares the captured image with the smoothed image and detects a low frequency region having a predetermined spatial frequency spectrum from the captured image.
  • the detection method acquires a captured image captured through the imaging optical system.
  • the detection method acquires a smoothed image obtained by smoothing the captured image.
  • the detection method compares the captured image with the smoothed image, and detects a low frequency region having a predetermined spatial frequency spectrum from the captured image.
  • the spatial frequency analysis of the image can be performed by, for example, Fourier transform.
  • Image processing for spatial frequency analysis requires a large amount of computation and can place a heavy load on the apparatus. That is, the process of detecting a region having a predetermined spatial frequency spectrum from an image by spatial frequency analysis can be a heavy load on the apparatus.
  • the detection device and the imaging device according to the present disclosure may be mounted on a moving body.
  • the “mobile body” in the present disclosure includes a vehicle, a ship, and an aircraft.
  • Vehicle in the present disclosure includes, but is not limited to, automobiles and industrial vehicles, and may include railway vehicles, domestic vehicles, and airplanes that run on the runway.
  • the automobile includes, but is not limited to, a passenger car, a truck, a bus, a two-wheeled vehicle, a trolley bus, and the like, and may include other vehicles that travel on the road.
  • Industrial vehicles include industrial vehicles for agriculture and construction. Industrial vehicles include but are not limited to forklifts and golf carts.
  • Industrial vehicles for agriculture include, but are not limited to, tractors, tillers, transplanters, binders, combines, and lawn mowers.
  • Industrial vehicles for construction include, but are not limited to, bulldozers, scrapers, excavators, crane trucks, dump trucks, and road rollers. Vehicles include those that travel by human power.
  • the classification of the vehicle is not limited to the above.
  • an automobile may include an industrial vehicle capable of traveling on a road. The same vehicle may be included in multiple classifications.
  • Ships in the present disclosure include marine jets, boats, and tankers.
  • the aircraft in the present disclosure includes a fixed wing aircraft and a rotary wing aircraft.
  • the detection device and the imaging device according to the present disclosure may be mounted on a mobile terminal or a mobile terminal.
  • the detection device and the imaging device according to the present disclosure may be mounted on a stationary device.
  • the detection device and the imaging device according to the present disclosure may be used alone as a stationary device or a mobile device.
  • an imaging device 100 includes a detection device 1 and an imaging unit 20.
  • the detection device 1 includes a control unit 10, a storage unit 12, an image acquisition unit 14, a notification unit 16, and a display unit 18.
  • the imaging unit 20 includes an imaging optical system 22 and an imaging element 24.
  • the control unit 10 controls each component of the detection device 1.
  • the control unit 10 can be configured by a processor or a microcomputer that can execute application software.
  • the control unit 10 may include a storage device that stores various information or a program for operating each component of the detection apparatus 1.
  • the storage device can be composed of, for example, a semiconductor memory.
  • the storage device may function as a work memory of the control unit 10.
  • the control unit 10 may use the storage unit 12 as a storage device.
  • the control unit 10 may include a communication device for communicating with each component of the detection apparatus 1.
  • the communication device may be, for example, a communication interface such as LAN (Local Area Network) or CAN (Control Area Network).
  • the detection apparatus 1 may include a communication device as a communication unit.
  • the control unit 10 may be connected to an external device by a communication device.
  • the control unit 10 may acquire various information or display image data from an external device.
  • the communication device may be able to communicate with each component of the detection device 1 or an external device by wire or wireless.
  • the control unit 10 may acquire the image captured by the imaging unit 20 through the image acquisition unit 14.
  • the image captured by the imaging unit 20 is also referred to as a captured image 110 (see FIG. 3).
  • the control unit 10 may smooth the captured image 110.
  • the smoothed captured image 110 is also referred to as a smoothed image.
  • the control unit 10 may generate or acquire a smoothed image based on the captured image 110.
  • the control unit 10 can detect whether the captured image 110 has a predetermined spatial frequency spectrum by comparing the captured image 110 with the smoothed image.
  • the control unit 10 can detect whether the captured image 110 has a predetermined spatial frequency spectrum based on the captured image 110 and the smoothed image.
  • the control unit 10 may detect adhesion of foreign matter such as dirt or water droplets in the imaging unit 20 based on the captured image 110 and the smoothed image. Based on the captured image 110, the control unit 10 may detect the presence of other moving objects or pedestrians, for example. A result detected by the control unit 10 based on at least the captured image 110 is also referred to as a detection result.
  • the control unit 10 may output notification content to the notification unit 16 based on the detection result.
  • the control unit 10 may output the captured image 110 to the display unit 18.
  • the control unit 10 may output an image obtained by processing the captured image 110 to the display unit 18.
  • the control unit 10 may output an image obtained by superimposing display content based on the detection result on the captured image 110 to the display unit 18.
  • the display content based on the detection result may be, for example, a graphic such as a mark or an arrow, or a character.
  • the storage unit 12 stores various information or parameters related to the operation of the detection apparatus 1.
  • the storage unit 12 may be composed of, for example, a semiconductor memory.
  • the storage unit 12 may function as a work memory for the control unit 10.
  • the storage unit 12 may store the captured image 110.
  • the storage unit 12 may store various parameters for the control unit 10 to perform detection processing based on the captured image 110.
  • the image acquisition unit 14 is connected to the imaging unit 20 and acquires the captured image 110 from the imaging unit 20.
  • the image acquisition unit 14 outputs the captured image 110 to the control unit 10.
  • the image acquisition unit 14 may process the captured image 110 by various methods such as brightness adjustment or contrast adjustment.
  • reports the alerting
  • the notification unit 16 may include a display device such as liquid crystal, organic EL (Electro-Luminescence), inorganic EL, or LED (Light Emission Diode).
  • the notification unit 16 may display the notification content acquired from the control unit 10 on a display device.
  • the notification unit 16 may include a device that emits sound, and may emit sound based on the notification content acquired from the control unit 10.
  • the notification unit 16 includes a device that generates vibration, and may generate vibration based on the notification content acquired from the control unit 10.
  • reporting part 16 may perform alerting
  • the display unit 18 includes a display device such as liquid crystal, organic EL, or inorganic EL.
  • the display unit 18 displays the captured image 110 acquired from the control unit 10 or an image obtained by processing the captured image 110.
  • the imaging unit 20 forms an image of light incident on the imaging optical system 22 by the imaging element 24 and acquires it as a captured image 110.
  • the imaging optical system 22 is configured by a lens, a mirror, or the like, and forms light incident from the subject as a subject image on the imaging surface of the image sensor 24.
  • the image sensor 24 is configured by, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor.
  • the image sensor 24 photoelectrically converts the subject image formed by the imaging optical system 22.
  • the image sensor 24 calculates an electrical signal obtained by photoelectric conversion as a luminance value of each pixel according to a predetermined imaging gain value.
  • the image sensor 24 outputs a captured image 110 including information related to the calculated luminance value of each pixel.
  • the imaging gain value is a coefficient for converting the received light intensity of the imaging element 24 into the luminance value of the captured image 110. For example, when the light receiving intensity of the entire image sensor 24 is low, the image sensor 24 may increase the brightness value of the captured image 110 by increasing the imaging gain value. On the other hand, when the light receiving intensity of the entire image sensor 24 is high, the image sensor 24 may decrease the brightness value of the captured image 110 by decreasing the imaging gain value.
  • the imaging device 100 may be mounted on the moving body 200.
  • the imaging unit 20 is disposed in the rear part of the moving body 200.
  • the control unit 10 of the detection device 1 may be located together with the imaging unit 20.
  • the display unit 18 of the detection device 1 is disposed in front of the moving body 200 in the vehicle.
  • the display unit 18 is connected to the imaging unit 20 through wiring inside the moving body 200.
  • the display unit 18 may be connected by a communication interface such as LAN or CAN.
  • the display unit 18 may be connected to the imaging unit 20 by wire or wireless.
  • the display unit 18 can display a captured image 110 viewed from the back of the moving body 200, an image generated by the control unit 10, or an image obtained by processing the captured image 110 by the control unit 10.
  • the captured image 110 can be regarded as a composite wave in which a plurality of waves having different spatial frequencies are overlapped.
  • the captured image 110 can be represented as a spatial frequency spectrum indicating the intensity of the wave for each spatial frequency.
  • the spatial frequency spectrum can be calculated by a spatial frequency analysis such as Fourier transform.
  • the spatial frequency spectrum can be calculated not only for the entire captured image 110 but also for a partial region of the captured image 110.
  • the spatial frequency spectrum can be calculated for at least a partial region of the captured image 110.
  • An arbitrary spatial frequency wave constituting the spatial frequency spectrum is also called a frequency component.
  • a wave having a frequency equal to or higher than a predetermined spatial frequency is also referred to as a high frequency component.
  • a wave having a frequency less than a predetermined spatial frequency is also referred to as a low frequency component.
  • the predetermined spatial frequency is also simply referred to as a predetermined frequency.
  • the predetermined frequency may be determined as appropriate.
  • the characteristics of the spatial frequency spectrum are indicated by the intensity of each frequency component.
  • a spatial frequency spectrum representing an image in which the luminance changes sharply may include a high frequency component with a relatively high intensity.
  • a spatial frequency spectrum representing an image whose luminance changes slowly may include a low frequency component with a relatively high intensity.
  • the first region 111 including the center line 51 drawn on the road surface 50 is an image in which the luminance changes relatively large.
  • the spatial frequency spectrum of the first region 111 includes high frequency components with a relatively high intensity.
  • the second area 112 including the road surface 50 and not including the center line 51 is an image whose luminance changes relatively small.
  • the spatial frequency spectrum of the second region 112 includes low frequency components with relatively high intensity.
  • the imaging unit 20 acquires the captured image 110, if a foreign object is attached to the imaging optical system 22, a part of the captured image 110 may be affected by the foreign object.
  • the foreign material can be, for example, dirt or water droplets.
  • the foreign matter adhering to the imaging optical system 22 can be reflected in the captured image 110 as an image with a blurred outline and a relatively small change in luminance when the imaging optical system 22 is out of focus.
  • Water droplets attached to the imaging optical system 22 can scatter light incident on the imaging optical system 22.
  • the region corresponding to the portion where the water droplets are attached in the captured image 110 can be a region where the luminance changes relatively small due to light scattering.
  • the third region 113 affected by a foreign object can be a region where the luminance changes relatively small.
  • the region affected by the foreign matter attached to the imaging optical system 22 is also referred to as a foreign matter attached region.
  • a fourth area 114 indicating the same area as the first area 111 in FIG. 3 is included in the third area 113 which is a foreign substance adhesion area.
  • the fourth region 114 does not include an image of the center line 51 that should actually exist due to the influence of foreign matter.
  • the fourth region 114 is a region where the luminance changes relatively small compared to the first region 111 of FIG. 3 that is not affected by the foreign matter.
  • the spatial frequency spectrum of the fourth region 114 has a low frequency component with a relatively high intensity, similar to FIG. That is, the spatial frequency spectrum of the foreign matter adhesion region of the captured image 110 can have a low frequency component with a relatively high intensity compared to a case where the spatial frequency spectrum is not affected by the foreign matter.
  • the captured image 110 includes a region having a spatial frequency spectrum including a high frequency component at a relatively high intensity and a region including a spatial frequency spectrum including a low frequency component at a relatively high intensity.
  • the control unit 10 can detect a region having a predetermined spatial frequency spectrum based on the captured image 110.
  • the control unit 10 may detect a region having a spatial frequency spectrum including a low frequency component with a relatively high intensity as a low frequency region.
  • the control unit 10 may detect a region having a spatial frequency spectrum including a high frequency component with a relatively high intensity as a high frequency region.
  • the low frequency region or the high frequency region is a predetermined region included in the captured image 110.
  • the low frequency region may be defined as a region having a spatial frequency spectrum in which the intensity of frequency components equal to or higher than a predetermined frequency is less than the predetermined intensity. 4 and 5, the predetermined frequency and the predetermined intensity are indicated as fp and Ip, respectively.
  • the intensity of at least some frequency components equal to or higher than the predetermined frequency is equal to or higher than the predetermined intensity.
  • the region having the spatial frequency spectrum shown in FIG. 4 is not the low frequency region.
  • the intensity of the frequency component equal to or higher than the predetermined frequency is less than the predetermined intensity.
  • the region having the spatial frequency spectrum shown in FIG. 5 is the low frequency region.
  • the low frequency region included in the captured image 110 may be detected by analyzing the spatial frequency spectrum of the captured image 110. On the other hand, the low frequency region can be detected without analyzing the spatial frequency spectrum.
  • the control unit 10 can detect the low frequency region from the captured image 110 by determining whether the predetermined region of the captured image 110 is a low frequency region by the procedure of the flowchart shown in FIG. 7.
  • the control unit 10 acquires the captured image 110 from the image acquisition unit 14 (step S1).
  • the captured image 110 may be captured by the imaging unit 20 mounted on the moving body 200.
  • the captured image 110 in FIG. 8 includes an image of a line 120 and a water drop 122 drawn in white on the ground.
  • the line 120 that should exist behind the image of the water droplet 122 is not determined by the presence of the water droplet 122 and is interrupted by the image of the water droplet 122. If the water droplet 122 does not exist, the captured image 110 includes an image in which the line 120 is connected.
  • the captured image 110 is provided with a fifth region 115 including the line 120 and a sixth region 116 not including the line 120.
  • the fifth region 115 is a region having a spatial frequency spectrum including a high frequency component with a relatively high intensity.
  • the sixth region 116 is a region having a spatial frequency spectrum including a low frequency component with a relatively high intensity.
  • the controller 10 may determine the predetermined frequency such that the fifth region 115 is detected as a high frequency region and the sixth region 116 is detected as a low frequency region.
  • the control unit 10 smoothes the captured image 110 and generates a smoothed image 130 as shown in FIG. 9 (step S2).
  • the control unit 10 may cause the image acquisition unit 14 to smooth the captured image 110.
  • the image can be smoothed by cutting the high frequency components contained therein. In other words, the image can be smoothed by applying a low-pass filter thereto.
  • the image may be smoothed, for example, by calculating a moving average of each pixel.
  • the image may be smoothed by applying a Gaussian filter to each pixel.
  • the image may be smoothed in other ways. In the smoothed image 130, a portion indicating the line 120 and a portion indicating the water droplet 122 can be discriminated similarly to the captured image 110 of FIG. 8.
  • the smoothed image 130 may be provided with a fifth region 115 and a sixth region 116 in the same manner as the captured image 110 of FIG.
  • the control unit 10 compares the captured image 110 and the smoothed image 130, determines whether the predetermined region of the captured image 110 is a low frequency region, and detects the low frequency region from the captured image 110 (step S3).
  • the control unit 10 may detect a high frequency region instead of the low frequency region from the captured image 110.
  • the control unit 10 may detect a region having a predetermined spatial frequency spectrum from the captured image 110.
  • the control unit 10 may execute a subroutine procedure including various procedures. For example, the control unit 10 may determine that an area where the difference between the captured image 110 and the smoothed image 130 is small is a low-frequency area.
  • the control unit 10 may execute the procedure of the flowchart shown in FIG. 10 in step S3 of FIG.
  • the control unit 10 takes the difference of the luminance value of each pixel between the captured image 110 and the smoothed image 130, and generates a difference image 140 as shown in FIG. 11 (step S11).
  • the line 120 can be identified as a portion having a high luminance value.
  • the water droplet 122 can be identified as a portion having a low luminance value. In the portion corresponding to the image of the water droplet 122, the line 120 is not discriminated.
  • the difference image 140 is provided with a fifth region 115 and a sixth region 116 in the same manner as the captured image 110 of FIG. According to the generation method of the difference image 140, a pixel having a high luminance value among the pixels of the difference image 140 can correspond to a pixel included in the high frequency region of the captured image 110.
  • the fifth region 115 and the sixth region 116 may be provided in common for the captured image 110, the smoothed image 130, and the difference image 140.
  • the fifth region 115 and the sixth region 116 may be regions corresponding to each other among the captured image 110, the smoothed image 130, and the difference image 140.
  • other arbitrary regions may be provided in common in the captured image 110, the smoothed image 130, and the difference image 140.
  • the control unit 10 integrates the luminance values of the pixels included in the predetermined area of the difference image 140 (Step S12).
  • the fifth region 115 of the difference image 140 includes pixels indicating the line 120.
  • the integrated value of the luminance values of the pixels included in the fifth region 115 is a value obtained by integrating the luminance values of the pixels indicating the line 120.
  • the sixth region 116 of the difference image 140 does not include a pixel having a high luminance value such as a pixel indicating the line 120. In this case, the integrated value of the luminance values of the pixels included in the sixth area 116 is lower than the integrated value of the luminance values of the pixels included in the fifth area 115.
  • the control unit 10 determines whether the integrated value of the luminance values of the pixels included in the predetermined region of the difference image 140 is less than the determination threshold (Step S13).
  • the integrated value of the luminance values of the pixels included in the predetermined area of the difference image 140 corresponds to the intensity of the high frequency component included in the spatial frequency spectrum of the predetermined area of the captured image 110. For example, the higher the integrated value, the higher the intensity of the high frequency component.
  • the determination threshold value may be determined as appropriate.
  • the control unit 10 determines that the predetermined region is a low frequency region (step S14).
  • the sixth region 116 may be determined to be a low frequency region based on the relatively low luminance value integrated value.
  • the control part 10 complete finishes the procedure of the flowchart of FIG. 10 after step S14. If the integrated value of the luminance values is not less than the determination threshold value (step S13: NO), the control unit 10 ends the procedure of the flowchart in FIG. 10 without determining that the predetermined region is a low frequency region.
  • the control unit 10 may determine that the predetermined area is the high frequency area when the integrated value of the luminance values is equal to or greater than the determination threshold.
  • the control unit 10 may determine that the predetermined region is a region having a predetermined spatial frequency spectrum by appropriately determining the determination threshold or combining a plurality of determination thresholds.
  • the detection apparatus 1 can detect a low frequency region from the captured image 110 only by generating the smoothed image and the difference image 140. As a result, the low frequency region of the image can be detected with a relatively light load by not analyzing the spatial frequency.
  • the low frequency region detected from the captured image 110 may include a foreign substance adhesion region such as the third region 113 in FIG.
  • the position, shape, or size of the low frequency region changes according to changes in the subject image.
  • the position, shape, or size of the foreign matter adhesion region is unlikely to change regardless of changes in the subject image unless the foreign matter attached to the imaging optical system 22 moves.
  • the control unit 10 While the control unit 10 detects a pedestrian or another moving body from the captured image 110 as a monitoring target, the monitoring target may enter the foreign substance adhesion region. When the monitoring target enters the foreign substance adhesion region, the control unit 10 may not be able to detect the monitoring target from the captured image 110 and may not be able to continue monitoring. When the monitoring target that has been detected can no longer be detected from the captured image 110, the control unit 10 may estimate that the monitoring target is present in the foreign substance adhesion region. When estimating the presence of the monitoring target even though the monitoring target cannot be detected, the control unit 10 superimposes the display content indicating that the presence of the monitoring target is estimated on the captured image 110 and outputs it to the display unit 18. It's okay. By reflecting the foreign substance adhesion area detected from the captured image 110 in the detection of the monitoring target, even when the monitoring target is no longer detected from the captured image 110, the monitoring target is not easily overlooked.
  • the control unit 10 may unconditionally consider the low frequency region as the foreign material adhesion region in order to determine the foreign material adhesion region from the low frequency region. By doing in this way, it becomes difficult to overlook the monitoring object.
  • the control unit 10 may determine the foreign matter adhesion region from the low frequency region by the procedure of the flowchart shown in FIG. Steps S21 to S23 in FIG. 12 are the same or similar procedures as steps S1 to S3 in FIG.
  • control unit 10 When the control unit 10 detects the low frequency region in step S23, the control unit 10 stores the region detected as the low frequency region in the storage unit 12 (step S24).
  • the control unit 10 may store the area detected as the low frequency area in a storage device that the controller 10 includes.
  • the control unit 10 acquires the previously detected region from the storage unit 12 when there is a region detected in step S23 when the procedure of the flowchart of FIG.
  • the control unit 10 determines whether there is an overlapping area between the previously detected area and the currently detected area (step S25). That is, the control unit 10 performs the detection in step S23 at least twice for the previous time and the current time, and determines whether the low frequency area detected continuously at least twice includes an overlapping area.
  • step S25: YES the control unit 10 determines that the overlapping detected area is a foreign matter adhesion area. In other words, when the overlapping region is included in the low frequency region detected at least twice in succession, the control unit 10 determines that the overlapping region is a foreign matter adhesion region.
  • the control part 10 complete finishes the procedure of the flowchart of FIG. 12 after step S26.
  • the control part 10 may return to step S21 after step S26.
  • step S25: NO the control unit 10 ends the procedure of the flowchart of FIG. The control unit 10 may return to step S21.
  • the same region On condition that the same region is detected as a low-frequency region at least twice in succession, it is a region where the luminance is unlikely to change, such as a wall surface of a building, and the position in the captured image 110 moves. It is difficult to determine a region that often has a foreign matter adhesion region. That is, the detection accuracy of the foreign substance adhesion region can be improved.
  • the determination threshold used to determine whether the predetermined region is a low frequency region can be determined by several methods.
  • the determination threshold value may be determined based on the luminance value of the captured image 110, for example.
  • the control unit 10 can determine the determination threshold and determine the low frequency region by the procedure of the flowchart shown in FIG. 13, for example. Steps S31 to S34 in FIG. 13 are the same or similar procedures as steps S11 to S14 in FIG.
  • the control unit 10 determines a determination threshold value from the luminance values of the pixels included in the predetermined area of the captured image 110 corresponding to the predetermined area of the difference image 140 (step S35). For example, the control unit 10 may calculate a sum of luminance values of pixels included in a predetermined area of the captured image 110 and set a value obtained by multiplying the sum by a predetermined coefficient as a determination threshold.
  • the predetermined coefficient is a value that can be appropriately determined in a range greater than 0 and less than 1, and may be the same value for the entire captured image 110 or may be a value that differs for each predetermined region.
  • the predetermined coefficient may be set as a relatively large value when a high-contrast subject image can be assumed outdoors in the daytime, and is set as a relatively small value when a low-contrast subject image is assumed.
  • the predetermined coefficient may be set as a small value in order to avoid that the high frequency region is erroneously determined as the low frequency region.
  • the predetermined coefficient may be set as a large value in order to avoid that the low frequency region is erroneously determined as the high frequency region.
  • the control unit 10 may calculate the maximum value of the luminance value of the pixels included in the predetermined area of the captured image 110, and set a value obtained by multiplying the maximum value by a predetermined coefficient and the number of pixels in the predetermined area as the determination threshold.
  • the control unit 10 may determine the determination threshold value for the luminance values of the pixels included in the predetermined area of the captured image 110 by other calculation such as calculation of the sum or calculation of the maximum value.
  • the determination threshold value from the luminance value of the pixels included in the predetermined area of the captured image 110, the area where the luminance is unlikely to change, such as the road surface 50, is a foreign matter adhesion area. It becomes difficult to be judged. That is, the detection accuracy of the foreign substance adhesion region can be improved.
  • the control unit 10 may use a predetermined value as the determination threshold without calculating the determination threshold.
  • the control unit 10 reflects the imaging gain value of the imaging device 24 in the determination threshold (step S36).
  • the control unit 10 may use the product of the determination threshold value determined in step S35 and the imaging gain value as the determination threshold value.
  • the imaging gain value of the image sensor 24 changes according to a change in the amount of light incident on the image sensor 24. For example, when the amount of light incident on the image sensor 24 is small, the imaging gain value of the image sensor 24 can be increased.
  • the imaging gain value of the imaging device 24 is large, the captured image 110 output by the imaging device 24 may include a relatively large amount of noise components. A change in luminance value in an image including a noise component is relatively large.
  • the imaging gain value of the image sensor 24 is not reflected in the determination threshold, it may be difficult to determine the foreign substance adhesion region due to the influence of noise components. In other words, the influence of the noise component in the determination can be reduced by reflecting the imaging gain value of the imaging element 24 in the determination threshold.
  • the control unit 10 may use the product of the determination threshold value and the imaging gain value determined based on the average value of the luminance values in step S35 as the determination threshold value.
  • the control unit 10 may use the product of the determination threshold value and the imaging gain value determined based on the maximum luminance value in step S35 as the determination threshold value.
  • the control unit 10 may use the product of the determination threshold value determined in advance in step S35 and the imaging gain value as the determination threshold value.
  • the control unit 10 determines whether the integrated value of the luminance values of the pixels included in the predetermined area of the difference image 140 is less than the determination threshold (step S37). When the integrated value of the luminance values is less than the determination threshold value (step S37: YES), the control unit 10 determines that the predetermined area is a foreign substance adhesion area (step S38). The control part 10 complete
  • control unit 10 may output an image in which the display content indicating the foreign substance adhesion area is superimposed on the captured image 110 to the display unit 18.
  • the control unit 10 may notify the notification unit 16 that the foreign substance adhesion region has been detected from the captured image 110. In this way, it is possible to prompt the user to confirm the adhesion of foreign matter to the imaging unit 20.
  • the control unit 10 may estimate that the monitoring object exists in the foreign object adhesion area when detecting the monitoring object such as a pedestrian or another moving body.
  • the control unit 10 may superimpose the display content indicating the region where the presence of the monitoring target is estimated on the captured image 110 and output the superimposed image to the display unit 18. By doing in this way, it becomes difficult for the monitoring target to be overlooked by the user.
  • the control unit 10 determines whether the predetermined region is a low frequency region in the procedure of the flowchart of FIG. On the other hand, the control unit 10 may divide the captured image 110, the smoothed image 130, or the difference image 140 into blocks, and determine whether each block is a low frequency region.
  • the control unit 10 divides the captured image 110 into blocks, for example, according to the procedure of the flowchart shown in FIG. 14, and determines whether each block is in a low frequency region.
  • Step S41 in FIG. 14 is the same or similar procedure as step S1 in FIG.
  • the control unit 10 divides the captured image 110 into a plurality of blocks (step S42).
  • the block may be an area having a predetermined size.
  • the size or shape of each block may be the same or different from each other.
  • the shape of each block may be, for example, a rectangle or a triangle, other polygons, or an arbitrary shape.
  • Each block obtained by dividing the captured image 110 into blocks is also referred to as a captured image block.
  • the control unit 10 acquires a smoothed image block obtained by smoothing the captured image block (step S43).
  • the smoothing procedure is the same as or similar to the procedure performed in step S2 of FIG.
  • the control unit 10 sequentially determines each block as a determination target, compares the captured image block and the smoothed image block, and determines whether the captured image block is in a low frequency region (step S44). For example, the control unit 10 may determine that a block with a small difference between the captured image block and the smoothed image block is the low frequency region. Similar to Steps S11 to S14 in FIG. 10, the control unit 10 determines whether the block is in the low frequency region based on the integrated luminance value of the difference between the captured image block and the smoothed image block. It's okay.
  • the blocks to be determined may be all divided blocks or some blocks.
  • the control unit 10 may determine whether or not each block is a foreign substance adhesion region by a procedure similar to step S24 to step S26 in FIG. 12 with at least a part of the block as a determination target.
  • the control part 10 complete finishes the procedure of the flowchart of FIG. 14 after step S44.
  • the control unit 10 may determine whether each block is in a low frequency region by dividing the difference image 140 into blocks by the procedure of the flowchart shown in FIG. Steps S51 to S53 in FIG. 15 are the same or similar procedures as steps S11 to S13 in FIG.
  • the control unit 10 divides the difference image 140 into a plurality of blocks (step S54).
  • the block may be similar to that described in step S42 of FIG.
  • the image obtained by dividing the difference image 140 into blocks is also referred to as a difference image block.
  • the control unit 10 integrates the luminance values of the pixels included in the difference image block (step S55).
  • the control unit 10 sequentially determines each block as a determination target, and determines whether the integrated value of luminance values is less than a determination threshold (step S56).
  • the determination threshold value can be determined as appropriate.
  • the determination threshold value may be determined similarly to the procedure of step S35 or step S36 of FIG.
  • the blocks to be determined may be all divided blocks or some blocks.
  • step S56: YES When the integrated value of luminance values is less than the determination threshold value (step S56: YES), the control unit 10 determines that the determination target block is in the low frequency region (step S57). The control part 10 complete
  • step S58 When the integrated value of the luminance values is not less than the determination threshold value (step S56: NO), the control unit 10 determines that the determination target block is not in the low frequency region (step S58). The control part 10 complete
  • the control unit 10 may determine whether each block is a foreign substance adhesion region by executing a procedure similar to step S34 to step S38 in FIG. 13 with at least a part of the block as a determination target.
  • Other information detected based on the captured image 110 may be detected from each captured image block.
  • detecting the low frequency area or the foreign substance adhesion area from the image divided into blocks it becomes easy to cooperate with other information detected from the captured image block.
  • By dividing the image into blocks the low-frequency area or the foreign substance adhesion area can be detected more efficiently and more accurately.
  • each component can be rearranged so as not to be logically contradictory, and a plurality of components or the like can be combined into one or divided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

検出装置は、撮像部で撮像された撮像画像を取得する画像取得部と、撮像画像を平滑化した平滑化画像を生成又は取得する制御部とを備える。制御部は、撮像画像と平滑化画像とを比較し、撮像画像から所定の空間周波数スペクトルを有する低周波数領域を検出する。

Description

検出装置、撮像装置、移動体及び検出方法 関連出願へのクロスリファレンス
　本出願は、日本国特許出願２０１６－１４７８９２号（２０１６年７月２７日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
　本開示は、検出装置、撮像装置、移動体及び検出方法に関する。
　カメラで撮像した画像は、複数の波が重なった合成波と捉えられうる。画像は、空間周波数解析によって、空間周波数スペクトルとして表されうる。従来、空間周波数スペクトルに基づいて、カメラのレンズ表面に付着した汚れ又は水滴等の異物を検出する構成が知られている（例えば、特許文献１参照）。
特開２０１５－２６９８７号公報
　本開示の一実施形態に係る検出装置は、撮像部で撮像された撮像画像を取得する画像取得部と、前記撮像画像を平滑化した平滑化画像を生成又は取得する制御部とを備える。前記制御部は、前記撮像画像と前記平滑化画像とを比較し、前記撮像画像から所定の空間周波数スペクトルを有する低周波数領域を検出する。
　本開示の一実施形態に係る撮像装置は、撮像光学系と、前記撮像光学系によって結像する被写体像を光電変換する撮像素子とを有する撮像部を備える。前記撮像装置は、前記撮像素子から撮像画像を取得する画像取得部と、前記撮像画像を平滑化して平滑化画像を取得する制御部とを備える。前記制御部は、前記撮像画像と前記平滑化画像とを比較し、前記撮像画像から所定の空間周波数スペクトルを有する低周波数領域を検出する。
　本開示の一実施形態に係る移動体は、撮像装置を備える。前記撮像装置は、撮像光学系と、前記撮像光学系によって結像する被写体像を光電変換する撮像素子とを有する撮像部を備える。前記撮像装置は、前記撮像素子から撮像画像を取得する画像取得部と、前記撮像画像を平滑化して平滑化画像を取得する制御部とを備える。前記制御部は、前記撮像画像と前記平滑化画像とを比較し、前記撮像画像から所定の空間周波数スペクトルを有する低周波数領域を検出する。
　本開示の一実施形態に係る検出方法は、撮像光学系を介して撮像された撮像画像を取得する。前記検出方法は、前記撮像画像を平滑化した平滑化画像を取得する。前記検出方法は、前記撮像画像と前記平滑化画像とを比較し、前記撮像画像から所定の空間周波数スペクトルを有する低周波数領域を検出する。
一実施形態に係る撮像装置の概略構成例を示すブロック図である。 図１の撮像装置を搭載した移動体の例を示す図である。 撮像画像の一例を示す模式図である。 図３の第１領域の空間周波数スペクトルの例を示すグラフである。 図３の第２領域の空間周波数スペクトルの例を示すグラフである。 異物の付着の影響を受けた撮像画像の一例を示す模式図である。 低周波数領域検出処理の一例を示すフローチャートである。 撮像画像の一例を示す図である。 平滑化画像の一例を示す図である。 差分画像から低周波数領域を検出する手順の例を示すフローチャートである。 差分画像の一例を示す図である。 異物の付着を判定する手順の例を示すフローチャートである。 判定閾値を用いる手順の例を示すフローチャートである。 撮像画像をブロックに分割して判定する手順の例を示すフローチャートである。 差分画像をブロックに分割して判定する手順の例を示すフローチャートである。
　画像の空間周波数解析は、例えばフーリエ変換等によって行われうる。空間周波数解析のための画像処理は、多くの演算量を必要とし、装置に対して大きい負荷をかけうる。つまり、空間周波数解析によって画像から所定の空間周波数スペクトルを有する領域を検出する処理は、装置にとって大きい負荷となりうる。
　本開示に係る検出装置及び撮像装置は、移動体に搭載されてよい。本開示における「移動体」には、車両、船舶、航空機が含まれる。本開示における「車両」は、自動車および産業車両を含むが、これに限られず、鉄道車両および生活車両、滑走路を走行する飛行機を含んでよい。自動車は、乗用車、トラック、バス、二輪車、およびトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両は、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両は、トラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機を含むが、これに限られない。建設向けの産業車両は、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。車両の分類は、上述に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。本開示における船舶は、マリンジェット、ボート、タンカーを含む。本開示における航空機は、固定翼機、回転翼機を含む。
　本開示に係る検出装置及び撮像装置は、移動端末又は携帯端末等に搭載されてよい。本開示に係る検出装置及び撮像装置は、据え置き型の装置に搭載されてよい。本開示に係る検出装置及び撮像装置は、据え置き型装置又は移動型装置等として単独で使用されてよい。
　図１に示されるように、一実施形態に係る撮像装置１００は、検出装置１と、撮像部２０とを備える。検出装置１は、制御部１０と、記憶部１２と、画像取得部１４と、報知部１６と、表示部１８とを備える。撮像部２０は、撮像光学系２２と、撮像素子２４とを備える。
　制御部１０は、検出装置１の各構成部を制御する。制御部１０は、アプリケーションソフトウェアを実行可能なプロセッサまたはマイクロコンピュータ等により構成されうる。制御部１０は、各種情報、または検出装置１の各構成部を動作させるためのプログラム等が格納される記憶デバイスを備えてよい。記憶デバイスは、例えば半導体メモリ等で構成されうる。記憶デバイスは、制御部１０のワークメモリとして機能してよい。制御部１０は、記憶部１２を記憶デバイスとして用いてよい。
　制御部１０は、検出装置１の各構成部と通信するための通信デバイスを備えてよい。通信デバイスは、例えば、ＬＡＮ（Local Area Network）又はＣＡＮ（Control Area Network）等の通信インターフェースであってよい。検出装置１は、通信デバイスを通信部として備えてよい。制御部１０は、通信デバイスによって外部装置と接続されてよい。制御部１０は、外部装置から各種情報または表示画像データ等を取得してよい。通信デバイスは、有線または無線によって、検出装置１の各構成部又は外部装置と通信可能であってよい。
　制御部１０は、画像取得部１４を通じて、撮像部２０で撮像された画像を取得してよい。撮像部２０で撮像された画像は、撮像画像１１０（図３参照）ともいう。制御部１０は、撮像画像１１０を平滑化してよい。平滑化された撮像画像１１０は、平滑化画像ともいう。言い換えれば、制御部１０は、撮像画像１１０に基づいて、平滑化画像を生成又は取得してよい。制御部１０は、撮像画像１１０と平滑化画像とを比較し、撮像画像１１０が所定の空間周波数スペクトルを有するか検出しうる。言い換えれば、制御部１０は、撮像画像１１０及び平滑化画像に基づいて、撮像画像１１０が所定の空間周波数スペクトルを有するか検出しうる。制御部１０は、撮像画像１１０及び平滑化画像に基づいて、撮像部２０における汚れ又は水滴等の異物の付着を検出してよい。制御部１０は、撮像画像１１０に基づいて、例えば、他の移動体又は歩行者等の存在を検出してよい。制御部１０が少なくとも撮像画像１１０に基づいて検出した結果は、検出結果ともいう。制御部１０は、検出結果に基づいて、報知部１６に対して報知内容を出力してよい。制御部１０は、撮像画像１１０を表示部１８に出力してよい。制御部１０は、撮像画像１１０を加工した画像を表示部１８に出力してよい。制御部１０は、検出結果に基づく表示内容を撮像画像１１０に重畳した画像を表示部１８に出力してよい。検出結果に基づく表示内容は、例えば、マーク若しくは矢印等の図形、又は文字等であってよい。
　記憶部１２は、検出装置１の動作に係る各種情報又はパラメータを格納する。記憶部１２は、例えば半導体メモリ等で構成されてよい。記憶部１２は、制御部１０のワークメモリとして機能してよい。記憶部１２は、撮像画像１１０を格納してよい。記憶部１２は、制御部１０が撮像画像１１０に基づく検出処理を行うための各種パラメータ等を格納してよい。
　画像取得部１４は、撮像部２０と接続され、撮像部２０から撮像画像１１０を取得する。画像取得部１４は、撮像画像１１０を制御部１０に出力する。画像取得部１４は、撮像画像１１０を、輝度調整又はコントラスト調整等の種々の方法で加工してよい。
　報知部１６は、制御部１０から取得した報知内容をユーザ又は周囲の人に対して報知する。報知部１６は、例えば液晶、有機ＥＬ（Electro-Luminescence）、無機ＥＬ又はＬＥＤ（Light Emission Diode）等の表示デバイスを備えてよい。報知部１６は、制御部１０から取得した報知内容を表示デバイスに表示してよい。報知部１６は、音声を発出するデバイスを備え、制御部１０から取得した報知内容に基づいて音声を発出してよい。報知部１６は、振動を発生するデバイスを備え、制御部１０から取得した報知内容に基づいて振動を発生してよい。報知部１６は、音声又は振動以外にも人間が認識可能な任意の方法によって、報知内容に基づく報知を行ってよい。
　表示部１８は、液晶、有機ＥＬ又は無機ＥＬ等の表示デバイスを備える。表示部１８は、制御部１０から取得した撮像画像１１０、又は、撮像画像１１０を加工した画像を表示する。
　撮像部２０は、撮像光学系２２に入射した光を撮像素子２４で結像させ、撮像画像１１０として取得する。撮像光学系２２は、レンズ又はミラー等によって構成され、被写体から入射した光を撮像素子２４の撮像面において被写体像として結像する。撮像素子２４は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等で構成される。撮像素子２４は、撮像光学系２２によって結像された被写体像を光電変換する。撮像素子２４は、光電変換で得られた電気信号を所定の撮像ゲイン値に応じて各画素の輝度値として算出する。撮像素子２４は、算出した各画素の輝度値に係る情報を含む撮像画像１１０を出力する。撮像ゲイン値は、撮像素子２４の受光強度を撮像画像１１０の輝度値に変換する係数である。例えば、撮像素子２４全体の受光強度が低い場合、撮像素子２４は、撮像ゲイン値を大きくして、撮像画像１１０の輝度値を高くしてよい。一方で、撮像素子２４全体の受光強度が高い場合、撮像素子２４は、撮像ゲイン値を小さくして、撮像画像１１０の輝度値を低くしてよい。
　図２に示されるように、撮像装置１００は、移動体２００に搭載されてよい。図２の例において、撮像部２０は、移動体２００のリア部に配設されるものとする。検出装置１の制御部１０は、撮像部２０とともに位置してよい。検出装置１の表示部１８は、移動体２００の車内前方に配設されるものとする。表示部１８は、移動体２００の内部の配線で、撮像部２０に接続される。表示部１８は、ＬＡＮ又はＣＡＮ等の通信インターフェースによって接続されてよい。表示部１８は、撮像部２０と有線又は無線によって接続されてよい。表示部１８は、移動体２００から後方を見た撮像画像１１０、又は、制御部１０で生成された画像、若しくは、撮像画像１１０を制御部１０で加工した画像を表示可能である。
　撮像画像１１０は、複数の異なる空間周波数の波が重なった合成波として捉えられうる。撮像画像１１０は、空間周波数ごとの波の強度を示す空間周波数スペクトルとして表されうる。空間周波数スペクトルは、フーリエ変換等の空間周波数分析によって算出されうる。空間周波数スペクトルは、撮像画像１１０全体に対して算出されうるだけでなく、撮像画像１１０の一部の領域に対して算出されうる。空間周波数スペクトルは、撮像画像１１０の少なくとも一部の領域に対して算出されうる。
　空間周波数スペクトルを構成する任意の空間周波数の波は、周波数成分ともいう。所定の空間周波数以上の周波数を有する波は、高周波数成分ともいう。所定の空間周波数未満の周波数を有する波は、低周波数成分ともいう。所定の空間周波数は、単に所定周波数ともいう。所定周波数は、適宜定められてよい。空間周波数スペクトルの特性は、各周波数成分の強度によって示される。輝度が急峻に変化する画像を表す空間周波数スペクトルは、高周波数成分を比較的高い強度で含みうる。輝度が緩やかに変化する画像を表す空間周波数スペクトルは、低周波数成分を比較的高い強度で含みうる。
　例えば、図３に示される撮像画像１１０において、路面５０上に描かれたセンターライン５１を含む第１領域１１１は、輝度が比較的大きく変化する画像である。図４に示されるように、第１領域１１１の空間周波数スペクトルは、高周波数成分を比較的高い強度で含む。一方、路面５０を含み、センターライン５１を含まない第２領域１１２は、輝度が比較的小さく変化する画像である。図５に示されるように、第２領域１１２の空間周波数スペクトルは、低周波数成分を比較的高い強度で含む。
　撮像部２０が撮像画像１１０を取得する際、撮像光学系２２に異物が付着している場合、当該異物によって、撮像画像１１０の一部が影響を受けうる。異物は、例えば汚れ又は水滴等でありうる。撮像光学系２２に付着した異物は、撮像光学系２２の焦点から外れることによって、輪郭がぼやけた、輝度が比較的小さく変化する画像として撮像画像１１０に映り込みうる。撮像光学系２２に付着した水滴は、撮像光学系２２に入射する光を散乱しうる。結果として、撮像画像１１０の、水滴が付着した部分に対応する領域は、光の散乱によって、輝度が比較的小さく変化する領域になりうる。
　例えば、図６に示されるように、異物によって影響を受けた第３領域１１３は、輝度が比較的小さく変化する領域となりうる。撮像光学系２２に付着した異物によって影響を受けた領域は、異物付着領域ともいう。図３の第１領域１１１と同じ領域を示す第４領域１１４は、異物付着領域である第３領域１１３に含まれる。第４領域１１４は、異物の影響によって、実際には存在しているはずのセンターライン５１の画像を含まない。第４領域１１４は、異物によって影響を受けない図３の第１領域１１１と比較して、輝度が比較的小さく変化する領域である。第４領域１１４の空間周波数スペクトルは、図５に類似して低周波数成分を比較的高い強度で有する。つまり、撮像画像１１０の異物付着領域の空間周波数スペクトルは、異物によって影響を受けない場合と比較して、低周波数成分を比較的高い強度で有しうる。
　図３～図６に示されるように、撮像画像１１０は、高周波数成分を比較的高い強度で含む空間周波数スペクトルを有する領域と、低周波数成分を比較的高い強度で含む空間周波数スペクトルを有する領域とを含みうる。制御部１０は、撮像画像１１０に基づいて、所定の空間周波数スペクトルを有する領域を検出できる。制御部１０は、低周波数成分を比較的高い強度で含む空間周波数スペクトルを有する領域を低周波数領域として検出してよい。制御部１０は、高周波数成分を比較的高い強度で含む空間周波数スペクトルを有する領域を高周波数領域として検出してよい。低周波数領域又は高周波数領域は、撮像画像１１０に含まれる所定領域であるものとする。
　低周波数領域は、所定周波数以上の周波数成分の強度が所定強度未満となる空間周波数スペクトルを有する領域として定義されてよい。図４及び図５において、所定周波数及び所定強度はそれぞれ、ｆｐ及びＩｐとして示される。図４に示される空間周波数スペクトルは、所定周波数以上の少なくとも一部の周波数成分の強度が所定強度以上である。低周波数領域の定義によれば、図４に示される空間周波数スペクトルを有する領域は、低周波数領域ではない。図５に示される空間周波数スペクトルは、所定周波数以上の周波数成分の強度が所定強度未満である。低周波数領域の定義によれば、図５に示される空間周波数スペクトルを有する領域は、低周波数領域である。
　撮像画像１１０に含まれる低周波数領域は、撮像画像１１０の空間周波数スペクトルを解析することによって検出されてよい。一方で、低周波数領域は、空間周波数スペクトルを解析せずに検出されうる。制御部１０は、図７に示されるフローチャートの手順によって、撮像画像１１０の所定領域が低周波数領域であるか判定して、撮像画像１１０から低周波領域を検出できる。
　制御部１０は、画像取得部１４から撮像画像１１０を取得する（ステップＳ１）。撮像画像１１０は、例えば図８に示されるように、移動体２００に搭載された撮像部２０によって撮像されてよい。図８の撮像画像１１０は、地面に白く描かれたライン１２０及び水滴１２２の画像を含む。水滴１２２の画像の後ろに存在するはずのライン１２０は、水滴１２２があることによって判別されず、水滴１２２の画像によって途切れている。仮に水滴１２２が存在しない場合、撮像画像１１０は、ライン１２０がつながっている画像を含む。撮像画像１１０には、ライン１２０を含む第５領域１１５と、ライン１２０を含まない第６領域１１６とが設けられるものとする。第５領域１１５は、高周波数成分を比較的高い強度で含む空間周波数スペクトルを有する領域である。第６領域１１６は、低周波数成分を比較的高い強度で含む空間周波数スペクトルを有する領域である。制御部１０は、第５領域１１５を高周波数領域として検出し、第６領域１１６を低周波数領域として検出するように、所定周波数を決定しうる。
　制御部１０は、撮像画像１１０を平滑化し、図９に示されるような平滑化画像１３０を生成する（ステップＳ２）。制御部１０は、画像取得部１４に撮像画像１１０を平滑化させてよい。画像は、それに含まれる高周波数成分がカットされることによって平滑化されうる。言い換えれば、画像は、それに対してローパスフィルタが適用されることによって平滑化されうる。画像は、例えば、各画素の移動平均が計算されることによって平滑化されてよい。画像は、各画素にガウシアンフィルタが適用されることによって平滑化されてよい。画像は、他の方法で平滑化されてよい。平滑化画像１３０において、図８の撮像画像１１０に類似して、ライン１２０を示す部分と、水滴１２２を示す部分とが判別されうる。平滑化画像１３０には、図８の撮像画像１１０と同一に、第５領域１１５と第６領域１１６とが設けられてよい。
　制御部１０は、撮像画像１１０と平滑化画像１３０とを比較し、撮像画像１１０の所定領域が低周波数領域であるか判定し、撮像画像１１０から低周波数領域を検出する（ステップＳ３）。制御部１０は、撮像画像１１０から、低周波数領域ではなく高周波数領域を検出してもよい。制御部１０は、撮像画像１１０から所定の空間周波数スペクトルを有する領域を検出してよい。制御部１０は、ステップＳ３において、種々の手順を含むサブルーチンの手順を実行してよい。制御部１０は、例えば、撮像画像１１０と平滑化画像１３０との間の差異が少ない領域を低周波数領域であると判定してよい。制御部１０は、ステップＳ３の後、図７のフローチャートの手順を終了する。
　制御部１０は、図７のステップＳ３において、図１０に示されるフローチャートの手順を実行してよい
　制御部１０は、撮像画像１１０と平滑化画像１３０との各画素の輝度値の差分をとって、図１１に示されるような差分画像１４０を生成する（ステップＳ１１）。差分画像１４０において、ライン１２０は、輝度値が高い部分として判別されうる。差分画像１４０において、水滴１２２は、輝度値が低い部分として判別されうる。水滴１２２の画像に対応する部分において、ライン１２０は判別されない。差分画像１４０には、図８の撮像画像１１０と同一に、第５領域１１５と第６領域１１６とが設けられるものとする。差分画像１４０の生成方法からすると、差分画像１４０の画素のうち輝度値が高い画素は、撮像画像１１０の高周波数領域に含まれる画素に対応しうる。
　第５領域１１５及び第６領域１１６は、撮像画像１１０、平滑化画像１３０及び差分画像１４０に共通に設けられてよい。第５領域１１５及び第６領域１１６は、撮像画像１１０、平滑化画像１３０及び差分画像１４０の間で互いに対応する領域になりうる。第５領域１１５及び第６領域１１６だけでなく、他の任意の領域が、撮像画像１１０、平滑化画像１３０及び差分画像１４０に共通に設けられてよい。
　制御部１０は、差分画像１４０の所定領域に含まれる画素の輝度値を積算する（ステップＳ１２）。例えば、差分画像１４０の第５領域１１５は、ライン１２０を示す画素を含む。第５領域１１５に含まれる画素の輝度値の積算値は、ライン１２０を示す画素の輝度値が積算された値である。一方で、差分画像１４０の第６領域１１６は、ライン１２０を示す画素等の輝度値の高い画素を含まない。この場合、第６領域１１６に含まれる画素の輝度値の積算値は、第５領域１１５に含まれる画素の輝度値の積算値より低くなる。
　制御部１０は、差分画像１４０の所定領域に含まれる画素の輝度値の積算値が判定閾値未満であるか判定する（ステップＳ１３）。差分画像１４０の所定領域に含まれる画素の輝度値の積算値は、撮像画像１１０の所定領域の空間周波数スペクトルに含まれる高周波数成分の強度に対応する。例えば、積算値が大きいほど、高周波数成分の強度が高い。判定閾値は、適宜決定されてよい。制御部１０は、輝度値の積算値が判定閾値未満である場合（ステップＳ１３：ＹＥＳ）、所定領域が低周波数領域であると判定する（ステップＳ１４）。例えば、第６領域１１６は、輝度値の積算値が比較的低いことに基づいて、低周波数領域であると判定されうる。制御部１０は、ステップＳ１４の後、図１０のフローチャートの手順を終了する。制御部１０は、輝度値の積算値が判定閾値未満でない場合（ステップＳ１３：ＮＯ）、所定領域が低周波数領域であると判定することなく、図１０のフローチャートの手順を終了する。制御部１０は、輝度値の積算値が判定閾値以上である場合、所定領域が高周波数領域であると判定してよい。制御部１０は、判定閾値を適宜決定したり、複数の判定閾値を組み合わせたりすることによって、所定領域が所定の空間周波数スペクトルを有する領域であると判定してよい。
　仮に、制御部１０が低周波数領域を検出するために撮像画像１１０の空間周波数を解析する場合、空間周波数を解析する演算量は、非常に大きくなることがある。一方、本実施形態に係る検出装置１は、平滑化画像及び差分画像１４０の生成だけで撮像画像１１０から低周波数領域を検出しうる。結果として、空間周波数が解析されないことによって、画像の低周波数領域が比較的軽い負荷で検出されうる。
　撮像画像１１０から検出される低周波数領域は、少なくとも一部に、図６の第３領域１１３のような異物付着領域を含みうる。低周波数領域は、被写体像の変化に応じて位置、形状又は大きさが変化する。一方で、異物付着領域は、撮像光学系２２に付着している異物が動かない限り、被写体像の変化にかかわらず、位置、形状又は大きさが変化しにくい。
　制御部１０が撮像画像１１０から歩行者又は他の移動体等を監視対象として検出している間に、監視対象が異物付着領域に入ることがある。監視対象が異物付着領域に入った場合、制御部１０は、撮像画像１１０から監視対象を検出できず、監視を継続できなくなることがある。制御部１０は、検出していた監視対象を撮像画像１１０から検出できなくなった場合、監視対象が異物付着領域に存在すると推定してよい。制御部１０は、監視対象が検出できないにもかかわらず監視対象の存在を推定する場合、監視対象の存在が推定されることを示す表示内容を撮像画像１１０に重畳して表示部１８に出力してよい。撮像画像１１０から検出された異物付着領域が監視対象の検出に反映されることによって、撮像画像１１０から監視対象が検出されなくなった場合にも、監視対象が見落とされにくくなる。
　制御部１０は、低周波数領域から異物付着領域を判定するために、低周波数領域を無条件に異物付着領域とみなしてよい。このようにすることで、監視対象はより見落とされにくくなる。一方で、制御部１０は、図１２に示されるフローチャートの手順によって、低周波数領域から異物付着領域を判定してよい。図１２のステップＳ２１～ステップＳ２３は、図７のステップＳ１～ステップＳ３と同じ又は類似の手順である。
　制御部１０は、ステップＳ２３で低周波数領域を検出した場合、低周波数領域として検出された領域を記憶部１２に格納する（ステップＳ２４）。制御部１０は、低周波数領域として検出された領域を自らが備える記憶デバイスに格納してよい。
　制御部１０は、図１２のフローチャートの手順を前回実行した際にステップＳ２３において検出した領域がある場合、記憶部１２から前回検出した領域を取得する。制御部１０は、前回検出した領域と、今回検出した領域との間で重複する領域があるか判定する（ステップＳ２５）。つまり、制御部１０は、ステップＳ２３における検出を、前回と今回との少なくとも２回実行し、少なくとも２回連続で検出した低周波数領域が重複する領域を含むか判定する。
　制御部１０は、重複する領域がある場合（ステップＳ２５：ＹＥＳ）、重複して検出した領域が異物付着領域であると判定する（ステップＳ２６）。言い換えれば、制御部１０は、少なくとも２回連続で検出した低周波数領域に重複する領域が含まれる場合、重複する領域が異物付着領域であると判定する。制御部１０は、ステップＳ２６の後、図１２のフローチャートの手順を終了する。制御部１０は、ステップＳ２６の後、ステップＳ２１に戻ってよい。制御部１０は、重複する領域がない場合（ステップＳ２５：ＮＯ）、図１２のフローチャートの手順を終了する。制御部１０は、ステップＳ２１に戻ってよい。
　少なくとも２回連続して同じ領域が低周波数領域として検出されることを条件とすることによって、建物の壁面等のように輝度が変化しにくい領域であって、撮像画像１１０内の位置が移動することが多い領域が異物付着領域と判定されにくくなる。つまり、異物付着領域の検出精度が向上しうる。
　図１０のフローチャートの手順において、所定領域が低周波数領域であるか判定するために用いられる判定閾値は、いくつかの方法で決定されうる。判定閾値は、例えば、撮像画像１１０の輝度値に基づいて決定されてよい。制御部１０は、例えば図１３に示されるフローチャートの手順によって、判定閾値を決定し、低周波数領域を判定することができる。図１３のステップＳ３１～ステップＳ３４は、図１０のステップＳ１１～ステップＳ１４と同じ又は類似の手順である。
　制御部１０は、差分画像１４０の所定領域に対応する、撮像画像１１０の所定領域に含まれる画素の輝度値から判定閾値を決定する（ステップＳ３５）。制御部１０は、例えば、撮像画像１１０の所定領域に含まれる画素の輝度値の総和を算出し、総和に所定の係数を乗じた値を判定閾値としてよい。所定領域内の各画素の座標を（ｉ，ｊ）と表現し、所定領域内の各画素の輝度値をＩ（ｉ，ｊ）と表現する場合、制御部１０は、以下の式（１）によって判定閾値を決定できる。
　（判定閾値）＝（所定の係数）×ΣＩ（ｉ，ｊ）　　　（１）
所定の係数は、０より大きく１未満の範囲で適宜定められうる値であり、撮像画像１１０全体に対して同じ値であってよいし、所定領域ごとに異なる値であってよい。所定の係数は、日中の屋外等で高コントラストの被写体像が想定できる場合、比較的大きい値として設定されてよく、低コントラストの被写体像が想定される場合、比較的小さい値として設定されてよい。所定の係数は、高周波数領域が誤って低周波数領域と判定されることを避けるために、小さい値として設定されてよい。所定の係数は、低周波数領域が誤って高周波数領域と判定されることを避けるために、大きい値として設定されてよい。
　制御部１０は、撮像画像１１０の所定領域に含まれる画素の輝度値の最大値を算出し、最大値に所定の係数と所定領域内の画素数とを乗じた値を判定閾値としてよい。制御部１０は、撮像画像１１０の所定領域に含まれる画素の輝度値に対して、総和の算出又は最大値の算出等の他の演算によって、判定閾値を決定してよい。判定閾値が撮像画像１１０の所定領域に含まれる画素の輝度値から決定されることによって、路面５０等のように輝度が変化しにくい領域であって、輝度値が比較的低い領域が異物付着領域と判定されにくくなる。つまり、異物付着領域の検出精度が向上しうる。制御部１０は、判定閾値を算出せずに、予め決められた値を判定閾値としてよい。
　制御部１０は、撮像素子２４の撮像ゲイン値を判定閾値に反映する（ステップＳ３６）。制御部１０は、ステップＳ３５で決定した判定閾値と撮像ゲイン値との積を判定閾値としてよい。撮像素子２４の撮像ゲイン値は、撮像素子２４に入射する光の光量変化に応じて変化する。例えば、撮像素子２４に入射する光量が少ない場合、撮像素子２４の撮像ゲイン値は大きくされうる。撮像素子２４の撮像ゲイン値が大きい場合、撮像素子２４が出力する撮像画像１１０にはノイズ成分が比較的多く含まれうる。ノイズ成分を含む画像における輝度値の変化は、比較的大きくなる。判定閾値に撮像素子２４の撮像ゲイン値が反映されない場合、ノイズ成分の影響を受けて、異物付着領域が判定されにくくなることがある。言い換えれば、判定閾値に撮像素子２４の撮像ゲイン値が反映されることによって、判定におけるノイズ成分の影響が低減されうる。
　制御部１０は、ステップＳ３５で輝度値の平均値に基づいて決定された判定閾値と撮像ゲイン値との積を判定閾値としてよい。制御部１０は、ステップＳ３５で輝度値の最大値に基づいて決定された判定閾値と撮像ゲイン値との積を判定閾値としてよい。制御部１０は、ステップＳ３５で予め決められた値に決定された判定閾値と撮像ゲイン値との積を判定閾値としてよい。
　制御部１０は、差分画像１４０の所定領域に含まれる画素の輝度値の積算値が判定閾値未満であるか判定する（ステップＳ３７）。制御部１０は、輝度値の積算値が判定閾値未満である場合（ステップＳ３７：ＹＥＳ）、所定領域が異物付着領域であると判定する（ステップＳ３８）。制御部１０は、ステップＳ３８の後、図１３のフローチャートの手順を終了する。制御部１０は、輝度値の積算値が判定閾値未満でない場合（ステップＳ３７：ＮＯ）、所定領域が異物付着領域であると判定せず、図１３のフローチャートの手順を終了する。
　撮像画像１１０から異物付着領域を検出した場合、制御部１０は、撮像画像１１０に異物付着領域を示す表示内容を重畳した画像を表示部１８に出力してよい。制御部１０は、報知部１６に、撮像画像１１０から異物付着領域を検出したことを報知させてよい。このようにすることで、ユーザに対して、撮像部２０への異物付着を確認するように促すことができる。
　撮像画像１１０から異物付着領域を検出した場合、制御部１０は、歩行者又は他の移動体等の監視対象の検出に際して、異物付着領域内に監視対象が存在すると推定してよい。制御部１０は、監視対象の存在が推定される領域を示す表示内容を撮像画像１１０に重畳して表示部１８に出力してよい。このようにすることで、監視対象がユーザによって見落とされにくくなる。
　制御部１０は、図１０のフローチャートの手順において、所定領域が低周波領域であるか判定する。一方で、制御部１０は、撮像画像１１０、平滑化画像１３０又は差分画像１４０をブロックに分割して、各ブロックが低周波数領域であるか判定してよい。
　制御部１０は、例えば図１４に示されるフローチャートの手順によって、撮像画像１１０をブロックに分割して、各ブロックが低周波数領域であるか判定する。図１４のステップＳ４１は、図７のステップＳ１と同じ又は類似の手順である。
　制御部１０は、撮像画像１１０を複数のブロックに分割する（ステップＳ４２）。ブロックは、所定の大きさの領域であってよい。各ブロックの大きさ又は形状は、同じであってよいし、互いに異なってよい。各ブロックの形状は、例えば矩形若しくは三角形、その他の多角形、又は任意の形状であってよい。撮像画像１１０をブロックに分割したそれぞれのブロックは、撮像画像ブロックともいう。
　制御部１０は、撮像画像ブロックを平滑化した平滑化画像ブロックを取得する（ステップＳ４３）。平滑化の手順は、図７のステップＳ２で行われる手順と同じ又は類似の手順である。
　制御部１０は、各ブロックを順次判定対象として、撮像画像ブロックと平滑化画像ブロックとを比較し、撮像画像ブロックが低周波数領域であるか判定する（ステップＳ４４）。制御部１０は、例えば、撮像画像ブロックと平滑化画像ブロックとの間の差異が少ないブロックを低周波数領域であると判定してよい。制御部１０は、図１０のステップＳ１１～ステップＳ１４に類似して、撮像画像ブロックと平滑化画像ブロックとの差分の輝度値の積算値に基づいて、そのブロックが低周波数領域であるか判定してよい。判定対象となるブロックは、分割された全てのブロックであってよいし、一部のブロックであってよい。制御部１０は、ブロックの少なくとも一部を判定対象として、図１２のステップＳ２４～ステップＳ２６と類似の手順によって、各ブロックが異物付着領域であるか判定してよい。制御部１０は、ステップＳ４４の後、図１４のフローチャートの手順を終了する。
　制御部１０は、例えば図１５に示されるフローチャートの手順によって、差分画像１４０をブロックに分割して、各ブロックが低周波数領域であるか判定してよい。図１５のステップＳ５１～ステップＳ５３は、図１０のステップＳ１１～ステップＳ１３と同じ又は類似の手順である。
　制御部１０は、差分画像１４０を複数のブロックに分割する（ステップＳ５４）。ブロックは、図１４のステップＳ４２で説明したものと類似であってよい。差分画像１４０をブロックに分割したものを、差分画像ブロックともいう。
　制御部１０は、差分画像ブロックに含まれる画素の輝度値を積算する（ステップＳ５５）。
　制御部１０は、各ブロックを順次判定対象として、輝度値の積算値が判定閾値未満であるか判定する（ステップＳ５６）。判定閾値は、適宜決定されうる。判定閾値は、図１３のステップＳ３５又はステップＳ３６の手順と類似に決定されてよい。判定対象となるブロックは、分割された全てのブロックであってよいし、一部のブロックであってよい。
　制御部１０は、輝度値の積算値が判定閾値未満である場合（ステップＳ５６：ＹＥＳ）、判定対象のブロックが低周波数領域であると判定する（ステップＳ５７）。制御部１０は、ステップＳ５７の後、図１５のフローチャートの手順を終了する。制御部１０は、輝度値の積算値が判定閾値未満でない場合（ステップＳ５６：ＮＯ）、判定対象のブロックが低周波数領域でないと判定する（ステップＳ５８）。制御部１０は、ステップＳ５８の後、図１５のフローチャートの手順を終了する。制御部１０は、ブロックの少なくとも一部を判定対象として、図１３のステップＳ３４～ステップＳ３８と類似の手順を実行して、各ブロックが異物付着領域であるか判定してよい。
　撮像画像１１０に基づいて検出される他の情報は、各撮像画像ブロックから検出されてよい。低周波数領域又は異物付着領域がブロックに分割された画像から検出されることによって、撮像画像ブロックから検出される他の情報と連携されやすくなる。画像をブロック分割することによって、低周波数領域又は異物付着領域が、より効率的に、より精度よく検出されうる。
　本開示に係る構成は、以上説明してきた実施形態にのみ限定されるものではなく、幾多の変形又は変更が可能である。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。
　１　検出装置
　１０　制御部
　１２　記憶部
　１４　画像取得部
　１６　報知部
　１８　表示部
　２０　撮像部
　２２　撮像光学系
　２４　撮像素子
　１００　撮像装置
　１１０　撮像画像
　１１１～１１６　第１～第６領域
　１２０　ライン
　１２２　水滴
　１３０　平滑化画像
　１４０　差分画像
　２００　移動体

Claims (12)

  1. 　撮像部で撮像された撮像画像を取得する画像取得部と、前記撮像画像を平滑化した平滑化画像を生成又は取得する制御部とを備え、
    　前記制御部は、前記撮像画像と前記平滑化画像とを比較し、前記撮像画像から所定の空間周波数スペクトルを有する低周波数領域を検出する検出装置。
  2. 　前記所定の空間周波数スペクトルは、所定周波数以上の周波数成分の強度が所定強度未満となる空間周波数スペクトルである、請求項１に記載の検出装置。
  3. 　前記制御部は、
    　前記撮像画像と前記平滑化画像との差分画像を生成し、
    　前記差分画像の所定領域に含まれる各画素の輝度値の積算値を算出し、
    　前記積算値が判定閾値未満である場合、前記差分画像の所定領域に対応する前記撮像画像の所定領域から前記所定の空間周波数スペクトルを有する低周波数領域を検出する、請求項１または２に記載の検出装置。
  4. 　前記制御部は、前記低周波数領域を前記撮像部に付着した異物によって影響を受けた異物付着領域として検出する、請求項１乃至３いずれか一項に記載の検出装置。
  5. 　前記制御部は、前記撮像画像が所定の空間周波数スペクトルを有するか少なくとも２回検出し、少なくとも２回連続して検出した前記低周波数領域が重複する領域を含む場合、前記重複する領域を前記撮像部に付着した異物によって影響を受けた異物付着領域として検出する、請求項１乃至３いずれか一項に記載の検出装置。
  6. 　前記判定閾値は、前記撮像画像の所定領域に含まれる各画素の輝度値に応じて決定される、請求項３乃至５いずれか一項に記載の検出装置。
  7. 　前記判定閾値は、前記撮像画像が撮像された際の前記撮像部の撮像ゲイン値に応じて決定される、請求項３乃至６いずれか一項に記載の検出装置。
  8. 　前記制御部は、前記撮像画像を複数のブロックに分割し、各ブロックを平滑化した平滑化画像を生成又は取得し、各ブロックについて前記低周波数領域であるか判定し、前記撮像画像から前記低周波数領域を検出する、請求項１乃至７いずれか一項に記載の検出装置。
  9. 　前記制御部は、前記差分画像を複数のブロックに分割し、各ブロックについて前記低周波数領域であるか判定し、前記撮像画像から前記低周波数領域を検出する、請求項３乃至７いずれか一項に記載の検出装置。
  10. 　撮像光学系と、前記撮像光学系によって結像する被写体像を光電変換する撮像素子とを有する撮像部と、前記撮像素子から撮像画像を取得する画像取得部と、前記撮像画像を平滑化して平滑化画像を生成又は取得する制御部とを備え、
    　前記制御部は、前記撮像画像と前記平滑化画像とを比較し、前記撮像画像から所定の空間周波数スペクトルを有する低周波数領域を検出する
    撮像装置。
  11. 　撮像光学系と、前記撮像光学系によって結像する被写体像を光電変換する撮像素子とを有する撮像部と、前記撮像素子から撮像画像を取得する画像取得部と、前記撮像画像を平滑化して平滑化画像を生成又は取得する制御部とを有する撮像装置を備え、
    　前記制御部は、前記撮像画像と前記平滑化画像とを比較し、前記撮像画像から所定の空間周波数スペクトルを有する低周波数領域を検出する
    移動体。
  12. 　撮像部で撮像された撮像画像を取得し、
    　前記撮像画像を平滑化した平滑化画像を生成又は取得し、
    　前記撮像画像と前記平滑化画像とを比較し、前記撮像画像から所定の空間周波数スペクトルを有する低周波数領域を検出する
    検出方法。
PCT/JP2017/025790 2016-07-27 2017-07-14 検出装置、撮像装置、移動体及び検出方法 WO2018021076A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/319,873 US10904409B2 (en) 2016-07-27 2017-07-14 Detection apparatus, imaging apparatus, moveable body, and detection method
EP17834084.0A EP3493536B1 (en) 2016-07-27 2017-07-14 Detection device, image pickup device, movable body, and detection method
JP2018529787A JP6655721B2 (ja) 2016-07-27 2017-07-14 検出装置、撮像装置、移動体及び検出方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-147892 2016-07-27
JP2016147892 2016-07-27

Publications (1)

Publication Number Publication Date
WO2018021076A1 true WO2018021076A1 (ja) 2018-02-01

Family

ID=61016602

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/025790 WO2018021076A1 (ja) 2016-07-27 2017-07-14 検出装置、撮像装置、移動体及び検出方法

Country Status (4)

Country Link
US (1) US10904409B2 (ja)
EP (1) EP3493536B1 (ja)
JP (1) JP6655721B2 (ja)
WO (1) WO2018021076A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020167500A (ja) * 2019-03-29 2020-10-08 セコム株式会社 画像処理装置及び画像処理プログラム
JP2021061524A (ja) * 2019-10-07 2021-04-15 株式会社デンソー 雨滴認識装置、車両制御装置、学習方法および学習済みモデル

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09172641A (ja) * 1995-12-21 1997-06-30 Nec Corp 動画像符号化装置
JP2008219147A (ja) * 2007-02-28 2008-09-18 Kddi R & D Laboratories Inc 動画像符号化装置
JP2009130700A (ja) * 2007-11-26 2009-06-11 Panasonic Corp 撮像装置
WO2014017318A1 (ja) * 2012-07-27 2014-01-30 日産自動車株式会社 立体物検出装置、立体物検出方法及び異物検出装置
JP2015026987A (ja) 2013-07-26 2015-02-05 クラリオン株式会社 レンズ汚れ検出装置およびレンズ汚れ検出方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4847531B2 (ja) * 2006-08-17 2011-12-28 富士通株式会社 画像処理装置、画像処理プログラム、および画像処理方法
JP5417746B2 (ja) * 2008-06-19 2014-02-19 ソニー株式会社 動き適応型ノイズ低減装置、画像信号処理装置、画像入力処理装置、および、動き適応ノイズ低減方法
WO2011102334A1 (ja) * 2010-02-18 2011-08-25 キヤノン株式会社 画像形成装置、画像形成方法及びプログラム
US9392267B2 (en) * 2010-12-15 2016-07-12 Tektronix, Inc. System and methods to measure noise and to generate picture quality prediction from source having no reference
EP2590138B1 (en) * 2011-11-07 2019-09-11 Flir Systems AB Gas visualization arrangements, devices, and methods
WO2014017602A1 (ja) * 2012-07-27 2014-01-30 日産自動車株式会社 立体物検出装置および立体物検出方法
EP2879370B1 (en) * 2012-07-27 2020-09-02 Clarion Co., Ltd. In-vehicle image recognizer
DE102013019138A1 (de) * 2013-11-12 2015-05-13 Application Solutions (Electronics and Vision) Ltd. Verfahren zum Erkennen eines verdeckten Zustands einer Kamera, Kamerasystem und Kraftfahrzeug
JP6287100B2 (ja) * 2013-11-20 2018-03-07 株式会社リコー 画像処理装置、画像処理方法、プログラム及び記憶媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09172641A (ja) * 1995-12-21 1997-06-30 Nec Corp 動画像符号化装置
JP2008219147A (ja) * 2007-02-28 2008-09-18 Kddi R & D Laboratories Inc 動画像符号化装置
JP2009130700A (ja) * 2007-11-26 2009-06-11 Panasonic Corp 撮像装置
WO2014017318A1 (ja) * 2012-07-27 2014-01-30 日産自動車株式会社 立体物検出装置、立体物検出方法及び異物検出装置
JP2015026987A (ja) 2013-07-26 2015-02-05 クラリオン株式会社 レンズ汚れ検出装置およびレンズ汚れ検出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3493536A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020167500A (ja) * 2019-03-29 2020-10-08 セコム株式会社 画像処理装置及び画像処理プログラム
JP7328778B2 (ja) 2019-03-29 2023-08-17 セコム株式会社 画像処理装置及び画像処理プログラム
JP2021061524A (ja) * 2019-10-07 2021-04-15 株式会社デンソー 雨滴認識装置、車両制御装置、学習方法および学習済みモデル
JP7272226B2 (ja) 2019-10-07 2023-05-12 株式会社デンソー 雨滴認識装置、車両制御装置、学習方法および学習済みモデル

Also Published As

Publication number Publication date
JPWO2018021076A1 (ja) 2019-04-25
US20190253584A1 (en) 2019-08-15
EP3493536A1 (en) 2019-06-05
JP6655721B2 (ja) 2020-02-26
EP3493536A4 (en) 2020-01-22
US10904409B2 (en) 2021-01-26
EP3493536B1 (en) 2022-10-12

Similar Documents

Publication Publication Date Title
AU2021200258B2 (en) Multiple operating modes to expand dynamic range
US9483952B2 (en) Runway surveillance system and method
CN103523013B (zh) 车道偏离警报装置
CA2811300C (en) Dump truck with obstacle detection mechanism and method for detecting obstacle
US11165932B2 (en) Imaging apparatus, imaging system, vehicle and foreign matter determination method
JP5809751B2 (ja) 対象物認識装置
EP2511121B1 (en) Device and method for generating an indication signal to the driver of a vehicle
US9516274B2 (en) Sensing system and method for detecting moving objects
US20120200708A1 (en) Vehicle peripheral monitoring device
WO2018021076A1 (ja) 検出装置、撮像装置、移動体及び検出方法
JP2019219719A (ja) 異常検出装置および異常検出方法
JP5457224B2 (ja) 路面状態検出装置
US20230017327A1 (en) Tailgate Position Management Systems And Methods
JP6847709B2 (ja) カメラ装置、検出装置、検出システムおよび移動体
JP2021183974A (ja) 被写体種別判定装置および移動体
JP2018142756A (ja) カメラ装置、検出装置、検出システムおよび移動体
JP2020042715A (ja) 移動情報推定装置、異常検出装置、および、移動情報推定方法
KR102583256B1 (ko) 깊이 맵에 신뢰도 추정치를 제공하는 방법 및 시스템
WO2021132227A1 (ja) 情報処理装置、センシング装置、移動体及び情報処理方法
JP2022088962A (ja) 電子機器、情報処理装置、集中度算出プログラム、及び集中度算出方法
JP2015179337A (ja) 画像判定装置、画像処理装置、画像判定プログラム、画像判定方法、移動体
AU2008293060A1 (en) Runway surveillance system and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17834084

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018529787

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017834084

Country of ref document: EP

Effective date: 20190227