WO2006109398A1 - 画像処理装置および方法、プログラム、並びに記録媒体 - Google Patents

画像処理装置および方法、プログラム、並びに記録媒体 Download PDF

Info

Publication number
WO2006109398A1
WO2006109398A1 PCT/JP2006/305113 JP2006305113W WO2006109398A1 WO 2006109398 A1 WO2006109398 A1 WO 2006109398A1 JP 2006305113 W JP2006305113 W JP 2006305113W WO 2006109398 A1 WO2006109398 A1 WO 2006109398A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel
image data
data
correction
Prior art date
Application number
PCT/JP2006/305113
Other languages
English (en)
French (fr)
Inventor
Masato Kasashima
Shunji Ota
Tanichi Ando
Original Assignee
Omron Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corporation filed Critical Omron Corporation
Priority to EP06729134A priority Critical patent/EP1868375A4/en
Priority to US11/908,959 priority patent/US20090016636A1/en
Priority to JP2007512423A priority patent/JPWO2006109398A1/ja
Publication of WO2006109398A1 publication Critical patent/WO2006109398A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an image processing device and method, a program, and a recording medium, and in particular, an image processing device and method, a program, and a program that can remove a disturbing object that blocks a visual field and provide a comfortable visual image. And a recording medium.
  • the present invention has been made in view of such a situation, and it is intended to remove an obstructing object that blocks a visual field and to provide a comfortable visual field image.
  • a first image processing apparatus to which the present invention is applied captures an image, outputs image data of the captured image, and corrects image data output from the image capturing unit.
  • the correction necessity judgment means for judging whether Detecting means for detecting a pixel corresponding to an obstructing object which is a predetermined object to be lowered, replacing means for replacing the pixel of the obstructing object in the image data detected by the detecting means with another pixel, and replacing means And an output means for outputting image data in which the pixel of the obstructing object is replaced with another pixel.
  • an image is captured, data of the captured image is output, whether or not to correct the output image data is determined, and the image is determined.
  • a pixel corresponding to a disturbing object which is a predetermined object floating or falling in the air, is detected, and the pixel of the disturbing object in the detected image data is replaced with another pixel.
  • Image data in which the pixel of the obstructing object is replaced with another pixel is output.
  • the imaging unit converts the charge generated corresponding to the captured light into an analog electrical signal having a voltage value proportional to the logarithm of the number of charges for each pixel, and converts the analog electrical signal to digital Image data can be output after being converted to data.
  • the photographing means is constituted by, for example, an HDRC camera.
  • the imaging means converts the current generated corresponding to the captured light into an analog electrical signal having a voltage value proportional to the logarithm of the magnitude of the current for each pixel, and the analog electrical signal Can be converted into digital data to output image data.
  • the detection means may detect a pixel corresponding to an obstructing object based on a luminance value of a pixel of image data and a preset threshold value.
  • the threshold value is an upper limit and a lower limit threshold of the luminance value for distinguishing between the pixel corresponding to the disturbing object and the pixel corresponding to the background in the image data.
  • a pixel having a luminance value within the range can be detected as a pixel corresponding to the obstructing object.
  • the detection means divides the image into a plurality of regions, and if there is a pixel having a luminance value within the threshold range in the image data of all the divided regions, A pixel having a luminance value within the range can be detected as a pixel corresponding to the obstructing object.
  • the object force existing in a part of the image is prevented from being erroneously detected as a disturbance.
  • the detection unit includes a pixel having a luminance value within the threshold range in the image data of all of the plurality of frames captured by the imaging unit, the luminance value within the threshold range is included. It is possible to detect a pixel having a pixel corresponding to the obstructing object.
  • the detection means calculates a feature amount of data of a block centering on a pixel having a luminance value within a threshold range, and corresponds to the calculated feature amount and a preliminarily stored disturbing object. If the difference between the pixel block and the feature value of the pixel data is calculated and the difference is less than or equal to a preset value, the block centered on the pixel having a luminance value within the threshold range is handled as the disturbing object. It can be detected as a block of pixels.
  • the obstructing object can be reliably detected regardless of the amount of the obstructing object in the image.
  • the replacement means detects the pixels detected by the detection means in the image of the frame taken by the photographing means, and is detected by the detection means in the image of the frame temporally prior to the frame in which the pixels are to be replaced. It is possible to replace the pixel corresponding to the selected pixel.
  • means for replacing the pixel detected by the detecting means with the pixel specified by the specifying means it can.
  • the image forming apparatus further includes another photographing unit, and the replacement unit is an image obtained by photographing the pixel detected by the detecting unit with the other photographing unit at the same timing as the image in which the pixel is to be replaced.
  • the pixel corresponding to the pixel detected by the detecting means can be replaced with a pixel.
  • the first image processing method to which the present invention is applied it is determined whether or not to correct image data output from an imaging unit that captures an image and outputs data of the captured image. If it is determined that the image data should be corrected by the correction necessity determination step and the correction necessity determination step, a predetermined object floating or dropping in the air in the image data is used.
  • a detection step for detecting a pixel corresponding to a disturbing object, a replacement step for replacing the pixel of the disturbing object in the image data detected by the processing of the detection step with another pixel, and a processing for the replacement step And an output step of outputting image data in which the pixel of the object is replaced with another pixel.
  • the first image processing method of the present invention whether or not to correct the image data output from the imaging unit that captures the image and outputs the data of the captured image is determined. If it is determined that correction should be performed on the image data, the pixel corresponding to the obstructing object, which is a predetermined object that floats or falls in the air, is detected in the image data. The pixel power of the disturbing object in the image data thus obtained is replaced with another pixel, and image data in which the pixel of the disturbing object is replaced with another pixel is output.
  • a first program to which the present invention is applied is a program that causes an image processing apparatus to perform image processing, and is an image output from an imaging unit that captures an image and outputs data of the captured image. Correction is performed on the image data by the processing of the correction necessity determination control step that controls the determination of whether or not to correct the data of the image and the correction necessity determination control step. Is detected by the detection control step that controls the detection of the pixel corresponding to the obstructing object, which is a predetermined object that floats or falls in the air, and the processing of the detection step.
  • the replacement control step for controlling the replacement of the disturbing object pixel in the image data with another pixel, and the image data in which the disturbing object pixel is replaced with another pixel by the processing of the replacement control step And an output control step for controlling the output of the computer.
  • a first recording medium to which the present invention is applied is a recording medium on which a program for causing an image processing apparatus to perform image processing is recorded.
  • the first recording medium captures an image and outputs data of the captured image.
  • the image data is corrected by the correction necessity determination control step for controlling whether or not to correct the image data output from the photographing means and the correction necessity determination control step. If it is determined that it should be detected in the image data, it is detected by a detection control step for controlling detection of a pixel corresponding to a disturbing object that is a predetermined object floating or falling in the air, and detected by the processing of the detection step.
  • Program for executing an output control step of controlling the output of the data of the image to the computer is characterized in that it is recorded.
  • the second image processing apparatus to which the present invention is applied captures an image when the illumination for illuminating the subject is turned on and an image when the illumination is turned off, and takes the data of the captured image. Illumination that illuminates the subject to be photographed by the photographing means that outputs, the necessity of correction judgment that determines whether or not to correct the image data output from the photographing means Correction data for correcting the image data based on the image data captured when the illumination is turned off, and the image data corrected by the correction means is output. Output means.
  • an image when the illumination for illuminating the subject is turned on and an image when the illumination is turned off are taken, and data of the taken image is output. It is determined whether or not to correct the output image data, and the image data captured when the illumination to illuminate the subject to be photographed is turned off and the illumination is turned off. The image data is corrected based on the image data captured when the lamp is lit, and the corrected image data is output.
  • the correction means includes data of an image taken when the illumination for illuminating the subject photographed by the photographing means is turned on, and data of an image taken when the illumination is turned off.
  • the image data can be corrected so that the image data captured when the illumination is turned off is output to the output means.
  • the image data further includes detection means for detecting a pixel corresponding to an obstructing object that is a predetermined object that floats or falls in the air, and the detection means applies light to the subject imaged by the imaging means. Based on image data taken when the illumination is turned on and image data taken when the illumination is turned off! Calculate the difference in brightness value of each pixel corresponding to each image data V, and detect the pixel whose brightness value exceeds a preset value as the pixel corresponding to the disturbing object.
  • the correcting means can replace the pixel of the obstructing object in the image data detected by the detecting means with another pixel.
  • an image when the illumination for illuminating the subject is turned on and an image when the illumination is turned off are photographed, and data of the photographed image is obtained. It is determined that the image data should be corrected by the correction necessity determination step and the correction necessity determination step that determine whether or not to correct the image data that is output from the output photographing means. In this case, the image data is corrected based on the image data captured when the illumination is turned on and the image data captured when the illumination is turned off. A correction step; and an output step of outputting corrected image data by the processing of the correction step.
  • the illumination for illuminating the subject is turned on. And the image when the illumination is turned off are determined, and it is determined whether or not to correct the image data output from the imaging means that outputs the captured image data. If it is determined that correction should be performed on the image, the image data captured when the illumination that illuminates the subject captured by the imaging means is turned on, and the image data captured when the illumination is turned off, Based on the above, the image data is corrected, and the corrected image data is output.
  • a second program to which the present invention is applied is a program for causing an image processing apparatus to perform image processing.
  • An image obtained when the illumination for illuminating a subject is turned on, and an image obtained when the illumination is turned off.
  • a correction necessity determination control step for controlling whether or not to correct the image data output from the photographing means that captures the image and outputs the data of the captured image, and a correction necessity determination control
  • the image data captured when the illumination to illuminate the subject photographed by the photographing means is turned on, and the illumination is turned off.
  • a correction control step for controlling the correction of the image data based on the image data taken at the time, and an output control for controlling the output of the corrected image data by the processing of the correction control step Characterized in that to execute the steps in Konbyu over data.
  • the second recording medium to which the present invention is applied is a recording medium on which a program for causing the image processing apparatus to perform image processing is recorded, and is an image when the illumination for illuminating the subject is turned on. And the image when the illumination is turned off, and whether or not correction is necessary to control whether or not to correct the image data output from the imaging means that outputs the captured image data
  • the image is taken when the illumination to illuminate the subject to be photographed by the photographing means is turned on.
  • the invention's effect it is possible to provide a comfortable visual field image.
  • FIG. 1 is a block diagram showing a configuration example of a monitoring device to which the present invention is applied.
  • FIG. 2 is a diagram illustrating a configuration example of an imaging unit in FIG.
  • FIG. 3 is a diagram illustrating sensitivity characteristics of an imaging unit.
  • FIG. 4 is a block diagram illustrating a configuration example of a control unit in FIG. 1.
  • FIG. 5 is a flowchart illustrating an example of image correction processing.
  • FIG. 6 is a flowchart illustrating an example of correction necessity determination processing.
  • FIG. 7 is a flowchart for explaining an example of obstructing object detection processing.
  • FIG. 8 is a diagram illustrating an example of an image in which an obstructing object is captured.
  • FIG. 9 is a diagram showing an example of dividing the image of FIG. 8 into a plurality of regions.
  • FIG. 10 is a diagram showing an example of a pixel histogram.
  • FIG. 11 is a flowchart illustrating an example of mode A processing.
  • FIG. 12 is a flowchart illustrating an example of mode B processing.
  • FIG. 13 is a diagram showing an example of continuous frames.
  • FIG. 14 is a diagram showing an example of a pixel histogram.
  • FIG. 15 is a diagram showing an example of a pixel histogram.
  • FIG. 16 is a diagram illustrating an example of mode C processing.
  • FIG. 17 is a flowchart illustrating an example of feature determination processing.
  • FIG. 18 is a flowchart for explaining another example of disturbing object detection processing.
  • FIG. 19 is a diagram showing an example of an image taken when lighting is turned on.
  • FIG. 20 is a diagram showing an example of an image taken when the illumination is turned off.
  • FIG. 21 is a diagram showing an example of an image from which an obstructing object is removed.
  • FIG. 22 is a flowchart for explaining an example of obstructing object removal processing.
  • FIG. 23 is a diagram showing an example of a frame image to be corrected.
  • FIG. 24 is a diagram showing an example of an image of the previous frame in time.
  • FIG. 25 is a diagram showing an example of an image in which pixels are replaced.
  • FIG. 26 is a diagram showing another example of an image of a frame to be corrected.
  • FIG. 27 is a diagram showing another example of the image of the previous frame in time.
  • FIG. 28 is a diagram showing another example of an image in which pixels are replaced.
  • FIG. 29 is a block diagram showing another configuration example of the monitoring device to which the present invention is applied.
  • FIG. 30 A flow chart illustrating an example of obstruction removal processing by the monitoring device of FIG.
  • FIG. 31 is a block diagram illustrating a configuration example of a personal computer.
  • FIG. 1 is a block diagram showing an external configuration example of an embodiment of a monitoring device 100 to which the present invention is applied.
  • the monitoring device 100 is a device that is mounted on, for example, an automobile and presents a comfortable field of view image to the user by photographing the front outside the vehicle, and includes an imaging unit 101, a control unit 102, and a display unit 103. ing.
  • the imaging unit 101 is configured by a camera or the like, for example, and applies light input from the lens 101a.
  • a base image (whether it is a moving image or a still image! / ⁇ ) is captured, and data of the captured image is output to the control unit 102.
  • the imaging unit 101 captures a moving image, the captured image data is output as digital data encoded in units of frames.
  • the control unit 102 performs a predetermined process on the image data supplied from the imaging unit 101, corrects it by removing an obstructing object, and displays a signal corresponding to the corrected image data. Output to part 103.
  • the disturbing object is an object that exists in the air, such as a force floating in the air, falling in the air like snow or rain, or flying like an insect. And it hinders human visibility.
  • control unit 102 is connected to an external information device such as an electronic control unit (microcomputer (microcomputer), etc.) of an automobile, and various sensors connected to the information device as necessary. Get the output status.
  • an electronic control unit microcomputer (microcomputer), etc.
  • the display unit 103 is configured by, for example, an LCD (Liquid Crystal Display) or the like, and displays an image corresponding to a signal supplied from the control unit 102.
  • LCD Liquid Crystal Display
  • FIG. 2 is a block diagram illustrating a configuration example of the imaging unit 101.
  • the imaging unit 101 is configured such that light output from the lens 101 a is output to the imaging control unit 121.
  • the imaging control unit 121 is, for example, a logarithmic conversion type imaging device such as HDRC (High Dynamic Range CMOS (Complementary Metal Oxide Semiconductor)), a light detection unit 141, a logarithmic conversion unit 142, an A / D conversion unit 143, and An imaging timing control unit 144 is included.
  • HDRC High Dynamic Range CMOS (Complementary Metal Oxide Semiconductor)
  • the light of the subject incident through the lens 101a forms an image on a light detection surface (not shown) of the light detection unit 141 of the imaging control unit 121.
  • the light detection unit 141 includes, for example, a plurality of light receiving elements such as photodiodes, and converts the light of the subject imaged by the lens 1 Ola into a charge corresponding to the intensity (light quantity) of the light. Accumulate the converted charge.
  • the light detection unit 141 supplies the accumulated charge to the logarithmic conversion unit 142 in synchronization with the control signal supplied from the imaging timing control unit 144. Note that the photodetection unit 141 is not supplied with the converted charge but supplied to the logarithmic conversion unit 142 as it is. It's pretty cute.
  • the logarithmic conversion unit 142 includes, for example, a plurality of MOSFETs (Metal Oxide Semiconductor Field Effect Transistors).
  • the logarithmic conversion unit 142 uses the sub-threshold characteristic of the MOSFET to change the charge (or current) supplied from the photodetection unit 141 to a voltage proportional to the logarithm of the number of charges (or current intensity) for each pixel. Convert to analog electrical signal with value.
  • the logarithmic conversion unit 142 supplies the converted analog electrical signal to the A / D conversion unit 143.
  • the A / D conversion unit 143 converts an analog electric signal into digital image data in synchronization with the control signal supplied from the imaging timing control unit 144, and converts the converted image data into the image processing device 112. To supply. Accordingly, the pixel value of each pixel of the image data output from the imaging control unit 121 is a value proportional to the value obtained by logarithmically converting the amount of light of the subject incident on the light detection unit 141.
  • FIG. 3 is a graph showing the sensitivity characteristics of the HDRC imaging control unit 121, a CCD (Charge Coupled Device) imaging device, a silver halide film, and the human eye.
  • the horizontal axis indicates the logarithm of the illuminance (unit: lux) of the incident light
  • the vertical axis indicates the sensitivity.
  • Line 151 indicates the sensitivity characteristic of the imaging controller 121
  • line 152 indicates the sensitivity characteristic of the human eye
  • line 153 indicates the sensitivity characteristic of the silver salt film
  • line 154 indicates the sensitivity characteristic of the CCD image sensor.
  • the sensitivity characteristic of the conventional CMOS image sensor is almost similar to the sensitivity characteristic of the CCD image sensor indicated by line 154.
  • the imaging control unit 121 outputs image data having a pixel value that is approximately proportional to the logarithm of the amount of light of the incident subject, thereby forming a photo that constitutes the imaging control unit 121.
  • saturating capacitances such as diodes and MOSFETs, CCD image sensors, silver salt films, and about 170 dB of dynamics from about 1 millilux to about 500 k / letter, higher than the brightness of sunlight, wider than the human eye Have a range.
  • the logarithmic conversion unit 142 outputs data consisting of luminance values (or pixel values) substantially proportional to the logarithm of the incident light quantity, so that even when the incident light quantity becomes large, Capacitance of elements such as photodiodes and MOSFETs constituting the imaging controller 121 is saturated, and the current flowing through each element and the applied voltage output according to the input of each element.
  • the range that can be performed is not exceeded. Accordingly, it is possible to obtain a luminance value (or pixel value) according to the fluctuation of the amount of incident light almost accurately within the range of luminance that can be imaged.
  • the dynamic range of the imaging control unit 121 is not limited to the above-mentioned 170 dB, but depending on the purpose of use, it is necessary to use one corresponding to the required dynamic range, such as about 10 dB or 200 dB. .
  • the imaging apparatus 101 using the imaging control unit 121 can brighten the subject to the maximum pixel value that can be output by the imaging device without adjusting the amount of incident light by adjusting the aperture, shutter speed, and the like.
  • the pixel value corresponding to the portion is clipped, or the pixel value force S corresponding to the dark portion of the subject is clipped to the minimum pixel value that can be output by the image sensor.
  • the imaging apparatus 101 can faithfully capture the detailed change in luminance of the subject without the bright portion of the subject flying white or the dark portion being painted black.
  • the imaging device 101 using the imaging control unit 121 captures the front of the vehicle from the inside of the vehicle during the daytime, even if the sun is within the angle of view, without adjusting the amount of incident light, Images that faithfully reproduce the conditions of the sun and the road ahead can be taken.
  • the imaging device 101 can adjust the incident light of the headlight of the oncoming vehicle without adjusting the amount of incident light even if the headlight of the oncoming vehicle is illuminated from the front. It is possible to shoot an image that faithfully reproduces even the darkest part of the car illuminated by the headlight of the vehicle.
  • the imaging apparatus 101 using the imaging control unit 121 does not need to adjust the amount of incident light, in the image data output from the imaging apparatus 101, for example, during imaging of two frames.
  • the pixel values corresponding to the areas where the luminance changes fluctuate, and there are almost no pixel values corresponding to the areas where the luminance does not change. Does not fluctuate. Therefore, the pixel value (hereinafter also referred to as the difference value) of each pixel of the data (hereinafter referred to as difference data) obtained by taking the difference of the image data between the frames reflects the change in luminance of the subject almost faithfully. Value.
  • an imaging apparatus using a CCD imaging device whose dynamic range is narrower than the human eye needs to adjust the amount of incident light in accordance with the brightness of the subject. If there is an area in the subject where the brightness varies and an area that does not vary, during shooting, the pixel value corresponding to the area where the intensity does not vary may also vary. Therefore, the difference value of each pixel of the difference data may not be a value that faithfully reflects the change in luminance of the subject.
  • the pixel value of the image data output from the imaging device 101 is a value that is substantially proportional to the logarithm of the amount of light of the subject, regardless of the brightness (illuminance) of the illumination irradiated to the subject,
  • the histogram showing the distribution of pixel values in the image data obtained by photographing the subject has almost the same shape as the histogram showing the reflectance distribution of the subject.
  • the difference in the histogram width indicating the distribution of the pixel values of the first image data and the second image data is about 100 times.
  • the sensitivity of the CCD image sensor and the silver salt film is not proportional to the illuminance of the incident light due to factors such as the gamma characteristic. . Therefore, the histogram showing the distribution of pixel values of image data using a CCD image sensor or silver halide film is dependent on the amount of light (intensity of illuminance) even if the distribution of the amount of incident light (illuminance) is uniform. , Its shape changes.
  • FIG. 4 is a block diagram illustrating a configuration example of the control unit 102.
  • an obstruction state detection unit 161 detects whether there is a force with an obstruction (snow) to be removed from an image based on information acquired from, for example, a microcomputer of an automobile.
  • Interfering object detection unit 162 Blocking objects in the image supplied from the unit 101 are detected.
  • the moving state control unit 163 detects the moving state of the automobile and the moving state of the obstructing object, detects the positional relationship between the obstructing object and the background in both moving state force images, and determines the positional relationship between the two. Based on the above, a frame in which there is a pixel to be replaced along with correction and a pixel to be replaced are determined.
  • the disturbing object registration unit 165 stores the data of the characteristic amount of the obstructing object in advance, and stores the characteristic amount of the obstructing object detected by the obstructing object detection unit 162 as necessary. The degree of coincidence with the feature quantity of the obstructing object is detected.
  • the disturbing object removing unit 164 is based on the processing results of the disturbing object detecting unit 162, the moving state control unit 163, and the obstructing object registering unit 165. Then, the pixel corresponding to the disturbing object is replaced (removed from the disturbing object), corrected, and a signal corresponding to the corrected image data is output to the display unit 103.
  • each unit configuring control unit 102 may be configured by hardware such as a semiconductor integrated circuit in which a logical operation unit and a storage unit for realizing the functions described above are incorporated.
  • the control unit 102 may be configured by a computer, for example, and each unit described above may be configured as a function block realized by software processed by the computer.
  • the monitoring device 100 is mounted on a car, and the imaging unit 101 captures a front image and displays it on the display unit 103, and also displays snow as an obstructing object from the captured image. Shall.
  • step S101 the control unit 102 executes correction necessity determination processing described later with reference to FIG. Thereby, it is determined whether or not the image data supplied from the imaging unit 101 needs to be corrected.
  • step S102 the control unit 102 determines whether or not the force is determined to require correction as a result of the process in step S101. If it is determined that correction is necessary, the process proceeds to step S1.
  • step S103 the control unit 102 performs a disturbing object detection process to be described later with reference to FIG. Execute. Thereby, a pixel (or a block of pixels) corresponding to the disturbing object in the image data supplied from the imaging unit 101 is detected.
  • step S104 the control unit 102 executes a disturbing object removal process which will be described later with reference to FIG. As a result, the disturbing object force image force detected by the process of step S103 is removed.
  • step S104 the control unit 102 outputs a signal corresponding to the image data to the display unit 103 to display an image.
  • step S102 determines that correction is not necessary, the processing in steps S103 and S104 is skipped, and the image captured by the imaging unit 101 is displayed without correction.
  • step S101 in FIG. 5 the details of the correction necessity determination processing in step S101 in FIG. 5 will be described with reference to the flowchart in FIG.
  • step S121 the disturbance state detection unit 161 obtains the output information of the raindrop sensor from an automobile microcomputer, etc., determines whether the sensor has detected an object (such as snow or rain), and detects the object. If it is determined that it has been performed, the process proceeds to step S122.
  • an object such as snow or rain
  • step S122 the disturbance state detection unit 161 determines whether or not the wiper has operated for a preset time (for example, 1 minute) based on information acquired from the microcomputer of the vehicle, and the like. If it is determined that the wiper has operated for the time, the process proceeds to step S123. For example, even if it is determined in step S121 that the raindrop sensor has detected an object, it may be temporary due to, for example, splashing of water. Snow) is not always falling. Therefore, it is further determined whether or not the wiper has operated for a predetermined time.
  • a preset time for example, 1 minute
  • step S123 the disturbance state detection unit 161 determines whether the vehicle speed is equal to or lower than a threshold value based on information acquired from the microcomputer of the vehicle. If it is determined that the vehicle speed is equal to or lower than the threshold value, the process is performed. Proceed to step S125. When it is snowing, it is considered that the normal vehicle speed will be slow, so it is further determined whether or not the vehicle speed is below the threshold value.
  • step S125 the disturbance state detection unit 161 determines that image correction is necessary. Set the correction required flag to ON. In the process of step S102 in FIG. 5, it is determined whether or not the correction flag is ON. If the correction flag force is ON, it is determined that correction is necessary.
  • step S121 determines whether the sensor does not detect an object. If it is determined in step S122 that the wiper is not operating for a predetermined time, or if the vehicle speed is If it is determined that it is not less than the threshold value, the process proceeds to step S124.
  • step S124 the disturbance state detection unit 161 determines whether or not correction is manually set. If it is determined that correction is manually set, the process proceeds to step S125. Proceed to For example, if the user (Dryno presses an operation button (not shown) to command image correction, the correction required flag is also set to ON. In step S1 24, the correction required setting is not made manually. If it is determined that the process has been successful, the process of step S125 is skipped and the process ends.
  • step S103 of FIG. 5 the details of the obstructing object detection process in step S103 of FIG. 5 will be described with reference to the flowchart of FIG.
  • step S141 the disturbing object detection unit 162 divides the image captured by the imaging unit 101 into predetermined areas.
  • an image as shown in FIG. 8 is divided as shown in FIG.
  • the part indicated by a white circle in the figure is snow that is an obstruction.
  • the image is divided into eight areas A to H.
  • step S142 the disturbing object detection unit 162 detects pixels within a threshold range existing in the image data.
  • the graph shown in Fig. 10 shows the relationship between the pixel value (pixel luminance value) of the image outside the vehicle and the number of pixels when it is snowing.
  • the horizontal axis represents the output value (pixel value)
  • the vertical axis represents the number of pixels
  • the pixel distribution (histogram) is indicated by a line 201.
  • the peak of the line 201 is formed in the portion where the output value (pixel value) is low on the left side and the portion where the output value (pixel value) is high on the right side in the drawing.
  • the peak on the left side in the figure is due to pixels corresponding to a low-luminance background in the image, and the peak on the right side in the figure is due to pixels corresponding to snow that is an obstructing object.
  • the threshold value a and the threshold value b are the lower limit and upper limit of the pixel value corresponding to the snow that is the obstructing object, respectively, and are set in advance and are appropriate values for distinguishing the background from the obstructing object. Therefore, a pixel having a value that is greater than or equal to the threshold a and less than or equal to the threshold b (a pixel within the threshold range) is considered to be highly likely to be a pixel of a disturbing object.
  • the threshold value a and the threshold value b are set based on, for example, a histogram of pixel values created based on image data acquired by taking an image of snowing in advance and acquired! The
  • the threshold value may be set dynamically according to the weather or the like that is not necessarily set constant. For example, since the intensity of sunlight is different between a sunny day and a cloudy day (or day and night), even if the same object is used, The luminance value of the pixel may be different. In such a case, a threshold that is suitable for distinguishing between a background and a disturbing object based on the luminance value of an object that is always observed in an image and that has a reflectance stored in advance (for example, a road surface). But let's select (set dynamically).
  • the imaging unit 101 when the imaging unit 101 is attached in front of a car, the road surface (asphalt) is always shown at the lower end of the image to be captured, so images captured in advance in a plurality of different weather conditions.
  • the relationship between the brightness value of the road surface and snow (for example, the difference in brightness value) is stored, and if the brightness of the image taken by the weather changes, the brightness value of the pixel corresponding to the road surface is calculated.
  • a pixel corresponding to snow may be detected.
  • the pixel force within the threshold range detected in the process of step S142 may be detected as it is as a pixel corresponding to the obstacle. In this case, the processing of steps S1 43 to S 146 described later may be omitted!
  • step S143 the disturbing object detection unit 162 checks the mode set in the monitoring apparatus 100.
  • the mode is set in advance by the user, for example, in order to select the detection method of the obstructing object, and is appropriately set according to how snow falls, the characteristics of the imaging unit 101, and the like. If it is determined in step S 143 that mode A is set, the process proceeds to step S 144, and the disturbing object detection unit 162 executes mode A processing.
  • the details of the mode A process in step S144 of FIG. 7 will be described with reference to the flowchart of FIG.
  • step S161 the disturbing object detection unit 162 determines whether or not pixels within the threshold range exist in all the regions. At this time, for example, it is determined whether or not there is a pixel having a value within the threshold range in all the areas A to H described above with reference to FIG.
  • step S161 If it is determined in step S161 that pixels within the threshold range exist in all regions, the process proceeds to step S162, and the disturbing object detection unit 162 sets the pixels within the threshold range as pixels of the disturbing object. Set as image pixel.
  • a pixel having a value within the threshold range is a pixel corresponding to a bright image having a relatively high luminance value, and is considered to be a white object, for example. However, if such image pixels are not part of the image, for example, in all the areas A to H in FIG. 9 (spread widely), the image corresponding to the pixel is snow. Since there is a high possibility, a pixel having a value within the threshold range is regarded as an obstructing object.
  • step S161 determines whether there are no pixels within the threshold range in all the regions. If it is determined in step S161 that there are no pixels within the threshold range in all the regions, the process of step S162 is skipped.
  • pixels corresponding to a bright image with a high luminance value exist in a part of the image other than the entire image. Since an image corresponding to the pixel is likely to be a building, for example, a pixel having a value within the threshold range is not set as a disturbing object.
  • the mode A processing According to the detection of the obstructing object by the mode A processing described above, for example, when the vehicle equipped with the monitoring device 100 is white in front of the vehicle and the truck is running in parallel, the brightness is high. It is determined that the pixels of the image are present in all areas, and may be erroneously set as an obstructing object (snow). For example, if the imaging unit 101 is configured with a high-speed camera, etc., detection by mode A processing may detect an obstructing object by mistake. It is necessary to make it possible to detect the obstructing object more reliably. For this reason, when the imaging unit 101 is configured using a high-speed camera or the like, the mode B process is executed instead of the mode A process. That is, in step S143 in FIG. 7, it is determined that the mode B is set, the process proceeds to step S145, and the mode B process is executed.
  • step S181 is the same as the processing in step S161 in Fig. 11, and thus detailed description thereof is omitted. If it is determined in step S181 that pixels within the threshold range exist in all regions, the process proceeds to step S182.
  • step S182 the disturbing object detection unit 162 determines whether or not the state in which the pixels within the threshold range exist in all the regions continues for a predetermined number of frames (for example, several tens to several hundreds frames). Determine. For example, as shown in FIG. 13, in the case where all the frames from the nth frame to the (n + 101) th frame are snowed and images are recorded, In S182, it is determined that the state where pixels within the threshold range exist in all the regions has continued for a predetermined number of frames, and the process proceeds to Step S183.
  • a predetermined number of frames for example, several tens to several hundreds frames.
  • step S183 when it is determined that the state where the pixels within the threshold range exist in all the regions continues for a predetermined number of frames and it is determined that the state is not, the process of step S183 is skipped.
  • step S183 is the same as the processing in step S162 in Fig. 11, and thus detailed description thereof is omitted.
  • the imaging unit 101 uses a high-speed camera, etc., because it is determined whether or not a state where pixels within the threshold range exist in all the regions continues for a predetermined number of frames. In this case, it is possible to prevent erroneous detection of a bright object (eg, a white truck) that temporarily blocks the field of view in front of the automobile on which the monitoring device 100 is mounted as an obstructing object.
  • a bright object eg, a white truck
  • FIG. 14 is a diagram showing a histogram of image pixels in the case of heavy snow.
  • the horizontal axis indicates the output value (pixel value)
  • the vertical axis indicates the number of pixels
  • the pixel distribution (histogram) is indicated by a line 221.
  • a peak of a line 221 is formed in the center of the figure due to an obstructing object (snow).
  • the pixel output values are concentrated, and the peak of line 221 is formed within the threshold range (the output value between threshold a and threshold b). Probability is high.
  • FIG. 15 is a diagram showing a histogram of pixels of an image in the case of a small descent.
  • the horizontal axis is the output value (pixel value)
  • the vertical axis is the number of pixels
  • the pixel distribution (histogram) is indicated by a line 222.
  • a line 222 peak due to a low-brightness background is formed in the low luminance part on the left side of the figure
  • a line 222 peak due to an obstruction (snow) is formed near the center in the figure.
  • the peak of the line 222 with a high luminance background is formed in the high luminance portion.
  • threshold range are more likely to contain pixels of a high-luminance background image. In this way, if the output of each pixel does not concentrate at a certain level, the threshold range must be increased and an appropriate threshold (e.g. threshold b) for distinguishing between background and disturbing objects. Is difficult to set.
  • an appropriate threshold e.g. threshold b
  • Mode C processing That is, in step S 143 of FIG. 7, it is determined that mode C is set, and the process proceeds to step S 146 where mode C processing is executed.
  • step S202 the threshold range is applied to all regions. If it is determined that the state in which the surrounding pixels exist continues for a predetermined number of frames, the process proceeds to step S203, and the feature determination process is executed.
  • step S221 the disturbing object detection unit 162 extracts blocks composed of pixels within the threshold range from the image.
  • step S222 the disturbing object detection unit 162 calculates the feature amount of the block extracted in step S221. At this time, for example, by performing Laplacian transformation on the block of the pixel, the shape of the block is close to the particle shape and is calculated as a numerical value. It should be noted that a reference value for determining a shape close to a particulate shape is stored in advance in the obstructing object registration unit 165.
  • the area corresponding to the block in the image is equal to or less than a predetermined percentage of the entire image (the size occupied in the image is small). For example, based on the analysis result of an image taken in advance, a constant value is set for the ratio of snow particles to the entire image according to the angle of view of the lens 101a, and the area of the block extracted in step S221. The percentage power of how close to the preset value is calculated as a numerical value. Further, how close the pixel block color is to the white snow color may be calculated as a numerical value. It is assumed that values such as a threshold necessary for calculating these numerical values are stored in the obstructing object registration unit 165 in advance.
  • the disturbing object detection unit 162 calculates the difference between the feature amount calculated in step S222 and the preset feature amount stored in the disturbing object registration unit 165, and The difference is determined as to whether the force is below a threshold.
  • This threshold value is a threshold value for determining the degree of coincidence between the feature quantity of the pixel block of interest and the feature quantity of the disturbing object.
  • the threshold value is set in advance and stored in the disturbing object registration unit 165. Shall.
  • step S223 If it is determined in step S223 that the difference between the feature amount calculated in step S222 and the preset feature amount stored in the obstructing object registration unit 165 is equal to or smaller than the threshold value, step S221 The block extracted at step S224 is considered to be close to the feature of snow, so the process proceeds to step S224, where the obstruction detection unit 162 adds the block extracted at step S221.
  • the feature value match flag indicating the feature value match is set to ON.
  • step S223 if it is determined in step S223 that the difference between the feature amount calculated in step S222 and the preset feature amount stored in the disturbing object registration unit 165 exceeds the threshold value, Since the block extracted in step S221 is considered not to have snow features, the process proceeds to step S224, and the obstruction detection unit 162 turns off the feature amount match flag for the block extracted in step S221. Set to.
  • step S204 the disturbing object detection unit 162 confirms whether or not each block whose characteristics are determined in step S203 matches the characteristics of the disturbing object. Determine whether or not.
  • whether or not the feature matches the feature of the obstructing object is determined based on the feature amount match flag described above.
  • step S204 If it is determined in step S204 that the feature matches the characteristic of the disturbing object, the process proceeds to step S205, and the disturbing object detection unit 162 sets the pixel corresponding to the block as the disturbing object. On the other hand, if it is determined in step S204 that it does not match the characteristics of the obstructing object, the processing in step S205 is skipped.
  • step S201 or S202 may be omitted, and the detection of the disturbing object may be performed based on the result of the feature determination.
  • the obstacle may be detected by a process different from the case described above with reference to FIGS.
  • a user who actually drives a car may not always need to remove all the snow in the image. It may be possible to secure a sufficient field of view by removing only the snow part reflected by the headlights in the image.
  • the brightness of snow that significantly interferes with the field of view is identified by analyzing the snow image reflected and reflected by the headlight in advance, and based on that brightness (for example, the threshold value a in FIG. It is also possible to set a threshold value (which is slightly higher) so that all pixels with a luminance higher than the threshold value are detected as disturbing objects.
  • the disturbing object detection process of FIG. 7 may be a process in which, for example, pixels having a luminance equal to or higher than the threshold value are detected in step S142, and all detected pixels are set as disturbing objects.
  • step S261 the disturbing object detection unit 162 acquires an image captured by the imaging unit 101 when illumination such as a headlight is on.
  • step S262 the obstruction object detection unit 162 acquires an image captured by the imaging unit 101 when illumination such as a headlight is turned off.
  • the headlight may be controlled to be turned on or off each time according to the shooting timing. For example, if a headlight composed of an LED (Light Emitting Diode) is used, Since the LED is repeatedly turned on and off at a predetermined interval, it is not necessary to control the turning on and off of the headlight if an image is acquired from the imaging unit 101 in accordance with the interval.
  • LED Light Emitting Diode
  • step S263 the disturbing object detection unit 162 determines both the image acquired by the processing of step S261 and the processing of step S262, for example, to exclude the influence of lighting on or off. After performing processing such as making the average value of the overall brightness of the image equal, the difference is calculated and compared. In step S264, the disturbing object detection unit 162 detects a block of pixels whose difference exceeds a threshold value.
  • FIGS. 19 and 20 are diagrams showing examples of images acquired in steps S261 and S262.
  • step S261 when an illumination such as a headlight is on, the imaging unit An image as shown in FIG. 19 is acquired as an image taken at 101, and when an illumination such as a headlight is turned off at step S262, an image taken at imaging unit 101 is obtained as shown in FIG. It is assumed that an image as shown in FIG.
  • the snow force reflected on the headlight is clearly displayed in the entire image.
  • FIG. 20 since snow does not reflect on the headlight, forces such as oncoming cars, street lights, and pedestrians are used. It is clearly displayed in comparison with the case.
  • all the pixel values (luminance values) of the image in FIG. 20 are uniformly converted to be high so that the average value of the overall brightness is the same in both the image in FIG. 19 and the image in FIG.
  • the comparison is performed by calculating the difference in pixel values after performing processing such as performing the processing, the pixel block power corresponding to snow in FIG. 19 is detected as a significant difference (for example, the difference exceeds the threshold). Will be.
  • the headlight When the headlight is turned on and off, the amount of light radiated to the subject (in front of the car) varies greatly.
  • a camera using an imaging element with a narrow dynamic range such as a CCD
  • the bright part of the subject flies white on one side, and the dark part of the subject is painted black on the other.
  • the imaging device 101 using the HDRC imaging control unit 121 can output an imaging element without adjusting the amount of incident light by adjusting the aperture, shutter speed, and the like.
  • the pixel value corresponding to the bright part of the subject is clipped to the maximum pixel value, or the pixel value corresponding to the dark part of the subject is clipped to the minimum pixel value that can be output by the image sensor. Since clipping does not occur, it is possible to faithfully shoot detailed changes in brightness of the subject. As a result, it is possible to detect a snow pixel, which is a pixel reflected in the headlight light and has a significantly high luminance in the image of FIG. 19, as a significant difference from the image of FIG.
  • step S264 the disturbing object detection unit 162 sets the block detected by the process in step S263 (that is, the pixel block corresponding to snow in FIG. 19) as the disturbing object.
  • the driver can turn off the headlight in order to improve the forward field of view, and can be prevented from performing dangerous driving.
  • the driver feels that the snow illuminated by the headlight is dazzling when the headlight is lit even though the front is illuminated by the brightness and lighting of the sky in the dark. Sometimes. This is especially true when the surroundings are dim, such as at dusk, when the amount of snowfall is large and there are many snow grains. In such a case, if you turn off the headlights, the forward visibility will be improved. In such cases, the driver may be warned not to turn off the headlight.
  • the control unit 102 says, “Turn off the headlights because the surroundings are dark. It is also possible to output a sound signal of a message that conveys the danger, such as “Please look at the image on display 103” to the speaker in the car of the car, and prompt the driver to turn on the headlight.
  • the control unit 102 is an image from which the snow is not removed, except for the image at the moment when the headlight is turned on, of the data image output from the imaging unit 101, and the headlight is turned off. Only the image in the displayed state may be displayed on the display unit 103.
  • Whether or not to remove obstructing objects may be selected by the driver each time! If the brightness of the disturbing object is not significantly different from the surrounding brightness with the headlight turned off, the image may be displayed in such a manner that the disturbing object is not automatically removed. .
  • the force described so far for detecting the obstructing object The pixel corresponding to the obstructing object detected by the processing described above with reference to Fig. 7 is represented by, for example, a two-dimensional coordinate value in the image. Information specific to each pixel is specified individually, and information about the specified pixel is transferred. It is output to the moving state control unit 163 or the obstructing object removal processing unit 164.
  • step S104 in FIG. 5 the details of the obstructing object removal process in step S104 in FIG. 5 will be described with reference to the flowchart in FIG.
  • step S301 the disturbing object removal processing unit 164 acquires an image of a frame temporally prior to the frame of the image to be corrected.
  • step S302 the obstruction object detection unit 162 detects the pixel block set as the obstruction object in the image of the frame to be corrected in the image of the previous frame acquired in step S301.
  • the part (block) corresponding to the lock is detected as the part to be replaced.
  • step S303 the disturbing object removal processing unit 164 detects the block of pixels set as the disturbing object in the image of the frame to be corrected, and detects the block of pixels detected in the process of step S302. Replace with
  • the frame of the image to be corrected is the nth frame as shown in FIG. 23, the pixel corresponding to the obstructing object (snow) in this image is the pixel (xl, yl ) Is a block composed of surrounding pixels.
  • (xl, yl) represents the X-axis and y-axis coordinates in the image.
  • step S301 for example, an image of a frame as shown in Fig. 24 is acquired as a frame temporally prior to the nth frame.
  • step S302 the portion of the image in FIG. 24 corresponding to the block of pixels set as the obstruction in the image of the frame to be corrected (FIG. 23), that is, the pixel (xl, yl) is detected as a part to be replaced. Note that it is checked in advance that the block does not contain snow centering on the pixel (xl, yl) in Fig. 24, and it is detected as a part to be replaced.
  • step S303 the snow in FIG. 23 is replaced with a block centered on the pixel (xl, yl) in FIG. 24 and removed.
  • the movement state control unit 163 When the automobile is moving (running), the movement state control unit 163 considers the movement of the image and detects it as a portion to be replaced. For example, when the car is moving forward, an image as shown in FIG. 26 is taken as an image of the nth frame and then shown as an image of the (n + 10) th frame in FIG. Images like It will be shadowed. Since the car is moving forward, in FIG. 26, the object displayed near the center of the vertical axis in the figure (for example, trees on both sides of the road) approaches as the car moves. In 27, compared to the case of FIG. 26, it is displayed slightly below the vertical axis in the figure.
  • the frame of the image to be corrected is the (n + 10th) frame of FIG. 27, and the image of the previous frame acquired in step S301 is the nth frame of FIG.
  • the pixel (pixel xll, y11) set as a disturbing object in Fig. 27 cannot be replaced with the pixel at the same position (pixel xll, yll) in the image of Fig. 26. .
  • the movement state control unit 163 extracts a predetermined block from the image and calculates a motion vector, so that (pixel xll, yll) of the image in FIG. It is detected that y2 corresponds to 1), and the obstructing object removal processing unit 164 is notified.
  • step S303 as shown in FIG. 28, the block centered on the pixel (pixel xll, yll) set as the obstructing object in FIG. 27 is the pixel (x21, y21 in FIG. 26). ) Will be replaced by a block centered on.
  • the obstruction is performed in step S304.
  • the removal processing unit 164 generates a corrected image signal based on the image and outputs it to the display unit 103.
  • a corrected image signal based on the image and outputs it to the display unit 103.
  • snow as an obstructing object is removed from the image shown in FIG. 19, and a corrected image as shown in FIG. 21 is displayed. That is, an image (FIG. 21) with the snow removed from the image cover shown in FIG. 19 is virtually generated.
  • the monitoring device 100 may be installed in a snowy place such as a ski resort.
  • the monitoring device 100 When the monitoring device 100 is installed at a ski resort etc., the monitoring device 100 will not move. Therefore, the movement state control unit 163 may not be provided.
  • the image pickup control unit 121 of the image pickup unit 101 can be configured by a CCD image pickup device, a CMOS image pickup device, or the like.
  • the monitoring device 100 can be used without using a logarithmic conversion type image pickup device such as HDRC. Can be configured.
  • the pixel held is an obstructing object, and the obstructing object detection process described above with reference to FIG. 7 is performed.
  • FIG. 29 is a block diagram showing another configuration example of the monitoring apparatus to which the present invention is applied.
  • the monitoring apparatus 200 in the figure blocks denoted by the same reference numerals as those in the monitoring apparatus 100 in FIG. 1 are the same as those in FIG. 1, and detailed description thereof is omitted.
  • the imaging unit 101-1 and the imaging unit 101-2 are provided as imaging units.
  • the imaging unit 101-1 and the imaging unit 101-2 have the same height from the ground on the front grille in front of the automobile, respectively. Thus, it is attached to a position separated by a predetermined interval from side to side.
  • the image corresponding to the light incident through the lens 101-la of the imaging unit 101-1 and the image corresponding to the light incident through the lens 101-2a of the imaging unit 101-2 have parallax.
  • An imaging unit 101-1 and an imaging unit 101-2 are attached so as to form an image. Note that if the images captured by the imaging unit 101-1 and the imaging unit 101-2 can have an appropriate parallax, the imaging unit 101-1 and the imaging unit 101-2 are described above. It may be possible to install it at a position different from the installation position.
  • an image of a frame temporally prior to the frame of an image to be corrected is acquired, and an image of the previous frame in time is acquired.
  • An example in which an obstructing object is removed using a raw block has been described.
  • the movement state control unit 163 takes into account the movement of the image and detects the block (the part to be replaced) used in the previous frame in terms of time. For example, if the car is driving on a winding road with a sharp curve, the direction of the car will change greatly over time and will be captured by the imaging unit 101. The image changes greatly in a relatively short time.
  • the image of the frame that is a predetermined time before the frame of the image to be corrected includes, for example, a different subject from the image of the frame to be corrected. It is no longer the same image (which gives the viewer the same impression), and it may not be appropriate to remove the obstructing object by replacing it with a block of pixels from the previous frame in time. is there.
  • the monitoring apparatus 200 different (having a difference of view) images taken by the two imaging units are acquired at the same time. Thus, it is possible to perform correction based on the image captured by the other imaging unit. In this way, for example, even when the vehicle is traveling on a winding road, it is possible to appropriately remove the obstructing object.
  • Fig. 30 shows an example of the obstruction removal processing when the monitoring device 200 corrects an image captured by one imaging unit with an image captured by the other imaging unit at the same timing. .
  • FIG. 30 is a flowchart illustrating another example of the obstructing object removing process, which is an example of the obstructing object removing process executed by the monitoring apparatus 200 described above.
  • the monitoring apparatus 200 it is assumed that an image captured mainly by the imaging unit 101-1 is displayed on the display unit 103.
  • step S361 in the figure the obstructing object removal processing unit 164 acquires an image captured by another imaging unit (in this case, the imaging unit 101-2). Note that this image is an image captured by the image capturing unit 101-2 at the same timing as the image captured by the image capturing unit 101-1 (image to be corrected).
  • step S362 the disturbing object detection unit 162 is obtained by the process of step S361.
  • a portion (block) corresponding to a block of pixels set as an obstructing object is detected as a portion to be replaced.
  • the image acquired in step S361 is captured at the same timing as the image to be corrected, and becomes an image having parallax with the image to be corrected.
  • the image acquired in the process of step S3 61 is an image including the same object as the image to be corrected, and gives an image with almost the same impression to the observer, while the image to be corrected.
  • the position (coordinates) of the included object is an image that shows the same object at slightly different positions. In other words, when removing sufficiently small obstructing objects such as falling snow, the image is taken at the same coordinate position as the coordinate position of the part where snow appears in the image to be corrected taken by the imaging unit 101-1. Even in the image captured by Section 101-2, it is very unlikely that snow will appear. In addition, it is very unlikely that there is an object in the image acquired by the process of step S361 in the vicinity of the part where the snow appears in the image to be corrected. Conceivable.
  • the portion where snow is reflected in the image to be corrected is composed of pixels around the pixel (xl, yl)
  • the pixels in the image to be corrected A block with a sufficiently small area composed of surrounding pixels centered on (xl, yl) is composed of surrounding pixels centered on the pixel (xl, yl) in the image acquired in step S361.
  • the blocks By replacing the blocks with the same area, it is possible to generate a natural image in which only the snow which is the obstructing object is removed from the image to be corrected.
  • the block image corresponding to the pixel of the disturbing object is replaced as described above.
  • step S364 a corrected image from which the disturbing object is removed through the process of step S363 is generated.
  • a CPU (Central Processing Unit) 501 has various types according to programs stored in a ROM (Read Only Memory) 502 or programs loaded from a storage unit 508 to a RAM (Random Access Memory) 503. Execute the process.
  • the RAM 503 also appropriately stores data necessary for the CPU 501 to execute various processes.
  • CPU 501, ROM 502, and RAM 503 are connected to each other via a bus 504.
  • An input / output interface 505 is also connected to the bus 504.
  • the input / output interface 505 includes an input unit 506 including a keyboard and a mouse, a display including a CRT (Cathode Ray Tube) and an LCD (Liquid Crystal display), and an output unit 507 including a speaker power, a hard disk
  • a communication unit 509 including a storage unit 508 including a network interface card such as a modem and a LAN card is connected.
  • a communication unit 509 performs communication processing via a network including the Internet.
  • a drive 510 is also connected to the input / output interface 505 as necessary, and a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately mounted, and these forces are also read out.
  • the computer program is installed in the storage unit 508 as necessary.
  • This recording medium is a magnetic disk (floppy disk) on which the program is recorded, which is distributed to distribute the program to the user separately from the apparatus main body shown in FIG. Disk (including registered trademark)), optical disk (including compact disk-read only memory (CD-ROM), DVD (digital versatile disk)), magneto-optical disk (including MD (mini-disk) (registered trademark))
  • a ROM 502 on which a program is recorded and a hard disk included in the storage unit 508 are delivered to the user in a state of being pre-installed in the main body of the apparatus that is configured only by the removable medium 511 including a semiconductor memory or the like. Including later life.
  • processing includes processing that is not necessarily performed in time series but is executed in parallel or individually.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

　本発明は、視界を遮る妨害物体を除去し、快適な視界の画像を提供できるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。妨害状態検出部１６１が撮像部で撮影された画像を補正する必要があるか否かを判定し、妨害物体検出部１６２が撮影された画像の中の妨害物体に対応する画素を検出する。妨害物体除去処理部１６４は、移動状態制御部１６３と妨害物体登録部１６５からの出力に基づいて、補正すべき画像のフレームにおける妨害物体の画素を、時間的に前のフレームにおける対応する画素と置き換えて、画像から妨害物体を除去するように補正して表示部に出力する。

Description

明 細 書
画像処理装置および方法、プログラム、並びに記録媒体
技術分野
[0001] 本発明は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、 視界を遮る妨害物体を除去し、快適な視界の画像を提供できるようにする画像処理 装置および方法、プログラム、並びに記録媒体に関する。
背景技術
[0002] 近年、夜間に前方のヘッドライトで照らされた領域よりも遥かに暗い領域の視認性 を向上させるために、カメラなどの撮像手段で喑 、領域が写るように撮影した画像を 、表示手段で表示する方法がある。しかし、雪や豪雨の時には手前 (カメラの近く）に ある雪や雨がヘッドライトに照らされて明るく撮像され、それが明るく表示されるため に視認性が著しく下がり、前方の歩行者や障害物を認識できないという問題点がある 。このため、車両用灯具において、気象や路面状況の変化に応じた照射制御を行う こと〖こよって、前方視界を改善する方法が提案されている (例えば、特許文献 1参照。
) o
[0003] また、例えば、絞りなどで光量を極端に少なくして長時間露出する方法で写真を撮 影すると、動く物体は写らないので静止している道路や建物が撮影できるので雪や 雨など動く物体が取り除かれた画像を提供することも可能であるが、提供される画像 はほぼ静止画像と同様になるため、リアルタイム性が求められる監視などの応用には 向かない。
[0004] リアルタイム性が求められる監視などに適用する場合、前のフレームと後のフレーム の画素ごとの差分を計算して、閾値を越える差分が検出されたときに、閾値を超える 変化があった画素について、前のフレームの同一位置の画素のデータで置き換える ようにすれば、動きによって閾値を超える変化が発生した画素はもとのフレームのデ ータと置き換えられる。この方法によれば、舞い落ちる雪や道路上を通行する車両や 歩行者を除去して、静止して動かない道路やガードレールなどの道路に付帯する物 体や建物や橋などの物体を監視することができる。 特許文献 1：特開平 11― 321440号公報
発明の開示
発明が解決しょうとする課題
[0005] し力しながら、特許文献 1の技術では灯具によつて悪化した視界を改善する効果に っ ヽては期待できる力 手前にある雪によって遮蔽された部分にっ 、ては見ることが できな！/ヽと 、う課題があった。
[0006] また、前のフレームの同一位置の画素を置き換える方法を用いた監視装置を、車 に搭載して前方を表示すると、車の進行に応じて前方の画像の大半が動!、て変化す る状態となるため、ほとんどの領域で消去されて表示されない。したがって、カメラや 対象が動く場合には利用できないことになる。移動する物体が妨害物体であると単純 に判定する方法では、このような問題が発生するため、雪や雨などの妨害物体と視 認すべき物体を区別して処理する必要がある。
[0007] 特に雪は、撮影するシーンの輝度変化が大きい妨害物体であり、画像に占める大 きさが小さぐ形状も個々の雪によって大きく異なるため、画像の中で識別することは 困難である。また、カメラの近くにある雪は面積が大きく反射光量が多いため、前方の 物体よりも遥かに明るい光を撮像手段に入射するので通常の CCD撮像素子や CM OS撮像素子を用いる方法では、絞りやシャッター速度などの入射光量制御手段が 必要となる。入射光量制御手段が、手前にある明るい雪に対応して入射光量を減ら すと、前方が黒レベルでクリッピングされて写らなくなる。入射光量制御手段が前方の 暗い領域にあわせて入射光量を増やすと、雪の部分が周囲の画素に影響を与える フレアゃスミアなどの現象が発生して前方を撮影できない領域が大きく拡大してしまう
[0008] 本発明はこのような状況に鑑みてなされたものであり、視界を遮る妨害物体を除去 し、快適な視界の画像を提供できるようにするものである。
課題を解決するための手段
[0009] 本発明を適用した第 1の画像処理装置は、画像を撮影し、撮影された画像のデー タを出力する撮影手段と、撮影手段から出力される画像のデータについて補正を行 うか否かを判定する補正要否判定手段と、画像のデータ中で、空中を浮遊または落 下する所定の物体である妨害物体に対応する画素を検出する検出手段と、検出手 段により検出された画像のデータの中の妨害物体の画素を、他の画素と置き換える 置換え手段と、置換え手段により、妨害物体の画素が他の画素と置き換えられた画 像のデータを出力する出力手段とを備えることを特徴とする。
[0010] 本発明の第 1の画像処理装置においては、画像が撮影され、撮影された画像のデ ータが出力され、出力される画像のデータについて補正を行うか否かが判定され、画 像のデータ中で、空中を浮遊または落下する所定の物体である妨害物体に対応す る画素が検出され、検出された画像のデータの中の妨害物体の画素が、他の画素と 置き換えられ、妨害物体の画素が他の画素と置き換えられた画像のデータが出力さ れる。
[0011] したがって、視界の妨げとなる妨害物体が取り除かれた画像を提供することができ る。
[0012] 前記撮影手段は、撮影した光に対応して生成される電荷を、画素ごとに電荷の数 の対数に比例した電圧値を持つアナログの電気信号に変換し、アナログの電気信号 をデジタルデータに変換して画像のデータを出力するようにすることができる。
[0013] 撮影手段は、例えば、 HDRCカメラにより構成される。
[0014] したがって、ダイナミックレンジの広 ヽ画像を撮影し、妨害物体である雪の画素を確 実に検出することができる。
[0015] 前記撮影手段は、撮影した光に対応して生成される電流を、画素ごとに電流の大き さの対数に比例した電圧値を持つアナログの電気信号に変換し、アナログの電気信 号をデジタルデータに変換して画像のデータを出力するようにすることができる。
[0016] 前記検出手段は、画像のデータの画素の輝度値と、予め設定された閾値に基づい て、妨害物体に対応する画素を検出するようにすることができる。
[0017] 前記閾値は、画像のデータの中で、妨害物体に対応する画素と、背景に対応する 画素とを区別するための輝度値の上限および下限の閾値であり、検出手段は、閾値 の範囲内の輝度値をもつ画素を、妨害物体に対応する画素として検出するようにす ることがでさる。
[0018] したがって、妨害物体を背景と区別して適切に検出することができる。 [0019] 前記検出手段は、画像を複数の領域に分割し、分割された全ての領域の画像のデ ータの中に、閾値の範囲内の輝度値をもつ画素が存在する場合、閾値の範囲内の 輝度値をもつ画素を、妨害物体に対応する画素として検出するようにすることができ る。
[0020] したがって、画像の一部に存在する物体力 誤って妨害として検出されることが抑 止される。
[0021] 前記検出手段は、撮影手段が撮影した複数のフレームの全てのフレームの画像の データの中に、閾値の範囲内の輝度値をもつ画素が存在する場合、閾値の範囲内 の輝度値をもつ画素を、妨害物体に対応する画素として検出するようにすることがで きる。
[0022] したがって、一時的に視界を遮る物体が、誤って妨害として検出されることが抑止さ れる。
[0023] 前記検出手段は、閾値の範囲内の輝度値をもつ画素を中心とするブロックのデー タの特徴量を算出し、算出された特徴量と、予め記憶されている妨害物体に対応す る画素のブロックのデータの特徴量との差分を演算し、差分が予め設定された値以 下である場合、閾値の範囲内の輝度値をもつ画素を中心とするブロックを妨害物体 に対応する画素のブロックとして検出するようにすることができる。
[0024] したがって、画像の中の妨害物体の量などに係らず、確実に妨害物体を検出する ことができる。
[0025] 前記置換え手段は、検出手段により検出された画素を、撮影手段により撮影された フレームの画像であって、画素を置き換えるべきフレームより時間的に前のフレーム の画像において検出手段により検出された画素に対応する画素と置き換えるように することができる。
[0026] したがって、あた力も妨害物体が存在しない画像を生成することができる。
[0027] 前記撮影手段により撮影されたフレームの画像であって、画素を置き換えるべきフ レームより時間的に前のフレームの画像において検出手段により検出された画素に 対応する画素の位置を特定する特定手段をさらに備え、置換え手段は、検出手段に より検出された画素を、特定手段により特定された画素と置き換えるようにすることが できる。
[0028] したがって、画像処理装置が移動している場合であっても、適切に妨害物体が取り 除かれた画像を提供することができる。
[0029] 他の撮影手段をさらに備え、置換え手段は、検出手段により検出された画素を、他 の撮影手段により撮影された画像であって、画素を置き換えるべき画像と同じタイミン グで撮影された画像において、検出手段により検出された画素に対応する画素と置 さ換免るよう〖こすることがでさる。
[0030] したがって、ワインディングロードなどを走行して 、る場合でも、適切に妨害物体が 取り除かれた画像を提供することができる。
[0031] 本発明を適用した第 1の画像処理方法は、画像を撮影し、撮影された画像のデー タを出力する撮影手段から出力される画像のデータについて補正を行うか否かを判 定する補正要否判定ステップと、補正要否判定ステップの処理により、画像のデータ に対して補正を行うべきと判定された場合、画像のデータ中で、空中を浮遊または落 下する所定の物体である妨害物体に対応する画素を検出する検出ステップと、検出 ステップの処理により検出された画像のデータの中の妨害物体の画素を、他の画素 と置き換える置換えステップと、置換えステップの処理により、妨害物体の画素が他 の画素と置き換えられた画像のデータを出力する出力ステップとを含むことを特徴と する。
[0032] 本発明の第 1の画像処理方法にお!、ては、画像を撮影し、撮影された画像のデー タを出力する撮影手段から出力される画像のデータについて補正を行うか否かが判 定され、画像のデータに対して補正を行うべきと判定された場合、画像のデータ中で 、空中を浮遊または落下する所定の物体である妨害物体に対応する画素が検出さ れ、検出された画像のデータの中の妨害物体の画素力 他の画素と置き換えられ、 妨害物体の画素が他の画素と置き換えられた画像のデータが出力される。
[0033] 本発明を適用した第 1のプログラムは、画像処理装置に画像処理を行わせるプログ ラムであって、画像を撮影し、撮影された画像のデータを出力する撮影手段から出力 される画像のデータについて補正を行うか否かの判定を制御する補正要否判定制 御ステップと、補正要否判定制御ステップの処理により、画像のデータに対して補正 を行うべきと判定された場合、画像のデータ中で、空中を浮遊または落下する所定の 物体である妨害物体に対応する画素の検出を制御する検出制御ステップと、検出ス テツプの処理により検出された画像のデータの中の妨害物体の画素の、他の画素と の置き換えを制御する置換え制御ステップと、置換え制御ステップの処理により、妨 害物体の画素が他の画素と置き換えられた画像のデータの出力を制御する出力制 御ステップとをコンピュータに実行させることを特徴とする。
[0034] 本発明を適用した第 1の記録媒体は、画像処理装置に画像処理を行わせるプログ ラムが記録されている記録媒体であって、画像を撮影し、撮影された画像のデータを 出力する撮影手段から出力される画像のデータについて補正を行うか否かの判定を 制御する補正要否判定制御ステップと、補正要否判定制御ステップの処理により、画 像のデータに対して補正を行うべきと判定された場合、画像のデータ中で、空中を浮 遊または落下する所定の物体である妨害物体に対応する画素の検出を制御する検 出制御ステップと、検出ステップの処理により検出された画像のデータの中の妨害物 体の画素の、他の画素との置き換えを制御する置換え制御ステップと、置換え制御ス テツプの処理により、妨害物体の画素が他の画素と置き換えられた画像のデータの 出力を制御する出力制御ステップとをコンピュータに実行させるプログラムが記録さ れていることを特徴とする。
[0035] 本発明を適用した第 2の画像処理装置は、被写体に光を照射する照明を点灯した ときの画像と、照明を消灯したときの画像とを撮影し、撮影された画像のデータを出 力する撮影手段と、撮影手段から出力される画像のデータについて補正を行うか否 かを判定する補正要否判定手段と、撮影手段により撮影される被写体に光を照射す る照明を点灯したとき撮影された画像のデータと、照明を消灯したとき撮影される画 像のデータとに基づいて、画像のデータを補正する補正手段と、補正手段により、補 正された画像のデータを出力する出力手段とを備えることを特徴とする。
[0036] 本発明の第 2の画像処理装置においては、被写体に光を照射する照明を点灯した ときの画像と、照明を消灯したときの画像とが撮影され、撮影された画像のデータが 出力され、出力される画像のデータについて補正を行うか否かが判定され、撮影され る被写体に光を照射する照明を点灯したとき撮影された画像のデータと、照明を消 灯したとき撮影される画像のデータとに基づいて、画像のデータが補正され、補正さ れた画像のデータが出力される。
[0037] したがって、ユーザにとって快適な視界の画像を提供することができる。
[0038] 前記補正手段は、撮影手段により撮影される被写体に光を照射する照明を点灯し たとき撮影された画像のデータと、照明を消灯したとき撮影される画像のデータのうち
、照明を消灯したとき撮影される画像のデータが出力手段に出力されるように画像の データを補正するようにすることができる。
[0039] したがって、ユーザの視認性を損なうことなぐ自然に感じられる画像を表示するこ とがでさる。
[0040] 前記画像のデータ中で、空中を浮遊または落下する所定の物体である妨害物体に 対応する画素を検出する検出手段をさらに備え、検出手段は、撮影手段により撮影 される被写体に光を照射する照明を点灯したとき撮影された画像のデータと、照明を 消灯したとき撮影される画像のデータとに基づ！/、て、それぞれの画像のデータにお V、て対応する各画素の輝度値の差分を演算し、輝度値の差分が予め設定された値 を超える画素を、妨害物体に対応する画素として検出し、補正手段は、検出手段に より検出された画像のデータの中の妨害物体の画素を、他の画素と置き換えるように することができる。
[0041] したがって、簡単な構成で妨害物体を検出することができる。
[0042] 本発明を適用した第 2の画像表示方法は、被写体に光を照射する照明を点灯した ときの画像と、照明を消灯したときの画像とを撮影し、撮影された画像のデータを出 力する撮影手段から出力される画像のデータについて補正を行うか否かを判定する 補正要否判定ステップと、補正要否判定ステップの処理により画像のデータに対して 補正を行うべきと判定された場合、撮影手段により撮影される被写体に光を照射する 照明を点灯したとき撮影された画像のデータと、照明を消灯したとき撮影される画像 のデータとに基づいて、画像のデータを補正する補正ステップと、補正ステップの処 理により、補正された画像のデータを出力する出力ステップとを含むことを特徴とする
[0043] 本発明の第 2の画像表示方法においては、被写体に光を照射する照明を点灯した ときの画像と、照明を消灯したときの画像とが撮影され、撮影された画像のデータを 出力する撮影手段から出力される画像のデータについて補正を行うか否かが判定さ れ、画像のデータに対して補正を行うべきと判定された場合、撮影手段により撮影さ れる被写体に光を照射する照明を点灯したとき撮影された画像のデータと、照明を 消灯したとき撮影される画像のデータとに基づいて、画像のデータが補正され、補正 された画像のデータが出力される。
[0044] 本発明を適用した第 2のプログラムは、画像処理装置に画像処理を行わせるプログ ラムであって、被写体に光を照射する照明を点灯したときの画像と、照明を消灯した ときの画像とを撮影し、撮影された画像のデータを出力する撮影手段から出力される 画像のデータについて補正を行うか否かの判定を制御する補正要否判定制御ステツ プと、補正要否判定制御ステップの処理により画像のデータに対して補正を行うべき と判定された場合、撮影手段により撮影される被写体に光を照射する照明を点灯し たとき撮影された画像のデータと、照明を消灯したとき撮影される画像のデータとに 基づく画像のデータの補正を制御する補正制御ステップと、補正制御ステップの処 理により、補正された画像のデータの出力を制御する出力制御ステップとをコンビュ ータに実行させることを特徴とする。
[0045] 本発明を適用した第 2の記録媒体は、画像処理装置に画像処理を行わせるプログ ラムが記録されている記録媒体であって、被写体に光を照射する照明を点灯したとき の画像と、前記照明を消灯したときの画像とを撮影し、撮影された画像のデータを出 力する撮影手段から出力される画像のデータについて補正を行うか否かの判定を制 御する補正要否判定制御ステップと、補正要否判定制御ステップの処理により前記 画像のデータに対して補正を行うべきと判定された場合、前記撮影手段により撮影さ れる被写体に光を照射する照明を点灯したとき撮影された画像のデータと、前記照 明を消灯したとき撮影される画像のデータとに基づく前記画像のデータの補正を制 御する補正制御ステップと、前記補正制御ステップの処理により、補正された画像の データの出力を制御する出力制御ステップとをコンピュータに実行させるプログラム が記録されて 、ることを特徴とする。
発明の効果 [0046] 本発明によれば、快適な視界の画像を提供することができる。特に、視界を遮る妨 害物体を除去し、快適な視界の画像を提供できる。
図面の簡単な説明
[0047] [図 1]本発明を適用した監視装置の構成例を示すブロック図である。
[図 2]図 1の撮像部の構成例を示す図である。
[図 3]撮像部の感度特性を説明する図である。
[図 4]図 1の制御部の構成例を示すブロック図である。
[図 5]画像補正処理の例を説明するフローチャートである。
[図 6]補正要否判定処理の例を説明するフローチャートである。
[図 7]妨害物体検出処理の例を説明するフローチャートである。
[図 8]妨害物体が撮影された画像の例を示す図である。
[図 9]図 8の画像を複数の領域に分割する例を示す図である。
[図 10]画素のヒストグラムの例を示す図である。
[図 11]モード A処理の例を説明するフローチャートである。
[図 12]モード B処理の例を説明するフローチャートである。
[図 13]連続するフレームの例を示す図である。
[図 14]画素のヒストグラムの例を示す図である。
[図 15]画素のヒストグラムの例を示す図である。
[図 16]モード C処理の例を説明する図である。
[図 17]特徴判定処理の例を説明するフローチャートである。
[図 18]妨害物体検出処理の別の例を説明するフローチャートである。
[図 19]照明点灯時に撮影された画像の例を示す図である。
[図 20]照明消灯時に撮影された画像の例を示す図である。
[図 21]妨害物体が除去された画像の例を示す図である。
[図 22]妨害物体除去処理の例を説明するフローチャートである。
[図 23]補正すべきフレームの画像の例を示す図である。
[図 24]時間的に前のフレームの画像の例を示す図である。
[図 25]画素が置き換えられた画像の例を示す図である。 [図 26]補正すべきフレームの画像の別の例を示す図である。
[図 27]時間的に前のフレームの画像の別の例を示す図である。
圆 28]画素が置き換えられた画像の別の例を示す図である。
圆 29]本発明を適用した監視装置の別の構成例を示すブロック図である。
圆 30]図 29の監視装置による妨害物体除去処理の例を説明するフローチヤ る。
[図 31]パーソナルコンピュータの構成例を示すブロック図である。
符号の説明
[0048] 100 監視装置
101 撮像部
102 制御部
103 表示部
121 撮像制御部
141 光検出部
142 対数変換部
143 A/D変換部
161 妨害状態検出部
162 妨害物体検出部
163 移動状態制御部
164 妨害物体除去部
165 妨害物体登録部
発明を実施するための最良の形態
[0049] 以下、図面を参照して、本発明の実施の形態について説明する。図 1は、本発明を 適用した監視装置 100の実施の形態の外観構成例を示すブロック図である。監視装 置 100は、例えば、自動車などに搭載され、車外前方を撮影してユーザに快適な視 界の画像を提示する装置であり、撮像部 101、制御部 102、および表示部 103により 構成されている。
[0050] 撮像部 101は、例えば、カメラなどにより構成され、レンズ 101aから入力された光に 基づく画像 (動画像であっても静止画像であってもよ!/ヽ）を撮像し、撮像された画像の データを、制御部 102に出力する。なお、撮像部 101が動画像を撮影する場合、撮 影される画像のデータは、フレーム単位に符号ィ匕されたデジタルデータとして出力さ れる。
[0051] 制御部 102は、撮像部 101から供給される画像のデータに所定の処理を施して、 妨害物体を除去するなどして補正し、補正された画像のデータに対応する信号を表 示部 103に出力する。
[0052] ここで、妨害物体は空気中に浮遊している力 雪や雨などのように空気中を落下し ているか、虫などのように飛翔しているなどで空気中に存在する物体であって、人の 視界を妨げるものである。
[0053] また、制御部 102は、例えば、自動車の電子制御部（マイコン (マイクロコンピュータ )など)などの外部の情報機器に接続され、必要に応じて、情報機器に接続される各 種センサの出力状態などを取得する。
[0054] 表示部 103は、例えば、 LCD (Liquid Crystal Display)などにより構成され、制御部 102から供給される信号に対応する画像を表示する。
[0055] 図 2は、撮像部 101の構成例を示すブロック図である。同図に示されるように、撮像 部 101において、レンズ 101aから出力される光が撮像制御部 121に出力されるよう に構成されている。撮像制御部 121は、例えば、 HDRC (High Dynamic Range CMOS (Complementary Metal Oxide Semiconductor) )などの対数変換型の撮像素子とされ 、光検出部 141、対数変換部 142、 A/D変換部 143、および撮像タイミング制御部 1 44を含むように構成される。
[0056] レンズ 101aを通して入射した被写体の光は、撮像制御部 121の光検出部 141の 図示せぬ光検出面に結像する。
[0057] 光検出部 141は、例えば、フォトダイオードなどの複数の受光素子を備え、レンズ 1 Olaにより結像された被写体の光を、光の強さ（光量）に応じた電荷に変換し、変換し た電荷を蓄積する。光検出部 141は、撮像タイミング制御部 144から供給される制御 信号に同期して、蓄積された電荷を対数変換部 142に供給する。なお、光検出部 14 1に、変換した電荷を蓄積させずに、そのまま対数変換部 142に供給させるようにす ることち可會である。
[0058] 対数変換部 142は、例えば、複数の MOSFET (Metal Oxide Semiconductor Field E ffect Transistor)などにより構成される。対数変換部 142は、 MOSFETのサブスレツシ ョルド特性を利用して、光検出部 141から供給される電荷 (または電流)を、画素ごと に電荷の数 (または電流の強さ）の対数に比例した電圧値を持つアナログの電気信 号に変換する。対数変換部 142は、変換したアナログの電気信号を A/D変換部 143 に供給する。
[0059] A/D変換部 143は、撮像タイミング制御部 144から供給される制御信号に同期して 、アナログの電気信号をデジタルの画像データに変換して、変換した画像データを 画像処理装置 112に供給する。従って、撮像制御部 121から出力される画像データ の各画素の画素値は、光検出部 141に入射した被写体の光量を対数変換した値に 比例した値となる。
[0060] 図 3は、 HDRCの撮像制御部 121、 CCD (Charge Coupled Device)撮像素子、銀 塩フィルム、および、人の目の感度特性を示すグラフである。同図の横軸は、入射す る光の照度（単位は、ルクス (lux) )の対数を示し、縦軸は感度を示している。線 151 は撮像制御部 121の感度特性を示し、線 152は人の目の感度特性を示し、線 153は 銀塩フィルムの感度特性を示し、線 154は CCD撮像素子の感度特性を示して 、る。 なお、従来の CMOS撮像素子の感度特性は、線 154に示される CCD撮像素子の感 度特性とほぼ類似したものとなる。
[0061] 撮像制御部 121は、上述したように、入射した被写体の光の光量の対数にほぼ比 例した値の画素値を持つ画像データを出力することにより、撮像制御部 121を構成 するフォトダイオードや MOSFETなどの容量を飽和させずに、 CCD撮像素子、銀塩フ イルム、および、人の目より広い、約 1ミリルクスから太陽光の輝度より高い約 500k/レ タスまでの約 170dBのダイナミックレンジを持つ。
[0062] すなわち、対数変換部 142が、上述したように、入射光量の対数にほぼ比例した輝 度値 (あるいは画素値)からなるデータを出力するので、入射光量が大きくなつた場 合でも、撮像制御部 121を構成するフォトダイオードや MOSFETなどの素子の容量が 飽和したり、各素子に流れる電流や印加される電圧が各素子の入力に応じた出力を 行うことができる範囲を超えることがない。従って、撮像可能な輝度の範囲内におい て、ほぼ正確に入射光量の変動に応じた輝度値 (あるいは画素値)を得ることができ る。なお、撮像制御部 121のダイナミックレンジは、上述した 170dBに限定されるもの ではなぐ利用目的に応じて、約 lOOdBあるいは 200dBなど、必要なダイナミックレ ンジに対応したものを用いるようにすればょ 、。
[0063] 従って、撮像制御部 121を用いた撮像装置 101は、絞りやシャッタースピードなど の調整による入射光量の調整を行わなくても、撮像素子が出力可能な画素値の最大 値に被写体の明るい部分に対応する画素値がクリッピングされたり、撮像素子が出力 可能な画素値の最小値に被写体の暗い部分に対応する画素値力 Sクリッピングされた りする輝度クリッピングが発生しない。すなわち、撮像装置 101は、被写体の明るい 部分が白く飛んでしまったり、暗い部分が黒く塗りつぶされたりすることなぐ被写体 の詳細な輝度の変化を忠実に撮影することができる。
[0064] 例えば、撮像制御部 121を用いた撮像装置 101は、昼間に車内から車の前方を撮 影する場合、画角内に太陽が入っていても、入射光量を調整することなしに、太陽と 前方の道路の状態を忠実に再現した画像を撮影することができる。また、撮像装置 1 01は、夜間に車内から車の前方を撮影する場合、対向車のヘッドライトが前方から 照らされていても、入射光量を調整することなしに、対向車のヘッドライトの光から自 車のヘッドライトに照らされて ヽな ヽ部分までを忠実に再現した画像を撮影すること ができる。
[0065] また、撮像制御部 121を用いた撮像装置 101は入射光量の調整を行う必要がない ため、撮像装置 101から出力される画像データにおいて、例えば、 2枚のフレームを 撮影する間に、被写体内の輝度が変動した領域と変動しな力 た領域がある場合、 輝度が変動した領域に対応する画素値が変動し、輝度が変動しなカゝつた領域に対 応する画素値はほとんど変動しない。従って、フレーム間の画像データの差分をとつ たデータ (以下、差分データと称する）の各画素の画素値 (以下、差分値とも称する） は、被写体の輝度の変動がほぼ忠実に反映された値となる。
[0066] 一方、ダイナミックレンジが人の目より狭い CCD撮像素子を用いた撮像装置は、被 写体の明るさに応じて、入射光量を調整する必要があるため、例えば、 2枚のフレー ムを撮影する間に、被写体内の輝度が変動した領域と変動しな力つた領域がある場 合、輝度が変動しな力つた領域に対応する画素値も変動する場合がある。従って、 差分データの各画素の差分値は、被写体の輝度の変動が忠実に反映された値とな らない場合がある。
[0067] また、撮像装置 101から出力される画像データの画素値が被写体の光量の対数に ほぼ比例した値となることにより、被写体に照射される照明の明るさ（照度）に関わら ず、その被写体を撮影した画像データにおける画素値の分布を示すヒストグラムは、 その被写体の反射率の分布を示すヒストグラムとほぼ同じ形状となる。例えば、反射 率が最大の部分と最小の部分の比が 10 : 1である被写体を、 1回目と 2回目とで約 10 0倍の照度差がある照明を照射して撮影した場合、 1回目の画像データと 2回目の画 像データの画素値の分布を示すヒストグラムの幅はほぼ同じ値（l =logl010)となる。 一方、画像データの画素値が被写体の光量に比例する場合、 1回目の画像データと 2回目の画像データの画素値の分布を示すヒストグラムの幅の差は約 100倍となる。
[0068] 従って、被写体に照射される照明の照度がほぼ一様である場合、照明の照度が変 化したとき、被写体の輝度 (反射率)の分布に関わらず、被写体を撮影した画像デー タの画素値は、ほぼ一様に変化する。例えば、被写体内に輝度の比が 100 : 1となる 2つの領域がある場合、照明の照度が変化することにより、被写体の輝度がほぼ一様 に + 5%変動したとき、 2つの領域に対応する画素値の変動値はほぼ同じ値 (loglOl. 05)となる。一方、画像データの画素値が被写体の光量に比例する場合、上述した 2 つの領域に対応する画素値の変動値の差は、約 100倍となる。
[0069] これに対して、線 154および線 153に示されるように、 CCD撮像素子および銀塩フ イルムは、ガンマ特性などの要因により、感度特性が入射される光の照度に比例しな い。従って、 CCD撮像素子または銀塩フィルムを用いた画像データの画素値の分布 を示すヒストグラムは、入射する光の光量 (照度)の分布が一様でも、光量の大きさ（ 照度の強さ）によって、その形状が変化する。
[0070] 図 4は、制御部 102の構成例を示すブロック図である。同図において、妨害状態検 出部 161は、例えば、自動車のマイコンなどから取得される情報に基づいて、画像か ら除去すべき妨害物体 (雪)がある力否かを検出する。妨害物体検出部 162は、撮像 部 101から供給される画像の中の妨害物体を検出する。
[0071] 移動状態制御部 163は、自動車の移動状態、および妨害物体の移動状態を検出 して、両者の移動状態力 画像の中の妨害物体と背景の位置関係を検出し、両者の 位置関係に基づいて、補正に伴って置き換えるべき画素が存在するフレームと、置き 換えるべき画素を決定する。
[0072] 妨害物体登録部 165は、予め妨害物体の特徴量のデータを記憶しており、必要に 応じて、妨害物体検出部 162により検出された妨害物体の特徴量と、自身が記憶す る妨害物体の特徴量との一致の度合 、を検出する。
[0073] 妨害物体除去部 164は、妨害物体検出部 162、移動状態制御部 163、および妨 害物体登録部 165による処理結果に基づ!/ヽて、撮像部 101から供給される画像デー タに対して、妨害物体に対応する画素を置き換える (妨害物体を除去する)処理を施 して、補正し、補正された画像データに対応する信号を表示部 103に出力する。
[0074] なお、制御部 102を構成する各部は、それぞれ上述した機能を実現するための論 理演算部や記憶部が組み込まれた半導体集積回路などのハードウ アで構成され るようにしてもよいし、あるいはまた、制御部 102を、例えば、コンピュータなどで構成 し、上述した各部は、コンピュータが処理するソフトウェアにより実現される機能ブロッ クとして構成されるようにしてもょ ヽ。
[0075] 次に、図 5のフローチャートを参照して、監視装置 100による画像補正処理につい て説明する。ここでは、監視装置 100は、自動車に搭載されて、撮像部 101が前方の 画像を撮影して表示部 103に表示するとともに、雪を妨害物体として、撮影された画 像から除去して表示するものとする。
[0076] ステップ S101において、制御部 102は、図 6を参照して後述する補正要否判定処 理を実行する。これにより、撮像部 101から供給される画像データを補正する必要が あるカゝ否かが判定される。
[0077] ステップ S102において、制御部 102は、ステップ S101の処理の結果、補正は必 要と判定された力否かを判定し、補正は必要と判定された場合、処理は、ステップ S1
03に進む。
[0078] ステップ S103において、制御部 102は、図 7を参照して後述する妨害物体検出処 理を実行する。これにより、撮像部 101から供給される画像データにおける妨害物体 に対応する画素（または画素のブロック）が検出される。
[0079] ステップ S104において、制御部 102は、図 22を参照して後述する妨害物体除去 処理を実行する。これによりステップ S103の処理により検出された妨害物体力 画像 力 取り除かれる。
[0080] ステップ S104において、制御部 102は、画像データに対応する信号を表示部 103 に出力し、画像を表示させる。
[0081] なお、ステップ S102において、補正は必要ないと判定された場合、ステップ S103 と S104の処理はスキップされ、撮像部 101により撮影された画像が補正されずに表 示されること〖こなる。
[0082] このようにして、画像補正処理が行われる。
[0083] 次に、図 6のフローチャートを参照して、図 5のステップ S101の補正要否判定処理 の詳細について説明する。
[0084] ステップ S121において、妨害状態検出部 161は、自動車のマイコンなどから雨滴 センサの出力情報を取得し、センサが物体 (雪や雨など)を検出した力否かを判定し 、物体を検出したと判定された場合、ステップ S122に進む。
[0085] ステップ S122において、妨害状態検出部 161は、自動車のマイコンなどから取得 される情報に基づいて、予め設定された時間（例えば、 1分)ワイパーが動作した力否 かを判定し、所定の時間ワイパーが動作したと判定された場合、ステップ S 123に進 む。例えば、ステップ S121の処理で、雨滴センサが物体を検出したと判定された場 合であっても、例えば、水がはねたことなどによる一時的なものである可能性があり、 妨害物体 (雪)が降っているとは限らない。そこで、ワイパーが所定の時間だけ動作し た否かがさらに判定される。
[0086] ステップ S123において、妨害状態検出部 161は、自動車のマイコンなどから取得 される情報に基づいて、車速は閾値以下かを判定し、車速は閾値以下であると判定 された場合、処理は、ステップ S 125に進む。雪が降っている場合、通常車速が遅く なると考えられるため、車速が閾値以下である力否かがさらに判定される。
[0087] ステップ S125において、妨害状態検出部 161は、画像の補正が必要であることを 表す補正要フラグを ONに設定する。図 5のステップ S 102の処理では、この補正フラ グが ONであるか否かが判定され、補正フラグ力ONである場合、補正が必要と判定 される。
[0088] 一方、ステップ S121において、センサが物体を検知していないと判定された場合、 ステップ S122において、所定の時間ワイパーが動作していないと判定された場合、 または、ステップ S123において、車速が閾値以下ではないと判定された場合、処理 はステップ S 124に進む。
[0089] ステップ S124において、妨害状態検出部 161は、手動で補正要の設定がなされ たカゝ否かを判定し、手動で補正要の設定がなされたと判定された場合、処理はステツ プ S125に進む。例えば、ユーザ (ドライノ が図示せぬ操作ボタンを押下するなどし て画像の補正を指令した場合、やはり補正要フラグは ONに設定される。ステップ S1 24において、手動で補正要の設定がなされな力つたと判定された場合、ステップ S1 25の処理はスキップされ、処理は終了する。
[0090] このようにして、補正要否の判定が行われる。
[0091] 次に、図 7のフローチャートを参照して、図 5のステップ S103の妨害物体検出処理 の詳細について説明する。
[0092] ステップ S141において、妨害物体検出部 162は、撮像部 101で撮影された画像を 所定の領域に分割する。これにより、例えば、図 8に示されるような画像が図 9に示さ れるように分割される。なお、図 8および図 9において、図中白丸で表される部分が妨 害物体である雪とする。図 9においては、画像が領域 A乃至領域 Hの 8つの領域に分 割されている。
[0093] ステップ S142において、妨害物体検出部 162は、画像のデータの中に存在する 閾値の範囲内の画素を検出する。雪が降っているときの車外の画像の画素値 (画素 の輝度値）と画素数の関係を表すと図 10に示されるグラフのようになる。図 10におい て、横軸は出力値 (画素値)、縦軸は画素数とされ、画素の分布 (ヒストグラム）が線 2 01で示されている。同図に示されるように、図中左側の出力値 (画素値)低い部分と 、図中右側の出力値 (画素値)高 、部分にそれぞれ線 201のピークが形成されて ヽ る。 [0094] 図中左側のピークは、画像の中の低輝度の背景に対応する画素によるものであり、 図中右側のピークは、妨害物体である雪に対応する画素によるものである。閾値 aと 閾値 bは、それぞれ妨害物体である雪に対応する画素値の下限と上限であり、予め 設定され、背景と妨害物体を区別するのに適した値とされる。したがって、閾値 a以上 でありかつ閾値 b以下である値をもつ画素（閾値範囲内の画素）は、妨害物体の画素 の可能性が高いと考えられる。閾値 aと閾値 bは、例えば、雪が降っているときの画像 を予め撮影して取得した画像データに基づ 、て画素値のヒストグラムを作成し、作成 したヒストグラムに基づ!/ヽて設定される。
[0095] また、閾値は、必ずしも一定に設定されるものではなぐ天候などに応じて動的に設 定されるようにしてもよい。例えば、晴れた日と、曇りの日（あるいは昼と夜)では、照 射される日光の光の強度が異なるので、同じ物体であっても、撮像部 101で撮影され た画像のデータ中の画素の輝度値が異なる場合がある。このような場合、画像の中 で常に観察される物体であって、予め反射率が記憶されている物体 (例えば、路面） の輝度値に基づいて背景と妨害物体を区別するのに適した閾値が選択される（動的 に設定される）ようにしてもょ 、。
[0096] 例えば、自動車の前方に撮像部 101を取り付けた場合、撮影される画像の下端に は常に路面 (アスファルト）が写っていることになるので、予め複数の異なる天候で撮 影された画像における路面と雪の輝度値の関係 (例えば、輝度値の差分など)を記 憶させておき、天候により撮影された画像の輝度が変化した場合、路面に対応する 画素の輝度値を算出し、路面の輝度値と雪の輝度値との関係に基づいて、雪 (妨害 物体）に対応する画素を検出すればよい。
[0097] なお、ステップ S142の処理で検出された閾値の範囲内の画素力 そのまま妨害物 体に対応する画素として検出されるようにしてもよい。この場合、後述するステップ S1 43乃至 S 146の処理は省略されるようにしてもよ!、。
[0098] ステップ S143において、妨害物体検出部 162は、監視装置 100に設定されている モードをチェックする。ここで、モードは、妨害物体の検出方法を選択するために、例 えば、予めユーザにより設定されるものであり、雪の降り方、撮像部 101の特徴などに 応じて適宜設定される。 [0099] ステップ S 143において、モード Aが設定されていると判定された場合、処理は、ス テツプ S144に進み、妨害物体検出部 162は、モード A処理を実行する。ここで、図 1 1のフローチャートを参照して、図 7のステップ S144のモード A処理の詳細について 説明する。
[0100] ステップ S161において、妨害物体検出部 162は、全ての領域に閾値範囲内の画 素が存在するか否かを判定する。このとき、例えば、図 9を参照して上述した領域 A 乃至 Hの全ての領域内に閾値範囲内の値をもつ画素が存在するカゝ否かを判定する
[0101] ステップ S161において、全ての領域に閾値範囲内の画素が存在すると判定された 場合、処理は、ステップ S162に進み、妨害物体検出部 162は、閾値範囲内の値の 画素を妨害物体の画像の画素として設定する。
[0102] 閾値範囲内の値をもつ画素は、比較的輝度値の高い明るい画像に対応する画素 であり、例えば、白い物体であると考えられる。しかし、このような画像の画素が、画像 の一部ではなぐ例えば図 9の領域 A乃至 Hの全てにおいて存在している（広範囲に 分散している）場合、その画素に対応する画像は雪である可能性が高いので、閾値 範囲内の値の画素が妨害物体とされる。
[0103] 一方、ステップ S161において、全ての領域に閾値範囲内の画素が存在しないと判 定された場合、ステップ S162の処理はスキップされる。
[0104] すなわち、全ての領域に閾値範囲内の画素が存在しないと判定された場合、輝度 値の高い明るい画像に対応する画素が、画像全体ではなぐ画像の一部に存在して いるので、その画素に対応する画像は、例えば建物などである可能性が高いので、 閾値範囲内の値の画素は妨害物体として設定されない。
[0105] このようにして、妨害物体の検出が行われる。
[0106] 上述した、モード A処理による妨害物体の検出によれば、例えば、監視装置 100を 搭載する自動車の前方を白 、トラックが並走して 、るなどの場合、輝度値の高い明る い画像の画素が、全ての領域において存在していると判定され、誤って妨害物体 (雪 )として設定されてしまうおそれがある。例えば、撮像部 101が高速度カメラなどを用 いて構成されている場合、モード A処理による検出では誤って妨害物体を検出してし まうおそれがあるので、さらに確実に妨害物体を検出できるようにする必要がある。こ のため、撮像部 101が高速度カメラなどを用いて構成されている場合、モード A処理 に代わってモード B処理が実行されるようにする。すなわち、図 7のステップ S 143に おいて、モード Bが設定されていると判定され、処理はステップ S 145に進みモード B 処理が実行される。
[0107] 図 12のフローチャートを参照して、図 7のステップ S145のモード B処理の詳細につ いて説明する。
[0108] ステップ S181の処理は、図 11のステップ S161の処理と同様の処理なので、詳細 な説明は省略する。ステップ S181において、全ての領域に閾値範囲内の画素が存 在すると判定された場合、処理は、ステップ S 182に進む。
[0109] ステップ S182において、妨害物体検出部 162は、全ての領域に閾値範囲内の画 素が存在する状態が所定のフレーム数 (例えば、数十乃至数百フレーム)だけ継続し た力否かを判定する。例えば、図 13に示されるように、第 n番目のフレーム乃至第 (n + 101)番目のフレームまでの間の全てのフレームにお 、て雪が降って 、る画像が 記録されている場合、ステップ S182において、全ての領域に閾値範囲内の画素が 存在する状態が所定のフレーム数だけ継続したと判定され、処理は、ステップ S 183 に進む。
[0110] 一方、全ての領域に閾値範囲内の画素が存在する状態が所定のフレーム数だけ 継続して 、な ヽと判定された場合、ステップ S183の処理はスキップされる。
[0111] ステップ S183の処理は、図 11のステップ S162の処理と同様の処理なので、詳細 な説明は省略する。
[0112] このようにして、妨害物体の検出が行われる。全ての領域に閾値範囲内の画素が 存在する状態が所定のフレーム数だけ継続しているかを判定して妨害物体を検出す るようにしたので、例えば、撮像部 101が高速度カメラなどを用いて構成されている場 合、監視装置 100を搭載する自動車の前方の視界を、一時的に遮る明るい物体 (例 えば、白いトラックなど）を誤って妨害物体として検出することが抑止される。
[0113] ところで、雪が降っている場合の画像の画素のヒストグラムの特性は、大雪 (単位時 間あたりの降雪量が多い）の場合と、小降り（単位時間あたりの降雪量が少ない）の場 合とでは異なったものになる。図 14は、大雪の場合の画像の画素のヒストグラムを示 す図である。
[0114] 図 14には、図 10と同様に、横軸は出力値 (画素値）、縦軸は画素数とされ、画素の 分布 (ヒストグラム）が線 221で示されている。同図に示されるように、図中中央に妨害 物体 (雪）による線 221のピークが形成されている。大雪の場合、画像の大半が雪に より白く表示されるため、画素の出力値が集中し、線 221のピークは、閾値範囲内（ 閾値 aと閾値 bの間の出力値）に形成される可能性が高い。
[0115] 一方、図 15は、小降りの場合の画像の画素のヒストグラムを示す図である。図 15に は、図 10と同様に、横軸は出力値 (画素値）、縦軸は画素数とされ、画素の分布 (ヒス トグラム）が線 222で示されている。同図に示されるように、図中左側の輝度値の低い 部分に低輝度の背景による線 222のピークが形成され、図中中央付近に、妨害物体 (雪）による線 222のピークが形成され、図中右側の輝度値の高い部分に高輝度の 背景による線 222のピークが形成されて 、る。
[0116] 小降りの場合、大雪の場合と異なり、雪以外の物体 (背景）が画像の中で、より明確 に表示されるため、線 222の形状が複雑になる（例えば、ピークの数が増える）ととも に、閾値範囲内の画素には、高輝度の背景の画像の画素が含まれてしまう可能性も 高くなる。このように、各画素の出力が一定のレベルに集中することがない場合、閾 値範囲を大きくとらなければならず、背景と妨害物体とを区別するための適切な閾値 (例えば、閾値 b)の設定が困難である。
[0117] このため、小降りの場合、モード Aまたはモード Bにおける妨害物体の検出では、誤 つて高輝度の背景が妨害物体として検出される恐れがあるため、モード Aまたはモー ド B処理に代わってモード C処理が実行されるようにする。すなわち、図 7のステップ S 143において、モード Cが設定されていると判定され、処理はステップ S 146に進み モード C処理が実行される。
[0118] 図 16のフローチャートを参照して、図 7のステップ S146のモード C処理の詳細につ いて説明する。
[0119] ステップ S201と S202の処理は、図 12のステップ S181と S182の処理と同様の処 理なので、詳細な説明は省略する。ステップ S202において、全ての領域に閾値範 囲内の画素が存在する状態が所定のフレーム数だけ継続したと判定された場合、処 理は、ステップ S203に進み、特徴判定処理が実行される。
[0120] ここで、図 17のフローチャートを参照して、図 16のステップ S203の特徴判定処理 の詳細について説明する。
[0121] ステップ S221において、妨害物体検出部 162は、画像の中で、閾値範囲内の画 素で構成されるブロックを抽出する。
[0122] ステップ S222において、妨害物体検出部 162は、ステップ S221で抽出されたブロ ックの特徴量を算出する。このとき、例えば、その画素のブロックに対して、ラプラシァ ン変換を行うなどして、ブロックの形状が粒子状の形状に近 、形状であることが数値 として算出される。なお、粒子状の形状に近い形状を判定するための参考値などは、 予め、妨害物体登録部 165に記憶されて 、るものとする。
[0123] あるいはまた、画像の中のブロックに対応する面積が、画像全体に対して所定の割 合以下 (画像の中で占める大きさが小さいこと)であることがチェックされる。例えば、 予め撮影された画像の解析結果に基づいて、レンズ 101aの画角に応じて、雪の粒 子が画像全体に占める割合について一定の値を設定し、ステップ S221で抽出され たブロックの面積の割合力 予め設定された値にどれだけ近!、かが数値として算出さ れる。さらに、画素のブロックの色が雪の色である白にどれだけ近いかが数値として 算出されるようにしてもよい。なお、これらの数値を算出するために必要な閾値などの 値は、予め妨害物体登録部 165に記憶されているものとする。
[0124] ステップ S223において、妨害物体検出部 162は、ステップ S222で算出された特 徴量と、妨害物体登録部 165に記憶されている予め設定された特徴量との差分を演 算し、その差分は、閾値以下力否かを判定する。なお、この閾値は、注目する画素の ブロックの特徴量が妨害物体の特徴量との一致の度合いを判定するための閾値であ り、例えば、予め設定され妨害物体登録部 165に記憶されているものとする。
[0125] ステップ S223において、ステップ S222で算出された特徴量と、妨害物体登録部 1 65に記憶されている予め設定された特徴量との差分が閾値以下であると判定された 場合、ステップ S221で抽出されたブロックは、雪の特徴に近いと考えられるので、ス テツプ S224に進み、妨害物体検出部 162は、ステップ S221で抽出されたブロックに っ 、て、特徴量の一致を表す特徴量一致フラグを ONに設定する。
[0126] 一方、ステップ S223において、ステップ S222で算出された特徴量と、妨害物体登 録部 165に記憶されている予め設定された特徴量との差分が閾値を超えると判定さ れた場合、ステップ S221で抽出されたブロックは、雪の特徴を持たないと考えられる ので、ステップ S224に進み、妨害物体検出部 162は、ステップ S221で抽出された ブロックにつ 、て、特徴量一致フラグを OFFに設定する。
[0127] このようにして、特徴判定処理が行われる。
[0128] 図 16に戻って、ステップ S203の処理の後、ステップ S204において、妨害物体検 出部 162は、ステップ S203でその特徴が判定された個々のブロックについて、妨害 物体の特徴と一致するか否かを判定する。ここで、妨害物体の特徴と一致するか否 かは、上述した特徴量一致フラグに基づ 、て行われる。
[0129] ステップ S204において、妨害物体の特徴と一致すると判定された場合、処理は、 ステップ S205に進み、妨害物体検出部 162は、そのブロックに対応する画素を妨害 物体として設定する。一方、ステップ S204において、妨害物体の特徴と一致しないと 判定された場合、ステップ S205の処理は、スキップされる。
[0130] このようにして、妨害物体が検出される。閾値範囲内の画素のブロックについて、特 徴判定が行われるようにしたので、例えば、雪が小降りの場合であっても、誤って高 輝度の背景が妨害物体として検出されることを抑止することができる。なお、ステップ S201または S202の処理を省略し、特徴判定の結果に基づいて、妨害物体の検出 が行われるようにすることも可能である。
[0131] あるいはまた、図 7乃至図 17を参照して上述した場合とは異なる処理により妨害物 体が検出されるようにしてもよい。例えば、実際に自動車を運転するユーザは、必ず しも画像の中の雪を全て除去する必要があるとは考えて 、な 、場合もある。画像の中 でヘッドライトに照られさて反射した雪の部分だけを除去すれば、充分に視界を確保 できる場合もあると考えられる。このような場合、予めヘッドライトで照らされて反射し た雪の画像を解析しておくなどして著しく視界を妨げる雪の輝度を特定し、その輝度 に基づいて (例えば、図 10の閾値 aよりやや高めの）閾値を設定しておき、閾値以上 の輝度の画素が全て妨害物体として検出されるようにすることも可能である。すなわ ち、図 7の妨害物体検出処理は、例えば、ステップ S142において、閾値以上の輝度 の画素が検出されるようにし、検出された画素が全て妨害物体として設定される処理 としても構わない。
[0132] ところで、雪が降っているときのドライバーにとっての視界の悪化は、自動車のへッ ドライトなどの照明灯具力 発せられる光が、雪に反射することによるものである場合 が多い。従って、雪が降っているときは、ヘッドライトを消灯した方が、却って視界が 良好になることもあり得るので、このような視界の特性を利用して妨害物体を検出する 方法も考えられる。図 18のフローチャートを参照して、妨害物体検出処理の別の例 について説明する。
[0133] ステップ S261において、妨害物体検出部 162は、ヘッドライトなどの照明が点灯し ているときに、撮像部 101で撮影された画像を取得する。ステップ S262において、妨 害物体検出部 162は、ヘッドライトなどの照明が消灯しているときに、撮像部 101で 撮影された画像を取得する。
[0134] このとき、撮影のタイミングに合わせて、都度ヘッドライトが点灯、または消灯される ように制御してもよいが、例えば、 LED (Light Emitting Diode)で構成されるヘッドライ トを用いれば、 LEDでは所定の間隔で、点灯、消灯が繰り返されるので、その間隔に 合わせて、撮像部 101から画像を取得すれば、ヘッドライトの点灯、消灯を制御する 必要はない。
[0135] また、このときヘッドライトの照射方向を通常の照射方向よりやや上方にむけて照射 すると、より妨害物体を検出しやすくなる。
[0136] ステップ S263において、妨害物体検出部 162は、ステップ S261の処理と、ステップ S262の処理により取得されたそれぞれの画像について、例えば、照明の点灯または 消灯による影響を除外するために、両方の画像の全体の明るさの平均値が等しくな るようにするなどの処理を施した上で、画素値の差分を算出するなどして比較する。 そして、ステップ S264において、妨害物体検出部 162は、差分が閾値を超える画素 のブロックを検出する。
[0137] 図 19と図 20は、ステップ S261と、 S262で取得される画像の例を示す図である。例 えば、ステップ S261において、ヘッドライトなどの照明が点灯しているときに、撮像部 101で撮影された画像として、図 19に示されるような画像が取得され、ステップ S262 において、ヘッドライトなどの照明が消灯しているときに、撮像部 101で撮影された画 像として、図 20に示されるような画像が取得されたものとする。
[0138] 図 19においては、ヘッドライトに反射した雪力 画像全体に明確に表示されている 力 図 20においては、雪がヘッドライトに反射しないので、対向車、街灯、歩行者な ど力 図 19の場合と比較して明確に表示されている。例えば、図 20の画像の全ての 画素値 (輝度値)を一律に高く変換し、図 19の画像と図 20の画像の両方の画像にお いて全体の明るさの平均値が等しくなるようにするなどの処理を施した上で、画素値 の差分を算出するなどして比較すれば、図 19における雪に対応する画素のブロック 力 顕著な差分 (例えば、差分が閾値を超える）として検出されることになる。
[0139] ヘッドライトを点灯した場合と消灯した場合では、被写体（自動車の前方）に照射さ れる光の量が大きく異なるため、例えば CCDのようなダイナミックレンジが狭い撮像素 子を用いたカメラなどで、ヘッドライトを点灯した場合と消灯した場合の画像を撮影す るためには、一方は、被写体の明るい部分が白く飛んでしまい、他方は、被写体の暗 い部分が黒く塗りつぶされたりする。
[0140] これに対して、上述したように HDRCの撮像制御部 121を用いた撮像装置 101は、 絞りやシャッタースピードなどの調整による入射光量の調整を行わなくても、撮像素 子が出力可能な画素値の最大値に被写体の明るい部分に対応する画素値がクリツ ビングされたり、撮像素子が出力可能な画素値の最小値に被写体の暗い部分に対 応する画素値がクリッピングされたりする輝度クリッピングが発生しな 、ので、被写体 の詳細な輝度の変化を忠実に撮影することができる。その結果、図 19の画像におい てヘッドライト光に反射して輝度が著しく高くなつた画素である雪の画素を、図 20の 画像に対する顕著な差分として検出することができる。
[0141] そこで、ステップ S264において、妨害物体検出部 162は、ステップ S263の処理で 検出されたブロック (すなわち、図 19の雪に対応する画素のブロック）を、妨害物体と して設定する。
[0142] 例えば、図 19の画像力も妨害物体として設定された雪に対応する画素のブロックを 除去すれば、図 21に示されるような良好な視界の画像を提供することができる。 [0143] このようにして、妨害物体を検出するようにしてもょ 、。
[0144] このようにすることで、例えばドライバーが前方視界を改善するために、ヘッドライト を消してしま 、、危険な運転を行うことを抑止することができる。
[0145] すなわち、ドライバ一は、前方が暗闇で無ぐ空の明るさや照明で照らされているに もかかわらず、ヘッドライトを点灯していると、ヘッドライトに照らされた雪が眩しいと感 じることがある。特に夕暮れ時など周囲が薄暗くなつて、降雪量が多く雪の粒が多い 場合にそのような状態となる。このような場合ヘッドライトを消せば前方視界は良くなる 力 対向車から見つけに《なるため危険である。このような場合、ドライバーがヘッド ライトを消さないように、注意を促してもよい。
[0146] 例えば、雪がふっているとき、周囲が暗くなつているにも係らず、ドライバーがヘッド ライトを消した場合、制御部 102が、「周囲が暗くなつていますので、ヘッドライトを消 すと危険です。表示部 103の画像を見てください」など危険を伝えるメッセージの音 声信号を、自動車の車内のスピーカに出力し、ドライバーにヘッドライトの点灯を促す ようにしてもよい。
[0147] なお、このようにヘッドライトに照らされた雪が眩しいと感じる状況が発生するのは、 ヘッドライトを消した状態で妨害物体の輝度が周囲の輝度と大きく違わない場合であ り、場合によっては、妨害物体である雪の除去を行わないほうが自然に感じられ、視 認性が大きく損なわなければ、ドライバ一は、表示部 103に雪が表示されている状態 を好むこともある。このような場合、制御部 102は、撮像部 101から出力されるデータ の画像のうち、ヘッドライトを点灯した瞬間の画像を除いて、雪が除去されていない画 像であって、ヘッドライトが消灯された状態の画像のみを表示部 103に表示させるよう にしてもよい。妨害物体 (雪)を除去するか否かは、ドライバ一により都度選択されるよ うにしてもよ！、し、ヘッドライトを消した状態で妨害物体の輝度が周囲の輝度と大きく 違わな 、場合には、自動的に妨害物体を除去しな 、ようにして画像が表示されるよう にしてもよい。
[0148] ここまで、妨害物体の検出について説明してきた力 図 7を参照して上述した処理 により検出された妨害物体に対応する画素は、例えば、画像の中の 2次元の座標値 などによりその画素に固有の情報が個々に特定され、特定された画素の情報が、移 動状態制御部 163または妨害物体除去処理部 164に出力されることになる。
[0149] 次に、図 22のフローチャートを参照して、図 5のステップ S104の妨害物体除去処理 の詳細について説明する。
[0150] ステップ S301において、妨害物体除去処理部 164は、補正を行うべき画像のフレ ームより時間的に前のフレームの画像を取得する。ステップ S302において、妨害物 体検出部 162は、ステップ S301の処理で取得した、時間的に前のフレームの画像の 中で、補正を行うべきフレームの画像において、妨害物体として設定された画素のブ ロックに対応する部分 (ブロック）を、置き換えるべき部分として検出する。そして、ステ ップ S303において、妨害物体除去処理部 164は、補正を行うべきフレームの画像に おいて、妨害物体として設定された画素のブロックを、ステップ S302の処理で検出さ れたブロックの画素と置き換える。
[0151] 図 23乃至図 25を参照してさらに詳しく説明する。例えば、補正を行うべき画像のフ レームが、図 23に示されるような第 n番目のフレームである場合、この画像の中の妨 害物体 (雪）に対応する画素を、画素 (xl,yl)を中心としたその周辺の画素で構成さ れるブロックとする。ここで、 （xl,yl)は、画像の中の X軸、 y軸の座標を表すものとする
[0152] ステップ S301では、第 n番目のフレームより時間的に前のフレームとして、例えば、 図 24に示されるようなフレームの画像が取得される。ステップ S302では、図 24の画 像の中で、補正を行うべきフレームの画像（図 23)において、妨害物体として設定さ れた画素のブロックに対応する部分、すなわち、図 24の画素 (xl,yl)を中心としてブ ロックを、置き換えるべき部分として検出する。なお、図 24の画素 (xl,yl)を中心とし てブロックに、雪が含まれないことが事前にチェックされ、置き換えるべき部分として 検出される。そして、ステップ S303では、図 23の雪が、図 24の画素（xl,yl)を中心と したブロックと置き換えられて除去されることになる。
[0153] なお、自動車が移動している（走行している）場合、移動状態制御部 163により画像 の動きが考慮されて、置き換えるべき部分として検出される。例えば、自動車が前方 に進んでいる場合、図 26に示されるような画像が第 n番目のフレームの画像として撮 影された後、第 (n+ 10)番目のフレームの画像として図 27に示されるような画像が撮 影されることになる。自動車は、前方に進んでいるため、図 26において、図中縦軸方 向の中央付近に表示された物体 (例えば、道の両側の木）は自動車の移動に合わせ て近づいてくるので、図 27においては、図 26のときと比較して、図中縦軸方向のや や下側に表示されることになる。
[0154] いま、補正を行うべき画像のフレームが、図 27の第（n+ 10番目）のフレームであり 、ステップ S301で取得される時間的に前のフレームの画像が図 26の第 n番目のフレ ームの画像であった場合、図 27において妨害物体として設定された画素（画素 xll,y 11)は、図 26の画像における同一位置の画素（画素 xll,yll)で置き換えることはでき ない。このため、移動状態制御部 163は、画像の中で所定のブロックを抽出して動き ベクトルを演算するなどして、図 27の画像の（画素 xll,yll)は、図 26の画素（x21,y2 1)に対応することを検出し、妨害物体除去処理部 164に通知する。
[0155] そして、ステップ S303において、図 28に示されるように、図 27において妨害物体と して設定された画素（画素 xll,yll)を中心とするブロックが、図 26の画素（x21,y21) を中心とするブロックで置き換えられることになる。
[0156] 図 22に戻って、ステップ S303で、補正を行うべきフレームの画像において、妨害物 体として設定された全ての画素のブロックが置き換える処理が行われた後、ステップ S 304において、妨害物体除去処理部 164は、その画像に基づいて補正画像の信号 を生成し、表示部 103に出力する。この結果、例えば、図 19に示される画像から妨害 物体である雪が除去されて、図 21に示されるような補正画像が表示されることになる 。すなわち、図 19に示される画像カゝら雪が取り除かれた状態の画像（図 21)が仮想 的に生成される。
[0157] このようにして、画像の中の妨害物体が除去される。このようにすることで、表示部 1 03を観察するユーザ (例えば、ドライノく）には、現在降っている雪があた力も取り除か れたように見える画像が観察されることになる。したがって、快適な視界の画像を提供 することができる。
[0158] 以上においては、監視装置 100が自動車に搭載される例について説明したが、監 視装置 100は、例えば、スキー場など雪が多い場所に設置されるようにしてもよい。 監視装置 100がスキー場などに設置する場合、監視装置 100が移動することはない ので、移動状態制御部 163は、設けられないようにしてもよい。
[0159] さらに、監視装置 100が、常に雪が多い場所や照明されている場所に設置される 場合、撮影される画像において、輝度値のダイナミックレンジが大きくなくても、妨害 物体である雪を識別することができるので、撮像部 101の撮像制御部 121を、 CCD 撮像素子や CMOS撮像素子などにより構成することも可能であり、 HDRCなどの対数 変換型の撮像素子を用いなくても監視装置 100を構成することが可能となる。撮像部 101が撮影する画像のダイナミックレンジが小さい場合、妨害物体と背景とを区別す るための閾値として、例えば、図 10の閾値 a (下限の閾値)のみを設定し、閾値以上 の値をもつ画素が妨害物体である可能性が高いものとし、図 7を参照して上述した妨 害物体検出処理を行わせるようにすればよ ヽ。
[0160] 以上においては、監視装置において撮像部が 1つ設けられている場合の例につい て説明したが、監視装置に複数の撮像部が設けられるようにすることも可能である。
[0161] 図 29は、本発明を適用した監視装置の別の構成例を示すブロック図である。同図 の監視装置 200において、図 1の監視装置 100と同一の符号が付されたブロックは、 それぞれ図 1の場合と同様のものなので、詳細な説明は省略する。図 29の例では、 図 1の場合と異なり、撮像部として撮像部 101 - 1と撮像部 101 - 2が設けられて 、る
[0162] 監視装置 200が、例えば、自動車などに搭載される場合、撮像部 101— 1と撮像部 101— 2は、それぞれ自動車の前方のフロントグリルなどに、地上からの高さが同じと なるように、左右に所定の間隔だけはなれた位置に取り付けられる。すなわち、撮像 部 101— 1のレンズ 101— laを介して入射する光に対応する画像と、撮像部 101— 2のレンズ 101— 2aを介して入射する光に対応する画像とが、視差を有する画像とな るように撮像部 101— 1と撮像部 101— 2が取り付けられる。なお、撮像部 101— 1と 撮像部 101— 2によりそれぞれ撮影される画像にぉ ヽて適当な視差があるようにする ことができれば、撮像部 101— 1と撮像部 101— 2は、上述した取り付け位置とは別の 位置に取り付けられるようにしても構わな 、。
[0163] 図 22を参照して上述した妨害物体除去処理においては、補正を行うべき画像のフ レームより時間的に前のフレームの画像が取得されて、時間的に前のフレームの画 素のブロックを用いて妨害物体が除去される例について説明した。この場合、上述し たように自動車が走行しているときは、移動状態制御部 163により画像の動きが考慮 されて、時間的に前のフレームの中で用いられるブロック (置き換えるべき部分）が検 出されるが、例えば、自動車が急カーブの連続するワインディングロードなどを走行し ている場合、時間の経過に伴って自動車の向きが何度も大きく変化することになり、 撮像部 101により撮影される画像も比較的短い時間で大きく変化することになる。こ のような場合、補正を行うべき画像のフレームに対して所定の時間だけ前のフレーム の画像は、例えば、補正を行うべきフレームの画像とは異なる被写体が写っているな どの可能性もあり、もはや同じ (観察者にほぼ同じ印象を与える）画像ということはでき ず、時間的に前のフレームの画素のブロックと置き換えることにより妨害物体を除去 することが適当とは考えられな 、場合もある。
[0164] これに対して、監視装置 200においては、 2つの撮像部により撮影された異なる (視 差を有する）画像が同時に取得されるので、一方の撮像部により撮像された画像を、 同じタイミングで他方の撮像部が撮像した画像により補正するようにすることも可能と なる。このようにすることで、例えば、ワインディングロードなどを走行している場合で あっても、適切に妨害物体を除去することができる。
[0165] 監視装置 200により、一方の撮像部により撮像された画像を、同じタイミングで他方 の撮像部が撮像した画像により補正するようにした場合の、妨害物体除去処理の例 を図 30に示す。
[0166] 図 30は、妨害物体除去処理の別の例であって、上述した監視装置 200により実行 される妨害物体除去処理の例を説明するフローチャートである。ここでは、監視装置 200において、主に撮像部 101— 1により撮像された画像が表示部 103に表示され ているものとする。
[0167] 同図のステップ S361において、妨害物体除去処理部 164は、他の撮像部（いまの 場合、撮像部 101— 2)が撮像した画像を取得する。なお、この画像は、撮像部 101 - 1により撮像された画像 (補正すべき画像）と同じタイミングで撮像部 101— 2が撮 像した画像とされる。
[0168] ステップ S362において、妨害物体検出部 162は、ステップ S361の処理で取得した 画像の中で、補正を行うべき画像において、妨害物体として設定された画素のブロッ クに対応する部分 (ブロック)を、置き換えるべき部分として検出する。
[0169] いまの場合、ステップ S361で取得された画像は、補正を行うべき画像と同じタイミ ングで撮像され、補正を行うべき画像と視差のある画像となる。このため、ステップ S3 61の処理で取得された画像は、補正を行うべき画像と同じオブジェクを含んだ画像と なり、観察者にほぼ同じ印象を与える画像である一方で、補正を行うべき画像に含ま れるオブジェクトの位置 (座標）とは、微小に異なる位置に同じオブジェクトが写ってい る画像となる。すなわち、降っている雪などの充分小さい妨害物体を除去する際に、 撮像部 101— 1により撮像された補正すべき画像の中で雪が写って ヽる部分の座標 位置と同じ座標位置に、撮像部 101— 2が撮像した画像においても、やはり雪が写つ ている可能性は極めて低いと考えられる。また、補正すべき画像の中で雪が写って V、る部分の近傍に、ステップ S361の処理で取得された画像には存在しな 、オブジェ タトが写って 、る可能性もやはり極めて低 、と考えられる。
[0170] したがって、例えば、補正すべき画像において雪が写っている部分は、画素 (xl,yl )を中心としたその周辺の画素で構成されているとした場合、補正すべき画像の中の 画素 (xl,yl)を中心としたその周辺の画素で構成される充分小さい面積のブロックを 、ステップ S361で取得された画像の中の画素（xl,yl)を中心としたその周辺の画素 で構成される同じ面積のブロックで置き換えることによって、補正すべき画像の中から 妨害物体である雪だけが除去された自然な画像を生成することが可能となる。ステツ プ S363では、上述したように妨害物体の画素に対応するブロック画像が置き換えら れること〖こなる。
[0171] そして、ステップ S364において、ステップ S363の処理を経て妨害物体が除去され た補正画像が生成される。
[0172] このようにして妨害物体が除去された画像が生成される。このようにすることで、自 動車が走行しているときに、移動状態制御部 163により画像の動きを考慮するなどし なくても、簡単に妨害物体を除去することができるとともに、ワインディングロードなど を走行しているときであっても、常に自然な画像が表示されるように、画像を補正する ことが可能となる。 [0173] なお、上述した一連の処理をノ、一ドウエアで実現する力、ソフトウェアで実現するか は問わない。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフ トウエアを構成するプログラム力 専用のハードウェアに組み込まれているコンビユー タ、または、各種のプログラムをインストールすることで、各種の機能を実行することが 可能な、例えば図 29に示されるような汎用のパーソナルコンピュータ 500などに、ネ ットワークや記録媒体力 インストールされる。
[0174] 図 29において、 CPU (Central Processing Unit) 501は、 ROM (Read Only Memory) 502に記憶されているプログラム、または記憶部 508から RAM (Random Access Mem ory) 503にロードされたプログラムに従って各種の処理を実行する。 RAM503にはま た、 CPU501が各種の処理を実行する上において必要なデータなども適宜記憶され る。
[0175] CPU501、 ROM502、および RAM503は、バス 504を介して相互に接続されている 。このバス 504にはまた、入出力インタフェース 505も接続されている。
[0176] 入出力インタフェース 505には、キーボード、マウスなどよりなる入力部 506、 CRT( Cathode Ray Tube), LCD(Liquid Crystal display)などよりなるディスプレイ、並びにス ピー力などよりなる出力部 507、ハードディスクなどより構成される記憶部 508、モデ ム、 LANカードなどのネットワークインタフェースカードなどより構成される通信部 509 が接続されている。通信部 509は、インターネットを含むネットワークを介しての通信 処理を行う。
[0177] 入出力インタフェース 505にはまた、必要に応じてドライブ 510が接続され、磁気デ イスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア 5 11が適宜装着され、それら力も読み出されたコンピュータプログラムが、必要に応じ て記憶部 508にインストールされる。
[0178] 上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構 成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア 511な ど力 なる記録媒体からインストールされる。
[0179] なお、この記録媒体は、図 29に示される、装置本体とは別に、ユーザにプログラム を配信するために配布される、プログラムが記録されて ヽる磁気ディスク（フロッピディ スク（登録商標）を含む）、光ディスク（CD- ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD (Mini-Disk) (登録商標）を 含む）、もしくは半導体メモリなどよりなるリムーバブルメディア 511により構成されるも のだけでなぐ装置本体に予め組み込まれた状態でユーザに配信される、プログラム が記録されている ROM502や、記憶部 508に含まれるハードディスクなどで構成され るちのち含む。
また、本明細書にぉ 、て上述した一連の処理を実行するステップは、記載された順 序に
沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、 並列的あるいは個別に実行される処理をも含むものである。

Claims

請求の範囲
[1] 画像を撮影し、撮影された画像のデータを出力する撮影手段と、
前記撮影手段から出力される画像のデータについて補正を行うか否かを判定する 補正要否判定手段と、
前記画像のデータ中で、空中を浮遊または落下する所定の物体である妨害物体に 対応する画素を検出する検出手段と、
前記検出手段により検出された前記画像のデータの中の前記妨害物体の画素を、 他の画素と置き換える置換え手段と、
前記置換え手段により、前記妨害物体の画素が他の画素と置き換えられた画像の データを出力する出力手段と
を備えることを特徴とする画像処理装置。
[2] 前記撮影手段は、
撮影した光に対応して生成される電荷を、画素ごとに電荷の数の対数に比例した 電圧値を持つアナログの電気信号に変換し、前記アナログの電気信号をデジタルデ ータに変換して前記画像のデータを出力する
ことを特徴とする請求項 1に記載の画像処理装置。
[3] 前記撮影手段は、
撮影した光に対応して生成される電流を、画素ごとに電流の大きさの対数に比例し た電圧値を持つアナログの電気信号に変換し、前記アナログの電気信号をデジタル データに変換して前記画像のデータを出力する
ことを特徴とする請求項 1に記載の画像処理装置。
[4] 前記検出手段は、
前記画像のデータの画素の輝度値と、予め設定された閾値に基づいて、前記妨害 物体に対応する画素を検出する
ことを特徴とする請求項 1に記載の画像処理装置。
[5] 前記閾値は、前記画像のデータの中で、前記妨害物体に対応する画素と、背景に 対応する画素とを区別するための輝度値の上限および下限の閾値であり、
前記検出手段は、前記閾値の範囲内の輝度値をもつ画素を、前記妨害物体に対 応する画素として検出する
ことを特徴とする請求項 4に記載の画像処理装置。
[6] 前記検出手段は、
前記画像を複数の領域に分割し、分割された全ての領域の画像のデータの中に、 前記閾値の範囲内の輝度値をもつ画素が存在する場合、前記閾値の範囲内の輝度 値をもつ画素を、前記妨害物体に対応する画素として検出する
ことを特徴とする請求項 5に記載の画像処理装置。
[7] 前記検出手段は、
前記撮影手段が撮影した複数のフレームの全てのフレームの画像のデータの中に 、前記閾値の範囲内の輝度値をもつ画素が存在する場合、
前記閾値の範囲内の輝度値をもつ画素を、前記妨害物体に対応する画素として検 出する
ことを特徴とする請求項 5に記載の画像処理装置。
[8] 前記検出手段は、
前記閾値の範囲内の輝度値をもつ画素を中心とするブロックのデータの特徴量を 算出し、
算出された特徴量と、予め記憶されている妨害物体に対応する画素のブロックのデ ータの特徴量との差分を演算し、前記差分が予め設定された値以下である場合、 前記閾値の範囲内の輝度値をもつ画素を中心とするブロックを前記妨害物体に対 応する画素のブロックとして検出する
ことを特徴とする請求項 5に記載の画像処理装置。
[9] 前記置換え手段は、
前記検出手段により検出された画素を、前記撮影手段により撮影されたフレームの 画像であって、画素を置き換えるべきフレームより時間的に前のフレームの画像にお いて前記検出手段により検出された画素に対応する画素と置き換える
ことを特徴とする請求項 1に記載の画像処理装置。
[10] 前記撮影手段により撮影されたフレームの画像であって、画素を置き換えるべきフ レームより時間的に前のフレームの画像において前記検出手段により検出された画 素に対応する画素の位置を特定する特定手段をさらに備え、
前記置換え手段は、
前記検出手段により検出された画素を、前記特定手段により特定された画素と置き 換える
ことを特徴とする請求項 9に記載の画像処理装置。
[11] 他の撮影手段をさらに備え、
前記置換え手段は、
前記検出手段により検出された画素を、前記他の撮影手段により撮影された画像 であって、画素を置き換えるべき画像と同じタイミングで撮影された画像において、前 記検出手段により検出された画素に対応する画素と置き換える
ことを特徴とする請求項 1に記載の画像処理装置。
[12] 画像を撮影し、撮影された画像のデータを出力する撮影手段から出力される画像 のデータについて補正を行うか否かを判定する補正要否判定ステップと、
前記補正要否判定ステップの処理により、前記画像のデータに対して補正を行うベ きと判定された場合、前記画像のデータ中で、空中を浮遊または落下する所定の物 体である妨害物体に対応する画素を検出する検出ステップと、
前記検出ステップの処理により検出された前記画像のデータの中の前記妨害物体 の画素を、他の画素と置き換える置換えステップと、
前記置換えステップの処理により、前記妨害物体の画素が他の画素と置き換えられ た画像のデータを出力する出力ステップと
を含むことを特徴とする画像処理方法。
[13] 画像処理装置に画像処理を行わせるプログラムであって、
画像を撮影し、撮影された画像のデータを出力する撮影手段カゝら出力される画像 のデータについて補正を行うか否かの判定を制御する補正要否判定制御ステップと 前記補正要否判定制御ステップの処理により、前記画像のデータに対して補正を 行うべきと判定された場合、前記画像のデータ中で、空中を浮遊または落下する所 定の物体である妨害物体に対応する画素の検出を制御する検出制御ステップと、 前記検出ステップの処理により検出された前記画像のデータの中の前記妨害物体 の画素の、他の画素との置き換えを制御する置換え制御ステップと、
前記置換え制御ステップの処理により、前記妨害物体の画素が他の画素と置き換 えられた画像のデータの出力を制御する出力制御ステップと
をコンピュータに実行させることを特徴とするプログラム。
[14] 画像処理装置に画像処理を行わせるプログラムが記録されて!ヽる記録媒体であつ て、
画像を撮影し、撮影された画像のデータを出力する撮影手段カゝら出力される画像 のデータについて補正を行うか否かの判定を制御する補正要否判定制御ステップと 前記補正要否判定制御ステップの処理により、前記画像のデータに対して補正を 行うべきと判定された場合、前記画像のデータ中で、空中を浮遊または落下する所 定の物体である妨害物体に対応する画素の検出を制御する検出制御ステップと、 前記検出ステップの処理により検出された前記画像のデータの中の前記妨害物体 の画素の、他の画素との置き換えを制御する置換え制御ステップと、
前記置換え制御ステップの処理により、前記妨害物体の画素が他の画素と置き換 えられた画像のデータの出力を制御する出力制御ステップと
をコンピュータに実行させるプログラムが記録されていることを特徴とする記録媒体
[15] 被写体に光を照射する照明を点灯したときの画像と、前記照明を消灯したときの画 像とを撮影し、撮影された画像のデータを出力する撮影手段と、
前記撮影手段から出力される画像のデータについて補正を行うか否かを判定する 補正要否判定手段と、
前記撮影手段により撮影される被写体に光を照射する照明を点灯したとき撮影され た画像のデータと、前記照明を消灯したとき撮影される画像のデータとに基づいて、 前記画像のデータを補正する補正手段と、
前記補正手段により、補正された画像のデータを出力する出力手段と を備えることを特徴とする画像処理装置。
[16] 前記補正手段は、
前記撮影手段により撮影される被写体に光を照射する照明を点灯したとき撮影され た画像のデータと、前記照明を消灯したとき撮影される画像のデータのうち、前記照 明を消灯したとき撮影される画像のデータが前記出力手段に出力されるように前記 画像のデータを補正する
ことを特徴とする請求項 15に記載の画像処理装置。
[17] 前記画像のデータ中で、空中を浮遊または落下する所定の物体である妨害物体に 対応する画素を検出する検出手段をさらに備え、
前記検出手段は、
前記撮影手段により撮影される被写体に光を照射する照明を点灯したとき撮影され た画像のデータと、前記照明を消灯したとき撮影される画像のデータとに基づいて、 それぞれの画像のデータにおいて対応する各画素の輝度値の差分を演算し、輝度 値の差分が予め設定された値を超える画素を、前記妨害物体に対応する画素として 検出し、
前記補正手段は、
前記検出手段により検出された前記画像のデータの中の前記妨害物体の画素を、 他の画素と置き換える
ことを特徴とする請求項 15に記載の画像処理装置。
[18] 被写体に光を照射する照明を点灯したときの画像と、前記照明を消灯したときの画 像とを撮影し、撮影された画像のデータを出力する撮影手段から出力される画像の データについて補正を行うか否かを判定する補正要否判定ステップと、
補正要否判定ステップの処理により前記画像のデータに対して補正を行うべきと判 定された場合、前記撮影手段により撮影される被写体に光を照射する照明を点灯し たとき撮影された画像のデータと、前記照明を消灯したとき撮影される画像のデータ とに基づいて、
前記画像のデータを補正する補正ステップと、
前記補正ステップの処理により、補正された画像のデータを出力する出力ステップ と を含むことを特徴とする画像処理方法。
[19] 画像処理装置に画像処理を行わせるプログラムであって、
被写体に光を照射する照明を点灯したときの画像と、前記照明を消灯したときの画 像とを撮影し、撮影された画像のデータを出力する撮影手段から出力される画像の データについて補正を行うか否かの判定を制御する補正要否判定制御ステップと、 補正要否判定制御ステップの処理により前記画像のデータに対して補正を行うベ きと判定された場合、前記撮影手段により撮影される被写体に光を照射する照明を 点灯したとき撮影された画像のデータと、前記照明を消灯したとき撮影される画像の データとに基づく前記画像のデータの補正を制御する補正制御ステップと、 前記補正制御ステップの処理により、補正された画像のデータの出力を制御する 出力制御ステップと
をコンピュータに実行させることを特徴とするプログラム。
[20] 画像処理装置に画像処理を行わせるプログラムが記録されて!ヽる記録媒体であつ て、
被写体に光を照射する照明を点灯したときの画像と、前記照明を消灯したときの画 像とを撮影し、撮影された画像のデータを出力する撮影手段から出力される画像の データについて補正を行うか否かの判定を制御する補正要否判定制御ステップと、 補正要否判定制御ステップの処理により前記画像のデータに対して補正を行うベ きと判定された場合、前記撮影手段により撮影される被写体に光を照射する照明を 点灯したとき撮影された画像のデータと、前記照明を消灯したとき撮影される画像の データとに基づく前記画像のデータの補正を制御する補正制御ステップと、 前記補正制御ステップの処理により、補正された画像のデータの出力を制御する 出力制御ステップと
をコンピュータに実行させるプログラムが記録されていることを特徴とするプログラム
PCT/JP2006/305113 2005-03-15 2006-03-15 画像処理装置および方法、プログラム、並びに記録媒体 WO2006109398A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP06729134A EP1868375A4 (en) 2005-03-15 2006-03-15 IMAGE PROCESSING APPARATUS AND METHOD, PROGRAM AND RECORDING MEDIUM
US11/908,959 US20090016636A1 (en) 2005-03-15 2006-03-15 Image processing apparatus, and method, program and recording medium
JP2007512423A JPWO2006109398A1 (ja) 2005-03-15 2006-03-15 画像処理装置および方法、プログラム、並びに記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005072795 2005-03-15
JP2005-072795 2005-03-15

Publications (1)

Publication Number Publication Date
WO2006109398A1 true WO2006109398A1 (ja) 2006-10-19

Family

ID=37086689

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/305113 WO2006109398A1 (ja) 2005-03-15 2006-03-15 画像処理装置および方法、プログラム、並びに記録媒体

Country Status (5)

Country Link
US (1) US20090016636A1 (ja)
EP (1) EP1868375A4 (ja)
JP (1) JPWO2006109398A1 (ja)
CN (1) CN101142814A (ja)
WO (1) WO2006109398A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008207677A (ja) * 2007-02-27 2008-09-11 Hitachi Ltd 画像処理装置，画像処理方法、及び画像処理システム
WO2008111549A1 (ja) * 2007-03-15 2008-09-18 Kansai University 移動物体ノイズ除去処理装置及び移動物体ノイズ除去処理プログラム
WO2010084707A1 (ja) * 2009-01-20 2010-07-29 本田技研工業株式会社 コンピュータビジョン・システムに於ける画像復元方法
WO2015129250A1 (ja) * 2014-02-25 2015-09-03 パナソニックＩｐマネジメント株式会社 画像処理装置及び画像処理方法
CN108494996A (zh) * 2018-05-14 2018-09-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
JP2019140251A (ja) * 2018-02-09 2019-08-22 キヤノン株式会社 光電変換装置、撮像システム、および移動体

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2674323B1 (en) * 2007-04-30 2018-07-11 Mobileye Vision Technologies Ltd. Rear obstruction detection
US8436902B2 (en) * 2007-08-30 2013-05-07 Valeo Schalter And Sensoren Gmbh Method and system for weather condition detection with image-based road characterization
WO2009117603A2 (en) * 2008-03-19 2009-09-24 Hypermed, Inc. Miniaturized multi-spectral imager for real-time tissue oxygenation measurement
EP2351351B1 (en) * 2008-10-01 2015-09-16 Connaught Electronics Limited A method and a system for detecting the presence of an impediment on a lens of an image capture device to light passing through the lens of an image capture device
EP2460354A4 (en) * 2009-07-27 2015-11-04 Utc Fire & Security Corp SYSTEM AND METHOD FOR IMPROVING VIDEO QUALITY
WO2011072157A2 (en) * 2009-12-09 2011-06-16 Cale Fallgatter Imaging of falling objects
US8941726B2 (en) * 2009-12-10 2015-01-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting moving objects from images using foreground extraction
DE102012205012A1 (de) * 2011-07-12 2013-01-17 Robert Bosch Gmbh Kamerasystem für den Einsatz in einem Fahrzeug sowie Fahrzeug mit einem derartigen Kamerasystem
CN102496147A (zh) * 2011-11-30 2012-06-13 宇龙计算机通信科技(深圳)有限公司 图像处理装置、图像处理方法和图像处理系统
KR101341243B1 (ko) * 2012-04-04 2013-12-12 (주) 넥스트칩 기상 현상으로 인해 훼손된 영상을 복원하는 장치 및 방법
JP2014011785A (ja) * 2012-07-03 2014-01-20 Clarion Co Ltd 車載カメラ汚れ除去装置の診断装置、診断方法及び車両システム
PL2893510T3 (pl) * 2012-09-05 2016-08-31 Fayteq Ag Sposób i urządzenie do przetwarzania obrazu do usuwania obiektu wizualnego z obrazu
JP5991224B2 (ja) * 2013-02-15 2016-09-14 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US9165352B2 (en) 2013-06-10 2015-10-20 Xerox Corporation Precipitation removal for vision-based parking management systems
ES2666499T3 (es) 2013-07-03 2018-05-04 Kapsch Trafficcom Ab Método para identificación de contaminación en una lente de una cámara estereoscópica
CN104349045B (zh) * 2013-08-09 2019-01-15 联想(北京)有限公司 一种图像采集方法及电子设备
EP2945116A1 (en) * 2014-05-15 2015-11-18 Continental Automotive GmbH Method and apparatus for providing an augmented image of a vehicle's surrounding
JP6862830B2 (ja) * 2014-12-29 2021-04-21 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP6368958B2 (ja) * 2016-05-12 2018-08-08 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
US11400860B2 (en) * 2016-10-06 2022-08-02 SMR Patents S.à.r.l. CMS systems and processing methods for vehicles
IT201700021444A1 (it) * 2017-02-24 2017-05-24 Roberto Possekel Sistema di visione digitale per veicoli
DE102018203590A1 (de) * 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
CN109167893B (zh) * 2018-10-23 2021-04-27 Oppo广东移动通信有限公司 拍摄图像的处理方法、装置、存储介质及移动终端
US10694105B1 (en) * 2018-12-24 2020-06-23 Wipro Limited Method and system for handling occluded regions in image frame to generate a surround view
CN109905613B (zh) * 2019-01-21 2021-05-25 广州市安晓科技有限责任公司 一种规避开门干扰的汽车全景拼接方法、装置及介质
JP7426987B2 (ja) * 2019-03-26 2024-02-02 株式会社小糸製作所 撮影システムおよび画像処理装置
CN112914727A (zh) * 2021-03-19 2021-06-08 联仁健康医疗大数据科技股份有限公司 非目标障碍物分离方法、系统、医疗机器人及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1291668B1 (en) * 2001-09-07 2005-11-30 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings display device and image providing system

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FUJIMOTO M. ET AL.: "Gazochu no Shiya Bogai to naru Suiteki no Jokyo", EIZO JOHO MEDIA GAKKAISHI, THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS, JAPAN, vol. 56, no. 5, 1 May 2002 (2002-05-01), pages 853 - 857, XP003005819 *
MIYAKE K. ET AL.: "Kosetsu Jokyo ni Tekioteki na Kosetsu Ryushi no Real Time Jokyo", THE JOURNAL OF THE INSTITUTE OF IMAGE ELECTRONICS ENGINEERS OF JAPAN, THE INSTITUTE OF IMAGE ELECTRONICS ENGINEERS, TOKYO, JAPAN, vol. 32, no. 4, 25 July 2003 (2003-07-25), pages 478 - 482, XP003005817 *
NAKAJIMA A.: "Wide Dynamic Range Camera 'HNDC Series'", EIZO JOHO INDUSTRIAL, SANGYO KAIHATSUKIKO INC., vol. 35, no. 1, 1 January 2003 (2003-01-01), pages 41 - 46, XP003005818 *
See also references of EP1868375A4 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008207677A (ja) * 2007-02-27 2008-09-11 Hitachi Ltd 画像処理装置，画像処理方法、及び画像処理システム
WO2008111549A1 (ja) * 2007-03-15 2008-09-18 Kansai University 移動物体ノイズ除去処理装置及び移動物体ノイズ除去処理プログラム
JP4878644B2 (ja) * 2007-03-15 2012-02-15 学校法人 関西大学 移動物体ノイズ除去処理装置及び移動物体ノイズ除去処理プログラム
WO2010084707A1 (ja) * 2009-01-20 2010-07-29 本田技研工業株式会社 コンピュータビジョン・システムに於ける画像復元方法
JPWO2010084707A1 (ja) * 2009-01-20 2012-07-12 本田技研工業株式会社 コンピュータビジョン・システムに於ける画像復元方法
JP5216010B2 (ja) * 2009-01-20 2013-06-19 本田技研工業株式会社 ウインドシールド上の雨滴を同定するための方法及び装置
US8797417B2 (en) 2009-01-20 2014-08-05 Honda Motor Co., Ltd. Image restoration method in computer vision system, including method and apparatus for identifying raindrops on a windshield
WO2015129250A1 (ja) * 2014-02-25 2015-09-03 パナソニックＩｐマネジメント株式会社 画像処理装置及び画像処理方法
JP2019140251A (ja) * 2018-02-09 2019-08-22 キヤノン株式会社 光電変換装置、撮像システム、および移動体
JP7250427B2 (ja) 2018-02-09 2023-04-03 キヤノン株式会社 光電変換装置、撮像システム、および移動体
CN108494996A (zh) * 2018-05-14 2018-09-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN108494996B (zh) * 2018-05-14 2021-01-15 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端

Also Published As

Publication number Publication date
EP1868375A1 (en) 2007-12-19
JPWO2006109398A1 (ja) 2008-10-09
EP1868375A4 (en) 2009-07-08
CN101142814A (zh) 2008-03-12
US20090016636A1 (en) 2009-01-15

Similar Documents

Publication Publication Date Title
WO2006109398A1 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP4766302B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4985394B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
US9639764B2 (en) Image recognition system for vehicle for traffic sign board recognition
JP5182555B2 (ja) 画像処理装置および画像処理方法、画像処理システム、プログラム、並びに、記録媒体
JP5501477B2 (ja) 環境推定装置及び車両制御装置
JP5441462B2 (ja) 車両用撮像装置
US8315766B2 (en) Process for detecting a phenomenon limiting the visibility for a motor vehicle
US20080024606A1 (en) Image processing apparatus
WO2019194256A1 (ja) 演算処理装置、オブジェクト識別システム、学習方法、自動車、車両用灯具
JP2006259829A (ja) 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
CN110520898B (zh) 用于消除明亮区域的图像处理方法
CN111027494A (zh) 一种基于计算机视觉的矩阵车灯识别方法
JP2016196233A (ja) 車両用道路標識認識装置
JP2970168B2 (ja) 車両検出装置
JP2005073296A (ja) 車両用カメラの露光制御装置
WO2019138827A1 (ja) 物体認識装置
KR100801989B1 (ko) 번호판 인식 시스템，전처리 장치 및 방법
WO2020196536A1 (ja) 撮影システムおよび画像処理装置
JP2004123061A (ja) 撮影システム
JP2007257242A (ja) 白線認識装置
KR20210025855A (ko) 야간에 저속도 차량에 대한 차량번호 판별장치
JP2015058747A (ja) 車両灯体制御装置
CN112240529B (zh) 配光控制装置以及车辆用灯具系统
JP2007249568A (ja) 画像処理装置および方法、記録媒体、並びに、プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680008633.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 11908959

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2006729134

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: RU

WWP Wipo information: published in national office

Ref document number: 2006729134

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2007512423

Country of ref document: JP

Kind code of ref document: A