WO2014084251A1 - 車載画像処理装置 - Google Patents

車載画像処理装置 Download PDF

Info

Publication number
WO2014084251A1
WO2014084251A1 PCT/JP2013/081889 JP2013081889W WO2014084251A1 WO 2014084251 A1 WO2014084251 A1 WO 2014084251A1 JP 2013081889 W JP2013081889 W JP 2013081889W WO 2014084251 A1 WO2014084251 A1 WO 2014084251A1
Authority
WO
WIPO (PCT)
Prior art keywords
noise
vehicle
image
image processing
partial
Prior art date
Application number
PCT/JP2013/081889
Other languages
English (en)
French (fr)
Inventor
將裕 清原
健人 緒方
智史 鈴木
彰二 村松
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to JP2014549858A priority Critical patent/JP6393189B2/ja
Priority to EP13857698.8A priority patent/EP2928182B1/en
Priority to CN201380060558.2A priority patent/CN104798368B/zh
Priority to US14/647,214 priority patent/US9922258B2/en
Publication of WO2014084251A1 publication Critical patent/WO2014084251A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an in-vehicle image processing apparatus.
  • the lane in which the vehicle is traveling is recognized by detecting the white line (lane line) drawn on the road surface to distinguish the lane from the image that is mounted on the vehicle and captured by the camera.
  • An apparatus has been proposed. With respect to such an apparatus, an edge point corresponding to a white line is extracted from the photographed image, and the white line is a solid line or a broken line depending on whether or not the time-series variance value of the number of measurements of the edge point is equal to or less than a threshold value.
  • Patent Document 1 A technique for determining whether or not there is known.
  • an in-vehicle image processing device captures a road around a vehicle based on a captured image acquired by capturing a captured image by capturing a captured road surface around the vehicle.
  • An image generation unit that generates an overhead image showing a bird's-eye view
  • an extraction unit that extracts road markings around the vehicle using the overhead image generated by the image generation unit, and the extraction unit extracts road markings
  • a detection unit that detects at least one of road noise, obstacle noise, and adhering noise that is observed at the time, and the inside of the captured image according to the noise detected by the detection unit
  • a parking frame recognition unit that recognizes a parking frame based on either the partial shooting area or the partial overhead view area inside the overhead image.
  • the in-vehicle image processing device in the in-vehicle image processing device according to the first aspect, a plurality of partial photographing regions inside the photographed image and a plurality of partial overhead views inside the overhead image according to the detected noise.
  • a noise flag setting unit that selects a selected image region from the region and sets a noise flag corresponding to a noise state for the selected image region, and the parking frame recognition unit is selected by the noise flag setting unit It is preferable to recognize whether or not the road marking extracted using the selected image area is a parking frame.
  • the noise flag setting unit includes a plurality of partial photographing regions inside the photographed image.
  • the noise flag setting unit when the detection unit detects road noise according to the luminance difference between the line images, the noise flag setting unit Preferably, the selected image area is selected from a partial shooting area corresponding to a road surface in the vicinity of the vehicle inside and a partial overhead view area corresponding to a road surface in the vicinity of the vehicle in the overhead image.
  • the noise flag setting unit when the detection unit detects road noise based on road markings other than the lane, the noise flag setting unit It is preferable not to select a partial imaging area corresponding to a road surface far away from the vehicle inside as a selected image area.
  • the noise flag setting unit when the detection unit detects obstacle noise based on a three-dimensional object around the vehicle, the noise flag setting unit is It is preferable to select the selected image area from a plurality of partial shooting areas inside the captured image and a plurality of partial overhead areas inside the overhead image.
  • the noise flag setting unit is It is preferable not to select a partial shooting area corresponding to a road surface far away from the vehicle inside the shot image as the selected image area.
  • the noise flag setting unit when the detection unit detects the adhering noise based on the dirt adhering to the imaging device, the noise flag setting unit is It is preferable to select the selected image region from among a partial photographing region corresponding to a road surface near the vehicle inside the photographed image and a plurality of partial bird's-eye views regions inside the bird's-eye view image.
  • the detection unit detects obstacle noise and adhering noise based on at least a three-dimensional object around the vehicle and water droplets adhering to the photographing device.
  • the noise flag setting unit includes a partial shooting area corresponding to the road surface in the vicinity of the vehicle in the captured image and a partial overhead view area corresponding to the road surface in the vicinity of the vehicle in the overhead image. It is preferable to select a selected image area from among them.
  • the noise flag it is preferable that the setting unit does not select the selected image area from a plurality of partial shooting areas inside the captured image and a plurality of partial overhead areas inside the overhead image.
  • the detection unit in the in-vehicle image processing apparatus according to the second aspect, the detection unit generates road surface noise and adhering noise based on at least the luminance difference between the line images and water droplets adhering to the photographing apparatus. If detected, the noise flag setting unit selects from among a partial shooting area corresponding to the road surface near the vehicle inside the captured image and a partial overhead view area corresponding to the road surface near the vehicle inside the overhead image. It is preferable to select a selected image area.
  • the detection unit in the in-vehicle image processing apparatus according to the second aspect, the detection unit generates road surface noise and adhering noise based on at least road markings other than lanes and dirt adhered to the photographing device.
  • the noise flag setting unit selects a selected image region from among a plurality of partial overhead views within the overhead image.
  • the image processing apparatus further includes a storage unit that stores the noise flag set by the noise flag setting unit, and the noise flag setting The unit preferably selects the selected image region based on the noise flag stored in the storage unit when the captured image of the next frame is acquired by the imaging device.
  • the storage unit preferably deletes the noise flag when a predetermined time has elapsed since the noise flag was stored.
  • the noise flag setting unit relaxes a reference value for setting a noise flag in the selected image region. It is preferable to do.
  • the road surface noise is an extraction target existing in the vicinity of the road marking or the parking frame that is the extraction target. It is preferably a non-structured object including parking frame noise or white line noise that adversely affects the extraction of the extraction target.
  • the obstacle noise is a substantially flat surface on which a road marking or a parking frame as an extraction target is drawn. It is preferable to include a three-dimensional object noise that adversely affects extraction of an extraction target due to reflection of an object existing in a space other than the above.
  • the adhering matter noise includes water droplet noise or dirt noise caused by the adhering matter to the photographing device. It is preferable that it is comprised.
  • the parking frame is recognized by switching the image area according to the detected noise, it is possible to suppress a decrease in accuracy of parking support.
  • FIG. 1 is a block diagram showing a configuration of an in-vehicle image processing apparatus 100 according to an embodiment of the present invention.
  • An in-vehicle image processing apparatus 100 shown in FIG. 1 is used by being mounted on a vehicle, and includes cameras 1a, 1b, 1c and 1d, an image synthesis unit 2, an arithmetic processing unit 3, an output unit 4, And a memory 5.
  • the cameras 1a to 1d are electronic cameras that photograph the surroundings of the vehicle in different photographing ranges, and are installed in various parts such as a vehicle body, a bumper, and a door mirror.
  • the shooting range of each of these cameras is determined so as to cover the entire periphery of the vehicle.
  • the camera 1a shoots the shooting range in front of the vehicle
  • the camera 1b shoots the shooting range on the left side of the vehicle
  • the camera 1c shoots the shooting range on the right side of the vehicle
  • the camera 1d shoots the shooting range on the rear side of the vehicle. Will be described. Captured images respectively acquired at predetermined frame rate intervals by the cameras 1a to 1d are output to the image composition unit 2.
  • the four cameras 1a to 1d will be described as shooting the respective shooting ranges as described above, but the number of cameras mounted on the vehicle and the shooting range are not limited thereto.
  • the shooting range including the cameras may not necessarily cover the entire periphery of the vehicle. If the surroundings of the vehicle can be photographed within an appropriate range, a photographed image can be acquired for an arbitrary photographing range using an arbitrary number of cameras.
  • the image composition unit 2 synthesizes an overhead image (top view image) showing a state where the entire periphery of the vehicle is viewed from the captured images acquired by the cameras 1a to 1d.
  • This bird's-eye view image is synthesized by coordinate-converting the captured images of the cameras 1a to 1d according to the shooting direction and connecting them.
  • the bird's-eye view image synthesized by the image synthesis unit 2 is output to the arithmetic processing unit 3.
  • the arithmetic processing unit 3 recognizes parking frames around the vehicle by performing predetermined arithmetic processing based on the captured images acquired by the cameras 1a to 1d or the overhead image synthesized by the image synthesizing unit 2. The contents of the arithmetic processing performed by the arithmetic processing unit 3 will be described in detail later.
  • the recognition result of the parking frame by the arithmetic processing unit 3 is output to the output unit 4.
  • the memory 5 is a volatile storage medium for temporarily storing calculation results and the like by the calculation processing unit 3.
  • the output unit 4 outputs parking frame information for parking frames around the vehicle based on the recognition result of the parking frame by the arithmetic processing unit 3. For example, information indicating the direction of the parking frame relative to the vehicle and the distance to the parking frame is output as parking frame information.
  • the parking frame information is output to a host vehicle control device (not shown) connected to the in-vehicle image processing device 100, and is used for vehicle parking assistance, travel control, and the like.
  • a host vehicle control device not shown
  • a bird's-eye view image of the surroundings can be automatically switched and displayed on the monitor. Thereby, the situation which is erroneously detected as a parking lot on a public road can be suppressed, and the video presented to the user can be switched at an appropriate timing.
  • the output unit 4 outputs parking frame information as relative position information from the own vehicle based on the recognition result of the parking frame by the arithmetic processing unit 3.
  • the position information of the parking frame in the actual environment such as the end point coordinates of the left and right frame lines of the parking frame, the angle and intercept of the parking frame line, is output.
  • This parking frame information is output to a host vehicle control device (not shown) connected to the in-vehicle image processing device 100, and is used for vehicle parking assistance and travel control.
  • Parking assistance can be performed.
  • a parking operation can be completed in a short time even for a driver who is unfamiliar with driving operations such as garage entry.
  • the travel route to the parking frame is calculated based on the relative position and orientation from the own vehicle to the parking frame, and the control amount of the forward / backward / turning of the vehicle is automatically calculated.
  • the movement may be automatically controlled.
  • FIG. 2 is a diagram illustrating an example of a display image obtained by combining the overhead image synthesized by the image synthesis unit 2 and the photographed image in front of the vehicle photographed by the camera 1a.
  • the left image 21 shows a bird's-eye view image
  • the right image 22 shows a photographed image in front of the vehicle.
  • the bird's-eye view image 21 is composed of four image areas 21a, 21b, 21c and 21d corresponding to the front, left side, right side and rear of the vehicle, respectively. Each image in these image areas is created based on images taken by the cameras 1a to 1d in FIG. A part of the parking frame line 23 is displayed in the image area 21a. The parking frame line 23 is also displayed on the captured image 22.
  • the image described above is displayed on a display monitor (not shown) installed in the vehicle.
  • the image displayed as the captured image 22 is preferably switched according to the traveling direction of the vehicle. For example, when the shift lever of the vehicle is switched to the forward direction, it is determined that the vehicle is moving forward, and a captured image of the front of the vehicle captured by the camera 1a is displayed. On the other hand, when the shift lever of the vehicle is switched to the reverse direction, it is determined that the vehicle is moving backward, and a captured image of the rear of the vehicle captured by the camera 1d is displayed. If it does in this way, the suitable photography picture according to the advancing direction of vehicles can be shown to the driver of vehicles, and driving operation support at the time of parking etc. can be performed.
  • FIG. 3 is a control block diagram of the arithmetic processing performed by the arithmetic processing unit 3.
  • the arithmetic processing unit 3 functionally includes control blocks of a line extraction unit 301, a noise detection unit 302, a parking frame recognition unit 303, and a noise flag setting unit 304.
  • each control block of FIG. 3 is realized by executing a program recorded in the memory corresponding to each of these control blocks by a microcomputer.
  • the overhead image synthesized by the image synthesis unit 2 is input to the line extraction unit 301, the noise detection unit 302, and the parking frame recognition unit 303 in the arithmetic processing unit 3.
  • the line extraction unit 301 extracts a line drawn on the traveling surface of the vehicle as a line image from the input overhead image. For example, edge points whose luminance change when searching for a bird's-eye view image in the horizontal direction is greater than or equal to a predetermined threshold are extracted as feature points, and each feature point is related to its positional relationship, movement amount and movement direction from the previous processing. By grouping based on the above, it is possible to extract a line drawn on the traveling surface of the vehicle.
  • the lines extracted here include various road marking lines (roadway center line, lane boundary line, roadway outside line, pedestrian crossing, etc.) drawn on the road, and parking frame lines drawn on the parking lot. Etc. are included.
  • the line extraction result by the line extraction unit 301 is output to the noise detection unit 302 and the parking frame recognition unit 303.
  • the noise detection unit 302 detects the presence or absence of noise by using at least one of the entire area of the input captured image and the entire area of the overhead image.
  • the noise detection unit 302 detects parking frame noise, white line noise, three-dimensional object noise, water droplet noise, and dirt noise is exemplified, but the noise detected by the noise detection unit 302 is the above example. It is not limited to.
  • the noise detection unit 302 uses a known technique when one or more of the luminance values or colors of the two parking frame lines constituting the parking frame are greatly different due to the influence of the sun, illumination light, or the like.
  • the difference in luminance value or color difference value between different line images extracted by the line extraction unit 301 exceeds a predetermined value, it is detected as parking frame noise.
  • the noise detection unit 302 detects it as white line noise.
  • the noise detection unit 302 detects a three-dimensional object based on a difference image between overhead images corresponding to different times using a known technique, the noise detection unit 302 sets the detected three-dimensional object as three-dimensional object noise.
  • the noise detection unit 302 performs water droplet detection using a top image area between a plurality of captured images using a known technique, and detects the detected water droplet as water droplet noise.
  • the noise detection unit 302 uses a known technique to extract the difference between a plurality of photographed images taken at different timings that are photographed at different timings, thereby removing dirt adhered to the lenses of the cameras 1a to 1d. Detect as.
  • the noise detection unit 302 first performs noise detection on the entire screen.
  • the noise flag setting unit 304 selects one of a plurality of partial shooting areas inside the shot image and a plurality of partial overhead views areas inside the bird's-eye view image. The noise detection is performed again by selectively using the above region.
  • the noise flag setting unit 304 sets a noise flag corresponding to the detected noise state and outputs the noise flag to the parking frame recognition unit 303.
  • the partial imaging area and the partial overhead view area are collectively referred to as a partial image area.
  • the parking frame recognition unit 303 determines whether the line extracted by the line extraction unit 301 is a parking frame line according to the detection result by the noise flag setting unit 304. If it is determined that the extracted line image is a parking frame line, the parking frame recognition unit 303 outputs the corresponding parking frame recognition result to the output unit 4 in FIG.
  • FIG. 4 shows an example in which the nearby bird's-eye view area R1 of the bird's-eye view shown with diagonal lines is a partial image area.
  • the nearby bird's-eye view area R1 is a partial bird's-eye view area corresponding to a road surface in the vicinity of, for example, a range of 0 m to 1.5 m with the host vehicle as a base point.
  • FIG. 5 shows an example in which the outer periphery bird's-eye view area R2 of the bird's-eye view image shown with diagonal lines is a partial image area.
  • the peripheral bird's-eye view region R2 is a partial bird's-eye view region corresponding to a road surface farther than a range of 1.5 m, for example, with the host vehicle as a base point.
  • FIG. 6 shows an example in which the vicinity photographing region R3 of the photographed image indicated by hatching is a partial image region.
  • the nearby shooting area R3 is a partial shooting area corresponding to a road surface in the vicinity of a range of 0.5 m to 8 m ahead of the host vehicle, for example.
  • FIG. 7 shows an example in which the far-field shooting area R4 of the shot image indicated by hatching is a partial image area.
  • the far shooting area R4 is a partial shooting area corresponding to a distant road surface in a range of 8 m or more ahead of the host vehicle, for example.
  • FIG. 8 shows an example in which the outer peripheral photographing region R5 of the photographed image indicated by hatching is a partial image region.
  • the outer periphery photographing region R5 is a partial photographing region corresponding to a road surface in a range whose width from the center of the host vehicle is 3 m or more, for example.
  • FIG. 9 schematically shows the correspondence between the noise detected by the noise detection unit 302 and the partial image region selected by the noise flag setting unit 304 as the selection image region.
  • FIG. 9 shows that the flag is set to “1” and detected for the noise detected for the extracted line image among the parking frame noise, the white line noise, the three-dimensional object noise, the water drop noise and the dirt noise. In the case of no noise, the flag is set to “0”. Further, FIG. 9 shows a partial image area selected by the noise flag setting unit 304 according to the detected noise as “ ⁇ ” and a partial image area not selected as “ ⁇ ”.
  • the noise flag setting unit 304 determines that the neighborhood overhead view area R1 and the outer periphery overhead view. This indicates that the recognition of the parking frame is performed by selecting any one of the region R2, the near photographing region R3, the far photographing region R4, and the outer peripheral photographing region R5 as the selected image region. In this case, no noise that affects other noise calculations is detected in the extracted line image. Therefore, even if the noise flag setting unit 304 uses any of the partial image regions, it is appropriately It is possible to output a noise flag, and the parking frame recognition unit 303 can reduce the occurrence of erroneous recognition of the parking frame.
  • an image for example, a far-field shooting region R4 obtained by shooting is selected image region.
  • the noise flag setting unit 304 selects any one of the vicinity bird's-eye view area R1, the vicinity shooting area R3, and the outer periphery shooting area R5. It represents selecting as an area. In other words, the noise flag setting unit 304 does not select the far shooting area R4 as the selected image area.
  • parking frame noise is detected when the extracted line images have greatly different luminance values. For this reason, as the distance from the host vehicle increases, the luminance difference between the two lines increases, making it difficult to determine whether or not the parking frame lines constitute the same parking frame.
  • the noise flag setting unit 304 appropriately sets the noise flag by setting the noise flag using a partial image area obtained by photographing the vicinity of the host vehicle. It is possible to output, and the occurrence of erroneous recognition in the parking frame recognition unit 303 is suppressed.
  • the noise flag setting unit 304 selects any one of the neighborhood bird's-eye view region R1, the outer periphery bird's-eye view region R2, the neighborhood shooting region R3, and the outer periphery shooting region R5. This indicates that noise flag calculation is performed for the selected image area. In other words, the noise flag setting unit 304 does not select the far shooting area R4 as the selected image area.
  • white line noise is detected when a road marking or the like is detected. For this reason, when a partial image area far from the host vehicle is used in a parking lot where complicated paint such as characters are drawn on the road, there is a possibility that the paint is erroneously recognized as a parking frame line.
  • the noise flag setting unit 304 does not use the far-field shooting region R4 for parking frame line recognition, and therefore can appropriately output a noise flag, and recognizes road markings and the like as parking frame lines. The occurrence of defects can be suppressed.
  • the noise flag setting unit 304 determines that the neighborhood bird's-eye view region R1, the outer periphery bird's-eye view region R2, the neighborhood shooting region R3, the far shooting region R4, and This indicates that the noise flag calculation is performed by selecting any one of the outer peripheral photographing regions R5 as the selected image region.
  • the noise flag setting part 304 uses which partial image area
  • the noise flag setting unit 304 selects any one of the neighborhood bird's-eye view region R1, the outer periphery bird's-eye view region R2, the neighborhood shooting region R3, and the outer periphery shooting region R5. This indicates that noise flag calculation is performed by selecting these as selected image regions.
  • Water droplet noise is detected when water droplets are attached based on the image information of the upper region of the captured image. That is, the reliability of the image information in the upper area of the captured image is low.
  • the noise flag setting unit 304 does not select the distant shooting area R4 for parking frame recognition, so that it is possible to output a noise flag appropriately and increase the accuracy of parking frame recognition. it can.
  • the noise flag setting unit 304 selects either the nearby overhead view region R1 or the nearby shooting region R3 as the selected image region. This indicates that the noise flag is calculated.
  • the far-field imaging region R4 in which the accuracy of information is reduced due to the attachment of water droplets, is not selected as the selected image region, it is possible to output a noise flag appropriately, and the parking frame recognition accuracy is reduced. Can be prevented.
  • the noise flag setting unit 304 selects any one of the neighborhood bird's-eye view region R1, the outer periphery bird's-eye view region R2, and the neighborhood shooting region R3 as the selected image region. It is shown that noise flag calculation is performed by selecting as.
  • the influence of the attached dirt is larger in the partial image area obtained by photographing the distance from the own vehicle than in the partial image area obtained by photographing the vicinity of the own vehicle.
  • the partial image area corresponding to the road surface far from the host vehicle is not selected as the selected image area, such as the far shooting area R4 and the outer periphery shooting area R5, it is possible to appropriately output the noise flag. Yes, it is possible to suppress the erroneous recognition of the parking frame due to the attached dirt.
  • Example H indicates that when the flag for water droplet noise and dirt noise is set to “1”, the noise flag setting unit 304 does not select any partial image region. In other words, the noise flag setting unit 304 prohibits selection of the selected image area.
  • the noise flag setting unit 304 prohibits selection of the selected image area.
  • the noise flag setting unit 304 selects either the nearby bird's-eye view region R1 or the nearby shooting region R3 as the selected image region. This indicates that the noise flag is calculated.
  • the far-field imaging region R4 in which the accuracy of the information is reduced due to the attachment of water droplets, is not selected as the selected image region, it is possible to output a noise flag appropriately, and the parking frame line recognition accuracy is improved. Decline can be prevented.
  • the noise flag setting unit 304 selects either the nearby overhead view region R1 or the peripheral overhead view region R2 as the selected image region. This indicates that noise flag calculation is performed.
  • the far-field shooting area R4 in which a subject is photographed far away from the host vehicle is easily selected as the selected image area because it is easily affected by attached dirt and is easily misrecognized as a road marking on the road surface as a parking frame. It is possible to output a flag and prevent the parking frame from being recognized erroneously.
  • step S101 the overhead image synthesized by the image synthesizing unit 2 is input, and the process proceeds to step S102.
  • step S102 a line image corresponding to the line drawn on the traveling surface of the vehicle is extracted based on the change in luminance or color difference when the input overhead image is searched in the horizontal direction, and the process proceeds to step S103.
  • step S103 the presence or absence of noise is detected in the line image extracted in step S102, and the process proceeds to step S104.
  • step S104 a partial image area is selected as a selected image area according to the result of step S103, and the process proceeds to step S107.
  • step S107 noise detection is performed on the selected image region, a noise flag corresponding to the detected noise state is set, and the process proceeds to step S105.
  • step S105 according to the noise flag set in step S107, it is determined whether or not the line image extracted in step S102 is a parking frame line constituting a parking frame.
  • step S106 the recognition result is output to the output unit 4 and the process is terminated.
  • the in-vehicle image processing apparatus 100 takes a bird's-eye view of the surroundings of the vehicle based on the cameras 1a to 1d that shoot the road surface around the vehicle and acquire the captured images and the captured images acquired by the cameras 1a to 1d.
  • An image composition unit 2 that generates a bird's-eye view image showing a state and an arithmetic processing unit 3 are provided.
  • the arithmetic processing unit 3 uses the overhead image generated by the image composition unit 2 to extract a line image corresponding to a lane on the road surface around the vehicle, and noise in the extracted line image.
  • a noise flag is set based on one of a noise detection unit 302 to be detected and a partial image area inside the captured image and a partial bird's-eye view area inside the overhead image according to the noise detected by the noise detection unit 302.
  • a noise flag setting unit 304, and a parking frame recognition unit 303 that recognizes a parking frame from the noise flag set by the noise flag setting unit 304 and the line image extracted by the line extraction unit 301.
  • the noise flag setting unit 304 selects a selected image area from among a plurality of partial shooting areas inside the shot image and a plurality of partial overhead views areas inside the bird's-eye view image according to the detected noise. The noise flag is set using the selected image area.
  • the noise flag setting unit 304 is a neighborhood that is a partial image region corresponding to a road surface near the vehicle in the captured image.
  • the selected image area is selected from the imaging area R3 and the nearby bird's-eye view area R1 that is a partial image area corresponding to the road surface near the vehicle in the bird's-eye view image.
  • the noise flag setting unit 304 does not select the far shooting area R4 of the shot image as the selection image area.
  • the far-field shooting region R4 is not selected as the selected image region, it is possible to suppress the occurrence of a problem of recognizing a road marking or the like as a parking frame line and improve the accuracy of parking support.
  • the noise flag setting unit 304 includes a plurality of partial shooting regions inside the shot image and a plurality of inside of the overhead image.
  • the selected image area is selected from the partial overhead view areas.
  • the noise flag setting unit 304 prohibits selection of the far-field imaging region R4. In this case, since the parking frame is recognized without using the image information corresponding to the partial image area in which the water droplet noise is detected in the captured image, the parking support can be executed with high accuracy.
  • the noise flag setting unit 304 causes the neighborhood shooting region R3, the neighborhood bird's-eye view region R1, and the outer periphery bird's-eye view region R2 to be detected.
  • the selected image area is selected from the above. Therefore, since the partial image area obtained by photographing the distant part of the host vehicle that is greatly affected by the attached dirt is not selected as the selected image area, the occurrence of erroneous recognition of the parking frame due to the attached dirt can be suppressed.
  • the noise flag setting unit 304 takes the vicinity photographing.
  • the selected image area is selected from the area R3 and the nearby overhead view area R1. Therefore, since the far-field shooting area R4, in which the accuracy of information is reduced due to the attachment of water droplets, is not selected as the selected image area, it is possible to prevent the recognition accuracy of the parking frame from being lowered.
  • the vehicle-mounted image processing apparatus can be modified as follows.
  • (Modification 1) A configuration in which the noise flag setting unit 304 does not select a partial image region is also included in one aspect of the present invention.
  • the parking frame recognition unit 303 recognizes the parking frame using each of the neighborhood bird's-eye view region R1, the outer periphery bird's-eye view region R2, the vicinity shooting region R3, the far shooting region R4, and the outer periphery shooting region R5, and the noise detection unit 302.
  • the recognition result may be selected according to the detection result. For example, in case B shown in FIG. 9, a recognition result using the nearby bird's-eye view area R1, a recognition result using the vicinity shooting area R3, and a recognition result using the outer periphery shooting area R5 are selected and output. What is necessary is just to output to the part 4.
  • Modification 2 In the in-vehicle image processing apparatus 100 according to the embodiment, as shown in the flowchart of FIG. 10, by performing the noise detection in step S103 and the noise flag setting in step S107 in sequence, a partial image in one frame. An area was selected, and a noise flag was calculated for that area. Situations that are strongly influenced by the sun and illumination light, and the presence of deposits such as rain and dirt are not completely different every frame, but are often substantially the same for a certain period of time. Using this feature, the execution result of noise detection and noise flag setting is stored in the memory 5, and in the process of the next frame, the stored noise detection and noise flag setting result is read out, and the parking frame You may output to the recognition part 303.
  • FIG. 1 the execution result of noise detection and noise flag setting is stored in the memory 5, and in the process of the next frame, the stored noise detection and noise flag setting result is read out, and the parking frame You may output to the recognition part 303.
  • step S104 after the partial image region is selected in step S104, the noise detection result and the noise flag setting result are read from the memory 5 in step S108, and the process proceeds to step S105. As a result, the processing load can be reduced.
  • Modification 3 Further, in the case of the above-described modification 2, every time a certain time elapses, the noise detection and noise flag setting results stored in the memory 5 are cleared (deleted), and the noise detection and noise flag setting are executed again. May be. As a result, for example, as shown in case H, even when all the partial image areas are not used for setting the noise flag, they can be restored after a certain period of time.
  • Modification 4 In the above-described embodiment and Modifications 1 to 3, the mode in which the output of noise is suppressed by changing the processing region when certain noise is detected has been described. Instead of suppressing the output of noise by not using the area, the noise flag setting unit 304 relaxes the threshold (reference value) for enabling the noise flag in the corresponding selected image area, and noise is detected. In the case where the noise flag is set, the noise flag is easily included in one aspect of the present invention. As a result, the noise flag of the selected image area is likely to be effective depending on the noise detection result, so that the parking frame is hardly recognized and the parking frame can be prevented from being erroneously recognized.
  • the present invention is not limited to the above-described embodiments, and other forms conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　車載画像処理装置は、車両の周囲の路面を撮影して撮影画像を取得する撮影装置と、取得された撮影画像に基づいて、車両の周囲を俯瞰した様子を示す俯瞰画像を生成する画像生成部と、生成された俯瞰画像を用いて、車両の周囲の路面標示を抽出する抽出部と、抽出部が路面標示を抽出する際に観察される、少なくとも路面ノイズ、障害物ノイズおよび付着物ノイズのうち何れか１つ以上のノイズを検出する検出部と、検出されたノイズに応じて、撮影画像の内部の部分撮影領域と俯瞰画像の内部の部分俯瞰領域との何れかに基づいて、駐車枠を認識する駐車枠認識部とを備える。

Description

車載画像処理装置
　本発明は、車載画像処理装置に関する。
　従来、車両に搭載され、カメラにより撮影して得られた画像から、車線を区分するために路面に描かれた白線（車線区画線）を検出することにより、車両が走行している車線を認識する装置が提案されている。このような装置に関して、撮影画像から白線に相当するエッジ点を抽出し、このエッジ点の計測数の時系列的な分散値が閾値以下であるか否かにより、白線が実線であるか破線であるかを判定する技術が知られている（特許文献１）。
日本国特開２０１０－２４４３８２号公報
　しかしながら、カメラに付着した水滴や汚れ、撮影環境等の要因によって、駐車枠を構成する短い線が車道中央線のように長い線であると誤認識し、駐車支援の精度を低下させるという問題がある。さらに、駐車支援の精度低下をもたらす要因を判定するための手段も、同時に他の要因の影響を受けるという問題がある。
　本発明の第１の態様によれば、車載画像処理装置は、車両の周囲の路面を撮影して撮影画像を取得する撮影装置と、撮影装置により取得された撮影画像に基づいて、車両の周囲を俯瞰した様子を示す俯瞰画像を生成する画像生成部と、画像生成部によって生成された俯瞰画像を用いて、車両の周囲の路面標示を抽出する抽出部と、抽出部が路面標示を抽出する際に観測される、少なくとも、路面ノイズ、障害物ノイズおよび付着物ノイズのうち何れか１つ以上のノイズを検出する検出部と、検出部により検出されたノイズに応じて、撮影画像の内部の部分撮影領域と俯瞰画像の内部の部分俯瞰領域との何れかに基づいて、駐車枠を認識する駐車枠認識部とを備える。
　本発明の第２の態様によれば、第１の態様による車載画像処理装置において、検出されたノイズに応じて、撮影画像の内部の複数の部分撮影領域と俯瞰画像の内部の複数の部分俯瞰領域との中から選択画像領域を選択して、選択画像領域についてノイズの状態に応じたノイズフラグを設定するノイズフラグ設定部をさらに備え、駐車枠認識部は、ノイズフラグ設定部により選択された選択画像領域を用いて抽出された路面標示が駐車枠であるか否かを認識することが好ましい。
　本発明の第３の態様によれば、第２の態様による車載画像処理装置において、検出部がノイズを検出しない場合には、ノイズフラグ設定部は、撮影画像の内部の複数の部分撮影領域と俯瞰画像の内部の複数の部分俯瞰領域との中から選択画像領域を選択することが好ましい。
　本発明の第４の態様によれば、第２の態様による車載画像処理装置において、検出部が線画像の輝度差に応じて路面ノイズを検出した場合には、ノイズフラグ設定部は、撮影画像の内部の車両の近傍の路面に対応する部分撮影領域と俯瞰画像の内部の車両の近傍の路面に対応する部分俯瞰領域との中から選択画像領域を選択することが好ましい。
　本発明の第５の態様によれば、第２の態様による車載画像処理装置において、検出部が車線以外の路面標示に基づいて路面ノイズを検出した場合には、ノイズフラグ設定部は、撮影画像の内部の車両の遠方の路面に対応する部分撮影領域を選択画像領域として選択しないことが好ましい。
　本発明の第６の態様によれば、第２の態様による車載画像処理装置において、検出部が車両の周辺の立体物に基づいて障害物ノイズを検出した場合には、ノイズフラグ設定部は、撮影画像の内部の複数の部分撮影領域と俯瞰画像の内部の複数の部分俯瞰領域との中から選択画像領域を選択することが好ましい。
　本発明の第７の態様によれば、第２の態様による車載画像処理装置において、検出部が撮影装置に付着した水滴に基づいて付着物ノイズを検出した場合には、ノイズフラグ設定部は、撮影画像の内部の車両の遠方の路面に対応する部分撮影領域を選択画像領域として選択しないことが好ましい。
　本発明の第８の態様によれば、第２の態様による車載画像処理装置において、検出部が撮影装置に付着した汚れに基づいて付着物ノイズを検出した場合には、ノイズフラグ設定部は、撮影画像の内部の車両の近傍の路面に対応する部分撮影領域と俯瞰画像の内部の複数の部分俯瞰領域との中から選択画像領域を選択することが好ましい。
　本発明の第９の態様によれば、第２の態様による車載画像処理装置において、検出部が少なくとも車両の周辺の立体物と撮影装置に付着した水滴とに基づいて障害物ノイズと付着物ノイズとを検出した場合には、ノイズフラグ設定部は、撮影画像の内部の前記車両の近傍の路面に対応する部分撮影領域と俯瞰画像の内部の車両の近傍の路面に対応する部分俯瞰領域との中から選択画像領域を選択することが好ましい。
　本発明の第１０の態様によれば、第２の態様による車載画像処理装置において、検出部が少なくとも撮影装置に付着した水滴と汚れとに基づいて付着物ノイズを検出した場合には、ノイズフラグ設定部は、撮影画像の内部の複数の部分撮影領域と俯瞰画像の内部の複数の部分俯瞰領域との中から選択画像領域を選択しないことが好ましい。
　本発明の第１１の態様によれば、第２の態様による車載画像処理装置において、検出部が少なくとも線画像の輝度差と撮影装置に付着した水滴とに基づいて路面ノイズと付着物ノイズとを検出した場合には、ノイズフラグ設定部は、撮影画像の内部の車両の近傍の路面に対応する部分撮影領域と、俯瞰画像の内部の車両の近傍の路面に対応する部分俯瞰領域との中から選択画像領域を選択することが好ましい。
　本発明の第１２の態様によれば、第２の態様による車載画像処理装置において、検出部が少なくとも車線以外の路面標示と撮影装置に付着した汚れとに基づいて路面ノイズと付着物ノイズとを検出した場合には、ノイズフラグ設定部は、俯瞰画像の内部の複数の部分俯瞰領域の中から選択画像領域を選択することが好ましい。
　本発明の第１３の態様によれば、第２乃至第１２の何れか一つの態様による車載画像処理装置において、ノイズフラグ設定部が設定したノイズフラグを記憶する記憶部をさらに備え、ノイズフラグ設定部は、撮影装置により次フレームの撮影画像が取得された際には、記憶部に記憶されたノイズフラグに基づいて選択画像領域を選択することが好ましい。
　本発明の第１４の態様によれば、第１３の態様による車載画像処理装置において、記憶部は、ノイズフラグが記憶されてから所定の時間が経過すると、該ノイズフラグを削除することが好ましい。
　本発明の第１５の態様によれば、第２乃至第１４の何れか一つの態様による車載画像処理装置において、ノイズフラグ設定部は、選択画像領域においてノイズフラグを設定するための基準値を緩和することが好ましい。
　本発明の第１６の態様によれば、第１乃至第１５の何れか一つの態様による車載画像処理装置において、路面ノイズは、抽出対象である路面標示または駐車枠の近傍に存在する抽出対象の非構成物であり、抽出対象の抽出に悪影響を与える駐車枠ノイズまたは白線ノイズを含んで構成されることが好ましい。
　本発明の第１７の態様によれば、第１乃至第１５の何れか一つの態様による車載画像処理装置において、障害物ノイズは、抽出対象である路面標示または駐車枠が描かれている略平面以外の空間に存在する物体の映り込みにより抽出対象の抽出に悪影響を与える立体物ノイズを含んで構成されることが好ましい。
　本発明の第１８の態様によれば、第１乃至第１５の何れか一つの態様による車載画像処理装置において、付着物ノイズは、撮影装置への付着物に起因する水滴ノイズまたは汚れノイズを含んで構成されることが好ましい。
　本発明によれば、検出されたノイズに応じて画像領域を切換えて駐車枠を認識するので、駐車支援の精度低下を抑制できる。
本発明の一実施形態による車載画像処理装置の構成を示すブロック図である。 俯瞰画像と車両前方の撮影画像を合わせた表示画像の例を示す図である。 演算処理の制御ブロック図である。 駐車枠線を認識するために選択される画像領域を説明する図である。 駐車枠線を認識するために選択される画像領域を説明する図である。 駐車枠線を認識するために選択される画像領域を説明する図である。 駐車枠線を認識するために選択される画像領域を説明する図である。 駐車枠線を認識するために選択される画像領域を説明する図である。 検出されたノイズと選択される画像領域との対応関係を模式的に例示する図である。 実施の形態による車載画像処理装置が実行する処理を説明するフローチャートである。 変形例による車載画像処理装置が実行する処理を説明するフローチャートである。
　図１は、本発明の一実施形態による車載画像処理装置１００の構成を示すブロック図である。図１に示す車載画像処理装置１００は、車両に搭載されて使用されるものであり、カメラ１ａ、１ｂ、１ｃおよび１ｄと、画像合成部２と、演算処理部３と、出力部４と、メモリ５とを備える。
　カメラ１ａ～１ｄは、車両の周囲をそれぞれ異なる撮影範囲で撮影する電子式カメラであり、車両のボディ、バンパー、ドアミラー等の各部に設置されている。これらの各カメラの撮影範囲は、合わせて車両の全周囲をカバーできるように定められている。本実施形態では、カメラ１ａは車両前方の撮影範囲を、カメラ１ｂは車両左側方の撮影範囲を、カメラ１ｃは車両右側方の撮影範囲を、カメラ１ｄは車両後方の撮影範囲をそれぞれ撮影するものとして説明する。カメラ１ａ～１ｄにより所定のフレームレート間隔でそれぞれ取得された撮影画像は、画像合成部２へ出力される。
　なお、本実施形態では、４つのカメラ１ａ～１ｄが上記のような各撮影範囲をそれぞれ撮影するものとして説明するが、車両に搭載されるカメラの個数および撮影範囲はこれに限定されない。また、各カメラを合わせた撮影範囲は、必ずしも車両の全周囲をカバーしていなくてもよい。車両の周囲を適切な範囲で撮影できれば、任意の個数のカメラを用いて、任意の撮影範囲について撮影画像を取得することができる。
　画像合成部２は、カメラ１ａ～１ｄにより取得された各撮影画像に基づいて、車両の全周囲を俯瞰した様子を示す俯瞰画像（トップビュー画像）を合成する。この俯瞰画像は、カメラ１ａ～１ｄの各撮影画像をその撮影方向に応じて座標変換した上で繋ぎ合わせることによって合成されるものである。画像合成部２により合成された俯瞰画像は、演算処理部３へ出力される。
　演算処理部３は、カメラ１ａ～１ｄにより取得された撮影画像または画像合成部２により合成された俯瞰画像に基づいて所定の演算処理を行うことにより、車両周囲の駐車枠を認識する。この演算処理部３が行う演算処理の内容については、後で詳しく説明する。演算処理部３による駐車枠の認識結果は、出力部４へ出力される。メモリ５は、演算処理部３による演算結果等を一時的に記憶するための揮発性の記憶媒体である。
　出力部４は、演算処理部３による駐車枠の認識結果に基づいて、車両周囲の駐車枠に対する駐車枠情報を出力する。たとえば、車両に対する駐車枠の方向や駐車枠までの距離を示す情報を駐車枠情報として出力する。この駐車枠情報は、車載画像処理装置１００と接続されている上位の車両制御装置（不図示）へと出力され、車両の駐車支援や走行制御等に利用される。一例として、周囲に駐車場が存在する状況であることを自動で認識し、例えば駐車場環境である場合には、モニタに自動周囲の俯瞰映像を自動で切り替えて表示することができる。これにより、公道において駐車場であると誤検出する状況を抑制し、適切なタイミングでユーザへの提示映像を切り替えることができるようになる。
　また、出力部４は、演算処理部３による駐車枠の認識結果に基づいて、自車からの相対的な位置情報として駐車枠情報を出力する。たとえば、駐車枠の左右枠線の端点座標、駐車枠線の角度および切片といった、実環境中における駐車枠の位置情報を出力する。この駐車枠情報は、車載画像処理装置１００と接続されている上位の車両制御装置（不図示）へと出力され、車両の駐車支援や走行制御に利用される。たとえば、自車から駐車枠までの相対的な位置姿勢に基づいて、駐車枠までの走行経路を計算し、ドライバーによるブレーキやシフトポジション変更のタイミングや、舵角の操作量を検知することによって、駐車支援を行うことが可能となる。これにより、車庫入れ等の運転操作に不慣れなドライバーにとっても、短時間で駐車動作が完了できるようになる。
　さらには、自車から駐車枠までの相対的な位置姿勢に基づいて、駐車枠までの走行経路を計算し、自動で車両の前進・後退・旋回の制御量を計算し、その計算結果に従って車両運動を自動制御してもよい。これにより、車庫入れ等の運転操作に不慣れなドライバーにとっても、安全かつ正確に駐車動作を完了できるようになる。
　図２は、画像合成部２により合成された俯瞰画像とカメラ１ａにより撮影された車両前方の撮影画像を合わせた表示画像の例を示す図である。図２において、左側の画像２１は俯瞰画像を示し、右側の画像２２は車両前方の撮影画像を示している。
　俯瞰画像２１は、車両の前方、左側方、右側方および後方にそれぞれ対応する４つの画像領域２１ａ、２１ｂ、２１ｃおよび２１ｄにより構成されている。これらの画像領域の各画像は、図１のカメラ１ａ～１ｄによってそれぞれ撮影された画像に基づいて作成されたものである。画像領域２１ａ内には、駐車枠線２３の一部が表示されている。この駐車枠線２３は、撮影画像２２にも表示されている。
　以上説明したような画像は、たとえば車両内に設置された不図示の表示モニタにおいて表示される。なお、撮影画像２２として表示される画像は、車両の進行方向に応じて切り替えられることが好ましい。たとえば、車両のシフトレバーを前進方向に切り替えたときには、車両が前進していると判断して、カメラ１ａにより撮影された車両前方の撮影画像を表示する。一方、車両のシフトレバーを後退方向に切り替えたときには、車両が後退していると判断して、カメラ１ｄにより撮影された車両後方の撮影画像を表示する。このようにすれば、車両の進行方向に応じた適切な撮影画像を車両の運転者に提示し、駐車時などの運転操作支援を行うことができる。
　次に、演算処理部３が行う演算処理の内容について説明する。図３は、演算処理部３が行う演算処理の制御ブロック図である。図３に示すように、演算処理部３は、線抽出部３０１、ノイズ検出部３０２、駐車枠認識部３０３およびノイズフラグ設定部３０４の各制御ブロックを機能的に有する。演算処理部３では、たとえば、これらの各制御ブロックに対応してメモリに記録されているプログラムをマイクロコンピュータで実行することにより、図３の各制御ブロックを実現している。
　画像合成部２により合成された俯瞰画像は、演算処理部３において線抽出部３０１、ノイズ検出部３０２および駐車枠認識部３０３に入力される。線抽出部３０１は、入力された俯瞰画像から車両の走行面に描かれた線を線画像として抽出する。たとえば、俯瞰画像を横方向に探索したときの輝度変化が所定のしきい値以上であるエッジ点を特徴点として抽出し、各特徴点をその位置関係や前回処理時からの移動量および移動方向等に基づいてグループ分けすることで、車両の走行面に描かれた線を抽出することができる。なお、ここで抽出される線には、道路上に描かれた各種の道路標示線（車道中央線、車線境界線、車道外側線、横断歩道等）や、駐車場に描かれた駐車枠線などが含まれる。線抽出部３０１による線抽出結果は、ノイズ検出部３０２および駐車枠認識部３０３へ出力される。
　ノイズ検出部３０２は、入力された撮影画像の全領域と俯瞰画像の全領域との少なくとも１つ以上を用いて、ノイズの有無を検出する。本実施の形態においては、ノイズ検出部３０２が、駐車枠ノイズ、白線ノイズ、立体物ノイズ、水滴ノイズおよび汚れノイズを検出する場合を例示するが、ノイズ検出部３０２が検出するノイズは上記の例に限定されるものではない。
　ノイズ検出部３０２は、公知の技術を用いて、西日や照明光等の影響により駐車枠を構成する２本の駐車枠線の輝度値もしくは色のいずれか１つ以上が大きく異なる場合、すなわち、線抽出部３０１により抽出された異なる線画像同士の輝度値または色差値の差分が所定値を超える場合に、駐車枠ノイズとして検出する。ノイズ検出部３０２は、公知の技術を用いて、抽出された線画像の近傍に、駐車枠を構成する駐車枠線以外の路面標示が検出された場合には、白線ノイズとして検出する。ノイズ検出部３０２は、公知の技術を用いて、異なる時刻に相当する俯瞰画像間の差分画像に基づいて立体物を検出した場合には、検出した立体物を立体物ノイズとする。
　ノイズ検出部３０２は、公知の技術を用いて、複数の撮影画像間において上部の画像領域を利用して水滴検出を行い、検出した水滴を水滴ノイズとする。ノイズ検出部３０２は、公知の技術を用いて、異なるタイミングで撮影された時間的に前後する複数の撮影画像の差分を抽出することにより、カメラ１ａ～１ｄのレンズに付着した付着物を汚れノイズとして検出する。
　画像全体を処理対象とすると、西日や照明光が強い場合や、雨・汚れといった付着物が付着している場合に、上記の各ノイズの算出は影響を受けてしまう。そこで、ノイズ検出部３０２は、まず画面全体でノイズ検出を実行する。ノイズ検出部３０２により特定のノイズが検出された場合には、ノイズフラグ設定部３０４において、撮影画像の内部の複数の部分撮影領域と俯瞰画像の内部の複数の部分俯瞰領域とのいずれか１つ以上の領域を選択的に利用して、再度ノイズ検出を実行する。ノイズフラグ設定部３０４は、再度検出したノイズの状態に応じたノイズフラグを設定して、駐車枠認識部３０３へ出力する。なお、以下の説明では、部分撮影領域と部分俯瞰領域とを総称する場合には、部分画像領域と呼ぶ。
　駐車枠認識部３０３は、ノイズフラグ設定部３０４による検出結果に応じて、線抽出部３０１により抽出された線が駐車枠線であるか否かを判断する。駐車枠認識部３０３は、抽出された線画像が駐車枠線であると判断すればそれに対応する駐車枠の認識結果を図１の出力部４へ出力する。
　図４～図８に、部分画像領域を例示する。図４は、斜線を付して示す俯瞰画像の近傍俯瞰領域Ｒ１が部分画像領域である例を示す。近傍俯瞰領域Ｒ１は、自車両を基点として、たとえば０ｍ～１．５ｍの範囲の近傍の路面に対応した部分俯瞰領域である。図５は、斜線を付して示す俯瞰画像の外周俯瞰領域Ｒ２が部分画像領域である例を示す。外周俯瞰領域Ｒ２は、自車両を基点として、たとえば１．５ｍの範囲より遠方の路面に対応した部分俯瞰領域である。
　図６は、斜線を付して示す撮影画像の近傍撮影領域Ｒ３が部分画像領域である例を示す。近傍撮影領域Ｒ３は、たとえば自車両の前方０．５ｍ～８ｍの範囲の近傍の路面に対応した部分撮影領域である。図７は、斜線を付して示す撮影画像の遠方撮影領域Ｒ４が部分画像領域である例を示す。遠方撮影領域Ｒ４は、たとえば自車両の前方８ｍ以遠の範囲の遠方の路面に対応する部分撮影領域である。図８は、斜線を付して示す撮影画像の外周撮影領域Ｒ５が部分画像領域である例を示す。外周撮影領域Ｒ５は、たとえば自車両の中心部からの幅が３ｍ以遠の範囲の路面に対応する部分撮影領域である。
　図９は、ノイズ検出部３０２により検出されたノイズと、ノイズフラグ設定部３０４が選択画像領域として選択する部分画像領域との対応関係を模式的に示す。図９は、上記の駐車枠ノイズ、白線ノイズ、立体物ノイズ、水滴ノイズおよび汚れノイズのうち抽出された線画像に対して検出されたノイズについてはフラグが「１」に設定され、検出されていないノイズについてはフラグが「０」に設定された場合を示している。さらに、図９は、検出されたノイズに応じてノイズフラグ設定部３０４が選択する部分画像領域を「○」、選択しない部分画像領域を「－」で示す。
　図９に示す事例Ａでは、ノイズ検出部３０２によりノイズが検出されず、全てのノイズについてフラグが「０」に設定された場合には、ノイズフラグ設定部３０４は、近傍俯瞰領域Ｒ１、外周俯瞰領域Ｒ２、近傍撮影領域Ｒ３、遠方撮影領域Ｒ４および外周撮影領域Ｒ５の何れかを選択画像領域として選択して駐車枠の認識を行うことを示している。この場合、抽出された線画像には他のノイズ算出に影響を与えるようなノイズが検出されていないので、ノイズフラグ設定部３０４が部分画像領域のうちの何れかを用いたとしても、適切にノイズフラグを出力させることが可能であり、駐車枠認識部３０３において駐車枠の誤認識の発生を低減できる。なお、抽出された線画像が車道中央線のように長い線に対応するものであるか、駐車枠線のように短い線に対応するものであるかを判別するためには、自車両から遠方を撮影した画像（たとえば遠方撮影領域Ｒ４）を選択画像領域とすることが好ましい。
　事例Ｂは、駐車枠ノイズについてのフラグのみが「１」に設定された場合には、ノイズフラグ設定部３０４は、近傍俯瞰領域Ｒ１、近傍撮影領域Ｒ３および外周撮影領域Ｒ５の何れかを選択画像領域として選択することを表している。換言すると、ノイズフラグ設定部３０４は、遠方撮影領域Ｒ４を選択画像領域として選択しない。上述したように、駐車枠ノイズは抽出した線画像の輝度値が大きく異なる場合に検出される。このため、自車両から遠くに離れるに従って２本の線の輝度差がより拡大し、同一の駐車枠を構成する駐車枠線であるのか否かの判別がつきにくくなる。このため、駐車枠ノイズが検出されている場合には、ノイズフラグ設定部３０４は、自車両の近傍を撮影した部分画像領域を使用してノイズフラグの設定を行うことにより、適切にノイズフラグを出力することが可能であり、駐車枠認識部３０３における誤認識の発生を抑制している。
　事例Ｃは、白線ノイズについてのフラグのみが「１」に設定された場合には、ノイズフラグ設定部３０４は、近傍俯瞰領域Ｒ１、外周俯瞰領域Ｒ２、近傍撮影領域Ｒ３および外周撮影領域Ｒ５の何れかを選択画像領域してノイズフラグ算出を行うことを表している。換言すると、ノイズフラグ設定部３０４は、遠方撮影領域Ｒ４を選択画像領域として選択しない。上述したように、白線ノイズは道路標示等が検出された場合に検出される。このため、文字等の複雑なペイントが路上に描かれた駐車場において、自車両から遠方の部分画像領域を用いた場合、ペイントを駐車枠線と誤認識する可能性が考えられる。本実施の形態では、ノイズフラグ設定部３０４は、遠方撮影領域Ｒ４を駐車枠線認識に用いないので、適切にノイズフラグを出力することが可能であり、路面標示等を駐車枠線として認識する不具合の発生を抑制できる。
　事例Ｄは、立体物ノイズについてのフラグのみが「１」に設定された場合には、ノイズフラグ設定部３０４は、近傍俯瞰領域Ｒ１、外周俯瞰領域Ｒ２、近傍撮影領域Ｒ３、遠方撮影領域Ｒ４および外周撮影領域Ｒ５の何れかを選択画像領域として選択してノイズフラグ算出を行うことを示している。この場合、自車両の近傍を撮影した画像を使用した場合であっても、自車両の遠方を撮影した画像であっても立体物が原因となって駐車枠が誤認識される可能性は低いと考えられる。このため、ノイズフラグ設定部３０４がいずれの部分画像領域を用いたとしても、駐車枠の誤認識の発生を低減できる。
　事例Ｅは、水滴ノイズについてのフラグのみが「１」に設定された場合には、ノイズフラグ設定部３０４は、近傍俯瞰領域Ｒ１、外周俯瞰領域Ｒ２、近傍撮影領域Ｒ３および外周撮影領域Ｒ５の何れかを選択画像領域として選択してノイズフラグ算出を行うことを示している。水滴ノイズは、撮影画像の上部領域の画像情報に基づいて、水滴が付着している場合に検出される。すなわち、撮影画像の上部領域の画像情報の信頼性が低いことを示している。水滴ノイズが検出されている場合、遠方撮影領域Ｒ４は水滴の付着により駐車枠線についての正確な情報が取得しにくいと考えられる。本実施の形態では、ノイズフラグ設定部３０４は、遠方撮影領域Ｒ４を駐車枠認識のために選択しないので、適切にノイズフラグを出力することが可能であり、駐車枠認識の精度を高めることができる。
　事例Ｆは、立体物ノイズおよび水滴ノイズについてのフラグが「１」に設定された場合には、ノイズフラグ設定部３０４は、近傍俯瞰領域Ｒ１および近傍撮影領域Ｒ３の何れかを選択画像領域として選択してノイズフラグ算出を行うことを示している。この場合、水滴の付着に伴って情報の精度が低下している遠方撮影領域Ｒ４を選択画像領域として選択しないので、適切にノイズフラグを出力することが可能であり、駐車枠の認識精度の低下を防止できる。
　事例Ｇは、汚れノイズについてのフラグのみが「１」に設定された場合には、ノイズフラグ設定部３０４は、近傍俯瞰領域Ｒ１、外周俯瞰領域Ｒ２および近傍撮影領域Ｒ３の何れかを選択画像領域として選択してノイズフラグ算出を行うことを示している。付着した汚れによる影響は、自車両の近傍を撮影した部分画像領域よりも自車両の遠方を撮影した部分画像領域の方が大きい。本実施の形態では、遠方撮影領域Ｒ４や外周撮影領域Ｒ５のように自車両から遠方の路面に対応する部分画像領域を選択画像領域として選択しないので、適切にノイズフラグを出力することが可能であり、付着した汚れに伴う駐車枠の誤認識の発生を抑制できる。
　事例Ｈは、水滴ノイズおよび汚れノイズについてのフラグが「１」に設定された場合には、ノイズフラグ設定部３０４は、何れの部分画像領域も選択しないことを示している。換言すると、ノイズフラグ設定部３０４は、選択画像領域の選択を禁止する。撮影装置１ａ～１ｄに水滴と汚れとが付着している場合、撮影画像に含まれる情報の精度は低くなる。このような場合には、ノイズフラグ設定部３０４は、選択画像領域の選択を行わないので、適切にノイズフラグを出力することが可能であり、情報精度の低い画像に基づいて駐車枠が誤って認識されることを防止できる。
　事例Ｉは、駐車枠ノイズおよび水滴ノイズについてのフラグが「１」に設定された場合には、ノイズフラグ設定部３０４は、近傍俯瞰領域Ｒ１および近傍撮影領域Ｒ３の何れかを選択画像領域として選択してノイズフラグ算出を行うことを示している。この場合、水滴の付着に伴って情報の精度が低下している遠方撮影領域Ｒ４を選択画像領域として選択しないので、適切にノイズフラグを出力することが可能であり、駐車枠線の認識精度の低下を防止できる。
　事例Ｊは、白線ノイズおよび汚れノイズについてのフラグが「１」に設定された場合には、ノイズフラグ設定部３０４は、近傍俯瞰領域Ｒ１および外周俯瞰領域Ｒ２の何れかを選択画像領域として選択してノイズフラグ算出を行うことを示している。付着した汚れの影響を受けやすく、かつ路面上に描かれた道路標示等を駐車枠として誤認識しやすい自車両から遠方を撮影した遠方撮影領域Ｒ４を選択画像領域として選択しないので、適切にノイズフラグを出力することが可能であり、駐車枠が誤って認識されることを防止できる。
　図１０のフローチャートを用いて、車載画像処理装置１００の動作を説明する。図１０のフローチャートに示す各処理は、演算処理部３によりプログラムを実行して行われる。このプログラムは、メモリ（不図示）に格納されており、演算処理部３により起動され、実行される。
　ステップＳ１０１では、画像合成部２により合成された俯瞰画像を入力してステップＳ１０２へ進む。ステップＳ１０２では、入力された俯瞰画像を横方向に検索したときの輝度変化や色差変化に基づいて、車両の走行面に描かれた線に対応する線画像を抽出してステップＳ１０３へ進む。ステップＳ１０３では、ステップＳ１０２にて抽出された線画像に対してノイズの有無を検出し、ステップＳ１０４へ進む。ステップＳ１０４では、ステップＳ１０３の結果に応じて部分画像領域を選択画像領域として選択してステップＳ１０７へ進む。ステップＳ１０７では、選択画像領域に対してノイズ検出を実行し、検出したノイズの状態に応じたノイズフラグを設定してステップＳ１０５へ進む。
　ステップＳ１０５では、ステップＳ１０７で設定されたノイズフラグに応じて、ステップＳ１０２で抽出された線画像が駐車枠を構成する駐車枠線であるか否かを判断し、駐車枠線であると判断するとステップＳ１０６にて認識結果を出力部４へ出力して処理を終了する。
　上述した実施の形態による車載画像処理装置１００によれば、次の作用効果が得られる。
（１）車載画像処理装置１００は、車両の周囲の路面を撮影して撮影画像を取得するカメラ１ａ～１ｄと、カメラ１ａ～１ｄにより取得された撮影画像に基づいて、車両の周囲を俯瞰した様子を示す俯瞰画像を生成する画像合成部２と、演算処理部３とを備える。演算処理部３は、画像合成部２によって生成された俯瞰画像を用いて、車両の周囲の路面上の車線に対応する線画像を抽出する線抽出部３０１と、抽出された線画像におけるノイズを検出するノイズ検出部３０２と、ノイズ検出部３０２により検出されたノイズに応じて、撮影画像の内部の部分画像領域と俯瞰画像の内部の部分俯瞰領域との何れかに基づいて、ノイズフラグを設定するノイズフラグ設定部３０４と、ノイズフラグ設定部３０４により設定されたノイズフラグと線抽出部３０１により抽出された線画像から駐車枠を認識する駐車枠認識部３０３とを含む。具体的には、ノイズフラグ設定部３０４は、検出されたノイズに応じて、撮影画像の内部の複数の部分撮影領域と俯瞰画像の内部の複数の部分俯瞰領域との中から選択画像領域を選択し、選択画像領域を用いてノイズフラグを設定する。設定されたノイズフラグに基づいて、駐車枠認識部３０３は抽出された線画像が駐車枠であるか否かを認識する。したがって、検出されたノイズに応じて、適した部分画像領域を選択することができるので、駐車枠の誤認識の発生を抑制して駐車支援の精度を向上させることができる。
（２）ノイズ検出３０２が線画像の輝度差に応じて駐車枠ノイズを検出した場合には、ノイズフラグ設定部３０４は、撮影画像のうち車両の近傍の路面に対応する部分画像領域である近傍撮影領域Ｒ３と、俯瞰画像のうち車両の近傍の路面に対応する部分画像領域である近傍俯瞰領域Ｒ１との中から選択画像領域を選択する。車両近傍の部分画像領域を用いることにより、２本の線画像の輝度差の拡大に伴う同一の駐車枠を構成する駐車枠線であるか否かの判別が困難になる不具合の発生を抑制して、駐車枠の認識精度を向上させることができる。
（３）ノイズ検出部３０２が車線以外の路面標示に基づいて白線ノイズを検出した場合には、ノイズフラグ設定部３０４は、撮影画像の遠方撮影領域Ｒ４を選択画像領域として選択しないようにした。文字等の複雑なペイントが路上に描かれた駐車場において、自車両から遠方の撮影画像を用いた場合、ペイントを駐車枠を構成する駐車枠線と誤認識する可能性が考えられる。本実施の形態では、遠方撮影領域Ｒ４を選択画像領域として選択しないので、路面標示等を駐車枠線として認識する不具合の発生を抑制して、駐車支援の精度を向上できる。
（４）ノイズ検出部３０２が車両周辺の立体物に基づいて立体物ノイズを検出した場合には、ノイズフラグ設定部３０４は、撮影画像の内部の複数の部分撮影領域と俯瞰画像の内部の複数の部分俯瞰領域との中から選択画像領域を選択するようにした。自車両の近傍を撮影した画像を使用した場合であっても、自車両の遠方を撮影した画像であっても、立体物が原因となって駐車枠が誤認識される可能性は低い。したがって、駐車枠認識部３０３がいずれの部分画像領域を用いたとしても、駐車枠線の誤認識の発生を低減できる。
（５）ノイズ検出部３０２が撮影装置１ａ～１ｄに付着した水滴に基づいて水滴ノイズを検出した場合には、ノイズフラグ設定部３０４は、遠方撮影領域Ｒ４の選択を禁止するようにした。この場合、撮影画像において、水滴ノイズが検出された部分画像領域に対応する画像情報を用いることなく駐車枠の認識を行うので、精度よく駐車支援を実行できる。
（６）ノイズ検出部３０２が撮影装置１ａ～１ｄに付着した汚れに基づいて汚れノイズを検出した場合には、ノイズフラグ設定部３０４は、近傍撮影領域Ｒ３と近傍俯瞰領域Ｒ１および外周俯瞰領域Ｒ２との中から選択画像領域を選択するようにした。したがって、付着した汚れによる影響が大きい自車両の遠方を撮影した部分画像領域を選択画像領域として選択しないので、付着した汚れに伴う駐車枠の誤認識の発生を抑制できる。
（７）ノイズ検出部３０２が車両周辺の立体物と撮影装置１ａ～１ｄに付着した水滴とに基づいて立体物ノイズと水滴ノイズとを検出した場合には、ノイズフラグ設定部３０４は、近傍撮影領域Ｒ３と近傍俯瞰領域Ｒ１との中から選択画像領域を選択するようにした。したがって、水滴の付着に伴って情報の精度が低下している遠方撮影領域Ｒ４を選択画像領域として選択しないので、駐車枠の認識精度の低下を防止できる。
（８）ノイズ検出部３０２が撮影装置１ａ～１ｄに付着した水滴と汚れとに基づいて水滴ノイズと汚れノイズを検出した場合には、ノイズフラグ設定部３０４は、撮影画像の内部の複数の部分撮影領域と俯瞰画像の内部の複数の部分俯瞰領域とから選択画像領域を選択しないようにした。撮影装置１ａ～１ｄに水滴と汚れとが付着している場合、撮影画像に含まれる情報の精度は低くなる。このような場合には、いずれの部分画像領域をも選択画像領域として選択しないので、情報の精度が低い画像に基づいて、駐車枠が誤って認識されることを防止できる。
（９）ノイズ検出部３０２が線画像の輝度差と撮影装置１ａ～１ｄに付着した水滴とに基づいて駐車枠ノイズと水滴ノイズとを検出した場合には、ノイズフラグ設定部３０４は、近傍撮影領域Ｒ３と、近傍俯瞰領域Ｒ１との中から選択画像領域を選択するようにした。この場合、上記の（２）および（５）の場合と同様に、駐車枠の認識精度が低い遠方撮影領域Ｒ４は選択画像領域として選択されないので、駐車枠が誤って認識されることを防止できる。
（１０）ノイズ検出部３０２が車線以外の路面標示と撮影装置１ａ～１ｄに付着した汚れとに基づいて白線ノイズと汚れノイズとを検出した場合には、ノイズフラグ設定部３０４は、近傍俯瞰領域Ｒ１と外周俯瞰領域Ｒ２と中から選択画像領域を選択するようにした。したがって、付着した汚れの影響を受けやすく、かつ路面上に描かれた道路標示等を駐車枠線として誤認識しやすい自車両から遠方を撮影した遠方撮影領域Ｒ４を選択画像領域として選択しないので、駐車枠が誤って認識されることを防止できる。
　以上で説明した実施の形態による車載画像処理装置を、以下のように変形できる。
（変形例１）
　ノイズフラグ設定部３０４が部分画像領域の選択を行わないものについても、本発明の一態様に含まれる。この場合、駐車枠認識部３０３は、近傍俯瞰領域Ｒ１、外周俯瞰領域Ｒ２、近傍撮影領域Ｒ３、遠方撮影領域Ｒ４および外周撮影領域Ｒ５のそれぞれを用いて駐車枠の認識を行い、ノイズ検出部３０２の検出結果に応じて認識結果を選択するようにしてもよい。たとえば図９に示す事例Ｂの場合には、近傍俯瞰領域Ｒ１を用いた認識結果、近傍撮影領域Ｒ３を用いた認識結果および外周撮影領域Ｒ５を用いた認識結果のいずれかを選択して、出力部４へ出力すればよい。
（変形例２）
　実施の形態における車載画像処理装置１００においては、図１０のフローチャートに示すように、ステップＳ１０３でのノイズ検出と、ステップＳ１０７でのノイズフラグ設定とを順次実行することによって、１フレーム中で部分画像領域を選択し、その領域に対してノイズフラグを算出していた。西日や照明光による影響が強い状況や、雨・汚れ等の付着物の存在は、毎フレームごとに完全に異なるわけではなく、一定期間の間、実質的に同一であることが多い。この特徴を利用して、ノイズ検出およびノイズフラグ設定の実行結果をメモリ５に記憶し、次フレームにおける処理の際には、記憶されているノイズ検出およびノイズフラグ設定の結果を読み出して、駐車枠認識部３０３へ出力してもよい。すなわち、図１１のフローチャートに示すように、ステップＳ１０４にて部分画像領域が選択された後、ステップＳ１０８にてメモリ５からノイズ検出結果およびノイズフラグ設定結果を読み出して、ステップＳ１０５へ進めばよい。この結果、処理負荷の軽減を図ることができる。
　（変形例３）
　さらに、上記の変形例２の場合において、一定時間が経過するごとに、メモリ５に記憶されているノイズ検出およびノイズフラグ設定結果をクリア（削除）して、再度ノイズ検出およびノイズフラグ設定を実行してもよい。この結果、たとえば事例Ｈに示すように、全ての部分画像領域をノイズフラグ設定のために使用しないようにした場合であっても、一定時間が経過すると復帰させることができる。
　（変形例４）
　上述した実施の形態および変形例１～３においては、あるノイズが検出された場合に、処理領域を変更することによってノイズの出力を抑制する態様を説明した。領域を使用しないことによってノイズの出力を抑制するものに代えて、ノイズフラグ設定部３０４が対応する選択画像領域でノイズフラグを有効にするための閾値（基準値）を緩和し、ノイズが検出されている場合にはノイズフラグが容易に有効になるようにするものについても本発明の一態様に含まれる。この結果、ノイズ検出の結果によって選択画像領域のノイズフラグが有効になりやすくなるため、駐車枠認識がされにくくなり、駐車枠が誤って認識されることを防止できる。
　本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１２年第２５９０６７号（２０１２年１１月２７日出願）
１ａ、１ｂ、１ｃ、１ｄ…カメラ、２…画像合成部、
３…演算処理部、５…メモリ、１００…車載画像処理装置、
３０１…線抽出部、３０２…ノイズ検出部、
３０３…駐車枠認識部、３０４…ノイズフラグ設定部
 

Claims (18)

  1. 　車両の周囲の路面を撮影して撮影画像を取得する撮影装置と、
    　前記撮影装置により取得された前記撮影画像に基づいて、前記車両の周囲を俯瞰した様子を示す俯瞰画像を生成する画像生成部と、
    　前記画像生成部によって生成された前記俯瞰画像を用いて、前記車両の周囲の路面標示を抽出する抽出部と、
    　前記抽出部が前記路面標示を抽出する際に観測される、少なくとも、路面ノイズ、障害物ノイズおよび付着物ノイズのうち何れか１つ以上のノイズを検出する検出部と、
    　前記検出部により検出された前記ノイズに応じて、前記撮影画像の内部の部分撮影領域と前記俯瞰画像の内部の部分俯瞰領域との何れかに基づいて、駐車枠を認識する駐車枠認識部とを備える車載画像処理装置。
  2. 　請求項１に記載の車載画像処理装置において、
    　前記検出されたノイズに応じて、前記撮影画像の内部の複数の前記部分撮影領域と前記俯瞰画像の内部の複数の前記部分俯瞰領域との中から選択画像領域を選択して、前記選択画像領域についてノイズの状態に応じたノイズフラグを設定するノイズフラグ設定部をさらに備え、
    　前記駐車枠認識部は、前記ノイズフラグ設定部により選択された前記選択画像領域を用いて前記抽出された前記路面標示が前記駐車枠であるか否かを認識する車載画像処理装置。
  3. 　請求項２に記載の車載画像処理装置において、
    　前記検出部が前記ノイズを検出しない場合には、前記ノイズフラグ設定部は、前記撮影画像の内部の前記複数の部分撮影領域と前記俯瞰画像の内部の前記複数の部分俯瞰領域との中から選択画像領域を選択する車載画像処理装置。
  4. 　請求項２に記載の車載画像処理装置において、
    　前記検出部が線画像の輝度差に応じて前記路面ノイズを検出した場合には、前記ノイズフラグ設定部は、前記撮影画像の内部の前記車両の近傍の路面に対応する部分撮影領域と前記俯瞰画像の内部の前記車両の近傍の路面に対応する部分俯瞰領域との中から前記選択画像領域を選択する車載画像処理装置。
  5. 　請求項２に記載の車載画像処理装置において、
    　前記検出部が車線以外の路面標示に基づいて前記路面ノイズを検出した場合には、前記ノイズフラグ設定部は、前記撮影画像の内部の前記車両の遠方の路面に対応する部分撮影領域を前記選択画像領域として選択しない車載画像処理装置。
  6. 　請求項２に記載の車載画像処理装置において、
    　前記検出部が前記車両の周辺の立体物に基づいて前記障害物ノイズを検出した場合には、前記ノイズフラグ設定部は、前記撮影画像の内部の前記複数の部分撮影領域と前記俯瞰画像の内部の前記複数の部分俯瞰領域との中から前記選択画像領域を選択する車載画像処理装置。
  7. 　請求項２に記載の車載画像処理装置において、
    　前記検出部が前記撮影装置に付着した水滴に基づいて前記付着物ノイズを検出した場合には、前記ノイズフラグ設定部は、前記撮影画像の内部の前記車両の遠方の路面に対応する部分撮影領域を前記選択画像領域として選択しない車載画像処理装置。
  8. 　請求項２に記載の車載画像処理装置において、
    　前記検出部が前記撮影装置に付着した汚れに基づいて前記付着物ノイズを検出した場合には、前記ノイズフラグ設定部は、前記撮影画像の内部の前記車両の近傍の路面に対応する部分撮影領域と前記俯瞰画像の内部の前記複数の部分俯瞰領域との中から前記選択画像領域を選択する車載画像処理装置。
  9. 　請求項２に記載の車載画像処理装置において、
    　前記検出部が少なくとも前記車両の周辺の立体物と前記撮影装置に付着した水滴とに基づいて前記障害物ノイズと前記付着物ノイズとを検出した場合には、前記ノイズフラグ設定部は、前記撮影画像の内部の前記車両の近傍の路面に対応する部分撮影領域と前記俯瞰画像の内部の前記車両の近傍の路面に対応する部分俯瞰領域との中から前記選択画像領域を選択する車載画像処理装置。
  10. 　請求項２に記載の車載画像処理装置において、
    　前記検出部が少なくとも前記撮影装置に付着した水滴と汚れとに基づいて前記付着物ノイズを検出した場合には、前記ノイズフラグ設定部は、前記撮影画像の内部の前記複数の部分撮影領域と前記俯瞰画像の内部の前記複数の部分俯瞰領域との中から前記選択画像領域を選択しない車載画像処理装置。
  11. 　請求項２に記載の車載画像処理装置において、
    　前記検出部が少なくとも線画像の輝度差と前記撮影装置に付着した水滴とに基づいて前記路面ノイズと前記付着物ノイズとを検出した場合には、前記ノイズフラグ設定部は、前記撮影画像の内部の前記車両の近傍の路面に対応する部分撮影領域と、前記俯瞰画像の内部の前記車両の近傍の路面に対応する部分俯瞰領域との中から前記選択画像領域を選択する車載画像処理装置。
  12. 　請求項２に記載の車載画像処理装置において、
    　前記検出部が少なくとも車線以外の路面標示と前記撮影装置に付着した汚れとに基づいて前記路面ノイズと前記付着物ノイズとを検出した場合には、前記ノイズフラグ設定部は、前記俯瞰画像の内部の前記複数の部分俯瞰領域の中から前記選択画像領域を選択する車載画像処理装置。
  13. 　請求項２乃至１２の何れか一項に記載の車載画像処理装置において、
    　前記ノイズフラグ設定部が設定した前記ノイズフラグを記憶する記憶部をさらに備え、
    　前記ノイズフラグ設定部は、前記撮影装置により次フレームの前記撮影画像が取得された際には、前記記憶部に記憶された前記ノイズフラグに基づいて前記選択画像領域を選択する車載画像処理装置。
  14. 　請求項１３に記載の車載画像処理装置において、
    　前記記憶部は、前記ノイズフラグが記憶されてから所定の時間が経過すると、該ノイズフラグを削除する車載画像処理装置。
  15. 　請求項２乃至１４の何れか一項に記載の車載画像処理装置において、
    　前記ノイズフラグ設定部は、前記選択画像領域において前記ノイズフラグを設定するための基準値を緩和する車載画像処理装置。
  16. 　請求項１乃至１５の何れか一項に記載の車載画像処理装置において、
    　前記路面ノイズは、抽出対象である前記路面標示または前記駐車枠の近傍に存在する前記抽出対象の非構成物であり、前記抽出対象の抽出に悪影響を与える駐車枠ノイズまたは白線ノイズを含んで構成される車載画像処理装置。
  17. 　請求項１乃至１５の何れか一項に記載の車載画像処理装置において、
    　前記障害物ノイズは、抽出対象である前記路面標示または前記駐車枠が描かれている略平面以外の空間に存在する物体の映り込みにより前記抽出対象の抽出に悪影響を与える立体物ノイズを含んで構成される車載画像処理装置。
  18. 　請求項１乃至１５の何れか一項に記載の車載画像処理装置において、
    　前記付着物ノイズは、前記撮影装置への付着物に起因する水滴ノイズまたは汚れノイズを含んで構成される車載画像処理装置。
PCT/JP2013/081889 2012-11-27 2013-11-27 車載画像処理装置 WO2014084251A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014549858A JP6393189B2 (ja) 2012-11-27 2013-11-27 車載画像処理装置
EP13857698.8A EP2928182B1 (en) 2012-11-27 2013-11-27 Onboard image processing system
CN201380060558.2A CN104798368B (zh) 2012-11-27 2013-11-27 车载图像处理装置
US14/647,214 US9922258B2 (en) 2012-11-27 2013-11-27 On-vehicle image processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-259067 2012-11-27
JP2012259067 2012-11-27

Publications (1)

Publication Number Publication Date
WO2014084251A1 true WO2014084251A1 (ja) 2014-06-05

Family

ID=50827883

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/081889 WO2014084251A1 (ja) 2012-11-27 2013-11-27 車載画像処理装置

Country Status (5)

Country Link
US (1) US9922258B2 (ja)
EP (1) EP2928182B1 (ja)
JP (1) JP6393189B2 (ja)
CN (1) CN104798368B (ja)
WO (1) WO2014084251A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019023794A (ja) * 2017-07-24 2019-02-14 株式会社デンソーテン 画像処理装置及び画像処理方法
JP2019526105A (ja) * 2016-06-23 2019-09-12 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ 周辺モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5921715B2 (ja) * 2012-11-27 2016-05-24 クラリオン株式会社 車載画像処理装置
US10906530B2 (en) * 2015-11-10 2021-02-02 Hyundai Motor Company Automatic parking system and automatic parking method
JP6745456B2 (ja) * 2015-12-08 2020-08-26 パナソニックＩｐマネジメント株式会社 駐車支援装置、駐車支援方法及び駐車支援プログラム
US10683035B2 (en) 2015-12-08 2020-06-16 Panasonic Intellectual Property Management Co., Ltd. Parking assistance device, parking assistance method, and non-transitory computer readable medium
JP6788477B2 (ja) * 2016-03-10 2020-11-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 認識結果提示装置及び認識結果提示方法
JP6576887B2 (ja) * 2016-08-09 2019-09-18 クラリオン株式会社 車載装置
JP6773540B2 (ja) * 2016-12-07 2020-10-21 クラリオン株式会社 車載用画像処理装置
JP7296768B2 (ja) * 2019-04-22 2023-06-23 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
JP2020183166A (ja) * 2019-05-07 2020-11-12 アルパイン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US11254212B2 (en) * 2019-09-09 2022-02-22 Byton North America Corporation Shifting a road view based on a speed for a vehicle
JP7459779B2 (ja) * 2020-12-17 2024-04-02 トヨタ自動車株式会社 音源候補抽出システムおよび音源探査方法
CN114701428A (zh) * 2022-04-13 2022-07-05 中国第一汽车股份有限公司 一种车辆逆光行驶辅助方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244382A (ja) 2009-04-08 2010-10-28 Honda Motor Co Ltd 車両走行支援装置
CN101920679A (zh) * 2009-06-09 2010-12-22 株式会社电装 停车辅助系统
JP2012166705A (ja) * 2011-02-15 2012-09-06 Alpine Electronics Inc 車載カメラレンズ用異物付着判定装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4130434B2 (ja) 2004-11-30 2008-08-06 本田技研工業株式会社 撮像装置の異常検知装置
JP5022609B2 (ja) * 2006-02-27 2012-09-12 日立オートモティブシステムズ株式会社 撮像環境認識装置
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム
KR101143176B1 (ko) * 2006-09-14 2012-05-08 주식회사 만도 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템
JP4654208B2 (ja) 2007-02-13 2011-03-16 日立オートモティブシステムズ株式会社 車載用走行環境認識装置
US8503728B2 (en) * 2007-10-30 2013-08-06 Nec Corporation Road marking image processing device, road marking image processing method, and program
JP4900232B2 (ja) * 2007-12-26 2012-03-21 日産自動車株式会社 車両用駐車支援装置および映像表示方法
JP4661917B2 (ja) * 2008-07-25 2011-03-30 日産自動車株式会社 駐車支援装置および駐車支援方法
EP2351351B1 (en) * 2008-10-01 2015-09-16 Connaught Electronics Limited A method and a system for detecting the presence of an impediment on a lens of an image capture device to light passing through the lens of an image capture device
KR101283792B1 (ko) 2009-11-17 2013-07-08 주식회사 만도 주차공간 인식 방법 및 장치
TWI392366B (zh) * 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統
KR101877570B1 (ko) * 2012-04-04 2018-07-11 현대자동차주식회사 Ａｖ 영상 기반의 주차위치 설정 장치 및 그 방법
KR101947826B1 (ko) * 2012-04-10 2019-02-13 현대자동차주식회사 차량의 주차구획 인식방법
KR101449295B1 (ko) * 2013-06-04 2014-10-13 현대자동차주식회사 주차구획 추적 장치 및 방법
KR20150022436A (ko) * 2013-08-23 2015-03-04 주식회사 만도 주차 제어 장치, 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244382A (ja) 2009-04-08 2010-10-28 Honda Motor Co Ltd 車両走行支援装置
CN101920679A (zh) * 2009-06-09 2010-12-22 株式会社电装 停车辅助系统
US20110006917A1 (en) * 2009-06-09 2011-01-13 Denso Corporation Parking aid system
JP2011016514A (ja) * 2009-06-09 2011-01-27 Denso Corp 駐車支援システム
JP2012166705A (ja) * 2011-02-15 2012-09-06 Alpine Electronics Inc 車載カメラレンズ用異物付着判定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2928182A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019526105A (ja) * 2016-06-23 2019-09-12 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ 周辺モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両
US11145112B2 (en) 2016-06-23 2021-10-12 Conti Temic Microelectronic Gmbh Method and vehicle control system for producing images of a surroundings model, and corresponding vehicle
JP7008040B2 (ja) 2016-06-23 2022-01-25 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング 環境モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両
JP2019023794A (ja) * 2017-07-24 2019-02-14 株式会社デンソーテン 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
EP2928182A1 (en) 2015-10-07
JP6393189B2 (ja) 2018-09-19
EP2928182B1 (en) 2019-07-17
JPWO2014084251A1 (ja) 2017-01-05
CN104798368B (zh) 2018-08-28
US9922258B2 (en) 2018-03-20
EP2928182A4 (en) 2016-11-09
CN104798368A (zh) 2015-07-22
US20150302261A1 (en) 2015-10-22

Similar Documents

Publication Publication Date Title
JP6393189B2 (ja) 車載画像処理装置
US11836989B2 (en) Vehicular vision system that determines distance to an object
JP6649738B2 (ja) 駐車区画認識装置、駐車区画認識方法
JP5022609B2 (ja) 撮像環境認識装置
US8089512B2 (en) Driving support device, driving support method and computer program
JP5399027B2 (ja) 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス
JP5421072B2 (ja) 接近物体検知システム
JP4725391B2 (ja) 車両用視程測定装置、及び運転支援装置
JP5622648B2 (ja) 画像処理装置
WO2017138216A1 (ja) キャリブレーションシステム、キャリブレーション装置
JP6045889B2 (ja) 車載用制御装置
JP5680436B2 (ja) 車載カメラレンズ用異物付着判定装置
JP6493000B2 (ja) 路面標示検出装置及び路面標示検出方法
JP6152261B2 (ja) 車載用駐車枠認識装置
JP6375633B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP2014106739A (ja) 車載画像処理装置
JP6327115B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP2008042759A (ja) 画像処理装置
JP5907405B2 (ja) 画像解析装置及びこれを用いた物体検出装置
JP2023102489A (ja) 画像処理装置、画像処理方法および画像処理システム
JP2011095977A (ja) 障害物認識装置
JP2008099136A (ja) 立体物検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13857698

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014549858

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14647214

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2013857698

Country of ref document: EP