WO2018025811A1 - 画像処理装置、外界認識装置 - Google Patents

画像処理装置、外界認識装置 Download PDF

Info

Publication number
WO2018025811A1
WO2018025811A1 PCT/JP2017/027726 JP2017027726W WO2018025811A1 WO 2018025811 A1 WO2018025811 A1 WO 2018025811A1 JP 2017027726 W JP2017027726 W JP 2017027726W WO 2018025811 A1 WO2018025811 A1 WO 2018025811A1
Authority
WO
WIPO (PCT)
Prior art keywords
road surface
detection
image
unit
vehicle
Prior art date
Application number
PCT/JP2017/027726
Other languages
English (en)
French (fr)
Inventor
秋山　靖浩
泰 金田
浜田　宏一
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to CN201780044270.4A priority Critical patent/CN109478324B/zh
Priority to EP17836916.1A priority patent/EP3493152A4/en
Priority to US16/322,149 priority patent/US10956757B2/en
Publication of WO2018025811A1 publication Critical patent/WO2018025811A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an image processing device and an external environment recognition device.
  • the gradation diagram generally has a narrow dynamic range of information that can be expressed and is easily influenced by ambient brightness. Therefore, in the method of Patent Document 1, it may be difficult to accurately specify the road surface in the image. In such a case, an object such as another vehicle existing around the own vehicle is accurately identified from the captured image. It is difficult to detect.
  • An image processing apparatus includes a road surface detection unit that detects a road surface area from an input image based on a captured image captured by a camera, and a time series verification of the detection result of the road surface area in the input image.
  • a detection region for detecting an object based on a time series verification unit that performs series verification, a detection result of the road surface region by the road surface detection unit, and a result of the time series verification by the time series verification unit A detection region selection unit set in the input image; and a detection unit that detects the object in the detection region.
  • An external environment recognition apparatus includes an image processing device, and controls an alarm signal for giving a warning to a driver of the own vehicle and an operation of the own vehicle based on a detection result of the other vehicle by the detection unit. To output at least one of the vehicle control signals.
  • the present invention it is possible to accurately detect objects such as other vehicles existing around the host vehicle from the captured image.
  • FIG. 1 is a block diagram showing a functional configuration of an image processing apparatus 10 according to the first embodiment of the present invention.
  • An image processing apparatus 10 shown in FIG. 1 is mounted on a vehicle and used.
  • a vehicle on which the image processing apparatus 10 is mounted is referred to as “own vehicle”, and other vehicles existing around the own vehicle are referred to as “other vehicles”.
  • the image processing apparatus 10 is connected to a predetermined position of the host vehicle corresponding to the shooting area, for example, a camera 20 attached to the body of the host vehicle.
  • the image processing apparatus 10 includes an image correction unit 101, a road surface detection unit 102, a detection region selection unit 103, a detection unit 104, a time series verification unit 105, a road surface region interpolation unit 106, and a priority direction selection unit 107.
  • Each function of the image processing apparatus 10 shown in FIG. 1 can be realized by appropriately combining hardware such as a microcomputer and a memory, and various programs executed on the microcomputer.
  • the camera 20 shoots another vehicle existing around the host vehicle with a moving image or a still image every predetermined time, and the image correction unit 101 uses each frame or each still image of the acquired moving image as a captured image every predetermined time. Output to.
  • the camera 20 can be installed at an arbitrary location of the host vehicle.
  • the camera 20 is installed in a part such as a front bumper, a rear bumper, and left and right side mirrors of the host vehicle. Or you may install the camera 20 in the vehicle of the own vehicle.
  • the camera 20 may be installed alone, or the other vehicles can be recognized in all areas around the own vehicle. As described above, a plurality of cameras 20 may be installed.
  • a fisheye camera is used as the camera 20.
  • the fish-eye camera is a camera using a fish-eye lens in which the lens condensing characteristic is greatly shifted to the wide-angle side from the lens used in a normal camera, and has an advantage that the photographing range is wide. In this way, it is preferable in terms of image processing in vehicle detection that a wide range can be photographed at one time with one camera.
  • the captured image obtained by the camera 20 is a so-called fish-eye image, the closer to the top, bottom, left and right edges of the captured image corresponding to the position far from the vehicle, the greater the distortion and the lower the resolution. Therefore, there is a problem that the distorted captured image input from the camera 20 is not suitable for vehicle detection.
  • the captured image obtained by the camera 20 is input to the image correction unit 101 in the image processing apparatus 10.
  • the image correction unit 101 performs distortion correction processing on the captured image (fisheye image) input from the camera 20 to convert the captured image into an image without distortion suitable for vehicle detection.
  • a nonlinear local geometric correction method that converts a captured image into an actual spatial mapping using the distortion characteristics of a known fisheye lens, or a distortion coefficient that simply represents the distortion characteristics of a fisheye lens.
  • a linear local geometric correction method for correcting a photographed image using the above can be used. In the distortion correction process, there is no problem even if another algorithm is selected.
  • FIG. 2 is a diagram showing a distortion correction process of a photographed image by the image correction unit 101.
  • FIG. 2A is an example of a fish-eye image obtained by photographing with the camera 20 installed on the right side mirror of the host vehicle.
  • the left part corresponds to the front, that is, the front direction of the host vehicle
  • the right part corresponds to the rear, that is, the rear direction of the host vehicle.
  • the road surface 204 is reflected in the center of the image
  • the background 205 such as the sky
  • the body 203 of the own vehicle is reflected in the lower part of the image.
  • the other vehicle 202 is reflected.
  • the image correction unit 101 sets, for example, an area including another vehicle 202 as the correction target area 201 for the fish-eye image as shown in FIG. Perform correction processing.
  • FIG. 2B is an example of a corrected image obtained by performing distortion correction processing on the correction target area 201 of FIG.
  • the other vehicle 202, the road surface 204, and the background 205 are corrected so as to be seen as being equivalent to an actual space map.
  • the image correction unit 101 may set an arbitrary area in the captured image as the correction target area. As shown in FIG. Alternatively, a plurality of correction target areas may be set in the captured image, and distortion correction processing may be performed on each of the correction target areas. Furthermore, when performing vehicle detection using a portion with small distortion in the captured image, or when the camera 20 is a normal camera that is not a fisheye camera, the image correction unit 101 does not perform distortion correction processing. May be.
  • the road surface detection unit 102 detects a road surface region corresponding to a road surface from the input image when an image photographed by the camera 20 and subjected to distortion correction processing by the image correction unit 101 is input.
  • the road surface detection unit 102 divides the input image into a plurality of observation blocks and uses a detector to which a machine learning technique is applied, for example, each observation block corresponds to either a road surface region or a non-road surface region other than the road surface region. Perform two-class detection to identify whether to do.
  • the observation block corresponding to the road surface area is referred to as a road surface block
  • the observation block corresponding to the non-road surface area is referred to as a non-road surface block.
  • FIG. 3 is a diagram illustrating an example of a learning image used when generating the detector of the road surface detection unit 102.
  • FIG. 3A is an example of a learning image for a road surface area
  • FIGS. 3B to 3E are examples of learning images for a non-road surface area.
  • the road surface 300 is reflected
  • the learning images of FIGS. 3 (b) to 3 (e) subjects other than the road surface are reflected.
  • the vehicle 301 is shown in the learning image in FIG. 3B
  • the tree 302 is shown in the learning image in FIG. 3C
  • the building 303 is shown in the learning image in FIG.
  • the person 304 is reflected in the learning image in FIG.
  • the learning image of the non-road surface area is not limited to the above example, and any subject other than the road surface may be reflected.
  • machine learning used in the road surface detection unit 102 inputs a plurality of images of a target object to be detected, extracts image features representing the target object from the input, and inputs an unknown input image.
  • a processing method for automatically setting the parameters of the classifier so that the learned image features can be detected and identified for example, Deep Learning (deep learning) is known. Deep learning can subdivide and automatically extract the feature parameters of the images that the input images have in common.
  • a feature parameter extraction method a feature extraction method using a neural network structure is known.
  • neuron units that react only when matching the image features common to the input image group are combined for each small image area. It is stacked in multiple layers to form a pyramid structure.
  • classifier parameters are extracted for each layer of the neuron unit so that the object can be identified step by step while changing the position and image size of the object to be detected.
  • a discriminator parameter capable of discriminating the entire object can be obtained.
  • FIG. 4 is a diagram illustrating an example of a road surface detection result by the road surface detection unit 102.
  • FIG. 4A shows an example of a fisheye image obtained by photographing with the camera 20. In this fish-eye image, as in FIG. 2A, the road surface 401 is reflected in the center of the image, the background 403 such as the sky is reflected in the upper part of the image, and the body 402 of the host vehicle is reflected in the lower part of the image.
  • FIG. 4B shows an example of the road surface detection result obtained for the image of FIG. In FIG. 4B, the image of FIG. 4A is divided into a plurality of observation blocks, of which the observation blocks corresponding to the road surface 401 of FIG.
  • 4A are recognized as road surface blocks 405, 4 shows a state in which the observation blocks corresponding to the body 402 and the background 403 in FIG.
  • the road surface detection result by the road surface detection unit 102 has been described using a photographed image before the distortion correction processing.
  • the image correction unit 101 performs the distortion correction processing.
  • the road surface detection unit 102 performs road surface detection on the received input image.
  • the time-series verification unit 105 performs time-series verification to verify the detection result of the road surface area by the road surface detection unit 102 in time series based on the change in the time-series arrangement of the above-described road surface blocks and non-road surface blocks in the input image. Do.
  • a part of the road surface region is a detection object using a plurality of temporally continuous input images respectively generated from a plurality of captured images captured at predetermined times by the camera 20. It is verified whether the vehicle is hidden by some other vehicle or the road shape corresponding to the road surface area is changing.
  • a specific example of time series verification performed by the time series verification unit 105 will be described later.
  • the road surface area interpolation unit 106 interpolates the road surface area detected from the input image by the road surface detection unit 102 as necessary based on the result of the time series verification by the time series verification unit 105. For example, when the time-series verification unit 105 determines that a part of the road surface area is hidden by another vehicle that is a detection target, the road surface area interpolation unit 106 determines that the part from the non-road surface area to the road surface area. By substituting for this, the portion is interpolated as a road surface area. As a result, when a portion that is originally a road surface region is hidden behind another vehicle and is erroneously determined to be a non-road surface region, the portion can be made the original road surface region.
  • the priority direction selection unit 107 sets a priority direction that is a direction in which another vehicle as a detection target should be detected with priority based on the traveling state of the host vehicle. In order to determine the traveling state of the host vehicle, a signal indicating the traveling mode of the host vehicle is input to the priority direction selection unit 107.
  • FIG. 5 is a diagram illustrating an example of a setting table used when the priority direction selection unit 107 sets the priority direction.
  • the traveling mode of the host vehicle includes forward, backward, and parking assistance.
  • different priority directions are shown for the general road and the expressway.
  • the priority direction selection unit 107 obtains a signal indicating the travel mode of the host vehicle from a vehicle control CPU mounted on the host vehicle, thereby determining which of the host vehicle travel modes is, It can be determined whether the vehicle is traveling on a general road or an expressway.
  • the priority direction selection unit 107 sets a priority direction according to the traveling mode and the traveling road of the host vehicle based on the setting table of FIG. For example, when the traveling mode of the host vehicle is forward, the priority direction selection unit 107 sets the rear of the host vehicle as the priority direction regardless of whether the traveling road is a general road or an expressway. That is, when the host vehicle is moving forward, the rear direction of the host vehicle is set as the priority direction so that other vehicles approaching from the rear of the host vehicle can be detected with priority regardless of the type of the traveling road.
  • the priority direction selection unit 107 sets the rear direction of the host vehicle as the priority direction when the traveling road is a general road, and around the host vehicle when the traveling road is an expressway. Set all directions as preferred directions.
  • the rear direction of the host vehicle is set as the priority direction so that other vehicles approaching from the rear of the host vehicle can be detected preferentially in the same way as when moving forward. To do. Normally, it is not expected that the host vehicle will retreat on the highway (except in the parking area), but in the unlikely event that such a situation occurs, the risk is high enough so that all directions around the host vehicle are prioritized. By setting as, other vehicles can be detected using the entire captured image.
  • the priority direction selection unit 107 sets the front and rear of the host vehicle as the priority direction if the traveling road is a general road, and automatically All directions around the vehicle are set as priority directions. That is, when the host vehicle starts parallel parking using parking support on a general road, the front and rear of the host vehicle are preferentially detected so that other vehicles approaching from the front or rear of the host vehicle can be preferentially detected. Set as the preferred direction. Normally, it is not expected that the host vehicle will be parked on the highway (excluding the parking area), but in the unlikely event that such a situation occurs, the risk is sufficiently high. Is set as the priority direction, so that other vehicles can be detected using the entire captured image.
  • the detection area selection unit 103 is a vehicle detection area for detecting another vehicle that is a detection target based on the detection result of the road surface area by the road surface detection unit 102 and the result of the time series verification by the time series verification unit 105. Is set in the input image. At this time, when the road surface area interpolation unit 106 interpolates the road surface area based on the result of the time series verification by the time series verification unit 105, the detection area selection unit 103 is interpolated based on the interpolation result. A vehicle detection area is set including a road surface area. If it is determined that the road shape has changed as a result of the time series verification by the time series verification unit 105, the vehicle detection area is set in consideration of the change in the road shape.
  • the vehicle detection area is set in consideration of the priority direction. That is, the detection region selection unit 103 determines the road surface region in the input image by integrating the output of the road surface detection unit 102 and the output of the road surface interpolation unit 106, and further outputs the time series verification unit 105 and selects the priority direction. Based on the designation of the unit 107, a vehicle detection area is set on the determined road surface area.
  • FIG. 6 is a diagram illustrating an example of the vehicle detection area set by the detection area selection unit 103.
  • FIG. 6A is an example of the vehicle detection area when the front and rear of the host vehicle are set in the priority direction.
  • FIG. 6B is an example of the vehicle detection area when the rear of the host vehicle is set in the priority direction.
  • the vehicle detection area 604 set on the road surface area 601 in the fisheye image corresponds to the rear of the host vehicle.
  • FIG. 6C is an example of the vehicle detection area when all directions around the host vehicle are set as the priority direction.
  • FIG. 6A is an example of the vehicle detection area when the front and rear of the host vehicle are set in the priority direction.
  • vehicle detection areas 602 and 603 set on the road surface area 601 in the fisheye image obtained by photographing with the camera 20 respectively correspond to the front and rear of
  • a vehicle detection area 605 set for the entire road surface area 601 in the fisheye image corresponds to all directions around the host vehicle.
  • the vehicle detection area similar to the vehicle detection area 602 in FIG. You may make it set above.
  • the vehicle detection area set for each priority direction using the captured image before the distortion correction process has been described, but in reality, the distortion correction process is performed by the image correction unit 101.
  • a vehicle detection area is set on the road surface area for the input image on which is performed.
  • the detection unit 104 detects other vehicles existing around the host vehicle from the input image based on the vehicle detection region set by the detection region selection unit 103.
  • the detection part 104 detects the other vehicle reflected in the vehicle detection area by performing a predetermined vehicle detection process with respect to the part set to the vehicle detection area in the input image.
  • the detection unit 104 uses, for example, a machine learning type detector similar to that described in the road surface detection unit 102 to determine whether or not there is a part having a characteristic as a vehicle in the vehicle detection region. By judging, other vehicles can be detected.
  • the detection unit 104 outputs a vehicle approach signal indicating that the other vehicle is approaching. For example, when a valid vehicle detection area cannot be set in the input image, such as when the road surface area is not detected by the road surface detection unit 102, a detection FAIL signal is output.
  • time-series verification unit 105 Next, a specific example of time-series verification performed by the time-series verification unit 105 will be described with reference to FIGS.
  • FIG. 7 is a diagram illustrating an example of a time-series verification procedure when a part of the road surface area is hidden by another vehicle. If a part of the road surface is hidden by the other vehicle appearing in the input image, the part is erroneously recognized as a non-road surface area in the road surface detection, which causes inconvenience in setting the vehicle detection area.
  • the time series verification unit 105 determines whether or not the road surface area is hidden by another vehicle by the following time series verification.
  • FIG. 7A, FIG. 7B, and FIG. 7C respectively show examples of captured images captured in time series by the camera 20, and each captured image is acquired in this order. And In these drawings, only the right half of each captured image, which is a fisheye image, is shown for convenience of explanation. Further, here, for ease of understanding, the description will be made using the road surface detection result for the captured image before the distortion correction processing. However, in practice, the input image subjected to the distortion correction processing by the image correction unit 101 is described. Time series verification is performed by the time series verification unit 105 on the road surface detection result.
  • the road surface detection unit 102 sets a plurality of observation blocks on the input image by dividing the input image, and identifies each observation block as either a road surface block or a non-road surface block.
  • the road surface detection unit 102 is based on known camera installation geometric information indicating the installation position, installation angle, angle of view of the camera 20 and the like of the camera 20 in the host vehicle.
  • FIG. 7D is a chart showing an example of the change in the recognition result for the observation block when the input image transitions from FIG. 7A through FIG. 7B as shown in FIG. 7C.
  • FIG. Here, attention is paid to four observation blocks A, B, C, and D shown in FIGS. 7A to 7C among a plurality of observation blocks set in the input image.
  • the chart shown in FIG. 7 (d) shows recognition results for observation blocks A, B, C, and D from time t1 to t9 in order from the top, with “H” being the road surface block and “L” being the road block. It represents a non-road surface block.
  • observation blocks A, B, C, and D are all set corresponding to the road surface portion of the input image, they must be recognized as road surface blocks at all times.
  • FIG. 7B when another vehicle 700 approaching the host vehicle is reflected in the input image, a part of the road surface portion is hidden.
  • FIG. 7D from time t2 to t7, at least one of the observation blocks A, B, C, and D adjacent to each other is recognized as a non-road surface block, and the position of this non-road surface block Moves over time.
  • the positions of a plurality of non-road surface blocks adjacent to each other in the input image are moving in time series, some moving object is reflected in the input image, and the road surface is affected by the moving object. Can be considered hidden.
  • the background moving speed in the input image is S1
  • the moving speeds of a plurality of non-road surface blocks, that is, the moving speed of the other vehicle 700 is S2
  • these moving speeds S1 and S2 are compared, and the moving object Can be determined more reliably. That is, if the difference between the moving speed S2 of the non-road surface block and the moving speed S1 of the background is greater than or equal to a predetermined value, it is a moving object that is reflected on the road surface in the input image, such as a shadow of a building. If it is not a stationary object, it can be determined with certainty.
  • the background moving speed S1 can be obtained, for example, by tracking a subject that is reflected above the horizon in the input image by tracking processing or the like. Further, by obtaining the actual distance on the mapping per observation block from the above-mentioned camera installation geometric information, the background moving speed S1 and the non-road block moving speed S2 are not on the image but on the real space. You may obtain
  • the time series verification unit 105 performs time series verification as to whether or not a part of the road surface area is hidden by another vehicle according to the procedure described above. As a result, the positions of the plurality of non-road surface blocks adjacent to each other in the input image are moved in time series, and the difference between the movement speed of the plurality of non-road surface blocks and the movement speed of the background is a predetermined value or more. In some cases, it can be determined that the road surface area is hidden by another vehicle that is the object.
  • FIGS. 8 to 10 are diagrams for explaining an example of the time series verification procedure when the road shape changes from a straight line to a curve or an intersection.
  • the camera 20 is a fish-eye camera and has a characteristic that the resolution is low in an area close to the top, bottom, left, and right edges of the captured image. Therefore, if there is a curve on the extended line of the road, the road surface is reflected in the left and right end regions where the resolution is low in the captured image, so that an error is likely to occur in the detection of the road surface region.
  • the time series verification unit 105 determines whether or not the road shape has changed from a straight line to a curve or an intersection by the following time series verification.
  • FIG. 8A is an example of a photographed image when the host vehicle is traveling on a straight road
  • FIG. 8B is an example of a photographed image when the host vehicle is traveling on a curve road
  • FIG. 8C is an example of a photographed image when the host vehicle is traveling at an intersection.
  • FIGS. 7A to 7C only the right half of each captured image, which is a fisheye image, is shown for convenience of explanation. Further, here, for ease of understanding, the description will be made using the road surface detection result for the captured image before the distortion correction processing. However, in practice, the input image subjected to the distortion correction processing by the image correction unit 101 is described. Time series verification is performed by the time series verification unit 105 on the road surface detection result.
  • FIG. 9 is a chart showing an example of a change in the recognition result for the observation block when the road shape changes from a straight line to a curve and the captured image changes accordingly from FIG. 8A to FIG. 8B. It is. Here, attention is paid to six observation blocks A, B, C, D, E, and F shown in FIGS. 8A and 8B among a plurality of observation blocks set in the input image.
  • the chart shown in FIG. 9 shows recognition results for the observation blocks A, B, C, D, E, and F from time t1 to t9 in order from the top, with “H” indicating the road surface block and “L”. Represents a non-road surface block.
  • the road surface detection result for a plurality of observation blocks adjacent to each other at the upper position in the input image sequentially changes from the road surface block to the non-road surface block, and at the same timing as that of the lower side in the input image.
  • the road surface detection result for a plurality of observation blocks adjacent to each other in position sequentially changes from a non-road surface block to a road surface block, it can be determined that the traveling road of the host vehicle has transitioned from a straight road to a curved road surface. .
  • the change in the recognition result for each observation block may be opposite to the above. That is, the road surface detection result for a plurality of observation blocks adjacent to each other at the upper position in the input image sequentially changes from the non-road surface block to the road surface block, and at the lower position in the input image at substantially the same timing. Even when the road surface detection results for a plurality of observation blocks adjacent to each other sequentially change from a road surface block to a non-road surface block, it is determined that the traveling road of the host vehicle has changed from a straight road to a curved road surface in the same manner as described above. be able to.
  • the time series verification unit 105 performs time series verification on whether or not the road shape has changed from a straight line to a curve in accordance with the procedure described above. Thereby, within a predetermined period, the road surface detection results for a plurality of observation blocks adjacent to each other at the first position in the input image sequentially change from the road surface block to the non-road surface block, or from the non-road surface block to the road surface block, And when the road surface detection results for a plurality of observation blocks adjacent to each other at the second position below the first position sequentially change in the opposite direction to the road surface detection results for the observation blocks at the first position. It can be determined that the road shape has changed from a straight line to a curve. Therefore, it is possible to appropriately detect a road surface of a curved road that is likely to be reflected in a low resolution portion in the input image as a road surface region.
  • FIG. 10 is a chart showing an example of a change in the recognition result for the observation block when the road shape changes from a straight line to an intersection and the captured image changes accordingly from FIG. 8A to FIG. 8C. It is. Here, attention is paid to six observation blocks A, B, C, D, E, and F shown in FIGS. 8A and 8C among a plurality of observation blocks set in the input image.
  • the chart shown in FIG. 10 shows recognition results for observation blocks A, B, C, D, E, and F from time t1 to time t9 in order from the top, with “H” being a road surface block and “L”. Represents a non-road surface block.
  • observation blocks adjacent to each other in the input image transitions from FIG. 8 (a) to FIG. 8 (c), in the chart diagram of FIG. 10, first, as shown by reference numeral 1001, observation blocks adjacent to each other in the input image from time t2 to t4.
  • the recognition results for A and B change simultaneously from the road surface block to the non-road surface block, and then return to the road surface block again.
  • the recognition results for the observation blocks E and F adjacent to each other at positions below the observation blocks A and B in the input image are the observation block A.
  • the road surface block changes to the non-road surface block at the same time, and then returns to the road surface block again.
  • observation blocks A and B located at the upper part in the input image correspond to road portions extending in the depth direction of the intersection
  • the observation blocks E and F located at the lower portion in the input image are road portions extending toward the front of the intersection. It corresponds to.
  • the time series verification unit 105 performs time series verification on whether or not the road shape has changed from a straight line to an intersection according to the procedure described above. Thereby, within a predetermined period, a road surface detection result for a plurality of observation blocks adjacent to each other at the first position in the input image and a plurality of adjacent to each other at a second position below the first position.
  • the road surface detection result for the observation block sequentially changes from a road surface block to a road surface block via a non-road surface block, it can be determined that the road shape has changed from a straight line to an intersection. For this reason, it is possible to appropriately detect a road surface of an intersection road that is likely to be reflected in a low resolution portion in the input image as a road surface area.
  • the image processing apparatus 10 includes a road surface detection unit 102, a time series verification unit 105, a detection area selection unit 103, and a detection unit 104.
  • the road surface detection unit 102 detects a road surface area from an input image based on a photographed image obtained by photographing with the camera 20.
  • the time series verification unit 105 performs time series verification to verify the detection result of the road surface area in the input image in time series.
  • the detection area selection unit 103 detects a detection area for detecting an object, that is, another vehicle based on the detection result of the road surface area by the road surface detection unit 102 and the result of the time series verification by the time series verification unit 105.
  • the vehicle detection area for doing this is set in the input image.
  • the detection part 104 detects the other vehicle which is a target object in the set vehicle detection area
  • the road surface detection unit 102 divides the input image into a plurality of observation blocks, and each of the plurality of observation blocks is a road surface block corresponding to the road surface region or a non-road surface block not corresponding to the road surface region. Determine.
  • the time series verification unit 105 performs time series verification based on a change in arrangement of road blocks and non-road blocks in the input image in time series. Specifically, in the time series verification, the time series verification unit 105, as shown in FIG.
  • the time series verification unit 105 performs a plurality of observation blocks adjacent to each other at the first position in the input image within a predetermined period as shown in FIGS.
  • the determination result of the road surface detection unit 102 sequentially changes from a road surface block to a non-road surface block, or from a non-road surface block to a road surface block, and in a second position below the first position in the input image.
  • the road shape corresponding to the road surface area changes from a straight line to a curve when the determination result of the road surface detection unit 102 for a plurality of adjacent observation blocks sequentially changes in the opposite direction to the determination result for the observation block at the first position.
  • the time series verification unit 105 performs time series verification on a plurality of observation blocks adjacent to each other at the first position in the input image within a predetermined period, as shown in FIGS.
  • the determination result of the road surface detection unit 102 and the determination result of the road surface detection unit 102 for a plurality of observation blocks adjacent to each other at the second position below the first position in the input image are determined from the road surface block to the non-road surface. It is determined that the road shape corresponding to the road surface area has changed from a straight line to an intersection when the road surface block sequentially changes through the block. Since it did in this way, when a road shape changes from a straight line to an intersection, this can be judged reliably.
  • the image processing apparatus 10 further includes a road surface area interpolation unit 106 that interpolates a road surface area based on the result of time series verification by the time series verification unit 105.
  • the detection area selection unit 103 sets a vehicle detection area based on the detection result of the road surface area by the road surface detection unit 102 and the interpolation result of the road surface area by the road surface area interpolation unit 106. Since it did in this way, even when a road surface area is mistakenly determined as a non-road surface area, a vehicle detection area can be correctly set according to the original road surface area.
  • the image processing apparatus 10 is mounted on the host vehicle, and further includes a priority direction selection unit 107 that sets a direction in which an object should be detected with priority based on the traveling state of the host vehicle.
  • the detection area selection unit 103 sets the vehicle detection area based on the direction set by the priority direction selection unit 107. Since it did in this way, a vehicle detection area
  • FIG. 11 is a diagram illustrating an example of an external environment recognition apparatus according to the second embodiment of the present invention.
  • the external environment recognition device 1100 of this embodiment includes the image processing device 10 described in the first embodiment, a periphery recognition unit 1101, a signal processing unit 1102, and a driver notification unit 1103.
  • the external environment recognition device 1100 is connected to the camera 20 mounted on the host vehicle, similarly to the image processing device 10, and also includes a control unit 1111, a memory 1112, a host vehicle control unit 1113, an LED 1114, and a speaker 1115 mounted on the host vehicle.
  • the display 1116 and the car navigation device 1117 are also connected. Note that the image processing apparatus 10 and other devices are connected to each other via a signal bus in the host vehicle.
  • the camera 20 acquires a captured image around the host vehicle and outputs the captured image to the image processing apparatus 10 in the external environment recognition apparatus 1100.
  • the memory 1112 temporarily holds a captured image acquired by the camera 20.
  • the control unit 1111 controls input / output of captured images between the camera 20 and the external environment recognition device 1100 and input / output of vehicle control signals between the external environment recognition device 1100 and the host vehicle control unit 1113.
  • the image processing apparatus 10 detects other vehicles existing around the host vehicle, and outputs a vehicle approach signal based on the detection result to the surrounding recognition unit 1101. Further, when it is difficult to detect other vehicles, a detection FAIL signal is output to the periphery recognition unit 1101.
  • the periphery recognition unit 1101 executes periphery recognition processing for recognizing the surrounding environment of the host vehicle based on the vehicle approach signal. For example, the vicinity of the host vehicle and the surrounding space of the host vehicle are analyzed using the captured image of the camera 20 to recognize the presence or absence of other vehicles and pedestrians including motorcycles and bicycles, and hinders the driving and parking of the host vehicle. Recognize the presence or absence of obstacles. Further, when another vehicle or a pedestrian is approaching the own vehicle suddenly, this is detected and a collision with the own vehicle is predicted, or a collision between the own vehicle and an obstacle is predicted.
  • the periphery recognition unit 1101 outputs detection results and alarm information based on the execution result of the periphery recognition processing to the signal processing unit 1102, and also outputs notification information for the driver of the host vehicle to the driver notification unit 1103 as necessary.
  • the signal processing unit 1102 generates a vehicle control signal for controlling the operation of the host vehicle based on the detection result and alarm information output from the periphery recognition unit 1101, and transmits the vehicle control signal to the host vehicle control unit 1113.
  • the own vehicle control unit 1113 controls the operation of the own vehicle based on the vehicle control signal received from the signal processing unit 1102 to stop the own vehicle in order to avoid a collision with another vehicle or a pedestrian, In order to avoid a collision with an obstacle, the traveling direction of the host vehicle is changed.
  • the driver notification unit 1103 generates an alarm signal for giving a warning to the driver of the host vehicle based on the notification information output from the periphery recognition unit 1101, and any of the LED 1114, the speaker 1115, the display 1116, and the car navigation device 1117 Send to.
  • the LED 1114, the speaker 1115, the display 1116, and the car navigation device 1117 receives the warning signal received from the driver notification unit 1103, it performs a predetermined display and audio output based on the warning signal to the driver of the host vehicle.
  • the presence of other vehicles approaching the host vehicle, pedestrians, obstacles, etc. is warned.
  • the periphery recognition unit 1101 performs the operation of the image processing apparatus 10. It is preferable to stop temporarily or continuously.
  • the peripheral recognition unit 1101 can start or stop the operation of the image processing apparatus 10 by outputting an ON / OFF control signal to the image processing apparatus 10. Further, at this time, the notification information is output from the periphery recognition unit 1101 to the driver notification unit 1103, and based on this, the driver notification unit 1103 generates an alarm signal and any one of the LED 1114, the speaker 1115, the display 1116, and the car navigation device 1117. To the driver of the own vehicle that the operation of the image processing apparatus 10 is stopped.
  • the external environment recognition device 1100 includes the image processing device 10. Further, an alarm signal for giving a warning to the driver of the host vehicle based on the detection result of the other vehicle by the detection unit 104 in the image processing apparatus 10 by the periphery recognition unit 1101, the signal processing unit 1102, and the driver notification unit 1103. And at least one of vehicle control signals for controlling the operation of the host vehicle. Since it did in this way, the surrounding environment of the own vehicle can be recognized correctly.
  • the target object detected from the captured image is another vehicle existing around the host vehicle.
  • the target object is not limited to this, and another object may be the target object.
  • the camera which acquires a picked-up image is not restricted to what was mounted in the vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

画像処理装置は、カメラで撮影して得られた撮影画像に基づく入力画像から路面領域を検出する路面検出部と、前記入力画像における前記路面領域の検出結果を時系列で検証する時系列検証を行う時系列検証部と、前記路面検出部による前記路面領域の検出結果と、前記時系列検証部による前記時系列検証の結果とに基づいて、対象物を検知するための検知領域を前記入力画像内に設定する検知領域選択部と、前記検知領域において前記対象物を検知する検知部と、を備える。

Description

画像処理装置、外界認識装置
　本発明は、画像処理装置および外界認識装置に関する。
　近年、車両同士の衝突や人と車両の衝突などの事故を未然に避けるため、自車両周辺の状況を車載カメラでモニタし、危険を感知した際はドライバーに警報を出力すると共に、自車両の挙動を自動で制御する技術が進展している。こうした自車両の予防安全や自動運転制御のためには、自車両の周辺に存在する車両を観測対象として、その接近を常に監視し続ける必要がある。このような技術において、車載カメラで撮影された画像には、観測対象とする車両以外にも、背景に周辺構造物などの様々なものが映り込んでいる。そのため、観測対象を正確に特定して検知するのは困難であり、誤検知が発生する要因となっていた。
　上記のような画像中の背景に起因する誤検知を解決する手法として、画像において車両が走行可能な路面領域を認識し、その路面領域に対して車両検知を実行することが提案されている。これに関して、たとえば特許文献１には、ステレオカメラで撮影した視差画像から階調図を作成し、この階調図を用いて画像中の道路面を特定することで、車両が走行可能な領域か否かを判断する方法が開示されている。
日本国特開２０１４－６７４０７号公報
　特許文献１に記載された技術において、階調図は一般的に表現可能な情報のダイナミックレンジが狭く、また周囲の明るさの影響を受けやすい。したがって、特許文献１の手法では、画像中の道路面を正確に特定することが難しい場合があり、このような場合は、自車両の周辺に存在する他車両等の対象物を撮影画像から正確に検知するのは困難である。
　本発明による画像処理装置は、カメラで撮影して得られた撮影画像に基づく入力画像から路面領域を検出する路面検出部と、前記入力画像における前記路面領域の検出結果を時系列で検証する時系列検証を行う時系列検証部と、前記路面検出部による前記路面領域の検出結果と、前記時系列検証部による前記時系列検証の結果とに基づいて、対象物を検知するための検知領域を前記入力画像内に設定する検知領域選択部と、前記検知領域において前記対象物を検知する検知部と、を備える。
　本発明による外界認識装置は、画像処理装置を備え、前記検知部による前記他車両の検知結果に基づいて、前記自車両の運転者に対する警告を行うための警報信号および前記自車両の動作を制御するための車両制御信号のいずれか少なくとも一つを出力する。
　本発明によれば、自車両の周辺に存在する他車両等の対象物を撮影画像から正確に検知できる。
本発明の第１の実施形態に係る画像処理装置の機能構成を示すブロック図である。 撮影画像の歪み補正処理を示す図である。 検出器を生成する際に用いられる学習用画像の例を示す図である。 路面検知結果の一例を示す図である。 優先方向を設定する際に用いる設定テーブルの一例を示す図である。 車両検知領域の一例を示す図である。 路面領域の一部が他車両で隠れている場合の時系列検証の手順の一例を説明する図である。 自車両が直線道路、カーブ道路、交差点をそれぞれ走行しているときの撮影画像の例を示す図である。 道路形状が直線からカーブに変化したときの観測ブロックに対する認識結果の変化の一例を示したチャート図である。 道路形状が直線から交差点に変化したときの観測ブロックに対する認識結果の変化の一例を示したチャート図である。 本発明の第２の実施形態に係る外界認識装置の一例を示す図である。
－第１の実施形態－
　以下、本発明の第１の実施形態に係る画像処理装置について、図面を参照して説明する。図１は、本発明の第１の実施形態に係る画像処理装置１０の機能構成を示すブロック図である。図１に示す画像処理装置１０は、車両に搭載されて用いられる。なお、以下の説明では、画像処理装置１０が搭載されている車両を「自車両」と称し、自車両の周囲に存在する他の車両を「他車両」と称する。
　画像処理装置１０は、撮影領域に対応する自車両の所定の位置、たとえば自車両のボディに取り付けられたカメラ２０と接続されている。画像処理装置１０は、画像補正部１０１、路面検出部１０２、検知領域選択部１０３、検知部１０４、時系列検証部１０５、路面領域補間部１０６および優先方向選択部１０７を備える。なお、図１に示す画像処理装置１０の各機能は、マイクロコンピュータ、メモリ等のハードウェアや、マイクロコンピュータ上で実行される各種プログラムなどを適宜組み合わせることにより、実現可能である。
　カメラ２０は、自車両周辺に存在する他車両を動画で、または所定時間ごとに静止画で撮影し、取得した動画の各コマまたは各静止画を、所定時間ごとの撮影画像として画像補正部１０１へ出力する。なお、画像処理装置１０において他車両の認識を行いやすくするために、自車両の任意の箇所にカメラ２０を設置することができる。たとえば、自車両のフロントバンパー、リアバンパー、左右のサイドミラー等の部分に、カメラ２０が設置される。または、自車両の車内にカメラ２０を設置してもよい。さらに、自車両の周囲で特定の領域のみに存在する他車両の認識を目的として、カメラ２０を単独で設置してもよいし、あるいは、自車両の周囲の全ての領域について他車両を認識できるように、カメラ２０を複数設置してもよい。
　本実施形態において、カメラ２０には魚眼カメラが用いられる。魚眼カメラとは、レンズ集光特性を通常のカメラで用いられるレンズよりも広角側に大きくずらした魚眼レンズを用いたカメラであり、撮影範囲が広いという利点がある。このように１個のカメラで広範囲を一度に撮影できることは、車両検知において画像処理の面で好ましい。一方、カメラ２０で得られる撮影画像はいわゆる魚眼画像となるため、自車両から遠方の位置に対応する撮影画像の上下左右端に近い領域になるほど歪みが大きく、解像度が低下する傾向がある。そのため、カメラ２０から入力される歪んだ撮影画像のままでは、車両検知に適さないという問題がある。
　そこで、上記の問題点を解消するために、カメラ２０で得られた撮影画像は、画像処理装置１０において画像補正部１０１に入力される。画像補正部１０１は、カメラ２０から入力された撮影画像（魚眼画像）に対して歪み補正処理を行うことで、撮影画像を車両検知に適した歪みのない画像へと変換する。画像補正部１０１による歪み補正処理では、たとえば、既知の魚眼レンズの歪特性を用いて撮影画像を実際の空間写像に変換する非線形局部幾何補正法や、魚眼レンズの歪特性を簡易的に表現した歪係数を用いて撮影画像を補正する線形局部幾何補正法などを用いることができる。なお、歪み補正処理ではこれ以外のアルゴリズムを選択しても問題ない。
　図２は、画像補正部１０１による撮影画像の歪み補正処理を示す図である。図２（ａ）は、自車両の右サイドミラーに設置したカメラ２０で撮影して得られた魚眼画像の一例である。この魚眼画像では、左側部分が前方すなわち自車両のフロント方向に相当し、右側部分が後方すなわち自車両のリア方向に相当する。図２（ａ）において、画像中央部には路面２０４が、画像上部には空などの背景２０５が、画像下部には自車両のボディ２０３がそれぞれ映り込んでおり、さらに、自車両後方から接近している他車両２０２が映り込んでいる。
　画像補正部１０１は、図２（ａ）のような魚眼画像に対して、たとえば他車両２０２を含む領域を補正対象領域２０１として設定し、この補正対象領域２０１内の画像部分に対して歪み補正処理を行う。図２（ｂ）は、図２（ａ）の補正対象領域２０１に対して歪み補正処理を行って得られた補正画像の一例である。この補正画像では、他車両２０２、路面２０４、背景２０５がそれぞれ実際の空間写像と同等に見えるように補正されている。
　なお、図２の例では、他車両２０２の周囲に補正対象領域２０１を設定して歪み補正処理を行う場合を説明したが、画像補正部１０１は、撮影画像内の任意の領域を補正対象領域として歪み補正処理を行うことができる。また、撮影画像内に複数の補正対象領域を設定し、それぞれに対して歪み補正処理を行うようにしてもよい。さらに、撮影画像内で歪みの小さな部分を用いて車両検知を行う場合や、カメラ２０を魚眼カメラではない通常のカメラとした場合などは、画像補正部１０１において歪み補正処理を行わないようにしてもよい。
　路面検出部１０２は、カメラ２０で撮影されて画像補正部１０１により歪み補正処理が行われた画像が入力されると、この入力画像から路面に相当する路面領域を検出する。路面検出部１０２は、たとえば入力画像を複数の観測ブロックに分割し、機械学習の手法を適用した検出器を利用して、各観測ブロックが路面領域または路面領域以外の非路面領域のどちらに対応するかを識別する２クラス検出を実施する。なお、以下では、路面領域に対応する観測ブロックを路面ブロック、非路面領域に対応する観測ブロックを非路面ブロックとそれぞれ称する。
　図３は、路面検出部１０２の検出器を生成する際に用いられる学習用画像の例を示す図である。図３（ａ）は、路面領域の学習用画像の例であり、図３（ｂ）～図３（ｅ）は、非路面領域の学習用画像の例である。図３（ａ）の学習用画像では、路面３００が映り込んでいるのに対して、図３（ｂ）～図３（ｅ）の学習用画像では、路面以外の被写体が映り込んでいる。具体的には、図３（ｂ）の学習用画像には車両３０１が、図３（ｃ）の学習用画像には樹木３０２が、図３（ｄ）の学習用画像には建物３０３が、図３（ｅ）の学習用画像には人物３０４がそれぞれ映り込んでいる。非路面領域の学習用画像では、上記の例に限らず、路面以外であればどのような被写体が映り込んでいてもよい。
　なお、非路面領域の学習用画像では、実際の車両走行シーンで出現頻度の高い被写体が映り込んでいる画像を用いることが好ましい。また、路面領域の学習用画像も同様に、出現頻度の高い路面が映り込んでいる画像を用いることが好ましい。ただし、こうした学習用画像の収集が困難な場合は、出現頻度の低い被写体が映り込んでいる画像を混在させても構わない。
　ところで、路面検出部１０２において利用される機械学習とは、一般に、検知対象とする対象物の画像を複数枚入力して、そこから対象物を表現する画像特徴を抽出すると共に、未知の入力画像に対しては、学習した画像特徴を検出して識別できるように識別器のパラメータを自動設定する処理手法のことである。このような処理手法の具体例としては、たとえばDeep Learning（深層学習）が知られている。Deep learningでは、入力された複数画像が共通して持つ画像の特徴パラメータを細分して自動的に抽出することができる。また、特徴パラメータの抽出方法の一例としては、ニューラルネットワーク構造を用いた特徴抽出方法が知られている。ニューラルネットワーク構造では、入力画像群に共通な画像特徴に一致したときにのみ反応する、ニューロン・ユニットと呼ばれる入出力関数（活性化関数）が、小画像領域毎に多数組み合わされており、さらにこれが複数の層状に積み重ねられてピラミッド構造になっている。この方法によれば、検知対象とする対象物の位置や画像サイズを変えながら、段階的に対象物を識別できるようにニューロン・ユニットの各層毎に識別器パラメータを抽出して、最終的には、対象物全体を識別可能な識別器パラメータを得ることができる。
　図４は、路面検出部１０２による路面検知結果の一例を示す図である。図４（ａ）は、カメラ２０で撮影して得られた魚眼画像の例を示している。この魚眼画像には図２（ａ）と同様に、画像中央部には路面４０１が、画像上部には空などの背景４０３が、画像下部には自車両のボディ４０２がそれぞれ映り込んでいる。図４（ｂ）は、図４（ａ）の画像に対して得られた路面検知結果の一例を示している。図４（ｂ）では、図４（ａ）の画像が複数の観測ブロックに分割され、そのうち図４（ａ）の路面４０１に対応した観測ブロックがそれぞれ路面ブロック４０５と認識されている一方で、図４（ａ）のボディ４０２や背景４０３に対応した観測ブロックがそれぞれ非路面ブロック４０６と認識されている様子を示している。なお、ここでは理解を容易にするため、歪み補正処理を行う前の撮影画像を用いて路面検出部１０２による路面検知結果を説明したが、実際には、画像補正部１０１により歪み補正処理が行われた入力画像に対して、路面検出部１０２による路面検知が行われる。
　時系列検証部１０５は、入力画像における前述の路面ブロックおよび非路面ブロックの時系列での配置の変化に基づいて、路面検出部１０２による路面領域の検出結果を時系列で検証する時系列検証を行う。この時系列検証では、カメラ２０で所定時間ごとに撮影された複数枚の撮影画像からそれぞれ生成された、時間的に連続する複数の入力画像を用いて、路面領域の一部が検知対象物である他車両によって隠れている状態や、路面領域に対応する道路形状が変化している状態であるかを検証する。なお、時系列検証部１０５が行う時系列検証の具体例については後述する。
　路面領域補間部１０６は、時系列検証部１０５による時系列検証の結果に基づいて、路面検出部１０２により入力画像から検出された路面領域を必要に応じて補間する。たとえば、路面領域の一部が検知対象物である他車両によって隠れている状態であると時系列検証部１０５が判断した場合に、路面領域補間部１０６は、その部分を非路面領域から路面領域に置き換えることで、当該部分を路面領域として補間する。これにより、本来は路面領域である部分が他車両の陰に隠れることで誤って非路面領域と判断された場合に、当該部分を本来の路面領域とすることができる。
　優先方向選択部１０７は、自車両の走行状態に基づいて、検知対象物である他車両を優先的に検知すべき方向である優先方向を設定する。自車両の走行状態を判断するために、優先方向選択部１０７には、自車両の走行モードを示す信号が入力されている。
　図５は、優先方向選択部１０７が優先方向を設定する際に用いる設定テーブルの一例を示す図である。図５の設定テーブルにおいて、自車両の走行モードには、前進、後退、駐車支援が含まれる。また、図５の設定テーブルでは、一般道路と高速道路とでそれぞれ異なる優先方向が示されている。優先方向選択部１０７は、たとえば自車両に搭載されている車両制御用のＣＰＵから自車両の走行モードを示す信号を取得することで、自車両の走行モードがいずれであるかを判断すると共に、自車両が一般道路と高速道路のどちらの道路を走行しているかを判断することができる。
　優先方向選択部１０７は、図５の設定テーブルに基づいて、自車両の走行モードおよび走行道路に応じた優先方向を設定する。たとえば自車両の走行モードが前進の場合、優先方向選択部１０７は、走行道路が一般道路と高速道路のどちらであっても、自車両の後方を優先方向に設定する。すなわち、自車両が前進しているときには、走行道路の種類に関わらず、自車両の後方から接近してくる他車両を優先的に検知できるように、自車両の後方を優先方向として設定する。
　一方、自車両の走行モードが後退の場合、優先方向選択部１０７は、走行道路が一般道路であれば自車両の後方を優先方向に設定し、走行道路が高速道路であれば自車両周囲の全方向を優先方向に設定する。すなわち、自車両が一般道路上で後退しているときには、前進時と同様に、自車両の後方から接近してくる他車両を優先的に検知できるように、自車両の後方を優先方向として設定する。また、通常は自車両が高速道路上（パーキングエリアを除く）で後退することは想定されないが、万が一そのような事態が生じたときには危険度が十分高いため、自車両周囲の全方向を優先方向として設定することで、撮影画像全体を用いて他車両を検知できるようにする。
　さらに、自車両の走行モードが駐車支援の場合、優先方向選択部１０７は、走行道路が一般道路であれば自車両の前方および後方を優先方向に設定し、走行道路が高速道路であれば自車両周囲の全方向を優先方向に設定する。すなわち、自車両が一般道路上で駐車支援を利用した縦列駐車発進を行うときには、自車両の前方や後方から接近してくる他車両を優先的に検知できるように、自車両の前方および後方を優先方向として設定する。また、通常は自車両が高速道路上（パーキングエリアを除く）で駐車することは想定されないが、万が一そのような事態が生じたときには危険度が十分高いため、後退時と同様に、自車両周囲の全方向を優先方向として設定することで、撮影画像全体を用いて他車両を検知できるようにする。
　検知領域選択部１０３は、路面検出部１０２による路面領域の検出結果と、時系列検証部１０５による時系列検証の結果とに基づいて、検知対象物である他車両を検知するための車両検知領域を入力画像内に設定する。このとき検知領域選択部１０３は、時系列検証部１０５による時系列検証の結果に基づいて路面領域補間部１０６が路面領域の補間を行った場合には、その補間結果を基に、補間された路面領域を含めて車両検知領域を設定する。また、時系列検証部１０５による時系列検証の結果、道路形状が変化していると判断された場合には、その道路形状の変化を考慮して車両検知領域を設定する。さらに、優先方向選択部１０７により自車両に対していずれかの方向が優先方向に設定されている場合には、その優先方向を考慮して車両検知領域を設定する。すなわち、検知領域選択部１０３は、路面検出部１０２の出力と路面領域補間部１０６の出力を統合して入力画像中の路面領域を決定し、さらに、時系列検証部１０５の出力や優先方向選択部１０７の指定に基づいて、決定した路面領域上に車両検知領域を設定する。
　図６は、検知領域選択部１０３が設定した車両検知領域の一例を示す図である。図６（ａ）は、自車両の前方および後方が優先方向に設定されている場合の車両検知領域の例である。図６（ａ）において、カメラ２０で撮影して得られた魚眼画像内の路面領域６０１上にそれぞれ設定された車両検知領域６０２、６０３は、自車両の前方および後方にそれぞれ対応する。図６（ｂ）は、自車両の後方が優先方向に設定されている場合の車両検知領域の例である。図６（ｂ）において、魚眼画像内の路面領域６０１上に設定された車両検知領域６０４は、自車両の後方に対応する。図６（ｃ）は、自車両周囲の全方向を優先方向に設定した場合の車両検知領域の例である。図６（ｃ）において、魚眼画像内の路面領域６０１全体に設定された車両検知領域６０５は、自車両周囲の全方向に対応する。この他にも、たとえば自車両の前方を優先方向に設定した場合は、図６（ｂ）の例とは逆に、図６（ａ）の車両検知領域６０２と同様の車両検知領域を路面領域上に設定するようにしてもよい。なお、ここでは理解を容易にするため、歪み補正処理を行う前の撮影画像を用いて優先方向ごとに設定される車両検知領域を説明したが、実際には、画像補正部１０１により歪み補正処理が行われた入力画像に対して、その路面領域上に車両検知領域が設定される。
　検知部１０４は、検知領域選択部１０３により設定された車両検知領域に基づいて、入力画像から自車両の周囲に存在する他車両を検知する。検知部１０４は、入力画像内で車両検知領域に設定された部分に対して所定の車両検知処理を実行することにより、車両検知領域内に映り込んでいる他車両を検知する。具体的には、検知部１０４は、たとえば路面検出部１０２で説明したのと同様の機械学習型検出器を用いて、車両検知領域内に車両としての特徴を有する部分が存在するか否かを判断することにより、他車両を検知することができる。車両検知領域内に他車両を検知したら、検知部１０４は、他車両が接近していることを表す車両接近信号を出力する。また、たとえば路面検出部１０２において路面領域が検知されなかった場合など、入力画像内に有効な車両検知領域を設定できなかったときには、検知ＦＡＩＬ信号を出力する。
　次に、時系列検証部１０５が行う時系列検証の具体例について、図７～図１０を参照して説明する。
　図７は、路面領域の一部が他車両で隠れている場合の時系列検証の手順の一例を説明する図である。入力画像内に他車両が映り込むことで路面の一部が隠れると、その部分は路面検知において非路面領域であると誤認識されるため、車両検知領域を設定する上で不都合が生じる。時系列検証部１０５では、この問題を解決するために、以下のような時系列検証により路面領域が他車両で隠れているか否かを判断する。
　図７（ａ）、図７（ｂ）、図７（ｃ）は、カメラ２０で時系列的に撮影された撮影画像の例をそれぞれ示しており、この順で各撮影画像が取得されたものとする。なお、これらの図では、説明の都合上、魚眼画像である各撮影画像の右半分のみを図示している。また、ここでは理解を容易にするため、歪み補正処理を行う前の撮影画像に対する路面検知結果を用いて説明するが、実際には、画像補正部１０１により歪み補正処理が行われた入力画像に対する路面検知結果に対して、時系列検証部１０５による時系列検証が行われる。
　前述のように、路面検出部１０２は、入力画像を分割することで入力画像上に複数の観測ブロックを設定し、各観測ブロックを路面ブロックまたは非路面ブロックのいずれかと識別する。時系列検証部１０５が行う時系列検証処理では、入力画像における路面ブロックおよび非路面ブロックの時系列での配置の変化に基づいて、路面領域が他車両で隠れているか否かを判断する。なお、図７（ａ）～（ｃ）に示すように、路面検出部１０２は、自車両におけるカメラ２０の設置位置、設置角度やカメラ２０の画角等を表す既知のカメラ設置幾何情報に基づいて、入力画像内で路面領域の出現頻度が高い部分、すなわち地平線と自車両ボディとの境界線に挟まれた部分を特定し、その部分に観察ブロックを設けることが好ましい。
　図７（ａ）の画像では、路面上に何も映り込んでいないため、画像内の路面部分に対応する全ての観測ブロックが正しく路面ブロックと認識される。その後、図７（ｂ）の画像のように、自車両の後方から接近してきた他車両７００が路面上に映り込むと、他車両７００が映り込んだ部分は路面が隠れてしまうため、この部分に対応する観測ブロックは非路面ブロックと誤認識される。続いて図７（ｃ）の画像のように他車両７００が通り過ぎると、再び全ての観測ブロックが路面ブロックと認識されるようになる。
　図７（ｄ）は、入力画像が図７（ａ）から図７（ｂ）を経由して図７（ｃ）のように遷移したときの観測ブロックに対する認識結果の変化の一例を示したチャート図である。ここでは、入力画像に設定された複数の観測ブロックのうち、図７（ａ）～（ｃ）に示した４個の観測ブロックＡ、Ｂ、Ｃ、Ｄに注目している。図７（ｄ）に示すチャート図は、上から順に時刻ｔ１～ｔ９の間の観測ブロックＡ、Ｂ、Ｃ、Ｄに対する認識結果をそれぞれ示しており、「Ｈ」が路面ブロック、「Ｌ」が非路面ブロックを表している。
　観測ブロックＡ、Ｂ、Ｃ、Ｄはいずれも入力画像の路面部分に対応して設定されているため、本来は全ての時刻において路面ブロックと認識されなければならない。しかし、図７（ｂ）に示すように、自車両に接近してきた他車両７００が入力画像内に映り込むと、路面部分の一部が隠れてしまう。その結果、図７（ｄ）に示すように、時刻ｔ２～ｔ７にかけて、互いに隣接する観測ブロックＡ、Ｂ、Ｃ、Ｄのいずれか少なくとも一つが非路面ブロックと認識され、この非路面ブロックの位置が時間の経過と共に移動する。このように、入力画像内で互いに隣接する複数の非路面ブロックの位置が時系列で移動している場合には、入力画像内に何らかの移動物体が映り込んでおり、その移動物体の影響で路面が隠れていると考えることができる。
　さらに、入力画像における背景の移動速度をＳ１とし、複数の非路面ブロックの移動速度、すなわち他車両７００の移動速度をＳ２として、これらの移動速度Ｓ１、Ｓ２を比較することで、上記の移動物体の判断をより確実に行うことができる。すなわち、非路面ブロックの移動速度Ｓ２と背景の移動速度Ｓ１との差分が所定値以上であれば、入力画像内で路面上に映り込んでいるのは移動物体であり、たとえば建物の影などの静止物体ではないと、確証を持って判断することができる。なお、背景の移動速度Ｓ１は、たとえば、入力画像内で地平線より上部に映り込んでいる被写体をトラッキング処理などで追跡することにより求めることができる。また、前述のカメラ設置幾何情報から観測ブロック１個あたりの写像上の実距離を求めることで、背景の移動速度Ｓ１や非路面ブロックの移動速度Ｓ２を画像上の速度ではなく、実空間上の速度として求めてもよい。
　時系列検証部１０５は、以上説明した手順に従って、路面領域の一部が他車両で隠れているかどうかの時系列検証を行う。これにより、入力画像内で互いに隣接する複数の非路面ブロックの位置が時系列で移動しており、かつ、該複数の非路面ブロックの移動速度と背景の移動速度との差分が所定値以上である場合に、路面領域が対象物である他車両によって隠れていると判断することができる。
　図８～図１０は、道路形状が直線からカーブや交差点に変化した場合の時系列検証の手順の一例を説明する図である。前述のようにカメラ２０は魚眼カメラであり、撮影画像の上下左右端に近い領域では解像度が低いという特性を有する。したがって、道路の延長線上にカーブが存在すると、その路面は撮影画像において解像度が低い左右端の領域に映り込むため、路面領域の検出において誤りが生じやすい。また、自車両が交差点を通過する際に自車両の走行道路と直交する道路の路面は、撮影画像に映り込む期間が短く、かつ撮影画像において解像度が低い上下端の領域に映り込むため、路面領域の検出において誤りが生じやすい。時系列検証部１０５では、これらの問題を解決するために、以下のような時系列検証により道路形状が直線からカーブや交差点に変化したか否かを判断する。
　図８（ａ）、図８（ｂ）、図８（ｃ）は、カメラ２０で撮影された撮影画像の例をそれぞれ示している。図８（ａ）は、自車両が直線道路を走行しているときの撮影画像の例であり、図８（ｂ）は、自車両がカーブ道路を走行しているときの撮影画像の例であり、図８（ｃ）は、自車両が交差点を走行しているときの撮影画像の例である。なお、これらの図でも図７（ａ）～（ｃ）と同様に、説明の都合上、魚眼画像である各撮影画像の右半分のみを図示している。また、ここでは理解を容易にするため、歪み補正処理を行う前の撮影画像に対する路面検知結果を用いて説明するが、実際には、画像補正部１０１により歪み補正処理が行われた入力画像に対する路面検知結果に対して、時系列検証部１０５による時系列検証が行われる。
　図９は、道路形状が直線からカーブに変化し、それに応じて撮影画像が図８（ａ）から図８（ｂ）に遷移したときの観測ブロックに対する認識結果の変化の一例を示したチャート図である。ここでは、入力画像に設定された複数の観測ブロックのうち、図８（ａ）、（ｂ）に示した６個の観測ブロックＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆに注目している。図９に示すチャート図は、上から順に時刻ｔ１～ｔ９の間の観測ブロックＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆに対する認識結果をそれぞれ示しており、「Ｈ」が路面ブロック、「Ｌ」が非路面ブロックを表している。
　入力画像が図８（ａ）から図８（ｂ）に遷移すると、図９のチャート図において、まず符号９０１の部分に示すように、時刻ｔ２～ｔ４にかけて、入力画像内で互いに隣接する観測ブロックＢ、Ｃに対する認識結果が、路面ブロックから非路面ブロックに順次変化する。続いて符号９０２の部分に示すように、時刻ｔ５～ｔ７にかけて、入力画像内で上記観測ブロックＢ、Ｃよりも下側の位置で互いに隣接する観測ブロックＥ、Ｆに対する認識結果が、観測ブロックＢ、Ｃとは反対に、非路面ブロックから路面ブロックに順次変化する。このように、入力画像内の上側の位置で互いに隣接する複数の観測ブロックに対する路面検出結果が路面ブロックから非路面ブロックに順次変化し、かつ、それとほぼ同じタイミングで、入力画像内の下側の位置で互いに隣接する複数の観測ブロックに対する路面検出結果が非路面ブロックから路面ブロックに順次変化した場合には、自車両の走行道路が直線道路からカーブ路面に遷移していると判断することができる。
　なお、道路のカーブしている方向によっては、各観測ブロックに対する認識結果の変化が上記とは反対になる場合もある。すなわち、入力画像内の上側の位置で互いに隣接する複数の観測ブロックに対する路面検出結果が非路面ブロックから路面ブロックに順次変化し、かつ、それとほぼ同じタイミングで、入力画像内の下側の位置で互いに隣接する複数の観測ブロックに対する路面検出結果が路面ブロックから非路面ブロックに順次変化した場合にも、上記と同様に、自車両の走行道路が直線道路からカーブ路面に遷移していると判断することができる。
　時系列検証部１０５は、以上説明した手順に従って、道路形状が直線からカーブに変化したかどうかの時系列検証を行う。これにより、所定の期間内に、入力画像内の第１の位置で互いに隣接する複数の観測ブロックに対する路面検出結果が路面ブロックから非路面ブロックに、または非路面ブロックから路面ブロックに順次変化し、かつ、第１の位置よりも下側の第２の位置で互いに隣接する複数の観測ブロックに対する路面検出結果が、第１の位置での観測ブロックに対する路面検出結果とは反対に順次変化した場合には、道路形状が直線からカーブに変化したと判断することができる。そのため、通常であれば入力画像内で解像度の低い部分に映り込みやすいカーブ道路の路面を、適切に路面領域として検出することが可能になる。
　図１０は、道路形状が直線から交差点に変化し、それに応じて撮影画像が図８（ａ）から図８（ｃ）に遷移したときの観測ブロックに対する認識結果の変化の一例を示したチャート図である。ここでは、入力画像に設定された複数の観測ブロックのうち、図８（ａ）、（ｃ）に示した６個の観測ブロックＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆに注目している。図１０に示すチャート図は、上から順に時刻ｔ１～ｔ９の間の観測ブロックＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆに対する認識結果をそれぞれ示しており、「Ｈ」が路面ブロック、「Ｌ」が非路面ブロックを表している。
　入力画像が図８（ａ）から図８（ｃ）に遷移すると、図１０のチャート図において、まず符号１００１の部分に示すように、時刻ｔ２～ｔ４にかけて、入力画像内で互いに隣接する観測ブロックＡ、Ｂに対する認識結果が、同時に路面ブロックから非路面ブロックに変化し、その後は再び路面ブロックに戻る。また、符号１００２の部分に示すように、時刻ｔ５～ｔ８にかけて、入力画像内で上記観測ブロックＡ、Ｂよりも下側の位置で互いに隣接する観測ブロックＥ、Ｆに対する認識結果が、観測ブロックＡ、Ｂと同様に、同時に路面ブロックから非路面ブロックに変化し、その後は再び路面ブロックに戻る。なお、入力画像内で上部に位置する観測ブロックＡ、Ｂは、交差点奥方向に伸びる道路部分に該当し、入力画像内で下部に位置する観測ブロックＥ、Ｆは、交差点手前方向に伸びる道路部分に該当する。このように、入力画像内の上側の位置と下側の位置のそれぞれにおいて、互いに隣接する複数の観測ブロックに対する路面検出結果が路面ブロックから非路面ブロックを経て路面ブロックに順次変化した場合には、自車両の走行道路が直線道路から交差点に遷移していると判断することができる。
　時系列検証部１０５は、以上説明した手順に従って、道路形状が直線から交差点に変化したかどうかの時系列検証を行う。これにより、所定の期間内に、入力画像内の第１の位置で互いに隣接する複数の観測ブロックに対する路面検出結果と、第１の位置よりも下側の第２の位置で互いに隣接する複数の観測ブロックに対する路面検出結果とが、路面ブロックから非路面ブロックを経て路面ブロックに順次変化した場合には、道路形状が直線から交差点に変化したと判断することができる。そのため、通常であれば入力画像内で解像度の低い部分に映り込みやすい交差道路の路面を、適切に路面領域として検出することが可能になる。
　以上説明した本発明の第１の実施形態によれば、以下の作用効果を奏する。
（１）画像処理装置１０は、路面検出部１０２と、時系列検証部１０５と、検知領域選択部１０３と、検知部１０４とを備える。路面検出部１０２は、カメラ２０で撮影して得られた撮影画像に基づく入力画像から路面領域を検出する。時系列検証部１０５は、入力画像における路面領域の検出結果を時系列で検証する時系列検証を行う。検知領域選択部１０３は、路面検出部１０２による路面領域の検出結果と、時系列検証部１０５による時系列検証の結果とに基づいて、対象物を検知するための検知領域、すなわち他車両を検知するための車両検知領域を入力画像内に設定する。検知部１０４は、設定された車両検知領域において対象物である他車両を検知する。このようにしたので、自車両の周辺に存在する他車両を撮影画像から正確に検知できる。
（２）路面検出部１０２は、入力画像を複数の観測ブロックに分割して、複数の観測ブロックの各々が、路面領域に対応する路面ブロックまたは路面領域に対応しない非路面ブロックのいずれであるかを判定する。時系列検証部１０５は、入力画像における路面ブロックおよび非路面ブロックの時系列での配置の変化に基づいて、時系列検証を行う。具体的には、時系列検証部１０５は、時系列検証において、図７に示したように、入力画像内で互いに隣接する複数の非路面ブロックの位置が時系列で移動しており、かつ、該複数の非路面ブロックの移動速度と背景の移動速度との差分が所定値以上である場合に、路面領域が対象物で隠れていると判断する。このようにしたので、路面領域が対象物で隠れている場合に、これを確実に判断することができる。
（３）また、時系列検証部１０５は、時系列検証において、図８、９に示したように、所定の期間内に、入力画像内の第１の位置で互いに隣接する複数の観測ブロックに対する路面検出部１０２の判定結果が、路面ブロックから非路面ブロックに、または非路面ブロックから路面ブロックに順次変化し、かつ、入力画像内で第１の位置よりも下側の第２の位置で互いに隣接する複数の観測ブロックに対する路面検出部１０２の判定結果が、第１の位置での観測ブロックに対する判定結果とは反対に順次変化した場合に、路面領域に対応する道路形状が直線からカーブに変化したと判断する。このようにしたので、道路形状が直線からカーブに変化した場合に、これを確実に判断することができる。
（４）さらに、時系列検証部１０５は、時系列検証において、図８、１０に示したように、所定の期間内に、入力画像内の第１の位置で互いに隣接する複数の観測ブロックに対する路面検出部１０２の判定結果と、入力画像内で第１の位置よりも下側の第２の位置で互いに隣接する複数の観測ブロックに対する路面検出部１０２の判定結果とが、路面ブロックから非路面ブロックを経て路面ブロックに順次変化した場合に、路面領域に対応する道路形状が直線から交差点に変化したと判断する。このようにしたので、道路形状が直線から交差点に変化した場合に、これを確実に判断することができる。
（５）画像処理装置１０は、時系列検証部１０５による時系列検証の結果に基づいて路面領域を補間する路面領域補間部１０６をさらに備える。検知領域選択部１０３は、路面検出部１０２による路面領域の検出結果と、路面領域補間部１０６による路面領域の補間結果とに基づいて、車両検知領域を設定する。このようにしたので、路面領域が非路面領域と誤って判断された場合でも、本来の路面領域に合わせて車両検知領域を正しく設定することができる。
（６）画像処理装置１０は、自車両に搭載されており、自車両の走行状態に基づいて対象物を優先的に検知すべき方向を設定する優先方向選択部１０７をさらに備える。検知領域選択部１０３は、優先方向選択部１０７により設定された方向に基づいて車両検知領域を設定する。このようにしたので、自車両の走行状態に応じて車両検知領域を適切に設定することができる。
－第２の実施形態－
　図１１は、本発明の第２の実施形態に係る外界認識装置の一例を示す図である。図１１に示すように、本実施形態の外界認識装置１１００は、第１の実施形態で説明した画像処理装置１０と、周辺認識部１１０１、信号処理部１１０２およびドライバー通知部１１０３とを備える。外界認識装置１１００は、画像処理装置１０と同様に自車両に搭載されたカメラ２０に接続されると共に、自車両に搭載された制御部１１１１、メモリ１１１２、自車両制御部１１１３、ＬＥＤ１１１４、スピーカ１１１５、ディスプレイ１１１６およびカーナビゲーション装置１１１７にも接続されている。なお、画像処理装置１０と他の各機器とは、自車両内の信号バスを介して互いに接続されている。
　カメラ２０は、自車両周辺の撮影画像を取得し、外界認識装置１１００内の画像処理装置１０に出力する。メモリ１１１２は、カメラ２０が取得した撮像画像を一時的に保持する。制御部１１１１は、カメラ２０と外界認識装置１１００の間における撮影画像の入出力や、外界認識装置１１００と自車両制御部１１１３の間における車両制御信号の入出力を制御する。
　画像処理装置１０は、第１の実施形態で説明したように、自車両の周囲に存在する他車両を検知し、その検知結果に基づく車両接近信号を周辺認識部１１０１に出力する。また、他車両を検知するのが困難な状況のときには、検知ＦＡＩＬ信号を周辺認識部１１０１に出力する。
　周辺認識部１１０１は、画像処理装置１０から車両接近信号が出力されると、これに基づいて、自車両の周囲環境を認識するための周辺認識処理を実行する。たとえば、カメラ２０の撮影画像を用いて自車両の近傍および遠方の周辺空間を解析し、バイクや自転車を含む他車両および歩行者の有無を認識したり、自車両の走行や駐車の妨げになる障害物体の有無を認識したりする。また、他車両や歩行者が自車両に急接近している場合にはこれを検知して自車両との衝突を予測したり、自車両と障害物との衝突を予測したりする。さらに、自車両が走行中に車線逸脱した場合に警報を出す車線逸脱警報処理や、自車両のドライバーの死角に人や他車両が入り込んでいた場合に警報を出す死角警報処理などを、周辺認識処理に含めてもよい。周辺認識部１１０１は、周辺認識処理の実行結果に基づく検知結果や警報情報を信号処理部１１０２に出力すると共に、自車両のドライバーに対する通知情報を必要に応じてドライバー通知部１１０３に出力する。
　信号処理部１１０２は、周辺認識部１１０１から出力された検知結果および警報情報に基づいて、自車両の動作を制御するための車両制御信号を生成し、自車両制御部１１１３に送信する。自車両制御部１１１３は、信号処理部１１０２から受信した車両制御信号に基づいて自車両の動作を制御することで、他車両や歩行者との衝突を回避するために自車両を停止させたり、障害物との衝突を回避するために自車両の進行方向を変化させたりする。
　ドライバー通知部１１０３は、周辺認識部１１０１から出力された通知情報に基づいて、自車両のドライバーに対する警告を行うための警報信号を生成し、ＬＥＤ１１１４、スピーカ１１１５、ディスプレイ１１１６、カーナビゲーション装置１１１７のいずれかに送信する。ＬＥＤ１１１４、スピーカ１１１５、ディスプレイ１１１６、カーナビゲーション装置１１１７の各機器は、ドライバー通知部１１０３から受信した警報信号を受信すると、これに基づいて所定の表示や音声出力を行うことで、自車両のドライバーに対して、自車両に接近している他車両や歩行者、障害物等の存在を警告する。
　なお、画像処理装置１０から検知ＦＡＩＬ信号が出力されているときには、画像処理装置１０において他車両を検知するのが困難であると判断されるため、周辺認識部１１０１は画像処理装置１０の動作を一時的または連続して停止させることが好ましい。周辺認識部１１０１は、画像処理装置１０に対してＯＮ／ＯＦＦ制御信号を出力することで、画像処理装置１０の動作を開始または停止させることができる。さらにこのとき、周辺認識部１１０１からドライバー通知部１１０３へ通知情報を出力し、これに基づいてドライバー通知部１１０３が警報信号を生成してＬＥＤ１１１４、スピーカ１１１５、ディスプレイ１１１６、カーナビゲーション装置１１１７のいずれかに送信することで、画像処理装置１０の動作が停止していることを自車両のドライバーに通知してもよい。
　以上説明した本発明の第２の実施形態によれば、外界認識装置１１００は、画像処理装置１０を備える。また、周辺認識部１１０１、信号処理部１１０２およびドライバー通知部１１０３により、画像処理装置１０内の検知部１０４による他車両の検知結果に基づいて、自車両の運転者に対する警告を行うための警報信号および自車両の動作を制御するための車両制御信号のいずれか少なくとも一つを出力する。このようにしたので、自車両の周囲環境を正確に認識することができる。
　なお、以上説明した各実施の形態では、撮影画像から検知する対象物を自車両周囲に存在する他車両としたが、対象物はこれに限定されず、他の物体を対象物としてもよい。また、車両に搭載されたカメラ２０で取得した撮影画像を用いて対象物を検知する例を説明したが、撮影画像を取得するカメラは車両に搭載されたものに限らない。たとえば、街頭監視等に用いられるカメラなど、車載以外の様々な用途のカメラで取得された撮影画像を用いて、対象物を検知することができる。
　以上説明した実施形態や各種の変化例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されない。本発明は、上述した実施形態や変形例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。
　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１６年第１５１３５１号（２０１６年８月１日出願）
　　１０　画像処理装置
　　２０　カメラ
　１０１　画像補正部
　１０２　路面検出部
　１０３　検知領域選択部
　１０４　検知部
　１０５　時系列検証部
　１０６　路面領域補間部
　１０７　優先方向選択部
１１００　外界認識装置
１１０１　周辺認識部
１１０２　信号処理部
１１０３　ドライバー通知部
 

Claims (9)

  1. 　カメラで撮影して得られた撮影画像に基づく入力画像から路面領域を検出する路面検出部と、
    　前記入力画像における前記路面領域の検出結果を時系列で検証する時系列検証を行う時系列検証部と、
    　前記路面検出部による前記路面領域の検出結果と、前記時系列検証部による前記時系列検証の結果とに基づいて、対象物を検知するための検知領域を前記入力画像内に設定する検知領域選択部と、
    　前記検知領域において前記対象物を検知する検知部と、を備える画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記路面検出部は、前記入力画像を複数の観測ブロックに分割して、前記複数の観測ブロックの各々が、前記路面領域に対応する路面ブロックまたは前記路面領域に対応しない非路面ブロックのいずれであるかを判定し、
    　前記時系列検証部は、前記入力画像における前記路面ブロックおよび前記非路面ブロックの時系列での配置の変化に基づいて、前記時系列検証を行う画像処理装置。
  3. 　請求項２に記載の画像処理装置において、
    　前記時系列検証部は、前記時系列検証において、前記入力画像内で互いに隣接する複数の前記非路面ブロックの位置が時系列で移動しており、かつ、該複数の非路面ブロックの移動速度と背景の移動速度との差分が所定値以上である場合に、前記路面領域が前記対象物で隠れていると判断する画像処理装置。
  4. 　請求項２に記載の画像処理装置において、
    　前記時系列検証部は、前記時系列検証において、所定の期間内に、前記入力画像内の第１の位置で互いに隣接する複数の前記観測ブロックに対する前記路面検出部の判定結果が、前記路面ブロックから前記非路面ブロックに、または前記非路面ブロックから前記路面ブロックに順次変化し、かつ、前記入力画像内で前記第１の位置よりも下側の第２の位置で互いに隣接する複数の前記観測ブロックに対する前記路面検出部の判定結果が、前記第１の位置での前記観測ブロックに対する判定結果とは反対に順次変化した場合に、前記路面領域に対応する道路形状が直線からカーブに変化したと判断する画像処理装置。
  5. 　請求項２に記載の画像処理装置において、
    　前記時系列検証部は、前記時系列検証において、所定の期間内に、前記入力画像内の第１の位置で互いに隣接する複数の前記観測ブロックに対する前記路面検出部の判定結果と、前記入力画像内で前記第１の位置よりも下側の第２の位置で互いに隣接する複数の前記観測ブロックに対する前記路面検出部の判定結果とが、前記路面ブロックから前記非路面ブロックを経て前記路面ブロックに順次変化した場合に、前記路面領域に対応する道路形状が直線から交差点に変化したと判断する画像処理装置。
  6. 　請求項１から請求項５までのいずれか一項に記載の画像処理装置において、
    　前記時系列検証部による前記時系列検証の結果に基づいて前記路面領域を補間する路面領域補間部をさらに備え、
    　前記検知領域選択部は、前記路面検出部による前記路面領域の検出結果と、前記路面領域補間部による前記路面領域の補間結果とに基づいて、前記検知領域を設定する画像処理装置。
  7. 　請求項１から請求項６までのいずれか一項に記載の画像処理装置において、
    　前記画像処理装置は自車両に搭載されており、
    　前記対象物は前記自車両の周囲に存在する他車両である画像処理装置。
  8. 　請求項７に記載の画像処理装置において、
    　前記自車両の走行状態に基づいて前記対象物を優先的に検知すべき方向を設定する優先方向選択部をさらに備え、
    　前記検知領域選択部は、前記優先方向選択部により設定された方向に基づいて前記検知領域を設定する画像処理装置。
  9. 　請求項７または８に記載の画像処理装置を備え、
    　前記検知部による前記他車両の検知結果に基づいて、前記自車両の運転者に対する警告を行うための警報信号および前記自車両の動作を制御するための車両制御信号のいずれか少なくとも一つを出力する外界認識装置。
     
PCT/JP2017/027726 2016-08-01 2017-07-31 画像処理装置、外界認識装置 WO2018025811A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780044270.4A CN109478324B (zh) 2016-08-01 2017-07-31 图像处理装置、外界识别装置
EP17836916.1A EP3493152A4 (en) 2016-08-01 2017-07-31 IMAGE PROCESSING DEVICE AND ENVIRONMENTAL DETECTION DEVICE
US16/322,149 US10956757B2 (en) 2016-08-01 2017-07-31 Image processing device, outside recognition device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-151351 2016-08-01
JP2016151351A JP6611353B2 (ja) 2016-08-01 2016-08-01 画像処理装置、外界認識装置

Publications (1)

Publication Number Publication Date
WO2018025811A1 true WO2018025811A1 (ja) 2018-02-08

Family

ID=61073580

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/027726 WO2018025811A1 (ja) 2016-08-01 2017-07-31 画像処理装置、外界認識装置

Country Status (5)

Country Link
US (1) US10956757B2 (ja)
EP (1) EP3493152A4 (ja)
JP (1) JP6611353B2 (ja)
CN (1) CN109478324B (ja)
WO (1) WO2018025811A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020140591A (ja) * 2019-03-01 2020-09-03 ＫＢ−ｅｙｅ株式会社 管理サーバ、交通制御システム、交通制御方法および交通制御プログラム
WO2020195610A1 (ja) * 2019-03-27 2020-10-01 京セラ株式会社 画像処理装置、撮像装置、移動体及び画像処理方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6874850B2 (ja) * 2017-10-06 2021-05-19 日本電気株式会社 物体検知装置、物体検知方法、及びプログラム
DE102018203590A1 (de) * 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
JP7203514B2 (ja) * 2018-05-31 2023-01-13 株式会社デンソーテン 走行領域判定装置、走行領域判定方法、および路面画像機械学習モデルの生成方法
US11427211B2 (en) * 2018-06-18 2022-08-30 Baidu Usa Llc Methods for handling sensor failures in autonomous driving vehicles
US11034357B2 (en) 2018-09-14 2021-06-15 Honda Motor Co., Ltd. Scene classification prediction
US11195030B2 (en) * 2018-09-14 2021-12-07 Honda Motor Co., Ltd. Scene classification
KR102581766B1 (ko) * 2018-10-08 2023-09-22 주식회사 에이치엘클레무브 차량 제어 장치, 차량 제어 방법 및 차량 제어 시스템
JP7103202B2 (ja) * 2018-12-20 2022-07-20 株式会社デンソー 画像認識装置
JP7400222B2 (ja) * 2019-06-14 2023-12-19 マツダ株式会社 外部環境認識装置
JP7298323B2 (ja) * 2019-06-14 2023-06-27 マツダ株式会社 外部環境認識装置
JP7363118B2 (ja) * 2019-06-14 2023-10-18 マツダ株式会社 外部環境認識装置
JP7115502B2 (ja) * 2020-03-23 2022-08-09 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7359735B2 (ja) * 2020-04-06 2023-10-11 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
US11922703B1 (en) * 2023-04-06 2024-03-05 Plusai, Inc. Generic obstacle detection in drivable area

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01265400A (ja) * 1988-04-18 1989-10-23 Nippon Denso Co Ltd 車両用標識認識装置
JP2003317106A (ja) * 2002-04-26 2003-11-07 Nissan Motor Co Ltd 走行路認識装置
JP2014146135A (ja) * 2013-01-28 2014-08-14 Mazda Motor Corp 車両用撮像装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0827127B1 (en) * 1996-08-28 2006-10-04 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus, and method therefor
JP3580475B2 (ja) * 1998-09-14 2004-10-20 矢崎総業株式会社 周辺監視装置
US8503728B2 (en) * 2007-10-30 2013-08-06 Nec Corporation Road marking image processing device, road marking image processing method, and program
JP2011504248A (ja) * 2007-11-16 2011-02-03 テレ アトラス ベスローテン フエンノートシャップ 車線情報を作成する方法及び装置
US8054201B2 (en) * 2008-03-19 2011-11-08 Mazda Motor Corporation Surroundings monitoring device for vehicle
CN101483547B (zh) * 2009-02-12 2011-05-11 中国人民解放军信息工程大学 一种网络突发事件度量评估方法及系统
CN102044151B (zh) * 2010-10-14 2012-10-17 吉林大学 基于光照可见度辨识的夜间车辆视频检测方法
JP2013097675A (ja) * 2011-11-02 2013-05-20 Honda Elesys Co Ltd 勾配推定装置、勾配推定方法、及び勾配推定プログラム
US9542605B2 (en) * 2012-07-03 2017-01-10 Clarion Co., Ltd. State recognition system and state recognition method
CN103679127B (zh) 2012-09-24 2017-08-04 株式会社理光 检测道路路面的可行驶区域的方法和装置
US20150228194A1 (en) * 2012-10-03 2015-08-13 Denso Corporation Vehicle navigation system, and image capture device for vehicle
JP5874756B2 (ja) * 2014-02-07 2016-03-02 トヨタ自動車株式会社 区画線検出システム及び区画線検出方法
WO2015145543A1 (ja) * 2014-03-24 2015-10-01 株式会社日立製作所 物体検出装置、物体検出方法、および移動ロボット
JP6380002B2 (ja) * 2014-10-28 2018-08-29 アイシン精機株式会社 周辺監視装置
JP6156400B2 (ja) * 2015-02-09 2017-07-05 トヨタ自動車株式会社 走行路面検出装置及び走行路面検出方法
JP6838340B2 (ja) * 2016-09-30 2021-03-03 アイシン精機株式会社 周辺監視装置
WO2018111297A1 (en) * 2016-12-16 2018-06-21 Hitachi Automotive Systems, Ltd. Road detection using traffic sign information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01265400A (ja) * 1988-04-18 1989-10-23 Nippon Denso Co Ltd 車両用標識認識装置
JP2003317106A (ja) * 2002-04-26 2003-11-07 Nissan Motor Co Ltd 走行路認識装置
JP2014146135A (ja) * 2013-01-28 2014-08-14 Mazda Motor Corp 車両用撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3493152A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020140591A (ja) * 2019-03-01 2020-09-03 ＫＢ−ｅｙｅ株式会社 管理サーバ、交通制御システム、交通制御方法および交通制御プログラム
WO2020195610A1 (ja) * 2019-03-27 2020-10-01 京セラ株式会社 画像処理装置、撮像装置、移動体及び画像処理方法
JP2020162013A (ja) * 2019-03-27 2020-10-01 京セラ株式会社 画像処理装置、撮像装置、移動体及び画像処理方法
JP7361482B2 (ja) 2019-03-27 2023-10-16 京セラ株式会社 画像処理装置、撮像装置、移動体及び画像処理方法

Also Published As

Publication number Publication date
EP3493152A1 (en) 2019-06-05
CN109478324B (zh) 2021-10-08
US20190156131A1 (en) 2019-05-23
JP6611353B2 (ja) 2019-11-27
JP2018022234A (ja) 2018-02-08
EP3493152A4 (en) 2020-04-22
US10956757B2 (en) 2021-03-23
CN109478324A (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
JP6611353B2 (ja) 画像処理装置、外界認識装置
JP6888950B2 (ja) 画像処理装置、外界認識装置
US10407060B2 (en) Driver assistance apparatus and method for operating the same
US20170297488A1 (en) Surround view camera system for object detection and tracking
US9592764B2 (en) Redundant object detection for driver assistance systems
JP6512164B2 (ja) 物体検出装置、物体検出方法
US10618467B2 (en) Stereo image generating method using mono cameras in vehicle and providing method for omnidirectional image including distance information in vehicle
WO2018079252A1 (ja) 物体検知装置
CN111937002A (zh) 障碍物检测装置、利用了障碍物检测装置的自动制动装置、障碍物检测方法以及利用了障碍物检测方法的自动制动方法
KR102581766B1 (ko) 차량 제어 장치, 차량 제어 방법 및 차량 제어 시스템
JP2006318093A (ja) 車両用移動物体検出装置
JP2005309797A (ja) 歩行者警報装置
EP3282392A1 (en) Vision system and method for a motor vehicle
KR20180007412A (ko) 멀티센서 기반의 융합형 물체 감지 장치 및 방법
US20180204462A1 (en) Device and method for start assistance for a motor vehicle
WO2017208601A1 (ja) 画像処理装置、外界認識装置
JP4848644B2 (ja) 障害物認識システム
JP2004310522A (ja) 車両用画像処理装置
JP4872517B2 (ja) 障害物認識装置
KR20160131196A (ko) 장애물 감지 장치
JP2005309660A (ja) 車両用右左折支援装置
KR102485318B1 (ko) 단안 영상 기반 추월 및 합류 차량 인식 시스템 및 방법
US11667295B2 (en) Apparatus and method for recognizing object
JP2018163530A (ja) 対象物検知装置、対象物検知方法、及び対象物検知プログラム
JP2018136713A (ja) ドライバの視界推定装置及び車両用制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17836916

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017836916

Country of ref document: EP

Effective date: 20190301