WO2018150921A1 - 車載環境認識装置 - Google Patents

車載環境認識装置 Download PDF

Info

Publication number
WO2018150921A1
WO2018150921A1 PCT/JP2018/003738 JP2018003738W WO2018150921A1 WO 2018150921 A1 WO2018150921 A1 WO 2018150921A1 JP 2018003738 W JP2018003738 W JP 2018003738W WO 2018150921 A1 WO2018150921 A1 WO 2018150921A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
image
matching
parallax
unit
Prior art date
Application number
PCT/JP2018/003738
Other languages
English (en)
French (fr)
Inventor
雅幸 竹村
健 志磨
永崎　健
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to EP18754956.3A priority Critical patent/EP3584763A4/en
Publication of WO2018150921A1 publication Critical patent/WO2018150921A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching

Definitions

  • the present invention relates to an in-vehicle environment recognition device.
  • Patent Document 1 There is known an in-vehicle object detection device that appropriately recognizes a pedestrian and suppresses false detection even in a complicated background where there are repeated patterns in which many identical patterns appear like a pedestrian crossing (for example, Patent Document 1). reference).
  • Patent Document 1 a three-dimensional shape erroneously extracted in a repetitive pattern such as a pedestrian crossing is analyzed, and this repetitive pattern is detected in advance to cross the pedestrian crossing. It is possible to improve the 3D estimation result of pedestrians.
  • An object of the present invention is to provide an in-vehicle environment recognition device that can suppress a decrease in three-dimensional measurement accuracy even if a captured image has a biased characteristic.
  • the present invention provides a parallax between an imaging unit that captures a pair of a first image and a second image, and a region of the second image and a region of the first image that is most similar thereto.
  • a distance calculating unit that calculates a distance indicating a depth of a pixel of interest in the second image area, and a first area in which the area of the second image has an image feature occupancy less than a first threshold value;
  • the image feature occupancy ratio can be divided into second regions that are equal to or greater than a first threshold, the second image region is divided into the first region and the second region, and the first region and the second region are divided.
  • a correction unit that calculates the parallax for each of them or corrects the position of the pixel of interest in the region of the second image.
  • FIG. 1 is a configuration diagram of an in-vehicle environment recognition device according to a first embodiment.
  • FIG. It is a block diagram of the feature-value analysis part in a window. It is a block diagram of an uneven
  • the in-vehicle environment recognition device captures the surrounding environment of the host vehicle using a camera installed in the vehicle, and determines whether or not the host vehicle does not collide from the three-dimensional information obtained by the camera. At the same time, even when there is no collision, we analyze from the three-dimensional road surface information obtained whether there is a step that gives a large vibration to the vehicle, and based on the analysis result, the suspension and brakes that suppress the vibration of the vehicle Implement control.
  • the unevenness on the road surface in front of the vehicle is measured using a stereo camera, and the suspension is controlled for a more comfortable driving based on the result of the implementation. .
  • semi-active control is performed to suppress the impact when passing the level difference, or by shortening the suspension according to the height of the level difference, the impact applied to the vehicle body is reduced.
  • the problem of this embodiment is that the step factor (eg, speed bump) existing on the road surface is denser than the road surface (the luminance change is large). Is to reduce errors in the three-dimensional measurement results.
  • the step factor eg, speed bump
  • FIG. 1 shows a configuration diagram of an in-vehicle environment recognition apparatus according to the first embodiment.
  • the cameras arranged in parallel on the left and right are used as stereo cameras to recognize the environment around the vehicle.
  • the stereo camera 100 acquires left and right images taken from the left and right cameras.
  • the parallax image generation unit 200 performs stereo matching using the left and right images to generate a parallax image.
  • Stereo cameras perform three-dimensional measurement based on the principle of triangulation by specifying the same part of the same object shown in the left and right images.
  • the stereo camera 100 captures a pair of left image (first image) and right image (second image).
  • the parallax image generation unit 200 calculates a parallax between the matching window (region) of the right image (second image) and the matching window (region) of the left image (first image) most similar to the matching window (region), and generates a parallax image To do.
  • Fig. 5 shows the basic principle of triangulation based on stereo matching.
  • the lower left corner of the square is imaged at the coordinates (XL, YL) on the left image and the coordinates (XR, YR) on the right image on the left and right camera images.
  • a small rectangular area on the right image is set as a matching window.
  • a search is performed for the small rectangular area while shifting the matching window. If distortion correction is carried out with cameras of the same camera specifications installed in parallel, the same point imaged in front of the camera is always imaged at the same height on the left and right images.
  • the similarities are compared while the matching window is shifted in the horizontal direction, and the most similar part is found.
  • the same location imaged with the left and right cameras is specified.
  • the distance between the cameras is B and the focal length of the left and right cameras is f.
  • x is a multiplication operator.
  • the parallax image generation unit 200 in FIG. 1 takes the left and right images as input, sets a small rectangular area based on the right image, and sets the left with the highest similarity to the matching window that is the small rectangular area of the right image. Search the image matching window. The difference d between the matching positions of the left image and the right image as a search result is stored as a result of one point of the parallax image, and a parallax image is generated.
  • the in-window feature value analysis unit 300 analyzes the texture in the matching window.
  • an image processing part is implemented by an FPGA (Field Programmable Gate Array), and a parallax image generation unit 200 and an in-window feature amount analysis unit 300 having a high processing load. Is implemented by FPGA.
  • the camera image acquisition and unevenness correction unit 400 and alarm control unit 500 are implemented by a CPU.
  • the in-window feature amount analysis unit 300 analyzes the texture in the matching window of the right image used for generating the parallax image.
  • the in-window feature amount analysis unit 300 analyzes the texture amount and the texture bias, and specifies a matching window in a state in which a distance error is likely to appear in the matching.
  • the unevenness correction unit 400 determines a matching window having a large distance error based on the result analyzed by the in-window feature amount analysis unit 300. Thus, since the distance error is large, there is a concern that the distance error calculated from the parallax corresponding to the matching window is large. Therefore, the unevenness correction unit 400 corrects this distance or sets it as an invalid point. Using the corrected parallax image or the parallax image in which a point with many errors is regarded as an invalid parallax, the unevenness correction unit 400 performs road surface shape analysis, three-dimensional object detection, and measurement.
  • the alarm control unit 500 performs an initial warning when there is an object determined to be an obstacle, and executes emergency braking if it is determined that a collision is likely to occur if the object advances further. Furthermore, if the obstacle is a step that is likely to be overcome by a tire, the alarm control unit 500 may change the suspension to a soft setting or adjust the length of the suspension to make the driving more comfortable. Make driving comfortable and less vibration.
  • the in-window feature amount analysis unit 300 analyzes the texture amount and texture bias in the stereo matching window. In the present embodiment, these analyzes are performed by FPGA hardware processing. Therefore, separately from the stereo matching timing, the edge extraction unit 310 performs horizontal edge extraction with a luminance change in the horizontal direction of the image and vertical edge extraction with a luminance change in the vertical direction on the image separately from the right image. carry out.
  • FIG. 6 describes the relationship between the basic principle of stereo matching and the texture in the matching window. Assuming that the left and right images have already been completely parallelized under camera installation conditions and calibration, a parallax image based on the right image is generated. In consideration of generating a parallax image at the center of the right image, in the present embodiment, when a matching window is set around the target pixel, the target pixel is set from the upper left in the range where the matching window does not go outside the image. To implement.
  • the matching window has a size. In this embodiment, it has a size of 9 ⁇ 15 pixels, and basically the distance of the center of this matching window is measured.
  • the size of the matching window is as large as 9 x 15 pixels, so there are cases in which the distance measured in the matching window changes depending on the texture in the matching window. is there. In this way, it seems that the smaller the matching window, the more accurate the distance measurement result will be, but considering whether matching can be performed at the correct position, the larger the matching window, the more information, It is likely that it can be prevented.
  • the size of the matching window is closely related to reducing the possibility of erroneous matching and increasing the measurement error and quantization error in the matching distance accuracy. It can be seen that For this reason, even if only the improvement of distance measurement accuracy is considered, the size of the matching window is not simply reduced. It is necessary to select the size of the matching window in consideration of an erroneous matching rate of the obtained parallax image and an invalid parallax region whose matching location is unknown.
  • the texture bias in the matching window is shown in FIG.
  • the matching window of the pixel of interest set in the right image as shown on the right of Fig. 6, the surface with a texture of a solid object is about 20% of the lower part of the matching window, and the surface with less texture is the upper part of the matching window. Accounting for about 80% of the total. In such a case, in the upper part of the matching window where the feature amount is sparse and the luminance change is small, it hardly contributes to the matching positioning to be searched in the horizontal direction.
  • the matching position is determined depending on whether or not this lower texture matches. For this reason, the distance of the target pixel should be calculated originally, but the lower 20% of the screen will return the measurement result of that distance, and the calculated distance is supposed to measure the three-dimensional distance of the target pixel. Measures the 3D distance of dense textures.
  • FIG. 7 shows details of this error.
  • a diagram showing the position in the real space where the matching window is arranged in the vertical direction on the image is drawn.
  • an enlarged view is shown in the center of FIG. 7 as an example of the matching window on the upper side of the three-dimensional object, as before.
  • This figure also shows a case where the feature quantity is sparse in the upper part of the matching window and the feature quantity is dense in the lower part of the matching window.
  • the cross-sectional view shown in the lower part of FIG. 7 shows, since it is originally the center distance of the matching window, the three-dimensional distance at the position indicated by a circle on the upper surface of the three-dimensional object should be measured.
  • the 3D distance at the center of the matching window is erroneously measured as the position of x, which is equivalent to the distance of the side of a dense solid object.
  • the position of x which is equivalent to the distance of the side of a dense solid object.
  • the size of the matching window when stereo matching is performed in the window setting unit 320 shown in FIG. 2 is also set for the edge image.
  • the right image can be determined based on the right image in which the edge in the range of the referenced original image can be determined. Analysis of existing edges can be performed in subsequent calculations.
  • the feature strength analysis unit 330 analyzes how much edge amount exists.
  • the average edge strengths in the vertical and horizontal directions are calculated.
  • the average of the edge strength absolute values is used. Since we want to know how many edges are the determinants of matching in the matching window, the average of the absolute values of the vertical and horizontal edges is used.
  • the feature strength analysis unit 330 calculates the average absolute value of the luminance changes of the vertical and horizontal edges of one pixel in the matching window.
  • the feature bias analysis unit 340 (feature amount bias analysis unit) analyzes the bias of the existing position of the edge in the matching window.
  • the feature deviation analysis unit 340 analyzes the deviation of the edge positions of the vertical and horizontal edges extracted by the edge extraction unit 310.
  • 8 and 9 show a method for analyzing the vertical deviation of the edge position.
  • the example of FIG. 8 is an analysis result when there is a deviation in the vertical direction
  • the example of FIG. 9 is an analysis result when there is a deviation in the horizontal direction.
  • the feature bias analysis unit 340 performs vertical bias analysis on both vertical and horizontal edges.
  • the horizontal edge shown in FIG. 8 and the used edge filter are shown on the left side.
  • the number of edges having an intensity equal to or greater than a certain threshold in the matching window is formed into a histogram by projecting in the horizontal direction. Results are shown on the right. It can be seen that the feature values are aggregated at the bottom of the screen for both the vertical and horizontal edges, and matching is performed based on the feature values at the bottom of the screen when matching is performed using the images in this matching window. .
  • the result of analyzing whether there is a lateral bias for the vertical bias texture is shown.
  • the vertical and horizontal edges are extracted from the image in the upper part of FIG. 10 with vertical bias, and the horizontal edges having a strength equal to or higher than a certain threshold in the matching window are different for each ordinate and the distribution is analyzed with a histogram.
  • the edge amount in the horizontal direction is constant, and it can be seen that there is no bias in the amount of horizontal edge in the horizontal direction.
  • the same analysis is performed with respect to the vertical edge, and similarly, there is no deviation in the horizontal direction.
  • the feature bias analysis unit 340 uses the histogram in which the amount of edges of the matching window (region) of the right image (second image) is projected in the vertical direction or the horizontal direction of the right image to match the right image. Analyze window edge bias. That is, the feature bias analysis unit 340 uses a histogram in which the amount of edges of the matching window of the right image is projected in the vertical direction or the horizontal direction of the right image, and the area of the matching window of the right image has an edge occupancy rate. It is determined whether or not the image can be divided into a first area that is less than the first threshold and a second area that has an edge occupancy greater than or equal to the first threshold. Thereby, the edge deviation can be quantitatively analyzed.
  • Processing of vertical edges may be omitted to reduce processing load. This is because, in the case of stereo matching, which is premised on searching in the horizontal direction, in the case of a horizontally extending bar, fence, or building where there are many vertical edges, the edges are always flat in the horizontal position. It means that the luminance change in the direction is continuous in the horizontal direction. For this reason, it is not a factor for changing the similarity of matching in the horizontal direction, and although there is a feature amount of luminance change, it is not known whether it can be a feature for specifying the position in the horizontal direction. Of course, if there is only one non-contiguous vertical edge, it can be a feature for specifying the position in the horizontal direction, but as a possibility it is unknown only by the presence of the vertical and horizontal edges, it can be omitted To do.
  • the feature strength analysis unit 330 confirms that there is a minimum feature strength, and if the calculation order of the reliability calculation unit 350 (to be described later) is early, this can be used to create a texture. If there is no bias, or if the amount of texture is biased to one location, it is confirmed that the stereo matching of that portion may be reliable.
  • the texture intensity and amount are too weak, the texture may be biased, but it is judged that it is not worth recalculation.
  • the feature deviation analysis unit 340 matches the matching window of the right image (second image) when the average absolute value of the edge strength is less than the second threshold value or the amount of the edge is less than the third threshold value. Does not analyze edge deviation in (region). That is, the feature bias analysis unit 340 has an average absolute value of edge strength of the matching window of the right image equal to or greater than the second threshold value, and an amount of edge of the matching window of the right image is equal to or greater than the third threshold value.
  • the right image area can be divided into a first area in which the edge occupancy is less than the first threshold and a second area in which the edge occupancy is greater than or equal to the first threshold, and a matching window for the right image If the average absolute value of the edge strengths of the right image is less than the second threshold value, or the amount of edges of the matching window of the right image is less than the third threshold value, the matching window of the right image is the first region and the second region. It is not determined whether or not it can be divided.
  • the reliability calculation unit 350 shown in FIG. 2 calculates whether or not there is a feature quantity that the stereo matching is worthy of trust.
  • the reliability calculation unit 350 uses the total of the histograms analyzed by the feature bias analysis unit 340, based on the total number of edges equal to or greater than a certain threshold, stereo matching itself is performed regardless of the edge bias in the region of a certain number of edges or less. The reliability calculation unit 350 reduces the reliability because it cannot be trusted.
  • edge strength analysis unit 330 the absolute value edge strength in the matching window calculated by the edge strength analysis unit (feature strength analysis unit 330) is also taken into consideration, and the reliability calculation unit 350 is considered in consideration of few edges and weak edge strength. Perform reliability calculations.
  • the invalid parallax adding unit 440 finally performs registration as invalid parallax for each parallax with extremely low reliability, and masks the parallax so as not to be used for distance calculation.
  • the correction region extraction unit 360 determines whether or not the distance measurement result should be corrected. Whether or not the distance measurement result should be corrected is when there is a region with a different distance in the matching window. If there is no large deviation in the texture feature, the area in the matching window is large. Since it returns the 3D distance measurement result of the area, it is not a big problem.
  • the amount of edges is shown as a feature amount in a histogram in the horizontal direction of the image.
  • the integral value of the edge amount in a fixed section is calculated, and if the result is more than half of the total edge amount, the edge within that range is aligned as the main factor of matching, and the matching position Will be determined.
  • the edge amount of the feature amount is 60% of the entire feature amount in the rightmost small section and exceeds 50%, so there is a high possibility that an error in the distance measurement result has occurred.
  • Judge. it may be determined that distance measurement correction is necessary when the average or mode value of the histogram is far from the center of the histogram.
  • the unevenness correction unit 400 in FIG. 3 calculates the distance using the parallax that is the result of the stereo matching obtained, and uses the texture bias information analyzed earlier in this distance information to generate the texture. The correction is made to correct or invalidate the distance of the area where the error is likely to occur in the distance. Further, the unevenness correction unit 400 performs a three-dimensional analysis with higher accuracy than the conventional method by analyzing the road surface shape using the parallax information or the distance information and detecting the three-dimensional object.
  • the unevenness correction unit 400 (correction unit) is configured such that the matching window (region) of the right image (second image) has an edge (image feature) occupancy of less than the first threshold and the edge of the first region.
  • the area can be divided into second regions having an occupation ratio equal to or greater than the first threshold, the distance is prohibited from being calculated, the size of the matching window of the right image is reduced, or the position of the pixel of interest in the matching window of the right image Correct.
  • the unevenness correction unit 400 uses the matching window of the right image, the first area where the edge occupancy is less than the first threshold, and the edge occupancy is the first threshold.
  • the matching window of the right image is divided into the first region and the second region, and the parallax is calculated for each of the first region and the second region. Details will be described later.
  • the distance calculation unit 410 performs the distance calculation using the result of the stereo matching performed by the hardware as it is. In other words, the distance calculation unit 410 calculates the right based on the parallax between the matching window (region) of the right image (second image) and the matching window (region) of the left image (first image) that is most similar to the matching window (region). A distance indicating the depth of the pixel of interest in the matching window of the image (second image) is calculated.
  • FIG. 13 describes a method in which the parallax centroid correction unit 420 corrects the distance error.
  • the region in which the three-dimensional distance is to be corrected that is, using the result of the correction region extraction unit 360, only three types of regions are used. Apply one of the correction processes.
  • the texture bias of the matching window as shown in FIG. 12 calculated by the feature bias analysis unit 340 is used to determine the gravity center position of the texture in the matching window using the Y average position and the X average position.
  • the 3D distance is calculated on the premise that the parallax at the center of the matching window has returned, but here, the texture centroid position distance based on the feature amount bias is output during texture matching. Therefore, the parallax centroid correction unit 420 shown in FIG. 3 performs the correction of the three-dimensional position based on the result.
  • the unevenness correction unit calculates the average position of the edge of the matching window (region) of the right image (second image) and corrects the position of the pixel of interest in the matching window of the right image to the average position.
  • a parallax centroid correction unit 420 is included. Thereby, a distance error due to edge deviation can be reduced.
  • the expected value is the calculated value assuming a ⁇ point, but if you simply perform stereo matching, matching
  • the distance of the center of the window is erroneously estimated to be the distance of the position of x that is equivalent to the lower part of the matching window.
  • the measurement point is corrected to a more correct position, and the measurement is performed so as not to distort the size of the object.
  • the local matching unit 430 shown in FIG. 3 once discards the matching result itself of the region to be corrected, and performs stereo matching of the point again by software processing. At this time, if stereo matching is performed in a conventional manner (before discarding the matching result) with a relatively large vertical 12 pix and horizontal 24 pix, it is divided into smaller stereo matching windows.
  • the size of the matching window may be determined by stereo matching using 6 windows in the vertical and 12 pixels in the horizontal in 4 windows with the vertical and horizontal halves without considering the internal texture distribution.
  • the unevenness correcting unit reduces the size of the matching window of the right image and matches the right image. It includes a local matching unit that matches the window and the matching window (region) of the left image (first image) most similar to the window. This increases the possibility that the distance error can be reduced.
  • the error caused by the matching window size is such that the smaller the window, the smaller the distance measurement error.
  • the bias of the feature amount in the matching window that has become smaller due to the division has not been studied, so in some cases, in some of the divided windows, further distance measurement errors may occur, Even if it becomes smaller than before, it occurs. From the viewpoint of suppressing the distance measurement error, it may be suppressed so that a large error does not occur.
  • it even if it is a simple division method, if there is no minimum area, the matching performance itself will decrease rapidly. Problems also arise.
  • the local matching unit 430 may adaptively change the matching window size with reference to the analysis result of the texture feature amount.
  • the unevenness correction unit 400 matches a matching window (region) between a region (first region) with a sparse feature amount and a left image (first image) that is most similar to the region.
  • a local matching unit 430 that matches the dense window (second area) and the matching window of the left image most similar to the dense area is included. Thereby, a distance error due to edge deviation can be reduced.
  • the invalid parallax addition unit 440 is supposed to be corrected by the correction region extraction unit 360 (this should be corrected by the correction region extraction unit 360) It is determined that there is a high possibility that an error is in (region parallax) and is registered as an invalid parallax.
  • the disparity information registered as invalid disparity is treated as not having a high possibility of many errors, and is used for road surface shape analysis and solid object detection.
  • the unevenness correction unit 400 (correction unit) is configured such that the matching window (region) of the right image (second image) has an edge (image feature) occupancy of less than the first threshold and the edge of the first region.
  • an invalid parallax adding unit 440 that invalidates parallax is included.
  • the feature deviation analysis unit 340 analyzes the edge deviation of the matching window (region) of the right image (second image), and the invalid parallax addition unit 440 invalidates the parallax when there is an edge deviation.
  • the distance calculation unit 410 is prohibited from calculating the distance. As a result, a distance error due to edge deviation can be reduced.
  • the road surface shape analysis unit 450 shown in FIG. 3 performs road surface shape analysis as shown in FIG. First, as shown in the upper part of FIG. 15, in a region where the road surface is divided into three regions of left, center, and right, the road surface shape analysis unit 450 performs preprocessing of road surface shape analysis. The preprocessing will be described by focusing on the left processing area. First, parallax values on horizontal lines having the same height on the image in the left processing area are histogrammed. At this time, the mode value of the histogram is taken. Thereby, a typical parallax value can be obtained for each horizontal line on the image. This is performed as a left processing area, a center area, and a right processing area.
  • the road surface shape analysis unit 450 predicts and sets the region through which the tire will pass.
  • the road surface shape analysis unit 450 assumes the vehicle width from the camera installed at the center of the host vehicle, calculates the tire position, estimates the location where the tire will pass from the host vehicle behavior, and centers the estimated line.
  • the road surface shape will be analyzed separately on the left and right. Considering that there is no change in the shape of the road surface in the lateral direction in the processing area, the change in the undulation in the depth direction is analyzed assuming that there is no change in the undulation in the horizontal direction.
  • the distance of the parallax value for each horizontal line on the image is converted and plotted on a three-dimensional cross-sectional view such that the road surface shape shown in Fig. 15 is observed from the side.
  • a noise removal process is performed on the assumption that a point that is too far away from the analysis result of the road surface shape one frame before is a noise factor such as a three-dimensional object.
  • the shape analysis of the road surface that the host vehicle will pass is performed in the left and right regions, and the undulation of the road surface shape is output.
  • the reason why the center area is also subjected to the road surface estimation process is to simply perform the shape analysis of the entire road surface spreading in front of the host vehicle using the analysis results of the left and right and center road surface shapes. It is. In this case as well, there is a possibility that the three-dimensional object is in the area. Therefore, the three-dimensional object is analyzed in the horizontal direction on the screen, and the result of the processing area that is greatly separated from the height is omitted. Noise removal processing that does not fit into the data is implemented. This also analyzes the inclination of the road surface on the assumption that there is no change in the road surface shape in the lateral direction. The analysis result is used to analyze the foot position for detecting the next three-dimensional object.
  • the three-dimensional object detection unit 460 shown in FIG. 3 uses the road surface estimation result of the road surface shape analysis unit 450 to search for a three-dimensional object shape having a height of 50 cm or more that stands vertically on the road surface.
  • FIG. 16 shows an outline of the processing.
  • the result shown in FIG. 16 is a cross-sectional view of the road surface shape indicating the height of the road surface as viewed from the side.
  • the three-dimensional object detection unit 460 uses the result of the relative positional relationship between the road surface shape and the camera, the three-dimensional object detection unit 460 detects a three-dimensional object standing on the road surface shape.
  • the three-dimensional object detection unit 460 searches for a candidate that is expected to be a three-dimensional object standing above the road surface.
  • a three-dimensional shape is searched from the bottom of the screen, and the shape of a part of the three-dimensional object candidate standing above the road surface is analyzed.
  • the processing for one arrow extending from the bottom of the screen in the center of FIG. 16 will be described with the graph at the bottom of FIG.
  • searching for a 3D shape from the bottom of the screen the road surface shape continues for a while, so it becomes a 3D shape along the road surface shape shown in the upper part of FIG. There is a possibility of entering.
  • the three-dimensional object detection unit 460 determines that the object is a three-dimensional object. Furthermore, the three-dimensional object detection unit 460 determines and identifies whether the candidate is a pedestrian candidate or a vehicle candidate according to the size of the three-dimensional object.
  • the warning control unit 500 performs warning control and suspension control for suppressing danger and caution to the driver, speed control for suppressing uncomfortable driving, and suspension control according to the road surface shape analysis result and the three-dimensional object detection result.
  • the analysis of the road surface shape there are BUMP for speed control and steps, etc., and if it is judged that the impact is large when entering the current vehicle behavior, the hardness of the loose brake or suspension for speed control It is possible to reduce the impact generated in the host vehicle by performing either control of the above or control of the length of the suspension.
  • the road surface shape measured in the present embodiment it becomes possible to analyze a more accurate road surface shape, so it is possible to perform more appropriate control and more appropriately suppress the impact generated in the host vehicle. It becomes. Also, in the analysis of the road surface shape, if the level difference is around 10cm, the road surface shape should rise smoothly and should be judged as a solid object that should be stopped, such as an object with a height that can be overcome, or a car stop that rises vertically, etc. The determination of a smaller object is also performed.
  • the three-dimensional object detected by the three-dimensional object detection unit 460 also considers the behavior of the host vehicle, and the alarm control unit 500 warns when the possibility of collision becomes high, and if it goes beyond this, it is always predicted that it will be a collision.
  • the safety of the vehicle is secured by implementing emergency braking.
  • FIG. 18 shows an example in which texture deviation tends to occur in actual road surface shape analysis.
  • the measurement result of the step for suppressing the speed as shown in Examples 1, 2, 3, and 4 in FIG. 18 is used for the purpose of controlling the suspension.
  • texture bias as described in this embodiment is difficult to occur, but the material is the same.
  • the parallax image generation unit 200 performs stereo matching using the acquired left and right images to generate a parallax image.
  • the edge extraction unit 310 of the in-window feature amount analysis unit 300 extracts the vertical and horizontal edges of the right image used as the base image for stereo matching.
  • the window setting unit 320 of the in-window feature amount analysis unit 300 sets the matching window size at the time of stereo matching for each pixel of the parallax image, and uses this for analyzing the internal texture. That is, the texture range used for the generated parallax is determined here.
  • the feature strength analysis unit 330 of the in-window feature quantity analysis unit 300 performs texture edge strength analysis as a kind of texture analysis. Since we want to know how many edges are decisive for matching in the matching window, the average of the absolute values of the vertical and horizontal edges is used. The feature strength analysis unit 330 calculates the average absolute value of the luminance changes of the vertical and horizontal edges of one pixel in the matching window.
  • the reliability calculation unit 350 of the in-window feature amount analysis unit 300 uses the total of the histograms analyzed by the feature deviation analysis unit 340, and based on the total number of edges that are equal to or greater than a certain threshold, In the first place, stereo matching itself is unreliable regardless of the edge bias, and the reliability is lowered. Further, the absolute value edge strength in the matching window calculated by the edge strength analysis unit (feature strength analysis unit 330) is also taken into consideration, and the reliability calculation unit 350 is considered in consideration of few edges and weak edge strength. Perform reliability calculations.
  • the invalid parallax adding unit 440 of the unevenness correcting unit 400 finally performs registration as invalid parallax for each parallax with extremely low reliability, and masks it so that it is not used for distance calculation.
  • the invalid parallax adding unit 440 has an average absolute value of edge strengths of the matching window (region) of the right image (second image) being less than the second threshold value, or the amount of edges of the matching window of the right image is If it is less than the third threshold, the parallax is invalidated.
  • the distance calculation unit 410 of the unevenness correction unit 400 performs distance calculation for pixels other than the pixels of the parallax image whose reliability is invalid and invalid in the above-described reliability calculation.
  • the road surface shape analysis unit 450 of the unevenness correction unit 400 calculates the depth from the parallax, the height from the vertical and horizontal positions on the image, and the horizontal position.
  • the feature bias analysis unit 340 of the in-window feature amount analysis unit 300 analyzes the bias of the existing position of the edge in the matching window.
  • the feature deviation analysis unit 340 analyzes the deviation of the edge positions of the vertical and horizontal edges extracted by the edge extraction unit 310.
  • the feature bias analysis unit 340 calculates whether there is a bias in the edge, that is, the result of the presence or absence of the bias, the average position when there is a bias, and the boundary position when there is a bias. If there is even one such texture analysis result, it can be used for correcting the three-dimensional measurement distance in S10.
  • the correction region extraction unit 360 of the in-window feature amount analysis unit 300 collects the analysis results of the edge bias results, selects a region for correcting the three-dimensional measurement result, and passes the information to S10.
  • the area that is biased may be passed to the correction execution of S10 as it is, the area where the analysis result such as parallax centroid correction or local matching is output, and the edge strength from among the areas that are corrected It may be narrowed down to a region that is relatively high or highly reliable. This is because when the local matching is performed again, since the CPU load is high in the first place, it may be suspicious whether the correct parallax can be obtained even if the region with lower edge strength and reliability is calculated again. In such a case, the correction process of the three-dimensional measurement result may be performed by narrowing down to a region where a reasonable reliability result is likely to be obtained when the correction region is extracted.
  • one or more processes of the parallax centroid correction by the parallax centroid correction unit 420, the local matching by the local matching unit 430, and the parallax invalidation by the invalid parallax addition unit 440 are performed on the region extracted as the correction region To implement.
  • the parallax centroid correction measurement of a three-dimensional shape with less error is performed by correcting the height and the horizontal position indicated by the depth instead of correcting the depth.
  • more accurate three-dimensional measurement is performed by re-dividing the matching window using stereo texture matching by dividing the matching window as a boundary based on the texture bias analysis result.
  • the designated area is divided into two parts vertically and horizontally, and the stereo matching process is performed again in each of the four windows.
  • the suspicious 3D measurement result may be invalidated as invalid parallax.
  • the road surface shape analysis unit 450 of the unevenness correction unit 400 performs road surface shape analysis after correcting the three-dimensional measurement result.
  • the three-dimensional object detection unit 460 of the unevenness correction unit 400 performs detection of a three-dimensional object.
  • the warning control unit 500 performs warning and control from the road surface shape analysis result and the three-dimensional object detection result.
  • Fig. 19 shows the structure of the in-vehicle environment recognition device (full software processing).
  • the soft parallax image generation unit 1200 uses the image captured by the stereo camera 1100 to generate a parallax image using stereo matching.
  • texture analysis in the stereo matching window is performed by the in-window feature quantity analysis unit 1300. If there is no bias in the texture, stereo matching is performed directly by the parallax distance measurement unit 1500 and there is a bias.
  • the correction unit 1400 performs any one of correction processes (parallax centroid correction, local matching, parallax invalidation).
  • the parallax distance measurement unit 1500 performs three-dimensional measurement from the calculated parallax.
  • the three-dimensional analysis detection unit 1600 performs road surface shape analysis and solid object detection.
  • the alarm control unit 1700 performs vehicle warning and control based on the analysis result of the road surface shape and the detection result of the three-dimensional object.
  • Fig. 20 shows the in-window texture analysis of software processing. Since stereo matching, etc. has become a CPU process, texture analysis is performed in advance before stereo matching is performed, and if there is a texture bias, an error will occur by turning to correction processing first. Stereo matching with known can be omitted.
  • the edge extraction unit 1310 performs edge extraction on the entire screen in advance.
  • the window setting unit 1320 sets a window for performing stereo matching, and the feature bias analysis unit 1340 performs feature bias analysis on the set windows one by one.
  • the feature bias analysis unit 1340 performs processing to perform feature bias analysis. If the feature is not biased, the feature is transferred to the normal parallax distance measurement unit 1500. If it is biased, the process is distributed to the correction unit 1400.
  • Fig. 21 shows the correction unit 1400. If it is determined that the feature is biased, the processing in the matching window is passed to the correction processing.
  • the correction unit 1400 performs the same processing contents as those of the parallax centroid correction unit 420, the local matching unit 430, and the invalid parallax addition unit 440, as in the case of assuming hardware processing for stereo matching. However, as a process step different from the hardware process, the parallax centroid correction unit 1420, the local matching unit 1430, and the invalid parallax determination unit 1440 perform these processes for each pixel of parallax.
  • the correction unit performs one of the processes, and passes this result to the parallax / distance measurement unit 1500.
  • the parallax / distance measuring unit 1500 shown in FIG. 22 uses the result of texture analysis and the processing result if correction processing is performed, and the reliability calculation unit 1510 assumes hardware processing for stereo matching. In other words, the same processing as the reliability calculation unit 350 is performed. However, in the case of assuming software processing for stereo matching, the reliability calculation unit 1510 calculates the reliability for each pixel, and the parallax image generation unit 1520 performs the parallax image generation for each pixel. However, when there is an invalid result or a local matching result from the result of the analysis and the correction unit 1400 analyzing that there is a texture bias, the generation of the parallax image is omitted here.
  • the 3D shape measurement unit 1530 is combined with the centroid information. Measure the shape. In normal processing, the 3D shape measurement unit 1530 calculates 3D points for each generated parallax pixel.
  • the road surface shape analysis unit 1650 and the three-dimensional object detection unit perform the same processing as road surface shape analysis and solid object detection assuming stereo processing hardware processing. Implemented by 1660.
  • FIG. 24 shows the flowchart for full software processing.
  • S01A First, the stereo camera captures left and right images.
  • the edge extraction unit 1310 extracts the vertical and horizontal edges of the right image used as the base image for stereo matching.
  • the window setting unit 1320 sets the matching window size for stereo matching for each pixel of the parallax image.
  • the feature bias analysis unit 1340 analyzes the texture inside the set matching window.
  • the feature bias analysis unit 1340 analyzes the bias of the existing position of the edge in the matching window.
  • the feature deviation analysis unit 1340 analyzes the deviation of the edge positions of the vertical and horizontal edges extracted by the edge extraction unit 1310.
  • the feature bias analysis unit 1340 calculates whether there is a bias in the edge, whether there is a bias, the average position when there is a bias, and the boundary position when there is a bias. If it is determined that the texture is biased, the process proceeds to the calculation of the correction unit 1400. If it is determined that the texture is not biased, the process proceeds to the parallax distance measuring unit 1500.
  • the correction unit 1400 performs one or more processes of parallax centroid correction, local matching, and parallax invalidation for one matching window that is analyzed as having a biased feature value.
  • parallax centroid correction measurement of a three-dimensional shape with less error is performed by correcting the height and the horizontal position indicated by the depth instead of correcting the depth.
  • local matching more accurate three-dimensional measurement is performed by re-dividing the matching window using stereo texture matching by dividing the matching window as a boundary based on the texture bias analysis result.
  • the designated area is divided into two parts vertically and horizontally, and the stereo matching process is performed again in each of the four windows.
  • the suspicious 3D measurement result may be invalidated as invalid parallax.
  • S06A Based on the total number of edges above a certain threshold, using the sum of the histograms analyzed in the feature amount bias analysis S04A, stereo matching itself is performed in a region below a certain number of edges, regardless of the edge bias.
  • the reliability calculation unit 1510 reduces the reliability because it cannot be trusted.
  • the absolute value edge strength in the matching window calculated by the edge strength analysis unit is also considered, and the reliability calculation unit 1510 calculates the reliability considering that there are few edges and the edge strength is weak. To do.
  • the invalid parallax determination unit 1440 finally performs registration as invalid parallax for each parallax with extremely low reliability, and masks the parallax so that it is not used for distance calculation.
  • the parallax image generation unit 1520 performs stereo matching using the left and right images to generate a parallax image. If the correction unit 1400 has already calculated it, or if it is determined that the bias is extremely unreliable and is determined to be invalid first, the processing is skipped.
  • the three-dimensional shape measurement unit 1530 Based on the parallax image calculated in S07A, the three-dimensional shape measurement unit 1530 performs measurement of a three-dimensional point. This is the end of the processing loop for each pixel. Eventually, a 3D shape is measured by measuring 3D points for all pixels.
  • the road surface shape analysis unit 1650 After correction of the three-dimensional measurement result, the road surface shape analysis unit 1650 performs road surface shape analysis.
  • the three-dimensional object detection unit 1660 detects a three-dimensional object.
  • the warning control unit 1700 performs warning and control based on the analysis result of the road surface shape and the detection result of the three-dimensional object.
  • the CPU has a matching window (region) of the right image (second image) that has an occupancy of the first region and the edge where the occupancy of the edge (image feature) is less than the first threshold.
  • the right image matching window is divided into the first region and the second region to calculate the parallax for each of the first region and the second region, or the right image matching window The position of the pixel of interest is corrected.
  • the CPU calculates the parallax between the matching window of the right image and the matching window of the left image (first image) that is most similar to the matching window. Based on this, the distance is calculated. Thereby, the distance is calculated only when there is no bias in the feature amount.
  • the present invention is not limited to the above-described embodiment, and includes various modifications.
  • the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to the one having all the configurations described.
  • a part of the configuration of an embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of an embodiment.
  • the image feature is an edge as an example, but is not limited thereto.
  • the image feature is considered based on the occupancy rate of edges having an edge strength equal to or greater than a certain threshold, but may be an average edge strength or an occupancy rate in which a certain number of vertices occupy a specific area.
  • each of the above-described configurations, functions, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit.
  • Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by a processor (CPU).
  • Information such as programs, tables, and files for realizing each function can be stored in a recording device such as a memory, a hard disk, or an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • Stereo that performs matching by comparing a pair of images, each of which captures an image, and an image region (matching window) including a plurality of image elements (pixels) arranged in the vertical direction of the image.
  • a matching unit and a distance calculation unit that calculates a parallax between corresponding image regions and calculates a distance based on the parallax.
  • the distance calculation is performed when there is a small feature region having a feature amount smaller than that of the feature region, and when the feature amount of the multi-feature region is greater than a feature value of the feature amount of the small feature region.
  • the unit prohibits distance calculation related to the image region, or the stereo matching unit sets the size of the image region (matching window) used for the collation, or corrects the three-dimensional measurement result A stereo camera.
  • a parallax calculation unit that associates the parallax information related to the parallax for each of the image areas, and the image area includes a multi-feature area having a large feature amount, and a small feature area having a smaller feature amount than the multi-feature area; And when the feature amount of the multi-feature region is larger than the feature amount of the small feature region by a predetermined value or more, the disparity calculating unit may include disparity information associated with the image region.
  • the stereo camera according to (1) in which is treated as invalid.
  • the positional deviation of the edge image in the stereo matching window is analyzed by using a projection histogram in the X-axis direction or the Y-axis direction.
  • In-vehicle environment recognition device characterized by
  • the region where the output changes is extracted from the portion where the edge strength changes, and this region is An in-vehicle environment recognition device characterized by significantly reducing processing load by performing only feature quantity bias analysis.
  • the texture bias is analyzed, the texture switching position is estimated, the matching window is subdivided based on the estimated texture switching position, and the stereo of the area is again displayed.
  • An in-vehicle environment recognition device that performs three-dimensional measurement with fewer errors by performing matching.
  • a pair of image capturing units for capturing images and an image region (matching window) including a plurality of image elements (pixels) arranged in the vertical direction for stereo matching are set, and the feature amount is set in the image region.
  • the distance calculation unit prohibits distance calculation related to the image region, or the stereo matching unit sets a size of an image region (matching window) used for the collation, or
  • the three-dimensional measurement result is corrected, and when the feature amount of the multi-feature region is not more than a predetermined value compared to the feature amount of the small feature region, the image region (matching window) is defined as a pair of images.
  • stereo matching is performed using a stereo camera installed in the vehicle, and is used for stereo matching when measuring the three-dimensional shape of the road surface from the parallax image.
  • 3D measurement distance error caused by texture deviation in matching window is identified by texture analysis in matching window, and the measurement point is invalidated, or the measurement point with error is corrected, or high accuracy To do.
  • the size information such as the height information of the object is suppressed from the influence of the deviation of the texture between the object and the background, and the three-dimensional shape can be measured with high accuracy.
  • Suspension control unit 1100 ... Stereo camera, 1200 ... Soft parallax image generation unit, 1300 ... In-window feature value analysis , 1310... Edge extraction unit, 1320... Window setting unit, 1340... Feature bias analysis unit, 1400.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

本発明は、撮像された画像に画像特徴の偏りがあっても、３次元計測精度の低下を抑制することができる車載環境認識装置を提供する。ステレオカメラ100は、１対の左画像（第１画像）及び右画像（第２画像）を撮像する。凹凸補正部400（距離算出部410）は、右画像のマッチングウィンドウ（領域）とそれに最も類似する左画像のマッチングウィンドウの間の視差に基づいて、右画像のマッチングウィンドウの着目画素の奥行きを示す距離を算出する。凹凸補正部400は、右画像のマッチングウィンドウが、エッジ（画像特徴）の占有率が第１閾値未満である第１領域とエッジの占有率が第１閾値以上である第２領域に分割できる場合、右画像のマッチングウィンドウを第１領域と第２領域に分割して第１領域と第２領域ごとに視差を算出する、又は右画像のマッチングウィンドウの着目画素の位置を補正する。

Description

車載環境認識装置
　本発明は、車載環境認識装置に関する。
　車両に設置されたカメラにより車両周囲環境を認識するアプリケーションの製品化が増加傾向にある。その中でも、認識した物体を利用し、未然に事故を防止する予防安全技術や、快適かつ便利に移動することができるような便利機能、自律走行を目指した車両制御技術への応用が期待されている。特に車両制御に利用される認識技術は、高い信頼性が必要とされる。
　横断歩道のように同じ模様が多数現われる繰返しパターンが存在する複雑な背景下においても歩行者を適切に認識し、誤検出を抑制する車載用物体検知装置が知られている（例えば、特許文献１参照）。
特開2001-351200号公報
　特許文献１に開示されるような技術では、横断歩道のような繰り返しパターンにおいて誤抽出された3次元形状を解析し、この繰り返しパターンであることを事前に検知することで、横断歩道上を横断する歩行者の3次元推定結果を改善することができる。
　一方、撮像された画像に特徴の偏りがあると、３次元計測精度が低下という問題があった。
　本発明の目的は、撮像された画像に特徴の偏りがあっても、３次元計測精度の低下を抑制することができる車載環境認識装置を提供することにある。
　上記目的を達成するために、本発明は、１対の第１画像及び第２画像を撮像する撮像部と、前記第２画像の領域とそれに最も類似する前記第１画像の領域の間の視差に基づいて、前記第２画像の領域の着目画素の奥行きを示す距離を算出する距離算出部と、前記第２画像の領域が、画像特徴の占有率が第１閾値未満である第１領域と前記画像特徴の占有率が第１閾値以上である第２領域に分割できる場合、前記第２画像の領域を前記第１領域と前記第２領域に分割して前記第１領域と前記第２領域ごとに視差を算出する、又は前記第２画像の領域の着目画素の位置を補正する補正部と、を備える。
　本発明によれば、撮像された画像に特徴の偏りがあっても、３次元計測精度の低下を抑制することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
第1の実施形態による車載環境認識装置の構成図である。 ウィンドウ内特徴量解析部の構成図である。 凹凸補正部の構成図である。 警報制御部の構成図である。 ステレオマッチングに基づく三角測量の基本原理を示す図である。 マッチング基本原理と特徴量の偏りを説明するための図である。 特徴量の偏りによるマッチングへの影響を説明するための図である。 特徴量の縦偏り解析方法（縦偏りテクスチャの場合）を示す図である。 特徴量の縦偏り解析方法（横偏りテクスチャの場合）を示す図である。 特徴量の横偏り解析方法（縦偏りテクスチャの場合）を示す図である。 特徴量の横偏り解析方法（横偏りテクスチャの場合）を示す図である。 特徴量ヒストグラム上での偏り解析を説明するための図である。 距離算出時の重心補正方法を示す図である。 局所マッチングのウィンドウ設定を示す図である。 路面形状の解析を示す図である。 立体物の検知を示す図である。 処理フローチャートを示す図である。 テクスチャに偏りのある速度抑制用の段差を示す図である。 車載環境認識装置（フルソフトウェア処理）の構造を示す図である。 ウィンドウ内テクスチャ解析（フルソフトウェア処理）を示す図である。 補正（フルソフトウェア処理）を示す図である。 視差距離の計測（フルソフトウェア処理）を示す図である。 3次元解析検知部（フルソフトウェア処理）を示す図である。 フルソフトウェア処理フローチャートを示す図である。
　以下、図面を用いて、本発明の第１～第２の実施形態による車載環境認識装置の構成及び動作について説明する。
　車載環境認識装置は、例えば、車両に設置されたカメラを利用して自車両の周囲環境を撮像し、カメラによって得られた3次元情報から自車両が進行しても衝突しないかどうかを判定すると共に、衝突しない場合においても、車両に大きな振動を与えるような段差が存在するかどうかを得られた3次元路面情報から解析し、解析結果に基づいて、車両の振動を抑制するサスペンションやブレーキの制御を実施する。
　換言すれば、本発明の実施形態では、ステレオカメラを利用して車両前方の路面上の凹凸の計測を実施し、この実施結果に基づいて、より快適な運転のためにサスペンションの制御を実施する。例えば、段差手前でサスペンションをやわらかくすることで、段差通過時の衝撃を抑制するセミアクティブ制御を実施したり、段差の高さに応じてサスペンションを短くしたりすることで車体に与えられる衝撃を緩和する。
　なお、前述した目的と一部重複するが、本実施形態の課題は、路面上に存在する段差要因（例えば、スピードバンプ）が、路面よりもテクスチャの特徴が密（輝度変化が多い）な場合において、3次元計測結果に生じる誤差を低減することにある。
　（第１の実施形態）：ハードウェア処理
  ＜図１  車載環境認識装置  概要＞
  図１に第１の実施形態による車載環境認識装置の構成図を示す。左右に平行に並べられたカメラを、ステレオカメラとして利用し、車載周囲環境を認識する。ステレオカメラ100では、左右のカメラから撮像された左右の画像を取得する。左右の画像を利用して視差画像生成部200にて、ステレオマッチングを実施、視差画像を生成する。ステレオカメラでは、左右画像に映る同一物体の同一箇所を特定することで、三角測量の原理に基づいた3次元計測を実施する。
　換言すれば、ステレオカメラ100（撮像部）は、１対の左画像（第１画像）及び右画像（第２画像）を撮像する。視差画像生成部200は、右画像（第２画像）のマッチングウィンドウ（領域）とそれに最も類似する左画像（第１画像）のマッチングウィンドウ（領域）の間の視差を算出し、視差画像を生成する。
　図5には、ステレオマッチングに基づく三角測量の基本原理を示してある。図5に示すように、正方体の左下の角が左右カメラの画像上で、左画像上の座標(XL,YL)、右画像上の座標(XR,YR)に、その角が撮像されている。画像上で同一箇所を特定するために、右画像を中心に考えた場合、右画像を画像上の小矩形領域をマッチングウィンドウとして設定する。この右画像をベースに左側の画像上で同一撮像箇所を特定するために、小矩形領域をマッチングウィンドウをずらしながらサーチを実施する。完全に平行に設置された同一のカメラ仕様のカメラで歪み補正を実施してあれば、カメラ前方に撮像される同一点は必ず左右画像上で同一高さに撮像される。このため、左画像上では横方向にマッチングウィンドウをずらしながら、その類似性を比較し、最も類似性の高い箇所を見つける。これにより、左右カメラで撮像された同一箇所を特定する。完全に平行に設置された歪みの無いカメラ、もしくは歪みを補正されたカメラでは、カメラ間の距離をBとして、左右カメラの焦点距離をそれぞれfとする。更に、特定された同一箇所を左画像上の座標(XL,YL)、右画像上の座標(XR,YR)とし、この差分を視差d=(XL-XR)とすると、三角測量の原理から、その奥行きをZ=(B x f)/dとして算出することが可能である。ここで、ｘは乗算演算子である。
　図1の視差画像生成部200では、この左右画像を入力として、右画像をベースに考えて、小矩形領域を設定し、この右画像の小矩形領域であるマッチングウィンドウと最も類似度の高い左画像のマッチングウィンドウを探索する。探索結果である左画像と右画像のマッチング位置の差分dを視差画像の1点の結果として保存し、視差画像を生成する。
　次に、ウィンドウ内特徴量解析部300（ウィンドウ内テクスチャ解析部）では、上記のマッチングウィンドウ内のテクスチャの解析を実施する。本実施形態は、ＣＰＵ（Central Processing Unit ）以外に、ＦＰＧＡ（Field Programmable Gate Array）により画像処理部分をハードウェア実装しており、処理負荷の高い視差画像生成部200とウィンドウ内特徴量解析部300についてはＦＰＧＡで実装している。カメラ画像の取得、及び凹凸補正部400、警報制御部500はＣＰＵで実装する。ウィンドウ内特徴量解析部300は、視差画像生成で利用した右画像のマッチングウィンドウ内のテクスチャを解析する。ウィンドウ内特徴量解析部300は、テクスチャ量やテクスチャの偏りについて解析し、マッチングに距離誤差が載りやすい状態のマッチングウィンドウを特定する。
　凹凸補正部400は、距離誤差が大きいマッチングウィンドウを、ウィンドウ内特徴量解析部300で解析された結果を基に判断する。これにより距離誤差が大きいために、このマッチングウィンドウに対応する視差から算出される距離誤差が大きいことが懸念される。
このため、この距離を補正する、もしくは無効な点とすることを凹凸補正部400が実施する。補正された視差画像、もしくは、誤差の多い点を無効視差とされた視差画像を利用して、凹凸補正部400は、路面形状解析や立体物検知及び計測を実施する。
　最後に、これらの結果を利用して警報制御部500は、障害物と判定した物体がある場合に初期に警報、これ以上進むと衝突しそうだと判断したタイミングであれば緊急ブレーキを実行する。更に、障害物がタイヤで乗り越えられそうな段差である場合には、より快適な運転とするために、警報制御部500は、サスペンションをやわらかい設定に変更、もしくはサスペンションの長さを調整することで、より振動のすくない快適な運転とする。
　＜図２  ウィンドウ内特徴量解析部＞
  ウィンドウ内特徴量解析部300は、ステレオマッチングウィンドウ内のテクスチャ量やテクスチャの偏りについて解析する。本実施形態では、ＦＰＧＡのハードウェア処理にてこれらの解析を実施している。このため、ステレオマッチングのタイミングとは別途、右画像に対して、画像の横方向に輝度変化のある横エッジ抽出と、画像上の縦方向に輝度変化のある縦エッジ抽出をエッジ抽出部310が実施する。
　画像上の縦方向の輝度変化が横方向につづくような場合、例えば塀の上端や、道路の停止線のようなテクスチャは距離計測用に横方向に探索するステレオマッチングにおいては、テクスチャが存在するもののマッチングにより位置を特定しづらい。反対に、横方向の輝度変化が縦方向につづくような電柱や、立体物の輪郭などは、横方向の探索時にステレオマッチングの位置を正確に決めやすい特徴といえる。これらの情報を活用したステレオマッチングの誤差発生可能性や信頼度を決定する。
　ここでは、先に、図６、７に示す例で、実際に3次元距離の計測誤差が発生するシーンの例を述べることで、現在存在する一般的なステレオカメラにおいて、マッチングウィンドウサイズが影響する距離の計測誤差に関して説明する。まず、図６にステレオマッチングの基本原理とマッチングウィンドウ内のテクスチャの関係について述べる。左右画像が、既にカメラ設置条件かつキャリブレーションなどで、完全に平行化されていると仮定し、右画像をベースとした視差画像を生成する。右画像中心に視差画像を生成することを考えると、本実施形態では、着目画素を中心にマッチングウィンドウを設定した場合に、マッチングウィンドウが画像外にいかない範囲で最も左上から、着目画素の設定を実施する。これを1画素ずつずらして設定し、視差画像を生成する。（ここで原画像と視差画像の解像度が異なってもよい、原画像に対して1/2解像度の視差画像を生成したい場合には、原画像に対して着目画素を1画素置きに設定するだけでよい。）ここで着目画素は1画素ずれるのに対し、マッチングウィンドウは大きさを持っている。本実施形態では、縦９ｘ横１５画素の大きさを持っており、基本的には、このマッチングウィンドウの中心の距離を計測する。
　しかしながら、実際には、マッチングウィンドウのサイズが縦９ｘ横１５画素とかなりの大きさを持っているために、マッチングウィンドウ内のテクスチャにより、マッチングウィンドウ内のどの部分の距離計測したのか変化する場合がある。このように考えればマッチングウィンドウが小さいほど、距離計測結果が正しい結果が得られるとも思われるが正しい位置でマッチングとれるかどうかを考えるとマッチングウィンドウが大きい方が情報量が多いために、誤マッチングを防ぐことができる可能性が高い。
　つまり、マッチングウィンドウの大きさは、誤マッチングの可能性を低くすることと、マッチングの距離精度にのる計測誤差、量子化誤差の大きさが大きくなることと密に関係しており、トレードオフの関係にあることがわかる。このため距離計測の精度向上のためだけを考えても簡単にマッチングウィンドウのサイズを小さくすれば良いことにはならない。得られる視差画像の誤マッチング率や、マッチング場所が不明の無効視差領域との兼ね合いで、マッチングウィンドウのサイズを選定する必要がある。
　サイズが縦９ｘ横１５画素のマッチングウィンドウサイズである本実施形態の場合、マッチングウィンドウ内のテクスチャの偏りについて図6に示す。右画像に設定されたある着目画素のマッチングウィンドウについて考慮すると、図6右に示すように、ある立体物のテクスチャがある面がマッチングウィンドウ下部の２割程度に、テクスチャが少ない面がマッチングウィンドウ上部の8割程度を占めている。このような場合には、特徴量が疎であり輝度変化の少ないマッチングウィンドウ上部では、横方向に探索するマッチングの位置決めに、ほとんど寄与しない。反対に下部２割程度に特徴量が密な輝度変化の多いテクスチャが存在する場合には、この下部のテクスチャが一致するかどうかでマッチング位置が決定されてしまう。このため、本来は着目画素の距離を求めるはずであるが、画面下部2割がその距離の計測結果を返すことになり、着目画素の3次元距離を計測しているはずなのに、算出される距離はテクスチャが密な場所の3次元距離が計測される。
　図７に、この誤差について詳細を示す。図7上部には、画像上の縦方向に並んだ、マッチングウィンドウが実空間におけるどの位置を参照しているかを示す図が描かれている。
この際に、先ほどと同様に立体物の上辺のマッチングウィンドウを例として拡大図が図7中央に示してある。この図でも、同様にマッチングウィンドウ上部は特徴量が疎であり、マッチングウィンドウ下部では特徴量が密である場合を、示している。このような際には、図７下部に示す、断面図が示すとおり、本来は、マッチングウィンドウ中央距離であるため、立体物上面に○で示す位置の3次元距離が計測されるはずであるが、テクスチャの偏りが影響してマッチングウィンドウ中央の3次元距離はテクスチャが密な立体物の側面の距離と同等である×の位置と誤測定してしまう。このようにマッチングウィンドウ内の、どの位置の距離を計測しているかは、テクスチャの偏りによって誤差が生じる場合がある。
　次に、図２に示すウィンドウ設定部320においてステレオマッチングした際のマッチングウィンドウのサイズを、エッジ画像に対しても設定する。これにより算出した視差画像の１画素ずつに対して、参照した原画像の範囲におけるエッジがどの範囲にあるかを決定することができる右画像をベースとした場合に、右画像のマッチングウィンドウ内に存在したエッジの解析を、その後の計算で実施することが可能となる。
　次に、特徴強度解析部330は、エッジ量が、どの程度存在するかの解析を実施する。ここでは、縦横それぞれの平均エッジ強度を算出する。ただし、縦エッジ、横エッジには正負の値が存在するが、ここではエッジ強度絶対値の平均を利用する。マッチングウィンドウ内においてマッチングの決め手となるエッジがどの程度、存在するかを知りたいので、縦横のエッジの絶対値に関しての平均とする。特徴強度解析部330は、マッチングウィンドウ内の1画素がもつ縦エッジ、横エッジの輝度変化の絶対値平均を算出する。
　特徴偏り解析部340（特徴量偏り解析部）は、マッチングウィンドウ内におけるエッジの存在位置の偏りを解析する。特徴偏り解析部340は、エッジ抽出部310で抽出された縦横エッジのエッジ位置の偏りを解析する。図8,9には、エッジ位置の縦偏りを解析する方法を示す。図8の例は、縦方向に偏りがある場合の解析結果であり、図9の例は、横方向に偏りがある場合の解析結果である。
　まず、図8の解析結果から説明する。ここでは上部にテクスチャ変化の小さい特徴量が少ない領域が存在し、下部にテクスチャの変化が大きい特徴量が多い領域が存在する場合に、縦偏りの解析結果がどのようになるかを示した例である。特徴偏り解析部340は、縦横エッジ両方について縦偏り解析を実施する。図8上に示す横エッジ、使用したエッジフィルタを左側に示す。マッチングウィンドウ内のある閾値以上の強度をもつエッジの個数を、横方向に投影する形でヒストグラム化した。結果を右側に示す。縦エッジ、横エッジ共に、画面下に特徴量が集約されており、このマッチングウィンドウ内の画像を利用してマッチングを実施するとほぼ、画面下部の特徴量をベースとしたマッチング結果となることがわかる。
　次に図9には、左側にテクスチャ変化の小さい特徴量が少ない領域が存在し、右側にテクスチャの変化が大きい特徴量が多い領域が存在する場合に、縦偏りの解析結果がどのようになるかを示した例である。縦横エッジ両方について縦偏り解析を実施する。エッジの偏りは横方向に存在するので、縦方向に偏りがあるかを調べる縦偏り解析では、図9右に示すように、横エッジも縦エッジも縦方向にある強度以上のエッジ量が偏ることはなく、ほぼ一定であることがわかる。ここでは縦偏り解析を実施することで、縦方向にエッジの存在の偏りがあるかどうかを調査することとする。ただし、ここではハードウェア処理を仮定しているため、詳細な解析は後段の凹凸補正部400が実施するものとする。
　次に、図10に示すように縦偏りテクスチャに対して、横偏りがあるかどうかを解析した場合の結果を示す。縦偏りのある図10上段の画像に縦横エッジを抽出し、横エッジについて、マッチングウィンドウ内のある閾値以上の強度を持つ横エッジが縦座標ごとに、異なるかヒストグラムでその分布を解析する。当然のことながら、横方向に偏りのあるような模様ではないため、横方向のエッジ量は一定であり、横方向に横エッジの量の偏りが無いことがわかる。同様に縦エッジに関しても同様の解析を実施し、同様に横方向に偏りは無い結果となる。
　最後に、同様に横偏りのある図11に示すマッチングウィンドウ内のある閾値以上の強度を持つ横エッジが横座標ごとにことなるかヒストグラムでその分布を解析する。右側にテクスチャが偏った状況であるため、ある閾値以上のエッジ量をヒストグラムで表現すると、横座標で右側にテクスチャ量（エッジ量）が多い状況となる。これを横エッジにも、縦エッジについても実施する。
　このように、特徴偏り解析部340は、右画像（第２画像）のマッチングウィンドウ（領域）のエッジの量を、右画像の縦方向又は横方向に投影したヒストグラムを用いて、右画像のマッチングウィンドウのエッジの偏りを解析する。すなわち、特徴偏り解析部340は、右画像のマッチングウィンドウのエッジの量を、右画像の縦方向又は横方向に投影したヒストグラムを用いて、右画像のマッチングウィンドウの領域が、エッジの占有率が第１閾値未満である第１領域とエッジの占有率が第１閾値以上である第２領域に分割できるか否かを判定する。これにより、エッジの偏りを定量的に解析することができる。
　処理負荷軽減のために、縦エッジの解析を省略しても良い。なぜならば横方向に探索することを前提とする、ステレオマッチングの場合には、縦エッジが多いような水平に伸びる棒や塀、建物などの場合には、水平位置にずっとエッジがつらなるため、縦方向の輝度変化が横方向に連続することを意味する。このため、横方向にマッチングの類似度が変化する要因にはならず、輝度変化の特徴量はあるものの、横方向の位置を特定する際の特徴となりうるかはわからないところにある。もちろん、連続しない一点だけ縦エッジがあれば、横方向の位置を特定するための特徴になりうるが、可能性としては縦横のエッジの存在だけでは不明なため省略して考えても良いものとする。
　また、処理負荷軽減のために、特徴強度解析部330において最低限の特徴強度があることを、確認、更に後述する信頼度計算部350の計算順序が早ければ、これを利用して、テクスチャに偏りがなければ、もしくはそのテクスチャの量が一箇所に偏っていれば、その部分のステレオマッチングが信頼できる可能性があることを確認する。
　逆に言うと、テクスチャに偏りがあろうがあまりにも弱いテクスチャ強度と量の場合には、再計算するほどの価値がないと判断する。これによって黒いアスファルトや白いコンクリートなどの路面での特徴偏り解析自体を実施することを削減し、テクスチャ偏りが発生しそうな箇所のみで特徴偏り解析を実施する。これにより、処理負荷の重い特徴偏り解析や、その後の計測結果の補正処理を、効率よく削減することが可能となる。
　換言すれば、特徴偏り解析部340は、エッジの強度の絶対値の平均が第２閾値未満である、又はエッジの量が第３閾値未満である場合、右画像（第２画像）のマッチングウィンドウ（領域）のエッジの偏りを解析しない。すなわち、特徴偏り解析部340は、右画像のマッチングウィンドウのエッジの強度の絶対値の平均が第２閾値以上であり、且つ右画像のマッチングウィンドウのエッジの量が第３閾値以上である場合、右画像の領域が、エッジの占有率が第１閾値未満である第１領域とエッジの占有率が第１閾値以上である第２領域に分割できるか否かを判定し、右画像のマッチングウィンドウのエッジの強度の絶対値の平均が第２閾値未満である、又は右画像のマッチングウィンドウのエッジの量が第３閾値未満である場合、右画像のマッチングウィンドウが、第１領域と第２領域に分割できるか否かを判定しない。
　従来の一般的なステレオカメラの画像処理においては、図７下部に示すように、計測距離に誤差が発生することを述べた。特徴偏り解析部340の結果を利用して、計測距離に誤差が発生しそうな領域を特定する。本実施形態では、まず、図２に示す信頼度計算部350は、ステレオマッチングが信用に値するだけの特徴量が存在するかどうかを計算する。ここでは特徴偏り解析部340で解析されたヒストグラムの合計を利用して、ある閾値以上のエッジ総数に基づいて、あるエッジ数以下の領域においては、そもそもエッジの偏りに関わらず、ステレオマッチング自体が信用できないとのことで、信頼度計算部350は、信頼度を低下させる。
　更に、エッジ強度解析部（特徴強度解析部330）で計算されたマッチングウィンドウ内の絶対値エッジ強度も考慮し、エッジが少ないこととエッジ強度が弱いことを考慮して、信頼度計算部350は、信頼度の計算を実施する。無効視差追加部440は、最終的に信頼度が極めて低い視差ごとに無効視差としての登録を実施し、距離計算に利用しないようにマスクする。
　次に、特徴偏り解析部340にて解析されたエッジ量のヒストグラムを活用して、補正領域抽出部360は、距離計測結果が補正されるべきかどうかを判定する。距離計測結果が補正されるべきかどうかは、マッチングウィンドウ内に距離の異なる領域が入った場合であり、テクスチャの特徴量に大きな偏りがないような場合であれば、マッチングウィンドウ内で面積が多い領域の3次元距離計測結果を返すため、大きな問題にはならない。
　しかしながら、図8～11に示したようなテクスチャの量に大きな偏りが発生する場合には、マッチングウィンドウ内で面積の大半を占めるような特徴量の少ない領域の3次元距離が計測されることを期待しているにも関わらず、面積としてはマッチングウィンドウのほんの一部ではあっても特徴量が多いために、その部分の計測距離を得てしまい、3次元形状を解析する妨げになる。
　このように、面積としては一部であるにも関わらず、ある特定箇所に特徴量が偏った場合に距離の計測誤差が発生すると考える。図12に示すように、エッジの量を特徴量として画像横方向のヒストグラムに示す。ある固定区間内におけるエッジ量の積分値を計算し、この結果が、全体のエッジ量の半分よりも多かった場合に、その範囲内にあるエッジをマッチングの主要因として位置合わせされて、マッチング位置が決定すると考える。
　図12の例では、最も右側の小区間で特徴量のエッジ量が全体の特徴量全体の60％となり50％を超えているために、距離計測結果の誤差が発生している可能性が高いと判断する。
もしくは、ヒストグラムの平均や最頻値が、ヒストグラムの中心から大きく離れている場合に、距離計測補正の必要があると判断してもよい。
　＜図３  凹凸補正部＞
  図３の凹凸補正部400について、説明する。
　図３の凹凸補正部400は、得られたステレオマッチングの結果である視差を利用して距離を算出し、この距離情報の中で、先に解析されたテクスチャの偏り情報を利用して、テクスチャの偏りがあり距離に誤差がのりそうな領域の距離を補正、もしくは無効とする補正を行う。更に、凹凸補正部400は、これらの視差情報、もしくは距離情報を活用した路面形状の解析や、立体物検知により、従来法と比較して、より精度の高い3次元解析を実施する。
　換言すれば、凹凸補正部400（補正部）は、右画像（第２画像）のマッチングウィンドウ（領域）が、エッジ（画像特徴）の占有率が第１閾値未満である第１領域とエッジの占有率が第１閾値以上である第２領域に分割できる場合、距離が算出されることを禁止する、右画像のマッチングウィンドウの大きさを小さくする、又は右画像のマッチングウィンドウの着目画素の位置を補正する。右画像のマッチングウィンドウの大きさを小さくする例として、凹凸補正部400は、右画像のマッチングウィンドウが、エッジの占有率が第１閾値未満である第１領域とエッジの占有率が第１閾値以上である第２領域に分割できる場合、右画像のマッチングウィンドウを第１領域と第２領域に分割して第１領域と第２領域ごとに視差を算出する。なお、詳細については、後述する。
　まずは、ハードウェアで実施されたステレオマッチングの結果をそのまま利用して、距離算出を距離算出部410にて実施する。換言すれば、距離算出部410は、右画像（第２画像）のマッチングウィンドウ（領域）とそれに最も類似する左画像（第１画像）のマッチングウィンドウ（領域）の間の視差に基づいて、右画像（第２画像）のマッチングウィンドウの着目画素の奥行きを示す距離を算出する。
　次に、距離に誤差がのりそうな領域を特定した後に、距離誤差を是正する手法を3種類示す。この中でどれか1つでも、実施した後に、路面表面の形状解析や立体物検知を実施することで、精度向上を実施する。
　図13では、視差重心補正部420が距離誤差を補正する手法について述べる。まず、ウィンドウ内特徴量解析部300の解析結果を利用して、3次元距離を補正すべきとされた領域、すなわち、補正領域抽出部360の結果を利用して、その領域のみに3種類の補正処理のいずれかを適応する。
　特徴偏り解析部340で算出した、図12に示すようなマッチングウィンドウのテクスチャの偏りをＹ平均位置とＸ平均位置を利用してマッチングウィンドウ内のテクスチャの重心位置を定める。本来であれば、マッチングウィンドウ中心の視差が帰ってきているという前提で3次元距離を算出するが、ここでは、テクスチャマッチングの際に、特徴量の偏りに基づいたテクスチャの重心位置の距離が出力されると考えて、その結果に基づいた3次元位置の補正を図３に示す視差重心補正部420にて実施する。
　換言すれば、凹凸補正部（補正部）は、右画像（第２画像）のマッチングウィンドウ（領域）のエッジの平均位置を算出し、右画像のマッチングウィンドウの着目画素の位置を平均位置に補正する視差重心補正部420を含む。これにより、エッジの偏りによる距離誤差を低減することができる。
　結果としては、図13下に示すように、本来はマッチングウィンドウ中心の3次元距離なので、期待値としては○点を想定した算出距離を理想値とするが、単純にステレオマッチングを実施すると、マッチングウィンドウ中心の距離が、マッチングウィンドウ下部と同等である×の位置の距離だと誤推定する。しかし、最終的には、算出された3次元距離を、テクスチャ重心位置の距離とすることで、すなわち、誤差軽減された○の中に×の印の位置の3次元距離であると推定することで、計測点をより正しい位置に補正し、物体の大きさを歪ませるようなことの少ない計測を実施する。
　図３に示す局所マッチング部430は、補正すべきとされた領域のマッチング結果自体を一度破棄して、再度ソフトウェア処理にて、その点のステレオマッチングを実施する。この際に、従来（マッチング結果を破棄する前）は、比較的大きな縦12pix横24pixでステレオマッチングしていたとすると、これよりも小さなステレオマッチングウィンドウに分割する。マッチングウィンドウのサイズは、内部のテクスチャの分布を考えずに、縦横半分にして４つのウィンドウで縦6pix,横12pixを使ってステレオマッチングを実施してもよい。
　換言すれば、凹凸補正部（補正部）は、右画像（第２画像）のマッチングウィンドウ（領域）のエッジに偏りがある場合、右画像のマッチングウィンドウの大きさを小さくし、右画像のマッチングウィンドウとそれに最も類似する左画像（第１画像）のマッチングウィンドウ（領域）をマッチングする局所マッチング部を含む。これにより、距離誤差を低減することができる可能性が高まる。
　結局、マッチングウィンドウサイズが原因となる誤差は、ウィンドウが小さいほど、距離の計測誤差も小さくなる。しかしながら、この手法だと、分割されて小さくなったマッチングウィンドウ内の特徴量の偏りまでは検討されていないので、場合によっては、分割された一部のウィンドウ内では、更に距離の計測誤差が、従来より小さくなっても発生していることとなる。距離の計測誤差を抑制する観点では、これにより大きな誤差が発生しないように抑制してもよい。ただし、単純に分割していく手法であっても最小限の面積がなければ、マッチング性能自体がどんどん低下することとなるので、誤マッチングや不マッチングなども出やすくなるので精度とのトレードオフの問題も発生する。
　また、もう１つの方式としては、図14に示すように、局所マッチング部430は、テクスチャ特徴量の解析結果を参照し、適応的にマッチングウィンドウサイズを変更しても良い。
　換言すれば、凹凸補正部400（補正部）は、特徴量が疎な領域（第１領域）とそれに最も類似する左画像（第１画像）のマッチングウィンドウ（領域）をマッチングし、特徴量が密な領域（第２領域）とそれに最も類似する左画像のマッチングウィンドウをマッチングする局所マッチング部430を含む。これにより、エッジの偏りによる距離誤差を低減することができる。
　この場合には、必要以上に小さなマッチングウィンドウにならないので、テクスチャの変わり目が適切に認識できた場合には、こちらの手法の方が誤差が小さい結果となる。
　また、上記、視差重心補正部420、局所マッチング部430以外の精度向上手法として、無効視差追加部440は、補正領域抽出部360に相当する視差（補正領域抽出部360によって補正すべきとされた領域の視差）は誤差が乗っている可能性が高いと判断し、無効視差として登録する。無効視差として登録された視差情報は、誤差が多い可能性が高いとしてないものとして扱い、路面形状の解析や立体物の検知に利用される。
　換言すれば、凹凸補正部400（補正部）は、右画像（第２画像）のマッチングウィンドウ（領域）が、エッジ（画像特徴）の占有率が第１閾値未満である第１領域とエッジの占有率が第１閾値以上である第２領域に分割できる場合、視差を無効とする無効視差追加部440を含む。
　つまり、特徴偏り解析部340は、右画像（第２画像）のマッチングウィンドウ（領域）のエッジの偏りを解析し、無効視差追加部440は、エッジの偏りがある場合、視差を無効とする。
　視差を無効とすることにより、距離算出部410は、距離を算出することを禁止される。
その結果、エッジの偏りによる距離誤差を低減することができる。
　図３に示す路面形状解析部450は、図15に示すように路面形状の解析を実施する。まず、図15上部に示すように、路面を左、中央、右の３領域に分割した領域において、路面形状解析部450は、それぞれ路面形状の解析の前処理を実施する。前処理としては、まずは左処理領域に着目して説明すると、左処理領域内の画像上の高さが同一な横ライン上の視差値をヒストグラム化する。この際に、ヒストグラムの最頻値をとることとする。これにより、画像上の横方向１ラインごとに代表的な視差値を得ることができる。これを左処理領域、中央領域、右処理領域と実施する。
　この中から左処理領域及び右処理領域については、路面形状解析部450は、タイヤが通過するであろう領域を予測して設定する。路面形状解析部450は、自車両中心に設置されたカメラから車幅を想定し、タイヤ位置を算出し、そのタイヤが通過するであろう場所を自車挙動から推定し、その推定線を中心に幅90cm程度の領域について、左右別に路面形状の解析を実施する。その処理領域において横方向の路面形状の変化は生じないと考慮して、横方向には起伏の変化がないものとして、奥行き方向の起伏変化を解析する。
　画像上の横１ラインごとの視差値を、距離変換して、図15下に示すような路面形状を横から観測したような3次元の断面図上にプロットする。この際に、1フレーム前の路面形状の解析結果などを利用してあまりに大きく離れている点は立体物などのノイズ要因であると考えたノイズ除去処理を実施する。図15下では、左側に、緩やかな路面の起伏があった場合であり、路面が一か所盛り上がっている。このようにステレオカメラの視差値を利用して、自車両が通るであろう路面の形状解析を、左右の領域において実施し、路面形状の起伏を出力とする。
　更に、中央領域も路面推定の処理を実施していたのは、これら左右及び中央の路面形状の解析結果を利用して、自車両の前に広がる路面全体の形状解析を簡易的に実施するためである。この際も、立体物が領域中に入っている可能性もあるので、画面上の横方向に解析し、大きく高さが離れている処理領域の結果を省くなど、立体物が路面形状の解析のデータに入らないようなノイズ除去処理を実施する。これも横方向に路面形状の変化がないと考えて路面の傾斜状況などを解析する。解析結果を利用し、次の立体物検知のための足元位置の解析などに利用する。
　図３に示す立体物検知部460は、路面形状解析部450の路面推定結果を利用して、この路面の上に垂直に立つ50ｃｍ以上の高さの立体物形状を探索する。図16に、その処理の概要を示す。図16上に示す結果は、路面の高さを示す路面形状を横から眺めた断面図である。
このような路面形状とカメラの相対位置関係の結果を利用して、立体物検知部460は、この路面形状の上に立つ立体物を検知する。
　まずは、立体物を見つける前に、立体物検知部460は、路面より上に立つ立体物と予想される候補の探索を行う。この処理は、図16の真ん中の図に示すように、画面下から3次元形状の探索を実施し、路面より上に立つ立体物候補の一部の形状を解析する。図16中央の画面下から伸びている矢印１本分の処理を図16下のグラフで説明する。画面下から3次元形状を探索すると、しばらくは路面形状が続くために、図16の上に示す路面形状に沿った3次元形状となるが、探索する場所によっては、歩行者などの立体物が入る可能性がある。路面形状解析においては、立体物の排除処理を実施していたが、ここでは立体物をそのまま解析すると、立体物のために路面平面に対して、垂直に立ち上がるような3次元形状となり、図16下に示すグラフのように、立体物部分の3次元形状が垂直に立ち上がる。
これを1つの立体物候補の部分形状であると考えて、更に、図16中央の隣の線の処理を実施する。これを続けることにより、立体物候補が同じ場所で数本集まるので、これを集約して、立体物検知部460は、立体物と判定する。更に、立体物検知部460は、立体物のサイズに応じて、歩行者候補とするか車両候補とするかなどを判定し、識別する。
　＜図４  警報制御部＞
  最後に、図4に示す警報制御部500について説明する。警報制御部500は、上記路面形状解析結果と、立体物検知結果に応じて、ドライバーに危険や注意を促す警報、制御、不快な運転を抑制するための速度制御やサスペンションの制御を実施する。路面形状の解析において、速度抑制用のBUMPや、段差などがあり、現状の自車挙動のまま突入すると衝撃が大きいと判断された場合には、速度抑制のための緩いブレーキもしくはサスペンションの硬さの制御、もしくはサスペンションの長さの制御、いずれかを実施することで、自車両に生じる衝撃を軽減することが可能となる。
　本実施形態において計測された路面形状であれば、より正確な路面形状を解析することが可能となるので、より適切な制御を実施し、自車両に生じる衝撃をより適切に抑制することが可能となる。また、路面形状の解析において、段差が10cm前後の場合には、滑らかに盛り上がる路面形状で、乗り越えられる高さの物体か、垂直に立ち上がる車止めのように、停止すべき立体物と判定すべきかなどの、より小さな物体の判定も実施する。
　同様に、立体物検知部460で検知された立体物に関しても自車挙動を考慮し、警報制御部500は、衝突可能性が高くなると警報、これ以上いくと必ず衝突と予測される一歩手前では緊急ブレーキを実施することで、車両の安全性を確保する。
　最後に、実際の路面形状解析においてテクスチャの偏りが生じやすい例について図18に示す。本実施形態における路面形状の解析により、サスペンションの制御を実施する目的で図18の例１，２，３，４、に示すような速度抑制用の段差の計測結果を利用する。このようなスピード抑制用の段差が、路面と同一のテクスチャ、素材でできているような場合には、本実施形態に記載したようなテクスチャの偏りは発生しづらいが、素材が同じような場合にも段差になっている場合には段差部分の陰影などにより段差部分が画像上でエッジと見えるような場合には偏りが生じる場合もある。
　しかしながら図18に示すような速度抑制段差の例の場合、アスファルトやコンクリート路面にこれらの物が設置されていれば、周囲のテクスチャと明らかに異質なテクスチャとなり、実施形態に示したようなテクスチャの偏りが起こりやすく、普通にテクスチャマッピングしているだけでは、段差が膨らみどうしても正確な3次元形状を解析することが困難となりやすい。
　本実施形態によりテクスチャの偏りを解析し、3次元計測結果の補正、もしくは計測誤差の大きな点を削除すると、より高精度な3次元計測結果を算出することができるため、より正確な段差形状を基に車両の振動を抑制するためのサスペンションの制御や、段差通貨時の衝撃を緩和するための速度抑制などを適切に実行することが可能となる。
　＜図１７  処理フロー概要＞
  S01：まず、ステレオカメラ100は、左右画像を撮像する。
　S02：視差画像生成部200は、取得した左右画像を利用したステレオマッチングを実施し、視差画像を生成する。
　S03：ウィンドウ内特徴量解析部300のエッジ抽出部310は、ステレオマッチングのベース画像として利用した右画像の縦エッジ、横エッジを抽出する。
　S04：ウィンドウ内特徴量解析部300のウィンドウ設定部320は、ステレオマッチング時のマッチングウィンドウサイズを、視差画像のピクセルごとに設定し、この内部のテクスチャの解析に利用する。つまり生成された視差に利用されたテクスチャの範囲をここで決定する。
　S05：ウィンドウ内特徴量解析部300の特徴強度解析部330は、テクスチャ解析の一種として、テクスチャのエッジ強度の解析を実施する。マッチングウィンドウ内においてマッチングの決め手となるエッジがどの程度、存在するかを知りたいので、縦横のエッジの絶対値に関しての平均を利用する。特徴強度解析部330は、マッチングウィンドウ内の1画素がもつ縦エッジ、横エッジの輝度変化の絶対値平均を算出する。
　S06：ウィンドウ内特徴量解析部300の信頼度計算部350は、特徴偏り解析部340で解析されたヒストグラムの合計を利用して、ある閾値以上のエッジ総数に基づいて、あるエッジ数以下の領域においては、そもそもエッジの偏りに関わらず、ステレオマッチング自体が信用できないとのことで、信頼度低下させる。更に、エッジ強度解析部（特徴強度解析部330）で計算されたマッチングウィンドウ内の絶対値エッジ強度も考慮し、エッジが少ないこととエッジ強度が弱いことを考慮して、信頼度計算部350は、信頼度の計算を実施する。凹凸補正部400の無効視差追加部440は、最終的に信頼度が極めて低い視差ごとに無効視差としての登録を実施し、距離計算に利用しないようにマスクする。例えば、無効視差追加部440は、右画像（第２画像）のマッチングウィンドウ（領域）のエッジの強度の絶対値の平均が第２閾値未満である、又は右画像のマッチングウィンドウのエッジの量が第３閾値未満である場合、前記視差を無効とする。
　S07：凹凸補正部400の距離算出部410は、上記、信頼度計算にて信頼度が低く無効とされた視差画像の画素以外の距離計算を実施する。凹凸補正部400の路面形状解析部450は、視差から奥行き、画像上の縦横位置から高さ、横位置の計算を実施する。
　S08：ウィンドウ内特徴量解析部300の特徴偏り解析部340は、マッチングウィンドウ内におけるエッジの存在位置の偏りを解析する。特徴偏り解析部340は、エッジ抽出部310で抽出された縦横エッジのエッジ位置の偏りを解析する。特徴偏り解析部340は、エッジに偏りがあるかどうか、すなわち、偏りの有無の結果と、偏りがある場合の平均位置、偏りがある場合の境界位置を算出する。このようなテクスチャ解析結果が１つでもあればS10にて、3次元計測距離の補正に利用することが可能となる。
　S09：ウィンドウ内特徴量解析部300の補正領域抽出部360は、エッジの偏り結果の解析結果をまとめて、3次元計測結果の補正を実施する領域を選定し、S10へ情報を渡す。ここでは、偏り有りとされた領域をそのままS10の補正実施に渡しても良いし、補正有とされた中から、視差重心補正もしくは局所マッチングなどの解析結果が出ている領域かつ、エッジ強度が比較的高い、もしくは信頼度が高い、領域に絞っても良い。なぜならば再度局所マッチングするような場合には、そもそもＣＰＵ負荷が高いため、エッジ強度や信頼度が低めの領域を再度計算しても正しい視差が求められるか怪しい場合もある。このような場合には、補正領域抽出時に、それなりの信頼度の結果が得られそうな領域に絞って3次元計測結果の補正処理を実施しても良い。
　S10：ここでは補正領域として抽出された領域に対して、視差重心補正部420による視差重心補正、局所マッチング部430による局所マッチング、無効視差追加部440による視差無効化のいずれか１つ以上の処理を実施する。視差重心補正では、奥行きを補正するのではなく、奥行きが示す高さと横位置の補正を実施することで、より誤差の少ない3次元形状の計測を実施する。局所マッチングでは、テクスチャの偏りの解析結果を基にテクスチャの傾向が変化する箇所を境界としてマッチングウィンドウを再分割して、ステレオマッチングする事で、より高精度な3次元計測を実施する。もしくは、指定された領域を、そのまま縦横に2分割ずつ実施し、４つのウィンドウそれぞれで再度ステレオマッチング処理を実施する。もしくは、処理時間に余裕がないような場合には、無効視差として怪しい3次元計測結果を無効としても良い。
　S11：凹凸補正部400の路面形状解析部450は、3次元計測結果の補正の後に、路面形状の解析を実施する。
　S12：凹凸補正部400の立体物検知部460は、立体物の検知を実施する。
　S13：警報制御部500は、路面形状の解析結果と、立体物の検知結果から、警報や制御を実施する。
　以上説明したように、本実施形態によれば、撮像された画像に特徴の偏りがあっても、３次元計測精度の低下を抑制することができる。
　（第２の実施形態）
  フルソフトウェア処理　第２の実施形態では、全体処理がフルソフトウェア処理（ＣＰＵによる処理）だった場合について記す。もちろん、この第２の実施形態の一部の機能のみがハードウェア処理になっても良い。ただし、ソフトウェア処理が得意とするように途中の計算結果の値に応じて後処理の手法を変更するなど、ソフトウェア処理の方が効率的と考えるソフトウェア構造となる。
　図19に車載環境認識装置（フルソフトウェア処理）の構造を示す。ステレオカメラ1100で撮像された画像を利用して、ソフト視差画像生成部1200にてステレオマッチングを利用した視差画像を生成する。ステレオマッチングする前に、ステレオマッチングウィンドウ内のテクスチャ解析をウィンドウ内特徴量解析部1300にて実施し、テクスチャに偏りがない場合には、そのまま視差距離計測部1500でステレオマッチングし、偏りがある場合には、補正処理（視差重心補正、局所マッチング、視差無効化）のいずれかを補正部1400にて実施する。その後に、算出された視差から3次元計測を、視差距離計測部1500が実施する。更に、これらの結果を用いて3次元解析検知部1600は、路面形状の解析と、立体物の検知を実施する。最後に、路面形状の解析結果と、立体物の検知結果に基づいて車両の警報、制御を警報制御部1700が実施する。
　図20は、ソフトウェア処理のウィンドウ内テクスチャ解析について示す。ステレオマッチングなどがＣＰＵ処理となったことで、ステレオマッチングを行う前に事前にテクスチャ解析を実施、テクスチャの偏りがあるような場合には先に、補正処理に回すことで、誤差がのることがわかっているステレオマッチングは省略することができる。
　まずは、画面全体のエッジ抽出を事前にエッジ抽出部1310が実施する。次に、ウィンドウ設定部1320は、ステレオマッチングを実施するウィンドウを設定し、設定されたウィンドウに対し、特徴偏り解析部1340は、１つずつ特徴偏り解析を実施する。ウィンドウ設定部1320がウィンドウを設定する度に、特徴偏り解析部1340は、特徴偏り解析を実施するように処理し、特徴が偏ってない場合には、通常の視差距離計測部1500へ、特徴が偏っている場合には補正部1400へ処理を振り分ける。
　図21は補正部1400について記す。特徴が偏っていると判定された場合には、そのマッチングウィンドウ内の処理は、補正処理へ渡される。補正部1400では、ステレオマッチングのハードウェア処理を想定した場合と同様で、視差重心補正部420、局所マッチング部430、無効視差追加部440と同様の処理内容を実施する。ただし、ハードウェア処理と異なる処理の工程としては、視差１画素ごとに、これらの処理を視差重心補正部1420、局所マッチング部1430、無効視差判定部1440が実施する。補正部はいずれかの処理を実施し、この結果を、視差、距離計測部1500へ渡す。
　図22に示す、視差、距離計測部1500では、テクスチャ解析の結果、及び補正処理を実施していればその処理結果を利用して、信頼度計算部1510は、ステレオマッチングのハードウェア処理を想定した場合と同様の処理、すなわち、信頼度計算部350と同様の処理を行う。しかし、ステレオマッチングのソフトウェア処理想定の場合には、信頼度計算部1510は１画素ずつ信頼度を計算し、１画素ずつ視差画像生成を視差画像生成部1520が実施する。ただし、先ほど、テクスチャ偏りがあると解析され補正部1400で処理された結果から無効、もしくは局所マッチングの結果がある場合には、ここでの視差画像生成は省略する。
  しかし、補正部1400でも、視差重心補正処理のみの結果の場合には、実際の視差が存在しないため、ここでまとめ視差を生成し、重心情報と合わせて、3次元形状計測部1530は3次元形状を計測する。通常の処理では、生成された視差１画素ずつ3次元形状計測部1530は3次元点を計算する。
　これら3次元形状計測部1530の結果が全点そろったところで、ステレオマッチングのハードウェア処理を想定した場合の路面形状解析や立体物検知と同様の処理を、路面形状解析部1650と立体物検知部1660が実施する。
　図24にフルソフトウェア処理の場合のフローチャートを示す。
　S01A：まず、ステレオカメラは、左右画像を撮像する。
　S02A：エッジ抽出部1310は、ステレオマッチングのベース画像として利用した右画像の縦エッジ、横エッジを抽出する。
　S03A：ウィンドウ設定部1320は、ステレオマッチング時のマッチングウィンドウサイズを、視差画像のピクセルごとに設定する。
　S04A：特徴偏り解析部1340は、設定されたマッチングウィンドウ内部のテクスチャを解析する。特徴偏り解析部1340は、マッチングウィンドウ内におけるエッジの存在位置の偏りを解析する。特徴偏り解析部1340は、エッジ抽出部1310で抽出された縦横エッジのエッジ位置の偏りを解析する。特徴偏り解析部1340は、エッジに偏りがあるかどうかの、偏りの有無の結果と、偏りがある場合の平均位置、偏りがある場合の境界位置を算出する。ここでテクスチャに偏りがあると判定された場合には、補正部1400の計算へ、偏りがないと判断された場合には、視差距離計測部1500へ進む。
　S05A：補正部1400は、特徴量に偏りがあると解析されたマッチングウィンドウ１つ分に対して、視差重心補正、局所マッチング、視差無効化のいずれか１つ以上の処理を実施する。視差重心補正では、奥行きを補正するのではなく、奥行きが示す高さと横位置の補正を実施することで、より誤差の少ない3次元形状の計測を実施する。局所マッチングでは、テクスチャの偏りの解析結果を基にテクスチャの傾向が変化する箇所を境界としてマッチングウィンドウを再分割して、ステレオマッチングする事で、より高精度な3次元計測を実施する。もしくは、指定された領域を、そのまま縦横に2分割ずつ実施し、４つのウィンドウそれぞれで再度ステレオマッチング処理を実施する。もしくは、処理時間に余裕がないような場合には、無効視差として怪しい3次元計測結果を無効としても良い。
　S06A：特徴量偏り解析S04Aで解析されたヒストグラムの合計を利用して、ある閾値以上のエッジ総数に基づいて、あるエッジ数以下の領域においては、そもそもエッジの偏りに関わらず、ステレオマッチング自体が信用できないとのことで、信頼度計算部1510は、信頼度低下させる。更に、エッジ強度解析部で計算されたマッチングウィンドウ内の絶対値エッジ強度も考慮し、エッジが少ないこととエッジ強度が弱いことを考慮して、信頼度計算部1510は、信頼度の計算を実施する。無効視差判定部1440は、最終的に信頼度が極めて低い視差ごとに無効視差としての登録を実施し、距離計算に利用しないようにマスクする。
　S07A：視差画像生成部1520は、左右画像を利用したステレオマッチングを実施、視差画像を生成する。補正部1400で既に算出済み、もしくは、偏りがひどく信頼できないとして先に無効とすると判断されている場合には、処理をスキップする。
　S08A：S07Aで算出された視差画像を基に、3次元形状計測部1530は、3次元点の計測を実施する。1画素単位で処理がループするのはここまでである。最終的には、全画素に対して、3次元点の計測を実施することで、3次元形状の計測を行うこととなる。
　S09A：3次元計測結果の補正の後に、路面形状解析部1650は、路面形状の解析を実施する。
　S10A：立体物検知部1660は、立体物の検知を実施する。
　S11A：警報制御部1700は、路面形状の解析結果と、立体物の検知結果から、警報や制御を実施する。
　換言すれば、ＣＰＵ（プロセッサ）は、右画像（第２画像）のマッチングウィンドウ（領域）が、エッジ（画像特徴）の占有率が第１閾値未満である第１領域とエッジの占有率が第１閾値以上である第２領域に分割できる場合、右画像のマッチングウィンドウを第１領域と第２領域に分割して第１領域と第２領域ごとに視差を算出する、又は右画像のマッチングウィンドウの着目画素の位置を補正する。一方、ＣＰＵは、右画像のマッチングウィンドウが、第１領域と前記第２領域に分割できない場合、右画像のマッチングウィンドウとそれに最も類似する左画像（第１画像）のマッチングウィンドウの間の視差に基づいて、距離を算出する。これにより、特徴量の偏りがない場合のみ、距離が算出される。
　なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　上記実施形態では、画像特徴は、一例として、エッジであるが、これに限定されない。
画像特徴は、ある閾値以上のエッジ強度を持つエッジの占有率をベースに考慮しているが、平均エッジ強度でも良いし、ある頂点の個数が特定エリア内に占める占有率であっても良い。
　また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサ（ＣＰＵ）がそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
　なお、本発明の実施形態は、以下の態様であってもよい。
　（１）それぞれ画像を撮影する一対の撮像部と、前記画像の縦方向に並ぶ複数の画像要素(画素)を含む画像領域(マッチングウィンドウ)を一対の画像間で照合して対応付けを行うステレオマッチング部と、対応する画像領域同士の視差を算出して、前記視差に基づいて距離を算出する距離算出部と、を備え、前記画像領域中に、特徴量が多い多特徴領域と、前記多特徴領域よりも特徴量が少ない少特徴領域とが存在する場合であって、且つ前記多特徴領域の特徴量が前記少特徴領域の特徴量に比べて所定値以上多い場合には、前記距離算出部が前記画像領域に関する距離算出を禁止するか、又は、前記ステレオマッチング部が前記照合の際に用いる画像領域(マッチングウィンドウ)の大きさを小さく設定する、もしくは、3次元計測結果を補正する、ステレオカメラ。
　（２）前記画像領域ごとに前記視差に関する視差情報を関連付ける視差算出部を備え、前記画像領域中に、特徴量が多い多特徴領域と、前記多特徴領域よりも特徴量が少ない少特徴領域とが存在する場合であって、且つ前記多特徴領域の特徴量が前記少特徴領域の特徴量に比べて所定値以上多い場合には、前記視差算出部は、前記画像領域に関連付けられた視差情報を無効なものとして扱う、（１）に記載のステレオカメラ。
　（３）（１）に記載のステレオカメラにおいて、ステレオマッチングウィンドウ内のエッジ画像の位置的な偏りをＸ軸方向、もしくはＹ軸方向の投影ヒストグラムを利用することで、エッジの偏りを解析することを特徴とする車載環境認識装置。
　（４）（１）に記載のステレオカメラにおいて、エッジ強度の変化する箇所を、特徴強度解析部もしくは信頼度計算の結果を利用して、それらの出力が変化する領域を抽出し、この領域にのみ特徴量の偏り解析を実施することで処理負荷を大幅に軽減することを特徴とする車載環境認識装置。
　（５）（１）に記載のステレオカメラにおいて、テクスチャの偏り解析結果より、テクスチャの偏り重心を算出することで、ステレオマッチングにより求められた奥行きの値をそのままに、カメラから見た縦と横の3次元計測結果の補正処理を実施することを特徴とする車載環境認識装置。
　（６）（１）に記載のステレオカメラにおいて、マッチングウィンドウ内のテクスチャに偏りがあると判定された場合に、上記マッチングウィンドウを細かく分割して、再度、その領域のステレオマッチングを実施することで、より誤差の少ない3次元計測を実施することを特徴とする車載環境認識装置。
　（７）（１）に記載のステレオカメラにおいて、テクスチャの偏りを解析し、テクスチャの切り替わり位置を推定し、推定したテクスチャ切り替わり位置を基に、マッチングウィンドウを再分割し、再度、その領域のステレオマッチングを実施することで、より誤差の少ない3次元計測を実施することを特徴とする車載環境認識装置。
　（８）（１）に記載のステレオカメラにおいて、テクスチャの偏りを解析し、テクスチャに偏りがあると判定された場合には、誤差の大きな計測点は3次元形状を解析するには悪影響と考えて、測量点を削除してから3次元形状を解析することを特徴とする車載環境認識装置。
　（９）それぞれ画像を撮影する一対の撮像部と、ステレオマッチングするための縦方向に並ぶ複数の画像要素(画素)を含む画像領域(マッチングウィンドウ)を設定し、前記、画像領域中に特徴量が多い多特徴領域と、前記多特徴領域よりも特徴量が少ない少特徴領域とが存在する場合であって、且つ前記多特徴領域の特徴量が前記少特徴領域の特徴量に比べて所定値以上多い場合には、前記距離算出部が前記画像領域に関する距離算出を禁止するか、又は、前記ステレオマッチング部が前記照合の際に用いる画像領域(マッチングウィンドウ)の大きさを小さく設定する、もしくは、3次元計測結果を補正し、前記多特徴領域の特徴量が前記少特徴領域の特徴量に比べて所定値以上多くない場合には、画像領域(マッチングウィンドウ)を一対の画像間で照合して対応付けを行うステレオマッチングを実施し、3次元形状計測結果を取得することを特徴とする車載画像認識装置。
  上記（１）～（９）によれば、車両に設置されたステレオカメラを利用して、ステレオマッチングを実施し、視差画像から路面の3次元形状を計測する際に、ステレオマッチングのために利用するマッチングウィンドウ内のテクスチャの偏りによって生じる3次元計測距離の誤差が発生することをマッチングウィンドウ内のテクスチャ解析により特定し、その計測点を無効、もしくは誤差のある計測点を補正、もしくは高精度化する。これにより物体の高さ情報など大きさ情報を、物体と背景のテクスチャの偏りによる影響を抑制し、高精度に3次元形状を計測することを可能とする。
１００…ステレオカメラ、２００…視差画像生成部、３００…ウィンドウ内特徴量解析部、３１０…エッジ抽出部、３２０…ウィンドウ設定部、３３０…特徴強度解析部、３４０…特徴偏り解析部、３５０…信頼度計算部、３６０…補正領域抽出部、４００…凹凸補正部、４１０…距離算出部、４２０…視差重心補正部、４３０…局所マッチング部、４４０…無効視差追加部、４５０…路面形状解析部、４６０…立体物検知部、５００…警報制御部、５１０…警報部、５２０…速度制御部、５３０…サスペンション制御部、１１００…ステレオカメラ、１２００…ソフト視差画像生成部、１３００…ウィンドウ内特徴量解析部、１３１０…エッジ抽出部、１３２０…ウィンドウ設定部、１３４０…特徴偏り解析部、１４００…補正部、１４２０…視差重心補正部、１４３０…局所マッチング部、１４４０…無効視差判定部、１５００…視差、距離計測部、１５１０…信頼度計算部、１５２０…視差画像生成部、１５３０…３次元形状計測部、１６００…３次元解析検知部、１６５０…路面形状解析部、１６６０…立体物検知部、１７００…警報制御部

Claims (8)

  1. 　１対の第１画像及び第２画像を撮像する撮像部と、
    　前記第２画像の領域とそれに最も類似する前記第１画像の領域の間の視差に基づいて、前記第２画像の領域の着目画素の奥行きを示す距離を算出する距離算出部と、
    　前記第２画像の領域が、画像特徴の占有率が第１閾値未満である第１領域と前記画像特徴の占有率が第１閾値以上である第２領域に分割できる場合、前記第２画像の領域を前記第１領域と前記第２領域に分割して前記第１領域と前記第２領域ごとに視差を算出する、又は前記第２画像の領域の着目画素の位置を補正する補正部と、
    　を備えることを特徴とする車載環境認識装置。
  2. 　請求項１に記載の車載環境認識装置であって、
    　前記画像特徴は、
    　エッジである
    　ことを特徴とする車載環境認識装置。
  3. 　請求項１に記載の車載環境認識装置であって、
    　前記第２画像の領域が、画像特徴の占有率が第１閾値未満である第１領域と前記画像特徴の占有率が第１閾値以上である第２領域に分割できる場合、
    　前記領域の視差を無効とする無効視差追加部を備える
    　ことを特徴とする車載環境認識装置。
  4. 　請求項１に記載の車載環境認識装置であって、
    　前記第２画像の領域のエッジの量を、前記第２画像の縦方向又は横方向に投影したヒストグラムを用いて、前記第２画像の領域が、前記第１領域と前記第２領域に分割できるか否かを判定する特徴偏り解析部を備える
    　ことを特徴とする車載環境認識装置。
  5. 　請求項４に記載の車載環境認識装置であって、
    　前記特徴偏り解析部は、
    　前記第２画像の領域の前記エッジの強度の絶対値の平均が第２閾値以上であり、且つ前記第２画像の領域の前記エッジの量が第３閾値以上である場合、前記第２画像の領域が、前記第１領域と前記第２領域に分割できるか否かを判定し、
    　前記第２画像の領域の前記エッジの強度の絶対値の平均が第２閾値未満である、又は前記第２画像の領域の前記エッジの量が第３閾値未満である場合、前記第２画像の領域が、前記第１領域と前記第２領域に分割できるか否かを判定しない
    　ことを特徴とする車載環境認識装置。
  6. 　請求項１に記載の車載環境認識装置であって、
    　前記補正部は、
    　前記第２画像の領域のエッジの平均位置を算出し、前記第２画像の領域の前記着目画素の位置を前記平均位置に補正する視差重心補正部を含む
    　ことを特徴とする車載環境認識装置。
  7. 　上記、請求項１に記載のステレオカメラにおいて、
    　マッチングウィンドウ内のテクスチャに偏りがあると判定された場合に、上記マッチングウィンドウを複数個のより小さなマッチングウィンドウに分割して、再度、ステレオマッチングを実施することでより誤差の少ない3次元計測を実施することを特徴とする車載環境認識装置。
  8. 　１対の第１画像及び第２画像を撮像する撮像部と、
    　前記第２画像の領域が、画像特徴の占有率が第１閾値未満である第１領域と前記画像特徴の占有率が第１閾値以上である第２領域に分割できる場合、前記第２画像の領域を前記第１領域と前記第２領域に分割して前記第１領域と前記第２領域ごとに視差を算出する、又は前記第２画像の領域の着目画素の位置を補正し、前記第２画像の領域が、前記第１領域と前記第２領域に分割できない場合、前記第２画像の領域とそれに最も類似する前記第１画像の領域の間の視差に基づいて、距離を算出するプロセッサと、
    　を備える車載環境認識装置。
PCT/JP2018/003738 2017-02-14 2018-02-05 車載環境認識装置 WO2018150921A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP18754956.3A EP3584763A4 (en) 2017-02-14 2018-02-05 VEHICLE MOUNTED ENVIRONMENTAL DETECTING DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-025301 2017-02-14
JP2017025301A JP6846230B2 (ja) 2017-02-14 2017-02-14 車載制御装置及び車載環境認識装置

Publications (1)

Publication Number Publication Date
WO2018150921A1 true WO2018150921A1 (ja) 2018-08-23

Family

ID=63169286

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/003738 WO2018150921A1 (ja) 2017-02-14 2018-02-05 車載環境認識装置

Country Status (3)

Country Link
EP (1) EP3584763A4 (ja)
JP (1) JP6846230B2 (ja)
WO (1) WO2018150921A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117214908A (zh) * 2023-10-10 2023-12-12 深圳市宇讯通光电有限公司 一种基于智能裁缆机械的定位控制方法及系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020040515A (ja) * 2018-09-11 2020-03-19 本田技研工業株式会社 車両走行制御装置
JP2021192174A (ja) * 2020-06-05 2021-12-16 日立Astemo株式会社 演算装置、視差算出方法
CN111681255B (zh) * 2020-08-17 2020-11-13 腾讯科技（深圳）有限公司 一种对象识别方法和相关装置
WO2022190314A1 (ja) * 2021-03-11 2022-09-15 日本電気株式会社 画像解析装置、画像解析方法及びプログラムが格納されたコンピュータ可読媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07167649A (ja) * 1993-12-14 1995-07-04 Mitsubishi Electric Corp 距離測定装置
JP2001351200A (ja) 2000-06-09 2001-12-21 Nissan Motor Co Ltd 車載用物体検知装置
WO2004038660A1 (ja) * 2002-10-22 2004-05-06 Toyota Jidosha Kabushiki Kaisha 画像処理方法および画像処理装置
JP2009237652A (ja) * 2008-03-26 2009-10-15 Fujifilm Corp 画像処理装置および方法並びにプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101579100B1 (ko) * 2014-06-10 2015-12-22 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07167649A (ja) * 1993-12-14 1995-07-04 Mitsubishi Electric Corp 距離測定装置
JP2001351200A (ja) 2000-06-09 2001-12-21 Nissan Motor Co Ltd 車載用物体検知装置
WO2004038660A1 (ja) * 2002-10-22 2004-05-06 Toyota Jidosha Kabushiki Kaisha 画像処理方法および画像処理装置
JP2009237652A (ja) * 2008-03-26 2009-10-15 Fujifilm Corp 画像処理装置および方法並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3584763A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117214908A (zh) * 2023-10-10 2023-12-12 深圳市宇讯通光电有限公司 一种基于智能裁缆机械的定位控制方法及系统
CN117214908B (zh) * 2023-10-10 2024-05-10 深圳市宇讯通光电有限公司 一种基于智能裁缆机械的定位控制方法及系统

Also Published As

Publication number Publication date
EP3584763A1 (en) 2019-12-25
EP3584763A4 (en) 2020-12-16
JP2018132897A (ja) 2018-08-23
JP6846230B2 (ja) 2021-03-24

Similar Documents

Publication Publication Date Title
WO2018150921A1 (ja) 車載環境認識装置
US8204278B2 (en) Image recognition method
US9771080B2 (en) Road surface gradient detection device
US10339396B2 (en) Vehicle accessibility determination device
CN107491065B (zh) 利用障碍物的地面边界信息检测物体的侧面的方法和装置
JP2017162116A (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
JP7050763B2 (ja) カメラ画像からのオブジェクトの検出
JP2012174117A (ja) 移動体検出装置
JP2013140515A (ja) 立体物検出装置及びプログラム
CN108197590B (zh) 一种路面检测方法、装置、终端及存储介质
US11889047B2 (en) Image processing device and image processing method
KR101483742B1 (ko) 지능형 차량의 차선 검출방법
JP6451858B2 (ja) 段差検出装置及び段差検出方法
CN108629225B (zh) 一种基于多幅子图与图像显著性分析的车辆检测方法
US10380743B2 (en) Object identifying apparatus
US10789727B2 (en) Information processing apparatus and non-transitory recording medium storing thereon a computer program
RU2667026C1 (ru) Устройство обнаружения уступов и способ обнаружения уступов
JP2017207881A (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2017033366A (ja) 道路境界検出装置、自己位置推定装置及び道路境界検出方法
CN112513573B (zh) 立体摄像机装置
JP7058128B2 (ja) 情報処理装置およびプログラム
JP5798078B2 (ja) 車両用外界認識装置とそれを用いた車両システム
JP4743277B2 (ja) 画像データ認識方法、画像処理装置および画像データ認識プログラム
JP2018032074A (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18754956

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018754956

Country of ref document: EP

Effective date: 20190916