WO2019092913A1 - 路面領域検出装置 - Google Patents

路面領域検出装置 Download PDF

Info

Publication number
WO2019092913A1
WO2019092913A1 PCT/JP2018/023262 JP2018023262W WO2019092913A1 WO 2019092913 A1 WO2019092913 A1 WO 2019092913A1 JP 2018023262 W JP2018023262 W JP 2018023262W WO 2019092913 A1 WO2019092913 A1 WO 2019092913A1
Authority
WO
WIPO (PCT)
Prior art keywords
road surface
surface area
width direction
vehicle
normalized
Prior art date
Application number
PCT/JP2018/023262
Other languages
English (en)
French (fr)
Inventor
司 齋藤
学 川辺
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to EP18876359.3A priority Critical patent/EP3709265A4/en
Priority to CN201880071686.XA priority patent/CN111316322B/zh
Priority to US16/762,335 priority patent/US11403770B2/en
Publication of WO2019092913A1 publication Critical patent/WO2019092913A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/28—Measuring arrangements characterised by the use of optical techniques for measuring areas
    • G01B11/285—Measuring arrangements characterised by the use of optical techniques for measuring areas using photoelectric detection means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present disclosure relates to a road surface area detection device that detects a road surface area.
  • a road surface detection device for detecting a road surface is mounted (see, for example, Patent Document 1).
  • the road surface detection device detects a road surface by acquiring a V-disparity map based on an image from a binocular camera or the like, extracting line segments from the V-disparity map as a road surface, and estimating the road segment. There is.
  • the road surface detection apparatus described above uses a binocular camera, a stereo camera, a multi-eye camera, and the like, and it is necessary to provide such a device on a vehicle for detecting the road surface.
  • the present disclosure has been made in view of the above-described circumstances, and an object of the present disclosure is to provide a road surface area detection device capable of detecting a road surface area with a simple configuration.
  • a road surface area detection device includes a normalized speed calculation unit for obtaining a normalized speed based on movement of feature points in an image acquired by a camera mounted on a traveling vehicle.
  • a road surface indicated by the magnitude of the normalized velocity based on the normalized velocity of at least two feature points at different positions in the width direction in a predetermined central region centering on the vehicle in the width direction of the vehicle A determination range calculation unit for determining a determination range; and a road surface area identification unit for specifying the width direction in which the feature point at which the normalized speed is located within the road surface determination range is the road surface area where the vehicle travels; , And.
  • the road surface area detecting device of the present disclosure configured as described above can detect the road surface area with a simple configuration.
  • FIG. 1 is a block diagram showing a configuration of a road surface area detection device according to a first embodiment as an example of a road surface area detection device according to the present disclosure. It is explanatory drawing explaining a mode that the feature point extracted in the image which the camera acquired is tracked. It is explanatory drawing which shows an example of the acquired feature point series. It is explanatory drawing which shows the other example of the acquired feature point series. It is a distribution graph which shows distribution of a representative point, the horizontal axis is shown by the distance of the width direction centering on a vehicle, and the vertical axis
  • a road surface area detection apparatus 10 according to a first embodiment of the present disclosure will be described using FIGS. 1 to 9.
  • the road surface area detection device 10 continuously forms a flat area Ar (see FIG. 7 etc.) without changing the road surface and height position.
  • the traveling direction Dm the direction in which the vehicle 1 travels
  • the width direction Dw the direction orthogonal to the traveling direction Dm
  • the road surface area detecting device 10 includes an arithmetic processing unit 11 and a storage device 12 as shown in FIG.
  • a camera 13, a vehicle speed sensor 14, a steering angle sensor 15, and an image display device 16 are connected to the arithmetic processing unit 11 via an in-vehicle network such as a CAN (Controller Area Network) as a communication protocol.
  • CAN Controller Area Network
  • the camera 13 is capable of acquiring an image of a predetermined range in the width direction Dw centered on the vehicle 1.
  • the camera 13 is a camera provided with a single wide-angle fisheye lens provided at the front of the vehicle A forward image of 1 can be acquired in a large range in the width direction Dw.
  • the camera 13 is provided at the front of the vehicle 1 among the cameras provided on the front, rear, left, and right of the vehicle 1 to obtain an image of the entire periphery of the vehicle 1 and form an overhead image. Is used.
  • the camera 13 outputs the acquired image (image data) to the arithmetic processing unit 11.
  • the camera 13 may be provided, for example, at the rear of the vehicle 1 to obtain an image of the rear of the vehicle 1 as long as the camera 13 can acquire an image in a predetermined range in the width direction Dw centered on the vehicle 1.
  • a plurality of cameras may be used, and other configurations may be used, and the configuration is not limited to the configuration of the first embodiment.
  • the vehicle speed sensor 14 detects the vehicle speed of the vehicle 1, and outputs the detected vehicle speed (vehicle speed data) to the arithmetic processing unit 11.
  • the steering angle sensor 15 detects the steering angle of the vehicle 1, and outputs the detected steering angle (steering angle data) to the arithmetic processing unit 11.
  • the image display device 16 displays an image etc. from the camera 13 processed by the arithmetic processing unit 11, and is a bird's-eye view image (see FIG. 3 etc.) formed by the arithmetic processing unit 11 (image conversion unit 23 described later). Can be displayed.
  • the storage device 12 is, for example, a program for specifying the road surface area Ar, a program for forming a bird's-eye view image, and information required for rewriting among information required for the programs in advance. Stored in The storage device 12 can appropriately read the stored information by the processing unit 11.
  • the arithmetic processing unit 11 appropriately receives information from the camera 13, the vehicle speed sensor 14 and the steering angle sensor 15, and specifies a road surface area specifying processing for specifying a road surface area Ar, an overhead image forming processing for forming an overhead image, Calibration processing and the like are comprehensively performed by a program stored in the storage device 12.
  • the arithmetic processing unit 11 causes the video display device 16 to appropriately display the identified road surface area Ar, the formed overhead image, and the like.
  • the arithmetic processing unit 11 includes a feature point acquisition unit 21, a behavior determination unit 22, an image conversion unit 23, a column length calculation unit 24, a normalized speed calculation unit 25, a representative point calculation unit 26, an approximate straight line calculation unit 27, and a determination range calculation. It has a unit 28, a road surface area specifying unit 29, and a storage unit 31. These units except the storage unit 31 are configured by programs. Note that each of these units may be configured exclusively by an electronic circuit, and is not limited to the configuration of the first embodiment.
  • the storage unit 31 appropriately writes numerical data required in the arithmetic processing process in each unit of the arithmetic processing unit 11, variables of the program for the processing result in the middle of the arithmetic processing, etc. .
  • the storage unit 31 may store a program for each process performed by the arithmetic processing unit 11.
  • the feature point acquisition unit 21 extracts a feature point P (see FIG. 2 and the like) of the image.
  • This feature point P is a coordinate point corresponding to the position of a specific feature, and a portion with high edge strength in an image (the Nth frame), such as a white line provided on a road or a corner of a road sign It is a specific feature.
  • the feature point acquisition unit 21 detects the corner of the white line in the Nth frame acquired by the camera 13 as a feature point P, as shown in the upper side of FIG.
  • Such extraction of feature points P can be performed using a known feature point extraction technique such as, for example, a method using a Harris operator.
  • the feature point acquisition unit 21 detects tracking of the extracted feature point P, that is, in which position the feature point P extracted in the Nth frame is present in the next frame (the (N + 1) th frame). For example, as shown in the lower side of FIG. 2, the feature point acquisition unit 21 detects at which position the feature point P extracted in the Nth frame acquired by the camera 13 is present in the (N + 1) th frame.
  • Such tracking of the feature point P can be performed using a known feature point tracking technique such as LK (Lucas-Kanade) method.
  • the feature point acquisition unit 21 tracks the feature point P as much as possible not only between two consecutive frames as in the example shown in FIG.
  • the feature point acquisition unit 21 also calculates the coordinate position of the extracted feature point P in the Nth frame, and the coordinate position of the feature point P as the tracking result in the N + 1th frame (also in the case of multiple tracking results N + 2 and later). And are stored in the storage unit 31 as a feature point sequence Ps.
  • the behavior judging unit 22 is suitable for identifying the road surface area Ar based on the behavior of the vehicle 1 It is determined whether or not the The behavior determination unit 22 determines that the vehicle 1 is in a state suitable for specifying the road surface area Ar when the fluctuation of the vehicle speed is within the predetermined range and the steering angle is within the predetermined range. This is due to the following. When the fluctuation of the vehicle speed is large, the attitude of the vehicle 1 is changed, so that the accuracy of the extraction result and the tracking result of the feature point P by the feature point acquiring unit 21 may be deteriorated.
  • the image conversion unit 23 converts the image into a viewpoint, and generates a bird's-eye view image (see FIG. 3 etc.) Yes ( ⁇ image formation process).
  • the image conversion unit 23 receives, from the storage device 12, design values (external parameters) of the installation position and angle (pitch angle, yaw angle, roll angle, camera height) of the camera 13, focal length of the camera 13, pixel size, Camera parameters such as center of optical axis, distortion function etc. (internal parameters) are acquired.
  • the image conversion unit 23 performs distortion correction processing to correct distortion of the image due to the lens using the acquired distortion function.
  • the image conversion unit 23 uses the well-known geometric conversion equation of the camera, and the output values (luminance values of each color) of the pixels at all coordinate positions in the overhead image represented by world coordinates are corrected for the corresponding pixels of the image. It is generated based on the output value (the luminance value of each color). At this time, when there is no pixel of the image subjected to distortion correction corresponding to a specific pixel of the overhead image, the image conversion unit 23 performs interpolation processing of known luminance based on each luminance value of the peripheral pixels. Find the output value.
  • the image conversion unit 23 combines adjacent photographed images of four cameras including front and rear and left and right including the camera 13 into a single image while eliminating the sense of incongruity between the luminances of corresponding coordinate values by linear interpolation or the like. Thus, a surrounding bird's eye image of the vehicle 1 is generated. Note that the image conversion unit 23 may simultaneously perform each of these processes as long as it generates a bird's-eye view image (the image data thereof), and may perform processing of other contents, and is not limited to the first embodiment.
  • the image conversion unit 23 converts the feature point series Ps (the extraction result and the tracking result of the feature point P) detected by the feature point acquisition unit 21 and stored in the storage unit 31 into world coordinates, Store in That is, the image conversion unit 23 extracts the feature point series Ps extracted at the coordinate position in the image from the camera 13 (the coordinate position (see FIG. 2) indicating the locus of the feature point P) Convert to The transformation of the coordinate position of the extraction result of the feature point P and the tracking result may be performed by the feature point acquisition unit 21 or may be performed by the column length calculation unit 24.
  • the column length calculation unit 24 calculates the length of the feature point series Ps, which is a straight line formed by displacement of the same feature point P, that is, the movement amount of the feature point P as the feature point series length Pl.
  • the column length calculation unit 24 calculates the feature point series length Pl based on the extraction result of the same feature point P converted into world coordinates and the tracking result, that is, the change in the coordinate position. For example, taking feature point P extracted in FIG. 2 as an example, feature point P1 is detected as shown on the left of FIG. 3 in the overhead image of the Nth frame, and is shown on the right in FIG. As described above, since the feature point P1 is displaced, the length dimension of a straight line connecting both coordinate positions is the feature point sequence length Pl1.
  • the feature point series length Pl1 is equal to the distance by which the feature point P is actually displaced since the length dimension in the overhead image is the length dimension on world coordinates.
  • the feature point sequence length Pl is different from the example described above.
  • An example of this difference is shown in FIG. Assuming that the feature point P2 detected in the overhead image of the Mth frame on the left side of FIG. 4 is displaced as shown on the right side of FIG. 4 in the overhead image of the (M + 1) th frame, the length of the straight line connecting both coordinate positions The feature point series length Pl2 is calculated as the height dimension. Although this characteristic point P2 is different on the left and right, since the white line of the road surface on which the vehicle 1 travels is detected similarly to the characteristic point P1 shown in FIG. 3, the speed of the vehicle 1 is different from the scene shown in FIG. It is assumed.
  • the column length calculation unit 24 collects (accumulates) the feature point sequence lengths P1 calculated for each of the width direction segments dv to which the feature points P belong (see FIG. 5).
  • a detection area Ad for detecting whether the road surface area detection device 10 is the road surface area Ar is set by dividing the detection area Ad in the width direction Dw for each predetermined size. As shown in FIG. 5, the detection area Ad is divided into 1 m in the width direction Dw, and 24 detection areas are set around the vehicle 1.
  • the number 1 to 24 are shown as n in the nth widthwise section dv sequentially from the left side of FIG.
  • the twelfth widthwise section dv and the thirteenth widthwise section dv are positions where the vehicle 1 travels.
  • a plurality of width direction sections dv centered on the twelfth width direction section dv and the thirteenth width direction section dv in which the vehicle 1 is located are set as the central area portion cp.
  • the central region portion cp is set in a range where it is expected that many feature points P (specific features) can be detected.
  • the tenth width direction section dv to the fifteenth width direction section dv that is, in the range of 6 m centered on the vehicle 1 is set.
  • the size of each widthwise section dv and the range of the central region portion cp may be set as appropriate, and the present invention is not limited to the configuration of the first embodiment.
  • the column length calculation unit 24 stores the calculated plurality of feature point sequence lengths Pl in the storage unit 31 in association with the width direction segments dv in which the feature points P targeted respectively are located.
  • the widthwise section dv where the feature point P is located can be determined from the coordinate position in the width direction Dw because the extraction result and the tracking result are converted into coordinate positions in the overhead image by the image conversion unit 23.
  • the normalized speed calculation unit 25 calculates a normalized speed nv obtained by normalizing the moving speed at each feature point P.
  • the normalized speed calculation unit 25 divides the feature point sequence length Pl calculated by the column length calculation unit 24 by the distance traveled by the vehicle 1 while becoming the feature point sequence length Pl.
  • the normalized velocity nv is represented by the ratio of the feature point sequence length Pl (the moving distance (velocity) of the feature point P) to the moving distance (velocity) of the vehicle 1, and the comparison of the difference of the moving amount of the feature point P That is, the comparison of the height position with respect to the road surface of feature point P is enabled. This is because, even if the moving amount of the vehicle 1 is the same, in the same image, the moving amount of the feature point P is different between the case where the height position is equal to the road surface and the case where it is different.
  • the distance traveled by the vehicle 1 is calculated using the time when the camera 13 acquires images of a plurality of continuous frames used for calculating the feature point sequence length Pl and the speed from the vehicle speed sensor 14 during that time. .
  • the distance traveled by the vehicle 1 may be calculated using information from a wheel speed sensor provided in the vehicle 1 or may be another method, and is not limited to the method of the first embodiment.
  • the amount of movement of the feature point P is equal to the amount of movement of the vehicle 1 when located at the same height as the road surface on which the vehicle 1 is traveling, and the vehicle 1 is more as the difference with the height of the road surface increases.
  • the difference with the movement amount of Therefore, the normalized speed nv is theoretically 1 when the target feature point P is located at the same height as the road surface.
  • the normalized speed calculation unit 25 stores each calculated normalized speed nv in the storage unit 31 in association with the width direction segment dv in which each of the target feature points P is located.
  • the representative point calculation unit 26 calculates a representative point Rv which is an average of a plurality of normalized speeds nv belonging to each of the width direction segments dv.
  • the representative point calculation unit 26 calculates representative points Rv as follows, rather than simply averaging. First, the representative point calculation unit 26 calculates an average av1 and a standard deviation ⁇ 1 of all the normalized velocities nv in the target width direction segment dv.
  • the representative point calculation unit 26 adds a value obtained by adding or subtracting a value obtained by triple the standard deviation ⁇ 1 to the average av1 out of all the normalized speeds nv in the target width direction division dv (av1 ⁇ 3 ⁇ 1)
  • the normalized velocity nv (hereinafter referred to as the normalized velocity nv ⁇ for the purpose of distinction) is extracted.
  • the representative point calculation unit 26 calculates an average av2 of all the normalized speeds nv ⁇ , and sets this average av2 as a representative point Rv in the width direction segment dv targeted.
  • the representative point calculation unit 26 of the first embodiment is obtained after excluding the ones that are considered to be largely different numerical values from all the normalized speeds nv calculated in the target width direction segment dv. Since the average is taken as the representative point Rv, the representative point Rv can be obtained excluding the occurrence of a large error when extracting or tracking the feature point P, detecting the movement amount of the vehicle 1, etc. be able to.
  • the representative point calculation unit 26 sets the normalized speed nv as a representative point Rv.
  • the representative point calculation unit 26 stores the calculated representative points Rv in the storage unit 31 in association with the width direction segments dv targeted respectively.
  • the approximate straight line calculation unit 27 connects representative points Rv of the widthwise sections dv (the tenth width direction section dv to the fifteenth width section dv in the first embodiment) to be the central region portion cp.
  • An approximate straight line is calculated to be a road surface determination reference line Sb.
  • the approximate line calculation unit 27 sets a straight line connecting the two representative points Rv.
  • the road surface determination reference line Sb is used.
  • the approximate straight line calculation unit 27 stores the calculated road surface determination reference line Sb in the storage unit 31.
  • the judgment range calculation unit 28 indicates a road surface judgment range E indicated by the magnitude of the normalized speed nv (indicated by adding dots in FIG. 6). Find the place).
  • the determination range calculation unit 28 calculates the road surface determination upper limit line Su parallelly moved by ⁇ nv with respect to the road surface determination reference line Sb calculated by the approximate straight line calculation unit 27.
  • the road surface determination lower limit line S1 which has been moved in parallel by -.DELTA.
  • the ⁇ nv may be set as appropriate, and in the first embodiment, it is set based on a verification experiment.
  • the user of the road surface area detection apparatus 10 may set ⁇ nv.
  • the determination range calculation unit 28 stores the range sandwiched between the road surface determination upper limit line Su and the road surface determination lower limit line Sl in the storage unit 31 as the road surface determination range E.
  • the road surface area specifying unit 29 determines whether or not the representative points Rv are present in the road surface determination range E calculated by the determination range calculation unit 28, so that each width direction division dv is a road surface area Ar (see FIG. 7 and the like). It is determined whether or not
  • the road surface area specifying unit 29 basically includes, among the representative points Rv of all the width direction sections dv including the central area portion cp, the width direction section dv having the representative point Rv existing in the road surface determination range E It specifies as a region Ar. Specifically, in the case of the example shown in FIG. 7, in the case of the example shown in FIG.
  • the road surface area specifying unit 29 has the representative point Rv of the sixth widthwise section dv at the farthest position (outside position) on the left side of the vehicle 1. Assuming that the representative point Rv of the eighteenth widthwise section dv, which is within the determination range E and is the farthest position (outside position) on the right side of the vehicle 1, is within the road surface determination range E, the sixth width A road surface area Ar is specified between the direction section dv and the eighteenth width direction section dv.
  • the road surface area specifying unit 29 determines whether or not the representative point Rv is present in the road surface determination range E according to the twelfth widthwise division dv and the thirteenth widthwise division dv in which the vehicle 1 is located. In the width direction section dv adjacent to both outer sides of, respectively, it changes in order towards each outer side. That is, the road surface area specifying unit 29 first determines the eleventh width direction section dv and the fourteenth width direction section dv as a determination target, and then determines the tenth width direction section dv and the fifteenth width direction section dv as a determination target. repeat.
  • the road surface region identification unit 29 identifies the width direction segment dv adjacent to the inside as the road surface region Ar. Specifically, in the case of the example shown in FIG.
  • the road surface area specifying unit 29 specifies the area between the tenth widthwise section dv and the fourteenth widthwise section dv as the road area Ar.
  • the road surface area specifying unit 29 selects the characteristic point P located closest to the vehicle 1 in the width direction Dw among the characteristic points P in which the representative point Rv (normalized speed nv) is outside the road surface determination range E.
  • the road surface area Ar is specified up to the widthwise section dv at which the feature point P located on the vehicle 1 side is located.
  • the twelfth widthwise section dv and the thirteenth widthwise section dv are the road surface on which the vehicle 1 is currently traveling, respective representative points Rv exist in the road surface judgment range E and the road surface area Ar Therefore, there is no problem even if it is not determined whether the representative point Rv is within the road surface determination range E.
  • FIG. 9 is a flowchart showing a road surface area specifying process (a road surface area specifying method) executed by the arithmetic processing unit 11 in the first embodiment.
  • the road surface area identification process is executed by the arithmetic processing unit 11 based on the program stored in the storage unit 12. Below, each step (each process) of the flowchart of FIG. 9 is demonstrated.
  • the flowchart of FIG. 9 is started by the road surface area detection device 10 being in a state of executing the road surface area identification process.
  • the road surface area detection device 10 may be always in the state of executing the road surface area identification process, or may be switched on / off by the operation on the operation unit. In the first embodiment, when the vehicle 1 is activated, the road surface area identification process is performed, and the flowchart of FIG. 9 is started.
  • Step S1 starts acquisition of an image (image data) from the camera 13, and the process proceeds to step S2.
  • step S2 the vehicle speed (vehicle speed data) and the steering angle (steering angle data) are acquired from the vehicle speed sensor 14 and the steering angle sensor 15, and the process proceeds to step S3. Since step S2 is acquired to determine the presence or absence of the change in the vehicle speed and the steering angle as described later, the vehicle speed and the steering angle are acquired in a predetermined time.
  • Step S3 judges whether the behavior of the vehicle 1 is in a state suitable for specifying the road surface area Ar, and in the case of YES (suitable state), the process proceeds to step S4, and NO (not suitable) In the case, the process returns to step S2.
  • the behavior determination unit 22 determines whether the behavior of the vehicle 1 is suitable for specifying the road surface area Ar based on the vehicle speed and the steering angle acquired in step S2.
  • Step S4 starts counting of the acquisition time, and the process proceeds to step S5.
  • Step S4 starts counting of an acquisition time for performing extraction of feature points P and tracking thereof in steps S5 and S6 described later.
  • step S5 extracts the feature point P, and the process proceeds to the step S6.
  • the feature point acquisition unit 21 extracts (single or multiple) feature points P in the Nth frame of the image from the camera 13, and obtains the coordinate position of the feature points P.
  • step S6 tracks the feature point P, and the process proceeds to the step S7.
  • the feature point acquisition unit 21 detects at which position in the (N + 1) th frame the feature point P extracted in the Nth frame in step S5 is detected to obtain its coordinate position, and so on The feature point P is tracked (coordinate position is determined).
  • step S7 it is determined whether the acquisition time has reached a predetermined time. If YES (suitable state), the process proceeds to step S8, and if NO (not suitable state), the process returns to step S5.
  • the predetermined time is set from the viewpoint of enabling acquisition of the number of feature point series Ps necessary for specifying the road surface area Ar. Thereby, when it progresses to step S8, several feature point series Ps has been acquired. From this, in step S4 and step S7, determination may be made based on the number of frames in which extraction and tracking of feature points P have been performed, or determination may be made based on the cumulative number of feature point series Ps. It is not limited.
  • a step S8 calculates each representative point Rv in the central region portion cp, and proceeds to a step S9.
  • the column length calculation unit 24 calculates the feature point sequence length Pl in each width direction section dv (in the first embodiment, the tenth width direction section dv to the fifteenth width direction section dv in the first embodiment)
  • the normalized speed calculation unit 25 calculates the normalized speed nv using this, and the representative point calculation unit 26 calculates the representative point Rv using it.
  • step S9 it is determined whether or not there are two or more representative points Rv calculated in step S8. If YES, the process proceeds to step S10, and if NO, the process returns to step S2. In step S9, it is determined whether or not there are two or more calculated representative points Rv, that is, whether or not representative points Rv of two or more widthwise sections dv in the central region portion cp have been calculated. In step S9, the road surface determination reference line Sb is set so as to enable calculation of the road surface determination reference line Sb.
  • step S2 the condition of the road surface on which the vehicle 1 is traveling and the surrounding area may change, the feature point series Ps and the representative points Rv acquired earlier are If each feature point series Ps and each representative point Rv acquired after this are matched, there is a possibility that it becomes inaccurate.
  • the step S10 calculates the road surface determination range E based on each representative point Rv of the central region portion cp, and the process proceeds to the step S11.
  • the approximate straight line calculation unit 27 calculates the road surface determination reference line Sb based on the representative point Rv calculated in step S8, and the determination range calculation unit 28 uses the road surface determination upper limit line Su and the road surface determination lower limit line
  • the road surface determination range E is calculated by obtaining Sl.
  • Step S11 calculates each other representative point Rv in the detection area Ad, and proceeds to step S12.
  • step S11 in the detection area Ad, each widthwise section dv other than the central area portion cp for which each representative point Rv is calculated in step S8 (in the first embodiment, the first width section dv to the ninth width section dv and the Respective representative points Rv of the sixteenth widthwise section dv to the twenty-fourth widthwise section dv) are calculated in the same manner as step S8.
  • the representative points Rv may not be divided into steps S8 and S11, but the representative points Rv of all the width direction segments dv may be simultaneously calculated in step S8.
  • Step S12 determines whether or not each representative point Rv of each widthwise section dv is within the road surface determination range E, and proceeds to step S13.
  • the road surface area specifying unit 29 determines whether or not each representative point Rv of each width direction segment dv calculated in step S8 or step S11 is within the road surface determination range E calculated in step S10. Do.
  • step S13 the road surface area Ar is specified based on the determination in step S12, and the road surface area specifying process is ended.
  • Step S13 finds a width direction segment dv at which the representative point Rv does not exist in the road surface judgment range E closest to the left and right of the vehicle 1, that is, the twelfth width direction segment dv and the 13th width direction segment dv.
  • the road surface area Ar is specified up to the width direction division dv of
  • the road surface area detecting device 10 can specify a flat area continuous at the same height position as the road surface on which the vehicle 1 is traveling as the road surface area Ar.
  • the road surface area detection apparatus 10 differs from the case where the movement amount of the feature point P in the same image acquired by the camera 13 with respect to the movement amount of the vehicle 1 is at the same height position as the road by using the normalized speed nv.
  • the road surface area Ar is specified by judging whether the height position is equal to the road surface by using the change in the case. For this reason, the road surface area detection apparatus 10 can specify the road surface area Ar using a single camera 13 without using a binocular camera, a stereo camera, a multi-eye camera or the like.
  • the road surface area detection device 10 can specify the road surface area Ar if extraction and tracking of the feature points P is possible, so the road surface area Ar can be specified corresponding to various road surfaces, and the height is not limited to the road surface.
  • a road surface area Ar can be specified up to a flat area continuous at the vertical position. This is a conventional technique for specifying a road surface to determine whether or not it is a road surface by detecting a difference in color, but it is appropriate when a plurality of different colors are used on the road surface It is because there is a possibility that it can be identified. Moreover, in this prior art, even in the case of a flat area continuous at the same height position as the road surface, only the road surface is detected.
  • the road surface area detection device 10 can specify the road surface area Ar while traveling, and thus can be used, for example, for calibration for appropriately forming an overhead view image of the camera 13. This is because in order to accurately calibrate the camera 13, it may be necessary to use feature points on a flat surface that is positioned at the same height as the road surface. In particular, since the road surface area detecting device 10 specifies up to a flat area continuous at the same height position as the road surface as the road surface area Ar, calibration can be performed using not only the road surface but also a wider road surface area Ar. Therefore, it is possible to do more accurately.
  • the road surface area detection device 10 can cause the occupant to recognize the road surface area Ar by causing the video display device 16 to display the detected road surface area Ar superimposed on the overhead image.
  • the road surface area detecting device 10 according to an embodiment of the road surface area detecting device according to the present disclosure can obtain the following effects.
  • the road surface area detecting device 10 has the normalized speed nv obtained based on the movement of the feature point P in the image acquired by the camera 13 within the road surface determination range E obtained based on the normalized speed nv of the central area portion cp.
  • the road surface area detecting device 10 is a road surface area Ar utilizing the fact that the movement amount of the feature point P changes depending on whether it is the same image or a height position equal to the road surface.
  • the road surface area Ar can be identified using a single camera 13.
  • the road surface area detection device 10 obtains the road surface determination range E based on the normalized speed nv of the central area portion cp where there is a high possibility that white lines and road signs on the road to be extracted as feature points P are present. Therefore, the appropriate road surface determination range E can be appropriately calculated with a high probability, and the road surface area Ar can be appropriately specified.
  • the central region portion cp includes the road surface on which the vehicle 1 is traveling, and therefore, it is possible to appropriately identify the location at the same height position as the road surface.
  • the road surface area detection device 10 detects the road surface area on the vehicle 1 side of the feature point P located closest to the vehicle 1 in the width direction Dw among the feature points P whose normalized speed nv is out of the road surface determination range E. Identify as Ar. For this reason, the road surface area detection apparatus 10 can specify, as the road surface area Ar, a continuous flat area at the same height position as the road surface.
  • the road surface area detection apparatus 10 has at least two feature points P having different positions in the width direction Dw in a distribution graph in which the horizontal axis is indicated by the distance in the width direction Dw and the vertical axis is indicated by the magnitude of the normalized speed nv.
  • the approximate straight line connecting the normalized speeds nv is the road surface determination reference line Sb, and the road surface determination range E is set as a range sandwiched between the road surface determination upper limit line Su and the road surface determination lower limit line Sl obtained based on that. For this reason, the road surface area detection device 10 can appropriately detect a portion at the same height position as the road surface with a simple configuration.
  • the road surface area detection device 10 distributes the average of the respective normalized speeds nv as a representative point Rv of the normalized speed nv at the positions in the width direction Dw.
  • the road surface determination reference line Sb is determined by determining the approximate straight line described above. For this reason, the road surface area detection apparatus 10 can specify the road surface area Ar by reducing the influence of an error caused by the extraction of the feature point P or the like.
  • the road surface area detecting device 10 calculates the normalized speed nv for each of a plurality of width direction segments dv set by dividing the detection area Ad to be a detection target of the road surface area Ar in the width direction Dw into predetermined sizes.
  • the road surface area Ar is specified in units of direction division dv. For this reason, the road surface area detecting device 10 can obtain the representative point Rv as the normalized speed nv for each width direction division dv. Ar can be identified.
  • the road surface area detection device 10 uses the approximate straight line connecting the normalized speeds nv of at least two feature points P having different width direction divisions dv within a predetermined central area portion cp centered on the vehicle 1 in the detection area Ad as a road surface judgment criterion
  • a range between the road surface determination upper limit line Su and the road surface determination lower limit line Sl determined based on the line Sb is set as the road surface determination range E.
  • the road surface area detection apparatus 10 can specify the road surface area Ar by reducing the influence of the error caused by the extraction of the feature point P or the like with a simple configuration.
  • the road surface area detection device 10 calculates the normalized speed nv by dividing the movement amount of the feature point P by the movement amount of the vehicle 1 during that time. For this reason, the road surface area detection device 10 can make it possible to compare the difference in the movement amounts of the feature points P with a simple configuration, and can be used for specifying the road surface area Ar.
  • the road surface area detecting apparatus 10 according to the first embodiment as the road surface area detecting apparatus according to the present disclosure can detect the road surface area Ar with a simple configuration that does not use a binocular camera, a stereo camera, a multiview camera, or the like. it can.
  • Example 1 As mentioned above, although the road surface area detection device of this indication was explained based on Example 1, it is not restricted about Example 1 about a concrete composition, and deviates from the gist of the invention concerning each claim of a claim. Unless otherwise noted, design changes or additions are permitted.
  • the normalized speed nv and the representative point Rv are determined for each width direction section dv obtained by dividing the detection area Ad into predetermined sizes in the width direction Dw, and the road surface area Ar is determined in width direction section dv. I have identified.
  • the road surface area Ar may be specified using the normalized speed nv and the representative point Rv without setting the width direction division dv, and the invention is not limited to the configuration of the first embodiment.
  • a normalized velocity nv ⁇ is obtained by excluding numerical values that greatly differ from the average av1 and the standard deviation ⁇ 1 of the respective normalized velocities nv
  • the average av2 of the normalized velocity nv ⁇ is set as the representative point Rv of the position in the width direction Dw.
  • the average av1 of the normalized velocities nv may be used as the representative point Rv at the position in the width direction Dw, or the average may be obtained by another method to be used as the representative point Rv.
  • the behavior determination unit 22 determines from the vehicle speed and the steering angle whether or not it is in a state suitable for specifying the road surface area Ar, but the slope of the road on which the vehicle 1 is traveling Whether or not there is a change in H may also be used to determine a state suitable for identification. This is because, for example, the way in which the road surface is reflected changes depending on whether the road surface in the image acquired by the camera 13 is inclined or not with respect to the road surface on which the vehicle 1 travels. When it changes with, tracking of the feature point P in the image which the camera 13 acquired becomes difficult.
  • the characteristic point P can be tracked more appropriately, and the road surface area Ar is made more appropriate, by using for determination of a state suitable for identification whether the change in the road surface inclination is within the predetermined range. Can be identified.
  • the inclination of the road surface is taken into consideration when the feature point acquiring unit 21 tracks the feature point P using an inclination sensor that acquires a change in the inclination of the road surface. It may be possible to track feature point P more appropriately.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

簡易な構成で路面領域を検出することのできる路面領域検出装置を提供する。 路面領域検出装置（１０）は、走行する車両（１）に搭載されたカメラ（１３）が取得した画像における特徴点(Ｐ)の移動に基づいて正規化速度(ｎｖ)を求める正規化速度算出部（２５）と、車両（１）の進行方向(Ｄｍ)と直交する幅方向(Ｄｗ)における車両（１）を中心とする中央領域部(ｃｐ)において、幅方向(Ｄｗ)の位置が異なる少なくとも２つの特徴点(Ｐ)の正規化速度(ｎｖ)に基づいて正規化速度(ｎｖ)の大きさで示す路面判定範囲Ｅを求める判定範囲算出部（２８）と、路面判定範囲(Ｅ)内に正規化速度(ｎｖ)が存在する特徴点(Ｐ)が位置する幅方向(Ｄｗ)までを車両（１）が走行する路面領域(Ａｒ)であると特定する路面領域特定部（２９）と、を備える。

Description

路面領域検出装置
　本開示は、路面領域を検出する路面領域検出装置に関する。
　車両では、路面を検出する路面検出装置を搭載することが考えられている（例えば、特許文献１参照）。この路面検出装置は、双眼カメラ等からの画像等に基づいてＶ視差図を取得し、そのＶ視差図から線分を路面として抽出して路面線分を推定することにより、路面を検出している。
特開２０１４－１１００５９号公報
　しかしながら、上記した路面検出装置は、双眼カメラやステレオカメラや多眼カメラ等を用いるものであり、そのような装備を路面の検知のために車両に設ける必要がある。
　本開示は、上記の事情に鑑みて為されたもので、簡易な構成で路面領域を検出することのできる路面領域検出装置を提供することを目的とする。
　上記した目的を達成するために、本開示の路面領域検出装置は、走行する車両に搭載されたカメラが取得した画像における特徴点の移動に基づいて正規化速度を求める正規化速度算出部と、前記車両の幅方向における前記車両を中心とする所定の中央領域部において、前記幅方向の位置が異なる少なくとも２つの前記特徴点の前記正規化速度に基づいて前記正規化速度の大きさで示す路面判定範囲を求める判定範囲算出部と、前記路面判定範囲内に前記正規化速度が存在する前記特徴点が位置する前記幅方向を前記車両が走行する路面領域であると特定する路面領域特定部と、を備えることを特徴とする。
　このように構成された本開示の路面領域検出装置は、簡易な構成で路面領域を検出することができる。
本開示に係る路面領域検出装置の一例としての実施例１の路面領域検出装置の構成を示すブロック図である。 カメラが取得した画像で抽出した特徴点を追跡する様子を説明する説明図である。 取得した特徴点系列の一例を示す説明図である。 取得した特徴点系列の他の例を示す説明図である。 代表点の分布を示す分布グラフであり、横軸を車両を中心とする幅方向の距離で示し、縦軸を正規化速度の大きさで示している。 図５と同様のグラフ上で、算出した路面判定基準線と路面判定上限線と路面判定下限線とを示す説明図である。 路面領域を検出する様子の一例を説明する説明図である。 路面領域を検出する様子の他の例を説明する説明図である。 演算処理装置が実行する路面領域特定処理の一例を示すフローチャートである。
　以下に、本開示に係る路面領域検出装置の一例としての実施例１の路面領域検出装置１０について図面を参照しつつ説明する。
　本開示の実施例１の路面領域検出装置１０について、図１から図９を用いて説明する。
  路面領域検出装置１０は、車両１（図３等参照）が走行している路面に加えて、その路面と高さ位置を変化させることなく連続する平坦な領域を路面領域Ａｒ（図７等参照）として検出するものである。以下では、車両１が進行する方向を進行方向Ｄｍとし、進行方向Ｄｍに直交する方向を幅方向Ｄｗとする（図３等参照）。
　路面領域検出装置１０は、図１に示すように、演算処理装置１１と記憶装置１２とを備える。演算処理装置１１には、カメラ１３と車速センサ１４と舵角センサ１５と映像表示装置１６とが、通信プロトコルとしてのＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等の車載ネットワークを介して接続されている。
　カメラ１３は、車両１を中心として幅方向Ｄｗで所定の範囲の画像を取得できるもので、実施例１では車両１の前部に設けられた単一の広角な魚眼レンズを備えたカメラであり車両１の前方の画像を幅方向Ｄｗの大きな範囲で取得できる。カメラ１３は、実施例１では、車両１の全周囲の画像を取得して俯瞰画像を形成するために車両１の前後左右に設けられたカメラのうちの車両１の前部に設けられたものを用いている。カメラ１３は、取得した画像（画像データ）を演算処理装置１１に出力する。なお、カメラ１３は、車両１を中心として幅方向Ｄｗで所定の範囲の画像を取得できるものであれば、例えば車両１の後部に設けられて車両１の後方の画像を取得するものでもよく、複数のカメラを用いるものでもよく、他の構成でもよく、実施例１の構成に限定されない。
　車速センサ１４は、車両１の車速を検出するもので、検出した車速（車速データ）を演算処理装置１１に出力する。舵角センサ１５は、車両１の舵角を検出するもので、検出した舵角（舵角データ）を演算処理装置１１に出力する。映像表示装置１６は、演算処理装置１１で処理されたカメラ１３からの画像等を表示するもので、演算処理装置１１（その後述する画像変換部２３）により形成された俯瞰画像（図３等参照）を表示可能である。
　記憶装置１２は、例えば、路面領域Ａｒを特定するためのプログラムや、俯瞰画像を形成するためのプログラムや、それらのプログラムで必要となる情報のうちで書き換えをせずに利用される情報が事前に格納される。記憶装置１２は、格納する情報が演算処理装置１１により適宜読み出すことが可能とされている。
　演算処理装置１１は、カメラ１３や車速センサ１４や舵角センサ１５からの情報を適宜受け取り、路面領域Ａｒを特定する路面領域特定処理や、俯瞰画像を形成する俯瞰画像形成処理や、カメラ１３のキャリブレーション処理等を、記憶装置１２に記憶されたプログラムにより統括的に行う。演算処理装置１１は、特定した路面領域Ａｒや形成した俯瞰画像等を映像表示装置１６に適宜表示させる。
　演算処理装置１１は、特徴点取得部２１と挙動判断部２２と画像変換部２３と列長算出部２４と正規化速度算出部２５と代表点算出部２６と近似直線算出部２７と判定範囲算出部２８と路面領域特定部２９と記憶部３１とを有する。記憶部３１を除くこれらの各部は、プログラムにより構成されている。なお、これらの各部は、電子回路により専用に構成されているものであってもよく、実施例１の構成に限定されない。記憶部３１は、演算処理装置１１の各部における演算処理過程で必要となる数値データ、演算処理途中の処理結果に対するプログラムの変数等が適宜書き込まれ、それらが演算処理装置１１の各部により適宜読み取られる。記憶部３１は、演算処理装置１１が行う各処理のためのプログラムを記憶していてもよい。
　特徴点取得部２１は、カメラ１３から画像（画像データ）が入力されると、その画像の特徴点Ｐ（図２等参照）を抽出する。この特徴点Ｐは、特定の特徴物の位置に対応した座標点であり、道路上に設けられた白線や道路標識の隅部等のように画像（第Ｎフレーム）においてエッジ強度が高い箇所を特定の特徴物とする。例えば、特徴点取得部２１は、図２の上側に示すように、カメラ１３が取得した第Ｎフレームにおける白線の角を特徴点Ｐとして検出する。このような特徴点Ｐの抽出は、例えばＨａｒｒｉｓオペレータを用いた手法のような公知の特徴点抽出技術を用いて行うことができる。
　また、特徴点取得部２１は、抽出した特徴点Ｐの追跡、すなわち第Ｎフレームで抽出した特徴点Ｐが次のフレーム（第Ｎ＋１フレーム）でどの位置に存在するのかを検出する。例えば、特徴点取得部２１は、図２の下側に示すように、カメラ１３が取得した第Ｎフレームで抽出した特徴点Ｐが、第Ｎ＋１フレームでどの位置に存在するのかを検出する。このような特徴点Ｐの追跡は、ＬＫ（Ｌｕｃａｓ－Ｋａｎａｄｅ）法のような公知の特徴点追跡技術を用いて行うことができる。特徴点取得部２１は、図２に示す例のように連続する２つのフレーム間のみではなく、それ以降も可能な限り特徴点Ｐを追跡する。
　この単一のフレーム（画像）で検出される特徴点Ｐは、図２では理解を容易とするために一つのみの例を示しているが、単一のフレームで複数（数百に及ぶ場合も有る）を抽出することができ、それらの追跡結果も複数となる場合がある。特徴点取得部２１は、抽出した特徴点Ｐの第Ｎフレームにおける座標位置と、その追跡結果となる特徴点Ｐの第Ｎ＋１フレームにおける座標位置（追跡結果が複数の場合はＮ＋２以降の座標位置も）と、を特徴点系列Ｐｓとして記憶部３１に格納する。
　挙動判断部２２は、車速センサ１４や舵角センサ１５から車速（車速データ）や舵角（舵角データ）が入力されると、それらに基づいて車両１の挙動が路面領域Ａｒの特定に適した状態であるか否かを判断する。挙動判断部２２は、車両１において、車速の変動が所定の範囲内であるとともに、舵角が所定の範囲内である場合に、路面領域Ａｒの特定に適した状態であると判断する。これは、以下のことによる。車速の変動が大きいと、車両１の姿勢の変化を招くので、特徴点取得部２１による特徴点Ｐの抽出結果および追跡結果の精度が低下する虞がある。また、車速の変動が大きいと、車速センサ１４からの検出結果を用いても、抽出した特徴点Ｐを追跡した間に車両１が移動した距離の算出結果の精度が低下する虞がある。これらは、後述するように正規化速度ｎｖの算出に用いることから、正規化速度ｎｖの精度の低減を招いてしまう。加えて、舵角が大きいと、抽出した特徴点Ｐの追跡が困難となる。これらのことから、実施例１では、車両１が略一定の速度で直進しているものと見做せる場合に、路面領域Ａｒの特定に適した状態であると判断する。
　画像変換部２３は、カメラ１３から画像（画像データ（図２参照））が入力されると、その画像を視点変換し、上方から地面を見下ろしたような俯瞰画像（図３等参照）を生成する（俯瞰画像形成処理）。画像変換部２３は、記憶装置１２から、カメラ１３の設置位置や角度（ピッチ角、ヨー角、ロール角、カメラ高さ）の設計値（外部パラメータ）や、カメラ１３の焦点距離、画素サイズ、光軸中心、歪み関数等（内部パラメータ）のカメラパラメータを取得する。画像変換部２３は、取得した歪み関数を用いてレンズによる画像の歪みを補正する歪み補正処理を行う。画像変換部２３は、周知のカメラの幾何変換式を使い、世界座標で示される俯瞰画像におけるすべての座標位置の画素の出力値（各色の輝度値）を、歪み補正した画像の対応する画素の出力値（各色の輝度値）に基づいて生成する。このとき、画像変換部２３は、俯瞰画像の特定の画素に対応する歪み補正した画像の画素が無い場合には、周知の輝度の補間処理により周辺画素の各輝度値に基づいて特定の画素の出力値を求める。さらに、画像変換部２３は、カメラ１３を含む前後左右の４つのカメラの隣り合う撮影画像を、対応する座標値の輝度を線形補間等により繋ぎ目の違和感を無くしつつ１枚の画像として繋ぎ合わせることで、車両１の取り囲む俯瞰画像を生成する。なお、画像変換部２３は、俯瞰画像（その画像データ）を生成すれば、これらの各処理を同時に行ってもよく、他の内容の処理を行ってもよく、実施例１に限定されない。
　また、画像変換部２３は、特徴点取得部２１で検出されて記憶部３１に格納された特徴点系列Ｐｓ（特徴点Ｐの抽出結果および追跡結果）を世界座標に変換して、記憶部３１に格納する。すなわち、画像変換部２３は、カメラ１３からの画像における座標位置で抽出した特徴点系列Ｐｓ（特徴点Ｐの軌跡を示す座標位置（図２参照））を、俯瞰画像における座標位置（図３等参照）に変換する。なお、この特徴点Ｐの抽出結果および追跡結果の座標位置の変換は、特徴点取得部２１が行ってもよく列長算出部２４が行ってもよい。
　列長算出部２４は、同一の特徴点Ｐが変位して形成された直線である特徴点系列Ｐｓの長さ、すなわち特徴点Ｐの移動量を特徴点系列長Ｐｌとして算出する。列長算出部２４は、世界座標に変換された同一の特徴点Ｐの抽出結果および追跡結果すなわちその座標位置の変化に基づいて、特徴点系列長Ｐｌを算出する。例えば、図２で抽出した特徴点Ｐを例にすると、第Ｎフレームの俯瞰画像では図３の左側に示すように特徴点Ｐ１が検出され、第Ｎ＋１フレームの俯瞰画像では図３の右側に示すように特徴点Ｐ１が変位したので、その両座標位置を結ぶ直線の長さ寸法が特徴点系列長Ｐｌ１となる。ここで、この特徴点系列長Ｐｌ１は、俯瞰画像での長さ寸法が世界座標上での長さ寸法であることから、実際に特徴点Ｐが変位した距離と等しくなる。
　この特徴点系列長Ｐｌは、同様に連続する２つのフレームから求めたとしても、車両１の速度が異なったり特徴点Ｐの高さ位置が異なったりすると、上記した例とは異なるものとなる。この異なる一例を図４に示す。図４の左側の第Ｍフレームの俯瞰画像で検出された特徴点Ｐ２は、第Ｍ＋１フレームの俯瞰画像では図４の右側に示すように変位したものとすると、その両座標位置を結ぶ直線の長さ寸法として特徴点系列長Ｐｌ２を算出する。この特徴点Ｐ２は、左右は異なるものの、図３に示す特徴点Ｐ１と同様に車両１が走行する路面の白線を検出しているので、図３に示す場面とは車両１の速度が異なるものとされている。
　列長算出部２４は、実施例１では、特徴点Ｐが属する幅方向区分ｄｖ毎（図５参照）に算出した特徴点系列長Ｐｌを集める（累積させる）。各幅方向区分ｄｖは、路面領域検出装置１０が路面領域Ａｒであるか否かの検出を行う検出領域Ａｄを幅方向Ｄｗに所定の大きさ毎に区切って設定したもので、実施例１では図５に示すように検出領域Ａｄを幅方向Ｄｗに１ｍ毎に区切って車両１を中心として２４個設定している。この図５に示す分布グラフは、横軸を幅方向Ｄｗの距離で示し、縦軸を正規化速度ｎｖの大きさで示したもので、後述する代表点Ｒｖ（正規化速度ｎｖ）が分布する様子を表すものである。以下では、複数の幅方向区分ｄｖを個別に述べる際には、図５を正面視して左側から順に１～２４の番号を第ｎ幅方向区分ｄｖのｎとして記載して示す。実施例１では、第１２幅方向区分ｄｖおよび第１３幅方向区分ｄｖが車両１の走行する位置となる。この検出領域Ａｄでは、車両１が位置する第１２幅方向区分ｄｖおよび第１３幅方向区分ｄｖを中心とする複数の幅方向区分ｄｖを中央領域部ｃｐとして設定している。中央領域部ｃｐは、多くの特徴点Ｐ（特定の特徴物）を検出できることが予想される範囲に設定するもので、実施例１では一例として、第１０幅方向区分ｄｖから第１５幅方向区分ｄｖすなわち車両１を中心とする６ｍの範囲に設定している。なお、各幅方向区分ｄｖの大きさや中央領域部ｃｐの範囲（幅方向区分ｄｖの個数）は適宜設定すればよく、実施例１の構成に限定されない。
　列長算出部２４は、算出した複数の特徴点系列長Ｐｌを、それぞれが対象とした特徴点Ｐが位置する幅方向区分ｄｖと関連付けて記憶部３１に格納する。この特徴点Ｐが位置する幅方向区分ｄｖは、画像変換部２３により抽出結果および追跡結果が俯瞰画像における座標位置に変換されているので、その幅方向Ｄｗの座標位置から判別できる。
　正規化速度算出部２５は、各特徴点Ｐにおける移動速度を正規化した正規化速度ｎｖを算出する。正規化速度算出部２５は、実施例１では、列長算出部２４で算出した特徴点系列長Ｐｌを、その特徴点系列長Ｐｌとなった間に車両１が移動した距離で、除算したものを正規化速度ｎｖとする。この正規化速度ｎｖは、車両１の移動距離（速度）に対する特徴点系列長Ｐｌ（特徴点Ｐの移動距離（速度））の比で表したもので、特徴点Ｐの移動量の差異の比較すなわち特徴点Ｐの路面に対する高さ位置の比較を可能としている。これは、車両１の移動量が同一であっても、同一の画像において、路面と等しい高さ位置である場合と異なる場合とで特徴点Ｐの移動量が異なることによる。
　その車両１が移動した距離は、特徴点系列長Ｐｌの算出に用いた連続する複数のフレームの画像をカメラ１３が取得した時間と、その間の車速センサ１４からの速度と、を用いて算出する。なお、車両１が移動した距離は、車両１に設けられた車輪速度センサからの情報を利用して算出してもよく、他の方法でもよく、実施例１の方法に限定されない。ここで、特徴点Ｐの移動量は、車両１が走行している路面と同じ高さに位置しているときには車両１の移動量と等しくなり、その路面の高さとの差異が大きくなるほど車両１の移動量との差異が大きくなる。このため、正規化速度ｎｖは、対象とする特徴点Ｐが路面と同じ高さに位置しているときには理論上は１となる。正規化速度算出部２５は、算出した各正規化速度ｎｖを、それぞれが対象とした特徴点Ｐが位置する幅方向区分ｄｖと関連付けて記憶部３１に格納する。
　代表点算出部２６は、各幅方向区分ｄｖにおいて、その中に属する複数の正規化速度ｎｖの平均となる代表点Ｒｖを算出する。代表点算出部２６は、実施例１では、単に平均とするのではなく、次のように代表点Ｒｖを算出する。先ず、代表点算出部２６は、対象とする幅方向区分ｄｖにおける全ての正規化速度ｎｖの平均ａｖ１と標準偏差σ１とを算出する。その後、代表点算出部２６は、対象とする幅方向区分ｄｖにおける全ての正規化速度ｎｖの中から、平均ａｖ１に標準偏差σ１を三倍した値を加算または減算した値（ａｖ１±３σ１）以内となる正規化速度ｎｖ（以下では区別のために正規化速度ｎｖαと記す）を取り出す。そして、代表点算出部２６は、全ての正規化速度ｎｖαの平均ａｖ２を算出し、この平均ａｖ２を対象とする幅方向区分ｄｖにおける代表点Ｒｖとする。このように、実施例１の代表点算出部２６は、対象とする幅方向区分ｄｖにおいて算出された全ての正規化速度ｎｖの中から、大きく異なる数値とされたものを除外した上で求めた平均を代表点Ｒｖとしているので、特徴点Ｐの抽出や追跡や車両１の移動量の検出等の際に大きな誤差が生じたものを除外して代表点Ｒｖを求めることができ、精度を高めることができる。代表点算出部２６は、対象とする幅方向区分ｄｖに単一の正規化速度ｎｖのみが存在する場合には、その正規化速度ｎｖを代表点Ｒｖとする。代表点算出部２６は、算出した各代表点Ｒｖを、それぞれが対象とした幅方向区分ｄｖと関連付けて記憶部３１に格納する。
　近似直線算出部２７は、図６に示すように、中央領域部ｃｐとなる各幅方向区分ｄｖ（実施例１では第１０幅方向区分ｄｖから第１５幅方向区分ｄｖ）の代表点Ｒｖを結ぶ近似直線を算出して路面判定基準線Ｓｂとする。ここで、近似直線算出部２７は、中央領域部ｃｐとなる各幅方向区分ｄｖのうちの２つのみで代表点Ｒｖが算出されている場合には、その２つの代表点Ｒｖを結ぶ直線を路面判定基準線Ｓｂとする。近似直線算出部２７は、算出した路面判定基準線Ｓｂを記憶部３１に格納する。
　判定範囲算出部２８は、各幅方向区分ｄｖが路面領域Ａｒであるか否かを判定するために、正規化速度ｎｖの大きさで示す路面判定範囲Ｅ（図６でドットを付して示す箇所）を求める。判定範囲算出部２８は、実施例１では、図６に示す分布グラフにおいて、近似直線算出部２７が算出した路面判定基準線Ｓｂに対して、Δｎｖだけ平行移動させた路面判定上限線Ｓｕを算出するとともに、－Δｎｖだけ平行移動させた路面判定下限線Ｓｌを算出する。このΔｎｖは、適宜設定すればよく、実施例１では検証実験に基づいて設定している。なお、Δｎｖは、路面領域検出装置１０の利用者が設定するものとしてもよい。判定範囲算出部２８は、路面判定上限線Ｓｕと路面判定下限線Ｓｌとで挟まれた範囲を路面判定範囲Ｅとして、記憶部３１に格納する。
　路面領域特定部２９は、判定範囲算出部２８が算出した路面判定範囲Ｅに、代表点Ｒｖが存在するか否かを判断することで、各幅方向区分ｄｖが路面領域Ａｒ（図７等参照）であるか否かを判断する。路面領域特定部２９は、基本的には、中央領域部ｃｐを含む全ての幅方向区分ｄｖの代表点Ｒｖのうち、路面判定範囲Ｅ内に存在する代表点Ｒｖを有する幅方向区分ｄｖを路面領域Ａｒとして特定する。具体的には、路面領域特定部２９は、図７に示す例の場合には、車両１の左側において最も離れた位置（外側の位置）となる第６幅方向区分ｄｖの代表点Ｒｖが路面判定範囲Ｅ内に存在し、車両１の右側において最も離れた位置（外側の位置）となる第１８幅方向区分ｄｖの代表点Ｒｖが路面判定範囲Ｅ内に存在したものとすると、第６幅方向区分ｄｖから第１８幅方向区分ｄｖまでの間を路面領域Ａｒとして特定する。
　実施例１の路面領域特定部２９は、代表点Ｒｖが路面判定範囲Ｅ内に存在するか否かの判断の対象を、車両１が位置する第１２幅方向区分ｄｖおよび第１３幅方向区分ｄｖの両外側に隣接する幅方向区分ｄｖから、各々の外側へ向けて順に変更していく。すなわち、路面領域特定部２９は、先ず第１１幅方向区分ｄｖおよび第１４幅方向区分ｄｖを判断対象とし、次に第１０幅方向区分ｄｖおよび第１５幅方向区分ｄｖを判断対象としていくことを繰り返す。そして、路面領域特定部２９は、代表点Ｒｖが路面判定範囲Ｅ内に存在しない幅方向区分ｄｖを検出すると、その内側に隣接する幅方向区分ｄｖまでを路面領域Ａｒとして特定する。具体的には、図８に示す例の場合には、車両１の左側では、第１０幅方向区分ｄｖまでの代表点Ｒｖが路面判定範囲Ｅ内に存在し、第９幅方向区分ｄｖの代表点Ｒｖが路面判定範囲Ｅ内に存在せず、車両１の右側では、第１４幅方向区分ｄｖまでの代表点Ｒｖが路面判定範囲Ｅ内に存在し、第１５幅方向区分ｄｖの代表点Ｒｖが路面判定範囲Ｅ内に存在しない。この場合、路面領域特定部２９は、第１０幅方向区分ｄｖから第１４幅方向区分ｄｖまでの間を路面領域Ａｒとして特定する。このように、路面領域特定部２９は、代表点Ｒｖ（正規化速度ｎｖ）が路面判定範囲Ｅ外となる特徴点Ｐのうち、幅方向Ｄｗにおいて車両１から最も近くに位置する特徴点Ｐよりも車両１側に位置する特徴点Ｐの位置となる幅方向区分ｄｖまでを路面領域Ａｒであると特定している。ここで、第１２幅方向区分ｄｖおよび第１３幅方向区分ｄｖは、現在車両１が走行している路面であるので、それぞれの代表点Ｒｖが路面判定範囲Ｅ内に存在して路面領域Ａｒとなるので、代表点Ｒｖが路面判定範囲Ｅ内に存在するか否かの判断は行わなくても問題ない。
　次に、路面領域検出装置１０において、演算処理装置１１の制御下で、路面領域Ａｒを特定する路面領域特定処理の一例について、図９を用いて説明する。図９は、実施例１における演算処理装置１１にて実行される路面領域特定処理（路面領域特定方法）を示すフローチャートである。この路面領域特定処理は、記憶装置１２に記憶されたプログラムに基づいて演算処理装置１１が実行する。以下では、図９のフローチャートの各ステップ（各工程）について説明する。図９のフローチャートは、路面領域検出装置１０が路面領域特定処理を実行する状態とされることにより開始される。路面領域検出装置１０は、常に路面領域特定処理を実行する状態とされていてもよく、操作部への操作で実行の有無を切り替え可能としてもよい。実施例１では、車両１が起動されると路面領域特定処理を実行する状態となり、図９のフローチャートが開始される。
　ステップＳ１は、カメラ１３からの画像（画像データ）の取得を開始し、ステップＳ２へ進む。
　ステップＳ２は、車速センサ１４および舵角センサ１５から車速（車速データ）および舵角（舵角データ）を取得し、ステップＳ３へ進む。ステップＳ２は、後述するように車速および舵角の変化の有無の判断のために取得しているので、所定の時間で車速および舵角の取得を行う。
　ステップＳ３は、車両１の挙動が路面領域Ａｒの特定に適した状態であるか否かの挙動判断を行い、ＹＥＳ（適した状態）の場合はステップＳ４へ進み、ＮＯ（適さない状態）の場合はステップＳ２へ戻る。ステップＳ３は、挙動判断部２２がステップＳ２で取得した車速や舵角に基づいて車両１の挙動が路面領域Ａｒの特定に適した状態であるか否かを判断する。
　ステップＳ４は、取得時間の計時を開始し、ステップＳ５へ進む。ステップＳ４は、後述するステップＳ５およびステップＳ６での特徴点Ｐの抽出およびその追跡を行う取得時間の計時を開始する。
　ステップＳ５は、特徴点Ｐを抽出し、ステップＳ６へ進む。ステップＳ５は、特徴点取得部２１がカメラ１３からの画像の第Ｎフレームにおける特徴点Ｐの抽出（単一でもよく複数でも良い）を行い、その特徴点Ｐの座標位置を求める。
　ステップＳ６は、特徴点Ｐを追跡し、ステップＳ７へ進む。ステップＳ６は、特徴点取得部２１がステップＳ５において第Ｎフレームで抽出した特徴点Ｐが、第Ｎ＋１フレームでどの位置に存在するのかを検出してその座標位置を求め、それ以降も可能な限り特徴点Ｐを追跡する（座標位置を求める）。
　ステップＳ７は、取得時間が所定の時間となったか否かを判断し、ＹＥＳ（適した状態）の場合はステップＳ８へ進み、ＮＯ（適さない状態）の場合はステップＳ５へ戻る。この所定の時間は、路面領域Ａｒの特定に必要な数の特徴点系列Ｐｓの取得を可能とする観点で設定される。これにより、ステップＳ８に進む際には、複数の特徴点系列Ｐｓが取得できている。このことから、ステップＳ４およびステップＳ７では、特徴点Ｐの抽出および追跡を行ったフレーム数で判断してもよく、特徴点系列Ｐｓの累積数で判断してもよく、実施例１の構成に限定されない。
　ステップＳ８は、中央領域部ｃｐにおける各代表点Ｒｖを算出し、ステップＳ９へ進む。ステップＳ８は、中央領域部ｃｐとされた各幅方向区分ｄｖ（実施例１では第１０幅方向区分ｄｖから第１５幅方向区分ｄｖ）において、列長算出部２４が特徴点系列長Ｐｌを算出し、それを用いて正規化速度算出部２５が正規化速度ｎｖを算出し、それを用いて代表点算出部２６が代表点Ｒｖを算出する。
　ステップＳ９は、ステップＳ８で算出した代表点Ｒｖが２つ以上あるか否かを判断し、ＹＥＳの場合はステップＳ１０へ進み、ＮＯの場合はステップＳ２へ戻る。ステップＳ９は、算出した代表点Ｒｖが２つ以上あるか否か、すなわち中央領域部ｃｐにおける２つ以上の幅方向区分ｄｖの代表点Ｒｖを算出したか否かを判断する。なお、ステップＳ９では、路面判定基準線Ｓｂの算出を可能とするために設定するものなので、中央領域部ｃｐとしての幅方向区分ｄｖの個数（実施例１では６つ）以下であれば３よりも多い数の代表点Ｒｖを算出したか否かで判断してもよく、実施例１の構成に限定されない。また、実施例１では、代表点Ｒｖが１つ以下でステップＳ２へ戻る場合には、ステップＳ５からステップＳ７を繰り返すことで求めた各特徴点系列ＰｓおよびステップＳ８で求めた各代表点Ｒｖ（それらのデータ）は破棄する。これは、ステップＳ２へ戻る場合には、車両１が走行している路面およびその周辺の状況が変化している場合があるので、先に取得した各特徴点系列Ｐｓおよび各代表点Ｒｖを、この後に取得する各特徴点系列Ｐｓおよび各代表点Ｒｖに合わせてしまうと不正確なものとなる虞があることによる。
　ステップＳ１０は、中央領域部ｃｐの各代表点Ｒｖに基づいて路面判定範囲Ｅを算出し、ステップＳ１１へ進む。ステップＳ１０は、近似直線算出部２７がステップＳ８で算出した代表点Ｒｖに基づいて路面判定基準線Ｓｂを算出し、それを用いて判定範囲算出部２８が路面判定上限線Ｓｕと路面判定下限線Ｓｌとを求めて路面判定範囲Ｅを算出する。
　ステップＳ１１は、検出領域Ａｄにおける他の各代表点Ｒｖを算出し、ステップＳ１２へ進む。ステップＳ１１は、検出領域Ａｄにおいて、ステップＳ８で各代表点Ｒｖを算出した中央領域部ｃｐ以外の各幅方向区分ｄｖ（実施例１では第１幅方向区分ｄｖから第９幅方向区分ｄｖと第１６幅方向区分ｄｖから第２４幅方向区分ｄｖ）の各代表点ＲｖをステップＳ８と同様に算出する。なお、各代表点Ｒｖは、ステップＳ８とステップＳ１１とで分けて行うのではなく、ステップＳ８で一斉に全ての幅方向区分ｄｖの代表点Ｒｖを算出するものとしてもよい。
　ステップＳ１２は、各幅方向区分ｄｖの各代表点Ｒｖが路面判定範囲Ｅ内に存在しているか否かを判断し、ステップＳ１３へ進む。ステップＳ１２は、路面領域特定部２９が、ステップＳ８またはステップＳ１１で算出した各幅方向区分ｄｖの各代表点Ｒｖが、ステップＳ１０で算出した路面判定範囲Ｅ内に存在しているか否かを判断する。
　ステップＳ１３は、ステップＳ１２での判断に基づいて路面領域Ａｒを特定し、この路面領域特定処理を終了する。ステップＳ１３は、車両１すなわち第１２幅方向区分ｄｖおよび第１３幅方向区分ｄｖの左右において、最も近くで代表点Ｒｖが路面判定範囲Ｅ内に存在しない幅方向区分ｄｖを求め、その１つ内側の幅方向区分ｄｖまでを路面領域Ａｒとして特定する。
　このため、路面領域検出装置１０は、車両１が走行している際、自らが走行している路面と等しい高さ位置で連続する平坦な領域を路面領域Ａｒとして特定できる。路面領域検出装置１０は、正規化速度ｎｖを用いることで、車両１の移動量に対するカメラ１３が取得した同一の画像における特徴点Ｐの移動量が、路面と等しい高さ位置である場合と異なる場合とで変化することを利用することで、路面と等しい高さ位置であるかを判断して路面領域Ａｒを特定している。このため、路面領域検出装置１０は、双眼カメラやステレオカメラや多眼カメラ等を用いることなく、単一のカメラ１３を用いて路面領域Ａｒを特定することができる。
　路面領域検出装置１０は、特徴点Ｐの抽出および追跡が可能であれば路面領域Ａｒを特定できるので、様々な路面に対応して路面領域Ａｒを特定できるとともに、路面に限らず路面と等しい高さ位置で連続する平坦な領域までを路面領域Ａｒとして特定できる。これは、路面を特定する従来技術として色の違いを検出することで路面であるか否かの判断を行うものがあるが、路面上で異なる複数の色が用いられている場合には適切に特定できなる虞があることによる。また、この従来技術では、路面と等しい高さ位置で連続する平坦な領域であっても、路面のみを検出してしまうことによる。
　路面領域検出装置１０は、走行中に路面領域Ａｒを特定できるので、例えば、カメラ１３の俯瞰画像を適切に形成するためのキャリブレーションに利用することができる。これは、カメラ１３のキャリブレーションを正確に行うには、路面と等しい高さ位置とされた平坦な面上の特徴点を用いる必要がある場合があることによる。特に、路面領域検出装置１０は、路面と等しい高さ位置で連続する平坦な領域までを路面領域Ａｒとして特定するので、路面のみならずより広い路面領域Ａｒを用いてキャリブレーションを行うことを可能とするので、より正確に行うことを可能にできる。路面領域検出装置１０は、検出した路面領域Ａｒを俯瞰画像に重ねて映像表示装置１６に表示させることで、路面領域Ａｒを乗員に認識させることができる。
　本開示に係る路面領域検出装置の一実施例の路面領域検出装置１０は、以下の各作用効果を得ることができる。
　路面領域検出装置１０は、カメラ１３が取得した画像における特徴点Ｐの移動に基づいて求めた正規化速度ｎｖが、中央領域部ｃｐの正規化速度ｎｖに基づいて求めた路面判定範囲Ｅ内に存在しているとき、その正規化速度ｎｖとなる特徴点Ｐが位置する幅方向Ｄｗを路面領域Ａｒであると特定する。このため、路面領域検出装置１０は、同一の画像であっても路面と等しい高さ位置である場合と異なる場合とで特徴点Ｐの移動量が変化することを利用して路面領域Ａｒであると特定しているので、単一のカメラ１３を用いて路面領域Ａｒを特定することができる。加えて、路面領域検出装置１０は、特徴点Ｐとして抽出する道路上の白線や道路標識が存在する可能性の高い中央領域部ｃｐの正規化速度ｎｖに基づいて路面判定範囲Ｅを求めているので、適切な路面判定範囲Ｅを高い確率で適切に算出することができ、適切に路面領域Ａｒを特定できる。その中央領域部ｃｐは、車両１が走行している路面を含んでいるので、路面と等しい高さ位置となる箇所の特定を適切なものにできる。
　また、路面領域検出装置１０は、正規化速度ｎｖが路面判定範囲Ｅ外となる特徴点Ｐのうち、幅方向Ｄｗにおいて車両１から最も近くに位置する特徴点Ｐよりも車両１側を路面領域Ａｒとして特定する。このため、路面領域検出装置１０は、路面と等しい高さ位置で連続する平坦な領域までを路面領域Ａｒとして特定することができる。
　さらに、路面領域検出装置１０は、横軸を幅方向Ｄｗの距離で示しかつ縦軸を正規化速度ｎｖの大きさで示す分布グラフにおいて、幅方向Ｄｗの位置が異なる少なくとも２つの特徴点Ｐの正規化速度ｎｖを結ぶ近似直線を路面判定基準線Ｓｂとし、それを基準に求めた路面判定上限線Ｓｕと路面判定下限線Ｓｌとに挟まれた範囲として路面判定範囲Ｅを設定する。このため、路面領域検出装置１０は、簡易な構成で路面と等しい高さ位置となる箇所を適切に検出することができる。
　路面領域検出装置１０は、等しい幅方向Ｄｗの位置で複数の特徴点Ｐが存在すると、それぞれの正規化速度ｎｖの平均をこの幅方向Ｄｗの位置における正規化速度ｎｖの代表点Ｒｖとして分布グラフ上に記して近似直線を求めて路面判定基準線Ｓｂを求める。このため、路面領域検出装置１０は、特徴点Ｐの抽出等で生じる誤差の影響を小さくして路面領域Ａｒを特定することができる。
　路面領域検出装置１０は、路面領域Ａｒの検出対象とする検出領域Ａｄを幅方向Ｄｗで所定の大きさ毎に区切って設定した複数の幅方向区分ｄｖ毎に正規化速度ｎｖを算出し、幅方向区分ｄｖ単位で路面領域Ａｒを特定する。このため、路面領域検出装置１０は、幅方向区分ｄｖ毎に正規化速度ｎｖとしての代表点Ｒｖを求めることができるので、特徴点Ｐの抽出等で生じる誤差の影響をより小さくして路面領域Ａｒを特定することができる。
　路面領域検出装置１０は、検出領域Ａｄにおける車両１を中心とする所定の中央領域部ｃｐ内で幅方向区分ｄｖが異なる少なくとも２つの特徴点Ｐの正規化速度ｎｖを結ぶ近似直線を路面判定基準線Ｓｂとし、それを基準に求めた路面判定上限線Ｓｕと路面判定下限線Ｓｌとに挟まれた範囲を路面判定範囲Ｅとして設定している。このため、路面領域検出装置１０は、簡易な構成で特徴点Ｐの抽出等で生じる誤差の影響をより小さくして路面領域Ａｒを特定することができる。
　路面領域検出装置１０は、特徴点Ｐの移動量を、その間の車両１の移動量で除算することで、正規化速度ｎｖを算出している。このため、路面領域検出装置１０は、簡易な構成で特徴点Ｐの移動量の差異の比較を可能とすることができ、路面領域Ａｒの特定に用いることができる。
　したがって、本開示に係る路面領域検出装置としての実施例１の路面領域検出装置１０は、双眼カメラやステレオカメラや多眼カメラ等を用いることのない簡易な構成で路面領域Ａｒを検出することができる。
　以上、本開示の路面領域検出装置を実施例１に基づき説明してきたが、具体的な構成については実施例１に限られるものではなく、請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
　例えば、実施例１では、検出領域Ａｄを幅方向Ｄｗで所定の大きさ毎に区切った幅方向区分ｄｖ毎に正規化速度ｎｖや代表点Ｒｖを求めるとともに幅方向区分ｄｖ単位で路面領域Ａｒを特定している。しかしながら、幅方向区分ｄｖを設定することなく正規化速度ｎｖや代表点Ｒｖを用いて路面領域Ａｒを特定してもよく、実施例１の構成に限定されない。
　また、実施例１では、等しい幅方向Ｄｗの位置で複数の特徴点Ｐが存在すると、各正規化速度ｎｖの平均ａｖ１と標準偏差σ１とから大きく異なる数値を除外した正規化速度ｎｖαを求め、その正規化速度ｎｖαの平均ａｖ２を当該幅方向Ｄｗの位置の代表点Ｒｖとしている。しかしながら、各正規化速度ｎｖの平均ａｖ１を当該幅方向Ｄｗの位置の代表点Ｒｖとしてもよく、他の方法で平均を求めて代表点Ｒｖとしてもよく、実施例１の構成に限定されない。
　さらに、実施例１では、挙動判断部２２が、車速と舵角とから路面領域Ａｒの特定に適した状態であるか否かを判断していたが、車両１が走行している路面の傾斜の変化があるか否かも特定に適した状態の判断に用いてもよい。これは、例えば、カメラ１３が取得した画像における路面が車両１の走行する路面に対して傾斜している場合と傾斜していない場合とでは路面の写り方が変化するので、路面の傾斜が途中で変化するとカメラ１３が取得した画像における特徴点Ｐの追跡が困難となることによる。このため、路面の傾斜の変化が所定の範囲内であるか否かを特定に適した状態の判断に用いることで、特徴点Ｐをより適切に追跡することができ、路面領域Ａｒをより適切に特定できる。他方、路面領域検出装置１０では、路面の傾斜の変化を取得する傾斜センサを用いて、特徴点取得部２１が特徴点Ｐの追跡を行う際に路面の傾斜を考慮するものとすることで、特徴点Ｐをより適切に追跡することを可能とするものとしてもよい。
関連出願への相互参照
　本出願は、２０１７年１１月８日に日本国特許庁に出願された特願２０１７－２１５３６３に基づいて優先権を主張し、その全ての開示は完全に本明細書で参照により組み込まれる。

Claims (7)

  1. 　走行する車両に搭載されたカメラが取得した画像における特徴点の移動に基づいて正規化速度を求める正規化速度算出部と、
    　前記車両の幅方向における前記車両を中心とする所定の中央領域部において、前記幅方向の位置が異なる少なくとも２つの前記特徴点の前記正規化速度に基づいて前記正規化速度の大きさで示す路面判定範囲を求める判定範囲算出部と、
    　前記路面判定範囲内に前記正規化速度が存在する前記特徴点が位置する前記幅方向を前記車両が走行する路面領域であると特定する路面領域特定部と、を備えることを特徴とする路面領域検出装置。
  2. 　前記路面領域特定部は、前記正規化速度が前記路面判定範囲外となる前記特徴点のうち、前記幅方向において前記車両から最も近くに位置する前記特徴点よりも前記車両側を前記路面領域であると特定することを特徴とする請求項１に記載の路面領域検出装置。
  3. 　前記路面判定範囲は、横軸を前記幅方向の距離で示しかつ縦軸を前記正規化速度の大きさで示す分布グラフにおいて、前記幅方向の位置が異なる少なくとも２つの前記特徴点の前記正規化速度を結ぶ近似直線を路面判定基準線とし、前記路面判定基準線を基準に求めた路面判定上限線と路面判定下限線とに挟まれた範囲に設定されることを特徴とする請求項１または請求項２に記載の路面領域検出装置。
  4. 　前記判定範囲算出部は、等しい前記幅方向の位置で複数の前記特徴点が存在すると、それぞれの前記正規化速度の平均をこの前記幅方向の位置における前記正規化速度の代表点として前記分布グラフ上に記して前記路面判定基準線を求めることを特徴とする請求項３に記載の路面領域検出装置。
  5. 　前記正規化速度算出部は、前記路面領域の検出対象とする検出領域を前記幅方向で所定の大きさ毎に区切って設定した複数の幅方向区分毎に前記正規化速度を算出し、
    　前記路面領域特定部は、前記幅方向区分単位で前記路面領域を特定することを特徴とする請求項１から請求項４までのいずれか１項に記載の路面領域検出装置。
  6. 　前記路面判定範囲は、前記検出領域における前記中央領域部内で前記幅方向区分が異なる少なくとも２つの前記特徴点の前記正規化速度を結ぶ近似直線を路面判定基準線とし、前記路面判定基準線を基準に求めた路面判定上限線と路面判定下限線とに挟まれた範囲に設定されることを特徴とする請求項５に記載の路面領域検出装置。
  7. 　前記正規化速度算出部は、前記特徴点の移動量を、その間の前記車両の移動量で除算することで、前記正規化速度を算出することを特徴とする請求項１から請求項６までのいずれか１項に記載の路面領域検出装置。
PCT/JP2018/023262 2017-11-08 2018-06-19 路面領域検出装置 WO2019092913A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP18876359.3A EP3709265A4 (en) 2017-11-08 2018-06-19 ROAD SURFACE DETECTION DEVICE
CN201880071686.XA CN111316322B (zh) 2017-11-08 2018-06-19 路面区域检测装置
US16/762,335 US11403770B2 (en) 2017-11-08 2018-06-19 Road surface area detection device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-215363 2017-11-08
JP2017215363A JP6960827B2 (ja) 2017-11-08 2017-11-08 路面領域検出装置

Publications (1)

Publication Number Publication Date
WO2019092913A1 true WO2019092913A1 (ja) 2019-05-16

Family

ID=66437720

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/023262 WO2019092913A1 (ja) 2017-11-08 2018-06-19 路面領域検出装置

Country Status (5)

Country Link
US (1) US11403770B2 (ja)
EP (1) EP3709265A4 (ja)
JP (1) JP6960827B2 (ja)
CN (1) CN111316322B (ja)
WO (1) WO2019092913A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102522923B1 (ko) * 2018-12-24 2023-04-20 한국전자통신연구원 차량의 자기위치 추정 장치 및 그 방법
JP7335713B2 (ja) * 2019-03-28 2023-08-30 株式会社Subaru 路面判定装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008003696A (ja) * 2006-06-20 2008-01-10 Toyota Motor Corp 画像処理装置及び画像処理方法
JP2011077772A (ja) * 2009-09-30 2011-04-14 Hitachi Automotive Systems Ltd 周囲確認支援装置
JP2014110059A (ja) 2012-12-04 2014-06-12 Ricoh Co Ltd 路面検知方法及び路面検知装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4811201B2 (ja) * 2005-12-06 2011-11-09 日産自動車株式会社 走路境界線検出装置、および走路境界線検出方法
EP1796042B1 (en) * 2005-12-06 2011-02-23 Nissan Motor Co., Ltd. Detection apparatus and method
JP4919036B2 (ja) 2007-01-30 2012-04-18 アイシン精機株式会社 移動物体認識装置
US8634593B2 (en) * 2008-04-24 2014-01-21 GM Global Technology Operations LLC Pixel-based texture-less clear path detection
US8099213B2 (en) * 2008-07-18 2012-01-17 GM Global Technology Operations LLC Road-edge detection
JP5829980B2 (ja) * 2012-06-19 2015-12-09 トヨタ自動車株式会社 路側物検出装置
CN103679127B (zh) * 2012-09-24 2017-08-04 株式会社理光 检测道路路面的可行驶区域的方法和装置
JP5874756B2 (ja) * 2014-02-07 2016-03-02 トヨタ自動車株式会社 区画線検出システム及び区画線検出方法
US10115024B2 (en) * 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
JP6358160B2 (ja) * 2015-04-17 2018-07-18 トヨタ自動車株式会社 走行路面検出装置及び走行路面検出方法
US9866816B2 (en) * 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
JP6733225B2 (ja) * 2016-03-08 2020-07-29 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
WO2017154389A1 (ja) 2016-03-10 2017-09-14 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008003696A (ja) * 2006-06-20 2008-01-10 Toyota Motor Corp 画像処理装置及び画像処理方法
JP2011077772A (ja) * 2009-09-30 2011-04-14 Hitachi Automotive Systems Ltd 周囲確認支援装置
JP2014110059A (ja) 2012-12-04 2014-06-12 Ricoh Co Ltd 路面検知方法及び路面検知装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YAMAGUCHI, KOICHIRO ET AL.: "Obstacle Detection in Road Scene using Monocular Camera", IPSJ SIG TECHNICAL REPORTS, vol. 2005, no. 112, 18 November 2005 (2005-11-18), pages 69 - 76, XP055693964, ISSN: 0919-6072 *

Also Published As

Publication number Publication date
US20200265588A1 (en) 2020-08-20
EP3709265A4 (en) 2021-08-04
US11403770B2 (en) 2022-08-02
JP2019087070A (ja) 2019-06-06
CN111316322A (zh) 2020-06-19
EP3709265A1 (en) 2020-09-16
CN111316322B (zh) 2023-10-13
JP6960827B2 (ja) 2021-11-05

Similar Documents

Publication Publication Date Title
US11270131B2 (en) Map points-of-change detection device
CN106462968B (zh) 用于校准机动车的摄影机系统的方法和装置
US10183621B2 (en) Vehicular image processing apparatus and vehicular image processing system
US8417022B2 (en) Stereo-image processing apparatus
US9280824B2 (en) Vehicle-surroundings monitoring device
US9912933B2 (en) Road surface detection device and road surface detection system
WO2010146695A1 (ja) 画像処理装置および画像処理方法
US20150332446A1 (en) Surround-view camera system (vpm) and vehicle dynamic
US20120327189A1 (en) Stereo Camera Apparatus
US20090190827A1 (en) Environment recognition system
EP3418122B1 (en) Position change determination device, overhead view image generation device, overhead view image generation system, position change determination method, and program
US11518390B2 (en) Road surface detection apparatus, image display apparatus using road surface detection apparatus, obstacle detection apparatus using road surface detection apparatus, road surface detection method, image display method using road surface detection method, and obstacle detection method using road surface detection method
JP4670528B2 (ja) 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置
WO2017158964A1 (ja) 画像処理装置、移動体機器制御システム、画像処理用プログラム及び画像処理方法
JP2019003606A (ja) 地図変化点検出装置
WO2019092913A1 (ja) 路面領域検出装置
CN109753841B (zh) 车道线识别方法和装置
US9827906B2 (en) Image processing apparatus
JP6044084B2 (ja) 移動物体位置姿勢推定装置及び方法
JP6423670B2 (ja) 車両制御装置
JP6768554B2 (ja) キャリブレーション装置
JP2019053685A (ja) 画像処理装置
WO2022153795A1 (ja) 信号処理装置、信号処理方法及び信号処理システム
JP6941949B2 (ja) 車両用映像表示装置
CN113170057A (zh) 摄像部控制装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18876359

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018876359

Country of ref document: EP

Effective date: 20200608