WO2016031753A1 - 道路形状認識装置 - Google Patents

道路形状認識装置 Download PDF

Info

Publication number
WO2016031753A1
WO2016031753A1 PCT/JP2015/073679 JP2015073679W WO2016031753A1 WO 2016031753 A1 WO2016031753 A1 WO 2016031753A1 JP 2015073679 W JP2015073679 W JP 2015073679W WO 2016031753 A1 WO2016031753 A1 WO 2016031753A1
Authority
WO
WIPO (PCT)
Prior art keywords
road
distance
recognition
road shape
curve
Prior art date
Application number
PCT/JP2015/073679
Other languages
English (en)
French (fr)
Inventor
直輝 川嵜
洋平 増井
豊晴 勝倉
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US15/506,614 priority Critical patent/US10176387B2/en
Publication of WO2016031753A1 publication Critical patent/WO2016031753A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/08—Lane monitoring; Lane Keeping Systems
    • B60T2201/085—Lane monitoring; Lane Keeping Systems using several actuators; Coordination of the lane keeping system with other control systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00—Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/20—Road shapes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00—Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/20—Road shapes
    • B60T2210/24—Curve radius
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road

Definitions

  • the present invention relates to a road shape recognition apparatus that recognizes the shape of a road based on a captured road image.
  • Patent Document 1 Conventionally, as an apparatus for recognizing a road shape by a running lane marking based on a captured road image, there is one described in Patent Document 1.
  • the curvature of the road and the clothoid parameter (a parameter with a constant rate of curvature change) are calculated from the captured road image, and the behavior of the vehicle is calculated using the calculated clothoid parameter. Is predicting.
  • the present invention has been made to solve the above-described problems, and a main object thereof is to provide a road shape recognition device capable of accurately estimating a road shape farther than the recognition range.
  • the present invention is a road shape recognition device that acquires a road image by a road image acquisition means mounted on a vehicle and obtains a road shape using the road image, and is based on a road image within a predetermined recognition range.
  • the road shape within the set first distance is estimated as a curve with a constant curvature change rate, and the road shape beyond the first distance is estimated as a curve with a constant curvature.
  • the error increases as the distance from the recognition range increases.
  • the estimation of the road shape using a curve with a constant curvature change rate with low parameter estimation accuracy is made up to the first distance, and the curve beyond the first distance is made a curve with a constant curvature. Therefore, the deviation between the estimated road shape and the actual road shape can be reduced.
  • the shape of the actual curve section of the road shifts to a section with a constant curvature through a relaxation section set based on a clothoid curve with a constant curvature change rate.
  • the curvature change rate is constant up to the first distance D1
  • the curvature is constant beyond the first distance
  • the road shape beyond the recognition range is estimated as a shape that approximates the actual road shape. can do.
  • FIG. 1 It is a figure which shows the structure of the road shape recognition apparatus which concerns on embodiment. It is a figure which shows the range imaged with a vehicle-mounted camera. It is a flowchart which shows the process which a road shape recognition apparatus performs.
  • (A) is the schematic which shows the road imaged
  • (b) is a figure which shows a white line recognition process.
  • (A) is a figure which shows the white line shape on the road which estimated the curvature change rate as fixed
  • (b) is a figure which shows the white line shape on the road which estimated the curvature beyond 1st distance as fixed.
  • the road shape recognition apparatus is mounted on a vehicle, and the road shape including the road width and the road curvature recognized by the road shape recognition apparatus does not cause the vehicle to deviate from a travel line such as a white line. It is used for the lane keeping assist to control. Note that the road shape recognition apparatus in the present embodiment recognizes the road shape from the shape of the white line on the road (white line shape).
  • the road shape recognition apparatus 20 includes a white line recognition unit 21 (recognition processing unit) and a white line estimation unit 22 (estimation processing unit), and processes an image input from the in-vehicle camera 10 (road image acquisition unit).
  • the white line shape obtained as described above is transmitted to the vehicle control device 30.
  • the in-vehicle camera 10 is a CCD camera, a CMOS image sensor, a near-infrared camera, or the like, and images a traveling road (road) ahead of the vehicle 40 as shown in FIGS. 2 (a) and 2 (b). It is mounted on the vehicle 40. Specifically, the in-vehicle camera 10 is attached to the center of the vehicle 40 in the vehicle width direction, for example, a room mirror, and extends in a predetermined angle range toward the front of the vehicle (in FIGS. 2A and 2B). Hatching area) AR is imaged.
  • the road shape recognition device 20 is configured as a computer including a CPU, a memory, and the like.
  • the CPU implements the functions of the white line recognition unit 21 and the white line estimation unit 22 by executing a program stored in the memory.
  • the white line shape on the road recognized by the white line recognition unit 21 and the far white line shape on the road estimated by the white line estimation unit 22 are input to the vehicle control device 30.
  • the vehicle control device 30 performs control based on the vehicle speed, yaw rate, and the like input from various sensors (not shown) and the white line shape and the far white line shape on the road. That is, the future position of the vehicle 40 is predicted based on the vehicle speed and the yaw rate, and the vehicle 40 may deviate from the white line on the road using the predicted future position of the vehicle 40 and the white line shape and the far white line shape on the road. Judge whether there is.
  • the vehicle control device 30 has an alarm function, if it is determined that the vehicle 40 may deviate from the white line on the road, a warning is displayed on the display provided in the vehicle 40, or the vehicle 40 A warning sound is generated by a speaker included in. Further, if the vehicle control device 30 has a driving assistance function, when it is determined that the vehicle 40 may deviate from the white line on the road, a steering force is applied to the steering.
  • FIG. 3 is a flowchart showing a series of processes executed by the white line recognition unit 21 and the white line estimation unit 22 of the road shape recognition device 20, and this process is repeatedly executed at a predetermined control cycle.
  • FIG. 4A shows an example of a captured road image
  • FIG. 4B shows a process in which a white line on the road is detected by the flowchart of FIG.
  • the white line recognition unit 21 extracts the edge point P based on the luminance information of the road image (step S101), and performs Hough transform on the extracted edge point P (step S102). Subsequently, in step S102, the white line recognition unit 21 extracts a straight line or a curve in which a plurality of edge points P are continuously arranged. When the straight line or curve is extracted, the white line recognition unit 21 calculates a feature amount using the straight line or curve as a white line candidate on the road (step S103). The white line recognition unit 21 narrows down a pair of straight lines or curves extending in the traveling direction of the vehicle 40 as white line candidates on the road using the feature amount from the white line candidates (step S104).
  • the white line recognition unit 21 performs bird's-eye conversion of the edge point P (step S105).
  • the road is imaged from a bird's-eye view, so the white line on the road to be extracted is also acquired as a bird's-eye view. Therefore, the white line recognition unit 21 performs coordinate conversion on the acquired white line candidate edge point P on the road using the mounting position and mounting angle of the in-vehicle camera 10 and converts it into a plan view.
  • the range in which the white line on the road can be recognized among the range captured by the in-vehicle camera 10 is defined as the recognition range. That is, the position of the white line on the road that can be recognized that is farthest from the vehicle 40 is the end of the recognition range.
  • the white line estimation unit 22 approximates the shape by a polynomial in order to estimate the parameter for specifying the white line shape on the road converted into the plan view (step S106). Then, the white line estimation unit 22 estimates the far white line shape on the road outside the recognition range by extending the polynomial used for the approximation outside the recognition range (step S107).
  • step S106 the white line parameter estimation process (step S106) and the far white line shape estimation process (step S107) in the flowchart of FIG. 3 will be described in detail. These processes are processes executed by the white line estimation unit 22.
  • the white line estimation unit 22 first calculates a white line parameter on the road recognized by the white line recognition unit 21.
  • the curve section of the road is designed as a clothoid curve using the clothoid parameter.
  • the road curve section consists of a relaxation section defined by a clothoid curve with a constant curvature increase rate, a section with a constant curvature, and a relaxation section defined by a clothoid curve with a constant curvature decrease rate. Then, it shifts to a straight section.
  • Equation (1) x indicates the coordinate in the traveling direction of the vehicle 40
  • f (x) indicates the coordinate in the direction perpendicular to the traveling direction of the vehicle 40
  • a, b , C, d are constants.
  • the white line on the road from the end of the recognition range to the first distance D1 that is a predetermined distance away is estimated using Equation 1 above. That is, it is assumed that the shape of the white line on the road outside the recognition range changes according to Equation 1 up to the first distance D1, and the shape of the white line outside the recognition range is a curve according to Equation 1.
  • the first distance D1 is defined as a distance that is recognized as having a small deviation from the actual shape when the white line shape on the road is approximated by a cubic curve, and is stored in the memory of the road shape recognition device 20. Yes.
  • FIG. 5A shows an example in which the white line shape on the road outside the recognition range is estimated as a curve whose curvature increases at a constant curvature change rate.
  • FIG. 5B is estimated as a curve obtained by the processing according to the present embodiment from the end EP of the recognition range RC to the first distance D1 as a curve in which the curvature increases at a constant curvature change rate.
  • the first section ⁇ is a white line shape on the road which is a second section ⁇ estimated as a curve having a constant curvature.
  • the inside of the triangle with the vehicle 40 as the apex is the recognition range RC
  • the white line WL on the road TL in the recognition range RC that is, the white line recognition unit 21 has recognized.
  • the white line WL on the road TL is indicated by a solid line
  • the white line WL on the road TL outside the recognition range RC that is, the white line WL on the road TL estimated by the white line estimation unit 22 is indicated by a broken line.
  • the curvature change rate is constant outside the recognition range RC, the curvature is excessively large in the distance.
  • the curvature increases in the first section ⁇ and the curvature is constant in the second section ⁇ , the possibility that the curvature increases excessively in the distance is reduced.
  • the road shape recognition device 20 has the following effects.
  • the error increases as the distance from the recognition range RC increases.
  • the estimation of the white line shape by a curve with a low curvature estimation rate with a low parameter estimation accuracy is assumed to be from the end EP of the recognition range RC to the first distance D1, and a curve with a constant curvature beyond the first distance D1. It is said. For this reason, the deviation between the estimated white line shape on the road TL and the actual white line shape on the road TL can be reduced.
  • the curvature at the first distance D1 of the white line in the first section ⁇ is used as the curvature in the second section ⁇ . Therefore, the curve of the first section ⁇ and the curve of the second section ⁇ can be changed continuously.
  • the shape of the curve section of the actual road shifts to a section with a constant curvature through a relaxation section set based on a clothoid curve with a constant curvature change rate.
  • the first section ⁇ in which the curvature change rate is constant from the end EP of the recognition range RC to the first distance D1 and the second section ⁇ in which the curvature is constant beyond the first distance D1.
  • the white line shape on the road TL beyond the recognition range RC can be estimated as a shape that approximates the white line shape on the actual road TL.
  • Second Embodiment This embodiment has the same overall configuration as the first embodiment, and the processing executed by the white line estimation unit 22 is different.
  • the memory of the road shape recognition device 20 stores a second distance D2 that is a value larger than the first distance D1 in addition to the first distance D1.
  • the section up to the first distance D1 is a curve having a constant curvature change rate, is a section beyond the first distance D1, and up to the second distance D2.
  • the section is a curve with a constant curvature, and the section beyond the second distance D2 is a straight line.
  • FIG. 6 shows a white line shape outside the recognition range RC estimated by the white line estimation unit 22 in this embodiment.
  • the section outside the recognition range RC and up to the first distance D1 is the first section ⁇ in which the white line shape on the road TL is estimated as a curve having a constant curvature change rate, as in the first embodiment. .
  • the white line shape on the road TL is estimated as a curve with a constant curvature using the curvature in the section up to the first distance D1, as in the first embodiment. Is the second interval ⁇ .
  • the white line shape on the road TL is estimated as a straight line that is an extension of the tangent line at the second distance D2 of the curve in which the curvature of the second section ⁇ is constant. It becomes section ⁇ .
  • This embodiment has the following effects in addition to the effects of the first embodiment by the above configuration.
  • the white line shape on the road TL beyond the first distance D1 is estimated as a curve with a constant curvature in order to suppress the deviation from the white line shape on the actual road TL in the section beyond the first distance D1
  • the road shape recognition device for calculating the white line shape on the road TL beyond the second distance D2 can be suppressed.
  • the road shape recognition apparatus 20 has the same overall configuration as that of the second embodiment, and the processing executed by the white line estimation unit 22 is partially different.
  • the recognition distance Drec is determined based on the white line shape on the road TL recognized by the white line recognition unit 21. This recognition distance Drec is obtained as the length of the white line WL on the road TL within the recognition range RC.
  • FIG. 7A shows a road TL imaged when there is no preceding vehicle and there is a certain illuminance
  • FIG. 7B shows a white line due to the presence of the preceding vehicle and the preceding vehicle.
  • the road TL imaged when a part of WL is concealed is shown
  • FIG. 7C shows the road imaged at night, although the road TL is illuminated by the headlight of the vehicle 40.
  • region is shown.
  • FIGS. 8A to 8C show the recognition distance Drec in the case of FIGS. 7A to 7C, respectively.
  • FIG. 7B a part of the white line is concealed by the vehicle ahead, and in FIG. 7C, only the white line WL on the road TL in the irradiation area can be recognized. Therefore, the recognition distance Drec shown in FIGS. 8B and 8C is shorter than the recognition distance Drec shown in FIG. That is, the length of the white line WL on the road TL recognized from the captured road image changes depending on various conditions.
  • the white line WL on the road TL in the recognition range RC is approximated with a cubic curve, and from the end portion EP of the recognition range RC using the cubic curve.
  • the white line WL on the road TL up to the first distance D1 is estimated.
  • Drec the greater the error in approximating the cubic curve to the white line shape on the road TL.
  • the farther the first distance D1 is the greater the deviation from the white line WL on the actual road TL due to the influence of the error.
  • the first distance D1 and the second distance D2 are variably set using the recognition distance Drec.
  • FIG. 9 shows the relationship between the recognition distance Drec and the first distance D1 and the second distance D2.
  • a point separated from the vehicle 40 by the recognition distance Drec is defined as a zero point of the first distance D1 and the second distance D2. That is, when the first distance D1 and / or the second distance D2 is zero, the first distance D1 and / or the second distance D2 is set at a position separated from the vehicle 40 by the recognition distance Drec.
  • the first distance D1 is a function that is zero at the first threshold value Dtsd1 (> 0) of the recognition distance Drec and increases in proportion to the recognition distance Drec.
  • the second distance D2 is a function that is zero at the second threshold value Dtsd2 (> 0) that is smaller than the first threshold value Dtsd1 and increases in proportion to the recognition distance Drec. That is, the longer the recognition distance Drec, the larger the range approximated by a curve with a constant curvature change rate.
  • the position of the vehicle 40 may be the zero points of the first distance D1 and the second distance D2.
  • the recognition distance Drec is equal to or less than the first threshold value Dtsd1
  • the first distance D1 may be set to a value equal to the recognition distance Drec
  • the recognition distance Drec is equal to or less than the second threshold value Dtsd2.
  • the first distance D1 and the second distance D2 may be set to a value equal to the recognition distance Drec.
  • the recognition distance Drec is equal to or less than the first threshold value Dtsd1
  • the first distance D1 may not be set.
  • the recognition distance Drec is equal to or less than the second threshold value Dtsd2
  • the first distance D1 and the first distance D1 The two distance D2 may not be set.
  • the first section ⁇ is assumed to have a constant curvature change rate up to the first distance D1 beyond the recognition range RC. From the first distance D1 to the second distance D2, the second section ⁇ is assumed to have a constant curvature. In addition, the distance after the second distance D2 is the third section ⁇ estimated to be a straight line.
  • the recognition distance Drec is smaller than the first threshold value Dtsd1 and larger than the second threshold value Dtsd2, the first distance D1 is not used, and the curvature is further up to the second distance D2 beyond the recognition range RC.
  • the curve with a constant curvature for estimating the white line shape in the second section ⁇ is, for example, approximating the white line WL on the road TL in the recognition range RC with a quadratic curve, or in the recognition range RC It is obtained by calculating the curvature.
  • the recognition distance Drec is smaller than the second threshold value Dtsd2 is a case where the recognized white line WL is short and it is difficult to approximate it as a curve. Therefore, when the recognition distance Drec is smaller than the second threshold value Dtsd2, the distance beyond the recognition range RC is set as the third section ⁇ estimated as a straight line.
  • FIG. 10 shows a white line shape on the road TL estimated when the recognition distance Drec is smaller than the first threshold value Dtsd1 and larger than the second threshold value Dtsd2.
  • the first section ⁇ where the curvature change rate is constant is not provided, but is the second section ⁇ where the curvature is constant outside the recognition range RC and up to the second distance D2, and the distance beyond the second distance D2 is a white line.
  • the third section ⁇ which is assumed to be a straight line.
  • the first embodiment using the first distance D1 and the second distance D2 is modified to change the first distance D1 and the second distance D2 in accordance with the recognition distance Drec.
  • the second distance D2 is not used, the first section ⁇ having a constant curvature change rate up to the first distance D1, and the second section having a constant curvature beyond the first distance D1. The same applies to the case of ⁇ .
  • the road shape recognition device 20 has the following effects.
  • the length of the white line WL on the road TL in the recognition range RC is obtained as the recognition distance Drec.
  • the first distance D1 and the second distance D2 are changed according to the recognition distance Drec.
  • the first distance D1 and / or the second distance D2 is set using other than the recognition distance Drec. It may be changed. On highways, automobile roads, main roads, etc., clothoid parameters are often used for curve sections.
  • the first distance D1 is set to be far and the white line shape on the road TL outside the recognition range RC is estimated by a cubic curve that approximates the white line shape on the road TL within the recognition range RC, the actual road The deviation from the white line shape on TL is reduced.
  • clothoid parameters are often not used for curve sections. For this reason, the curvature of the road TL varies in various ways, and when the white line shape on the road TL outside the recognition range RC is estimated using the white line shape on the road TL within the recognition range RC, the deviation becomes large.
  • the first distance D1 and / or the second distance D2 may be changed by determining the type of road using the conditions (first conditions) shown in the following (a) to (d).
  • the following (a) to (d) can be used at the same time, and can be used simultaneously with the third embodiment.
  • the road shape recognition device 20 acquires the vehicle speed from a sensor included in the vehicle 40, and changes the first distance D1 and / or the second distance D2 based on the vehicle speed.
  • the average vehicle speed of the vehicle 40 is acquired. If the vehicle speed is high, there is a high possibility that the vehicle is traveling on a highway, an automobile exclusive road, a main road, etc. If the vehicle speed is low, the vehicle is likely to be traveling in an urban area or a mountain area. Therefore, the first distance D1 and / or the second distance D2 are changed so as to be proportional to the vehicle speed.
  • the white line recognition unit 21 of the road shape recognition device 20 calculates the distance between the white lines WL (the width of the road TL) based on the recognized pair of white line shapes on the road TL. Then, the first distance D1 and / or the second distance D2 is changed based on the calculated distance between the white lines WL.
  • the first distance D1 and / or the second distance D2 is changed so as to be proportional to the road width.
  • the road shape recognition device 20 acquires the map information and the current position of the vehicle 40, and changes the first distance D1 and / or the second distance D2 according to the acquired map information and the position of the vehicle 40. For example, when the vehicle 40 is traveling on an expressway, an automobile exclusive road, a main road, etc., the first distance D1 and / or the second distance D2 is increased, and the vehicle 40 travels in an urban area or a mountain area. If there is, the first distance D1 and / or the second distance D2 may be made small or zero.
  • the map information may be acquired and used from a navigation device provided in the vehicle 40, but is not limited thereto.
  • the road shape recognition device 20 may store the map information in the memory.
  • the navigation device and the memory may be shared, and the map information may be read from the shared memory.
  • the road shape recognition device 20 also functions as a map information acquisition unit and a vehicle position acquisition unit.
  • the road shape recognition device 20 acquires the past travel history of the vehicle 40 and the current position of the vehicle 40, and the first distance D1 and / or the first distance according to the acquired travel history and the current position of the vehicle 40. 2 distance D2 is changed.
  • the travel history is classified into a history that is judged to be traveling on a highway, a motorway, a main road, and a history that is judged to be traveling in an urban area, a mountainous area, or the like.
  • the first distance D1 and / or the second distance D2 is increased so that the vehicle 40 is in an urban area or a mountain area.
  • the first distance D1 and / or the second distance D2 may be made small or zero.
  • the road shape recognition device 20 also functions as a travel history acquisition unit and a vehicle position acquisition unit.
  • an upper limit may be provided for the estimated distance, and the white line WL on the road TL beyond the upper limit may not be estimated.
  • the first distance D1 and / or the second distance D2 are determined in the traveling direction of the vehicle 40, but may be determined in the direction in which the road TL extends as shown in FIG.
  • the road shape is obtained by recognizing the white line WL.
  • the road shape may be obtained by recognizing a travel division line other than the white line WL.
  • requires a road shape by recognizing the structure on the road provided along a road, such as a guardrail and a median strip.
  • the road image is acquired by the in-vehicle camera 10, but the road image may be acquired using a laser sensor or the like.
  • the proportionality constants are the same, but they may be different.
  • the first distance D1 and the second distance D2 are proportional to the recognition distance Drec, but may be changed stepwise.
  • the first distance D1 and the second distance D2 may be changed step by step for each of the above modifications.
  • the curvature of the curve is increased.
  • the present invention can be similarly applied to the case where the curvature is decreased, such as at the exit of the curve. That is, the curvature decreases at a constant rate of change and gradually approaches a straight line. In this case, when the curvature becomes zero before the first distance D1, the distance beyond that point is estimated as a straight line.
  • the curvature change rate may be a constant curve until the curvature becomes zero. Further, even after the curvature becomes zero, the curve may have a constant curvature change rate until the first distance D1. Also in this process, it is possible to determine whether or not the vehicle is traveling in a mountainous area using a condition (second condition) according to the modified examples (a) to (d). For example, it may be determined that the vehicle 40 is traveling in a mountainous area when the speed of the vehicle 40 is smaller than a predetermined value using the modification (a).

Abstract

　道路形状認識装置は、車両に搭載される。道路形状認識装置は、道路画像を取得し、その道路画像を用いて道路形状を求め、所定の認識範囲内の道路画像に基づいて道路形状を認識し、認識範囲内の道路形状に基づいて、認識範囲外の道路形状を推定する。道路形状認識装置は、認識範囲外であり、且つ、第１距離以内の道路形状を、曲率変化率が一定である曲線として推定し、第１距離以遠の道路形状を、曲率が一定である曲線として推定する。

Description

道路形状認識装置
　本発明は、撮像された道路画像に基づいて、道路の形状を認識する道路形状認識装置に関する。
　従来、撮像された道路画像に基づいて、走行区画線等により道路形状を認識する装置として、特許文献１に記載されたものがある。特許文献１に記載された装置では、撮像された道路画像から道路の曲率及びクロソイドパラメータ（曲率変化率が一定であるパラメータ）を算出しており、算出されたクロソイドパラメータを用いて、車両の挙動を予測している。
特開２００１－１０５２４号公報
　ところで、撮像された道路画像により道路形状を認識した際に、認識した道路形状を用いて認識範囲外の道路形状を推定することが可能である。しかしながら、画像認識により得られるクロソイドパラメータの精度は低く、遠方の道路形状をクロソイドパラメータにより推定する場合には、実際の道路形状と推定された道路形状との乖離が増大することが問題となる。
　本発明は、上記課題を解決するためになされたものであり、その主たる目的は、認識範囲よりも遠方の道路形状を、精度よく推定することができる道路形状認識装置を提供することにある。
　本発明は、車両に搭載された道路画像取得手段により道路画像を取得し、その道路画像を用いて道路形状を求める道路形状認識装置であって、所定の認識範囲内の道路画像に基づいて道路形状を認識する認識処理手段と、認識範囲内の道路形状に基づいて、認識範囲外の道路形状を推定する推定処理手段と、を備え、推定処理手段は、認識範囲外であり、且つ、予め設定された第１距離以内の道路形状を、曲率変化率が一定である曲線として推定し、第１距離以遠の道路形状を、曲率が一定である曲線として推定することを特徴とする。
　道路形状の推定を、パラメータの推定精度が低い曲率変化率が一定である曲線を用いて行う場合、認識範囲から遠方であるほど誤差が大きくなる。上記構成では、パラメータの推定精度が低い曲率変化率が一定の曲線による道路形状の推定を第１距離までとし、第１距離以遠を曲率が一定の曲線としている。そのため、推定された道路形状と実際の道路形状との乖離を小さくすることができる。
　加えて、実際の道路のカーブ区間の形状は、曲率変化率が一定であるクロソイド曲線に基づいて設定される緩和区間を経て、曲率が一定の区間へと移行する。この点、上記構成では、第１距離Ｄ１までは曲率変化率を一定とし、第１距離以遠は曲率を一定としているため、認識範囲以遠の道路形状を、実際の道路形状に近似する形状として推定することができる。
実施形態に係る道路形状認識装置の構成を示す図である。 車載カメラにより撮像される範囲を示す図である。 道路形状認識装置が実行する処理を示すフローチャートである。 （ａ）が撮像される道路を示す概略図であり、（ｂ）が白線認識処理を示す図である。 （ａ）が曲率変化率を一定として推定した道路上の白線形状を示す図であり、（ｂ）が、第１距離以遠の曲率を一定として推定した道路上の白線形状を示す図である。 第２実施形態における、第１距離までは曲率変化率を一定とし、第２距離までは曲率を一定とし、第２距離以遠を直線として推定した白線形状を示す図である。 （ａ）は、通常時に撮像される道路を示す概略図であり、（ｂ）及び（ｃ）が、認識距離が短くなる例を示している。 （ａ）～（ｃ）は、それぞれ、図７（ａ）～（ｃ）の場合における認識距離を示している。 第３実施形態における、認識距離と第１距離及び第２距離との関係を示している。 第３実施形態における、認識距離が第１距離よりも小さく第２距離よりも大きい場合に推定される白線形状を示す図である。 第１距離及び第２距離の設定方法の変形例を示す図である。
　＜第１実施形態＞
　以下、本実施形態に係る道路形状認識装置について、図面を参照しつつ説明する。本実施形態に係る道路形状認識装置は車両に搭載され、道路形状認識装置により認識された、道路幅や道路の曲率を含む道路形状は、例えば、車両が白線等の走行区画線から逸脱しないように制御するレーンキーピングアシストに用いられる。なお、本実施形態における道路形状認識装置は、道路上の白線の形状（白線形状）により道路形状を認識するものとしている。
　まず、図１を参照して、本実施形態に係る道路形状認識装置２０の構成について説明する。本実施形態に係る道路形状認識装置２０は、白線認識部２１（認識処理手段）及び白線推定部２２（推定処理手段）を備え、車載カメラ１０（道路画像取得手段）から入力された画像を処理して得られた白線形状を、車両制御装置３０に送信するように構成されている。
　車載カメラ１０は、ＣＣＤカメラ、ＣＭＯＳイメージセンサ、近赤外線カメラ等であり、図２（ａ）及び図２（ｂ）に示すように、車両４０の前方の走行路（道路）を撮像するように、車両４０に搭載されている。詳しくは、車載カメラ１０は、車両４０の車幅方向の中央、例えばルームミラーに取り付けられており、車両前方へ向けて所定角度範囲で広がる領域（図２（ａ）及び図２（ｂ）のハッチング領域）ＡＲを撮像する。
　道路形状認識装置２０は、ＣＰＵ、メモリ等を備えたコンピュータとして構成されている。ＣＰＵが、メモリに記憶されているプログラムを実行することにより、白線認識部２１及び白線推定部２２の機能を実現する。
　白線認識部２１が認識した道路上の白線形状、及び、白線推定部２２が推定した道路上の遠方白線形状は、車両制御装置３０へ入力される。車両制御装置３０は、図示しない各種センサから入力された車速やヨーレート等と、道路上の白線形状及び遠方白線形状とに基づいて制御を行う。すなわち、車速及びヨーレートにより車両４０の将来の位置を予測し、予測した車両４０の将来の位置と道路上の白線形状及び遠方白線形状とを用いて、車両４０が道路上の白線を逸脱するおそれがあるか否かを判断する。そして、例えば、車両制御装置３０が警報機能を有していれば、車両４０が道路上の白線を逸脱するおそれがあると判断した場合、車両４０が備えるディスプレイにより警告表示を行ったり、車両４０が備えるスピーカにより警告音を発生させたりする。また、車両制御装置３０が運転補助機能を有していれば、車両４０が道路上の白線を逸脱するおそれがあると判断した場合、ステアリングに操舵力を加える。
　図３は、道路形状認識装置２０の白線認識部２１及び白線推定部２２が実行する一連の処理を示すフローチャートであり、この処理は所定の制御周期で繰り返し実行される。また、図４（ａ）は撮像された道路画像の例を示しており、図４（ｂ）は、図３のフローチャートにより道路上の白線が検出される過程を示している。
　まず、白線認識部２１は、道路画像の輝度情報に基づきエッジ点Ｐを抽出し（ステップＳ１０１）、抽出したエッジ点Ｐに対してハフ変換を行う（ステップＳ１０２）。続いて、白線認識部２１は、ステップＳ１０２にて、エッジ点Ｐが複数個連続して並ぶ直線又は曲線の抽出を行う。この直線又は曲線の抽出が行われると、白線認識部２１は、その直線又は曲線を道路上の白線候補として、特徴量を算出する（ステップＳ１０３）。白線認識部２１は、その白線候補の中から、特徴量を用いて、車両４０の進行方向へと延びる一対の直線又は曲線を道路上の白線候補として絞り込む（ステップＳ１０４）。
　続いて、白線認識部２１は、エッジ点Ｐの鳥瞰変換を行う（ステップＳ１０５）。図４（ａ）及び図４（ｂ）で示すとおり、道路は鳥瞰視点で撮像されため、抽出される道路上の白線も鳥瞰図として取得される。そこで、白線認識部２１は、取得した道路上の白線候補のエッジ点Ｐに対して、車載カメラ１０の取り付け位置及び取り付け角度を用いて座標変換を行い、平面図へと変換する。このとき、平面図において、車載カメラ１０により撮像された範囲のうち、道路上の白線を認識することができた範囲を認識範囲と定義する。すなわち、認識することができた道路上の白線の、車両４０から最も離間した位置が、認識範囲の端部となる。
　そして、白線推定部２２は、平面図へと変換された道路上の白線形状を特定するパラメータを推定するために、その形状を多項式により近似する（ステップＳ１０６）。そして、白線推定部２２は、近似に用いた多項式を、認識範囲外へ延長させることで、認識範囲外の道路上の遠方白線形状を推定する（ステップＳ１０７）。
　続いて、図３のフローチャートにおける白線パラメータ推定処理（ステップＳ１０６）、及び、遠方白線形状推定処理（ステップＳ１０７）について詳述する。これらの処理は、白線推定部２２が実行する処理である。
　白線推定部２２は、まず、白線認識部２１が認識した道路上の白線のパラメータを算出する。白線のパラメータを算出する際には、道路のカーブ区間が、クロソイドパラメータを用いたクロソイド曲線として設計されていることを利用する。すなわち、道路のカーブ区間は、曲率の増加率が一定であるクロソイド曲線により定義される緩和区間、曲率が一定である区間、曲率の減少率が一定であるクロソイド曲線により定義される緩和区間の順に経て、直線区間へと移行する。
　ところで、曲率変化率が一定であるクロソイド曲線は、３次曲線で近似できることが知られている。そのため、３次曲線を示す下記数式（１）を用いて、認識範囲内の道路上の白線のパラメータを近似する。なお、数式（１）において、ｘは車両４０の進行方向の座標を示しており、ｆ（ｘ）は車両４０の進行方向に垂直に交差する方向の座標を示しており、また、ａ、ｂ、ｃ、ｄはそれぞれ定数である。
Figure JPOXMLDOC01-appb-M000001
 　そして、認識範囲の端部から所定距離離間した距離である第１距離Ｄ１に至るまでの道路上の白線を、上記数式１を用いて推定する。すなわち、認識範囲外の道路上の白線形状が、第１距離Ｄ１まで上記数式１に従って変化するものと仮定し、認識範囲外の白線の形状を上記数式１に従う曲線とする。なお、第１距離Ｄ１は、道路上の白線形状を３次曲線により近似した場合に、実際の形状とのずれが小さいと認められる距離として定義され、道路形状認識装置２０のメモリに記憶されている。
　続いて、第１距離Ｄ１以遠の道路上の白線形状を推定する。この時、第１距離Ｄ１におけるｘ座標をｘ１とすると、上記数式（１）により推定された白線の、第１距離Ｄ１における曲率を示すＣは下記数式２で表される。
Figure JPOXMLDOC01-appb-M000002
 　そして、上記数式（２）で曲率として求められたＣに基づく曲率一定の曲線として、第１距離Ｄ１以遠の道路上の白線形状が推定される。
　図５（ａ）は、認識範囲外の道路上の白線形状を、曲率が一定の曲率変化率で増加する曲線として推定した例を示している。一方、図５（ｂ）は、本実施形態に係る処理により求められた、認識範囲ＲＣの端部ＥＰから第１距離Ｄ１までの区間は曲率が一定の曲率変化率で増加する曲線として推定される第１区間αとし、第１距離Ｄ１以遠の区間は曲率が一定である曲線として推定される第２区間βとした道路上の白線形状を示している。
　図５（ａ）及び図５（ｂ）において、車両４０を頂点とした三角形の内部が認識範囲ＲＣであり、認識範囲ＲＣ内の道路ＴＬ上の白線ＷＬ、すなわち、白線認識部２１が認識した道路ＴＬ上の白線ＷＬを実線で示しており、認識範囲ＲＣ外の道路ＴＬの白線ＷＬ、すなわち、白線推定部２２が推定した道路ＴＬ上の白線ＷＬを破線で示している。図５（ａ）は、認識範囲ＲＣ外の全てで曲率変化率が一定であるため、遠方において曲率が過剰に大きくなっている。一方、図５（ｂ）では、第１区間αでは曲率が増加し、且つ、第２区間βでは曲率が一定である曲線となるため、遠方において曲率が過剰に増大するおそれが低減する。
　上記構成により、本実施形態に係る道路形状認識装置２０は以下の効果を奏する。
　・白線形状の推定を、パラメータの推定精度が低い曲率変化率が一定である曲線を用いて行う場合、認識範囲ＲＣから遠方であるほど誤差が大きくなる。本実施形態では、パラメータの推定精度が低い曲率変化率が一定の曲線による白線形状の推定を認識範囲ＲＣの端部ＥＰから第１距離Ｄ１までとし、第１距離Ｄ１以遠を曲率が一定の曲線としている。そのため、推定された道路ＴＬ上の白線形状と実際の道路ＴＬ上の白線形状との乖離を小さくすることができる。
　・第１区間αにおける白線の第１距離Ｄ１における曲率を、第２区間βにおける曲率として用いている。そのため、第１区間αの曲線と第２区間βの曲線とを連続的に変化する曲線とすることができる。
　・実際の道路のカーブ区間の形状は、曲率変化率が一定であるクロソイド曲線に基づいて設定される緩和区間を経て、曲率が一定の区間へと移行する。この点、本実施形態では、認識範囲ＲＣの端部ＥＰから第１距離Ｄ１までは曲率変化率が一定である第１区間αとし、第１距離Ｄ１以遠は曲率が一定である第２区間βとして推定している。そのため、本実施形態では、認識範囲ＲＣ以遠の道路ＴＬ上の白線形状を、実際の道路ＴＬ上における白線形状に近似する形状として推定することができる。
　＜第２実施形態＞
　本実施形態は、第１実施形態と全体構成は共通しており、白線推定部２２が実行する処理が異なっている。本実施形態では、道路形状認識装置２０のメモリには、第１距離Ｄ１に加えて第１距離Ｄ１よりも大きい値である第２距離Ｄ２も記憶されている。
　本実施形態では、認識範囲ＲＣ外の白線形状について、第１距離Ｄ１までの区間は、曲率変化率が一定の曲線とし、第１距離Ｄ１以遠の区間であり、且つ、第２距離Ｄ２までの区間は、曲率が一定の曲線とし、第２距離Ｄ２以遠の区間は、直線とする。
　図６は、本実施形態において、白線推定部２２が推定する、認識範囲ＲＣ外の白線形状を示している。認識範囲ＲＣ外であり、且つ、第１距離Ｄ１までの区間は、第１実施形態と同様に、曲率変化率が一定の曲線として道路ＴＬ上の白線形状が推定される第１区間αである。第１距離Ｄ１から第２距離Ｄ２までの区間は、第１実施形態と同様に、第１距離Ｄ１までの区間における曲率を用いて、曲率が一定である曲線として道路ＴＬ上の白線形状が推定される第２区間βである。さらに、第２距離Ｄ２以遠の区間は、第２区間βの曲率が一定である曲線の、第２距離Ｄ２における接線の延長線である直線として、道路ＴＬ上の白線形状が推定される第３区間γとなる。
　本実施形態は、上記構成により、第１実施形態が奏する効果に加えて以下の効果を奏する。
　・第１距離Ｄ１以遠の区間における実際の道路ＴＬ上の白線形状との乖離を抑制すべく、第１距離Ｄ１以遠の道路ＴＬ上の白線形状を曲率が一定の曲線として推定した場合においても、認識範囲ＲＣから遠方になるほど、その乖離幅は大きくなる。そのため、本実施形態では、第１距離Ｄ１に加えて第２距離Ｄ２を設け、第２距離Ｄ２以遠の区間については、道路ＴＬ上の白線形状を直線として推定しているため、実際の道路ＴＬ上の白線形状と推定された白線形状との乖離を抑制することができる。
　・本実施形態では、第２距離Ｄ２以遠の道路ＴＬ上の白線形状を直線として推定しているため、第２距離Ｄ２以遠の道路ＴＬ上の白線形状を算出する上での、道路形状認識装置２０の処理負荷を抑制することができる。
　＜第３実施形態＞
　本実施形態に係る道路形状認識装置２０は、全体構成は第２実施形態と共通しており、白線推定部２２が実行する処理が一部異なっている。
　本実施形態では、白線認識部２１が認識した道路ＴＬ上の白線形状に基づいて、認識距離Ｄｒｅｃを決定する。この認識距離Ｄｒｅｃは、認識範囲ＲＣ内の道路ＴＬ上の白線ＷＬの長さとして求められる。
　認識距離Ｄｒｅｃが変化する状況について、図７及び図８を用いて説明する。図７（ａ）は、前方車両が存在せず、且つ、一定の照度がある場合に撮像される道路ＴＬを示しており、図７（ｂ）は、前方車両が存在し、前方車両により白線ＷＬの一部が隠蔽される場合に撮像される道路ＴＬを示しており、図７（ｃ）は、夜間であり、車両４０のヘッドライトにより道路ＴＬを照射しているものの、撮像される道路ＴＬの範囲が照射領域内に制限される場合を示している。
　図８（ａ）～（ｃ）は、それぞれ、図７（ａ）～（ｃ）の場合における、認識距離Ｄｒｅｃを示している。図７（ｂ）では白線の一部が前方車両により隠蔽されており、図７（ｃ）では照射領域内の道路ＴＬ上の白線ＷＬのみが認識可能となっている。そのため、図８（ｂ）及び図８（ｃ）で示す認識距離Ｄｒｅｃは、図８（ａ）で示す認識距離Ｄｒｅｃと比較して短くなっている。すなわち、様々な条件により、撮像された道路画像から認識される道路ＴＬ上の白線ＷＬの長さは変化する。
　ところで、上記第１実施形態で記載したように、認識範囲ＲＣ内の道路ＴＬ上の白線ＷＬに対して３次曲線で近似を行い、その３次曲線を用いて認識範囲ＲＣの端部ＥＰから第１距離Ｄ１までの道路ＴＬ上の白線ＷＬを推定している。このとき、認識距離Ｄｒｅｃが短いほど、道路ＴＬ上の白線形状に対する３次曲線の近似の際の誤差が大きくなる。一方、近似の際に誤差が生じている場合、第１距離Ｄ１が遠方であるほど、その誤差の影響による実際の道路ＴＬ上の白線ＷＬとの乖離が大きくなる。第１距離Ｄ１以遠の曲率が一定の曲線についても、第１距離Ｄ１における曲率を用いるため、同様に乖離が大きくなる。そこで、本実施形態では、認識距離Ｄｒｅｃを用いて、第１距離Ｄ１及び第２距離Ｄ２を可変に設定する。
　図９に、認識距離Ｄｒｅｃと、第１距離Ｄ１及び第２距離Ｄ２との関係を示す。ここでは、車両４０から認識距離Ｄｒｅｃ離間した地点を、第１距離Ｄ１及び第２距離Ｄ２のゼロ点と定義している。すなわち、第１距離Ｄ１及び／又は第２距離Ｄ２がゼロである場合、第１距離Ｄ１及び／又は第２距離Ｄ２は、車両４０から認識距離Ｄｒｅｃだけ離間した位置に設定される。第１距離Ｄ１は、認識距離Ｄｒｅｃの第１閾値Ｄｔｓｄ１（＞０）においてゼロであり、認識距離Ｄｒｅｃに比例して増加する関数である。また、第２距離Ｄ２は、第１閾値Ｄｔｓｄ１よりも小さい値である第２閾値Ｄｔｓｄ２（＞０）においてゼロであり、認識距離Ｄｒｅｃに比例して増加する関数である。すなわち、認識距離Ｄｒｅｃが長いほど、曲率変化率が一定である曲線により近似される範囲が大きくなる。
　なお、第１距離Ｄ１及び第２距離Ｄ２のゼロ点を、車両４０から認識距離Ｄｒｅｃ離間した地点として定義したが、車両４０の位置を第１距離Ｄ１及び第２距離Ｄ２のゼロ点としてもよい。この場合には、認識距離Ｄｒｅｃが第１閾値Ｄｔｓｄ１以下である場合には、第１距離Ｄ１は認識距離Ｄｒｅｃと等しい値に設定されればよく、認識距離Ｄｒｅｃが第２閾値Ｄｔｓｄ２以下である場合には、第１距離Ｄ１及び第２距離Ｄ２は認識距離Ｄｒｅｃと等しい値に設定されればよい。また、認識距離Ｄｒｅｃが第１閾値Ｄｔｓｄ１以下である場合には、第１距離Ｄ１が設定されないものとしてもよく、認識距離Ｄｒｅｃが第２閾値Ｄｔｓｄ２以下である場合には、第１距離Ｄ１及び第２距離Ｄ２が設定されないものとしてもよい。
　認識距離Ｄｒｅｃが第１閾値Ｄｔｓｄ１よりも大きい場合には、認識範囲ＲＣ以遠において、第１距離Ｄ１までは、曲率変化率が一定であると推定される第１区間αとなる。第１距離Ｄ１から第２距離Ｄ２までは、曲率が一定であると推定される第２区間βとなる。加えて、第２距離Ｄ２以遠は、直線であると推定される第３区間γとなる。
　一方、認識距離Ｄｒｅｃが第１閾値Ｄｔｓｄ１よりも小さく、且つ、第２閾値Ｄｔｓｄ２よりも大きい場合には、第１距離Ｄ１は用いられず、認識範囲ＲＣ以遠において、第２距離Ｄ２までは、曲率が一定であると推定される第２区間βとなり、第２距離Ｄ２以遠は、直線であると推定される第３区間γとなる。このとき、第２区間βにおける白線形状を推定するための曲率が一定の曲線は、例えば、認識範囲ＲＣ内の道路ＴＬ上の白線ＷＬを二次曲線で近似する、若しくは、認識範囲ＲＣ内における曲率を算出することにより、求められる。
　加えて、認識距離Ｄｒｅｃが第２閾値Ｄｔｓｄ２よりも小さい場合とは、認識された白線ＷＬが短く、曲線として近似することが困難な場合である。そのため、認識距離Ｄｒｅｃが第２閾値Ｄｔｓｄ２よりも小さい場合には、認識範囲ＲＣ以遠を、直線として推定する第３区間γとする。
　図１０は、認識距離Ｄｒｅｃが第１閾値Ｄｔｓｄ１よりも小さく、且つ、第２閾値Ｄｔｓｄ２よりも大きい場合に推定される、道路ＴＬ上の白線形状を示している。この場合、曲率変化率が一定である第１区間αは設けられず、認識範囲ＲＣ外であり且つ第２距離Ｄ２までが曲率が一定である第２区間βとなり、第２距離Ｄ２以遠は白線が直線であるとされる第３区間γとなる。
　なお、本実施形態では、第１距離Ｄ１及び第２距離Ｄ２を用いる第２実施形態を変形して、第１距離Ｄ１及び第２距離Ｄ２が認識距離Ｄｒｅｃに応じて変化するものとした。しかしながら、第１実施形態のごとく、第２距離Ｄ２を用いず、第１距離Ｄ１までは曲率変化率が一定である第１区間αとし、第１距離Ｄ１以遠を曲率が一定である第２区間βとするものについても同様に適用できる。
　上記構成により、本実施形態に係る道路形状認識装置２０は以下の効果を奏する。
　・認識範囲ＲＣが小さいほど、道路ＴＬ上の白線形状を３次曲線で近似する際の誤差が大きくなる。そして、その誤差は、認識範囲ＲＣ外の道路ＴＬ上の白線形状を推定する際に、遠方になるほど、実際の道路ＴＬ上の白線形状との乖離が大きくなる。
　本実施形態では、認識範囲ＲＣ内における道路ＴＬ上の白線ＷＬの長さを認識距離Ｄｒｅｃとして求め、認識距離Ｄｒｅｃが短いほど第１距離Ｄ１を短く設定し、認識距離Ｄｒｅｃが長いほど第１距離Ｄ１を長く設定している。そのため、認識距離Ｄｒｅｃが長く、道路ＴＬ上の白線形状を３次曲線で近似した際の誤差が小さい場合には、より遠方まで曲率変化率が一定である曲線として推定することができる。一方、認識距離Ｄｒｅｃが短く、道路ＴＬ上の白線形状を３次曲線で近似した際の誤差が大きい場合には、曲率変化率が一定である曲線として推定する区間を短くすることができる。
　＜変形例＞
　・上記第３実施形態では、認識距離Ｄｒｅｃに応じて第１距離Ｄ１及び第２距離Ｄ２が変化するものとしたが、認識距離Ｄｒｅｃ以外を用いて第１距離Ｄ１及び／又は第２距離Ｄ２を変化させてもよい。高速道路、自動車専用道路、幹線道路等は、カーブ区間にクロソイドパラメータが用いられている場合が多い。
　そのため、第１距離Ｄ１を遠方に設定し、認識範囲ＲＣ内の道路ＴＬ上の白線形状に近似する３次曲線により認識範囲ＲＣ外の道路ＴＬ上の白線形状を推定しても、実際の道路ＴＬ上の白線形状との乖離は小さくなる。一方、市街地や山間部では、カーブ区間にクロソイドパラメータが用いられていない場合も多い。そのため、道路ＴＬの曲率は多様に変化し、認識範囲ＲＣ内の道路ＴＬ上の白線形状を用いて認識範囲ＲＣ外の道路ＴＬ上の白線形状を推定する場合に、その乖離が大きくなる。
　そこで、以下の（ａ）～（ｄ）に示す条件（第１条件）を用いて道路の種類を判別し、第１距離Ｄ１及び／又は第２距離Ｄ２を変化させてもよい。なお、以下の（ａ）～（ｄ）は、それぞれ同時に用いることができ、また、上記第３実施形態と同時に用いることもできる。
　（ａ）道路形状認識装置２０が、車両４０が備えるセンサから車速を取得し、車速に基づいて第１距離Ｄ１及び／又は第２距離Ｄ２を変化させる。この場合、例えば、車両４０の平均車速を取得する。車速が大きければ、高速道路、自動車専用道路、幹線道路等を走行している可能性が高く、車速が小さければ、市街地や山間部を走行している可能性が高い。そのため、車速に比例するように、第１距離Ｄ１及び／又は第２距離Ｄ２を変化させる。
　（ｂ）道路形状認識装置２０の白線認識部２１が、認識した道路ＴＬ上の一対の白線形状に基づいて、白線ＷＬ間の距離（道路ＴＬの幅）を算出する。そして、算出された白線ＷＬ間の距離に基づいて第１距離Ｄ１及び／又は第２距離Ｄ２を変化させる。一般的に、高速道路、自動車専用道路、幹線道路等は道路幅が大きく、市街地や山間部は道路幅が小さい。そのため、道路幅に比例するように、第１距離Ｄ１及び／又は第２距離Ｄ２を変化させる。
　（ｃ）道路形状認識装置２０が地図情報及び車両４０の現在の位置を取得し、取得した地図情報と車両４０の位置とに応じて第１距離Ｄ１及び／又は第２距離Ｄ２を変化させる。例えば、車両４０が高速道路、自動車専用道路、幹線道路等を走行している場合には、第１距離Ｄ１及び／又は第２距離Ｄ２を大きくし、車両４０が市街地や山間部を走行している場合には、第１距離Ｄ１及び／又は第２距離Ｄ２を小さく、若しくは、ゼロとすればよい。
　地図情報は、車両４０が備えるナビゲーション装置等から取得して使用すればよいが、これに限られることはなく、例えば、道路形状認識装置２０がメモリ内に地図情報を格納していてもよく、ナビゲーション装置とメモリを共有し、共有のメモリから地図情報を読み出すものとしてもよい。なお、この場合には、道路形状認識装置２０は地図情報取得手段及び車両位置取得手段としても機能する。
　（ｄ）道路形状認識装置２０が車両４０の過去の走行履歴及び車両４０の現在の位置を取得し、取得した走行履歴と車両４０の現在の位置とに応じて第１距離Ｄ１及び／又は第２距離Ｄ２を変化させる。このとき、走行履歴は、高速道路、自動車専用道路、幹線道路等を走行していると判断される履歴や、市街地、山間部等を走行していると判断される履歴等に区別されている。そして、車両４０の現在の位置が高速道路、自動車専用道路、幹線道路等を走行している場合には、第１距離Ｄ１及び／又は第２距離Ｄ２を大きくし、車両４０が市街地や山間部を走行している場合には、第１距離Ｄ１及び／又は第２距離Ｄ２を小さく、若しくは、ゼロとすればよい。なお、この場合には、道路形状認識装置２０は走行履歴取得手段及び車両位置取得手段としても機能する。
　・上記各実施形態では、推定する距離について上限を設け、上限以遠の道路ＴＬ上の白線ＷＬについては推定しないものとしてもよい。
　・上記各実施形態では、第１距離Ｄ１及び／又は第２距離Ｄ２を車両４０の進行方向に定めたが、図１１に示すように、道路ＴＬの延びる方向に定められてもよい。
　・上記各実施形態では、白線ＷＬを認識することにより道路形状を求めるものとしたが、白線ＷＬ以外の走行区画線を認識して道路形状を求めるものとしてもよい。また、ガードレールや中央分離帯など、道路に沿って設けられる道路上の構造物を認識して道路形状を求めるものとしてもよい。
　・上記各実施形態では、車載カメラ１０により道路画像を取得するものとしたが、レーザセンサ等を用いて道路画像を取得するものとしてもよい。
　・上記第３実施形態では、認識距離Ｄｒｅｃに基づいて第１距離Ｄ１及び第２距離Ｄ２を求める際に、比例定数を同じものとしているが、異なっていてもよい。
　・上記第３実施形態では、認識距離Ｄｒｅｃに、第１距離Ｄ１及び第２距離Ｄ２が比例するものとしたが、段階的に変化するものとしてもよい。上記各変形例についても、第１距離Ｄ１及び第２距離Ｄ２が段階的に変化するものとしてもよい。
　・上記各実施形態では、カーブの曲率が増加するものを示したが、カーブの出口等の、曲率が減少する場合においても同様に実施することができる。すなわち、曲率が一定の変化率で減少し、徐々に直線に近づくものとする。この場合には、第１距離Ｄ１以前に曲率がゼロとなった場合には、その地点以遠を直線として推定する。
　ところで、山間部の道路では、Ｓ字カーブが多く設けられている。そのため、山間部の道路では、曲率がゼロとなるまで曲率変化率が一定の曲線とし、さらに、曲率がゼロとなった以降も、第１距離Ｄ１まで曲率変化率が一定の曲線としてもよい。この処理についても、上記（ａ）～（ｄ）の変形例に準ずる条件（第２条件）を用いて、山間部を走行しているか否かの判断を行うことができる。例えば、上記（ａ）の変形例を用いて、車両４０の速度が所定値よりも小さい場合に、山間部を走行していると判断するものとしてもよい。
　１０…車載カメラ、２０…道路形状認識装置、２１…白線認識部、２２…白線推定部、４０…車両、Ｄ１…第１距離、Ｄ２…第２距離、Ｄｒｅｃ…認識距離。

Claims (16)

  1. 　車両（４０）に搭載された道路画像取得手段（１０）により道路画像を取得し、その道路画像を用いて道路形状を求める道路形状認識装置（２０）であって、
    　所定の認識範囲内の道路画像に基づいて道路形状を認識する認識処理手段（２１）と、
    　前記認識範囲内の前記道路形状に基づいて、前記認識範囲外の道路形状を推定する推定処理手段（２２）と、を備え、
    　前記推定処理手段は、前記認識範囲外であり、且つ、予め設定された第１距離（Ｄ１）以内の前記道路形状を、曲率変化率が一定である曲線として推定し、前記第１距離以遠の前記道路形状を、曲率が一定である曲線として推定することを特徴とする道路形状認識装置。
  2. 　前記第１距離以遠の前記道路形状は、前記第１距離における前記曲線の曲率を用いて推定されることを特徴とする請求項１に記載の道路形状認識装置。
  3. 　前記第１距離は、予め設定された第１条件に基づいて可変に設定されることを特徴とする請求項１又は２に記載の道路形状認識装置。
  4. 　前記第１距離よりも遠方の予め設定された第２距離（Ｄ２）以遠の前記道路形状を、直線として推定することを特徴とする請求項１～３のいずれか１項に記載の道路形状認識装置。
  5. 　前記第２距離以遠の前記道路形状は、前記第２距離における前記曲線の接線である直線として推定されることを特徴とする請求項４に記載の道路形状認識装置。
  6. 　前記第２距離は、予め設定された第１条件に基づいて可変に設定されることを特徴とする請求項４又は５に記載の道路形状認識装置。
  7. 　前記第１条件は、前記認識範囲内の前記道路の長さを示す認識距離（Ｄｒｅｃ）であることを特徴とする請求項３又は６に記載の道路形状認識装置。
  8. 　前記推定処理手段は、前記認識距離が所定値（Ｄｔｓｄ１）よりも大きい場合に、前記認識範囲外であり、且つ、前記第１距離以内の前記道路形状を、曲率変化率が一定である曲線として推定し、前記認識距離が所定値よりも小さい場合に、前記認識範囲外の前記道路形状を、曲率が一定の曲線として推定する手段をさらに備えることを特徴とする請求項７に記載の道路形状認識装置。
  9. 　前記第１条件は、前記車両が走行する道路の種類であることを特徴とする請求項３、６～８のいずれか１項に記載の道路形状認識装置。
  10. 　前記道路の種類を、前記車両の速度により判別することを特徴とする請求項９に記載の道路形状認識装置。
  11. 　前記道路の種類を、前記認識処理手段が認識した前記道路の幅により判別することを特徴とする請求項９又は１０に記載の道路形状認識装置。
  12. 　前記車両の位置を取得する車両位置取得手段をさらに備え、
    　前記道路の種類を、前記位置により判別することを特徴とする請求項９～１１のいずれか１項に記載の道路形状認識装置。
  13. 　前記推定処理手段は、前記曲率変化率が負の値である場合には、前記曲率がゼロとなるまで前記曲率変化率が一定である曲線として前記道路形状を推定し、前記曲率がゼロであると推定された地点以遠の前記道路形状を直線として推定することを特徴とする請求項１～１２のいずれか１項に記載の道路形状認識装置。
  14. 　前記推定処理手段は、予め設定された第２条件に基づいて、前記曲率がゼロとなった後も、前記曲率変化率が一定である曲線として前記道路形状を推定する手段を備えることを特徴とする請求項１３に記載の道路形状認識装置。
  15. 　前記第２条件は、前記車両の速度であることを特徴とする請求項１４に記載の道路形状認識装置。
  16. 　車両に搭載された道路画像取得手段により道路画像を取得し、その道路画像を用いて道路形状を求める道路形状認識方法であって、
    　前記車両に搭載された認識処理手段により、所定の認識範囲内の道路画像に基づいて道路形状を認識し、
    　前記車両に搭載された推定処理手段により、前記認識範囲内の前記道路形状に基づいて、前記認識範囲外の道路形状を推定し、
    　前記推定処理手段により、前記認識範囲外であり、且つ、予め設定された第１距離以内の前記道路形状を、曲率変化率が一定である曲線として推定し、前記第１距離以遠の前記道路形状を、曲率が一定である曲線として推定することを特徴とする道路形状認識方法。
PCT/JP2015/073679 2014-08-25 2015-08-24 道路形状認識装置 WO2016031753A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/506,614 US10176387B2 (en) 2014-08-25 2015-08-24 Road shape recognition apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-170392 2014-08-25
JP2014170392A JP6285321B2 (ja) 2014-08-25 2014-08-25 道路形状認識装置

Publications (1)

Publication Number Publication Date
WO2016031753A1 true WO2016031753A1 (ja) 2016-03-03

Family

ID=55399643

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/073679 WO2016031753A1 (ja) 2014-08-25 2015-08-24 道路形状認識装置

Country Status (3)

Country Link
US (1) US10176387B2 (ja)
JP (1) JP6285321B2 (ja)
WO (1) WO2016031753A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10176387B2 (en) * 2014-08-25 2019-01-08 Denso Corporation Road shape recognition apparatus

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6363518B2 (ja) 2015-01-21 2018-07-25 株式会社デンソー 区画線認識装置
JP6540482B2 (ja) * 2015-12-04 2019-07-10 株式会社デンソー 情報処理システム、情報処理装置及び出力制御方法
JP6511406B2 (ja) * 2016-02-10 2019-05-15 クラリオン株式会社 キャリブレーションシステム、キャリブレーション装置
JP6855695B2 (ja) * 2016-07-21 2021-04-07 いすゞ自動車株式会社 画像処理装置及び画像処理方法
JP7024176B2 (ja) * 2016-09-27 2022-02-24 日産自動車株式会社 走路検出方法及び走路検出装置
US10782704B2 (en) * 2017-01-30 2020-09-22 Toyota Motor Engineering & Manufacturing North America, Inc. Determination of roadway features
KR102254973B1 (ko) * 2017-04-25 2021-05-24 현대모비스 주식회사 주행 차선 안내 장치 및 그 제어 방법
JP6937218B2 (ja) * 2017-10-19 2021-09-22 株式会社東芝 情報処理装置、情報処理方法、およびプログラム
US10824155B2 (en) * 2018-08-22 2020-11-03 Ford Global Technologies, Llc Predicting movement intent of objects
WO2020065745A1 (ja) 2018-09-26 2020-04-02 三菱電機株式会社 走行経路生成装置および車両制御装置
DE102019102922A1 (de) * 2019-02-06 2020-08-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Multi-Sensor-Datenfusion für automatisierte und autonome Fahrzeuge
US20210001861A1 (en) * 2019-07-05 2021-01-07 Byton North America Corporation Road type recognition
US11938946B2 (en) * 2019-07-18 2024-03-26 Mitsubishi Electric Corporation Lane shape recognition system and lane shape recognition method
JP7323493B2 (ja) * 2020-06-22 2023-08-08 株式会社Soken 道路形状認識装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09218937A (ja) * 1996-02-08 1997-08-19 Nippon Soken Inc 区画線検出装置
JP2009140192A (ja) * 2007-12-05 2009-06-25 Zhencheng Hu 道路白線検出方法、道路白線検出プログラムおよび道路白線検出装置
JP2010221909A (ja) * 2009-03-24 2010-10-07 Hitachi Automotive Systems Ltd 走行環境認識装置および車両制御装置
JP2011028659A (ja) * 2009-07-29 2011-02-10 Hitachi Automotive Systems Ltd 道路形状認識装置
WO2012137354A1 (ja) * 2011-04-08 2012-10-11 トヨタ自動車株式会社 道路形状推定システム
JP2014109795A (ja) * 2012-11-30 2014-06-12 Toyota Motor Corp 車両位置推定装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3753893B2 (ja) 1999-06-29 2006-03-08 本田技研工業株式会社 走行車両の制御装置
JP3521860B2 (ja) * 2000-10-02 2004-04-26 日産自動車株式会社 車両の走行路認識装置
US6819779B1 (en) * 2000-11-22 2004-11-16 Cognex Corporation Lane detection system and apparatus
US6718259B1 (en) * 2002-10-02 2004-04-06 Hrl Laboratories, Llc Adaptive Kalman filter method for accurate estimation of forward path geometry of an automobile
JP4860391B2 (ja) * 2006-07-27 2012-01-25 本田技研工業株式会社 車両の走行安全装置
DE102006038018A1 (de) * 2006-08-14 2008-02-21 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerassistenz durch Erzeugung von Spurinformationen zur Unterstützung oder zum Ersatz von Spurinformationen einer videobasierten Spurinformationseinrichtung
JP4869858B2 (ja) * 2006-10-05 2012-02-08 クラリオン株式会社 車両の走行制御システム
JP4931714B2 (ja) * 2007-07-11 2012-05-16 株式会社デンソー 車速制御装置及び車速制御プログラム
JP5359516B2 (ja) * 2008-07-29 2013-12-04 日産自動車株式会社 車両運転支援装置及び車両運転支援方法
JP5618744B2 (ja) * 2010-05-26 2014-11-05 三菱電機株式会社 道路形状推定装置及びコンピュータプログラム及び道路形状推定方法
BR112013025832A2 (pt) * 2011-04-08 2016-12-20 Toyota Motor Co Ltd sistema de apoio de condução
US8577552B1 (en) * 2012-08-13 2013-11-05 Ford Global Technologies, Llc Forward collision warning system with road-side target filtering
WO2014070448A1 (en) * 2012-10-31 2014-05-08 Tk Holdings, Inc. Vehicular path sensing system and method
KR101502510B1 (ko) * 2013-11-26 2015-03-13 현대모비스 주식회사 차량의 차선 유지 제어 장치 및 방법
JP5874756B2 (ja) * 2014-02-07 2016-03-02 トヨタ自動車株式会社 区画線検出システム及び区画線検出方法
JP6285321B2 (ja) * 2014-08-25 2018-02-28 株式会社Ｓｏｋｅｎ 道路形状認識装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09218937A (ja) * 1996-02-08 1997-08-19 Nippon Soken Inc 区画線検出装置
JP2009140192A (ja) * 2007-12-05 2009-06-25 Zhencheng Hu 道路白線検出方法、道路白線検出プログラムおよび道路白線検出装置
JP2010221909A (ja) * 2009-03-24 2010-10-07 Hitachi Automotive Systems Ltd 走行環境認識装置および車両制御装置
JP2011028659A (ja) * 2009-07-29 2011-02-10 Hitachi Automotive Systems Ltd 道路形状認識装置
WO2012137354A1 (ja) * 2011-04-08 2012-10-11 トヨタ自動車株式会社 道路形状推定システム
JP2014109795A (ja) * 2012-11-30 2014-06-12 Toyota Motor Corp 車両位置推定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHOICHI SHIMIZU ET AL.: "Development of road contours recognition system utilizing delineators at night", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRICAL ENGINEERS OF JAPAN C, vol. 129, no. 5, 1 May 2009 (2009-05-01), pages 932 - 939, ISSN: 0385-4221 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10176387B2 (en) * 2014-08-25 2019-01-08 Denso Corporation Road shape recognition apparatus

Also Published As

Publication number Publication date
JP2016043837A (ja) 2016-04-04
JP6285321B2 (ja) 2018-02-28
US20170270373A1 (en) 2017-09-21
US10176387B2 (en) 2019-01-08

Similar Documents

Publication Publication Date Title
JP6285321B2 (ja) 道路形状認識装置
US9669829B2 (en) Travel lane marking recognition system
US10503983B2 (en) Lane recognition apparatus and lane recognition method
JP3912416B2 (ja) 車両逸脱防止制御装置
US11124163B2 (en) Method for controlling travel of vehicle, and device for controlling travel of vehicle
US9074906B2 (en) Road shape recognition device
JP6140658B2 (ja) 走行区画線認識装置、走行区画線認識プログラム
CN109969174B (zh) 车辆控制装置
JP6132359B2 (ja) 走行区画線認識装置
CN107209998B (zh) 车道线识别装置以及车道线识别方法
US20120277990A1 (en) Method and apparatus for determining a plausible lane for guiding a vehicle and an automobile
JP5852036B2 (ja) 車載装置
JP2017116450A (ja) 道路曲率計測装置
US20150285614A1 (en) Travel path estimation apparatus and travel path estimation program
JP2015069289A (ja) 車線認識装置
JP6593695B2 (ja) 車線変更操舵制御システム
JP2009252198A (ja) 走行環境推測装置、方法及びプログラム並びに車線逸脱警報装置及び操舵アシスト装置
JP6449627B2 (ja) 走行区画線認識装置
JP6115429B2 (ja) 自車位置認識装置
US10926760B2 (en) Information processing device, information processing method, and computer program product
JP6143184B2 (ja) 走行可否判定装置
JP2018206071A (ja) 区画線認識装置
JP5039013B2 (ja) 車両走行支援装置、車両、車両走行支援プログラム
JP7182963B2 (ja) 移動体検知システム及び移動体検知方法
JP2019027995A (ja) 情報処理装置、プログラム、及び車両位置の推定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15835921

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15506614

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15835921

Country of ref document: EP

Kind code of ref document: A1