WO2017020528A1 - 车道线的识别建模方法、装置、存储介质和设备及识别方法、装置、存储介质和设备 - Google Patents

车道线的识别建模方法、装置、存储介质和设备及识别方法、装置、存储介质和设备 Download PDF

Info

Publication number
WO2017020528A1
WO2017020528A1 PCT/CN2015/100175 CN2015100175W WO2017020528A1 WO 2017020528 A1 WO2017020528 A1 WO 2017020528A1 CN 2015100175 W CN2015100175 W CN 2015100175W WO 2017020528 A1 WO2017020528 A1 WO 2017020528A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
lane line
model
identified
region
Prior art date
Application number
PCT/CN2015/100175
Other languages
English (en)
French (fr)
Inventor
何贝
郝志会
Original Assignee
百度在线网络技术（北京）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 百度在线网络技术（北京）有限公司 filed Critical 百度在线网络技术（北京）有限公司
Priority to KR1020187005239A priority Critical patent/KR102143108B1/ko
Priority to US15/750,127 priority patent/US10699134B2/en
Priority to JP2018505645A priority patent/JP6739517B2/ja
Priority to EP15900291.4A priority patent/EP3321842B1/en
Publication of WO2017020528A1 publication Critical patent/WO2017020528A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2137—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps
    • G06F18/21375—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps involving differential geometry, e.g. embedding of pattern manifold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • Embodiments of the present disclosure relate to the field of location-based service technologies, and in particular, to a lane line identification modeling method, apparatus, storage medium and device, and identification method, apparatus, storage medium, and device.
  • the detection of the existing lane line basically follows the process of performing edge detection on the original image, binarizing the result of the edge detection, performing Hough transform, random Hough transform or ransac algorithm to extract the lane line for the binarization processing. Finally, the extracted lane lines are refined.
  • the recognition accuracy of the lane line is high.
  • the detection accuracy of the existing detection method is not high.
  • embodiments of the present disclosure provide a lane line identification modeling method, apparatus, storage medium and device, and identification method, apparatus, storage medium, and device to improve detection of lane lines. The accuracy of the test is measured.
  • an embodiment of the present disclosure provides a method for identifying a lane line, the method comprising:
  • a lane line recognition model based on convolutional neural networks is trained.
  • an embodiment of the present disclosure further provides a lane line identification modeling apparatus, where the apparatus includes:
  • An identification module configured to identify an image area of the lane line from the image based on the two-dimensional filtering
  • a training module is configured to train the lane line recognition model based on the convolutional neural network by using the model training data.
  • an embodiment of the present disclosure further provides a method for identifying a lane line, where the method includes:
  • model reconstruction is performed to identify lane lines in the input image.
  • an embodiment of the present disclosure further provides an identification device for a lane line, where the device includes:
  • a region identification module configured to identify an image region of the lane line from the image based on the two-dimensional filtering
  • a probability calculation module configured to input an image of an image region in which a lane line has been identified to a lane line recognition model based on a convolutional neural network, to obtain an output probability of the model
  • a model reconstruction module is configured to perform model reconstruction based on the output probability to identify a lane line in the input image.
  • embodiments of the present disclosure provide one or more storage containing computer executable instructions Membrane, the computer-executable instructions, when executed by a computer processor, for performing a recognition modeling method of a lane line, the method comprising:
  • a lane line recognition model based on convolutional neural networks is trained.
  • an embodiment of the present disclosure provides an apparatus, including:
  • One or more processors are One or more processors;
  • One or more programs the one or more programs being stored in the memory, and when executed by the one or more processors, performing the following operations:
  • a lane line recognition model based on convolutional neural networks is trained.
  • an embodiment of the present disclosure provides one or more storage media including computer executable instructions for performing a lane line identification method when executed by a computer processor, the method comprising:
  • model reconstruction is performed to identify lane lines in the input image.
  • an apparatus including:
  • One or more processors are One or more processors;
  • One or more programs the one or more programs being stored in the memory, and when executed by the one or more processors, performing the following operations:
  • model reconstruction is performed to identify lane lines in the input image.
  • the image of the image region in which the lane line has been identified is input to the lane line recognition model based on the convolutional neural network.
  • the lane line recognition model based on the convolutional neural network.
  • FIG. 1 is a flowchart of a method for identifying a lane line identification provided by a first embodiment of the present disclosure
  • FIG. 2 is a flowchart of a method for identifying and identifying a lane line according to a second embodiment of the present disclosure
  • FIG. 3 is a flow chart of a step of identifying a lane line identification modeling method according to a third embodiment of the present disclosure
  • FIG. 4 is a flowchart of construction steps in a lane line identification modeling method according to a fourth embodiment of the present disclosure
  • FIG. 5 is a schematic diagram of a region of interest provided by a fourth embodiment of the present disclosure.
  • FIG. 6 is a flowchart of a method for identifying a lane line according to a fifth embodiment of the present disclosure
  • FIG. 7A is a diagram of a recognition result of lane line recognition in a plurality of occlusion scenarios provided by a fifth embodiment of the present disclosure.
  • FIG. 7B is a diagram showing a recognition result of lane line recognition in a shadow scene provided by a fifth embodiment of the present disclosure.
  • FIG. 7C is a recognition knot of lane line recognition in an illumination conversion scenario according to a fifth embodiment of the present disclosure.
  • 7D is a diagram showing a recognition result of lane line recognition in a ground marker interference scene according to a fifth embodiment of the present disclosure.
  • FIG. 8 is a flowchart of a method for identifying a lane line according to a sixth embodiment of the present disclosure.
  • FIG. 9 is a structural diagram of a lane line identification modeling device according to a seventh embodiment of the present disclosure.
  • FIG. 10 is a structural diagram of an identification device for a lane line according to an eighth embodiment of the present disclosure.
  • FIG. 11 is a schematic diagram of a hardware structure of an apparatus for performing a lane line identification modeling method according to a tenth embodiment of the present disclosure
  • FIG. 12 is a schematic diagram showing the hardware structure of an apparatus for performing a lane line identification method according to a twelfth embodiment of the present disclosure.
  • the lane line identification modeling method is performed by the lane line recognition modeling device.
  • the lane line identification modeling device can be integrated in a computing device such as a personal computer, a workstation, or a server.
  • the lane line identification modeling method includes:
  • the image is actually acquired on the roadway and contains image data of the lane line.
  • lane marking methods mostly have problems of poor adaptability and low recognition accuracy.
  • the specific performance is that once the image collection environment changes, for example, the lane lines in the image are largely obscured by other objects. Block, or a large number of shaded areas appear in the image, the false alarm or misjudgment will occur for the recognition of the lane line in the image.
  • this embodiment provides a training method for a lane line recognition model, that is, a lane line recognition modeling method.
  • a convolutional neural network for accurately identifying lane lines in an image can be trained.
  • the convolutional neural network can adapt to scene changes of the image and has a wider range of adaptation.
  • the image area of the lane line may be enhanced by filtering the image, and then the image area of the lane line is acquired according to the enhancement. More specifically, a hat-like filter kernel for filtering the image is constructed, the image region of the lane line is enhanced by filtering the image by the hat-like filter, and the lane line is acquired according to the enhanced image region. Corresponding connected domains, and finally the boundary of the connected domain is straight-line fitted, thereby completing the recognition of the image area of the lane line.
  • S12 Construct model training data by using the identified image region.
  • model training data for training the lane line recognition model is constructed based on the image area of the lane line.
  • the image area of the lane line may be outwardly widened, and the widened image area may be used as the area of interest.
  • the region of interest is training data for training the lane line recognition model.
  • the lane line recognition model is a lane line recognition model based on a convolutional neural network.
  • the convolutional neural network includes a number of convolutional layers and sub-sample layers. The number of convolution layers is the same as the number of sub-sample layers.
  • the convolutional neural network also includes a number of fully connected layers. After acquiring an image input to the convolutional neural network, the convolutional neural network can give a probability that the image belongs to a real lane line The value, that is, the value of the output probability of the lane line recognition model.
  • the image region of the lane line is identified from the image based on the two-dimensional filtering, the model training data is constructed by using the identified image region, and the lane line recognition model based on the convolutional neural network is trained by using the model training data.
  • the comprehensive consideration of various abnormal situations that may occur in the image area of the lane line in the image is realized, and the detection accuracy of detecting the lane line is improved.
  • the present embodiment further provides a technical solution for the lane line identification modeling method based on the above embodiments of the present disclosure.
  • the method before the image region of the lane line is identified from the background image based on the two-dimensional filtering, the method further includes: performing inverse projection transformation on the original image to adjust the optical axis direction of the original image to be perpendicular to the ground. direction.
  • the method for identifying and identifying a lane line includes:
  • S21 Perform inverse projection transformation on the original image to adjust the optical axis direction of the original image to be perpendicular to the ground.
  • the optical axis of the camera used to acquire the image will acquire an image in a direction substantially parallel to the road surface.
  • the inverse projection transformation which is also referred to as an inverse perspective mapping, is used to map pixel points in a two-dimensional image acquired by a camera to a three-dimensional space. More specifically, it is assumed that the camera's pitch angle, yaw angle, and roll angle are ⁇ , ⁇ , and ⁇ , respectively, and the focal lengths of the camera in the vertical and horizontal directions are f u , f v , respectively, and the camera's optical center coordinates The abscissa and the ordinate are c u and c v respectively , and the normalized parameter is s, then the inverse projection transformation is performed according to the formula (1):
  • S23 Construct model training data by using the identified image region.
  • the original image is inversely projected and transformed, so that the optical axis direction of the original image is adjusted to be perpendicular to the ground, so that the input is
  • the images in the convolutional neural network are unified in the optical axis direction before being input to the convolutional neural network, which improves the accurate recognition rate of the lane lines in the image.
  • This embodiment is based on the above-described embodiment of the present disclosure, and further provides a technical solution for the identification step in the lane line identification modeling method.
  • the image area of the lane line is identified from the image based on the two-dimensional filtering, and the background image is filtered by using a hat-like filter kernel having different width parameters and height parameters, and the edge of the image is selected most obviously.
  • An image is used as a filtered result image; the filtered result image is binarized to form at least one connected domain; and the connected domain is subjected to straight line fitting of the connected domain by using a modified ransac algorithm.
  • the image area of the lane line is identified from the image, including:
  • I(x, y) is the gray value of the filtered pixel
  • I(u, v) is the gray value of the pixel before filtering
  • w is the width parameter of the filtering process
  • h is the height of the filtering process. parameter.
  • the parameter w is equal to the width of the lane line itself
  • the parameter h is equal to the height of the lane line itself.
  • the image is separately filtered by using a set of hat-like filter kernels having different width parameters and height parameters, and then an image with the most obvious image enhancement effect is obtained from the filtering result, and the image is used as a filter. Result image.
  • the region corresponding to the lane line in the filtered result image has a more significant difference from other regions of the image. At this time, if the filtered result image is binarized, the result of the binarization is more reliable.
  • the operation of performing the binarization processing on the filtered result image is specifically: taking a pixel whose gradation value of the pixel is higher than a preset gradation threshold as a pixel in the connected domain, and lowering the gradation value of the pixel Or a pixel equal to a preset gray threshold as a pixel outside the connected domain.
  • at least one connected domain is formed in the filtered result image.
  • the connected domain identifies the approximate location area of the lane line in the image.
  • this embodiment uses the improved ransac algorithm to fit the boundary of the connected domain in a straight line.
  • the Ransac (Random sample consensus) algorithm is based on a set of sample data sets containing abnormal data, and calculates mathematical model parameters of the data to obtain effective sample data.
  • the existing ransac algorithm does not consider the response intensity of the sample points used to fit the line when performing straight line fitting. In other words, in the existing ransac algorithm, all sample points have the same status.
  • the ransac algorithm provided in this embodiment takes the response intensity of different sample points as the weighting parameter of the sample point, weights each sample point, and performs line fitting according to the weighted value.
  • a plurality of sample points may be selected at the boundary of the connected domain, and the gray values of the samples are used as their own weighting parameters to calculate the number of inner points covered by the current model.
  • the straight line obtained by the improved ransac algorithm provided by the present embodiment can be obtained.
  • the background image is filtered by using a hat-like filter kernel with different width parameters and height parameters, and an image with the most obvious edge of the image is selected as a filtered result image, and the filtered result image is binarized.
  • Modeling the training data includes: widening the connected domain to form a region of interest on the image; and using the image containing the region of interest as the model training data.
  • constructing model training data by using the identified image regions includes:
  • the boundary is widened. Specifically, a predetermined number of pixel points may be widened in the width direction, and then a predetermined number of pixel points may be widened in the height direction. In this way, the region of interest after widening is formed.
  • Fig. 5 shows an example of the region of interest. Referring to Fig. 5, in this example, the area enclosed by the solid line 51 is the area of interest.
  • the background image information is used as the context of the lane line, thereby contributing to improving the recognition accuracy of the trained lane line recognition model.
  • the connected domain is widened to form an area of interest on the image, and an image including the region of interest is used as the model training data, thereby realizing the construction of the model training data, so as to enable The constructed training data models the lane line recognition model.
  • This embodiment provides a technical solution for the method for identifying a lane line.
  • the difference from the recognition modeling method of the lane line introduced in the above embodiment of the present disclosure is that the lane line identification modeling method is used to model the lane line recognition model, and the lane line provided by this embodiment
  • the identification method is to identify the lane line from the image by using the lane line recognition model established in the above embodiment.
  • the lane line identification method includes:
  • the image area of the lane line is identified from the image in the manner described in the third embodiment of the present invention. That is, the image is filtered by the hat-like filter kernel, and the filtered image is binarized. Finally, the improved ransac algorithm is used to fit the boundary of the connected domain obtained by binarization, thereby realizing Identification of the image area of the lane line.
  • the convolutional neural network Inputting an image of the image area of the lane line to the convolutional neural network, after acquiring the input image, the convolutional neural network calculates the image, and outputs each identified image in the image The probability that the image area of the lane line belongs to the image area of the real lane line
  • model reconstruction is performed according to a depth search technique to identify lane lines in an input image.
  • the possible lane lines are divided into k groups, and the length weights of each lane line in each group of lane lines, the angle difference weight and the distance difference weight between each group are calculated.
  • the length of the lane line is weighted Given by equation (3):
  • H and l i represent the height and width of the lane line, respectively.
  • ⁇ i represents the angle of the ith lane line
  • ⁇ j represents the angle of the jth lane line
  • ⁇ angle represents the angle difference threshold
  • l max represents the distance maximum threshold and l min represents the distance minimum threshold.
  • a group of lane lines capable of maximizing the value of the objective function shown by equation (6) can be regarded as a true lane line.
  • Figure 7 shows sample images taken in several special scenes.
  • Figure 7A shows a sample image of a large number of occlusion scenes.
  • Figure 7B shows a sample image in a scene with shadows.
  • Fig. 7C shows a sample image in a lighting change scene.
  • Figure 7D shows a sample image of a ground marker interference scene.
  • the image region of the lane line is identified from the image based on the two-dimensional filtering, and the image of the image region in which the lane line has been identified is input to the lane line recognition model based on the convolutional neural network, and the output probability of the model is obtained. And performing model reconstruction based on the output probability to identify lane lines in the input image, being able to adapt to different changes of the input image, and improving the recognition accuracy of the lane line.
  • the present embodiment further provides a technical solution of the lane line identification method based on the fifth embodiment of the present disclosure.
  • the method before the image area of the lane line is identified from the image based on the two-dimensional filtering, the method further includes: performing inverse projection transformation on the original image to adjust the original image.
  • the direction of the optical axis is the direction perpendicular to the ground.
  • the method for identifying the lane line includes:
  • the present embodiment performs inverse projection transformation on the original image before recognizing the image region of the lane line from the image based on the two-dimensional filtering, so as to adjust the optical axis direction of the original image to be perpendicular to the ground, so that the lane needs to be recognized.
  • the image of the line is unified in the optical axis direction before being input to the convolutional neural network, which improves the accurate recognition rate of the lane line in the image.
  • the lane line identification modeling device includes an identification module 92, a construction module 93, and a training module 94.
  • the identification module 92 is configured to identify an image region of a lane line from the image based on the two-dimensional filtering.
  • the constructing module 93 is configured to construct model training data by using the identified image regions.
  • the training module 94 is configured to train a lane line recognition model based on a convolutional neural network by using the model training data.
  • the lane line identification modeling device further includes: a transform module 91.
  • the transforming module 91 is configured to perform inverse projection transformation on the original image before identifying the image region of the lane line from the background image based on the two-dimensional filtering to adjust the optical axis direction of the original image to be perpendicular to the ground.
  • transform module 91 is specifically configured to: perform inverse projection transformation on the original image according to the following formula:
  • ⁇ , ⁇ , ⁇ are the camera's pitch angle, yaw angle and roll angle, respectively
  • f u , f v are the focal length of the camera vertical and horizontal directions
  • c u , c v is the abscissa of the camera's optical center coordinate point
  • x w , y w and z w respectively represent the three-dimensional coordinates of the coordinate point in the transformed three-dimensional space
  • the identification module 92 includes: a filtering unit, a binarization unit, and a fitting unit.
  • the filtering unit is configured to filter the background image by using a hat-like filtering kernel having different width parameters and height parameters, and select an image with the most obvious edge of the image as the filtered result image.
  • the binarization unit is configured to binarize the filtered result image to form at least one connected domain.
  • the fitting unit is configured to perform a straight line fitting of the boundary of the connected domain using a modified ransac algorithm.
  • the constructing module 93 includes: a widening unit and a data acquiring unit.
  • the widening unit is configured to widen the connected domain to form a region of interest on an image.
  • the data acquisition unit is configured to use an image including the region of interest as the model training data.
  • the identification device of the lane line includes an area identification module 102, a probability calculation module 103, and a model reconstruction module 104.
  • the region identification module 102 is configured to identify an image region of a lane line from the image based on the two-dimensional filtering.
  • the probability calculation module 103 is configured to input an image of an image region in which a lane line has been identified to a lane line recognition model based on a convolutional neural network, to obtain an output probability of the model.
  • the model reconstruction module 104 is configured to perform model reconstruction based on the output probability to identify lane lines in the input image.
  • the identification device of the lane line further includes: a reverse projection transformation module 101.
  • the inverse projection transformation module 101 is configured to perform inverse projection transformation on the original image before the image region of the lane line is identified from the image based on the two-dimensional filtering, so as to adjust the optical axis direction of the original image to be perpendicular to the ground. .
  • model reconstruction module 104 is specifically configured to:
  • Embodiments of the present disclosure provide a storage medium including computer executable instructions for performing a recognition modeling method of a lane line when executed by a computer processor, the method comprising:
  • a lane line recognition model based on convolutional neural networks is trained.
  • the foregoing storage medium when performing the method, before identifying the image area of the lane line from the background image based on the two-dimensional filtering, further includes:
  • the original image is subjected to inverse projection transformation to adjust the optical axis direction of the original image to be perpendicular to the ground.
  • the storage medium When performing the method, the storage medium performs inverse projection transformation on the original image to adjust the direction of the optical axis of the original image to be vertical and the ground direction includes:
  • ⁇ , ⁇ , ⁇ are the camera's pitch angle, yaw angle and roll angle, respectively
  • f u , f v are the focal length of the camera vertical and horizontal directions
  • c u , c v is the abscissa of the camera's optical center coordinate point
  • x w , y w and z w respectively represent the three-dimensional coordinates of the coordinate point in the transformed three-dimensional space
  • identifying an image area of the lane line from the image includes:
  • the background image is filtered by using a hat-like filter kernel having different width parameters and height parameters, and an image with the most obvious edge of the image is selected as the filtered result image;
  • a straight line fit of the boundary is performed on the connected domain using the improved ransac algorithm.
  • model training data includes:
  • An image containing the region of interest is used as the model training data.
  • FIG. 11 is a schematic diagram of a hardware structure of an apparatus for performing a lane line identification modeling method according to a tenth embodiment of the present disclosure.
  • the device includes:
  • One or more processors 1110, one processor 1110 is taken as an example in FIG. 11;
  • Memory 1120 and one or more modules.
  • the device may further include: an input device 1130 and an output device 1140.
  • the processor 1110, the memory 1120, the input device 1130, and the output device 1140 in the device may be connected by a bus or other means, and the connection through the bus is taken as an example in FIG.
  • the memory 1120 is a computer readable storage medium, and can be used to store a software program, a computer executable program, and a module, such as a program instruction/module corresponding to the lane line identification modeling method in the embodiment of the present disclosure (for example, FIG. 9
  • the processor 1110 executes various functional applications and data processing of the device by executing software programs, instructions, and modules stored in the memory 1120, that is, implementing the recognition modeling method of the execution lane line in the above method embodiment.
  • the memory 1120 may include a storage program area and a storage data area, wherein the storage program area may store an operating system, an application required for at least one function; the storage data area may store data created according to usage of the terminal device, and the like.
  • memory 1120 can include high speed random access memory, and can also include non-volatile memory, such as at least one magnetic disk storage device, flash memory device, or other non-volatile solid state storage device.
  • memory 1120 can further include relative to processor 1110 Remotely set up memory that can be connected to the terminal device over a network. Examples of such networks include, but are not limited to, the Internet, intranets, local area networks, mobile communication networks, and combinations thereof.
  • Input device 1130 can be used to receive input numeric or character information and to generate key signal inputs related to user settings and function control of the terminal.
  • the output device 1140 may include a display device such as a display screen.
  • the one or more modules are stored in the memory 1120, and when executed by the one or more processors 1110, perform the following operations:
  • a lane line recognition model based on convolutional neural networks is trained.
  • the method further includes:
  • the original image is subjected to inverse projection transformation to adjust the optical axis direction of the original image to be perpendicular to the ground.
  • performing inverse projection transformation on the original image to adjust the optical axis direction of the original image to be vertical and the ground direction includes:
  • ⁇ , ⁇ , ⁇ are the camera's pitch angle, yaw angle and roll angle, respectively
  • f u , f v are the focal length of the camera vertical and horizontal directions
  • c u , c v is the abscissa of the camera's optical center coordinate point
  • x w , y w and z w respectively represent the three-dimensional coordinates of the coordinate point in the transformed three-dimensional space
  • identifying the image area of the lane line from the image includes:
  • the background image is filtered by using a hat-like filter kernel having different width parameters and height parameters, and an image with the most obvious edge of the image is selected as the filtered result image;
  • a straight line fit of the boundary is performed on the connected domain using the improved ransac algorithm.
  • constructing the model training data by using the identified image region includes:
  • An image containing the region of interest is used as the model training data.
  • Embodiments of the present disclosure provide a storage medium including computer executable instructions for performing a lane line identification method when executed by a computer processor, the method comprising:
  • model reconstruction is performed to identify lane lines in the input image.
  • the foregoing storage medium when performing the method, before identifying the image area of the lane line from the image based on the two-dimensional filtering, further includes:
  • the original image is subjected to inverse projection transformation to adjust the optical axis direction of the original image to be perpendicular to the ground.
  • performing model reconstruction based on the output probability to identify lane lines in the input image includes:
  • FIG. 12 is a schematic diagram showing the hardware structure of an apparatus for performing a lane line identification method according to a twelfth embodiment of the present disclosure.
  • the device includes:
  • One or more processors 1210, one processor 1210 is taken as an example in FIG. 12;
  • Memory 1220 ; and one or more modules.
  • the device may also include an input device 1230 and an output device 1240.
  • the processor 1210, the memory 1220, the input device 1230, and the output device 1240 in the device may be connected by a bus or other means, and the bus connection is taken as an example in FIG.
  • the memory 1220 is a computer readable storage medium, and can be used to store a software program, a computer executable program, and a module, such as a program instruction/module corresponding to the lane line identification method in the embodiment of the present disclosure (for example, as shown in FIG.
  • the processor 1210 executes various functional applications and data processing of the device by running software programs, instructions, and modules stored in the memory 1220, that is, the method for identifying the execution lane line in the above method embodiment.
  • the memory 1220 may include a storage program area and an storage data area, wherein the storage program area may store an operating system, an application required for at least one function; the storage data area may store data created according to usage of the terminal device, and the like.
  • memory 1220 can include high speed random access memory, and can also include non-volatile memory, such as at least one magnetic disk storage device, flash memory device, or other non-volatile solid state storage device.
  • memory 1220 can further include memory remotely located relative to processor 1210, which can be connected to the terminal device over a network. Examples of such networks include, but are not limited to, the Internet, intranets, local area networks, mobile communication networks, and combinations thereof.
  • Input device 1230 can be used to receive input numeric or character information and to generate key signal inputs related to user settings and function control of the terminal.
  • the output device 1240 can include a display device such as a display screen Ready.
  • the one or more modules are stored in the memory 1220, and when executed by the one or more processors 1210, perform the following operations:
  • model reconstruction is performed to identify lane lines in the input image.
  • the method further includes:
  • the original image is subjected to inverse projection transformation to adjust the optical axis direction of the original image to be perpendicular to the ground.
  • performing model reconstruction based on the output probability to identify lane lines in the input image includes:
  • ROM Read-Only Memory
  • RAM Random Access Memory
  • FLASH FLASH
  • hard disk or optical disk etc., including a number of instructions to make a computer device (can be a personal computer, a server, or Network devices, etc.) perform the methods described in various embodiments of the present disclosure.
  • the units and modules included are only divided according to functional logic, but are not limited to the above division, as long as the corresponding The functions of the functional units are only for convenience of distinguishing from each other and are not intended to limit the scope of protection of the present disclosure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种车道线的识别建模方法和装置、识别方法和装置。所述车道线的识别建模方法包括：基于二维滤波，从图像中识别车道线的图像区域（S11）；利用识别得到的图像区域，构造模型训练数据（S12）；利用所述模型训练数据，训练基于卷积神经网络的车道线识别模型（S13）。上述方案提供的车道线的识别建模方法和装置、识别方法和装置提高了对车道线进行检测的检测准确率。

Description

车道线的识别建模方法、装置、存储介质和设备及识别方法、装置、存储介质和设备
本专利申请要求于2015年8月3日提交的、申请号为201510482990.1，申请人为百度在线网络技术(北京)有限公司、公开名称为“车道线的识别建模方法和装置、识别方法和装置”的中国专利申请的优先权，该申请的全文以引用的方式并入本申请中。
技术领域
本公开实施例涉及基于位置服务技术领域，尤其涉及车道线的识别建模方法、装置、存储介质和设备及识别方法、装置、存储介质和设备。
背景技术
在各种基于位置服务技术中，对车道线的位置、类型、宽度、颜色以及数量的检测，对于自动/辅助驾驶、地图导航以及地理基础数据生成都有着重要的意义。
现有的车道线的检测基本遵循这样的过程：对原始图像进行边缘检测，对边缘检测的结果进行二值化处理，对二值化处理进行Hough变换、随机Hough变换或者ransac算法提取车道线，最后对提取的车道线进行精细化处理。上述方法在图像清晰，车道线没有被其他物体遮挡的情况下，对车道线的识别准确率较高。但是，一旦图像中车道线的边缘不是十分清晰，或者车道线被其他物体遮挡，现有的检测方法的检测准确率并不高。
发明内容
针对上述技术问题，本公开实施例提供了车道线的识别建模方法、装置、存储介质和设备及识别方法、装置、存储介质和设备，以提高对车道线进行检 测的检测准确率。
第一方面，本公开实施例提供了一种车道线的识别建模方法，所述方法包括：
基于二维滤波，从图像中识别车道线的图像区域；
利用识别得到的图像区域，构造模型训练数据；
利用所述模型训练数据，训练基于卷积神经网络的车道线识别模型。
第二方面，本公开实施例还提供了一种车道线的识别建模装置，所述装置包括：
识别模块，用于基于二维滤波，从图像中识别车道线的图像区域；
构造模块，用于利用识别得到的图像区域，构造模型训练数据；
训练模块，用于利用所述模型训练数据，训练基于卷积神经网络的车道线识别模型。
第三方面，本公开实施例还提供了一种车道线的识别方法，所述方法包括：
基于二维滤波，从图像中识别车道线的图像区域；
将已经识别了车道线的图像区域的图像输入至基于卷积神经网络的车道线识别模型，得到所述模型的输出概率；
基于所述输出概率，进行模型重建，以识别输入图像中的车道线。
第四方面，本公开实施例还提供了一种车道线的识别装置，所述装置包括：
区域识别模块，用于基于二维滤波，从图像中识别车道线的图像区域；
概率计算模块，用于将已经识别了车道线的图像区域的图像输入至基于卷积神经网络的车道线识别模型，得到所述模型的输出概率；
模型重建模块，用于基于所述输出概率，进行模型重建，以识别输入图像中的车道线。
第五方面，本公开实施例提供了一个或多个包含计算机可执行指令的存储 介质，所述计算机可执行指令在由计算机处理器执行时用于执行车道线的识别建模方法，该方法包括：
基于二维滤波，从图像中识别车道线的图像区域；
利用识别得到的图像区域，构造模型训练数据；
利用所述模型训练数据，训练基于卷积神经网络的车道线识别模型。
第六方面，本公开实施例提供了一种设备，包括：
一个或者多个处理器；
存储器；
一个或者多个程序，所述一个或者多个程序存储在所述存储器中，当被所述一个或者多个处理器执行时，进行如下操作：
基于二维滤波，从图像中识别车道线的图像区域；
利用识别得到的图像区域，构造模型训练数据；
利用所述模型训练数据，训练基于卷积神经网络的车道线识别模型。
第七方面，本公开实施例提供了一个或多个包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行车道线的识别方法，该方法包括：
基于二维滤波，从图像中识别车道线的图像区域；
将已经识别了车道线的图像区域的图像输入至基于卷积神经网络的车道线识别模型，得到所述模型的输出概率；
基于所述输出概率，进行模型重建，以识别输入图像中的车道线。
第八方面，本公开实施例提供了一种设备，包括：
一个或者多个处理器；
存储器；
一个或者多个程序，所述一个或者多个程序存储在所述存储器中，当被所述一个或者多个处理器执行时，进行如下操作：
基于二维滤波，从图像中识别车道线的图像区域；
将已经识别了车道线的图像区域的图像输入至基于卷积神经网络的车道线识别模型，得到所述模型的输出概率；
基于所述输出概率，进行模型重建，以识别输入图像中的车道线。
本公开实施例提供的技术方案中，通过基于二维滤波，从图像中识别车道线的图像区域，将已经识别了车道线的图像区域的图像输入至基于卷积神经网络的车道线识别模型，得到所述模型的输出概率，基于所述输出概率，进行模型重建，以识别输入图像中的车道线，从而综合考虑图像中车道线图像区域中可能出现的各种异常情况，提高了对车道线进行检测的检测准确率。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需使用的附图作简单地介绍，当然，以下描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以对这些附图进行修改和替换。
图1是本公开第一实施例提供的车道线的识别建模方法的流程图；
图2是本公开第二实施例提供的车道线的识别建模方法的流程图；
图3是本公开第三实施例提供的车道线的识别建模方法中识别步骤的流程图；
图4是本公开第四实施例提供的车道线的识别建模方法中构造步骤的流程图；
图5是本公开第四实施例提供的感兴趣区域的示意图；
图6是本公开第五实施例提供的车道线的识别方法的流程图；
图7A是本公开第五实施例提供的大量遮挡场景下的车道线识别的识别结果图；
图7B是本公开第五实施例提供的阴影场景下的车道线识别的识别结果图；
图7C是本公开第五实施例提供的光照变换场景下的车道线识别的识别结 果图；
图7D是本公开第五实施例提供的地面标记干扰场景下的车道线识别的识别结果图；
图8是本公开第六实施例提供的车道线的识别方法的流程图；
图9是本公开第七实施例提供的车道线的识别建模装置的结构图；
图10是本公开第八实施例提供的车道线的识别装置的结构图；
图11是本公开第十实施例提供的一种执行车道线的识别建模方法的设备硬件结构示意图；
图12是本公开第十二实施例提供的一种执行车道线的识别方法的设备硬件结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分而非全部结构。
第一实施例
本实施例提供了车道线的识别建模方法的一种技术方案。所述车道线的识别建模方法由车道线的识别建模装置执行。并且，所述车道线的识别建模装置可以集成在个人电脑、工作站或者服务器等计算设备中。
参见图1，所述车道线的识别建模方法包括：
S11，基于二维滤波，从图像中识别车道线的图像区域。
所述图像是在行车道路上实际采集的，包含车道线的图像数据。以往的车道线识别方法大都存在着适应性不强，识别准确率不高的问题。具体表现在于，一旦图像的采集环境有所变化，比如，图像中的车道线大量的被其他物体所遮 挡，或者图像中出现了大量的阴影区域，则对于图像中的车道线的识别结果会出现虚警或者误判。
本实施例为了提高车道线识别的适应性和准确率，提供了一种车道线的识别模型的训练方法，也就是车道线的识别建模方法。通过所述车道线的识别建模方法，能够训练用于准确识别图像中的车道线的卷积神经网络。而且，所述卷积神经网络能够适应图像的场景变化，适应范围更广。
具体的，可以通过对图像的滤波，对车道线的图像区域进行增强，再根据增强以后，获取所述车道线的图像区域。更为具体的，构造了用于对所述图像进行滤波的hat-like滤波核，通过所述hat-like滤波核对图像的滤波增强车道线的图像区域，根据增强的图像区域获取所述车道线对应的连通域，最后所述连通域的边界进行直线拟合，从而完成对车道线的图像区域的识别。
S12，利用识别得到的图像区域，构造模型训练数据。
完成对所述车道线的图像区域的识别之后，基于所述车道线的图像区域，构造用于训练车道线识别模型的模型训练数据。
具体的，可以将所述车道线的图像区域向外进行扩宽，并将扩宽后的图像区域作为感兴趣区域。所述感兴趣区域就是用于训练所述车道线识别模型的训练数据。
S13，利用所述模型训练数据，训练基于卷积神经网络的车道线识别模型。
在本发明中，所述车道线识别模型是一个基于卷积神经网络的车道线识别模型。所述卷积神经网络包括若干卷积层和子采样层。所述卷积层的数量与所述子采样层的数量相同。所述卷积神经网络还包括若干全连接层。获取到输入至所述卷积神经网络的图像之后，所述卷积神经网络能够给出所述图像属于真实车道线的概率
Figure PCTCN2015100175-appb-000001
的取值，也就是所述车道线识别模型的输出概率的取值。
本实施例通过基于二维滤波，从图像中识别车道线的图像区域，利用识别得到的图像区域，构造模型训练数据，以及利用所述模型训练数据，训练基于卷积神经网络的车道线识别模型，实现了对图像中车道线图像区域中可能出现的各种异常情况的综合考虑，提高了对车道线进行检测的检测准确率。
第二实施例
本实施例以本公开上述实施例为基础，进一步的提供了车道线的识别建模方法的一种技术方案。在该技术方案中，在基于二维滤波，从背景图像中识别车道线的图像区域之前，还包括：对原始图像进行逆投射变换，以调整所述原始图像的光轴方向为垂直于地面的方向。
参见图2，所述车道线的识别建模方法包括：
S21，对原始图像进行逆投射变换，以调整所述原始图像的光轴方向为垂直于地面的方向。
可以理解的是，一般在采集道路的路面图像时，用于采集图像的相机的光轴会在大致平行与路面的方向上采集图像。为了使输入至卷积神经网络的车道线图像的特征更为统一，提高对车道线进行识别的识别准确率，需要对图像采集时光轴与路面不垂直的图像进行逆投射变换。
所述逆投射变换又被称为逆透视映射，用于将相机获取到的二维图像中的像素点映射至一个三维空间。更为具体的，假设采集图像时相机的俯仰角、偏航角以及翻滚角分别是α、β和γ，相机竖直和水平方向的焦距分别是fu、fv，相机光心坐标点的横坐标及纵坐标分别是cu、cv，归一化参数为s，则根据式(1)进行逆投射变换：
Figure PCTCN2015100175-appb-000002
其中，(u，v)是像素点在二维图像中的位置坐标，(xw，yw，zw)是像素点在变换后的三维空间中的位置坐标。
S22，基于二维滤波，从图像中识别车道线的图像区域。
S23，利用识别得到的图像区域，构造模型训练数据。
S24，利用所述模型训练数据，训练基于卷积神经网络的车道线识别模型。
本实施例通过在基于二维滤波，从图像中识别车道线的图像区域之前，对原始图像进行逆投射变换，以调整所述原始图像的光轴方向为垂直于地面的方向，使得输入至所述卷积神经网络中的图像在被输入至卷积神经网络之前进行了光轴方向的统一，提高了图像中车道线的准确识别率。
第三实施例
本实施例以本公开的上述实施例为基础，进一步的提供了车道线的识别建模方法中识别步骤的一种技术方案。在该技术方案中，基于二维滤波，从图像中识别车道线的图像区域包括：利用具有不同宽度参数和高度参数的hat-like滤波核，对背景图像进行滤波，并选择图像边沿最为明显的一幅图像，作为滤波结果图像；对所述滤波结果图像进行二值化，形成至少一个连通域；利用改进的ransac算法，对所述连通域进行边界的直线拟合。
参见图3，基于二维滤波，从图像中识别车道线的图像区域包括：
S31，利用不同宽度参数和高度参数的hat-like滤波核，对背景图像进行滤 波，并选择图像边沿最为明显的一幅图像，作为滤波结果图像。
所述hat-like滤波核的滤波操作由如下公式给出：
Figure PCTCN2015100175-appb-000003
其中，I(x，y)是滤波后像素点的灰度取值，I(u，v)是滤波前像素点的灰度取值，w是滤波过程的宽度参数，h是滤波过程的高度参数。理想的情况下，参数w与车道线本身的宽度相等，参数h与车道线本身的高度相等。
由于相机的拍摄参数变化、车道线本身的尺寸差异，对于不同的车道线应该应用具有不同宽度参数和高度参数的hat-like滤波核。因此，在本实施例中，利用具有不同宽度参数和高度参数的一组hat-like滤波核对图像分别进行滤波，再从滤波结果中找图像增强效果最为明显的一幅图像，将该图像作为滤波结果图像。
S32，对所述滤波结果图像进行二值化，形成至少一个连通域。
因为经过了hat-like滤波核的图像增强处理，所述滤波结果图像中车道线对应的区域与图像的其他区域有着更为明显的差别。此时，对于所述滤波结果图像进行二值化，则二值化的结果更为可信。
对于所述滤波结果图像进行二值化处理的操作具体是：将像素的灰度取值高于预设灰度门限的像素作为所述连通域内的像素，并将像素的灰度取值低于或者等于预设灰度门限的像素作为所述连通域外的像素。按照上述操作，在所述滤波结果图像内形成至少一个连通域。一般来讲，所述连通域标识了图像中车道线的大致的位置区域。
S33，利用改进的ransac算法，对所述连通域进行边界的直线拟合。
经过滤波和二值化处理以后，在用于训练所述车道线识别模型内部形成了若干连通域。由于图像中可能出现光照不均，或者车道线可能被其他物体遮挡，所获取到的连通域的实际边界可能并不是直线。因此，本实施例采用改进的ransac算法对连通域的边界进行直线拟合。
Ransac(Random sample consensus，随机抽样一致性)算法是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。现有的ransac算法在进行直线拟合时，并不考虑用于拟合直线的样本点的响应强度。换句话说，在现有的ransac算法中，所有的样本点具有相同的地位。相对于常规的ransac算法，本实施例提供的ransac算法将不同样本点的响应强度作为该样本点的加权参数，对各个样本点进行加权，再根据加权以后的数值进行直线拟合。
具体的，可以在所述连通域的边界处选取若干个样本点，将这些样本的灰度值作为它们自身的加权参数，来计算当前模型所涵盖的内点的个数。这样，经过多次的迭代计算，即可以得到根据本实施例提供的改进的ransac算法拟合得到的直线。
本实施例通过利用不同宽度参数和高度参数的hat-like滤波核，对背景图像进行滤波，并选择图像边沿最为明显的一幅图像，作为滤波结果图像，对所述滤波结果图像进行二值化，形成至少一个连通域，以及利用改进的ransac算法，对所述连通域进行边界的直线拟合，实现了对车道线的图像区域的准确识别。
第四实施例
本实施例以本公开的上述实施例为基础，进一步的提供了车道线的识别建模方法中构造步骤的流程图。在该技术方案中，利用识别得到的图像区域，构 造模型训练数据包括：对所述连通域进行扩宽，形成图像上的感兴趣区域；将包含所述感兴趣区域的图像作为所述模型训练数据。
参见图4，利用识别得到的图像区域，构造模型训练数据包括：
S41，对所述连通域进行扩宽，形成图像上的感兴趣区域。
对进行过边界线拟合的连通域，进行边界的扩宽。具体的，可以在宽度方向上，对所述连通域扩宽预定个数的像素点，然后在高度方向上，对所述连通域扩宽预定个数的像素点。这样，就形成了扩宽以后的感兴趣区域。
S42，将包含所述感兴趣区域的图像作为所述模型训练数据。
图5示出了所述感兴趣区域的一个示例。参见图5，在该示例中，实线51所框定的区域就是所述感兴趣区域。
之所以对所述车道线对应的连通域进行扩宽，将扩宽得到的感兴趣区域作为模型训练的训练数据，是考虑让训练数据不仅包含需要被识别的目标图像，还包括一些背景图像信息，将这些背景图像信息作为所述车道线的上下文，从而有助于提高训练得到的车道线识别模型的识别准确率。
本实施例通过对所述连通域进行扩宽，形成图像上的感兴趣区域，将包含所述感兴趣区域的图像作为所述模型训练数据，从而实现了对模型训练数据的构造，使得能够依据构造的训练数据对车道线识别模型进行建模。
第五实施例
本实施例提供了车道线的识别方法的一种技术方案。与本公开上述实施例介绍的车道线的识别建模方法的不同之处在于，所述车道线的识别建模方法是用于对车道线识别模型进行建模，而本实施例提供的车道线的识别方法是运用上述实施例建立的车道线识别模型来从图像中识别车道线。
参见图6，所述车道线识别方法包括：
S61，基于二维滤波，从图像中识别车道线的图像区域。
在本实施例中，采用与本发明第三实施例中描述的方式从图像中识别车道线的图像区域。也就是，先利用hat-like滤波核对图像进行滤波，在对滤波后的图像进行二值化处理，最后利用改进的ransac算法对二值化后得到的连通域的边界进行直线拟合，从而实现对车道线的图像区域的识别。
S62，将已经识别了车道线的图像区域的图像输入至基于卷积神经网络的车道线识别模型，得到所述模型的输出概率。
将已经识别了车道线的图像区域的图像输入至所述卷积神经网络，在获取到输入的图像以后，所述卷积神经网络对所述图像进行计算，输出所述图像中各个已经识别的车道线的图像区域属于真实的车道线的图像区域的概率
Figure PCTCN2015100175-appb-000004
S63，基于所述输出概率，进行模型重建，以识别输入图像中的车道线。
在本实施例中，根据深度搜索技术进行模型重建，以识别输入图像中的车道线。具体的，将可能的车道线分为k组，计算每组车道线中每根车道线的长度权重，相互之间的角度差异权重和距离差异权重。其中，车道线的长度权重
Figure PCTCN2015100175-appb-000005
由式(3)给出：
Figure PCTCN2015100175-appb-000006
其中，H和li分别表示车道线的高度和宽度。
第i条车道线与第j条车道线之间的角度差异权重
Figure PCTCN2015100175-appb-000007
由式(4)给出：
Figure PCTCN2015100175-appb-000008
其中，θi表示第i条车道线的角度，θj表示第j条车道线的角度，σangle表示角度差异阈值。
第i条车道线与第j条车道线之间的距离差异权重
Figure PCTCN2015100175-appb-000009
由式(5)给出：
Figure PCTCN2015100175-appb-000010
其中，lmax表示距离最大阈值，lmin表示距离最小阈值。
接着，上述三种参数与模型的输出概率，也就是属于真实车道线的概率，共同构成了模型重建的目标函数：
Figure PCTCN2015100175-appb-000011
能够使得式(6)示出的目标函数的取值最大的一组车道线，就可以被认定为真实的车道线。
采用上述的车道线的识别方法，能够适应样本图像的不同拍摄场景的变化。图7示出了几种特殊场景下拍摄的样本图像。图7A示出了大量遮挡场景下的样本图像。图7B示出了含有阴影的场景下的样本图像。图7C示出了光照变化场景下的样本图像。图7D示出了地面标记干扰场景下的样本图像。利用本实施例提供的车道线的识别方法对这些样本图像进行车道线的识别，都能够准确的识别出样本图像中的车道线。图7A至图7D中的实线71、72、73、74框定的区域即是识别到的车道线。
本实施例通过基于二维滤波，从图像中识别车道线的图像区域，将已经识别了车道线的图像区域的图像输入至基于卷积神经网络的车道线识别模型，得到所述模型的输出概率，以及基于所述输出概率，进行模型重建，以识别输入图像中的车道线，能够适应输入图像的不同变化，提高了车道线的识别准确率。
第六实施例
本实施例以本公开的第五实施例为基础，进一步的提供了车道线的识别方法的一种技术方案。在该技术方案中，在基于二维滤波，从图像中识别车道线的图像区域之前，还包括：对原始图像进行逆投射变换，以调整所述原始图像 的光轴方向为垂直于地面的方向。
参见图8，所述车道线的识别方法包括：
S81，对原始图像进行逆投射变换，以调整所述原始图像的光轴方向为垂直于地面的方向。
与模型的训练过程类似，在需要识别车道线的样本图像中，也会出现拍摄时光轴并不垂直与地面的图像。对于这种情况，同样需要对原始图像进行逆投射变换。具体的逆投射变换过程可以参看本发明第二实施例中的描述。
S82，基于二维滤波，从图像中识别车道线的图像区域。
S83，将已经识别了车道线的图像区域的图像输入至基于卷积神经网络的车道线识别模型，得到所述模型的输出概率。
S84，基于所述输出概率，进行模型重建，以识别输入图像中的车道线。
本实施例通过在基于二维滤波，从图像中识别车道线的图像区域之前，对原始图像进行逆投射变换，以调整所述原始图像的光轴方向为垂直于地面的方向，使得需要识别车道线的图像在被输入至卷积神经网络之前进行了光轴方向的统一，提高了图像中车道线的准确识别率。
第七实施例
本实施例提供了车道线的识别建模装置的一种技术方案。参见图9，所述车道线的识别建模装置包括：识别模块92、构造模块93以及训练模块94。
所述识别模块92用于基于二维滤波，从图像中识别车道线的图像区域。
所述构造模块93用于利用识别得到的图像区域，构造模型训练数据。
所述训练模块94用于利用所述模型训练数据，训练基于卷积神经网络的车道线识别模型。
进一步的，所述车道线的识别建模装置还包括：变换模块91。
所述变换模块91用于在基于二维滤波，从背景图像中识别车道线的图像区域之前，对原始图像进行逆投射变换，以调整所述原始图像的光轴方向为垂直于地面的方向。
进一步的，所述变换模块91具体用于：根据如下公式对所述原始图像进行逆投射变换：
Figure PCTCN2015100175-appb-000012
其中，α、β、γ分别是相机的俯仰角、偏航角以及翻滚角，fu、fv是相机竖直和水平方向的焦距，cu、cv是相机光心坐标点的横坐标及纵坐标，u、v分别表示变换前图像的二维平面内坐标点的横坐标及纵坐标，xw、yw及zw分别表示变换后三维空间中所述坐标点的三维坐标，s为归一化参数。
进一步的，所述识别模块92包括：滤波单元、二值化单元以及拟合单元。
所述滤波单元用于利用具有不同宽度参数和高度参数的hat-like滤波核，对背景图像进行滤波，并选择图像边沿最为明显的一幅图像，作为滤波结果图像。
所述二值化单元用于对所述滤波结果图像进行二值化，形成至少一个连通域。
所述拟合单元用于利用改进的ransac算法，对所述连通域进行边界的直线拟合。
进一步的，所述构造模块93包括：扩宽单元以及数据获取单元。
所述扩宽单元用于对所述连通域进行扩宽，形成图像上的感兴趣区域。
所述数据获取单元用于将包含所述感兴趣区域的图像作为所述模型训练数据。
第八实施例
本实施例提供了车道线的识别装置的一种技术方案。参见图10，所述车道线的识别装置包括：区域识别模块102、概率计算模块103以及模型重建模块104。
所述区域识别模块102用于基于二维滤波，从图像中识别车道线的图像区域。
所述概率计算模块103用于将已经识别了车道线的图像区域的图像输入至基于卷积神经网络的车道线识别模型，得到所述模型的输出概率。
所述模型重建模块104用于基于所述输出概率，进行模型重建，以识别输入图像中的车道线。
进一步的，所述车道线的识别装置还包括：逆投射变换模块101。
所述逆投射变换模块101用于在基于二维滤波，从图像中识别车道线的图像区域之前，对原始图像进行逆投射变换，以调整所述原始图像的光轴方向为垂直于地面的方向。
进一步的，所述模型重建模块104具体用于：
根据如下公式进行模型重建：
Figure PCTCN2015100175-appb-000013
其中，
Figure PCTCN2015100175-appb-000014
和
Figure PCTCN2015100175-appb-000015
分别代表第i根车道线的长度和属于真实车道线的概率，
Figure PCTCN2015100175-appb-000016
分别代表第i根和第j根车道线的角度相似和距离远近的约束关系。
第九实施例
本公开实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行车道线的识别建模方法，该方法包括：
基于二维滤波，从图像中识别车道线的图像区域；
利用识别得到的图像区域，构造模型训练数据；
利用所述模型训练数据，训练基于卷积神经网络的车道线识别模型。
上述存储介质在执行所述方法时，在基于二维滤波，从背景图像中识别车道线的图像区域之前，还包括：
对原始图像进行逆投射变换，以调整所述原始图像的光轴方向为垂直于地面的方向。
上述存储介质在执行所述方法时，对原始图像进行逆投射变换，以调整所述原始图像的光轴方向为垂直与地面的方向包括：
根据如下公式对所述原始图像进行逆投射变换：
Figure PCTCN2015100175-appb-000017
其中，α、β、γ分别是相机的俯仰角、偏航角以及翻滚角，fu、fv是相机竖直和水平方向的焦距，cu、cv是相机光心坐标点的横坐标及纵坐标，u、v分别表示变换前图像的二维平面内坐标点的横坐标及纵坐标，xw、yw及zw分别表示变换后三维空间中所述坐标点的三维坐标，s为归一化参数。
上述存储介质在执行所述方法时，基于二维滤波，从图像中识别车道线的图像区域包括：
利用具有不同宽度参数和高度参数的hat-like滤波核，对背景图像进行滤波，并选择图像边沿最为明显的一幅图像，作为滤波结果图像；
对所述滤波结果图像进行二值化，形成至少一个连通域；
利用改进的ransac算法，对所述连通域进行边界的直线拟合。
上述存储介质在执行所述方法时，利用识别得到的图像区域，构造模型训练数据包括：
对所述连通域进行扩宽，形成图像上的感兴趣区域；
将包含所述感兴趣区域的图像作为所述模型训练数据。
第十实施例
图11为本公开第十实施例提供的一种执行车道线的识别建模方法的设备硬件结构示意图。参见图11，该设备包括：
一个或者多个处理器1110，图11中以一个处理器1110为例；
存储器1120；以及一个或者多个模块。
所述设备还可以包括：输入装置1130和输出装置1140。所述设备中的处理器1110、存储器1120、输入装置1130和输出装置1140可以通过总线或其他方式连接，图11中以通过总线连接为例。
存储器1120作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本公开实施例中的车道线的识别建模方法对应的程序指令/模块(例如，附图9所示的车道线的识别建模装置中的变换模块91、识别模块92、构造模块93和训练模块94)。处理器1110通过运行存储在存储器1120中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述方法实施例中的执行车道线的识别建模方法。
存储器1120可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器1120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器1120可进一步包括相对于处理器1110 远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置1130可用于接收输入的数字或字符信息，以及产生与终端的用户设置以及功能控制有关的键信号输入。输出装置1140可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器1120中，当被所述一个或者多个处理器1110执行时，执行如下操作：
基于二维滤波，从图像中识别车道线的图像区域；
利用识别得到的图像区域，构造模型训练数据；
利用所述模型训练数据，训练基于卷积神经网络的车道线识别模型。
进一步的，在基于二维滤波，从背景图像中识别车道线的图像区域之前，还包括：
对原始图像进行逆投射变换，以调整所述原始图像的光轴方向为垂直于地面的方向。
进一步的，对原始图像进行逆投射变换，以调整所述原始图像的光轴方向为垂直与地面的方向包括：
根据如下公式对所述原始图像进行逆投射变换：
Figure PCTCN2015100175-appb-000018
其中，α、β、γ分别是相机的俯仰角、偏航角以及翻滚角，fu、fv是相机竖直和水平方向的焦距，cu、cv是相机光心坐标点的横坐标及纵坐标，u、v分别表示变换前图像的二维平面内坐标点的横坐标及纵坐标，xw、yw及zw分别表示变换后三维空间中所述坐标点的三维坐标，s为归一化参数。
进一步的，基于二维滤波，从图像中识别车道线的图像区域包括：
利用具有不同宽度参数和高度参数的hat-like滤波核，对背景图像进行滤波，并选择图像边沿最为明显的一幅图像，作为滤波结果图像；
对所述滤波结果图像进行二值化，形成至少一个连通域；
利用改进的ransac算法，对所述连通域进行边界的直线拟合。
进一步的，利用识别得到的图像区域，构造模型训练数据包括：
对所述连通域进行扩宽，形成图像上的感兴趣区域；
将包含所述感兴趣区域的图像作为所述模型训练数据。
第十一实施例
本公开实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行车道线的识别方法，该方法包括：
基于二维滤波，从图像中识别车道线的图像区域；
将已经识别了车道线的图像区域的图像输入至基于卷积神经网络的车道线识别模型，得到所述模型的输出概率；
基于所述输出概率，进行模型重建，以识别输入图像中的车道线。
上述存储介质在执行所述方法时，在基于二维滤波，从图像中识别车道线的图像区域之前，还包括：
对原始图像进行逆投射变换，以调整所述原始图像的光轴方向为垂直于地面的方向。
上述存储介质在执行所述方法时，基于所述输出概率，进行模型重建，以识别输入图像中的车道线包括：
根据如下公式进行模型重建：
Figure PCTCN2015100175-appb-000019
其中，
Figure PCTCN2015100175-appb-000020
和
Figure PCTCN2015100175-appb-000021
分别代表第i根车道线的长度和属于真实车道线的概率，
Figure PCTCN2015100175-appb-000022
分别代表第i根和第j根车道线的角度相似和距离远近的约束关系。
第十二实施例
图12为本公开第十二实施例提供的一种执行车道线的识别方法的设备硬件结构示意图。参见图12，该设备包括：
一个或者多个处理器1210，图12中以一个处理器1210为例；
存储器1220；以及一个或者多个模块。
所述设备还可以包括：输入装置1230和输出装置1240。所述设备中的处理器1210、存储器1220、输入装置1230和输出装置1240可以通过总线或其他方式连接，图12中以通过总线连接为例。
存储器1220作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本公开实施例中的车道线的识别方法对应的程序指令/模块(例如，附图10所示的车道线的识别装置中的逆投射变换模块101、区域识别模块102、概率计算模块103和模型重建模块104)。处理器1210通过运行存储在存储器1220中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述方法实施例中的执行车道线的识别方法。
存储器1220可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器1220可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器1220可进一步包括相对于处理器1210远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置1230可用于接收输入的数字或字符信息，以及产生与终端的用户设置以及功能控制有关的键信号输入。输出装置1240可包括显示屏等显示设 备。
所述一个或者多个模块存储在所述存储器1220中，当被所述一个或者多个处理器1210执行时，执行如下操作：
基于二维滤波，从图像中识别车道线的图像区域；
将已经识别了车道线的图像区域的图像输入至基于卷积神经网络的车道线识别模型，得到所述模型的输出概率；
基于所述输出概率，进行模型重建，以识别输入图像中的车道线。
进一步的，在基于二维滤波，从图像中识别车道线的图像区域之前，还包括：
对原始图像进行逆投射变换，以调整所述原始图像的光轴方向为垂直于地面的方向。
进一步的，基于所述输出概率，进行模型重建，以识别输入图像中的车道线包括：
根据如下公式进行模型重建：
Figure PCTCN2015100175-appb-000023
其中，
Figure PCTCN2015100175-appb-000024
和
Figure PCTCN2015100175-appb-000025
分别代表第i根车道线的长度和属于真实车道线的概率，
Figure PCTCN2015100175-appb-000026
分别代表第i根和第j根车道线的角度相似和距离远近的约束关系。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本公开可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器 (Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述的方法。
值得注意的是，上述车道线识别建模装置和车道线识别装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开的保护范围。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (20)

  1. 一种车道线的识别建模方法，其特征在于，包括：
    基于二维滤波，从图像中识别车道线的图像区域；
    利用识别得到的图像区域，构造模型训练数据；
    利用所述模型训练数据，训练基于卷积神经网络的车道线识别模型。
  2. 根据权利要求1所述的方法，其特征在于，在基于二维滤波，从背景图像中识别车道线的图像区域之前，还包括：
    对原始图像进行逆投射变换，以调整所述原始图像的光轴方向为垂直于地面的方向。
  3. 根据权利要求2所述的方法，其特征在于，对原始图像进行逆投射变换，以调整所述原始图像的光轴方向为垂直与地面的方向包括：
    根据如下公式对所述原始图像进行逆投射变换：
    Figure PCTCN2015100175-appb-100001
    其中，α、β、γ分别是相机的俯仰角、偏航角以及翻滚角，fu、fv是相机竖直和水平方向的焦距，cu、cv是相机光心坐标点的横坐标及纵坐标，u、v分别表示变换前图像的二维平面内坐标点的横坐标及纵坐标，xw、yw及zw分别表示变换后三维空间中所述坐标点的三维坐标，s为归一化参数。
  4. 根据权利要求1至3任一所述的方法，其特征在于，基于二维滤波，从图像中识别车道线的图像区域包括：
    利用具有不同宽度参数和高度参数的hat-like滤波核，对背景图像进行滤波，并选择图像边沿最为明显的一幅图像，作为滤波结果图像；
    对所述滤波结果图像进行二值化，形成至少一个连通域；
    利用改进的ransac算法，对所述连通域进行边界的直线拟合。
  5. 根据权利要求1至3任一所述的方法，其特征在于，利用识别得到的图像区域，构造模型训练数据包括：
    对所述连通域进行扩宽，形成图像上的感兴趣区域；
    将包含所述感兴趣区域的图像作为所述模型训练数据。
  6. 一种车道线的识别建模装置，其特征在于，包括：
    识别模块，用于基于二维滤波，从图像中识别车道线的图像区域；
    构造模块，用于利用识别得到的图像区域，构造模型训练数据；
    训练模块，用于利用所述模型训练数据，训练基于卷积神经网络的车道线识别模型。
  7. 根据权利要求6所述的装置，其特征在于，还包括：
    变换模块，用于在基于二维滤波，从背景图像中识别车道线的图像区域之前，对原始图像进行逆投射变换，以调整所述原始图像的光轴方向为垂直于地面的方向。
  8. 根据权利要求7所述的装置，其特征在于，所述变换模块具体用于：
    根据如下公式对所述原始图像进行逆投射变换：
    Figure PCTCN2015100175-appb-100002
    其中，α、β、γ分别是相机的俯仰角、偏航角以及翻滚角，fu、fv是相机竖直和水平方向的焦距，cu、cv是相机光心坐标点的横坐标及纵坐标，u、v分别表示变换前图像的二维平面内坐标点的横坐标及纵坐标，xw、yw及zw分别表示变换后三维空间中所述坐标点的三维坐标，s为归一化参数。
  9. 根据权利要求6至8任一所述的装置，其特征在于，所述识别模块包括：
    滤波单元，用于利用具有不同宽度参数和高度参数的hat-like滤波核，对背 景图像进行滤波，并选择图像边沿最为明显的一幅图像，作为滤波结果图像；
    二值化单元，用于对所述滤波结果图像进行二值化，形成至少一个连通域；
    拟合单元，用于利用改进的ransac算法，对所述连通域进行边界的直线拟合。
  10. 根据权利要求6至8任一所述的装置，其特征在于，所述构造模块包括：
    扩宽单元，用于对所述连通域进行扩宽，形成图像上的感兴趣区域；
    数据获取单元，用于将包含所述感兴趣区域的图像作为所述模型训练数据。
  11. 一种车道线的识别方法，其特征在于，包括：
    基于二维滤波，从图像中识别车道线的图像区域；
    将已经识别了车道线的图像区域的图像输入至基于卷积神经网络的车道线识别模型，得到所述模型的输出概率；
    基于所述输出概率，进行模型重建，以识别输入图像中的车道线。
  12. 根据权利要求11所述的方法，其特征在于，在基于二维滤波，从图像中识别车道线的图像区域之前，还包括：
    对原始图像进行逆投射变换，以调整所述原始图像的光轴方向为垂直于地面的方向。
  13. 根据权利要求11或12所述的方法，其特征在于，基于所述输出概率，进行模型重建，以识别输入图像中的车道线包括：
    根据如下公式进行模型重建：
    Figure PCTCN2015100175-appb-100003
    其中，
    Figure PCTCN2015100175-appb-100004
    和
    Figure PCTCN2015100175-appb-100005
    分别代表第i根车道线的长度和属于真实车道线的概 率，
    Figure PCTCN2015100175-appb-100006
    分别代表第i根和第j根车道线的角度相似和距离远近的约束关系。
  14. 一种车道线的识别装置，其特征在于，包括：
    区域识别模块，用于基于二维滤波，从图像中识别车道线的图像区域；
    概率计算模块，用于将已经识别了车道线的图像区域的图像输入至基于卷积神经网络的车道线识别模型，得到所述模型的输出概率；
    模型重建模块，用于基于所述输出概率，进行模型重建，以识别输入图像中的车道线。
  15. 根据权利要求14所述的装置，其特征在于，还包括：
    逆投射变换模块，用于在基于二维滤波，从图像中识别车道线的图像区域之前，对原始图像进行逆投射变换，以调整所述原始图像的光轴方向为垂直于地面的方向。
  16. 根据权利要求14或15所述的装置，其特征在于，所述模型重建模块具体用于：
    根据如下公式进行模型重建：
    Figure PCTCN2015100175-appb-100007
    其中，
    Figure PCTCN2015100175-appb-100008
    和
    Figure PCTCN2015100175-appb-100009
    分别代表第i根车道线的长度和属于真实车道线的概率，
    Figure PCTCN2015100175-appb-100010
    分别代表第i根和第j根车道线的角度相似和距离远近的约束关系。
  17. 一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行车道线的识别建模方法，其特征在于，该方法包括：
    基于二维滤波，从图像中识别车道线的图像区域；
    利用识别得到的图像区域，构造模型训练数据；
    利用所述模型训练数据，训练基于卷积神经网络的车道线识别模型。
  18. 一种设备，其特征在于，包括：
    一个或者多个处理器；
    存储器；
    一个或者多个程序，所述一个或者多个程序存储在所述存储器中，当被所述一个或者多个处理器执行时，进行如下操作：
    基于二维滤波，从图像中识别车道线的图像区域；
    利用识别得到的图像区域，构造模型训练数据；
    利用所述模型训练数据，训练基于卷积神经网络的车道线识别模型。
  19. 一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行车道线的识别方法，其特征在于，该方法包括：
    基于二维滤波，从图像中识别车道线的图像区域；
    将已经识别了车道线的图像区域的图像输入至基于卷积神经网络的车道线识别模型，得到所述模型的输出概率；
    基于所述输出概率，进行模型重建，以识别输入图像中的车道线。
  20. 一种设备，其特征在于，包括：
    一个或者多个处理器；
    存储器；
    一个或者多个程序，所述一个或者多个程序存储在所述存储器中，当被所述一个或者多个处理器执行时，进行如下操作：
    基于二维滤波，从图像中识别车道线的图像区域；
    将已经识别了车道线的图像区域的图像输入至基于卷积神经网络的车道线识别模型，得到所述模型的输出概率；
    基于所述输出概率，进行模型重建，以识别输入图像中的车道线。
PCT/CN2015/100175 2015-08-03 2015-12-31 车道线的识别建模方法、装置、存储介质和设备及识别方法、装置、存储介质和设备 WO2017020528A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020187005239A KR102143108B1 (ko) 2015-08-03 2015-12-31 차선 인식 모델링 방법, 장치, 저장 매체 및 기기, 및 인식 방법, 장치, 저장 매체 및 기기
US15/750,127 US10699134B2 (en) 2015-08-03 2015-12-31 Method, apparatus, storage medium and device for modeling lane line identification, and method, apparatus, storage medium and device for identifying lane line
JP2018505645A JP6739517B2 (ja) 2015-08-03 2015-12-31 車線認識のモデリング方法、装置、記憶媒体及び機器、並びに車線の認識方法、装置、記憶媒体及び機器
EP15900291.4A EP3321842B1 (en) 2015-08-03 2015-12-31 Lane line recognition modeling method, apparatus, storage medium, and device, recognition method and apparatus, storage medium, and device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510482990.1A CN105046235B (zh) 2015-08-03 2015-08-03 车道线的识别建模方法和装置、识别方法和装置
CN201510482990.1 2015-08-03

Publications (1)

Publication Number Publication Date
WO2017020528A1 true WO2017020528A1 (zh) 2017-02-09

Family

ID=54452764

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/100175 WO2017020528A1 (zh) 2015-08-03 2015-12-31 车道线的识别建模方法、装置、存储介质和设备及识别方法、装置、存储介质和设备

Country Status (6)

Country Link
US (1) US10699134B2 (zh)
EP (1) EP3321842B1 (zh)
JP (1) JP6739517B2 (zh)
KR (1) KR102143108B1 (zh)
CN (1) CN105046235B (zh)
WO (1) WO2017020528A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3441909A1 (en) * 2017-08-09 2019-02-13 Samsung Electronics Co., Ltd. Lane detection method and apparatus
EP3506156A1 (en) * 2017-12-29 2019-07-03 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for detecting lane line, and medium
CN110413942A (zh) * 2019-06-04 2019-11-05 联创汽车电子有限公司 车道线方程筛选方法及其筛选模块
JP2020038624A (ja) * 2018-09-04 2020-03-12 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 車線処理方法及び装置
CN111192216A (zh) * 2019-12-31 2020-05-22 武汉中海庭数据技术有限公司 一种车道线平滑处理方法及系统
CN112434585A (zh) * 2020-11-14 2021-03-02 武汉中海庭数据技术有限公司 一种车道线的虚实识别方法、系统、电子设备及存储介质
US11068724B2 (en) * 2018-10-11 2021-07-20 Baidu Usa Llc Deep learning continuous lane lines detection system for autonomous vehicles
CN116580373A (zh) * 2023-07-11 2023-08-11 广汽埃安新能源汽车股份有限公司 一种车道线优化方法、装置、电子设备和存储介质
CN117114141A (zh) * 2023-10-20 2023-11-24 安徽蔚来智驾科技有限公司 模型训练的方法、评估方法、计算机设备及存储介质

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046235B (zh) 2015-08-03 2018-09-07 百度在线网络技术（北京）有限公司 车道线的识别建模方法和装置、识别方法和装置
CN105426861B (zh) * 2015-12-02 2019-05-21 百度在线网络技术（北京）有限公司 车道线确定方法及装置
US9494438B1 (en) * 2015-12-15 2016-11-15 Honda Motor Co., Ltd. System and method for verifying map data for a vehicle
CN105654064A (zh) * 2016-01-25 2016-06-08 北京中科慧眼科技有限公司 车道线检测方法和装置及高级驾驶辅助系统
CN107220580B (zh) * 2016-03-22 2022-08-09 敦泰电子有限公司 基于投票决策和最小二乘法的图像识别随机取样一致算法
WO2018035815A1 (zh) * 2016-08-25 2018-03-01 深圳市锐明技术股份有限公司 一种成对车道线的检测方法和装置
CN106529505A (zh) * 2016-12-05 2017-03-22 惠州华阳通用电子有限公司 一种基于图像视觉的车道线检测方法
CN108241829A (zh) * 2016-12-23 2018-07-03 乐视汽车（北京）有限公司 车辆行驶图像识别方法
CN108268813B (zh) * 2016-12-30 2021-05-07 北京文安智能技术股份有限公司 一种车道偏离预警方法、装置及电子设备
CN106845424B (zh) * 2017-01-24 2020-05-05 南京大学 基于深度卷积网络的路面遗留物检测方法
CN108509826B (zh) * 2017-02-27 2022-03-01 千寻位置网络有限公司 一种遥感影像的道路识别方法及其系统
CN107092862A (zh) * 2017-03-16 2017-08-25 浙江零跑科技有限公司 一种基于卷积神经网络的车道边缘检测方法
CN109426800B (zh) * 2017-08-22 2021-08-13 北京图森未来科技有限公司 一种车道线检测方法和装置
CN109426824B (zh) * 2017-08-28 2021-05-25 阿里巴巴（中国）有限公司 道路交通标线的识别方法和装置
DE102017216802A1 (de) * 2017-09-22 2019-03-28 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
CN109726615A (zh) * 2017-10-30 2019-05-07 北京京东尚科信息技术有限公司 一种道路边界的识别方法和装置
CN108090456B (zh) * 2017-12-27 2020-06-19 北京初速度科技有限公司 识别车道线模型的训练方法、车道线识别方法及装置
CN108491811A (zh) * 2018-03-28 2018-09-04 中山大学 一种基于fpga的超低功耗实时车道线检测的方法
CN110348273B (zh) * 2018-04-04 2022-05-24 北京四维图新科技股份有限公司 神经网络模型训练方法、系统及车道线识别方法、系统
CN108615358A (zh) * 2018-05-02 2018-10-02 安徽大学 一种道路拥堵检测方法及装置
CN108694386B (zh) * 2018-05-15 2021-08-10 华南理工大学 一种基于并联卷积神经网络的车道线检测方法
CN108960183B (zh) * 2018-07-19 2020-06-02 北京航空航天大学 一种基于多传感器融合的弯道目标识别系统及方法
CN110795961B (zh) * 2018-08-01 2023-07-18 新疆万兴信息科技有限公司 一种车道线检测方法、装置、电子设备及介质
CN110796606B (zh) * 2018-08-01 2023-07-07 新疆万兴信息科技有限公司 一种确定IPM matrix参数的方法、装置、电子设备及介质
DE102018214697A1 (de) * 2018-08-30 2020-03-05 Continental Automotive Gmbh Fahrbahnkartierungsvorrichtung
CN109446886B (zh) * 2018-09-07 2020-08-25 百度在线网络技术（北京）有限公司 基于无人车的障碍物检测方法、装置、设备以及存储介质
CN109389046B (zh) * 2018-09-11 2022-03-29 昆山星际舟智能科技有限公司 用于自动驾驶的全天候物体识别与车道线检测方法
US10311338B1 (en) * 2018-09-15 2019-06-04 StradVision, Inc. Learning method, learning device for detecting lanes on the basis of CNN and testing method, testing device using the same
DE102018216413A1 (de) * 2018-09-26 2020-03-26 Robert Bosch Gmbh Vorrichtung und Verfahren zur automatischen Bildverbesserung bei Fahrzeugen
CN109389650B (zh) * 2018-09-30 2021-01-12 京东方科技集团股份有限公司 一种车载相机的标定方法、装置、车辆和存储介质
KR102483649B1 (ko) 2018-10-16 2023-01-02 삼성전자주식회사 차량 위치 결정 방법 및 차량 위치 결정 장치
CN109345547B (zh) * 2018-10-19 2021-08-24 天津天地伟业投资管理有限公司 基于深度学习多任务网络的交通车道线检测方法及装置
CN109376674B (zh) * 2018-10-31 2024-09-06 北京小米移动软件有限公司 人脸检测方法、装置及存储介质
CN109598268B (zh) * 2018-11-23 2021-08-17 安徽大学 一种基于单流深度网络的rgb-d显著目标检测方法
CN111368605B (zh) * 2018-12-26 2023-08-25 易图通科技（北京）有限公司 车道线提取方法及装置
US11023745B2 (en) * 2018-12-27 2021-06-01 Beijing Didi Infinity Technology And Development Co., Ltd. System for automated lane marking
WO2020139355A1 (en) * 2018-12-27 2020-07-02 Didi Research America, Llc System for automated lane marking
US11087173B2 (en) 2018-12-27 2021-08-10 Beijing Didi Infinity Technology And Development Co., Ltd. Using image pre-processing to generate a machine learning model
WO2020139357A1 (en) * 2018-12-27 2020-07-02 Didi Research America, Llc Using image pre-processing to generate a machine learning model
US10990815B2 (en) 2018-12-27 2021-04-27 Beijing Didi Infinity Technology And Development Co., Ltd. Image pre-processing in a lane marking determination system
CN109685850B (zh) * 2018-12-29 2024-05-28 百度在线网络技术（北京）有限公司 一种横向定位方法及车载设备
CN109740554A (zh) * 2019-01-09 2019-05-10 宽凳（北京）科技有限公司 一种道路边缘线识别方法及系统
US10346693B1 (en) * 2019-01-22 2019-07-09 StradVision, Inc. Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
CN109816050A (zh) * 2019-02-23 2019-05-28 深圳市商汤科技有限公司 物体位姿估计方法及装置
CN110163109B (zh) * 2019-04-23 2021-09-17 浙江大华技术股份有限公司 一种车道线标注方法及装置
CN110569730B (zh) * 2019-08-06 2022-11-15 福建农林大学 一种基于U-net神经网络模型的路面裂缝自动识别方法
CN110525436A (zh) * 2019-08-27 2019-12-03 中国第一汽车股份有限公司 车辆换道控制方法、装置、车辆和存储介质
CN112446230B (zh) * 2019-08-27 2024-04-09 中车株洲电力机车研究所有限公司 车道线图像的识别方法及装置
CN112686080A (zh) * 2019-10-17 2021-04-20 北京京东乾石科技有限公司 进行车道线检测的方法和装置
CN112926354A (zh) * 2019-12-05 2021-06-08 北京超星未来科技有限公司 一种基于深度学习的车道线检测方法及装置
CN111126209B (zh) * 2019-12-09 2024-06-14 博泰车联网科技(上海)股份有限公司 车道线检测方法及相关设备
CN111191619B (zh) * 2020-01-02 2023-09-05 北京百度网讯科技有限公司 车道线虚线段的检测方法、装置、设备和可读存储介质
US11798187B2 (en) * 2020-02-12 2023-10-24 Motive Technologies, Inc. Lane detection and distance estimation using single-view geometry
CN111310737B (zh) * 2020-03-26 2023-10-13 山东极视角科技股份有限公司 一种车道线检测方法及装置
CN112639765B (zh) * 2020-04-18 2022-02-11 华为技术有限公司 车道线识别异常事件确定方法、车道线识别装置及系统
CN111539401B (zh) * 2020-07-13 2020-10-23 平安国际智慧城市科技股份有限公司 基于人工智能的车道线检测方法、装置、终端及存储介质
CN112902987B (zh) * 2021-02-02 2022-07-15 北京三快在线科技有限公司 一种位姿修正的方法及装置
CN113011293B (zh) * 2021-03-05 2022-09-30 郑州天迈科技股份有限公司 一种行道线参数实时提取方法
CN113537002B (zh) * 2021-07-02 2023-01-24 安阳工学院 一种基于双模神经网络模型的驾驶环境评估方法及装置
CN113298050B (zh) * 2021-07-21 2021-11-19 智道网联科技(北京)有限公司 车道线识别模型训练方法、装置及车道线识别方法、装置
CN113344929B (zh) * 2021-08-09 2021-11-05 深圳智检慧通科技有限公司 一种焊点视觉检测识别方法、可读存储介质及设备
CN114758310B (zh) * 2022-06-13 2022-10-28 山东博昂信息科技有限公司 一种基于高速监控相机的车道线检测方法、系统及装置
CN115240435A (zh) * 2022-09-21 2022-10-25 广州市德赛西威智慧交通技术有限公司 一种基于ai技术的车辆违章行驶检测方法、装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766058A (zh) * 2015-03-31 2015-07-08 百度在线网络技术（北京）有限公司 一种获取车道线的方法和装置
CN104809449A (zh) * 2015-05-14 2015-07-29 重庆大学 适用于高速公路视频监控系统的车道虚线分界线自动检测方法
CN105046235A (zh) * 2015-08-03 2015-11-11 百度在线网络技术（北京）有限公司 车道线的识别建模方法和装置、识别方法和装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202877A (ja) 1995-01-31 1996-08-09 Toyota Motor Corp 画像認識装置
GB9804112D0 (en) * 1998-02-27 1998-04-22 Lucas Ind Plc Road profile prediction
US7375728B2 (en) * 2001-10-01 2008-05-20 University Of Minnesota Virtual mirror
US7774113B2 (en) * 2002-04-10 2010-08-10 Trw Limited Cameras to determine vehicle heading
AU2003295318A1 (en) * 2002-06-14 2004-04-19 Honda Giken Kogyo Kabushiki Kaisha Pedestrian detection and tracking with night vision
JP4328692B2 (ja) * 2004-08-11 2009-09-09 国立大学法人東京工業大学 物体検出装置
US7831098B2 (en) * 2006-11-07 2010-11-09 Recognition Robotics System and method for visual searching of objects using lines
US8098889B2 (en) * 2007-01-18 2012-01-17 Siemens Corporation System and method for vehicle detection and tracking
JP5014237B2 (ja) * 2008-04-23 2012-08-29 本田技研工業株式会社 レーンマーカ認識装置、車両、及びレーンマーカ認識用プログラム
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8855917B2 (en) * 2008-10-16 2014-10-07 Csr Technology Inc. System and method for use of a vehicle back-up camera as a dead-reckoning sensor
CN102201167B (zh) * 2010-04-07 2013-03-06 宫宁生 基于视频的汽车车道自动识别方法
US9547795B2 (en) * 2011-04-25 2017-01-17 Magna Electronics Inc. Image processing method for detecting objects using relative motion
EP2574511B1 (en) * 2011-09-30 2016-03-16 Honda Research Institute Europe GmbH Analyzing road surfaces
KR101295077B1 (ko) 2011-12-28 2013-08-08 전자부품연구원 다양한 도로 상황에서의 차선 검출 및 추적 장치
US9576214B1 (en) * 2012-01-23 2017-02-21 Hrl Laboratories, Llc Robust object recognition from moving platforms by combining form and motion detection with bio-inspired classification
US9053372B2 (en) * 2012-06-28 2015-06-09 Honda Motor Co., Ltd. Road marking detection and recognition
JP6056319B2 (ja) * 2012-09-21 2017-01-11 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9349058B2 (en) * 2012-10-31 2016-05-24 Tk Holdings, Inc. Vehicular path sensing system and method
US20150276400A1 (en) * 2013-03-13 2015-10-01 Electronic Scripting Products, Inc. Reduced homography for ascertaining conditioned motion of an optical apparatus
US9821813B2 (en) * 2014-11-13 2017-11-21 Nec Corporation Continuous occlusion models for road scene understanding
CN104598892B (zh) * 2015-01-30 2018-05-04 广东威创视讯科技股份有限公司 一种危险驾驶行为预警方法及系统
CN104657727B (zh) * 2015-03-18 2018-01-02 厦门麦克玛视电子信息技术有限公司 一种车道线的检测方法
KR102267562B1 (ko) * 2015-04-16 2021-06-22 한국전자통신연구원 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
US10062010B2 (en) * 2015-06-26 2018-08-28 Intel Corporation System for building a map and subsequent localization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766058A (zh) * 2015-03-31 2015-07-08 百度在线网络技术（北京）有限公司 一种获取车道线的方法和装置
CN104809449A (zh) * 2015-05-14 2015-07-29 重庆大学 适用于高速公路视频监控系统的车道虚线分界线自动检测方法
CN105046235A (zh) * 2015-08-03 2015-11-11 百度在线网络技术（北京）有限公司 车道线的识别建模方法和装置、识别方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP3321842A4 *
YANG, SHENGLAN;: "Design and Research of Vehicle Auxiliary Navigation System Based on Augmented Reality", CHINA MASTER'S THESES FULL-TEXT DATABASE, 17 September 2014 (2014-09-17), XP009504549 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650529B2 (en) 2017-08-09 2020-05-12 Samsung Electronics Co., Ltd. Lane detection method and apparatus
EP3441909A1 (en) * 2017-08-09 2019-02-13 Samsung Electronics Co., Ltd. Lane detection method and apparatus
EP3506156A1 (en) * 2017-12-29 2019-07-03 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for detecting lane line, and medium
US10846543B2 (en) 2017-12-29 2020-11-24 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for detecting lane line, and medium
JP2020038624A (ja) * 2018-09-04 2020-03-12 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 車線処理方法及び装置
US11068724B2 (en) * 2018-10-11 2021-07-20 Baidu Usa Llc Deep learning continuous lane lines detection system for autonomous vehicles
CN110413942A (zh) * 2019-06-04 2019-11-05 联创汽车电子有限公司 车道线方程筛选方法及其筛选模块
CN110413942B (zh) * 2019-06-04 2023-08-08 上海汽车工业(集团)总公司 车道线方程筛选方法及其筛选模块
CN111192216A (zh) * 2019-12-31 2020-05-22 武汉中海庭数据技术有限公司 一种车道线平滑处理方法及系统
CN112434585A (zh) * 2020-11-14 2021-03-02 武汉中海庭数据技术有限公司 一种车道线的虚实识别方法、系统、电子设备及存储介质
CN116580373A (zh) * 2023-07-11 2023-08-11 广汽埃安新能源汽车股份有限公司 一种车道线优化方法、装置、电子设备和存储介质
CN116580373B (zh) * 2023-07-11 2023-09-26 广汽埃安新能源汽车股份有限公司 一种车道线优化方法、装置、电子设备和存储介质
CN117114141A (zh) * 2023-10-20 2023-11-24 安徽蔚来智驾科技有限公司 模型训练的方法、评估方法、计算机设备及存储介质
CN117114141B (zh) * 2023-10-20 2024-02-27 安徽蔚来智驾科技有限公司 模型训练的方法、评估方法、计算机设备及存储介质

Also Published As

Publication number Publication date
EP3321842A1 (en) 2018-05-16
CN105046235A (zh) 2015-11-11
EP3321842A4 (en) 2018-08-15
CN105046235B (zh) 2018-09-07
JP2018523875A (ja) 2018-08-23
EP3321842B1 (en) 2020-04-29
US20180225527A1 (en) 2018-08-09
KR102143108B1 (ko) 2020-08-10
US10699134B2 (en) 2020-06-30
JP6739517B2 (ja) 2020-08-12
KR20180034529A (ko) 2018-04-04

Similar Documents

Publication Publication Date Title
WO2017020528A1 (zh) 车道线的识别建模方法、装置、存储介质和设备及识别方法、装置、存储介质和设备
US10607362B2 (en) Remote determination of containers in geographical region
US10192323B2 (en) Remote determination of containers in geographical region
JP6926335B2 (ja) 深層学習における回転可変物体検出
WO2017041396A1 (zh) 一种车道线数据的处理方法、装置、存储介质及设备
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
Zhang et al. Semi-automatic road tracking by template matching and distance transformation in urban areas
CN110781885A (zh) 基于图像处理的文本检测方法、装置、介质及电子设备
AU2016315938A1 (en) Systems and methods for analyzing remote sensing imagery
US20150104070A1 (en) Detecting and identifying parking lots in remotely-sensed images
Ge et al. Vehicle detection and tracking based on video image processing in intelligent transportation system
US20220004740A1 (en) Apparatus and Method For Three-Dimensional Object Recognition
EP3553700A2 (en) Remote determination of containers in geographical region
Xu et al. Building height calculation for an urban area based on street view images and deep learning
CN114332633A (zh) 雷达图像目标检测识别方法、设备和存储介质
Li et al. Automatic Road Extraction from High-Resolution Remote Sensing Image Based on Bat Model and Mutual Information Matching.
CN116823884A (zh) 多目标跟踪方法、系统、计算机设备及存储介质
Kumar Solar potential analysis of rooftops using satellite imagery
CN115565072A (zh) 一种道路垃圾识别和定位方法、装置、电子设备及介质
CN104236518B (zh) 一种基于光学成像与模式识别的天线主波束指向探测方法
Widyaningrum et al. Tailored features for semantic segmentation with a DGCNN using free training samples of a colored airborne point cloud
CN102938156B (zh) 一种基于积分图像的面状注记配置方法
CN117576369A (zh) 火灾检测方法、装置以及存储介质
CN117218616A (zh) 车道线检测方法、装置、计算机设备和存储介质
CN118154856A (zh) 一种目标检测方法、装置及相关设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15900291

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018505645

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15750127

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20187005239

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2015900291

Country of ref document: EP