WO2023273358A1 - 交通标识的识别方法、装置、电子设备及存储介质 - Google Patents

交通标识的识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
WO2023273358A1
WO2023273358A1 PCT/CN2022/076169 CN2022076169W WO2023273358A1 WO 2023273358 A1 WO2023273358 A1 WO 2023273358A1 CN 2022076169 W CN2022076169 W CN 2022076169W WO 2023273358 A1 WO2023273358 A1 WO 2023273358A1
Authority
WO
WIPO (PCT)
Prior art keywords
traffic
tool
matching
map
traffic sign
Prior art date
Application number
PCT/CN2022/076169
Other languages
English (en)
French (fr)
Inventor
李逍
程光亮
Original Assignee
上海商汤智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海商汤智能科技有限公司 filed Critical 上海商汤智能科技有限公司
Publication of WO2023273358A1 publication Critical patent/WO2023273358A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Definitions

  • the present disclosure relates to the technical field of automatic driving, and in particular to a traffic sign recognition method, device, electronic equipment and storage medium.
  • High-precision maps make autonomous driving more comfortable.
  • High-precision maps can provide a large amount of driving assistance information, mainly the three-dimensional representation of the road network, etc., and also need to include traffic lights, traffic signs, etc.
  • the key information that affects the driving of the vehicle such as the instruction information of the traffic sign tool.
  • the indication information of traffic marking tools in the map data it is necessary to collect real-time traffic images through the vehicle's camera, and detect the traffic marking tools on the traffic images, and detect the position of the traffic marking tools in the traffic image and the corresponding indication information (such as the color information of traffic lights, the sign category of traffic signs, etc.), and then, combined with the location information, assign the detected indication information of the traffic sign tool to the traffic sign tool in the corresponding map data.
  • the location information is combined to match the detected traffic sign tool with the traffic sign tool provided by the high-precision map. There is a large matching error between the detected traffic sign tool and the traffic sign tool in the high-precision map, and the map The data cannot accurately reflect the traffic conditions on the road, and it also brings certain hidden dangers to driving.
  • the present disclosure provides a traffic sign recognition method, device, electronic equipment, and storage medium, which can improve the matching accuracy between the detected traffic sign tool and the traffic sign tool in the map data, so that the map data can accurately reflect the traffic on the road conditions and improve driving safety.
  • the disclosed technical scheme is as follows:
  • a method for identifying a traffic sign including:
  • Target traffic data including the instruction information for detecting the traffic marking tool in the traffic image
  • mapping the detected traffic sign tool in the traffic image with the map traffic sign tool in the map data from multiple dimensions can effectively improve the matching accuracy between the detected traffic sign tool and the traffic sign tool in the map data , and then combined with the detected indication information of the traffic sign tool to improve the map data, so that the map data can more accurately reflect the traffic conditions on the road, and greatly improve driving safety.
  • the multi-dimensional matching includes matching on at least two dimensions among shape matching dimension, position matching dimension and angle deviation matching dimension;
  • the multi-dimensional matching of the map traffic sign tool and the detection traffic sign tool in the target traffic image, and determining the matching detection traffic sign tool of the map traffic sign tool in the target traffic image includes:
  • the shape matching dimension, the position matching dimension and the angle deviation matching dimension, the map traffic sign tool and the detected traffic sign tool in the target traffic image are matched to obtain the Matching information corresponding to at least two matching dimensions;
  • the matching detection traffic sign tool determines the matching detection traffic sign tool
  • the matching information corresponding to the shape matching dimension represents the shape difference information between the map traffic sign tool and the target detection traffic sign tool in the target traffic image; the matching information corresponding to the position matching dimension is represented in The position difference information between the map traffic sign tool and the target detection traffic sign tool in the target traffic image; the matching information corresponding to the angle deviation matching dimension represents the map traffic sign tool in the target traffic image Angle difference information between the target and the traffic marking tool is detected.
  • the map traffic sign tool and the detection traffic sign tool are matched, which can greatly improve the matched detection traffic sign tool and map. Matching accuracy between traffic signage tools in the data.
  • the number of map traffic marking tools and detection traffic marking tools in the target traffic image is multiple, and at least two of the shape matching dimension, the position matching dimension and the angle deviation matching dimension Matching dimensions, matching the map traffic sign tool and the detection traffic sign tool in the target traffic image, obtaining the matching information corresponding to the at least two matching dimensions includes:
  • the target detection traffic identification tool is a detection traffic identification tool that does not have a matching map traffic identification tool in the target traffic image;
  • determining the matching detection traffic sign tool includes:
  • the matching information corresponding to the at least two matching dimensions determine the first target matching information between the currently traversed map traffic sign tool and the target detection traffic sign tool in the target traffic image;
  • the target detection traffic sign tool whose first target matching information satisfies the first preset matching condition is used as the matching detection traffic sign tool of the currently traversed map traffic sign tool.
  • mapping the map traffic sign tool and the detection traffic sign tool from multiple matching dimensions can greatly improve the matching accuracy between the matched detection traffic sign tool and the traffic sign tool in the map data.
  • the map traffic sign tool and the detected traffic sign tool in the target traffic image are matched , to obtain matching information corresponding to the at least two matching dimensions, including:
  • the currently traversed map traffic sign tool set is matched with the target detection traffic sign tool set on the at least two matching dimensions to obtain the at least two Matching information corresponding to a matching dimension, the target detection traffic sign tool set is a detection traffic sign tool set that does not have a matching map traffic sign tool set in the second number of detection traffic sign tool sets;
  • determining the matching detection traffic sign tool includes:
  • the matching information corresponding to the at least two matching dimensions determine the second target matching information between the currently traversed map traffic sign tool set and the target detection traffic sign tool set;
  • the determining the indication information of the map traffic identification tool in the map data based on the matching detection of the indication information of the traffic identification tool includes:
  • the corresponding map traffic sign tool group and detection traffic sign tool group are obtained, which can make the data used for matching more accurate.
  • the matching accuracy between the detected traffic sign tool and the traffic sign tool in the map data can be improved.
  • the target traffic data further includes the first image coordinate information of the detected traffic marking tools in the traffic image, and the multiple map traffic marking tools and the multiple detected traffic marking tools in the target traffic image are respectively Carry out cluster processing, obtain the first number of map traffic sign tool sets and the second number of detection traffic sign tool sets including:
  • the corresponding map traffic sign tool set and detection traffic sign tool set can be obtained, which can make The data used for subsequent matching is more in line with the actual situation, which can improve the matching accuracy between the detected traffic sign tools and the traffic sign tools in the map data.
  • the multi-dimensional matching also includes: matching on the quantity matching dimension;
  • the matching information corresponding to the at least two matching dimensions includes:
  • the map traffic marking tool and the detection traffic marking tool in the target traffic image Perform matching to obtain matching information corresponding to the at least two matching dimensions;
  • the matching information corresponding to the quantity matching dimension represents quantity difference information between the map traffic sign tool group and the target detection traffic sign tool set in the target traffic image.
  • the map traffic sign tool set is matched with the detection traffic sign tool set, which can greatly improve the matching efficiency.
  • the matching accuracy between the detection traffic identification tool and the traffic identification tool in the map data is matched with the detection traffic sign tool set, which can greatly improve the matching efficiency.
  • determining the indication information of the map traffic identification tool set in the map data based on the matching detection of the indication information of the traffic identification tool set includes:
  • the corresponding matching detection traffic sign tool set detects traffic signs
  • the instruction information of the tool is sequentially set as the instruction information of the map traffic identification tool in the map traffic identification tool group according to the preset order.
  • the indicated information of the detected traffic sign tools which are assigned to the map traffic sign tool in sequence, so that the indication information of the map traffic sign tool can be accurately determined.
  • determining the indication information of the map traffic identification tool set in the map data based on the matching detection of the indication information of the traffic identification tool set includes:
  • the detection traffic sign tool in the corresponding matching detection traffic sign tool group According to the preset sequence, set the instruction information of the map traffic sign tool in the map traffic sign tool group in sequence, and use the preset instruction information as the corresponding map traffic sign tool group, if no indicator information is set Instructions for the Maps traffic signage tool.
  • the method further includes: generating map data including indication information of the map traffic marking tool.
  • the map data can be improved, so that the map data can more accurately reflect the traffic conditions on the road, and greatly improve driving safety.
  • the method before generating the map data including the indication information of the map traffic sign tool, the method further includes:
  • the target indication information is the same as the indication information of the map traffic sign tool in the map data at the current moment.
  • the currently obtained indication information of the traffic identification tool is corrected through the indication information of the traffic identification tool at a plurality of preset times before the current time, which can greatly improve the accuracy and reliability of the map data, thereby effectively improving the driving safety.
  • the method also includes:
  • the target indication information is different from the indication information of the map traffic sign tool in the map data at the current moment, acquire the map traffic sign tool in the map data at the current moment, and a second preset after the current moment Indication information corresponding to a number of preset moments;
  • the instruction information corresponding to the second preset number of preset times is the same as the instruction information of the map traffic sign tool in the map data at the current moment.
  • mapping the map traffic identification tool in the map data corresponding to the target area to the image plane where the traffic image is located, and obtaining the target traffic image includes:
  • the map traffic marking tool is mapped to the traffic image to obtain the target traffic image.
  • mapping the map traffic identification tool to the traffic image based on the image coordinate information to obtain the target traffic image includes:
  • the image coordinate range corresponding to the traffic image includes the image coordinate information, based on the image coordinate information, map the map traffic marking tool to the traffic image to obtain the target traffic image;
  • the target vehicle is a vehicle driving based on the map data.
  • the execution is based on the image coordinate information.
  • the operation of mapping the map traffic sign tool to the traffic image to obtain the target traffic image can reduce the amount of subsequent data processing and improve data processing efficiency while filtering out invalid map traffic sign tools.
  • a traffic sign recognition device including:
  • a traffic sign tool detection module configured to detect traffic sign tools on traffic images in the target area to obtain target traffic data, where the target traffic data includes instruction information for detecting traffic sign tools in the traffic image;
  • the map traffic sign tool mapping module is used to map the map traffic sign tool in the map data corresponding to the target area to the image plane where the traffic image is located to obtain the target traffic image;
  • a multi-dimensional matching module configured to perform multi-dimensional matching on the map traffic sign tool and the detection traffic sign tool in the target traffic image, and determine the matching detection traffic sign tool of the map traffic sign tool in the target traffic image;
  • the indication information determination module is configured to determine the indication information of the map traffic identification tool in the map data based on the matching detection of the indication information of the traffic identification tool.
  • an electronic device including: a processor; a memory for storing instructions executable by the processor; wherein the processor is configured to execute the instructions to implement A method as described in any one of the above.
  • a computer-readable storage medium is provided.
  • the instructions in the storage medium are executed by the processor of the electronic device, the electronic device can perform any of the above-mentioned embodiments of the present disclosure. a method.
  • a computer program product including instructions, which, when run on a computer, cause the computer to execute any one of the methods described above in the embodiments of the present disclosure.
  • Matching the detected traffic sign tool in the traffic image with the map traffic sign tool in the map data from multiple dimensions can effectively improve the matching accuracy between the detected traffic sign tool and the traffic sign tool in the map data, and then combined with the detected traffic sign tool
  • the instruction information of the traffic sign tool improves the map data, so that the map data can more accurately reflect the traffic conditions on the road and greatly improve driving safety.
  • Fig. 1 is a flow chart of a traffic sign recognition method shown according to an exemplary embodiment
  • Fig. 2 is a kind of at least two matching dimensions in shape matching dimension, position matching dimension and angle deviation matching dimension shown according to an exemplary embodiment, and the map traffic marking tool and the detection traffic marking tool in the target traffic image are carried out matching, obtaining a flow chart of matching information corresponding to at least two matching dimensions;
  • Fig. 3 shows a method of clustering a plurality of map traffic sign tools and a plurality of detected traffic sign tools in a target traffic image according to an exemplary embodiment to obtain the first number of map traffic sign tool groups and the second group of map traffic sign tools.
  • Fig. 4 is a block diagram of an identification device for a traffic sign according to an exemplary embodiment
  • Fig. 5 is a block diagram showing an electronic device for data processing according to an exemplary embodiment.
  • Fig. 1 is a flow chart of a method for identifying traffic signs according to an exemplary embodiment.
  • the method for identifying traffic signs can be used in electronic devices such as terminals, servers, and edge computing nodes. Specifically , the method may include:
  • S101 Perform traffic sign tool detection on traffic images in the target area to obtain target traffic data.
  • the target area can be the area where the target vehicle is located.
  • the target area can be the area directly in front of the target vehicle (head); vehicle.
  • the above-mentioned traffic image may be an image collected by the camera equipment on the target vehicle.
  • the above-mentioned traffic image may be the current frame image in the video collected in real time by the camera equipment on the target vehicle, that is, the image collected at the current moment. A frame of video image.
  • performing traffic marker detection on traffic images in the target area may include: performing traffic marker detection on traffic images based on a traffic marker detection network to obtain target traffic data.
  • the target traffic data may include indication information of detected traffic sign tools in the traffic image; specifically, the detected traffic sign tool may be a traffic sign tool detected in the traffic image.
  • the traffic identification tools may include but not limited to traffic lights, traffic signs and so on.
  • the indication information can be different according to the different traffic sign tools.
  • the indication information of the traffic signal light can be the color information of the traffic signal light
  • the indication information of the traffic sign board can be the sign type of the traffic sign board.
  • the traffic sign tool detection network may be obtained by performing traffic sign tool detection training on a preset neural network based on sample traffic images and traffic data corresponding to pre-labeled sample traffic images.
  • the map traffic identification tool may be a traffic identification tool in map data.
  • the above-mentioned mapping of the map traffic marking tool in the map data corresponding to the target area to the image plane where the traffic image is located, and obtaining the target traffic image may include: converting the geographical coordinate information of the map traffic marking tool to The image coordinate information in the image coordinate system corresponding to the traffic image is generated; based on the image coordinate information, the map traffic marking tool is mapped to the traffic image to obtain the target traffic image.
  • the conversion matrix between the geographic coordinate system and the image coordinate system can be obtained in advance, and the geographic coordinate information of the map traffic sign tool can be converted into image coordinate information in the image coordinate system corresponding to the traffic image by combining the conversion matrix.
  • mapping the map traffic marking tool to the traffic image to obtain the target traffic image includes:
  • the map traffic marking tool is mapped to the traffic image to obtain the target traffic image
  • the map traffic marking tool When the distance information between the map traffic marking tool and the target vehicle meets the preset distance condition, based on the image coordinate information, the map traffic marking tool is mapped to the traffic image to obtain the target traffic image, and the target vehicle is driven based on the map data vehicle.
  • map traffic marking tools whose image coordinate information exceeds the image coordinate range corresponding to the traffic image can be filtered out, and the map traffic marking tools whose image coordinate information is within the image coordinate range corresponding to the traffic image can be mapped to the traffic image to obtain the target traffic image.
  • the distance information between the map traffic marking tool and the target vehicle conforming to the preset distance condition may include but not limited to that the distance between the map traffic marking tool and the target vehicle is within a preset distance range.
  • the preset distance range may be preset in combination with actual applications. In practical applications, if the distance information between the map traffic marking tool and the target vehicle exceeds the preset distance range, the distance between the map traffic marking tool and the target vehicle is often too far or too close, and its indication information is not accurate enough for the target vehicle.
  • the current driving control has low referentiality. It can filter out the map traffic marking tool whose distance information from the target vehicle does not meet the preset distance condition, and map the traffic marking tool whose distance information from the target vehicle meets the preset distance condition. Mapped to the traffic image to obtain the above target traffic image.
  • the map traffic marking tool is executed based on the image coordinate information.
  • the operation of mapping to the traffic image to obtain the target traffic image can reduce the amount of subsequent data processing and improve the efficiency of data processing while filtering out invalid map traffic identification tools.
  • S105 Perform multi-dimensional matching on the map traffic sign tool and the detection traffic sign tool in the target traffic image, and determine the matching detection traffic sign tool of the map traffic sign tool in the target traffic image.
  • the above-mentioned multi-dimensional matching may include matching on at least two dimensions among the shape matching dimension, the position matching dimension and the angle deviation matching dimension;
  • the traffic sign detection tool performs multi-dimensional matching to determine the matching detection traffic sign tool in the target traffic image, which may include:
  • the shape matching dimension, the position matching dimension and the angle deviation matching dimension, the map traffic sign tool and the detection traffic sign tool in the target traffic image are matched to obtain matching information corresponding to at least two matching dimensions;
  • the matching information corresponding to the shape matching dimension represents the shape difference information between the map traffic marking tool and the target detection traffic marking tool in the target traffic image;
  • the matching information corresponding to the position matching dimension represents the map traffic marking tool and the target traffic marking tool in the target traffic image.
  • the position difference information between the traffic marking tools is detected;
  • the matching information corresponding to the angle deviation matching dimension represents the angle difference information between the map traffic marking tool and the target detection traffic marking tool in the target traffic image.
  • the map traffic sign tool is matched with the detection traffic sign tool, which can greatly improve the matching detection traffic sign tool and map. Matching accuracy between traffic signage tools in the data.
  • the number of map traffic marking tools and detection traffic marking tools in the target traffic image can be multiple, correspondingly, the above-mentioned shape matching dimension, position matching dimension and angle deviation matching dimension
  • At least two matching dimensions, matching the map traffic sign tool in the target traffic image with the detection traffic sign tool, and obtaining matching information corresponding to at least two matching dimensions may include: traversing multiple map traffic sign tools in the target traffic image; When traversing to any map traffic sign tool, match the currently traversed map traffic sign tool with the target detection traffic sign tool in the target traffic image in at least two matching dimensions to obtain at least two matching dimensions
  • the target detection traffic sign tool is a detection traffic sign tool that does not have a matching map traffic sign tool in the target traffic image;
  • multiple map traffic marking tools in the target traffic image may be traversed randomly.
  • each map traffic marking tool may be sequentially traversed from left to right according to the sequence of the multiple map traffic marking tools in the target traffic image.
  • the detection traffic marking tool in the process of sequentially determining the matching detection traffic marking tool of the map traffic marking tool, if a detection traffic marking tool is determined to be a matching detection traffic marking tool of a certain map traffic marking tool, the detection traffic marking tool
  • the identification tool may be a detection traffic identification tool for which there is a matching map traffic identification tool.
  • the above-mentioned target detection traffic signage tool is a detection traffic signage tool for which there is no matching map traffic signage tool in the target traffic image.
  • the shape information of the currently traversed map traffic sign tool can be matched with the shape information of the target detection traffic sign tool to obtain the map traffic sign tool and Object detection traffic sign tool, matching information corresponding to shape matching dimension.
  • the shape information may include width information.
  • the width ratio between the map traffic sign tool and the target detection traffic sign tool may be used as the map traffic sign tool and the target detection traffic sign tool, corresponding in the shape matching dimension matching information.
  • the ratio of the smaller value to the larger value among the values corresponding to the shape information can be used as the matching information corresponding to the shape matching dimension between the map traffic marking tool and the target detection traffic marking tool, so that Quantize the matching information of different matching dimensions between 0 and 1.
  • the larger the value corresponding to the matching information the smaller the difference in shape matching dimension between the map traffic sign tool and the target detection traffic sign tool, and the more similar the shapes between the map traffic sign tool and the target detection traffic sign tool.
  • the shape information may also include height information, aspect ratio information, and the like.
  • the matching information corresponding to the shape matching dimension may also include a ratio corresponding to a height ratio and an aspect ratio.
  • the position information of the currently traversed map traffic sign tool can be matched with the position information of the target detection traffic sign tool to obtain the map traffic sign tool and
  • the object detection traffic identification tool matches the corresponding matching information in the location matching dimension.
  • the location information may include image coordinate information in a certain direction (abscissa/ordinate); correspondingly, the matching information corresponding to the location matching dimension between the map traffic sign tool and the target detection traffic sign tool It may include: the ratio of the image coordinate information in this direction between the map traffic marking tool and the target detection traffic marking tool.
  • the ratio of the smaller value to the larger value among the values corresponding to the position information can be used as the matching information corresponding to the position matching dimension between the map traffic marking tool and the target detection traffic marking tool, so that Quantize the matching information of different matching dimensions between 0 and 1.
  • the larger the value corresponding to the matching information the smaller the position difference between the map traffic sign tool and the target detection traffic sign tool, and the closer the distance between the map traffic sign tool and the target detection traffic sign tool.
  • the angle information of the currently traversed map traffic sign tool can be matched with the angle information of the target detection traffic sign tool to obtain the map traffic sign tool Matching information corresponding to the target detection traffic sign tool in the angle deviation matching dimension. Specifically, it is possible to determine the first angle deviation information between the angle information of the currently traversed map traffic sign tool and the angle information of a certain target detection traffic sign tool; and obtain the currently traversed map traffic sign tool.
  • the second angle deviation information between the angle information in the frame traffic image (the previous frame traffic image of the above-mentioned traffic image) and the angle information of the target detection traffic sign tool calculate the difference between the first angle deviation information and the second angle deviation information value; the cosine value of the difference is used as the matching information corresponding to the angle deviation matching dimension between the currently traversed map traffic sign tool and the target detection traffic sign tool; specifically, if the angle information corresponding to the two frames before and after is closer , the smaller the difference between the above-mentioned first angle deviation information and the second angle deviation information, correspondingly, the greater the matching information corresponding to the angle deviation matching dimension between the map traffic marking tool and the target detection traffic marking tool.
  • the larger the value corresponding to the matching information the smaller the difference in the angle deviation matching dimension between the map traffic marking tool and the target detection traffic marking tool, and the smaller the angle difference between the map traffic marking tool and the target detection traffic marking tool.
  • determining the matching detection traffic sign tool includes: determining the currently traversed map traffic sign tool according to the matching information corresponding to at least two matching dimensions The first target matching information between the target detection traffic sign tools in the target traffic image; the target detection traffic sign tool whose first target matching information satisfies the first preset matching condition is used as the matching detection of the currently traversed map traffic sign tool Traffic sign tool.
  • the matching information (values) corresponding to at least two matching dimensions can be added to obtain the No. A target matching information.
  • the first target matching information may represent the matching degree between the currently traversed map traffic marking tool and a certain target detection traffic marking tool in the target traffic image from multiple matching dimensions.
  • the value of the first target matching information is proportional to the corresponding matching degree.
  • the target detection traffic signage tool whose first target matching information satisfies the first preset matching condition may include: the target detection traffic signage tool whose corresponding first target matching information is the largest among the target detection traffic signage tools, Correspondingly, the target detection traffic sign tool with the largest first target matching information is used as the matching detection traffic sign tool of the currently traversed map traffic sign tool.
  • mapping the map traffic sign tool and the detected traffic sign tool from multiple matching dimensions can greatly improve the matching accuracy between the matched detected traffic sign tool and the traffic sign tool in the map data.
  • S107 Determine the indication information of the map traffic marking tool in the map data based on matching detection of the indication information of the traffic marking tool.
  • determining the indicating information of the map traffic marking tool in the map data based on matching and detecting the indicating information of the traffic marking tool may include: using the matching and detecting indicating information of the traffic marking tool as the corresponding map in the map data Instructions for traffic sign tools.
  • map data including indication information can be generated, and based on the map data with indication information of traffic sign tools, traffic conditions on the road can be more accurately reflected, and driving safety can be greatly improved.
  • the traffic sign tools detected in the traffic image and the traffic sign tools in the map data are matched from multiple matching dimensions, which can effectively improve the detected traffic signs.
  • the matching accuracy between the tool and the traffic sign tool in the map data can then be combined with the detected indication information of the traffic sign tool to improve the map data, so that the map data can more accurately reflect the traffic conditions on the road and greatly improve driving safety.
  • the map traffic sign tool and the detection traffic sign in the target traffic image In practical applications, when the traffic sign tool includes traffic lights, since multiple traffic lights are often a group of signals, correspondingly, as shown in Figure 2, the map traffic sign tool and the detection traffic sign in the target traffic image
  • the number of tools is multiple, at least two matching dimensions in the shape matching dimension, the position matching dimension and the angle deviation matching dimension are used to match the map traffic sign tool and the detection traffic sign tool in the target traffic image, Obtaining matching information corresponding to at least two matching dimensions may include:
  • S201 Perform clustering processing on multiple map traffic marking tools and multiple detection traffic marking tools respectively in the target traffic image to obtain a first number of map traffic marking tool groups and a second number of detection traffic marking tool groups;
  • the target detection traffic sign tool set is a traffic sign detection tool set that does not have a matching map traffic sign tool set in the second number of traffic sign detection tool sets.
  • the above-mentioned target traffic data may also include the first image coordinate information of the detected traffic sign tool in the traffic image, and the first image coordinate information may be the coordinate information in the image coordinate system of the detected traffic sign tool , the coordinate information can represent the position information of the traffic sign detection work in the traffic image.
  • the above-mentioned clustering process is performed on the plurality of map traffic identification tools and the plurality of detection traffic identification tools in the target traffic image, and the first number of map traffic identification tool groups and the second number of detection traffic identification tools are obtained.
  • a traffic sign toolkit may include:
  • S301 Determine the second image coordinate information of each map traffic marking tool in the target traffic image.
  • the second image coordinate information corresponding to each map traffic marking tool may be the coordinate information of the map traffic marking tool in the image coordinate system, and the coordinate information may be the map traffic marking tool in the image coordinate system. location information in .
  • the first shape information of each detected traffic marking tool may be data that can characterize the shape of the detected traffic marking tool.
  • the first shape information may include but not limited to width information, height information, Aspect ratio information, etc.
  • S305 Obtain second shape information of multiple map traffic marking tools in the target traffic image.
  • the second shape information of each map traffic marking tool may be data that can characterize the shape of the map traffic marking tool.
  • the second shape information may include but not limited to width information, height information, aspect ratio etc.
  • S307 Based on the first shape information and the first image coordinate information, perform clustering processing on multiple detection tools for traffic signs to obtain a second quantity of detection tool groups for traffic signs.
  • the traffic sign detection tools with similar shapes and close distances can be divided into one group.
  • the distance between any two detected traffic sign tools can be determined according to the first image coordinate information, and the pairwise detected traffic sign tools whose distance is less than or equal to the preset distance threshold can be screened out, and the above pairwise The detection traffic sign tool is combined with the distance and then merged, and the detection traffic sign tool whose distance between three detection traffic sign tools or more detection traffic sign tools is less than or equal to the preset distance threshold is merged, for example, the detection traffic sign tool A and The distance between the detected traffic sign tool B is less than or equal to the preset distance threshold, the distance between the detected traffic sign tool A and the detected traffic sign tool C is less than or equal to the preset distance threshold, and the distance between the detected traffic sign tool C and the detected traffic sign tool B is less than or equal to The distance threshold is preset, and correspondingly, the traffic sign detection tool A, the traffic sign detection tool B, and the traffic sign detection tool C can be combined into
  • the ratio (for example, width ratio) of the first shape information of the two detected traffic sign tools may be used as the corresponding shape similarity of the two detected traffic sign tools.
  • the ratio of the smaller value to the larger value among the values corresponding to the first shape information can be used as the shape similarity corresponding to the two detected traffic sign tools.
  • S309 Perform clustering processing on multiple map traffic sign tools based on the second shape information and the second image coordinate information to obtain a first number of map traffic sign tool groups.
  • a plurality of map traffic sign tools are clustered to obtain the first number of map traffic sign tool groups.
  • the shape information and the first image coordinate information perform clustering processing on multiple traffic sign detection tools to obtain the second number of traffic sign detection tool groups, and detailed steps are not repeated here.
  • the corresponding map traffic sign tool set and detection traffic sign tool set can be obtained. This makes the subsequent matching data more in line with the actual situation, thereby improving the matching accuracy between the detected traffic sign tools and the traffic sign tools in the map data.
  • the first number of map traffic identification tool groups may be traversed randomly. In another optional embodiment, it is also possible to traverse each map traffic sign tool group sequentially from left to right according to the sequence of the first number of map traffic sign tool sets in the target traffic image.
  • the above-mentioned multi-dimensional matching also includes: matching on the quantity matching dimension; correspondingly, at least two matching dimensions in the above-mentioned shape matching dimension, position matching dimension and angle deviation matching dimension are The map traffic identification tool in the traffic image is matched with the detection traffic identification tool, and the matching information corresponding to at least two matching dimensions is obtained: at least two of the number matching dimension, shape matching dimension, position matching dimension and angle deviation matching dimension Matching dimensions, matching the map traffic marking tool and the detection traffic marking tool in the target traffic image to obtain matching information corresponding to at least two matching dimensions;
  • the matching information corresponding to the quantity matching dimension represents the quantity difference information between the map traffic sign tool group and the target detection traffic sign tool set in the target traffic image, and the above-mentioned indication information based on matching detection traffic sign tools is determined
  • the indication information of the map traffic identification tool in the map data may include: determining the indication information of the map traffic identification tool group in the map data based on matching detection of the indication information of the traffic identification tool set.
  • the matching dimension is the quantity matching dimension
  • the number of tools in the currently traversed map traffic sign tool set can be matched with the number of tools in the target detection traffic sign tool set to obtain a map Matching information corresponding to the traffic identification tool set and the target detection traffic identification tool set in the quantity matching dimension.
  • the ratio of the smaller number of tools in the map traffic marking tool set and the target detection traffic marking tool set to the larger number of tools can be used as the map traffic marking tool set and target detection traffic marking tool group, the first matching information corresponding to the matching dimension in quantity, so as to quantize the first matching information of different matching dimensions to be between 0 and 1.
  • the larger the value corresponding to the first matching information the smaller the difference in the quantity matching dimension between the map traffic sign tool set and the target detection traffic sign tool set, and the smaller the traffic sign between the map traffic sign tool set and the target detection traffic sign tool set.
  • the tools are more similar.
  • the matching dimensions include the shape matching dimension, the position matching dimension and the angle deviation matching dimension
  • the specific refinement of the matching between the map traffic sign tool set and the target detection traffic sign tool set can be found in the above map traffic sign Relevant refinements for matching the tool with the target detection traffic sign tool will not be repeated here.
  • the map traffic sign tool set is matched with the detection traffic sign tool set, which can greatly improve the matching to The matching accuracy between the detection traffic identification tool and the traffic identification tool in the map data.
  • the matching and detecting traffic marking tool of the map traffic marking tool in the target traffic image may include: matching and detecting the traffic marking tool group of the map traffic marking tool group in the target traffic image; correspondingly, according to at least For the matching information corresponding to the two matching dimensions, the tools for determining matching and detecting traffic signs may include:
  • the matching information corresponding to at least two matching dimensions, determine the second target matching information between the currently traversed map traffic marking tool set and the target detection traffic marking tool set;
  • the target detection traffic sign tool set whose second target matching information satisfies the second preset matching condition is used as the matching detection traffic sign tool set of the currently traversed map traffic sign tool set;
  • the matching information (value) corresponding to at least two matching dimensions can be added to obtain the relationship between the currently traversed map traffic sign tool set and the target detection traffic sign tool set in the target traffic image.
  • Second target matching information may represent the matching degree between the currently traversed map traffic sign tool set and the target detection traffic sign tool set in the target traffic image from multiple matching dimensions.
  • the value of the second target matching information is directly proportional to the corresponding matching degree.
  • the target detection traffic sign tool group whose second target matching information satisfies the second preset matching condition may include the target detection traffic sign tool with the largest second target matching information in the target detection traffic sign tool group
  • the target detection traffic sign tool group with the largest second target matching information can be used as the matching detection traffic sign tool set of the currently traversed map traffic sign tool set.
  • mapping the map traffic sign tool set and the detected traffic sign tool set from multiple matching dimensions can greatly improve the matching accuracy between the matched detected traffic sign tool and the traffic sign tool in the map data.
  • the determination of the indication information of the map traffic identification tool set in the map data based on the matching detection of the indication information of the traffic identification tool set may include:
  • the instruction information of the detection traffic sign tool in the corresponding matching detection traffic sign tool group will be in accordance with the preset order , set in sequence as the instruction information of the map traffic sign tool in the corresponding map traffic sign tool group;
  • the indicated information of the detected traffic sign tools when the number of map traffic sign tools in the map traffic sign tool group is greater than or equal to the number of detected traffic sign tools in the corresponding matching detection traffic sign tool group, the indicated information of the detected traffic sign tools , which are assigned to the map traffic sign tool in sequence, so that the indication information of the map traffic sign tool can be accurately determined.
  • the determination of the indication information of the map traffic identification tool set in the map data based on the matching detection of the indication information of the traffic identification tool set may include:
  • the instruction information of the detection traffic sign tool in the corresponding matching detection traffic sign tool group is, according to the preset order, Set successively as the instruction information of the map traffic identification tool in the corresponding map traffic identification tool group, and use the preset instruction information as the instruction information of the map traffic identification tool not provided with the instruction information in the corresponding map traffic identification tool group;
  • the aforementioned preset order may be the order in which the detection traffic sign detection tools in the corresponding matching detection traffic sign tool group are arranged from left to right along the abscissa direction in the target traffic image.
  • the aforementioned preset order may be the order in which the detection traffic sign detection tools in the corresponding matching detection traffic sign tool group are arranged from left to right along the abscissa direction in the target traffic image.
  • the instruction information of the traffic sign detection tool in the traffic sign detection tool group can be assigned to The map traffic identification tool in the map traffic identification tool group, and the preset instruction information is used as the instruction information of the map traffic identification tool that is not provided with instruction information in the corresponding map traffic identification tool group;
  • the preset indication information may be black.
  • the traffic sign tool is a traffic signal light
  • the traffic signal light in the map data is often black by default, and at the same time, there will be several lights at an intersection to indicate whether the road ahead can be driven at the same time. Therefore, even if the map Some traffic lights in the data are black, and driving control can also be performed through other non-black traffic lights.
  • the number of map traffic sign tools in the map traffic sign tool group is less than the number of detected traffic sign tools in the corresponding matching detection traffic sign tool group, first pass the indication information of the detected traffic sign tools , assign values to the map traffic sign tool in sequence, and then assign values with the preset indicator information for the map traffic sign tool that has no indicator information, so that the indicator information of the map traffic sign tool can be accurately determined.
  • the above method may further include: generating map data including indication information of a map traffic sign tool.
  • the map data can be improved, so that the map data can more accurately reflect the traffic conditions on the road, and greatly improve driving safety.
  • the above method may further include:
  • the target indication information is the same as the indication information of the map traffic identification tool in the map data at the current moment.
  • the first preset number of preset times before the current time may be the acquisition time corresponding to the traffic image of the first preset number of frames before the current traffic image.
  • the first preset number may be combined with Actual application presets.
  • the indication information of the map traffic marking tool in the map data at the first preset number of preset moments can be determined in combination with the indication information of the detected traffic marking tool in the traffic image at the first preset number of preset moments;
  • the instruction information that appears most often among the instruction information corresponding to the first preset number of preset moments can be used as the target instruction information, and the target instruction information and the indication of the map traffic sign tool in the map data at the current moment can be determined If the information is the same, an operation of generating map data including instruction information is performed.
  • the currently obtained indication information of the traffic identification tool is corrected by using the indication information of the traffic identification tool at a plurality of preset times before the current time, which can greatly improve the accuracy and reliability of the map data, thereby effectively improving the driving safety.
  • the above method may also include:
  • the map traffic sign tool in the map data at the current moment is obtained, and the indication corresponding to the second preset number of preset moments after the current moment information;
  • the instruction information corresponding to the second preset number of preset times is the same as the instruction information of the map traffic sign tool in the map data at the current moment.
  • the second preset number of preset moments after the current moment may be the acquisition moments corresponding to the second preset number of frames of traffic images after the current traffic image.
  • the second preset number may be combined with Actual application presets.
  • the indication information of the map traffic marking tool in the map data at the second preset number of preset moments can be determined in combination with the indication information of the detected traffic marking tool in the traffic image at the second preset number of preset moments; Specifically, if the instruction information corresponding to the second preset number of preset times is the same as the instruction information of the map traffic sign tool in the map data at the current moment, the operation of generating map data including the instruction information may be performed.
  • the preset instruction information can be used as the instruction information of the corresponding map traffic sign tool .
  • Fig. 4 is a block diagram of a traffic sign recognition device according to an exemplary embodiment. Referring to Figure 4, the device includes:
  • the traffic marking tool detection module 410 is used to detect the traffic marking tool on the traffic image in the target area to obtain target traffic data, and the target traffic data includes the instruction information for detecting the traffic marking tool in the traffic image;
  • the map traffic sign tool mapping module 420 is used to map the map traffic sign tool in the map data corresponding to the target area to the image plane where the traffic image is located to obtain the target traffic image;
  • the multidimensional matching module 430 is used to carry out multidimensional matching to the map traffic sign tool and the detection traffic sign tool in the target traffic image, and determine the matching detection traffic sign tool of the map traffic sign tool in the target traffic image;
  • the indication information determining module 440 is configured to determine the indication information of the map traffic identification tool in the map data based on matching detection of the indication information of the traffic identification tool.
  • the multi-dimensional matching includes matching on at least two dimensions among shape matching dimension, position matching dimension and angle deviation matching dimension;
  • the multi-dimensional matching module 430 includes:
  • the matching unit is used to match the map traffic marking tool and the detection traffic marking tool in the target traffic image in at least two matching dimensions among the shape matching dimension, the position matching dimension and the angle deviation matching dimension, to obtain at least two matching dimensions Corresponding matching information;
  • a matching detection traffic identification tool determination unit configured to determine a matching detection traffic identification tool according to matching information corresponding to at least two matching dimensions
  • the matching information corresponding to the shape matching dimension represents the shape difference information between the map traffic marking tool and the target detection traffic marking tool in the target traffic image;
  • the matching information corresponding to the position matching dimension represents the map traffic marking tool and the target traffic marking tool in the target traffic image.
  • the position difference information between the traffic marking tools is detected;
  • the matching information corresponding to the angle deviation matching dimension represents the angle difference information between the map traffic marking tool and the target detection traffic marking tool in the target traffic image.
  • the matching unit includes:
  • the first traversal unit is used to traverse multiple map traffic identification tools in the target traffic image
  • the first matching subunit is used to detect the traffic marking tool with the target traffic marking tool in the target traffic image on the at least two matching dimensions of the currently traversed map traffic marking tool in the case of traversing to any map traffic marking tool Perform matching to obtain matching information corresponding to at least two matching dimensions, and the target detection traffic sign tool is a detection traffic sign tool that does not have a matching map traffic sign tool in the target traffic image;
  • the matching detection traffic identification tool determination unit includes:
  • the first target matching information determination unit is configured to determine the first target matching information between the currently traversed map traffic sign tool and the target detection traffic sign tool in the target traffic image according to the matching information corresponding to at least two matching dimensions;
  • the first matching detection traffic sign tool determining unit is configured to use the target detection traffic sign tool whose first target matching information satisfies the first preset matching condition as the matching detection traffic sign tool of the currently traversed map traffic sign tool.
  • the matching unit includes:
  • the clustering processing unit is used to perform clustering processing on the plurality of map traffic identification tools and the plurality of detection traffic identification tools in the target traffic image to obtain the first number of map traffic identification tool groups and the second number of detection traffic identification tools Group;
  • the second traversal unit is used to traverse the first number of map traffic identification tool sets
  • the second matching subunit is used to match the currently traversed map traffic sign tool set with the target detection traffic sign tool set in at least two matching dimensions when traversing to any map traffic sign tool set
  • the matching information corresponding to at least two matching dimensions is obtained, and the target detection traffic sign tool set is a detection traffic sign tool set that does not have a matching map traffic sign tool set in the second number of detection traffic sign tool sets;
  • the matching detection traffic identification tool determination unit includes:
  • the second target matching information determination unit is configured to determine the second target matching information between the currently traversed map traffic sign tool set and the target detection traffic sign tool set according to the matching information corresponding to at least two matching dimensions;
  • the second matching detection traffic sign tool determining unit is configured to use the target detection traffic sign tool set whose second target matching information satisfies the second preset matching condition as the matching detection traffic sign tool set of the currently traversed map traffic sign tool set ;
  • the indication information determining module 440 is also used for determining the indication information of the map traffic identification tool set in the map data based on matching detection of the indication information of the traffic identification tool set.
  • the target traffic data also includes the first image coordinate information of the detected traffic marking tool in the traffic image
  • the clustering processing unit includes:
  • the second image coordinate information determining unit is configured to determine the second image coordinate information of each map traffic marking tool in the target traffic image
  • a first shape information acquisition unit configured to acquire the first shape information of a plurality of detected traffic marking tools in the target traffic image
  • the second shape information acquisition unit is used to acquire the second shape information of multiple map traffic marking tools in the target traffic image
  • the first cluster processing subunit is configured to perform cluster processing on a plurality of detected traffic sign tools based on the first shape information and the first image coordinate information to obtain a second number of detected traffic sign tool groups;
  • the second clustering processing subunit is configured to cluster the plurality of map traffic marking tools based on the second shape information and the second image coordinate information to obtain a first number of map traffic marking tool groups.
  • multi-dimensional matching also includes: matching on the quantity matching dimension;
  • the matching unit is also used to match the map traffic marking tool and the detection traffic marking tool in the target traffic image in at least two matching dimensions of the quantity matching dimension, the shape matching dimension, the position matching dimension and the angle deviation matching dimension, and obtain at least The matching information corresponding to the two matching dimensions;
  • the matching information corresponding to the quantity matching dimension represents the quantity difference information of the traffic marking tools in the map traffic marking tool group and the target detection traffic marking tool group in the target traffic image.
  • the indication information determining module 440 includes:
  • the first indication information setting unit is used to set the corresponding matching detection traffic sign tool number in the case that the number of map traffic sign tools in any map traffic sign tool group is greater than or equal to the number of detection traffic sign tools in the corresponding matching detection traffic sign tool group.
  • the indication information of the detection traffic identification tools in the identification tool group is successively set as the indication information of the map traffic identification tools in the map traffic identification tool group according to the preset sequence.
  • the indication information determining module 440 includes:
  • the second instruction information setting unit is used to set the corresponding matching detection traffic sign to
  • the instruction information of the detection traffic sign tool in the tool group is sequentially set as the instruction information of the map traffic sign tool in the map traffic sign tool group according to the preset order, and the preset instruction information is used as the corresponding map traffic sign tool group, The indication information of the map traffic sign tool without indication information set.
  • the above-mentioned device also includes:
  • the map data generation module is used to generate map data including the indication information of the map traffic identification tool.
  • the above-mentioned device also includes:
  • the first indication information acquisition module is used to obtain the indication information of the map traffic identification tool in the map data at the first preset number of preset moments before the current time before generating the map data including the indication information of the map traffic identification tool;
  • a target indication information determination module configured to determine the target indication information in the indication information corresponding to the first preset number of preset moments
  • the first indication information confirming module is used to determine that the target indication information is the same as the indication information of the map traffic sign tool in the map data at the current moment.
  • the above-mentioned device also includes:
  • the second instruction information acquisition module is used to acquire the map traffic identification tool in the map data at the current moment if the target instruction information is different from the instruction information of the map traffic identification tool in the map data at the current moment, and the second preview after the current moment Set the instruction information corresponding to a number of preset moments;
  • the second indication information determining module is configured to determine that the indication information corresponding to the second preset number of preset times is the same as the indication information of the map traffic sign tool in the map data at the current moment.
  • map traffic identification tool mapping module 420 includes:
  • a coordinate conversion unit configured to convert the geographic coordinate information of the map traffic marking tool into image coordinate information in the image coordinate system corresponding to the traffic image
  • the traffic sign tool mapping unit is configured to map the map traffic sign tool to the traffic image based on the image coordinate information to obtain the target traffic image.
  • the traffic identification tool mapping unit includes:
  • the first traffic sign tool mapping subunit is used to map the map traffic sign tool to the traffic image based on the image coordinate information to obtain the target traffic image when the image coordinate range corresponding to the traffic image includes image coordinate information;
  • the second traffic marking tool mapping subunit is used to map the map traffic marking tool to the traffic image based on the image coordinate information to obtain the target traffic when the distance information between the map traffic marking tool and the target vehicle meets the preset distance condition image, the target vehicle is a vehicle driving based on map data.
  • Fig. 5 is a block diagram of an electronic device for identifying traffic signs according to an exemplary embodiment.
  • the electronic device may be a terminal, and its internal structure may be as shown in Fig. 5 .
  • the electronic device includes a processor, a memory, a network interface, a display screen and an input device connected through a system bus. Wherein, the processor of the electronic device is used to provide calculation and control capabilities.
  • the memory of the electronic device includes a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium stores an operating system and computer programs.
  • the internal memory provides an environment for the operation of the operating system and computer programs in the non-volatile storage medium.
  • the network interface of the electronic device is used to communicate with an external terminal through a network connection.
  • the display screen of the electronic device may be a liquid crystal display screen or an electronic ink display screen
  • the input device of the electronic device may be a touch layer covered on the display screen, or a button, a trackball or a touch pad provided on the housing of the electronic device , and can also be an external keyboard, touchpad or mouse.
  • FIG. 5 is only a block diagram of a partial structure related to the disclosed solution, and does not constitute a limitation on the electronic device to which the disclosed solution is applied.
  • the specific electronic device can be More or fewer components than shown in the figures may be included, or some components may be combined, or have a different arrangement of components.
  • an electronic device including: a processor; a memory for storing instructions executable by the processor; wherein, the processor is configured to execute the instructions, so as to implement The identification method of the traffic sign in the example.
  • a storage medium is also provided, and when the instructions in the storage medium are executed by the processor of the electronic device, the electronic device can execute the traffic sign recognition method in the embodiments of the present disclosure.
  • a computer program product containing instructions, which, when run on a computer, causes the computer to execute the traffic sign recognition method in the embodiment of the present disclosure.
  • Nonvolatile memory can include read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory can include random access memory (RAM) or external cache memory.
  • RAM random access memory
  • RAM is available in many forms such as Static RAM (SRAM), Dynamic RAM (DRAM), Synchronous DRAM (SDRAM), Double Data Rate SDRAM (DDRSDRAM), Enhanced SDRAM (ESDRAM), Synchronous Chain Synchlink DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Instructional Devices (AREA)
  • Navigation (AREA)

Abstract

本公开关于一种交通标识的识别方法、装置、电子设备及存储介质，方法包括对目标区域内交通图像进行交通标识工具检测，得到目标交通数据，目标交通数据包括交通图像中检测交通标识工具的指示信息；将目标区域对应地图数据中地图交通标识工具映射至交通图像所在图像平面，得到目标交通图像；对目标交通图像中地图交通标识工具和检测交通标识工具进行多维度匹配，确定目标交通图像中地图交通标识工具的匹配检测交通标识工具；基于匹配检测交通标识工具的指示信息，确定地图数据中地图交通标识工具的指示信息。利用本公开实施例可提升检测出的交通标识工具与地图数据中交通标识工具间的匹配精准性，使地图数据准确反映道路交通情况，提升驾驶安全性。

Description

交通标识的识别方法、装置、电子设备及存储介质
本申请要求在2021年06月30日提交中国专利局、申请号为“2021107424902”、申请名称为“交通标识的识别方法、装置、电子设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开涉及自动驾驶技术领域，尤其涉及一种交通标识的识别方法、装置、电子设备及存储介质。
背景技术
随着自动驾驶技术的不断深入发展，高精地图使得自动驾驶更加自如，高精度地图可以提供大量的驾驶辅助信息，主要是道路网的三维表征等，同时也需要包括交通信号灯、交通标志牌等交通标识工具的指示信息等影响车辆行驶的关键信息。
目前，在地图数据中增加交通标识工具的指示信息时，需要通过车辆的摄像头采集实时交通图像，并对交通图像进行交通标识工具检测，检测出交通图像中交通标识工具的位置以及相应的指示信息(如交通信号灯的颜色信息，交通标志牌的标志类别等)，然后，结合位置信息，将检测出的交通标识工具的指示信息，赋值给相应的地图数据中的交通标识工具。但上述现有技术中仅仅结合位置信息，将检测出来的交通标识工具与高精地图提供的交通标识工具进行匹配，存在检测出来的交通标识工具与高精地图中交通标识工具匹配误差大，地图数据无法准确反映道路上的交通情况问题，也带来了一定的驾驶隐患。
发明内容
本公开提供一种交通标识的识别方法、装置、电子设备及存储介质，可以提升检测出的交通标识工具与地图数据中交通标识工具间的匹配精准性，使得地图数据可以准确反映道路上的交通情况，提升驾驶安全性。本公开的技术方案如下：
根据本公开实施例的一方面，提供一种交通标识的识别方法，包括：
对目标区域内的交通图像进行交通标识工具检测，得到目标交通数据，所述目标交通数据包括所述交通图像中检测交通标识工具的指示信息；
将所述目标区域对应地图数据中的地图交通标识工具映射至所述交通图像所在的图像平面上，得到目标交通图像；
对所述目标交通图像中的地图交通标识工具和检测交通标识工具进行多维度匹配，确定所述目标交通图像中地图交通标识工具的匹配检测交通标识工具；
基于所述匹配检测交通标识工具的指示信息，确定所述地图数据中的地图交通标识工具的指示信息。
上述技术方案中，从多个维度对交通图像中检测交通标识工具与地图数据中的地图交通标识工具进行匹配，可以有效提升检测出的交通标识工具与地图数据中交通标识工具间的匹配精准性，进而结合检测出的交通标识工具的指示信息完善地图数据，使得地图数据可以更准确的反映道路上的交通情况，大大提升驾驶安全性。
可选的，所述多维度匹配包括形状匹配维度、位置匹配维度和角度偏差匹配维度中的至少两个维度上的匹配；
所述对所述目标交通图像中的地图交通标识工具和检测交通标识工具进行多维度匹配，确定所述目标交通图像中地图交通标识工具的匹配检测交通标识工具，包括：
在所述形状匹配维度、所述位置匹配维度和所述角度偏差匹配维度中的至少两个匹配维度，对所述目标交通图像中的地图交通标识工具和检测交通标识工具进行匹配，得到所述至少两个匹配维度对应的匹配信息；
根据所述至少两个匹配维度对应的匹配信息，确定所述匹配检测交通标识工具；
其中，所述形状匹配维度对应的匹配信息表征在所述目标交通图像中所述地图交通标识工具与所述目标检测交通标识工具间的形状差异信息；所述位置匹配维度对应的匹配信息表征在所述目标交通图像中所述地图交通标识工具与所述目标检测交通标识工具间的位置差异信息；所述角度偏差匹配维度对应的匹配信息表征在所述目标交通图像中所述地图交通标识工具与所述目标检测交通标识工具间的角度差异信息。
上述技术方案中，从形状匹配维度、位置匹配维度和角度偏差匹配维度中至少两个匹配维度，对地图交通标识工具与检测交通标识工具进行匹配，可以大大提高匹配到的检测交通标识工具与地图数据中的交通标识工具间的匹配精准性。
可选的，目标交通图像中的地图交通标识工具和检测交通标识工具的数量均为多个， 所述在所述形状匹配维度、所述位置匹配维度和所述角度偏差匹配维度中的至少两个匹配维度，对所述目标交通图像中的地图交通标识工具和检测交通标识工具进行匹配，得到所述至少两个匹配维度对应的匹配信息包括：
遍历所述目标交通图像中多个地图交通标识工具；
在遍历到任一地图交通标识工具的情况下，将当前遍历到的地图交通标识工具，在所述至少两个匹配维度上分别与所述目标交通图像中的目标检测交通标识工具进行匹配，得到所述至少两个匹配维度对应的匹配信息，所述目标检测交通标识工具为所述目标交通图像中不存在匹配的地图交通标识工具的检测交通标识工具；
所述根据所述至少两个匹配维度对应的匹配信息，确定所述匹配检测交通标识工具包括：
根据所述至少两个匹配维度对应的匹配信息，确定所述当前遍历到的地图交通标识工具与所述目标交通图像中的目标检测交通标识工具间的第一目标匹配信息；
将所述第一目标匹配信息满足第一预设匹配条件的目标检测交通标识工具，作为所述当前遍历到的地图交通标识工具的匹配检测交通标识工具。
上述技术方案中，从多个匹配维度对地图交通标识工具与检测交通标识工具进行匹配，可以大大提高匹配到的检测交通标识工具与地图数据中的交通标识工具间的匹配精准性。
可选的，在所述形状匹配维度、所述位置匹配维度和所述角度偏差匹配维度中的至少两个匹配维度，对所述目标交通图像中的地图交通标识工具和检测交通标识工具进行匹配，得到所述至少两个匹配维度对应的匹配信息，包括：
对所述目标交通图像中多个地图交通标识工具和多个检测交通标识工具分别进行聚类处理，得到第一数量个地图交通标识工具组和第二数量个检测交通标识工具组；
遍历所述第一数量个地图交通标识工具组；
在遍历到任一地图交通标识工具组的情况下，将当前遍历到的地图交通标识工具组，在所述至少两个匹配维度上分别与目标检测交通标识工具组进行匹配，得到所述至少两个匹配维度对应的匹配信息，所述目标检测交通标识工具组为所述第二数量个检测交通标识工具组中不存在匹配的地图交通标识工具组的检测交通标识工具组；
所述根据所述至少两个匹配维度对应的匹配信息，确定所述匹配检测交通标识工具包括：
根据所述至少两个匹配维度对应的匹配信息，确定所述当前遍历到的地图交通标识工具组与所述目标检测交通标识工具组间的第二目标匹配信息；
将所述第二目标匹配信息满足第二预设匹配条件的目标检测交通标识工具组，作为所述当前遍历到的地图交通标识工具组的匹配检测交通标识工具组；
所述基于所述匹配检测交通标识工具的指示信息，确定所述地图数据中的地图交通标识工具的指示信息包括：
基于所述匹配检测交通标识工具组的指示信息，确定所述地图数据中的地图交通标识工具组的指示信息。
上述技术方案中，通过对多个地图交通标识工具和多个检测交通标识工具分别进行聚类处理，得到相应的地图交通标识工具组和检测交通标识工具组，可以使得用于进行匹配的数据更符合实际情况，进而可以提升检测出的交通标识工具与地图数据中交通标识工具间的匹配精准性。
可选的，所述目标交通数据还包括所述交通图像中检测交通标识工具的第一图像坐标信息，所述对所述目标交通图像中多个地图交通标识工具和多个检测交通标识工具分别进行聚类处理，得到第一数量个地图交通标识工具组和第二数量个检测交通标识工具组包括：
确定每个地图交通标识工具在所述目标交通图像中的第二图像坐标信息；
获取所述目标交通图像中多个检测交通标识工具的第一形状信息；
获取所述目标交通图像中多个地图交通标识工具的第二形状信息；
基于所述第一形状信息和所述第一图像坐标信息对所述多个检测交通标识工具进行聚类处理，得到所述第二数量个检测交通标识工具组；
基于所述第二形状信息和所述第二图像坐标信息对所述多个地图交通标识工具进行聚类处理，得到所述第一数量个地图交通标识工具组。
上述技术方案中，通过对多个地图交通标识工具和多个检测交通标识工具分别结合形状信息和图像坐标信息进行聚类处理，得到相应的地图交通标识工具组和检测交通标识工具组，可以使得后续用于进行匹配的数据更符合实际情况，进而可以提升检测出的交通标识工具与地图数据中交通标识工具间的匹配精准性。
可选的，所述多维度匹配还包括：数量匹配维度上的匹配；
所述在所述形状匹配维度、所述位置匹配维度和所述角度偏差匹配维度中的至少两个匹配维度，对所述目标交通图像中的地图交通标识工具和检测交通标识工具进行匹配，得到所述至少两个匹配维度对应的匹配信息包括：
在所述数量匹配维度、所述形状匹配维度、所述位置匹配维度和所述角度偏差匹配维度中的至少两个匹配维度，对所述目标交通图像中的地图交通标识工具和检测交通标识工具进行匹配，得到所述至少两个匹配维度对应的匹配信息；
其中，所述数量匹配维度对应的匹配信息表征在所述目标交通图像中所述地图交通标识工具组与所述目标检测交通标识工具组中交通标识工具的数量差异信息。
上述技术方案中，从数量匹配维度、形状匹配维度、位置匹配维度和角度偏差匹配维度中的至少两个匹配维度，对地图交通标识工具组与检测交通标识工具组进行匹配，可以大大提高匹配到的检测交通标识工具与地图数据中的交通标识工具间的匹配精准性。
可选的，所述基于所述匹配检测交通标识工具组的指示信息，确定所述地图数据中的地图交通标识工具组的指示信息包括：
在任一地图交通标识工具组中的地图交通标识工具数量大于等于对应的匹配检测交通标识工具组中的检测交通标识工具数量的情况下，将所述对应的匹配检测交通标识工具组中检测交通标识工具的指示信息，按照预设顺序，依次设置为该地图交通标识工具组中地图交通标识工具的指示信息。
上述技术方案中，在地图交通标识工具组中的地图交通标识工具数量大于等于对应的匹配检测交通标识工具组中的检测交通标识工具数量的情况下，通过将检测出的交通标识工具的指示信息，按序赋值给地图交通标识工具，可以准确确定地图交通标识工具的指示信息。
可选的，所述基于所述匹配检测交通标识工具组的指示信息，确定所述地图数据中的地图交通标识工具组的指示信息，包括：
在任一地图交通标识工具组中的地图交通标识工具数量小于对应的匹配检测交通标识工具组中的检测交通标识工具数量的情况下，将所述对应的匹配检测交通标识工具组中检测交通标识工具的指示信息，按照预设顺序，依次设置为该地图交通标识工具组中地图交通标识工具的指示信息，以及将预设指示信息作为所述对应的地图交通标识工具组中，未设置有指示信息的地图交通标识工具的指示信息。
上述技术方案中，在地图交通标识工具组中的地图交通标识工具数量小于对应的匹配检测交通标识工具组中的检测交通标识工具数量的情况下，先通过将检测出的交通标识工具的指示信息，按序赋值给地图交通标识工具，再针对未设置有指示信息的地图交通标识工具以预设指示信息进行赋值，可以准确确定地图交通标识工具的指示信息。
可选的，所述方法还包括：生成包括所述地图交通标识工具的指示信息的地图数据。
上述技术方案中，通过生成包括地图交通标识工具的指示信息的地图数据，可以完善地图数据，使得地图数据可以更准确的反映道路上的交通情况，大大提升驾驶安全性。
可选的，在生成包括所述地图交通标识工具的指示信息的地图数据之前，所述方法还包括：
获取当前时刻之前第一预设数量个预设时刻时所述地图数据中的地图交通标识工具的指示信息；
确定所述第一预设数量个预设时刻对应的指示信息中目标指示信息；
确定所述目标指示信息与所述当前时刻的地图数据中的地图交通标识工具的指示信息相同。
上述技术方案中，通过当前时刻之前的多个预设时刻交通标识工具的指示信息来对当前得到的交通标识工具的指示信息进行校正，可以大大提升地图数据的精准性和可靠性，进而有效提升驾驶安全性。
可选的，所述方法还包括：
若所述目标指示信息与所述当前时刻的地图数据中的地图交通标识工具的指示信息不同，获取所述当前时刻的地图数据中的地图交通标识工具，在所述当前时刻之后第二预设数量个预设时刻对应的指示信息；
确定所述第二预设数量个预设时刻对应的指示信息与所述当前时刻的地图数据中的地图交通标识工具的指示信息均相同。
上述技术方案中，在当前时刻之前的多个预设时刻交通标识工具的指示信息与当前得到的该交通标识工具的指示信息不一致的情况下，结合在当前时刻之后的多个预设时刻交通标识工具的指示信息来对输出的地图数据进行校正，可以大大提升地图数据的精准性和可靠性，进而有效提升驾驶安全性。
可选的，所述将所述目标区域对应地图数据中的地图交通标识工具映射至所述交通图像所在的图像平面上，得到目标交通图像包括：
将所述地图交通标识工具的地理坐标信息，转换成所述交通图像对应的图像坐标系中的图像坐标信息；
基于所述图像坐标信息，将所述地图交通标识工具映射至所述交通图像，得到所述目标交通图像。
上述技术方案中，结合坐标系转换，可以实现将地图数据上的地图交通标识工具映射至交通图像，便于后续在同一坐标系中进行交通标识工具的匹配，进而提升匹配精准性和效率。
可选的，所述基于所述图像坐标信息，将所述地图交通标识工具映射至所述交通图像，得到所述目标交通图像包括：
在所述交通图像对应的图像坐标范围包括所述图像坐标信息的情况下，基于所述图像坐标信息，将所述地图交通标识工具映射至所述交通图像，得到所述目标交通图像；
和/或，
在所述地图交通标识工具与目标车辆间的距离信息符合预设距离条件的情况下，基于所述图像坐标信息，将所述地图交通标识工具映射至所述交通图像，得到所述目标交通图像，所述目标车辆为基于所述地图数据进行驾驶的车辆。
上述技术方案中，在交通图像对应的图像坐标范围包括图像坐标信息，或地图交通标识工具与目标车辆间的距离信息符合预设距离条件的情况下，执行基于所述图像坐标信息，将所述地图交通标识工具映射至所述交通图像，得到所述目标交通图像的操作，可以在过滤掉无效的地图交通标识工具的同时，可以降低后续的数据处理量，提升数据处理效率。
根据本公开实施例的另一方面，提供一种交通标识的识别装置，包括：
交通标识工具检测模块，用于对目标区域内的交通图像进行交通标识工具检测，得到目标交通数据，所述目标交通数据包括所述交通图像中检测交通标识工具的指示信息；
地图交通标识工具映射模块，用于将所述目标区域对应地图数据中的地图交通标识工具映射至所述交通图像所在的图像平面上，得到目标交通图像；
多维度匹配模块，用于对所述目标交通图像中的地图交通标识工具和检测交通标识工具进行多维度匹配，确定所述目标交通图像中地图交通标识工具的匹配检测交通标识工具；
指示信息确定模块，用于基于所述匹配检测交通标识工具的指示信息，确定所述地图数据中的地图交通标识工具的指示信息。
根据本公开实施例的另一方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上述任一项所述的方法。
根据本公开实施例的另一方面，提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例的上述任一所述方法。
根据本公开实施例的另一方面，提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例的上述任一所述方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
从多维度对交通图像中检测交通标识工具与地图数据中的地图交通标识工具进行匹配，可以有效提升检测出的交通标识工具与地图数据中交通标识工具间的匹配精准性，进而结合检测出的交通标识工具的指示信息完善地图数据，使得地图数据可以更准确的反映道路上的交通情况，大大提升驾驶安全性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1是根据一示例性实施例示出的一种交通标识的识别方法的流程图；
图2是根据一示例性实施例示出的一种在形状匹配维度、位置匹配维度和角度偏差匹配维度中的至少两个匹配维度，对目标交通图像中的地图交通标识工具和检测交通标识工具进行匹配，得到至少两个匹配维度对应的匹配信息的流程图；
图3是根据一示例性实施例示出的一种对目标交通图像中多个地图交通标识工具和多个检测交通标识工具分别进行聚类处理，得到第一数量个地图交通标识工具组和第二数量个检测交通标识工具组的流程图；
图4是根据一示例性实施例示出的一种交通标识的识别装置框图；
图5是根据一示例性实施例示出的一种用于数据处理的电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种交通标识的识别方法的流程图，如图1所示，该交通标识的识别方法可以用于终端、服务器、边缘计算节点等电子设备中，具体的，该方法可以包括：
S101：对目标区域内的交通图像进行交通标识工具检测，得到目标交通数据。
在一个具体的实施例中，目标区域可以为目标车辆所在区域，可选的，目标区域可以为目标车辆(车头)正前方的区域；具体的，目标车辆可以为当前需要结合地图数据进行驾驶的车辆。可选的，上述交通图像可以为目标车辆上的摄像设备采集的图像，可选的，上述交通图像可以为目标车辆上的摄像设备实时采集的视频中的当前帧图像，即当前时刻采集到的一帧视频图像。
在一个具体的实施例中，对目标区域内的交通图像进行交通标识工具检测可以包括：基于交通标识工具检测网络，对交通图像进行交通标识工具检测，得到目标交通数据。可选的，目标交通数据可以包括交通图像中检测交通标识工具的指示信息；具体的，检测交通标识工具可以为在交通图像中检测到的交通标识工具。在一个具体的实施例中，交通标识工具可以包括但不限于交通信号灯，交通标志牌等。具体的，指示信息可以结合交通标识工具的不同而不同，具体的，交通信号灯的指示信息可以为交通信号灯的颜色信息，交通标志牌的指示信息可以为交通标志牌的标志类别。
具体的，交通标识工具检测网络可以为预先基于样本交通图像和预先标注的样本交通图像对应的交通数据，对预设神经网络进行交通标识工具检测训练得到的。
S103：将目标区域对应地图数据中的地图交通标识工具映射至交通图像所在的图像平面上，得到目标交通图像。
在一个具体的实施例中，地图交通标识工具可以为地图数据中的交通标识工具。在一个可选的实施例中，上述将目标区域对应地图数据中的地图交通标识工具映射至交通图像所在的图像平面上，得到目标交通图像可以包括：将地图交通标识工具的地理坐标信息，转换成交通图像对应的图像坐标系中的图像坐标信息；基于图像坐标信息，将地图交通标识工具映射至交通图像，得到目标交通图像。
在实际应用中，可以预先获取地理坐标系与图像坐标系间的转换矩阵，结合该转换矩阵，将地图交通标识工具的地理坐标信息，转换成交通图像对应的图像坐标系中的图像坐标信息。
上述技术方案中，结合坐标系转换，可以实现将地图数据上的地图交通标识工具映射至交通图像，便于后续在同一坐标系中进行交通标识工具的匹配，进而提升匹配精准性和效率。
在一个可选的实施例中，上述基于图像坐标信息，将地图交通标识工具映射至交通图像，得到目标交通图像包括：
在交通图像对应的图像坐标范围包括图像坐标信息的情况下，基于图像坐标信息，将地图交通标识工具映射至交通图像，得到目标交通图像；
和/或，
在地图交通标识工具与目标车辆间的距离信息符合预设距离条件的情况下，基于图像 坐标信息，将地图交通标识工具映射至交通图像，得到目标交通图像，目标车辆为基于地图数据进行驾驶的车辆。
在实际应用中，地图交通标识工具的图像坐标信息超出交通图像对应的图像坐标范围的情况下，往往无法从交通图像中匹配到检测交通标识工具，为了降低后续数据处理量，提升数据处理效率，可以过滤掉图像坐标信息超出交通图像对应的图像坐标范围的地图交通标识工具，将图像坐标信息在交通图像对应的图像坐标范围内的地图交通标识工具，映射至交通图像，得到目标交通图像。
在一个具体的实施例中，地图交通标识工具与目标车辆间的距离信息符合预设距离条件可以包括但不限于地图交通标识工具与目标车辆间的距离在预设距离范围内。具体的，预设距离范围可以结合实际应用预先设置。在实际应用中，地图交通标识工具与目标车辆间的距离信息超出预设距离范围，该地图交通标识工具与目标车辆间的距离信息间的距离往往太远或太近，其指示信息对目标车辆当前的驾驶控制的参考性较低，可以过滤掉与目标车辆间的距离信息未符合预设距离条件的地图交通标识工具，将与目标车辆间的距离信息符合预设距离条件的地图交通标识工具映射至交通图像，得到上述目标交通图像。
上述实施例中，在交通图像对应的图像坐标范围包括图像坐标信息，或地图交通标识工具与目标车辆间的距离信息符合预设距离条件的情况下，执行基于图像坐标信息，将地图交通标识工具映射至交通图像，得到目标交通图像的操作，可以在过滤掉无效的地图交通标识工具的同时，降低后续的数据处理量，提升数据处理效率。
S105：对目标交通图像中的地图交通标识工具和检测交通标识工具进行多维度匹配，确定目标交通图像中地图交通标识工具的匹配检测交通标识工具。
本说明书实施例中，上述多维度匹配可以包括形状匹配维度、位置匹配维度和角度偏差匹配维度中的至少两个维度上的匹配；可选的，上述对目标交通图像中的地图交通标识工具和检测交通标识工具进行多维度匹配，确定目标交通图像中地图交通标识工具的匹配检测交通标识工具，可以包括：
在形状匹配维度、位置匹配维度和角度偏差匹配维度中的至少两个匹配维度，对目标交通图像中的地图交通标识工具和检测交通标识工具进行匹配，得到至少两个匹配维度对应的匹配信息；
根据至少两个匹配维度对应的匹配信息，确定匹配检测交通标识工具；
其中，形状匹配维度对应的匹配信息表征在目标交通图像中地图交通标识工具与目标检测交通标识工具间的形状差异信息；位置匹配维度对应的匹配信息表征在目标交通图像中地图交通标识工具与目标检测交通标识工具间的位置差异信息；角度偏差匹配维度对应的匹配信息表征在目标交通图像中地图交通标识工具与目标检测交通标识工具间的角度差异信息。
上述实施例中，从形状匹配维度、位置匹配维度和角度偏差匹配维度中至少两个匹配维度，对地图交通标识工具与检测交通标识工具进行匹配，可以大大提高匹配到的检测交通标识工具与地图数据中的交通标识工具间的匹配精准性。
在一个可选的实施例中，目标交通图像中的地图交通标识工具和检测交通标识工具的数量可以均为多个，相应的，上述在形状匹配维度、位置匹配维度和角度偏差匹配维度中的至少两个匹配维度，对目标交通图像中的地图交通标识工具和检测交通标识工具进行匹配，得到至少两个匹配维度对应的匹配信息可以包括：遍历目标交通图像中多个地图交通标识工具；在遍历到任一地图交通标识工具的情况下，将当前遍历到的地图交通标识工具，在至少两个匹配维度上分别与目标交通图像中的目标检测交通标识工具进行匹配，得到至少两个匹配维度对应的匹配信息，目标检测交通标识工具为目标交通图像中不存在匹配的 地图交通标识工具的检测交通标识工具；
在一个可选的实施例中，可以随机遍历目标交通图像中多个地图交通标识工具。在另一个可选的实施例中，也可以按照多个地图交通标识工具在目标交通图像中的排序，由左到右依次遍历每一地图交通标识工具。
在一个具体的实施例中，在依次确定地图交通标识工具的匹配检测交通标识工具的过程中，若一个检测交通标识工具被确定为某一地图交通标识工具的匹配检测交通标识工具，该检测交通标识工具可以为存在匹配的地图交通标识工具的检测交通标识工具。相应的，上述目标检测交通标识工具为目标交通图像中不存在匹配的地图交通标识工具的检测交通标识工具。
在一个具体的实施例中，在匹配维度为形状匹配维度的情况下，可以将当前遍历到的地图交通标识工具的形状信息与目标检测交通标识工具的形状信息进行匹配，得到地图交通标识工具与目标检测交通标识工具，在形状匹配维度对应的匹配信息。在一个具体的实施例中，形状信息可以包括宽度信息，相应的，可以将地图交通标识工具与目标检测交通标识工具的宽度比作为地图交通标识工具与目标检测交通标识工具，在形状匹配维度对应的匹配信息。在一个可选的实施例中，可以将形状信息对应的数值中较小的数值与较大的数值的比作为地图交通标识工具与目标检测交通标识工具，在形状匹配维度对应的匹配信息，以便将不同匹配维度的匹配信息均量化到0至1之间。相应的，匹配信息对应的数值越大，地图交通标识工具与目标检测交通标识工具在形状匹配维度的差异越小，地图交通标识工具与目标检测交通标识工具间的形状越相似。可选的，形状信息还可以包括高度信息、宽高比信息等。相应的，在形状匹配维度对应的匹配信息还可以包括高度比，宽高比对应的比。
在一个具体的实施例中，在匹配维度为位置匹配维度的情况下，可以将当前遍历到的地图交通标识工具的位置信息与目标检测交通标识工具的位置信息进行匹配，得到地图交通标识工具与目标检测交通标识工具，在位置匹配维度对应的匹配信息。在一个具体的实施例中，位置信息可以包括某一方向(横坐标/纵坐标)上的图像坐标信息；相应的，地图交通标识工具与目标检测交通标识工具，在位置匹配维度对应的匹配信息可以包括：地图交通标识工具与目标检测交通标识工具，在该方向上的图像坐标信息之比。在一个可选的实施例中，可以将位置信息对应的数值中较小的数值与较大的数值的比作为地图交通标识工具与目标检测交通标识工具，在位置匹配维度对应的匹配信息，以便将不同匹配维度的匹配信息均量化到0至1之间。相应的，匹配信息对应的数值越大，地图交通标识工具与目标检测交通标识工具间的位置差异越小，地图交通标识工具与目标检测交通标识工具间的距离越近。
在一个具体的实施例中，在匹配维度为角度偏差匹配维度的情况下，可以将当前遍历到的地图交通标识工具的角度信息与目标检测交通标识工具的角度信息进行匹配，得到地图交通标识工具与目标检测交通标识工具，在角度偏差匹配维度对应的匹配信息。具体的，可以确定当前遍历到的地图交通标识工具的角度信息与某一目标检测交通标识工具的角度信息间的第一角度偏差信息；并获取该当前遍历到的地图交通标识工具，在前一帧交通图像(上述交通图像的前一帧交通图像)中的角度信息与该目标检测交通标识工具的角度信息间的第二角度偏差信息；计算第一角度偏差信息和第二角度偏差信息的差值；将该差值的余弦值，作为当前遍历到的地图交通标识工具与该目标检测交通标识工具，在角度偏差匹配维度对应的匹配信息；具体的，若前后两帧对应的角度信息越相近，上述第一角度偏差信息和第二角度偏差信息的差值越小，相应的，地图交通标识工具与目标检测交通标识工具，在角度偏差匹配维度对应的匹配信息越大。相应的，匹配信息对应的数值越大，地图交通标识工具与目标检测交通标识工具，在角度偏差匹配维度的差异越小，地图交通标 识工具与目标检测交通标识工具间的角度差异越小。
在一个可选的实施例中，上述根据至少两个匹配维度对应的匹配信息，确定匹配检测交通标识工具包括：根据至少两个匹配维度对应的匹配信息，确定当前遍历到的地图交通标识工具与目标交通图像中的目标检测交通标识工具间的第一目标匹配信息；将第一目标匹配信息满足第一预设匹配条件的目标检测交通标识工具，作为当前遍历到的地图交通标识工具的匹配检测交通标识工具。
在一个具体的实施例中，可以将至少两个匹配维度对应的匹配信息(数值)进行相加，得到当前遍历到的地图交通标识工具与目标交通图像中某一目标检测交通标识工具间的第一目标匹配信息。具体的，该第一目标匹配信息可以从多个匹配维度来表征当前遍历到的地图交通标识工具与目标交通图像中某一目标检测交通标识工具间的匹配程度。具体的，第一目标匹配信息的数值与对应的匹配程度成正比。
在一个具体的实施例中，第一目标匹配信息满足第一预设匹配条件的目标检测交通标识工具可以包括：目标检测交通标识工具中对应的第一目标匹配信息最大的目标检测交通标识工具，相应的，将第一目标匹配信息最大的目标检测交通标识工具作为当前遍历到的地图交通标识工具的匹配检测交通标识工具。
上述实施例中，从多个匹配维度对地图交通标识工具与检测交通标识工具进行匹配，可以大大提高匹配到的检测交通标识工具与地图数据中的交通标识工具间的匹配精准性。
S107：基于匹配检测交通标识工具的指示信息，确定地图数据中的地图交通标识工具的指示信息。
在一个具体的实施例中，基于匹配检测交通标识工具的指示信息，确定地图数据中的地图交通标识工具的指示信息可以包括：将匹配检测交通标识工具的指示信息，作为地图数据中对应的地图交通标识工具的指示信息。进一步的，可以生成包括指示信息的地图数据，进而基于具有交通标识工具指示信息的地图数据，更准确的反映道路上的交通情况，大大提升驾驶安全性。
由以上本说明书实施例通过的技术方案可见，本说明书实施例中从多匹配维度对交通图像中检测出的交通标识工具与地图数据中的交通标识工具进行匹配，可以有效提升检测出的交通标识工具与地图数据中交通标识工具间的匹配精准性，进而可以结合检测出的交通标识工具的指示信息完善地图数据，使得地图数据可以更准确的反映道路上的交通情况，大大提升驾驶安全性。
在实际应用中，在交通标志工具包括交通信号灯的情况下，由于多个交通信号灯往往是一组信号，相应的，如图2所示，在目标交通图像中的地图交通标识工具和检测交通标识工具的数量均为多个的情况下，在形状匹配维度、位置匹配维度和角度偏差匹配维度中的至少两个匹配维度，对目标交通图像中的地图交通标识工具和检测交通标识工具进行匹配，得到至少两个匹配维度对应的匹配信息可以包括：
S201：对目标交通图像中多个地图交通标识工具和多个检测交通标识工具分别进行聚类处理，得到第一数量个地图交通标识工具组和第二数量个检测交通标识工具组；
S203：遍历第一数量个地图交通标识工具组；
S205：在遍历到任一地图交通标识工具组的情况下，将当前遍历到的地图交通标识工具组，在至少两个匹配维度上分别与目标检测交通标识工具组进行匹配，得到至少两个匹配维度对应的匹配信息，该目标检测交通标识工具组为第二数量个检测交通标识工具组中不存在匹配的地图交通标识工具组的检测交通标识工具组。
在一个可选的实施例中，上述目标交通数据还可以包括交通图像中检测交通标识工具的第一图像坐标信息，第一图像坐标信息可以为检测交通标识工具，在图像坐标系中的坐 标信息，该坐标信息可以表征检测交通标识工作在交通图像中的位置信息。相应的，如图3所示，上述对目标交通图像中多个地图交通标识工具和多个检测交通标识工具分别进行聚类处理，得到第一数量个地图交通标识工具组和第二数量个检测交通标识工具组可以包括：
S301：确定每个地图交通标识工具在目标交通图像中的第二图像坐标信息。
在一个具体的实施例中，每个地图交通标识工具对应的第二图像坐标信息，可以为地图交通标识工具在图像坐标系中的坐标信息，该坐标信息可以为地图交通标识工具在图像坐标系中的位置信息。
S303：获取目标交通图像中多个检测交通标识工具的第一形状信息。
在一个具体的实施例中，每个检测交通标识工具的第一形状信息可以为能够表征该检测交通标识工具形状的数据，具体的，第一形状信息可以包括但不限于宽度信息、高度信息，宽高比信息等。
S305：获取目标交通图像中多个地图交通标识工具的第二形状信息。
在一个具体的实施例中，每个地图交通标识工具的第二形状信息可以为能够表征该地图交通标识工具形状的数据，具体的，第二形状信息可以包括但不限于宽度信息、高度信息，宽高比等。
S307：基于第一形状信息和第一图像坐标信息对多个检测交通标识工具进行聚类处理，得到第二数量个检测交通标识工具组。
本说明书实施例中，可以将形状相似且距离较近的检测交通标识工具划分到一组中。在一个具体的实施例中，可以根据第一图像坐标信息确定任意两个检测交通标识工具间的距离，并筛选出距离小于等于预设距离阈值的两两检测交通标识工具，并对上述两两检测交通标识工具结合距离再进行合并，将三个检测交通标识工具或更多个检测交通标识工具间的距离均小于等于预设距离阈值的检测交通标识工具进行合并，例如检测交通标识工具A与检测交通标识工具B的距离小于等于预设距离阈值，检测交通标识工具A与检测交通标识工具C的距离小于等于预设距离阈值，且检测交通标识工具C与检测交通标识工具B的距离小于等于预设距离阈值，相应的，可以将检测交通标识工具A、检测交通标识工具B和检测交通标识工具C合并为一组，接着，对基于距离得到的检测交通标识工具组，结合第一形状信息计算组内两两检测交通标识工具间的形状相似度，将形状相似度均满足预设相似度阈值的检测交通标识工具组作为最终的检测交通标识工具组，以得到上述第二数量个检测交通标识工具组。
在一个可选的实施例中，可以将两个检测交通标识工具的第一形状信息的比值(例如宽度比)作为这两个检测交通标识工具对应的形状相似度。在一个可选的实施例中，可以将第一形状信息对应的数值中较小的数值与较大的数值的比作为两个检测交通标识工具对应的形状相似度，相应的，形状相似度越大，两个检测交通标识工具在形状的差异越小，地图交通标识工具与目标检测交通标识工具在形状越相似。
S309：基于第二形状信息和第二图像坐标信息对多个地图交通标识工具进行聚类处理，得到第一数量个地图交通标识工具组。
本说明书实施例中，基于第二形状信息和第二图像坐标信息对多个地图交通标识工具进行聚类处理，得到第一数量个地图交通标识工具组的具体细化步骤可以参见上述基于第一形状信息和第一图像坐标信息对多个检测交通标识工具进行聚类处理，得到第二数量个检测交通标识工具组的具体细化步骤，在此不再赘述。
本说明书实施例中，通过对多个地图交通标识工具和多个检测交通标识工具分别结合形状信息和图像坐标信息进行聚类处理，得到相应的地图交通标识工具组和检测交通标识工具组，可以使得后续用于进行匹配的数据更符合实际情况，进而可以提升检测出的交通 标识工具与地图数据中交通标识工具间的匹配精准性。
在一个可选的实施例中，可以随机遍历第一数量个地图交通标识工具组。在另一个可选的实施例中，也可以按照第一数量个地图交通标识工具组在目标交通图像中的排序，由左到右依次遍历每一地图交通标识工具组。
在一个可选的实施例中，上述多维度匹配还包括：数量匹配维度上的匹配；相应的，上述在形状匹配维度、位置匹配维度和角度偏差匹配维度中的至少两个匹配维度，对目标交通图像中的地图交通标识工具和检测交通标识工具进行匹配，得到至少两个匹配维度对应的匹配信息包括：在数量匹配维度、形状匹配维度、位置匹配维度和角度偏差匹配维度中的至少两个匹配维度，对目标交通图像中的地图交通标识工具和检测交通标识工具进行匹配，得到至少两个匹配维度对应的匹配信息；
其中，数量匹配维度对应的匹配信息表征在目标交通图像中地图交通标识工具组与目标检测交通标识工具组中交通标识工具的数量差异信息相应的，上述基于匹配检测交通标识工具的指示信息，确定地图数据中的地图交通标识工具的指示信息可以包括：基于匹配检测交通标识工具组的指示信息，确定地图数据中的地图交通标识工具组的指示信息。
在一个具体的实施例中，在匹配维度为数量匹配维度的情况下，可以将当前遍历到的地图交通标识工具组中的工具数量与目标检测交通标识工具组中的工具数量进行匹配，得到地图交通标识工具组与目标检测交通标识工具组，在数量匹配维度对应的匹配信息。在一个可选的实施例中，可以将地图交通标识工具组与目标检测交通标识工具组中较小的工具数量与较大的工具数量的比，作为地图交通标识工具组与目标检测交通标识工具组，在数量匹配维度对应的第一匹配信息，以便将不同匹配维度的第一匹配信息均量化到0至1之间。相应的，第一匹配信息对应的数值越大，地图交通标识工具组与目标检测交通标识工具组，在数量匹配维度的差异越小，地图交通标识工具组与目标检测交通标识工具组中交通标识工具越相似。
本说明书实施例中，在匹配维度包括形状匹配维度、位置匹配维度和角度偏差匹配维度的情况下，地图交通标识工具组与目标检测交通标识工具组进行匹配的具体细化可以参见上述地图交通标识工具与目标检测交通标识工具进行匹配的相关细化，在此不再赘述。
上述实施例中，从数量匹配维度、形状匹配维度、位置匹配维度和角度偏差匹配维度中的至少两个匹配维度，对地图交通标识工具组与检测交通标识工具组进行匹配，可以大大提高匹配到的检测交通标识工具与地图数据中的交通标识工具间的匹配精准性。
在一个可选的实施例中，上述目标交通图像中地图交通标识工具的匹配检测交通标识工具可以包括：目标交通图像中地图交通标识工具组的匹配检测交通标识工具组；相应的，上述根据至少两个匹配维度对应的匹配信息，确定匹配检测交通标识工具可以包括：
根据至少两个匹配维度对应的匹配信息，确定当前遍历到的地图交通标识工具组与目标检测交通标识工具组间的第二目标匹配信息；
将第二目标匹配信息满足第二预设匹配条件的目标检测交通标识工具组，作为当前遍历到的地图交通标识工具组的匹配检测交通标识工具组；
在一个具体的实施例中，可以将至少两个匹配维度对应的匹配信息(数值)进行相加，得到当前遍历到的地图交通标识工具组与目标交通图像中的目标检测交通标识工具组间的第二目标匹配信息。具体的，该第二目标匹配信息可以从多个匹配维度来表征当前遍历到的地图交通标识工具组与目标交通图像中的目标检测交通标识工具组间的匹配程度。具体的，第二目标匹配信息的数值与对应的匹配程度成正比。
在一个具体的实施例中，第二目标匹配信息满足第二预设匹配条件的目标检测交通标识工具组可以包括目标检测交通标识工具组中对应的第二目标匹配信息最大的目标检测交通标识工具组，相应的，可以将第二目标匹配信息最大的目标检测交通标识工具组作为当 前遍历到的地图交通标识工具组的匹配检测交通标识工具组。
上述实施例中，从多个匹配维度对地图交通标识工具组与检测交通标识工具组进行匹配，可以大大提高匹配到的检测交通标识工具与地图数据中的交通标识工具间的匹配精准性。
在一个可选的实施例中，上述基于匹配检测交通标识工具组的指示信息，确定地图数据中的地图交通标识工具组的指示信息可以包括：
在任一地图交通标识工具组中的工具数量大于等于对应的匹配检测交通标识工具组中工具数量的情况下，将对应的匹配检测交通标识工具组中检测交通标识工具的指示信息，按照预设顺序，依次设置为对应的地图交通标识工具组中地图交通标识工具的指示信息；
上述实施例中，在地图交通标识工具组中的地图交通标识工具数量大于等于对应的匹配检测交通标识工具组中的检测交通标识工具数量的情况下，通过将检测出的交通标识工具的指示信息，按序赋值给地图交通标识工具，可以准确确定地图交通标识工具的指示信息。
在另一个可选的实施例中，上述基于匹配检测交通标识工具组的指示信息，确定地图数据中的地图交通标识工具组的指示信息可以包括：
在任一地图交通标识工具组中的工具数量小于对应的匹配检测交通标识工具组中工具数量的情况下，将对应的匹配检测交通标识工具组中检测交通标识工具的指示信息，按照预设顺序，依次设置为对应的地图交通标识工具组中地图交通标识工具的指示信息，以及将预设指示信息作为对应的地图交通标识工具组中，未设置有指示信息的地图交通标识工具的指示信息；
在一个具体的实施例中，上述预设顺序可以为对应的匹配检测交通标识工具组中检测交通标识工具在目标交通图像中沿横坐标方向上由左到右排列顺序。具体的，在基于匹配检测交通标识工具组中检测交通标识工具的指示信息，确定第一数量个地图交通标识工具组的指示信息的过程中，可以确定相匹配的地图交通标识工具组与匹配检测交通标识工具组各自组内的工具数量，若地图交通标识工具组中的工具数量大于等于对应的匹配检测交通标识工具组中工具数量，由于工具组内的交通标识工具在交通图像上都是从左到右排序好的，相应的，可以按照从左到右的顺序，依次将检测交通标识工具组中检测交通标识工具的指示信息，赋值给地图交通标识工具组中的地图交通标识工具。反之，若地图交通标识工具组中的工具数量小于对应的匹配检测交通标识工具组中工具数量，可以按照从左到右的顺序依次将检测交通标识工具组中检测交通标识工具的指示信息赋值给地图交通标识工具组中的地图交通标识工具，并将预设指示信息作为对应的地图交通标识工具组中，未设置有指示信息的地图交通标识工具的指示信息；
在一个具体的实施例中，预设指示信息可以为黑色。
在实际应用中，由于在交通标识工具为交通信号灯的情况下，地图数据中的交通信号灯往往都是默认黑色的，同时一个路口会有几个灯同时指示前方道路能否行驶，因此，即使地图数据中部分交通信号灯为黑色，也能通过其他非黑色的交通信号灯进行驾驶控制。
上述实施例中，在地图交通标识工具组中的地图交通标识工具数量小于对应的匹配检测交通标识工具组中的检测交通标识工具数量的情况下，先通过将检测出的交通标识工具的指示信息，按序赋值给地图交通标识工具，再针对未设置有指示信息的地图交通标识工具以预设指示信息进行赋值，可以准确确定地图交通标识工具的指示信息。
在一个可选的实施例中，上述方法还可以包括：生成包括地图交通标识工具的指示信息的地图数据。
上述实施例中，通过生成包括地图交通标识工具的指示信息的地图数据，可以完善地图数据，使得地图数据可以更准确的反映道路上的交通情况，大大提升驾驶安全性。
在一个可选的实施例中，在生成包括地图交通标识工具的指示信息的地图数据之前，上述方法还可以包括：
获取当前时刻之前第一预设数量个预设时刻时，地图数据中的地图交通标识工具的指示信息；
确定第一预设数量个预设时刻对应的指示信息中目标指示信息；
确定目标指示信息与当前时刻的地图数据中的地图交通标识工具的指示信息相同。
在一个具体的实施例中，当前时刻之前第一预设数量个预设时刻可以为当前的交通图像之前第一预设数量帧交通图像对应的采集时刻，具体的，第一预设数量可以结合实际应用预先设置。相应的，该第一预设数量个预设时刻地图数据中的地图交通标识工具的指示信息可以结合该第一预设数量个预设时刻的交通图像中的检测交通标识工具的指示信息确定；具体的，可以将第一预设数量个预设时刻对应的指示信息中出现次数最多的指示信息作为目标指示信息，并在确定目标指示信息与当前时刻的地图数据中的地图交通标识工具的指示信息相同的情况下，执行生成包括指示信息的地图数据的操作。
上述实施例中，通过当前时刻之前的多个预设时刻交通标识工具的指示信息来对当前得到的交通标识工具的指示信息进行校正，可以大大提升地图数据的精准性和可靠性，进而有效提升驾驶安全性。
在一个可选的实施例中，上述方法还可以包括：
若目标指示信息与当前时刻的地图数据中的地图交通标识工具的指示信息不同，获取当前时刻的地图数据中的地图交通标识工具，在当前时刻之后第二预设数量个预设时刻对应的指示信息；
确定第二预设数量个预设时刻对应的指示信息与当前时刻的地图数据中的地图交通标识工具的指示信息均相同。
在一个具体的实施例中，当前时刻之后第二预设数量个预设时刻可以为当前的交通图像之后第二预设数量帧交通图像对应的采集时刻，具体的，第二预设数量可以结合实际应用预先设置。相应的，该第二预设数量个预设时刻地图数据中的地图交通标识工具的指示信息可以结合该第二预设数量个预设时刻的交通图像中的检测交通标识工具的指示信息确定；具体的，若第二预设数量个预设时刻对应的指示信息与当前时刻的地图数据中的地图交通标识工具的指示信息均相同，可以执行生成包括指示信息的地图数据的操作。反之，确定第二预设数量个预设时刻对应的指示信息与当前时刻的地图数据中的地图交通标识工具的指示信息不相同，可以将预设指示信息作为对应的地图交通标识工具的指示信息。
上述实施例中，在当前时刻之前的多个预设时刻交通标识工具的指示信息与当前得到的该交通标识工具的指示信息不一致的情况下，结合在当前时刻之后的多个预设时刻交通标识工具的指示信息来对输出的地图数据进行校正，可以大大提升地图数据的精准性和可靠性，进而有效提升驾驶安全性。
图4是根据一示例性实施例示出的一种交通标识的识别装置框图。参照图4，该装置包括：
交通标识工具检测模块410，用于对目标区域内的交通图像进行交通标识工具检测，得到目标交通数据，目标交通数据包括交通图像中检测交通标识工具的指示信息；
地图交通标识工具映射模块420，用于将目标区域对应地图数据中的地图交通标识工具映射至交通图像所在的图像平面上，得到目标交通图像；
多维度匹配模块430，用于对目标交通图像中的地图交通标识工具和检测交通标识工具进行多维度匹配，确定目标交通图像中地图交通标识工具的匹配检测交通标识工具；
指示信息确定模块440，用于基于匹配检测交通标识工具的指示信息，确定地图数据 中的地图交通标识工具的指示信息。
可选的，多维度匹配包括形状匹配维度、位置匹配维度和角度偏差匹配维度中的至少两个维度上的匹配；
多维度匹配模块430包括：
匹配单元，用于在形状匹配维度、位置匹配维度和角度偏差匹配维度中的至少两个匹配维度，对目标交通图像中的地图交通标识工具和检测交通标识工具进行匹配，得到至少两个匹配维度对应的匹配信息；
匹配检测交通标识工具确定单元，用于根据至少两个匹配维度对应的匹配信息，确定匹配检测交通标识工具；
其中，形状匹配维度对应的匹配信息表征在目标交通图像中地图交通标识工具与目标检测交通标识工具间的形状差异信息；位置匹配维度对应的匹配信息表征在目标交通图像中地图交通标识工具与目标检测交通标识工具间的位置差异信息；角度偏差匹配维度对应的匹配信息表征在目标交通图像中地图交通标识工具与目标检测交通标识工具间的角度差异信息。
可选的，目标交通图像中的地图交通标识工具和检测交通标识工具的数量均为多个，匹配单元包括：
第一遍历单元，用于遍历目标交通图像中多个地图交通标识工具；
第一匹配子单元，用于在遍历到任一地图交通标识工具的情况下，将当前遍历到的地图交通标识工具，在至少两个匹配维度上分别与目标交通图像中的目标检测交通标识工具进行匹配，得到至少两个匹配维度对应的匹配信息，目标检测交通标识工具为目标交通图像中不存在匹配的地图交通标识工具的检测交通标识工具；
匹配检测交通标识工具确定单元包括：
第一目标匹配信息确定单元，用于根据至少两个匹配维度对应的匹配信息，确定当前遍历到的地图交通标识工具与目标交通图像中的目标检测交通标识工具间的第一目标匹配信息；
第一匹配检测交通标识工具确定单元，用于将第一目标匹配信息满足第一预设匹配条件的目标检测交通标识工具，作为当前遍历到的地图交通标识工具的匹配检测交通标识工具。
可选的，匹配单元包括：
聚类处理单元，用于对目标交通图像中多个地图交通标识工具和多个检测交通标识工具分别进行聚类处理，得到第一数量个地图交通标识工具组和第二数量个检测交通标识工具组；
第二遍历单元，用于遍历第一数量个地图交通标识工具组；
第二匹配子单元，用于在遍历到任一地图交通标识工具组的情况下，将当前遍历到的地图交通标识工具组，在至少两个匹配维度上分别与目标检测交通标识工具组进行匹配，得到至少两个匹配维度对应的匹配信息，目标检测交通标识工具组为第二数量个检测交通标识工具组中不存在匹配的地图交通标识工具组的检测交通标识工具组；
匹配检测交通标识工具确定单元包括：
第二目标匹配信息确定单元，用于根据至少两个匹配维度对应的匹配信息，确定当前遍历到的地图交通标识工具组与目标检测交通标识工具组间的第二目标匹配信息；
第二匹配检测交通标识工具确定单元，用于将第二目标匹配信息满足第二预设匹配条件的目标检测交通标识工具组，作为当前遍历到的地图交通标识工具组的匹配检测交通标识工具组；
指示信息确定模块440还用于基于匹配检测交通标识工具组的指示信息，确定地图数 据中的地图交通标识工具组的指示信息。
可选的，目标交通数据还包括交通图像中检测交通标识工具的第一图像坐标信息，聚类处理单元包括：
第二图像坐标信息确定单元，用于确定每个地图交通标识工具在目标交通图像中的第二图像坐标信息；
第一形状信息获取单元，用于获取目标交通图像中多个检测交通标识工具的第一形状信息；
第二形状信息获取单元，用于获取目标交通图像中多个地图交通标识工具的第二形状信息；
第一聚类处理子单元，用于基于第一形状信息和第一图像坐标信息对多个检测交通标识工具进行聚类处理，得到第二数量个检测交通标识工具组；
第二聚类处理子单元，用于基于第二形状信息和第二图像坐标信息对多个地图交通标识工具进行聚类处理，得到第一数量个地图交通标识工具组。
可选的，多维度匹配还包括：数量匹配维度上的匹配；
匹配单元还用于在数量匹配维度、形状匹配维度、位置匹配维度和角度偏差匹配维度中的至少两个匹配维度，对目标交通图像中的地图交通标识工具和检测交通标识工具进行匹配，得到至少两个匹配维度对应的匹配信息；
其中，数量匹配维度对应的匹配信息表征在目标交通图像中地图交通标识工具组与目标检测交通标识工具组中交通标识工具的数量差异信息。
可选的，指示信息确定模块440包括：
第一指示信息设置单元，用于在任一地图交通标识工具组中的地图交通标识工具数量大于等于对应的匹配检测交通标识工具组中的检测交通标识工具数量的情况下，将对应的匹配检测交通标识工具组中检测交通标识工具的指示信息，按照预设顺序，依次设置为该地图交通标识工具组中地图交通标识工具的指示信息。
可选的，指示信息确定模块440包括：
第二指示信息设置单元，用于在任一地图交通标识工具组中的地图交通标识工具数量小于对应的匹配检测交通标识工具组中的检测交通标识工具数量的情况下，将对应的匹配检测交通标识工具组中检测交通标识工具的指示信息，按照预设顺序，依次设置为该地图交通标识工具组中地图交通标识工具的指示信息，以及将预设指示信息作为对应的地图交通标识工具组中，未设置有指示信息的地图交通标识工具的指示信息。
可选的，上述装置还包括：
地图数据生成模块，用于生成包括地图交通标识工具的指示信息的地图数据。
可选的，上述装置还包括：
第一指示信息获取模块，用于在生成包括地图交通标识工具的指示信息的地图数据之前，获取当前时刻之前第一预设数量个预设时刻时地图数据中的地图交通标识工具的指示信息；
目标指示信息确定模块，用于确定第一预设数量个预设时刻对应的指示信息中目标指示信息；
第一指示信息确认模块，用于确定目标指示信息与当前时刻的地图数据中的地图交通标识工具的指示信息相同。
可选的，上述装置还包括：
第二指示信息获取模块，用于若目标指示信息与当前时刻的地图数据中的地图交通标识工具的指示信息不同，获取当前时刻的地图数据中的地图交通标识工具，在当前时刻之后第二预设数量个预设时刻对应的指示信息；
第二指示信息确定模块，用于确定第二预设数量个预设时刻对应的指示信息与当前时刻的地图数据中的地图交通标识工具的指示信息均相同。
可选的，地图交通标识工具映射模块420包括：
坐标转换单元，用于将地图交通标识工具的地理坐标信息，转换成交通图像对应的图像坐标系中的图像坐标信息；
交通标识工具映射单元，用于基于图像坐标信息，将地图交通标识工具映射至交通图像，得到目标交通图像。
可选的，交通标识工具映射单元包括：
第一交通标识工具映射子单元，用于在交通图像对应的图像坐标范围包括图像坐标信息的情况下，基于图像坐标信息，将地图交通标识工具映射至交通图像，得到目标交通图像；
和/或，
第二交通标识工具映射子单元，用于在地图交通标识工具与目标车辆间的距离信息符合预设距离条件的情况下，基于图像坐标信息，将地图交通标识工具映射至交通图像，得到目标交通图像，目标车辆为基于地图数据进行驾驶的车辆。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种用于交通标识的识别的电子设备的框图，该电子设备可以是终端，其内部结构图可以如图5所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种交通标识的识别的方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本公开实施例中的交通标识的识别方法。
在示例性实施例中，还提供了一种存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例中的交通标识的识别方法。
在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例中的交通标识的识别方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多 种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (17)

  1. 一种交通标识的识别方法，其特征在于，包括：
    对目标区域内的交通图像进行交通标识工具检测，得到目标交通数据，所述目标交通数据包括所述交通图像中检测交通标识工具的指示信息；
    将所述目标区域对应地图数据中的地图交通标识工具映射至所述交通图像所在的图像平面上，得到目标交通图像；
    对所述目标交通图像中的地图交通标识工具和检测交通标识工具进行多维度匹配，确定所述目标交通图像中地图交通标识工具的匹配检测交通标识工具；
    基于所述匹配检测交通标识工具的指示信息，确定所述地图数据中的地图交通标识工具的指示信息。
  2. 根据权利要求1所述的交通标识的识别方法，其特征在于，所述多维度匹配包括形状匹配维度、位置匹配维度和角度偏差匹配维度中的至少两个维度上的匹配；
    所述对所述目标交通图像中的地图交通标识工具和检测交通标识工具进行多维度匹配，确定所述目标交通图像中地图交通标识工具的匹配检测交通标识工具，包括：
    在所述形状匹配维度、所述位置匹配维度和所述角度偏差匹配维度中的至少两个匹配维度，对所述目标交通图像中的地图交通标识工具和检测交通标识工具进行匹配，得到所述至少两个匹配维度对应的匹配信息；
    根据所述至少两个匹配维度对应的匹配信息，确定所述匹配检测交通标识工具；
    其中，所述形状匹配维度对应的匹配信息表征在所述目标交通图像中所述地图交通标识工具与所述目标检测交通标识工具间的形状差异信息；所述位置匹配维度对应的匹配信息表征在所述目标交通图像中所述地图交通标识工具与所述目标检测交通标识工具间的位置差异信息；所述角度偏差匹配维度对应的匹配信息表征在所述目标交通图像中所述地图交通标识工具与所述目标检测交通标识工具间的角度差异信息。
  3. 根据权利要求2所述的交通标识的识别方法，其特征在于，所述目标交通图像中的地图交通标识工具和检测交通标识工具的数量均为多个，所述在所述形状匹配维度、所述位置匹配维度和所述角度偏差匹配维度中的至少两个匹配维度，对所述目标交通图像中的地图交通标识工具和检测交通标识工具进行匹配，得到所述至少两个匹配维度对应的匹配信息包括：
    遍历所述目标交通图像中多个地图交通标识工具；
    在遍历到任一地图交通标识工具的情况下，将当前遍历到的地图交通标识工具，在所述至少两个匹配维度上分别与所述目标交通图像中的目标检测交通标识工具进行匹配，得到所述至少两个匹配维度对应的匹配信息，所述目标检测交通标识工具为所述目标交通图像中不存在匹配的地图交通标识工具的检测交通标识工具；
    所述根据所述至少两个匹配维度对应的匹配信息，确定所述匹配检测交通标识工具包括：
    根据所述至少两个匹配维度对应的匹配信息，确定所述当前遍历到的地图交通标识工具与所述目标交通图像中的目标检测交通标识工具间的第一目标匹配信息；
    将所述第一目标匹配信息满足第一预设匹配条件的目标检测交通标识工具，作为所述当前遍历到的地图交通标识工具的匹配检测交通标识工具。
  4. 根据权利要求2所述的交通标识的识别方法，其特征在于，所述在所述形状匹配维度、所述位置匹配维度和所述角度偏差匹配维度中的至少两个匹配维度，对所述目标交通图像中的地图交通标识工具和检测交通标识工具进行匹配，得到所述至少两个匹配维度对应的匹配信息，包括：
    对所述目标交通图像中多个地图交通标识工具和多个检测交通标识工具分别进行聚类处理，得到第一数量个地图交通标识工具组和第二数量个检测交通标识工具组；
    遍历所述第一数量个地图交通标识工具组；
    在遍历到任一地图交通标识工具组的情况下，将当前遍历到的地图交通标识工具组，在所述至少两个匹配维度上分别与目标检测交通标识工具组进行匹配，得到所述至少两个匹配维度对应的匹配信息，所述目标检测交通标识工具组为所述第二数量个检测交通标识工具组中不存在匹配的地图交通标识工具组的检测交通标识工具组；
    所述根据所述至少两个匹配维度对应的匹配信息，确定所述匹配检测交通标识工具包括：
    根据所述至少两个匹配维度对应的匹配信息，确定所述当前遍历到的地图交通标识工具组与所述目标检测交通标识工具组间的第二目标匹配信息；
    将所述第二目标匹配信息满足第二预设匹配条件的目标检测交通标识工具组，作为所述当前遍历到的地图交通标识工具组的匹配检测交通标识工具组；
    所述基于所述匹配检测交通标识工具的指示信息，确定所述地图数据中的地图交通标识工具的指示信息包括：
    基于所述匹配检测交通标识工具组的指示信息，确定所述地图数据中的地图交通标识工具组的指示信息。
  5. 根据权利要求4所述的交通标识的识别方法，其特征在于，所述目标交通数据还包括所述交通图像中检测交通标识工具的第一图像坐标信息，所述对所述目标交通图像中多个地图交通标识工具和多个检测交通标识工具分别进行聚类处理，得到第一数量个地图交通标识工具组和第二数量个检测交通标识工具组包括：
    确定每个地图交通标识工具在所述目标交通图像中的第二图像坐标信息；
    获取所述目标交通图像中多个检测交通标识工具的第一形状信息；
    获取所述目标交通图像中多个地图交通标识工具的第二形状信息；
    基于所述第一形状信息和所述第一图像坐标信息对所述多个检测交通标识工具进行聚类处理，得到所述第二数量个检测交通标识工具组；
    基于所述第二形状信息和所述第二图像坐标信息对所述多个地图交通标识工具进行聚类处理，得到所述第一数量个地图交通标识工具组。
  6. 根据权利要求4所述的交通标识的识别方法，其特征在于，所述多维度匹配还包括：数量匹配维度上的匹配；
    所述在所述形状匹配维度、所述位置匹配维度和所述角度偏差匹配维度中的至少两个匹配维度，对所述目标交通图像中的地图交通标识工具和检测交通标识工具进行匹配，得到所述至少两个匹配维度对应的匹配信息包括：
    在所述数量匹配维度、所述形状匹配维度、所述位置匹配维度和所述角度偏差匹配维度中的至少两个匹配维度，对所述目标交通图像中的地图交通标识工具和检测交通标识工具进行匹配，得到所述至少两个匹配维度对应的匹配信息；
    其中，所述数量匹配维度对应的匹配信息表征在所述目标交通图像中所述地图交通标识工具组与所述目标检测交通标识工具组中交通标识工具的数量差异信息。
  7. 根据权利要求4所述的交通标识的识别方法，其特征在于，所述基于所述匹配检测交通标识工具组的指示信息，确定所述地图数据中的地图交通标识工具组的指示信息包括：
    在任一地图交通标识工具组中的地图交通标识工具数量大于等于对应的匹配检测交通标识工具组中的检测交通标识工具数量的情况下，将所述对应的匹配检测交通标识工具组中检测交通标识工具的指示信息，按照预设顺序，依次设置为该地图交通标识工具组中地图交通标识工具的指示信息。
  8. 根据权利要求4所述的交通标识的识别方法，其特征在于，所述基于所述匹配检测交通标识工具组的指示信息，确定所述地图数据中的地图交通标识工具组的指示信息，包括：
    在任一地图交通标识工具组中的地图交通标识工具数量小于对应的匹配检测交通标识工具组中的检测交通标识工具数量的情况下，将所述对应的匹配检测交通标识工具组中检测交通标识工具的指示信息，按照预设顺序，依次设置为该地图交通标识工具组中地图交通标识工具的指示信息，以及将预设指示信息作为该地图交通标识工具组中，未设置有指示信息的地图交通标识工具的指示信息。
  9. 根据权利要求7或8所述的交通标识的识别方法，其特征在于，所述方法还包括：
    生成包括所述地图交通标识工具的指示信息的地图数据。
  10. 根据权利要求9所述的交通标识的识别方法，其特征在于，在生成包括所述地图交通标识工具的指示信息的地图数据之前，所述方法还包括：
    获取当前时刻之前第一预设数量个预设时刻时所述地图数据中的地图交通标识工具的指示信息；
    确定所述第一预设数量个预设时刻对应的指示信息中目标指示信息；
    确定所述目标指示信息与所述当前时刻的地图数据中的地图交通标识工具的指示信息相同。
  11. 根据权利要求10所述的交通标识的识别方法，其特征在于，所述方法还包括：
    若所述目标指示信息与所述当前时刻的地图数据中的地图交通标识工具的指示信息不同，获取所述当前时刻的地图数据中的地图交通标识工具，在所述当前时刻之后第二预设数量个预设时刻对应的指示信息；
    确定所述第二预设数量个预设时刻对应的指示信息与所述当前时刻的地图数据中的地图交通标识工具的指示信息均相同。
  12. 根据权利要求1至8任一所述的交通标识的识别方法，其特征在于，所述将所述目标区域对应地图数据中的地图交通标识工具映射至所述交通图像所在的图像平面上，得到目标交通图像包括：
    将所述地图交通标识工具的地理坐标信息，转换成所述交通图像对应的图像坐标系中的图像坐标信息；
    基于所述图像坐标信息，将所述地图交通标识工具映射至所述交通图像，得到所述目标交通图像。
  13. 根据权利要求12所述的交通标识的识别方法，其特征在于，所述基于所述图像坐标信息，将所述地图交通标识工具映射至所述交通图像，得到所述目标交通图像包括：
    在所述交通图像对应的图像坐标范围包括所述图像坐标信息的情况下，基于所述图像坐标信息，将所述地图交通标识工具映射至所述交通图像，得到所述目标交通图像；
    和/或，
    在所述地图交通标识工具与目标车辆间的距离信息符合预设距离条件的情况下，基于所述图像坐标信息，将所述地图交通标识工具映射至所述交通图像，得到所述目标交通图像，所述目标车辆为基于所述地图数据进行驾驶的车辆。
  14. 一种交通标识的识别装置，其特征在于，包括：
    交通标识工具检测模块，用于对目标区域内的交通图像进行交通标识工具检测，得到目标交通数据，所述目标交通数据包括所述交通图像中检测交通标识工具的指示信息；
    地图交通标识工具映射模块，用于将所述目标区域对应地图数据中的地图交通标识工具映射至所述交通图像所在的图像平面上，得到目标交通图像；
    多维度匹配模块，用于对所述目标交通图像中的地图交通标识工具和检测交通标识工 具进行多维度匹配，确定所述目标交通图像中地图交通标识工具的匹配检测交通标识工具；
    指示信息确定模块，用于基于所述匹配检测交通标识工具的指示信息，确定所述地图数据中的地图交通标识工具的指示信息。
  15. 一种电子设备，其特征在于，包括：
    处理器；
    用于存储所述处理器可执行指令的存储器；
    其中，所述处理器被配置为执行所述指令，以实现如权利要求1至13中任一项所述的交通标识的识别方法。
  16. 一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得数据处理设备能够执行如权利要求1至13中任一项所述的交通标识的识别方法。
  17. 一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1至13中任一项所述的交通标识的识别方法。
PCT/CN2022/076169 2021-06-30 2022-02-14 交通标识的识别方法、装置、电子设备及存储介质 WO2023273358A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110742490.2A CN115546755A (zh) 2021-06-30 2021-06-30 交通标识的识别方法、装置、电子设备及存储介质
CN202110742490.2 2021-06-30

Publications (1)

Publication Number Publication Date
WO2023273358A1 true WO2023273358A1 (zh) 2023-01-05

Family

ID=84690202

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/076169 WO2023273358A1 (zh) 2021-06-30 2022-02-14 交通标识的识别方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN115546755A (zh)
WO (1) WO2023273358A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160293003A1 (en) * 2015-04-01 2016-10-06 Misapplied Sciences, Inc. Multi-view traffic signage
CN109284801A (zh) * 2018-10-29 2019-01-29 百度在线网络技术（北京）有限公司 交通指示灯的状态识别方法、装置、电子设备及存储介质
CN109389416A (zh) * 2017-08-10 2019-02-26 丰田自动车株式会社 数字标示控制装置、数字标示控制方法以及记录介质
CN111310708A (zh) * 2020-02-14 2020-06-19 广州文远知行科技有限公司 交通信号灯状态识别方法、装置、设备和存储介质
CN111738212A (zh) * 2020-07-20 2020-10-02 平安国际智慧城市科技股份有限公司 基于人工智能的交通信号灯识别方法、装置、设备及介质
CN112861832A (zh) * 2021-04-25 2021-05-28 湖北亿咖通科技有限公司 交通标识的检测方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160293003A1 (en) * 2015-04-01 2016-10-06 Misapplied Sciences, Inc. Multi-view traffic signage
CN109389416A (zh) * 2017-08-10 2019-02-26 丰田自动车株式会社 数字标示控制装置、数字标示控制方法以及记录介质
CN109284801A (zh) * 2018-10-29 2019-01-29 百度在线网络技术（北京）有限公司 交通指示灯的状态识别方法、装置、电子设备及存储介质
CN111310708A (zh) * 2020-02-14 2020-06-19 广州文远知行科技有限公司 交通信号灯状态识别方法、装置、设备和存储介质
CN111738212A (zh) * 2020-07-20 2020-10-02 平安国际智慧城市科技股份有限公司 基于人工智能的交通信号灯识别方法、装置、设备及介质
CN112861832A (zh) * 2021-04-25 2021-05-28 湖北亿咖通科技有限公司 交通标识的检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN115546755A (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
CN111340797B (zh) 一种激光雷达与双目相机数据融合检测方法及系统
CN108921925B (zh) 基于激光雷达和视觉融合的语义点云生成方法和装置
WO2022007818A1 (zh) 高精地图更新方法、车辆、服务器及存储介质
WO2021051344A1 (zh) 高精度地图中车道线的确定方法和装置
CN112667837A (zh) 图像数据自动标注方法及装置
CN110378360B (zh) 目标标定方法、装置、电子设备及可读存储介质
CN110569856B (zh) 样本标注方法及装置、损伤类别的识别方法及装置
CN114359181A (zh) 一种基于图像和点云的智慧交通目标融合检测方法及系统
CN104167109A (zh) 车辆位置的检测方法和检测装置
Gluhaković et al. Vehicle detection in the autonomous vehicle environment for potential collision warning
CN113705570A (zh) 一种基于深度学习的少样本目标检测方法
CN114529610A (zh) 一种基于rgb-d相机的毫米波雷达数据标注方法
CN115830399A (zh) 分类模型训练方法、装置、设备、存储介质和程序产品
US11314975B2 (en) Object identification in data relating to signals that are not human perceptible
CN111488883A (zh) 车架号识别方法、装置、计算机设备和存储介质
WO2023273358A1 (zh) 交通标识的识别方法、装置、电子设备及存储介质
CN117333846A (zh) 恶劣天气下基于传感器融合和增量学习的检测方法及系统
WO2024021350A1 (zh) 图像识别模型训练方法、装置、计算机设备和存储介质
CN115713750B (zh) 一种车道线检测方法、装置、电子设备及存储介质
CN116468931A (zh) 车辆部件检测方法、装置、终端及存储介质
WO2022247628A1 (zh) 一种数据标注方法及相关产品
TW202103049A (zh) 車牌辨識方法及其系統
JP3235322U (ja) 交通方向転換量調査レポート自動生成システム
WO2022247299A1 (zh) 指示灯状态识别
CN112633143B (zh) 图像处理系统、方法、头戴设备、处理设备及存储介质

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE