WO2022033179A1 - 一种交通灯识别的方法和装置 - Google Patents

一种交通灯识别的方法和装置 Download PDF

Info

Publication number
WO2022033179A1
WO2022033179A1 PCT/CN2021/101354 CN2021101354W WO2022033179A1 WO 2022033179 A1 WO2022033179 A1 WO 2022033179A1 CN 2021101354 W CN2021101354 W CN 2021101354W WO 2022033179 A1 WO2022033179 A1 WO 2022033179A1
Authority
WO
WIPO (PCT)
Prior art keywords
attribute information
data
traffic light
image data
target image
Prior art date
Application number
PCT/CN2021/101354
Other languages
English (en)
French (fr)
Inventor
张鹏越
李维维
刘兰个川
Original Assignee
广州小鹏自动驾驶科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 广州小鹏自动驾驶科技有限公司 filed Critical 广州小鹏自动驾驶科技有限公司
Publication of WO2022033179A1 publication Critical patent/WO2022033179A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights

Definitions

  • the present invention relates to the field of image technology, and in particular, to a method and device for identifying traffic lights.
  • the "bottom-up” method is usually used, but this "bottom-up” method is cumbersome and requires the location detection of the traffic light first, and then the color of the traffic light. , the recognition of the direction of the arrow, the efficiency is low.
  • a method for traffic light recognition comprising:
  • model processing is performed on the target image data to obtain target image attribute information
  • the traffic light recognition result is determined.
  • the target image attribute information includes any one or more of the following:
  • the judgment result of whether there is a traffic light the judgment result of whether there is a traffic light on the straight lane, and the color information of the traffic light on the straight lane.
  • Model training is performed using the sample image data and the sample image attribute information to obtain a target data model.
  • the obtaining sample image data and sample image attribute information of the sample image data includes:
  • the sample image attribute information of the key sample image data is determined.
  • the method further includes:
  • the preprocessing includes any one or more of the following:
  • the target image data includes a plurality of image data collected by different cameras, and each target image data corresponds to a target image attribute information, and the determining the traffic light recognition result according to the target image attribute information includes:
  • the target data model includes:
  • a device for traffic light identification comprising:
  • a target image data acquisition module for acquiring target image data
  • a target image attribute information obtaining module used for using a pre-trained target data model to perform model processing on the target image data to obtain target image attribute information
  • the traffic light recognition result determination module is used for determining the traffic light recognition result according to the attribute information of the target image.
  • a vehicle comprising a processor, a memory and a computer program stored on the memory and capable of running on the processor, the computer program being executed by the processor to implement the method for identifying a traffic light as described above .
  • a computer-readable storage medium stores a computer program on the computer-readable storage medium, and when the computer program is executed by a processor, implements the above-mentioned method for identifying a traffic light.
  • the target image attribute information is obtained, and then the traffic light recognition result is determined according to the target image attribute information.
  • Traffic light recognition at the image level eliminates the need to detect the location of traffic lights, which improves the efficiency of traffic light recognition.
  • FIG. 1 is a flowchart of steps of a method for identifying a traffic light provided by an embodiment of the present invention
  • FIG. 2 is a flowchart of steps of another traffic light identification method provided by an embodiment of the present invention.
  • FIG. 3 is a flowchart of steps of another traffic light identification method provided by an embodiment of the present invention.
  • FIG. 4 is a flowchart of steps of another traffic light identification method provided by an embodiment of the present invention.
  • FIG. 5 is a schematic diagram of an example of traffic light identification provided by an embodiment of the present invention.
  • FIG. 6 is a schematic structural diagram of an apparatus for identifying a traffic light according to an embodiment of the present invention.
  • FIG. 1 a flowchart of steps of a method for identifying a traffic light provided by an embodiment of the present invention is shown, which may specifically include the following steps:
  • Step 101 obtaining target image data
  • the vehicle can be equipped with an on-board camera, and the on-board camera can collect data at a fixed frequency (such as 20HZ) with the movement of the vehicle, and then obtain the target image data.
  • a fixed frequency such as 20HZ
  • Step 102 using a pre-trained target data model to perform model processing on the target image data to obtain target image attribute information
  • the target data model can be a data model based on a deep neural network, such as a backbone network based on a deep residual network and a recognition self-network based on a multi-layer convolutional neural network.
  • the specific regression task based on the neural network architecture is to judge the image level properties.
  • the target image data can be input into the pre-trained and deployed target data model, and the target image data can be modeled, such as forward network propagation, the traffic at the image level can be directly based on the target image data
  • the target image attribute information may include any one or more of the following:
  • Step 103 Determine a traffic light recognition result according to the attribute information of the target image.
  • the traffic light recognition result can be determined according to the target image attribute information, and then the traffic light recognition result is transmitted to the vehicle downstream module.
  • post-processing of traffic light recognition results can further reduce false positives and false negatives. , to improve the accuracy of traffic light recognition.
  • the target image attribute information is obtained, and then the traffic light recognition result is determined according to the target image attribute information.
  • Traffic light recognition at the image level eliminates the need to detect the location of traffic lights, which improves the efficiency of traffic light recognition.
  • FIG. 2 a flowchart of steps of another traffic light identification method provided by an embodiment of the present invention is shown, which may specifically include the following steps:
  • Step 201 obtaining sample image data and sample image attribute information of the sample image data
  • the sample image attribute information may include any one or more of the following:
  • the judgment result of whether there is a traffic light the judgment result of whether there is a traffic light on the straight lane, and the color information of the traffic light on the straight lane.
  • sample image data can be obtained, and it can be determined that the sample image data has been marked with sample image attribute information.
  • Step 202 using the sample image data and the sample image attribute information to perform model training to obtain a target data model
  • the target data model can be a data model based on a deep neural network, such as a backbone network based on a deep residual network and a recognition self-network based on a multi-layer convolutional neural network.
  • the specific regression task based on the neural network architecture is to judge the image level properties.
  • the sample image data and the attribute information of the sample image After obtaining the sample image data and the attribute information of the sample image, it can be divided into training set and test set, and the target data model can be obtained by using GPU training on the cloud workstation cluster.
  • format conversion from Onnx to TensorRT can be performed after training is completed, and then it can be deployed to an on-board module.
  • different loss functions may be used for the above image attribute information, and the loss functions are integrated according to a weighted average, for example, the loss function is a cross entropy loss function.
  • step 202 the following steps may be further included:
  • preprocessing includes any one or more of the following:
  • data augmentation may include data augmentation based on grayscale, rotation, translation, noise, size, etc.
  • data resampling may include data resampling based on multi-class data balance
  • adding pseudo data may include adding traffic light frame-based Dummy data for data pasting.
  • the data can be preprocessed to obtain more labeled data for training, which reduces the increase in the recognition error rate due to the small number of labeled images, improves the accuracy and stability of the model, and improves the model traffic light recognition accuracy.
  • Step 203 acquiring target image data
  • the vehicle can be equipped with an on-board camera, and the on-board camera can collect data at a fixed frequency (such as 20HZ) with the movement of the vehicle, and then obtain the target image data.
  • a fixed frequency such as 20HZ
  • Step 204 using a pre-trained target data model to perform model processing on the target image data to obtain target image attribute information
  • the target image data can be input into the pre-trained and deployed target data model, and the target image data can be modeled, such as forward network propagation, the traffic at the image level can be directly based on the target image data
  • the target image attribute information may include any one or more of the following:
  • the traffic light matching the current lane can be directly determined, and the lane line level recognition result can be output, without needing to detect the position of the traffic light and the color, color, and color of the traffic light.
  • the direction of the arrow is recognized, it is matched with different lanes, which avoids the matching steps between traffic lights and lane lines, reduces additional matching algorithms, and also avoids the impact of matching algorithm errors on traffic light recognition, improving the reliability of the recognition system.
  • Step 205 Determine the traffic light recognition result according to the attribute information of the target image.
  • the traffic light recognition result can be determined according to the target image attribute information, and then the traffic light recognition result is transmitted to the vehicle downstream module.
  • post-processing of traffic light recognition results can further reduce false positives and false negatives. , to improve the accuracy of traffic light recognition.
  • a target data model is obtained, and then the target image data can be obtained, using The pre-trained target data model processes the target image data to obtain the target image attribute information, and then determines the traffic light recognition result according to the target image attribute information, realizes the traffic light recognition at the image level, and can be trained at the image level.
  • the model for traffic light recognition is improved on the model, which improves the accuracy and stability of the model.
  • FIG. 3 a flowchart of steps of another traffic light recognition method provided by an embodiment of the present invention is shown, which may specifically include the following steps:
  • Step 301 obtaining sample video data
  • a data collection vehicle can be used to collect video data for traffic lights to obtain sample video data.
  • Step 302 label the sample image attribute information of key sample image data in the sample video data
  • the sample image attribute information may include any one or more of the following:
  • the judgment result of whether there is a traffic light the judgment result of whether there is a traffic light on the straight lane, and the color information of the traffic light on the straight lane.
  • the sample video data After the sample video data is obtained, it can be assigned and labeled through the big data labeling system, which can label only the key sample image data in the sample video data, that is, only the key frames in the sample video data, such as traffic light status.
  • the frame during conversion (such as the red light changing to green light) is the key frame, which will be uploaded to the database after passing the quality inspection.
  • Step 303 according to the sample image attribute information of the key sample image data, determine the sample image attribute information of other sample image data in the sample video data;
  • annotations can be automatically generated by means of propagation and interpolation, which realizes the conversion from sparse video key frame annotations to dense image-level annotations for each frame.
  • propagation and interpolation realizes the conversion from sparse video key frame annotations to dense image-level annotations for each frame.
  • the video annotation method can increase the number of annotated image data, reduce the recognition error rate that is easily caused by the small number of annotated images, improve the accuracy and stability of the model, and improve the accuracy of the model's traffic light recognition.
  • Step 304 using the sample image data and the sample image attribute information to perform model training to obtain a target data model
  • the target data model can be a data model based on a deep neural network, such as a backbone network based on a deep residual network and a recognition self-network based on a multi-layer convolutional neural network.
  • the specific regression task based on the neural network architecture is to judge the image level properties.
  • the sample image data and the attribute information of the sample image After obtaining the sample image data and the attribute information of the sample image, it can be divided into training set and test set, and the target data model can be obtained by using GPU training on the cloud workstation cluster.
  • format conversion from Onnx to TensorRT can be performed after training is completed, and then it can be deployed to an on-board module.
  • Step 305 acquiring target image data
  • the vehicle can be equipped with an on-board camera, and the on-board camera can collect data at a fixed frequency (such as 20HZ) with the movement of the vehicle, and then obtain the target image data.
  • a fixed frequency such as 20HZ
  • Step 306 using a pre-trained target data model to perform model processing on the target image data to obtain target image attribute information
  • the target image data can be input into the pre-trained and deployed target data model, and the target image data can be modeled, such as forward network propagation, the traffic at the image level can be directly based on the target image data
  • the target image attribute information may include any one or more of the following:
  • the traffic light matching the current lane can be directly determined, and the lane line level recognition result can be output, without needing to detect the position of the traffic light and the color, color, and color of the traffic light.
  • the direction of the arrow is recognized, it is matched with different lanes, which avoids the matching steps between traffic lights and lane lines, reduces additional matching algorithms, and also avoids the impact of matching algorithm errors on traffic light recognition, improving the reliability of the recognition system.
  • Step 307 Determine the traffic light recognition result according to the attribute information of the target image.
  • the traffic light recognition result can be determined according to the target image attribute information, and then the traffic light recognition result is transmitted to the vehicle downstream module.
  • post-processing of traffic light recognition results can further reduce false positives and false negatives. , to improve the accuracy of traffic light recognition.
  • sample video data marking the sample image attribute information of key sample image data in the sample video data, and determining other sample images in the sample video data according to the sample image attribute information of the key sample image data
  • the sample image attribute information of the data use the sample image data and the sample image attribute information to perform model training, obtain the target data model, obtain the target image data, use the pre-trained target data model, perform model processing on the target image data, and obtain the target image attribute Information, according to the target image attribute information, determine the traffic light recognition result, realize the traffic light recognition at the image level, and only need to mark the key frames in the video, without the need to mark the frame and mark the attributes of each traffic light.
  • Improve data labeling efficiency improve data labeling efficiency.
  • FIG. 4 a flowchart of steps of another traffic light recognition method provided by an embodiment of the present invention is shown, which may specifically include the following steps:
  • Step 401 obtaining target image data
  • the vehicle can be equipped with an on-board camera, and the on-board camera can collect data at a fixed frequency (such as 20HZ) with the movement of the vehicle, and then obtain the target image data.
  • a fixed frequency such as 20HZ
  • Step 402 using a pre-trained target data model to perform model processing on the target image data to obtain target image attribute information; wherein the target image data includes a plurality of image data collected by different cameras, each target image data corresponding to a target image attribute information;
  • the target data model can include:
  • the vehicle can be equipped with multiple cameras, each camera can collect data synchronously, and the target image data can include multiple image data collected by different cameras, then a general data model compatible with different cameras can be trained and deployed. , a separate data model can also be trained and deployed for each camera, and then the target data model can be used to obtain target image attribute information corresponding to each target image data.
  • Step 403 fuse a plurality of the target image attribute information to obtain fused image attribute information
  • multiple target image attribute information can be obtained, and multiple target image attribute information can be fused. Fusion to obtain the attribute information of the fused image.
  • Step 404 Obtain a traffic light recognition result according to the fusion image attribute information.
  • the traffic light recognition result can be determined according to the fused image attribute information, and then the traffic light recognition result is transmitted to the vehicle downstream module.
  • post-processing of traffic light recognition results can further reduce false positives and false negatives. , to improve the accuracy of traffic light recognition.
  • a pre-trained target data model is used to perform model processing on the target image data to obtain target image attribute information.
  • the target image data includes a plurality of image data collected by different cameras. Each target image data corresponds to the attribute information of a target image, and the attribute information of multiple target images is fused to obtain the fused image attribute information. According to the fused image attribute information, the traffic light recognition result is obtained. It can perform multi-camera data fusion, expand the effective distance range of traffic light recognition, and improve the accuracy of traffic light recognition.
  • the data collection vehicle collects video data of multi-eye traffic lights
  • the original data is uploaded to the cloud
  • the big data annotation system distributes video image data to the annotators
  • the annotator annotates the key frames of the video data
  • step 6 The quality inspector conducts the quality inspection. If it fails, go back to step 5, and if it passes, go to step 7;
  • Image annotation combined with pairing that is, the image data after data preprocessing and the annotation file parsing are annotated and paired;
  • FIG. 6 a schematic structural diagram of a traffic light recognition device provided by an embodiment of the present invention is shown, which may specifically include the following modules:
  • the target image attribute information obtaining module 602 is configured to use a pre-trained target data model to perform model processing on the target image data to obtain target image attribute information;
  • the traffic light recognition result determination module 603 is configured to determine the traffic light recognition result according to the attribute information of the target image.
  • the target image attribute information includes any one or more of the following:
  • the judgment result of whether there is a traffic light the judgment result of whether there is a traffic light on the straight lane, and the color information of the traffic light on the straight lane.
  • it also includes:
  • a sample data acquisition module for acquiring sample image data and sample image attribute information of the sample image data
  • the target data model obtaining module is used to perform model training by using the sample image data and the sample image attribute information to obtain a target data model.
  • the sample data acquisition module includes:
  • the sample video data Huqiu sub-module is used to obtain sample video data
  • a key frame labeling submodule used for labeling sample image attribute information of key sample image data in the sample video data
  • the non-key frame labeling sub-module is configured to determine the sample image attribute information of other sample image data in the sample video data according to the sample image attribute information of the key sample image data.
  • it also includes:
  • a preprocessing module configured to preprocess the sample image data and the attribute information of the sample image
  • the preprocessing includes any one or more of the following:
  • the target image data includes a plurality of image data collected by different cameras, each target image data corresponds to a target image attribute information, and the traffic light recognition result determination module 603 includes:
  • a sub-module for fusing image attribute information which is used for fusing a plurality of the target image attribute information to obtain the fused image attribute information
  • the fusion recognition sub-module is used for obtaining the traffic light recognition result according to the fusion image attribute information.
  • the target data model includes:
  • the target image attribute information is obtained, and then the traffic light recognition result is determined according to the target image attribute information.
  • Traffic light recognition at the image level eliminates the need to detect the location of traffic lights, which improves the efficiency of traffic light recognition.
  • An embodiment of the present invention also provides a vehicle, which may include a processor, a memory, and a computer program stored in the memory and capable of running on the processor.
  • a vehicle which may include a processor, a memory, and a computer program stored in the memory and capable of running on the processor.
  • An embodiment of the present invention also provides a computer-readable storage medium, where a computer program is stored on the computer-readable storage medium, and when the computer program is executed by a processor, the above method for identifying a traffic light is implemented.
  • embodiments of the present invention may be provided as a method, an apparatus, or a computer program product. Accordingly, embodiments of the present invention may take the form of an entirely hardware embodiment, an entirely software embodiment, or an embodiment combining software and hardware aspects. Furthermore, embodiments of the present invention may take the form of a computer program product implemented on one or more computer-usable storage media having computer-usable program code embodied therein, including but not limited to disk storage, CD-ROM, optical storage, and the like.
  • Embodiments of the present invention are described with reference to flowcharts and/or block diagrams of methods, terminal devices (systems), and computer program products according to embodiments of the present invention. It will be understood that each flow and/or block in the flowchart illustrations and/or block diagrams, and combinations of flows and/or blocks in the flowchart illustrations and/or block diagrams, can be implemented by computer program instructions.
  • These computer program instructions may be provided to the processor of a general purpose computer, special purpose computer, embedded processor or other programmable data processing terminal equipment to produce a machine that causes the instructions to be executed by the processor of the computer or other programmable data processing terminal equipment Means are created for implementing the functions specified in a flow or flows of the flowcharts and/or a block or blocks of the block diagrams.
  • These computer program instructions may also be stored in a computer readable memory capable of directing a computer or other programmable data processing terminal equipment to operate in a particular manner, such that the instructions stored in the computer readable memory result in an article of manufacture comprising instruction means, the The instruction means implement the functions specified in the flow or flow of the flowcharts and/or the block or blocks of the block diagrams.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种交通灯识别的方法和装置，所述方法包括：获取目标图像数据；采用预先训练的目标数据模型，对所述目标图像数据进行模型处理，得到目标图像属性信息；根据所述目标图像属性信息，确定交通灯识别结果。通过本发明实施例，实现了在图像层级进行交通灯识别，无需进行交通灯位置等检测，提升了交通灯识别的效率。

Description

一种交通灯识别的方法和装置
本发明要求在2020年08月12日提交中国专利局、申请号202010808947.0、发明名称为“一种交通灯识别的方法和装置”的中国专利申请的优先权，其全部内容通过引用结合在本发明中。
技术领域
本发明涉及图像技术领域，特别是涉及一种交通灯识别的方法和装置。
背景技术
在交通灯识别系统中，通常采用的是“自底而上”的方式，但这种“自底而上”的方式较为繁琐，需要先进行交通灯的位置检测，然后再进行交通灯的颜色、箭头方向的识别，效率较低。
发明内容
鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的一种交通灯识别的方法和装置，包括：
一种交通灯识别的方法，所述方法包括：
获取目标图像数据；
采用预先训练的目标数据模型，对所述目标图像数据进行模型处理，得到目标图像属性信息；
根据所述目标图像属性信息，确定交通灯识别结果。
可选地，所述目标图像属性信息包括以下任一项或多项：
是否存在交通灯的判断结果、是否存在位于直行车道上的交通灯的判断结果、所述直行车道上的交通灯的颜色信息。
可选地，还包括：
获取样本图像数据和所述样本图像数据的样本图像属性信息；
采用所述样本图像数据和所述样本图像属性信息进行模型训练，得到目 标数据模型。
可选地，所述获取样本图像数据和所述样本图像数据的样本图像属性信息，包括：
获取样本视频数据；
标注所述样本视频数据中关键的样本图像数据的样本图像属性信息；
根据所述关键的样本图像数据的样本图像属性信息，确定所述样本视频数据中其他的样本图像数据的样本图像属性信息。
可选地，在所述采用所述样本图像数据和所述样本图像属性信息进行模型训练，得到目标数据模型之前，还包括：
对所述样本图像数据和所述样本图像属性信息进行预处理；
其中，所述预处理包括以下任一项或多项：
数据增广、数据重采样、添加伪数据。
可选地，所述目标图像数据包括多个由不同摄像头采集的图像数据，每个目标图像数据对应一目标图像属性信息，所述根据所述目标图像属性信息，确定交通灯识别结果，包括：
对多个所述目标图像属性信息进行融合，得到融合图像属性信息；
根据所述融合图像属性信息，得到交通灯识别结果。
可选地，所述目标数据模型包括：
一个兼容不同摄像头的数据模型或多个针对不同摄像头的数据模型。
一种交通灯识别的装置，所述装置包括：
目标图像数据获取模块，用于获取目标图像数据；
目标图像属性信息得到模块，用于采用预先训练的目标数据模型，对所述目标图像数据进行模型处理，得到目标图像属性信息；
交通灯识别结果确定模块，用于根据所述目标图像属性信息，确定交通灯识别结果。
一种车辆，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的交通灯识别的方法。
一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程 序，所述计算机程序被处理器执行时实现如上所述的交通灯识别的方法。
本发明实施例具有以下优点：
在本发明实施例中，通过获取目标图像数据，采用预先训练的目标数据模型，对目标图像数据进行模型处理，得到目标图像属性信息，然后根据目标图像属性信息，确定交通灯识别结果，实现了在图像层级进行交通灯识别，无需进行交通灯位置等检测，提升了交通灯识别的效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种交通灯识别的方法的步骤流程图；
图2是本发明一实施例提供的另一种交通灯识别的方法的步骤流程图；
图3是本发明一实施例提供的另一种交通灯识别的方法的步骤流程图；
图4是本发明一实施例提供的另一种交通灯识别的方法的步骤流程图；
图5是本发明一实施例提供的一种交通灯识别示例的示意图；
图6是本发明一实施例提供的一种交通灯识别的装置的结构示意图。
具体实施例
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，示出了本发明一实施例提供的一种交通灯识别的方法的步骤流程图，具体可以包括如下步骤：
步骤101，获取目标图像数据；
在自动驾驶的场景中，车辆可以设置车载摄像头，车载摄像头可以随着自车运动按照固定频率(如20HZ)采集数据，进而可以得到目标图像数据。
步骤102，采用预先训练的目标数据模型，对所述目标图像数据进行模型处理，得到目标图像属性信息；
其中，目标数据模型可以为基于深度神经网络的数据模型，如采用基于深度残差网络的主干网络和基于多层卷积神经网络的识别自网络，神经网络架构基础上具体的回归任务是判断图像级别的属性。
在获得目标图像数据后，可以将目标图像数据输入预先训练并部署的目标数据模型，对目标图像数据进行模型处理，如进行前向网络传播，则可以直接基于目标图像数据进行在图像层面的交通灯识别，输出目标图像属性信息，即采用的是“自顶而下”的方式，减少对交通灯位置检测的依赖性。
在本发明一实施例中，目标图像属性信息可以包括以下任一项或多项：
1、是否存在交通灯的判断结果，即判断图像中是否存在交通灯。
2、是否存在位于直行车道上的交通灯的判断结果，即判断图像中是否存在位于直行车道上的交通灯。
通过判断是否存在位于直行车道上的交通灯，能够直接确定当前车道相匹配的交通灯，输出车道线级别识别结果，而无需在交通灯的位置检测和交通灯颜色、箭头方向识别后与不同车道进行匹配，避免了交通灯与车道线的匹配步骤，减少了额外的匹配算法，也避免了匹配算法的误差对交通灯识别的影响，提升了识别系统的可靠性。
3、直行车道上的交通灯的颜色信息。
步骤103，根据所述目标图像属性信息，确定交通灯识别结果。
在获得目标图像属性信息，可以根据目标图像属性信息，确定交通灯识别结果，进而将交通灯识别结果传送至车载下游模块。
在一示例中，可以对交通灯识别结果进行后处理，如基于时序数据的平滑、基于保守阈值的属性判断、基于短时间窗口的交通灯信号转换事件触发 等，进而能够减少假阳性和假阴性，提升交通灯识别的准确性。
在本发明实施例中，通过获取目标图像数据，采用预先训练的目标数据模型，对目标图像数据进行模型处理，得到目标图像属性信息，然后根据目标图像属性信息，确定交通灯识别结果，实现了在图像层级进行交通灯识别，无需进行交通灯位置等检测，提升了交通灯识别的效率。
参照图2，示出了本发明一实施例提供的另一种交通灯识别的方法的步骤流程图，具体可以包括如下步骤：
步骤201，获取样本图像数据和所述样本图像数据的样本图像属性信息；
其中，样本图像属性信息可以包括以下任一项或多项：
是否存在交通灯的判断结果、是否存在位于直行车道上的交通灯的判断结果、所述直行车道上的交通灯的颜色信息。
在模型训练阶段，可以获取样本图像数据，并可以确定该样本图像数据已标注好样本图像属性信息。
步骤202，采用所述样本图像数据和所述样本图像属性信息进行模型训练，得到目标数据模型；
其中，目标数据模型可以为基于深度神经网络的数据模型，如采用基于深度残差网络的主干网络和基于多层卷积神经网络的识别自网络，神经网络架构基础上具体的回归任务是判断图像级别的属性。
在获得样本图像数据和样本图像属性信息后，可以将其分割为训练集和测试集，在云端工作站集群上使用GPU训练，得到目标数据模型。
在一示例中，对于基于深度神经网络的数据模型，在训练完成后可以进行Onnx至TensorRT的格式转换，然后可以部署至车载模块。
在一示例中，对于上述图像属性信息可以采不同的损失函数，损失函数按照加权平均进行整合，如损失函数为交叉熵(cross entropy)损失函数。
在本发明一实施例中，在步骤202之前，还可以包括如下步骤：
对所述样本图像数据和所述样本图像属性信息进行预处理；
作为一示例，预处理包括以下任一项或多项：
数据增广、数据重采样、添加伪数据。
其中，数据增广可以包括基于灰度，旋转，平移，噪声，大小等的数据增广，数据重采样可以包括基于多类数据平衡的数据重采样，添加伪数据可以包括添加基于交通灯框体数据粘贴的伪数据。
在进行模型训练之前，可以对数据进行预处理，得到更多的用于训练的标注数据，减少了由于标注图像数量少容易导致识别错误率上升，提高了模型准确率和稳定性，提升了模型的交通灯识别准确率。
步骤203，获取目标图像数据；
在自动驾驶的场景中，车辆可以设置车载摄像头，车载摄像头可以随着自车运动按照固定频率(如20HZ)采集数据，进而可以得到目标图像数据。
步骤204，采用预先训练的目标数据模型，对所述目标图像数据进行模型处理，得到目标图像属性信息；
在获得目标图像数据后，可以将目标图像数据输入预先训练并部署的目标数据模型，对目标图像数据进行模型处理，如进行前向网络传播，则可以直接基于目标图像数据进行在图像层面的交通灯识别，输出目标图像属性信息，即采用的是“自顶而下”的方式，减少对交通灯位置检测的依赖性。
在本发明一实施例中，目标图像属性信息可以包括以下任一项或多项：
1、是否存在交通灯的判断结果，即判断图像中是否存在交通灯。
2、是否存在位于直行车道上的交通灯的判断结果，即判断图像中是否存在位于直行车道上的交通灯。
在本发明实施例中，通过判断是否存在位于直行车道上的交通灯，能够直接确定当前车道相匹配的交通灯，输出车道线级别识别结果，而无需在交通灯的位置检测和交通灯颜色、箭头方向识别后与不同车道进行匹配，避免了交通灯与车道线的匹配步骤，减少了额外的匹配算法，也避免了匹配算法的误差对交通灯识别的影响，提升了识别系统的可靠性。
3、直行车道上的交通灯的颜色信息。
步骤205，根据所述目标图像属性信息，确定交通灯识别结果。
在获得目标图像属性信息，可以根据目标图像属性信息，确定交通灯识别结果，进而将交通灯识别结果传送至车载下游模块。
在一示例中，可以对交通灯识别结果进行后处理，如基于时序数据的平 滑、基于保守阈值的属性判断、基于短时间窗口的交通灯信号转换事件触发等，进而能够减少假阳性和假阴性，提升交通灯识别的准确性。
在本发明实施例中，通过获取样本图像数据和样本图像数据的样本图像属性信息，采用样本图像数据和所述样本图像属性信息进行模型训练，得到目标数据模型，然后可以获取目标图像数据，采用预先训练的目标数据模型，对目标图像数据进行模型处理，得到目标图像属性信息，然后根据目标图像属性信息，确定交通灯识别结果，实现了在图像层级进行交通灯识别，且能够训练在图像层级上进行交通灯识别的模型，提高了模型准确率和稳定性。
参照图3，示出了本发明一实施例提供的另一种交通灯识别的方法的步骤流程图，具体可以包括如下步骤：
步骤301，获取样本视频数据；
在数据采集标注阶段，可以采用数据采集车进行针对交通灯的视频数据采集，得到样本视频数据。
步骤302，标注所述样本视频数据中关键的样本图像数据的样本图像属性信息；
其中，样本图像属性信息可以包括以下任一项或多项：
是否存在交通灯的判断结果、是否存在位于直行车道上的交通灯的判断结果、所述直行车道上的交通灯的颜色信息。
在获得样本视频数据后，可以通过大数据标注系统分配进行标注，其可以仅对样本视频数据中的关键的样本图像数据进行标注，即仅对样本视频数据中关键帧进行标注，如交通灯状态转换时(如红灯变绿灯)的帧为关键帧，经质检合格后上传至数据库。
步骤303，根据所述关键的样本图像数据的样本图像属性信息，确定所述样本视频数据中其他的样本图像数据的样本图像属性信息；
对于样本视频数据中其他的样本图像数据，即非关键帧，则可以通过传播和插值的方法自动生成标注，实现了从稀疏的视频关键帧标注到密集的每一帧图像级别标注的转换，解决了对交通灯框体标注效率低的问题，无需对每个交通灯标注框体并标注属性，大幅度提升了数据标注效率。
而且，通过视频标注的方法，能够增加标注图像据数量，减少了由于标注图像数量少容易导致识别错误率上升，提高了模型准确率和稳定性，提升了模型的交通灯识别准确率。
步骤304，采用所述样本图像数据和所述样本图像属性信息进行模型训练，得到目标数据模型；
其中，目标数据模型可以为基于深度神经网络的数据模型，如采用基于深度残差网络的主干网络和基于多层卷积神经网络的识别自网络，神经网络架构基础上具体的回归任务是判断图像级别的属性。
在获得样本图像数据和样本图像属性信息后，可以将其分割为训练集和测试集，在云端工作站集群上使用GPU训练，得到目标数据模型。
在一示例中，对于基于深度神经网络的数据模型，在训练完成后可以进行Onnx至TensorRT的格式转换，然后可以部署至车载模块。
步骤305，获取目标图像数据；
在自动驾驶的场景中，车辆可以设置车载摄像头，车载摄像头可以随着自车运动按照固定频率(如20HZ)采集数据，进而可以得到目标图像数据。
步骤306，采用预先训练的目标数据模型，对所述目标图像数据进行模型处理，得到目标图像属性信息；
在获得目标图像数据后，可以将目标图像数据输入预先训练并部署的目标数据模型，对目标图像数据进行模型处理，如进行前向网络传播，则可以直接基于目标图像数据进行在图像层面的交通灯识别，输出目标图像属性信息，即采用的是“自顶而下”的方式，减少对交通灯位置检测的依赖性。
在本发明一实施例中，目标图像属性信息可以包括以下任一项或多项：
1、是否存在交通灯的判断结果，即判断图像中是否存在交通灯。
2、是否存在位于直行车道上的交通灯的判断结果，即判断图像中是否存在位于直行车道上的交通灯。
在本发明实施例中，通过判断是否存在位于直行车道上的交通灯，能够直接确定当前车道相匹配的交通灯，输出车道线级别识别结果，而无需在交通灯的位置检测和交通灯颜色、箭头方向识别后与不同车道进行匹配，避免了交通灯与车道线的匹配步骤，减少了额外的匹配算法，也避免了匹配算法 的误差对交通灯识别的影响，提升了识别系统的可靠性。
3、直行车道上的交通灯的颜色信息。
步骤307，根据所述目标图像属性信息，确定交通灯识别结果。
在获得目标图像属性信息，可以根据目标图像属性信息，确定交通灯识别结果，进而将交通灯识别结果传送至车载下游模块。
在一示例中，可以对交通灯识别结果进行后处理，如基于时序数据的平滑、基于保守阈值的属性判断、基于短时间窗口的交通灯信号转换事件触发等，进而能够减少假阳性和假阴性，提升交通灯识别的准确性。
在本发明实施例中，通过获取样本视频数据，标注样本视频数据中关键的样本图像数据的样本图像属性信息，根据关键的样本图像数据的样本图像属性信息，确定样本视频数据中其他的样本图像数据的样本图像属性信息，采用样本图像数据和样本图像属性信息进行模型训练，得到目标数据模型，获取目标图像数据，采用预先训练的目标数据模型，对目标图像数据进行模型处理，得到目标图像属性信息，根据目标图像属性信息，确定交通灯识别结果，实现了在图像层级进行交通灯识别，且仅需要对视频中关键帧进行标注，无需对每个交通灯标注框体并标注属性，大幅度提升了数据标注效率。
参照图4，示出了本发明一实施例提供的另一种交通灯识别的方法的步骤流程图，具体可以包括如下步骤：
步骤401，获取目标图像数据；
在自动驾驶的场景中，车辆可以设置车载摄像头，车载摄像头可以随着自车运动按照固定频率(如20HZ)采集数据，进而可以得到目标图像数据。
步骤402，采用预先训练的目标数据模型，对所述目标图像数据进行模型处理，得到目标图像属性信息；其中，所述目标图像数据包括多个由不同摄像头采集的图像数据，每个目标图像数据对应一目标图像属性信息；
其中，目标数据模型可以包括：
一个兼容不同摄像头的数据模型或多个针对不同摄像头的数据模型。
在实际应用中，车辆可以设置多目摄像头，每个摄像头可以同步进行数据采集，目标图像数据可以包括多个由不同摄像头采集的图像数据，则可以 训练并部署一个兼容不同摄像头的通用的数据模型，也可以针对每个摄像头训练并部署一个单独的数据模型，进而可以采用目标数据模型，得到每个目标图像数据对应的目标图像属性信息。
步骤403，对多个所述目标图像属性信息进行融合，得到融合图像属性信息；
由于存在多个摄像头采集的目标图像数据，经由模型处理后得到多个目标图像属性信息，则可以对多个目标图像属性信息进行融合，如采用基于多层神经感知机的融合算法进行多摄像头数据融合，得到融合图像属性信息。
步骤404，根据所述融合图像属性信息，得到交通灯识别结果。
在获得融合图像属性信息，可以根据融合图像属性信息，确定交通灯识别结果，进而将交通灯识别结果传送至车载下游模块。
在一示例中，可以对交通灯识别结果进行后处理，如基于时序数据的平滑、基于保守阈值的属性判断、基于短时间窗口的交通灯信号转换事件触发等，进而能够减少假阳性和假阴性，提升交通灯识别的准确性。
在本发明实施例中，通过获取目标图像数据，采用预先训练的目标数据模型，对目标图像数据进行模型处理，得到目标图像属性信息，目标图像数据包括多个由不同摄像头采集的图像数据，每个目标图像数据对应一目标图像属性信息，对多个目标图像属性信息进行融合，得到融合图像属性信息，根据融合图像属性信息，得到交通灯识别结果，实现了在图像层级进行交通灯识别，且能够进行多摄像头数据融合，扩大了交通灯识别的有效距离范围，并提高了交通灯识别的准确率。
以下结合图5对本发明实施例进行示例性说明：
数据标注阶段：
1、数据采集车采集多目交通灯视频数据；
2、原始数据上传至云端；
3、数据预处理；
4、大数据标注系统分配视频图像数据至标注员；
5、标注员对视频数据关键帧进行标注；
6、质检员进行质检，若未通过则返回第5步，若通过则进行第7步；
7、标注文件上传至云端；
8、转换稀疏关键帧标注至密集图像级别标注；
9、标注文件解析。
模型训练阶段：
1、图像标注结合配对，即对数据预处理后的图像数据和标注文件解析进行标注进行配对；
2、注入训练/测试数据集；
3、训练单摄像头或通用模型，在训练单摄像头模型的情况下，得到摄像头0-2模型，在训练通用模型的情况下，得到通用模型。
模型部署和推理阶段：
1、获取实际行车采集多目交通灯视频数据；
2、部署单摄像头或通用模型；
3、分配各摄像头数据至对应模型，经过模型处理后，得到多目摄像头识别结果；
4、对多目摄像头识别结果进行融合；
5、输入识别结果至下游模块。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图6，示出了本发明一实施例提供的一种交通灯识别的装置的结构示意图，具体可以包括如下模块：
目标图像数据获取模块601，用于获取目标图像数据；
目标图像属性信息得到模块602，用于采用预先训练的目标数据模型，对所述目标图像数据进行模型处理，得到目标图像属性信息；
交通灯识别结果确定模块603，用于根据所述目标图像属性信息，确定交通灯识别结果。
在本发明一实施例中，所述目标图像属性信息包括以下任一项或多项：
是否存在交通灯的判断结果、是否存在位于直行车道上的交通灯的判断结果、所述直行车道上的交通灯的颜色信息。
在本发明一实施例中，还包括：
样本数据获取模块，用于获取样本图像数据和所述样本图像数据的样本图像属性信息；
目标数据模型得到模块，用于采用所述样本图像数据和所述样本图像属性信息进行模型训练，得到目标数据模型。
在本发明一实施例中，所述样本数据获取模块，包括：
样本视频数据虎丘子模块，用于获取样本视频数据；
关键帧标注子模块，用于标注所述样本视频数据中关键的样本图像数据的样本图像属性信息；
非关键帧标注子模块，用于根据所述关键的样本图像数据的样本图像属性信息，确定所述样本视频数据中其他的样本图像数据的样本图像属性信息。
在本发明一实施例中，还包括：
预处理模块，用于对所述样本图像数据和所述样本图像属性信息进行预处理；
其中，所述预处理包括以下任一项或多项：
数据增广、数据重采样、添加伪数据。
在本发明一实施例中，所述目标图像数据包括多个由不同摄像头采集的图像数据，每个目标图像数据对应一目标图像属性信息，所述交通灯识别结果确定模块603，包括：
融合图像属性信息得到子模块，用于对多个所述目标图像属性信息进行融合，得到融合图像属性信息；
融合识别子模块，用于根据所述融合图像属性信息，得到交通灯识别结果。
在本发明一实施例中，所述目标数据模型包括：
一个兼容不同摄像头的数据模型或多个针对不同摄像头的数据模型。
在本发明实施例中，通过获取目标图像数据，采用预先训练的目标数据模型，对目标图像数据进行模型处理，得到目标图像属性信息，然后根据目标图像属性信息，确定交通灯识别结果，实现了在图像层级进行交通灯识别，无需进行交通灯位置等检测，提升了交通灯识别的效率。
本发明一实施例还提供了一种车辆，可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上交通灯识别的方法。
本发明一实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上交通灯识别的方法。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令 实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对所提供的一种交通灯识别的方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

  1. 一种交通灯识别的方法，其特征在于，所述方法包括：
    获取目标图像数据；
    采用预先训练的目标数据模型，对所述目标图像数据进行模型处理，得到目标图像属性信息；
    根据所述目标图像属性信息，确定交通灯识别结果。
  2. 根据权利要求1所述的方法，其特征在于，所述目标图像属性信息包括以下任一项或多项：
    是否存在交通灯的判断结果、是否存在位于直行车道上的交通灯的判断结果、所述直行车道上的交通灯的颜色信息。
  3. 根据权利要求1或2所述的方法，其特征在于，还包括：
    获取样本图像数据和所述样本图像数据的样本图像属性信息；
    采用所述样本图像数据和所述样本图像属性信息进行模型训练，得到目标数据模型。
  4. 根据权利要求3所述的方法，其特征在于，所述获取样本图像数据和所述样本图像数据的样本图像属性信息，包括：
    获取样本视频数据；
    标注所述样本视频数据中关键的样本图像数据的样本图像属性信息；
    根据所述关键的样本图像数据的样本图像属性信息，确定所述样本视频数据中其他的样本图像数据的样本图像属性信息。
  5. 根据权利要求3所述的方法，其特征在于，在所述采用所述样本图像数据和所述样本图像属性信息进行模型训练，得到目标数据模型之前，还包括：
    对所述样本图像数据和所述样本图像属性信息进行预处理；
    其中，所述预处理包括以下任一项或多项：
    数据增广、数据重采样、添加伪数据。
  6. 根据权利要求1所述的方法，其特征在于，所述目标图像数据包括多个由不同摄像头采集的图像数据，每个目标图像数据对应一目标图像属性信息，所述根据所述目标图像属性信息，确定交通灯识别结果，包括：
    对多个所述目标图像属性信息进行融合，得到融合图像属性信息；
    根据所述融合图像属性信息，得到交通灯识别结果。
  7. 根据权利要求6所述的方法，其特征在于，所述目标数据模型包括：
    一个兼容不同摄像头的数据模型或多个针对不同摄像头的数据模型。
  8. 一种交通灯识别的装置，其特征在于，所述装置包括：
    目标图像数据获取模块，用于获取目标图像数据；
    目标图像属性信息得到模块，用于采用预先训练的目标数据模型，对所述目标图像数据进行模型处理，得到目标图像属性信息；
    交通灯识别结果确定模块，用于根据所述目标图像属性信息，确定交通灯识别结果。
  9. 一种车辆，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的交通灯识别的方法。
  10. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的交通灯识别的方法。
PCT/CN2021/101354 2020-08-12 2021-06-21 一种交通灯识别的方法和装置 WO2022033179A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010808947.0A CN111967368B (zh) 2020-08-12 2020-08-12 一种交通灯识别的方法和装置
CN202010808947.0 2020-08-12

Publications (1)

Publication Number Publication Date
WO2022033179A1 true WO2022033179A1 (zh) 2022-02-17

Family

ID=73366079

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/101354 WO2022033179A1 (zh) 2020-08-12 2021-06-21 一种交通灯识别的方法和装置

Country Status (2)

Country Link
CN (1) CN111967368B (zh)
WO (1) WO2022033179A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116923442A (zh) * 2023-09-13 2023-10-24 华东交通大学 智能网联汽车的控制策略生成方法及系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967368B (zh) * 2020-08-12 2022-03-11 广州小鹏自动驾驶科技有限公司 一种交通灯识别的方法和装置
GB2602630A (en) * 2021-01-05 2022-07-13 Nissan Motor Mfg Uk Limited Traffic light detection
CN112734040A (zh) * 2021-01-22 2021-04-30 中国人民解放军军事科学院国防科技创新研究院 一种嵌入式人工智能计算框架及应用方法
CN114332815B (zh) * 2021-12-24 2023-08-29 广州小鹏自动驾驶科技有限公司 交通灯状态检测方法、装置、车辆及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106385640A (zh) * 2016-08-31 2017-02-08 北京旷视科技有限公司 视频标注方法及装置
CN109188932A (zh) * 2018-08-22 2019-01-11 吉林大学 一种面向智能驾驶的多摄像头在环仿真测试方法及系统
CN109711227A (zh) * 2017-10-25 2019-05-03 北京京东尚科信息技术有限公司 交通灯识别方法、交通灯识别装置及计算机可读存储介质
CN109859509A (zh) * 2018-11-13 2019-06-07 惠州市德赛西威汽车电子股份有限公司 车道通行状态提醒方法及设备
CN109886210A (zh) * 2019-02-25 2019-06-14 百度在线网络技术（北京）有限公司 一种交通图像识别方法、装置、计算机设备和介质
CN110619307A (zh) * 2019-09-18 2019-12-27 广州文远知行科技有限公司 交通灯状态确定方法、装置、设备和存储介质
CN111967368A (zh) * 2020-08-12 2020-11-20 广州小鹏车联网科技有限公司 一种交通灯识别的方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650641B (zh) * 2016-12-05 2019-05-14 北京文安智能技术股份有限公司 一种交通信号灯定位识别方法、装置及系统
CN108830199B (zh) * 2018-05-31 2021-04-16 京东方科技集团股份有限公司 识别交通灯信号的方法、装置、可读介质及电子设备
CN109299704A (zh) * 2018-10-19 2019-02-01 天津天地人和企业管理咨询有限公司 基于深度学习的信号灯检测方法
CN109544955A (zh) * 2018-12-26 2019-03-29 广州小鹏汽车科技有限公司 一种交通信号灯的状态获取方法及系统
CN110110693A (zh) * 2019-05-17 2019-08-09 北京字节跳动网络技术有限公司 用于识别人脸属性的方法和装置
CN111079563A (zh) * 2019-11-27 2020-04-28 北京三快在线科技有限公司 交通信号灯识别方法、装置、电子设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106385640A (zh) * 2016-08-31 2017-02-08 北京旷视科技有限公司 视频标注方法及装置
CN109711227A (zh) * 2017-10-25 2019-05-03 北京京东尚科信息技术有限公司 交通灯识别方法、交通灯识别装置及计算机可读存储介质
CN109188932A (zh) * 2018-08-22 2019-01-11 吉林大学 一种面向智能驾驶的多摄像头在环仿真测试方法及系统
CN109859509A (zh) * 2018-11-13 2019-06-07 惠州市德赛西威汽车电子股份有限公司 车道通行状态提醒方法及设备
CN109886210A (zh) * 2019-02-25 2019-06-14 百度在线网络技术（北京）有限公司 一种交通图像识别方法、装置、计算机设备和介质
CN110619307A (zh) * 2019-09-18 2019-12-27 广州文远知行科技有限公司 交通灯状态确定方法、装置、设备和存储介质
CN111967368A (zh) * 2020-08-12 2020-11-20 广州小鹏车联网科技有限公司 一种交通灯识别的方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116923442A (zh) * 2023-09-13 2023-10-24 华东交通大学 智能网联汽车的控制策略生成方法及系统
CN116923442B (zh) * 2023-09-13 2023-11-28 华东交通大学 智能网联汽车的控制策略生成方法及系统

Also Published As

Publication number Publication date
CN111967368A (zh) 2020-11-20
CN111967368B (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
WO2022033179A1 (zh) 一种交通灯识别的方法和装置
CN110348445B (zh) 一种融合空洞卷积和边缘信息的实例分割方法
JP6446971B2 (ja) データ処理装置、データ処理方法、及び、コンピュータ・プログラム
Anand et al. Crack-pot: Autonomous road crack and pothole detection
CN112560999B (zh) 一种目标检测模型训练方法、装置、电子设备及存储介质
CN108388834A (zh) 利用循环神经网络和级联特征映射的对象检测
CN112183456B (zh) 基于样本生成和域适应的多场景运动目标检测方法及装置
US9489582B2 (en) Video anomaly detection based upon a sparsity model
WO2023116113A1 (zh) 交通灯状态检测方法、装置、车辆及存储介质
CN112287896A (zh) 一种基于深度学习的无人机航拍图像目标检测方法及系统
US20230353814A1 (en) Testing rendering of screen objects
CN111415338A (zh) 目标检测模型的构建方法及系统
US20240038278A1 (en) Method and device for timing alignment of audio signals
CN111339834B (zh) 车辆行驶方向的识别方法、计算机设备及存储介质
CN111881914A (zh) 一种基于自学习阈值的车牌字符分割方法及系统
US11798288B2 (en) System and method for generating a training set for improving monocular object detection
WO2022228325A1 (zh) 行为检测方法、电子设备以及计算机可读存储介质
CN115909408A (zh) 一种基于Transformer网络的行人重识别方法及装置
CN113762292B (zh) 一种训练数据获取方法、装置及模型训练方法、装置
CN112733864B (zh) 模型训练方法、目标检测方法、装置、设备及存储介质
CN113160217A (zh) 一种线路异物的检测方法、装置、设备及存储介质
Maligalig et al. Machine Vision System of Emergency Vehicle Detection System Using Deep Transfer Learning
CN112883890B (zh) 基于ACBlock的深度卷积神经网络信息取证方法
Heckler et al. Feature Selection for Unsupervised Anomaly Detection and Localization Using Synthetic Defects
US20240168748A1 (en) Continuous integration and continuous delivery of artificial intelligence machine learning components using metamorphic relations

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21855234

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21855234

Country of ref document: EP

Kind code of ref document: A1