WO2018149302A1 - 车辆的识别方法及装置 - Google Patents

车辆的识别方法及装置 Download PDF

Info

Publication number
WO2018149302A1
WO2018149302A1 PCT/CN2018/074878 CN2018074878W WO2018149302A1 WO 2018149302 A1 WO2018149302 A1 WO 2018149302A1 CN 2018074878 W CN2018074878 W CN 2018074878W WO 2018149302 A1 WO2018149302 A1 WO 2018149302A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
vehicle
color
model
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/074878
Other languages
English (en)
French (fr)
Inventor
王健宗
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to US16/092,746 priority Critical patent/US10740927B2/en
Priority to SG11201809816YA priority patent/SG11201809816YA/en
Publication of WO2018149302A1 publication Critical patent/WO2018149302A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Definitions

  • the present application belongs to the field of image recognition, and in particular, to a method and device for identifying a vehicle.
  • the present application aims to provide a method and device for identifying a vehicle, which aims to solve the problem that the prior art cannot accurately identify similar cars in a car image.
  • the application provides a method for identifying a vehicle, the method comprising:
  • the first car picture includes a first vehicle
  • the second car picture includes a second vehicle
  • the present application utilizes the advantages of the convolutional neural network model in extracting image features, performs vehicle verification through vehicle color features and model features, and mines the difference between features by training combined Bayesian model to accurately identify images based on vehicle images. Whether the two pictures are taken in the same car improves the robustness and accuracy of vehicle identification.
  • FIG. 1 is a flowchart of a method for identifying a vehicle according to an embodiment of the present application
  • 2a is a flow chart of a method for extracting color features provided by the present application
  • 2b is a flow chart of a method for extracting color features provided by the present application.
  • FIG. 3 is a flowchart of a method for feature combination provided by an embodiment of the present application.
  • FIG. 4 is a structural block diagram of an identification device for a vehicle according to an embodiment of the present application.
  • FIG. 1 is a flowchart of a method for identifying a vehicle according to an embodiment of the present application. As shown in FIG. 1 , the method specifically includes the following steps S101 to S105.
  • Step S101 Acquire a first car picture and a second car picture.
  • the first car picture includes a first vehicle
  • the second car picture includes a second vehicle.
  • the first car picture is a picture of the vehicle taken in the current situation, such as a photograph of a violating vehicle of the monitoring device, or a photograph of the damaged vehicle in a traffic accident.
  • the second car picture is a photograph of the vehicle at the time of registration, transfer or annual review of the new car.
  • Step S102 extracting a first color feature and a first model feature of the first vehicle, and a second color feature and a second model feature of the second vehicle based on the convolutional neural network model.
  • the color and model of the vehicle are two significant features of the vehicle, so the present embodiment distinguishes the vehicle by color features and model features.
  • FIG. 2a is a flow chart of a method for extracting color features provided by the present application. As shown in FIG. 2a, the method includes:
  • Step S201 Pre-training the first convolutional neural network model by using a preset image database.
  • the CaffeNet model can be used as the first convolutional neural network model.
  • the convolutional neural network model can be pre-trained using a 1000-million data set ImageNet.
  • Step S202 training the first convolutional neural network model through the car images of the plurality of colors.
  • This embodiment can classify vehicle colors into nine categories: black, white, gray, red, blue, green, orange, yellow, and purple. Classification in other manners in other embodiments may increase or decrease the classification accuracy, but may achieve effects similar to those of the present embodiment. Vehicles of nine different colors are identified, and the color characteristics of the vehicle are extracted. Only the area where the vehicle is located is identified by the first convolutional neural network model, so that its color and model can be distinguished without interference.
  • Step S203 respectively inputting the first automobile image and the second automobile image into the first convolutional neural network model, wherein the first convolutional neural network model comprises a multi-layer convolution layer and a multi-layer fully connected layer, and the output of the previous layer is current Layer input.
  • the first convolutional neural network model comprises a multi-layer convolution layer and a multi-layer fully connected layer, and the output of the previous layer is current Layer input.
  • the CaffeNet model can consist of a 5-layer convolutional layer and a 3-layer fully-connected layer.
  • the layer-by-layer feature transformation combines the lower-level features to form a more abstract high-level feature to represent the color characteristics of the vehicle, and then uses 9 different color vehicle data to The model is fine-tuned.
  • Step S204 after the processing of the convolution layer and the fully connected layer, extracting the first color feature from the first car picture and extracting the second color feature from the second car picture.
  • the model is more stably converged, and finally the features of the second layer of the fully connected layer are extracted as color features.
  • the extracted color features are 4096 dimensions, and the higher dimension may result in a larger amount of computation. Therefore, after obtaining the color features, a PCA transformation may be performed for dimensionality reduction.
  • FIG. 2b is a flow chart of a method for extracting color features provided by the present application. As shown in FIG. 2b, the method includes:
  • Step S211 pre-training the second convolutional neural network model by using a preset image database.
  • This embodiment uses the GoogLeNet model as a second convolutional neural network model to classify them.
  • the GoogLeNet model is pre-trained using a 1000-million dataset ImageNet, and then passed through 1716 vehicle model pairs of 163 mainstream vehicle brands. The model is calibrated and fine-tuned.
  • the vehicle data structure is a three-layer tree data structure, including vehicle brand, vehicle model and vehicle delivery time. Vehicles produced in different years have only subtle differences, classifying them into the same category.
  • Step S212 training the second convolutional neural network model through a plurality of perspective car images.
  • the embodiment of the present application uses a large number of vehicle samples of different angles to train the Goog LeNet model to ensure that the vehicle model features are not affected by the viewing angle.
  • the vehicle for each model contains five images of different perspectives: front, rear, side, front and back.
  • Step S213 respectively inputting the first automobile image and the second automobile image into the second convolutional neural network model, wherein the second convolutional neural network model comprises a multi-layer convolution layer and a multi-layer fully connected layer
  • the output of the previous layer is the input of the current layer.
  • the GoogLeNet model has 22 layers that use Network in Network to increase the depth and width of the network and reduce computational bottlenecks by reducing feature dimensions.
  • the 1716 vehicle models of the above 163 mainstream vehicle brands basically cover most common models. In other embodiments, larger samples can also be selected.
  • the larger method uses the same method as this embodiment, to some extent. More accurate results can be obtained.
  • Step S214 after the processing of the convolution layer and the fully connected layer, extracting the first model feature from the first car image, and extracting the first image from the second car image Two model features.
  • the GoogLeNet model is pre-trained using ImageNet, which contains 1000 types of data sets. Then, the model is fine-tuned by using the vehicle data of 1716 vehicle models of 163 mainstream vehicle brands. Finally, the pool5 layer in the pooling layer is extracted. Features are featured as vehicle models.
  • Step S103 combining the first color feature and the first model feature into the first vehicle feature, and combining the second color feature and the second model feature into the second vehicle feature.
  • FIG. 3 is a flowchart of a method for feature merging provided by an embodiment of the present application. As shown in FIG. 3, the method includes:
  • Step S301 Acquire color weights of the first color feature and the second color feature, and type weights of the first type feature and the second type feature, the type weight is greater than the color weight.
  • the weight of the type is higher than the weight of the color.
  • Step S302 multiplying the first color feature by the color weight plus the first model feature by the type weight to obtain the first vehicle feature.
  • Step S303 multiplying the second color feature by the color weight plus the second model feature by the type weight to obtain the second vehicle feature.
  • Both color and type features are represented in the form of vectors.
  • the combined vehicle features are also vectors. This embodiment can improve the accuracy and reduce the amount of calculation by processing the vehicle features by PCA.
  • Step S104 calculating the similarity between the first vehicle feature and the second vehicle feature.
  • the embodiment selects the similarity of the first vehicle feature and the second vehicle feature based on the joint Bayesian model.
  • the two latent variables ⁇ and ⁇ obey two Gaussian distributions: N(0, S ⁇ ) and N(0, S ⁇ ).
  • any two vehicle pictures extract vehicle type feature x 1 and color feature x 2 .
  • the 128-dimensional vector outputted by the depth convolutional neural network output layer of the vehicle type classification can be used as the extracted vehicle model feature.
  • the color characteristics of the vehicle use the output of the fc8 fully connected layer of the vehicle color classification network based on the deep convolutional neural network as the extracted vehicle color feature.
  • S ⁇ can estimate the probability distribution of the random variables ⁇ and ⁇ by continuously sampling in the data set, and then obtain the standard deviation of the two probability distributions, namely S ⁇ and S ⁇ , so the left side of this equation can be seen
  • the specific values of the matrices F and G can be calculated by numerically optimizing the matrix equations, and then the matrices F and G are used to derive the value of the matrix A, and finally A and G are substituted into r ( The x 1 , x 2 ) solution expression computes the value of (x 1 , x 2 ).
  • Step 3 Train the model through the EM algorithm to estimate the best A and G. Get the similarity of the two cars by calculating r(x 1 , x 2 ).
  • Step S105 determining whether the first vehicle and the second vehicle are the same vehicle according to the similarity.
  • the preset threshold may be set to -450, and the selection of the threshold mainly depends on continuously testing on the data set and then selecting the best effect.
  • the advantage of the convolutional neural network model in extracting image features is utilized, vehicle verification is performed by vehicle color features and model features, and differences between features are mined by training combined Bayesian model, thereby accurately accurately according to vehicle images. Identifying whether the two pictures are taken in the same car improves the robustness and accuracy of vehicle identification.
  • FIG. 4 is a structural block diagram of a vehicle identification device according to an embodiment of the present application. As shown in FIG. 4, the device includes an acquisition module 41, an extraction module 42, and a merge module. 43. A calculation module 44 and a determination module 450.
  • the obtaining module 41 is configured to acquire a first car picture and a second car picture, where the first car picture includes a first vehicle, and the second car picture includes a second vehicle.
  • the extraction module 42 is configured to extract a first color feature and a first model feature of the first vehicle, and a second color feature and a second model feature of the second vehicle based on the convolutional neural network model.
  • the merge module 43 is for combining the first color feature and the first model feature into a first vehicle feature, and combining the second color feature and the second model feature into a second vehicle feature.
  • the calculation module 44 is configured to calculate the similarity of the first vehicle feature and the second vehicle feature.
  • the determining module 450 is configured to determine whether the first vehicle and the second vehicle are the same vehicle according to the similarity.
  • the extraction module 42 includes: a first training unit, configured to pre-train the first convolutional neural network model by using a preset image database; and a second training unit, configured to pass the plurality of color car images to the first volume
  • the neural network model is trained;
  • the first input unit is configured to input the first automobile image and the second automobile image into the first convolutional neural network model, respectively, and the first convolutional neural network model comprises a multi-layer convolution layer and a plurality of layers.
  • a fully connected layer the output of the previous layer is the input of the current layer;
  • the first extracting unit is configured to extract the first color feature from the first car image after processing of the convolution layer and the fully connected layer, and A second color feature is extracted from the two car pictures.
  • the extraction module 42 includes: a third training unit, configured to pre-train the second convolutional neural network model by using a preset image database; and a fourth training unit, configured to pass the plurality of views of the automobile image pair to the second volume
  • the neural network model is trained;
  • the second input unit is configured to input the first automobile image and the second automobile image into the second convolutional neural network model, respectively, and the second convolutional neural network model comprises a multi-layer convolution layer and a plurality of layers.
  • Full connection layer the output of the previous layer is the input of the current layer;
  • the second extraction unit is used to extract the first model feature from the first car picture after the processing of the convolution layer and the fully connected layer, and from the first The second model feature is extracted from the second car picture.
  • the merging module 43 includes: a first acquiring unit, configured to acquire color weights of the first color feature and the second color feature, and type weights of the first type feature and the second type feature, the type weight is greater than the color weight; a weighting unit for multiplying the first color feature by the color weight plus the first model feature by the type weight to obtain the first vehicle feature; and the second weighting unit for multiplying the second color feature by the color weight plus The second model feature is multiplied by the type weight to obtain the second vehicle feature.
  • a first acquiring unit configured to acquire color weights of the first color feature and the second color feature, and type weights of the first type feature and the second type feature, the type weight is greater than the color weight
  • a weighting unit for multiplying the first color feature by the color weight plus the first model feature by the type weight to obtain the first vehicle feature
  • the second weighting unit for multiplying the second color feature by the color weight plus The second model feature is multiplied by the type weight to obtain the second vehicle feature.
  • the calculation module 44 includes: a second acquisition unit, configured to acquire the similarity of the first vehicle feature and the second vehicle feature based on the joint Bayesian model.
  • the determining module 450 includes: a third acquiring unit, configured to acquire a preset threshold; and a first determining unit, configured to determine that the first vehicle and the second vehicle are the same vehicle when the similarity is greater than or equal to the preset threshold ;
  • the second determining unit is configured to determine that the first vehicle and the second vehicle are not the same vehicle when the similarity is less than the preset threshold.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

一种车辆的识别方法及装置，包括：获取第一汽车图片和第二汽车图片，第一汽车图片中包括第一车辆，第二汽车图片中包括第二车辆（S101）；基于卷积神经网络模型提取第一车辆的第一颜色特征和第一型号特征，以及第二车辆的第二颜色特征和第二型号特征（S102）；将第一颜色特征和第一型号特征合并为第一车辆特征，以及将第二颜色特征和第二型号特征合并为第二车辆特征（S103）；计算第一车辆特征和第二车辆特征的相似度（S104）；根据相似度判断第一车辆和第二车辆是否为同一辆车（S105）。利用卷积神经网络模型在提取图像特征方面的优势，通过车辆颜色特征和型号特征进行车辆验证，并通过训练联合贝叶斯模型挖掘出特征之间的差异，从而根据车辆图片准确地识别两张图片是否拍摄的同一辆车。

Description

车辆的识别方法及装置
本申请申明享有2017年2月16日递交的申请号为201710083593.6、名称为“车辆的识别方法及装置”中国专利申请的优先权，该中国专利申请的整体内容以参考的方式结合在本申请中。
技术领域
本申请属于图像识别领域，特别是涉及一种车辆的识别方法及装置。
背景技术
随着汽车产业的快速发展，汽车数量越来越大，外观相同或相似的车也就越来越多。在一些特定情况下，如道路车辆监控，或汽车保险定损时，利用相似的汽车做套牌车或骗保的情况也时有发生。如何准确地判断一些情况下拍到的车辆图片，与该汽车登记时拍的车辆图像是不是同一辆车，是目前业界希望解决的问题。
针对现有技术中无法准确识别汽车图像中相似汽车的问题，目前业界没有理想的解决方式。
技术问题
本申请目的在于提供一种车辆的识别方法及装置，旨在解决现有技术中无法准确识别汽车图像中相似汽车的问题。
技术解决方案
本申请提供了车辆的识别方法，该方法包括：
获取第一汽车图片和第二汽车图片，第一汽车图片中包括第一车辆，第二汽车图片中包括第二车辆；
基于卷积神经网络模型提取第一车辆的第一颜色特征和第一型号特征，以及第二车辆的第二颜色特征和第二型号特征；
将第一颜色特征和第一型号特征合并为第一车辆特征，以及将第二颜色特征和第二型号特征合并为第二车辆特征；
计算第一车辆特征和第二车辆特征的相似度；
根据相似度判断第一车辆和第二车辆是否为同一辆车。
有益效果
本申请利用卷积神经网络模型在提取图像特征方面的优势，通过车辆颜色特征和型号特征进行车辆验证，并通过训练联合贝叶斯模型挖掘出特征之间的差异，从而根据车辆图片准确地识别出两张图片是否拍摄的同一辆车，提高了车辆识别的鲁棒性和准确性。
附图说明
图1为本申请实施例提供的车辆的识别方法的流程图；
图2a是本申请提供的提取颜色特征的方法流程图；
图2b是本申请提供的提取颜色特征的方法流程图；
图3是本申请实施例提供的特征合并的方法流程图；
图4为本申请实施例提供的车辆的识别装置的结构框图。
本发明的实施方式
为了使本申请要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供了一种车辆的识别方法，图1为本申请实施例提供的车辆的识别方法的流程图，如图1所示，该方法具体包括以下步骤S101至步骤S105。
步骤S101，获取第一汽车图片和第二汽车图片，第一汽车图片中包括第 一车辆，第二汽车图片中包括第二车辆。
第一汽车图片是当前情况下拍摄的车辆图片，例如监控设备的违章车辆的拍照，或者交通事故时对损毁车辆的拍照。第二汽车图片是车辆在新车登记、过户或年审时的车辆照片。通过第一汽车图片和第二汽车图片的比对，可以确定第一汽车图片中的车辆是不是套牌车。
步骤S102，基于卷积神经网络模型提取第一车辆的第一颜色特征和第一型号特征，以及第二车辆的第二颜色特征和第二型号特征。
车辆的颜色和型号是车辆显著的2个特征，因此本实施例通过颜色特征和型号特征对车辆进行区分。
图2a是本申请提供的提取颜色特征的方法流程图，如图2a所示，该方法包括：
步骤S201，通过预设图像数据库对第一卷积神经网络模型进行预训练。
本实施例可以将CaffeNet模型作为第一卷积神经网络模型，首先可以使用包含1000类的百万数据集ImageNet对卷积神经网络模型进行预训练
步骤S202，通过多个颜色的汽车图像对第一卷积神经网络模型进行训练。
本实施例可以将车辆颜色分为9类：黑色、白色、灰色、红色、蓝色、绿色、橙色、黄色和紫色。其他实施例中按其他方式分类可能提高或降低分类精确度，但可能达到和本实施例类似的效果。对9种不同颜色的车辆进行识别，并提取车辆的颜色特征，通过第一卷积神经网络模型仅识别车辆所在区域，从而可以在排除干扰的情况下分辨它的颜色和型号。
步骤S203，将第一汽车图像和第二汽车图像分别输入第一卷积神经网络模型，第一卷积神经网络模型包括多层卷积层和多层全连接层，前一层的输出为当前层的输入。
CaffeNet模型可以包含5层卷积层和3层全连接层，通过逐层特征变换，组合低层特征形成更加抽象的高层特征，以表示车辆的颜色特性，然后利用9种不同颜色的车辆数据对该模型进行微调。
步骤S204，在卷积层和全连接层的处理之后，从第一汽车图片中提取出第一颜色特征，以及从第二汽车图片中提取出第二颜色特征。
在本步骤中，可以首先将最后分类层的输出维度设定为9，然后将学习率按照指数衰退的方式随着迭代次数增加而逐渐降低(每50，000次迭代对学习率除以10)，从而使模型更加稳定的收敛，最后提取全连接层第二层的特征作为颜色特征。
一般情况下提取出的颜色特征为4096维，维度较高可能导致计算量较大，因此在得到颜色特征之后，还可以经过一个PCA变换进行降维处理。
图2b是本申请提供的提取颜色特征的方法流程图，如图2b所示，该方法包括：
步骤S211，通过预设图像数据库对第二卷积神经网络模型进行预训练。
本实施例利用GoogLeNet模型作为第二卷积神经网络模型对他们进行分类，首先使用包含1000类的百万数据集ImageNet对GoogLeNet模型进行预训练，然后通过163个主流车辆品牌的1716个车辆型号对模型进行校正和微调。其中，车辆数据结构为三层的树形数据结构，包括车辆品牌、车辆模型和车辆出厂时间。不同年份生产的车辆只有细微的差别，把它们归为同一类别。
步骤S212，通过多个视角的汽车图像对所述第二卷积神经网络模型进行训练。
本申请实施例采用大量的不同角度的车辆样本来训练GoogLeNet模型，以保证车辆型号特征不会受到观察角度的影响。每种车型的车辆都包含五个不 同视角的图片：正前方、正后方、侧方、前侧方和后侧方。
步骤S213，将所述第一汽车图像和所述第二汽车图像分别输入所述第二卷积神经网络模型，所述第二卷积神经网络模型包括多层卷积层和多层全连接层，前一层的输出为当前层的输入。
GoogLeNet模型有22层，它使用Network in Network提高网络的深度和宽度，并通过减少特征维度来降低计算瓶颈。上述163个主流车辆品牌的1716个车辆型号基本涵盖了常见的大部分车型，在其他实施例中，也可以选取更大的样本，更大的样子使用与本实施例相同的方法，一定程度上可以获取更准确的结果。
步骤S214，在所述卷积层和所述全连接层的处理之后，从所述第一汽车图片中提取出所述第一型号特征，以及从所述第二汽车图片中提取出所述第二型号特征。
本实施例首先使用包含1000类的百万数据集ImageNet对GoogLeNet模型进行预训练；然后利用163个主流车辆品牌的1716个车辆型号的车辆数据对模型进行微调；最后提取池化层中pool5层的特征作为车辆型号特征。
步骤S103，将第一颜色特征和第一型号特征合并为第一车辆特征，以及将第二颜色特征和第二型号特征合并为第二车辆特征。
在分别获取2方面特征以后，本实施例中对不同特征进行合并，以综合地体现出车辆特征。图3是本申请实施例提供的特征合并的方法流程图，如图3所示，该方法包括：
步骤S301，获取第一颜色特征和第二颜色特征的颜色权重，以及第一类型特征和第二类型特征的类型权重，类型权重大于颜色权重。
因为类型的区分度大于颜色的区分度，所以类型的权重高于颜色的权重。
步骤S302，将第一颜色特征乘以颜色权重加上第一型号特征乘以类型权重，以获取第一车辆特征。
步骤S303，将第二颜色特征乘以颜色权重加上第二型号特征乘以类型权重，以获取第二车辆特征。
颜色特征和类型特征都是以向量的形式体现的。合并后的车辆特征也是向量。本实施例可以通过PCA降维处理车辆特征来提高精度和减少计算量。
步骤S104，计算第一车辆特征和第二车辆特征的相似度。
作为一种优选的实现方式，本实施例选用基于联合贝叶斯模型获取第一车辆特征和第二车辆特征的相似度。
具体的，包括以下步骤：
步骤1，将车辆特征分成两个部分：identity和intra-car variation,identity用来区分不同的车辆，intra-car variation用来区分同一辆车在不同时间不同环境下的差异，两者分别用μ和ε表示。那么一辆车x就可以表示为：x＝μ+ε。两个潜在变量μ和ε分别服从两个高斯分布：N(0,S μ)和N(0,S ε).
步骤2，任意两张车辆图片提取车型特征x 1和颜色特征x 2，具体的，本实施例可以使用该车型分类深度卷积神经网络输出层输出的128维向量作为提取的车型特征。车辆的颜色特征使用基于深度卷积神经网络的车辆颜色分类网络的fc8全连接层的输出作为提取的车辆颜色特征。有了上面的基础，可以得到一个均值为0的高斯联合分布{x 1,x 2}。若μ和ε是相互独立的，可以得到两辆车的特征协方差：
cov(x 1,x 2)＝cov(μ 1,μ 2)+cov(ε 1,ε 2)。
在H I的假设前提下，即两张图属于一个对象的情况下，则μ 1,μ 2是相同的，ε 1,ε 2是独立的，因此P(x 1,x 2|H I)分布的协方差矩阵为：
Figure PCTCN2018074878-appb-000001
在H E的假设前提下，，即两张图属于不同对象的情况下，则μ和ε都是独立的，P(x 1,x 2|H E)分布的协方差矩阵可以表示为：
Figure PCTCN2018074878-appb-000002
有了这两种情况下的联合概率，相应的对数似然比r(x 1,x 2)就可以在变换之后得到：
Figure PCTCN2018074878-appb-000003
其中，A＝(S μ+S ε) -1-(F+G),
Figure PCTCN2018074878-appb-000004
由于S μ，S ε可以通过在数据集不断采样估计出随机变量μ和ε的概率分布，进而得到这两个概率分布的标准差，即S μ和S ε，因此这个等式的左边可以看作是已知的，通过数值优化的求解矩阵方程组的方式可以计算出矩阵F和G具体值，然后利用求解出来的矩阵F和G推算出矩阵A的值，最后将A和G代入r(x 1，x 2)求解表达式计算出(x 1，x 2)的值。
步骤3，通过EM算法训练模型，估计出最好的A和G.通过计算r(x 1,x 2)得到两辆车的相似性r.
步骤S105，根据相似度判断第一车辆和第二车辆是否为同一辆车。
在本步骤中，可以通过相似度和预设阈值的比较，判断是否为同一辆车。本实施例中预设阈值可以设为-450，该阈值的选取主要依赖在数据集上不断测试然后选取效果最好的得到。
获取预设阈值后，当相似度大于或等于预设阈值时，确定第一车辆和第二 车辆是同一辆车；当相似度小于预设阈值时，确定第一车辆和第二车辆不是同一辆车。
本实施例利用卷积神经网络模型在提取图像特征方面的优势，通过车辆颜色特征和型号特征进行车辆验证，并通过训练联合贝叶斯模型挖掘出特征之间的差异，从而根据车辆图片准确地识别出两张图片是否拍摄的同一辆车，提高了车辆识别的鲁棒性和准确性。
本申请实施例还提供了一种车辆的识别装置，图4为本申请实施例提供的车辆的识别装置的结构框图，如图4所示，该装置包括获取模块41、提取模块42、合并模块43、计算模块44和判断模块450。
获取模块41用于获取第一汽车图片和第二汽车图片，第一汽车图片中包括第一车辆，第二汽车图片中包括第二车辆。
提取模块42用于基于卷积神经网络模型提取第一车辆的第一颜色特征和第一型号特征，以及第二车辆的第二颜色特征和第二型号特征。
合并模块43用于将第一颜色特征和第一型号特征合并为第一车辆特征，以及将第二颜色特征和第二型号特征合并为第二车辆特征。
计算模块44用于计算第一车辆特征和第二车辆特征的相似度。
判断模块450用于根据相似度判断第一车辆和第二车辆是否为同一辆车。
优选的，提取模块42包括：第一训练单元，用于通过预设图像数据库对第一卷积神经网络模型进行预训练；第二训练单元，用于通过多个颜色的汽车图像对第一卷积神经网络模型进行训练；第一输入单元，用于将第一汽车图像和第二汽车图像分别输入第一卷积神经网络模型，第一卷积神经网络模型包括多层卷积层和多层全连接层，前一层的输出为当前层的输入；第一提取单元，用于在卷积层和全连接层的处理之后，从第一汽车图片中提取出第一颜色特 征，以及从第二汽车图片中提取出第二颜色特征。
优选的，提取模块42包括：第三训练单元，用于通过预设图像数据库对第二卷积神经网络模型进行预训练；第四训练单元，用于通过多个视角的汽车图像对第二卷积神经网络模型进行训练；第二输入单元，用于将第一汽车图像和第二汽车图像分别输入第二卷积神经网络模型，第二卷积神经网络模型包括多层卷积层和多层全连接层，前一层的输出为当前层的输入；第二提取单元，用于在卷积层和全连接层的处理之后，从第一汽车图片中提取出第一型号特征，以及从第二汽车图片中提取出第二型号特征。
优选的，合并模块43包括：第一获取单元，用于获取第一颜色特征和第二颜色特征的颜色权重，以及第一类型特征和第二类型特征的类型权重，类型权重大于颜色权重；第一加权单元，用于将第一颜色特征乘以颜色权重加上第一型号特征乘以类型权重，以获取第一车辆特征；第二加权单元，用于将第二颜色特征乘以颜色权重加上第二型号特征乘以类型权重，以获取第二车辆特征。
优选的，计算模块44包括：第二获取单元，用于基于联合贝叶斯模型获取第一车辆特征和第二车辆特征的相似度。
优选的，判断模块450包括：第三获取单元，用于获取预设阈值；第一确定单元，用于当相似度大于或等于预设阈值时，确定第一车辆和第二车辆是同一辆车；
第二确定单元，用于当相似度小于预设阈值时，确定第一车辆和第二车辆不是同一辆车。

Claims (20)

  1. 一种车辆的识别方法，其特征在于，包括：
    获取第一汽车图片和第二汽车图片，所述第一汽车图片中包括第一车辆，所述第二汽车图片中包括第二车辆；
    基于卷积神经网络模型提取所述第一车辆的第一颜色特征和第一型号特征，以及所述第二车辆的第二颜色特征和第二型号特征；
    将所述第一颜色特征和所述第一型号特征合并为第一车辆特征，以及将所述第二颜色特征和所述第二型号特征合并为第二车辆特征；
    计算所述第一车辆特征和所述第二车辆特征的相似度；
    根据所述相似度判断所述第一车辆和所述第二车辆是否为同一辆车。
  2. 如权利要求1所述的方法，其特征在于，所述基于卷积神经网络模型提取所述第一车辆的第一颜色特征和第一型号特征，以及所述第二车辆的第二颜色特征和第二型号特征包括：
    通过预设图像数据库对第一卷积神经网络模型进行预训练；
    通过多个颜色的汽车图像对所述第一卷积神经网络模型进行训练；
    将所述第一汽车图像和所述第二汽车图像分别输入所述第一卷积神经网络模型，所述第一卷积神经网络模型包括多层卷积层和多层全连接层，前一层的输出为当前层的输入；
    在所述卷积层和所述全连接层的处理之后，从所述第一汽车图片中提取出所述第一颜色特征，以及从所述第二汽车图片中提取出所述第二颜色特征。
  3. 如权利要求1所述的方法，其特征在于，所述基于卷积神经网络模型提取所述第一车辆的第一颜色特征和第一型号特征，以及所述第二车辆的第二 颜色特征和第二型号特征包括：
    通过预设图像数据库对第二卷积神经网络模型进行预训练；
    通过多个视角的汽车图像对所述第二卷积神经网络模型进行训练；
    将所述第一汽车图像和所述第二汽车图像分别输入所述第二卷积神经网络模型，所述第二卷积神经网络模型包括多层卷积层和多层全连接层，前一层的输出为当前层的输入；
    在所述卷积层和所述全连接层的处理之后，从所述第一汽车图片中提取出所述第一型号特征，以及从所述第二汽车图片中提取出所述第二型号特征。
  4. 如权利要求1所述的方法，其特征在于，所述将所述第一颜色特征和所述第一型号特征合并为第一车辆特征，以及将所述第二颜色特征和所述第二型号特征合并为第二车辆特征包括：
    获取所述第一颜色特征和所述第二颜色特征的颜色权重，以及所述第一类型特征和所述第二类型特征的类型权重，所述类型权重大于所述颜色权重；
    将所述第一颜色特征乘以所述颜色权重加上所述第一型号特征乘以所述类型权重，以获取所述第一车辆特征；
    将所述第二颜色特征乘以所述颜色权重加上所述第二型号特征乘以所述类型权重，以获取所述第二车辆特征。
  5. 如权利要求1所述的方法，其特征在于，所述根据所述相似度判断所述第一车辆和所述第二车辆是否为同一辆车包括：
    获取预设阈值；
    当所述相似度大于或等于所述预设阈值时，确定所述第一车辆和所述第二车辆是同一辆车；
    当所述相似度小于所述预设阈值时，确定所述第一车辆和所述第二车辆不 是同一辆车。
  6. 一种车辆的识别装置，其特征在于，包括：
    获取模块，用于获取第一汽车图片和第二汽车图片，所述第一汽车图片中包括第一车辆，所述第二汽车图片中包括第二车辆；
    提取模块，用于基于卷积神经网络模型提取所述第一车辆的第一颜色特征和第一型号特征，以及所述第二车辆的第二颜色特征和第二型号特征；
    合并模块，用于将所述第一颜色特征和所述第一型号特征合并为第一车辆特征，以及将所述第二颜色特征和所述第二型号特征合并为第二车辆特征；
    计算模块，用于计算所述第一车辆特征和所述第二车辆特征的相似度；
    判断模块，用于根据所述相似度判断所述第一车辆和所述第二车辆是否为同一辆车。
  7. 如权利要求6的装置，其特征在于，提取模块包括：
    第一训练单元，用于通过预设图像数据库对第一卷积神经网络模型进行预训练；
    第二训练单元，用于通过多个颜色的汽车图像对所述第一卷积神经网络模型进行训练；
    第一输入单元，用于将所述第一汽车图像和所述第二汽车图像分别输入所述第一卷积神经网络模型，所述第一卷积神经网络模型包括多层卷积层和多层全连接层，前一层的输出为当前层的输入；
    第一提取单元，用于在所述卷积层和所述全连接层的处理之后，从所述第一汽车图片中提取出所述第一颜色特征，以及从所述第二汽车图片中提取出所述第二颜色特征。
  8. 如权利要求6的装置，其特征在于，提取模块包括：
    第三训练单元，用于通过预设图像数据库对第二卷积神经网络模型进行预训练；
    第四训练单元，用于通过多个视角的汽车图像对所述第二卷积神经网络模型进行训练；
    第二输入单元，用于将所述第一汽车图像和所述第二汽车图像分别输入所述第二卷积神经网络模型，所述第二卷积神经网络模型包括多层卷积层和多层全连接层，前一层的输出为当前层的输入；
    第二提取单元，用于在所述卷积层和所述全连接层的处理之后，从所述第一汽车图片中提取出所述第一型号特征，以及从所述第二汽车图片中提取出所述第二型号特征。
  9. 如权利要求6的装置，其特征在于，合并模块包括：
    第一获取单元，用于获取所述第一颜色特征和所述第二颜色特征的颜色权重，以及所述第一类型特征和所述第二类型特征的类型权重，所述类型权重大于所述颜色权重；
    第一加权单元，用于将所述第一颜色特征乘以所述颜色权重加上所述第一型号特征乘以所述类型权重，以获取所述第一车辆特征；
    第二加权单元，用于将所述第二颜色特征乘以所述颜色权重加上所述第二型号特征乘以所述类型权重，以获取所述第二车辆特征。
  10. 如权利要求6的装置，其特征在于，判断模块包括：
    第三获取单元，用于获取预设阈值；
    第一确定单元，用于当所述相似度大于或等于所述预设阈值时，确定所述第一车辆和所述第二车辆是同一辆车；
    第二确定单元，用于当所述相似度小于所述预设阈值时，确定所述第一车 辆和所述第二车辆不是同一辆车。
  11. 一种终端设备，其特征在于，所述终端设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：
    获取第一汽车图片和第二汽车图片，所述第一汽车图片中包括第一车辆，所述第二汽车图片中包括第二车辆；
    基于卷积神经网络模型提取所述第一车辆的第一颜色特征和第一型号特征，以及所述第二车辆的第二颜色特征和第二型号特征；
    将所述第一颜色特征和所述第一型号特征合并为第一车辆特征，以及将所述第二颜色特征和所述第二型号特征合并为第二车辆特征；
    计算所述第一车辆特征和所述第二车辆特征的相似度；
    根据所述相似度判断所述第一车辆和所述第二车辆是否为同一辆车。
  12. 根据权利要求11所述的终端设备，其特征在于，其特征在于，所述基于卷积神经网络模型提取所述第一车辆的第一颜色特征和第一型号特征，以及所述第二车辆的第二颜色特征和第二型号特征包括：
    通过预设图像数据库对第一卷积神经网络模型进行预训练；
    通过多个颜色的汽车图像对所述第一卷积神经网络模型进行训练；
    将所述第一汽车图像和所述第二汽车图像分别输入所述第一卷积神经网络模型，所述第一卷积神经网络模型包括多层卷积层和多层全连接层，前一层的输出为当前层的输入；
    在所述卷积层和所述全连接层的处理之后，从所述第一汽车图片中提取出所述第一颜色特征，以及从所述第二汽车图片中提取出所述第二颜色特征。
  13. 根据权利要求11所述的终端设备，其特征在于，所述基于卷积神经 网络模型提取所述第一车辆的第一颜色特征和第一型号特征，以及所述第二车辆的第二颜色特征和第二型号特征包括：
    通过预设图像数据库对第二卷积神经网络模型进行预训练；
    通过多个视角的汽车图像对所述第二卷积神经网络模型进行训练；
    将所述第一汽车图像和所述第二汽车图像分别输入所述第二卷积神经网络模型，所述第二卷积神经网络模型包括多层卷积层和多层全连接层，前一层的输出为当前层的输入；
    在所述卷积层和所述全连接层的处理之后，从所述第一汽车图片中提取出所述第一型号特征，以及从所述第二汽车图片中提取出所述第二型号特征。
  14. 根据权利要求11所述的终端设备，其特征在于，所述将所述第一颜色特征和所述第一型号特征合并为第一车辆特征，以及将所述第二颜色特征和所述第二型号特征合并为第二车辆特征包括：
    获取所述第一颜色特征和所述第二颜色特征的颜色权重，以及所述第一类型特征和所述第二类型特征的类型权重，所述类型权重大于所述颜色权重；
    将所述第一颜色特征乘以所述颜色权重加上所述第一型号特征乘以所述类型权重，以获取所述第一车辆特征；
    将所述第二颜色特征乘以所述颜色权重加上所述第二型号特征乘以所述类型权重，以获取所述第二车辆特征。
  15. 根据权利要求11所述的终端设备，其特征在于，所述根据所述相似度判断所述第一车辆和所述第二车辆是否为同一辆车包括：
    获取预设阈值；
    当所述相似度大于或等于所述预设阈值时，确定所述第一车辆和所述第二车辆是同一辆车；
    当所述相似度小于所述预设阈值时，确定所述第一车辆和所述第二车辆不是同一辆车。
  16. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如下步骤：
    获取第一汽车图片和第二汽车图片，所述第一汽车图片中包括第一车辆，所述第二汽车图片中包括第二车辆；
    基于卷积神经网络模型提取所述第一车辆的第一颜色特征和第一型号特征，以及所述第二车辆的第二颜色特征和第二型号特征；
    将所述第一颜色特征和所述第一型号特征合并为第一车辆特征，以及将所述第二颜色特征和所述第二型号特征合并为第二车辆特征；
    计算所述第一车辆特征和所述第二车辆特征的相似度；
    根据所述相似度判断所述第一车辆和所述第二车辆是否为同一辆车。
  17. 根据权利要求16所述的计算机可读存储介质，其特征在于，所述基于卷积神经网络模型提取所述第一车辆的第一颜色特征和第一型号特征，以及所述第二车辆的第二颜色特征和第二型号特征包括：
    通过预设图像数据库对第一卷积神经网络模型进行预训练；
    通过多个颜色的汽车图像对所述第一卷积神经网络模型进行训练；
    将所述第一汽车图像和所述第二汽车图像分别输入所述第一卷积神经网络模型，所述第一卷积神经网络模型包括多层卷积层和多层全连接层，前一层的输出为当前层的输入；
    在所述卷积层和所述全连接层的处理之后，从所述第一汽车图片中提取出所述第一颜色特征，以及从所述第二汽车图片中提取出所述第二颜色特征。
  18. 根据权利要求16所述的计算机可读存储介质，其特征在于，所述基 于卷积神经网络模型提取所述第一车辆的第一颜色特征和第一型号特征，以及所述第二车辆的第二颜色特征和第二型号特征包括：
    通过预设图像数据库对第二卷积神经网络模型进行预训练；
    通过多个视角的汽车图像对所述第二卷积神经网络模型进行训练；
    将所述第一汽车图像和所述第二汽车图像分别输入所述第二卷积神经网络模型，所述第二卷积神经网络模型包括多层卷积层和多层全连接层，前一层的输出为当前层的输入；
    在所述卷积层和所述全连接层的处理之后，从所述第一汽车图片中提取出所述第一型号特征，以及从所述第二汽车图片中提取出所述第二型号特征。
  19. 根据权利要求16-18任一项所述的计算机可读存储介质，其特征在于，所述将所述第一颜色特征和所述第一型号特征合并为第一车辆特征，以及将所述第二颜色特征和所述第二型号特征合并为第二车辆特征包括：
    获取所述第一颜色特征和所述第二颜色特征的颜色权重，以及所述第一类型特征和所述第二类型特征的类型权重，所述类型权重大于所述颜色权重；
    将所述第一颜色特征乘以所述颜色权重加上所述第一型号特征乘以所述类型权重，以获取所述第一车辆特征；
    将所述第二颜色特征乘以所述颜色权重加上所述第二型号特征乘以所述类型权重，以获取所述第二车辆特征。
  20. 根据权利要求19所述的计算机可读存储介质，其特征在于，所述根据所述相似度判断所述第一车辆和所述第二车辆是否为同一辆车包括：
    获取预设阈值；
    当所述相似度大于或等于所述预设阈值时，确定所述第一车辆和所述第二车辆是同一辆车；
    当所述相似度小于所述预设阈值时，确定所述第一车辆和所述第二车辆不是同一辆车。
PCT/CN2018/074878 2017-02-16 2018-01-31 车辆的识别方法及装置 Ceased WO2018149302A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/092,746 US10740927B2 (en) 2017-02-16 2018-01-31 Method and device for vehicle identification
SG11201809816YA SG11201809816YA (en) 2017-02-16 2018-01-31 Vehicle identification method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710083593.6A CN107688819A (zh) 2017-02-16 2017-02-16 车辆的识别方法及装置
CN201710083593.6 2017-02-16

Publications (1)

Publication Number Publication Date
WO2018149302A1 true WO2018149302A1 (zh) 2018-08-23

Family

ID=61152346

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/074878 Ceased WO2018149302A1 (zh) 2017-02-16 2018-01-31 车辆的识别方法及装置

Country Status (4)

Country Link
US (1) US10740927B2 (zh)
CN (1) CN107688819A (zh)
SG (1) SG11201809816YA (zh)
WO (1) WO2018149302A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506400A (zh) * 2021-07-05 2021-10-15 深圳市点购电子商务控股股份有限公司 自动售货方法、装置、计算机设备和存储介质
US11692885B2 (en) 2020-06-04 2023-07-04 Zhejiang University Method for identifying spatial-temporal distribution of vehicle loads on bridge based on densely connected convolutional networks

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10417527B2 (en) * 2017-09-06 2019-09-17 Irdeto B.V. Identifying an object within content
US20190311289A1 (en) * 2018-04-09 2019-10-10 Cambridge Mobile Telematics Inc. Vehicle classification based on telematics data
CN110795974B (zh) * 2018-08-03 2023-04-07 中国移动通信有限公司研究院 一种图像处理方法、装置、介质和设备
US11037440B2 (en) * 2018-12-19 2021-06-15 Sony Group Corporation Vehicle identification for smart patrolling
CN110059101B (zh) * 2019-04-16 2021-08-13 北京科基中意软件开发有限公司 一种基于图像识别的车辆数据查找系统和查找方法
CN112036421B (zh) * 2019-05-16 2024-07-02 北京搜狗科技发展有限公司 一种图像处理方法、装置和电子设备
CN110135517B (zh) * 2019-05-24 2023-04-07 北京百度网讯科技有限公司 用于获取车辆相似度的方法及装置
CN110363193B (zh) * 2019-06-12 2022-02-25 北京百度网讯科技有限公司 车辆重识别方法、装置、设备和计算机存储介质
CN111062396B (zh) * 2019-11-29 2022-03-25 深圳云天励飞技术有限公司 车牌号码识别方法、装置、电子设备及存储介质
CN111027499A (zh) * 2019-12-17 2020-04-17 北京慧智数据科技有限公司 一种基于卷积神经网络的货车低排放限行识别方法
CN111709352B (zh) * 2020-06-12 2022-10-04 浪潮集团有限公司 一种基于神经网络的车辆划痕检测方法
US20240104865A1 (en) * 2022-09-22 2024-03-28 Faro Technologies, Inc. Feature extraction using a point of a collection of points
US12505646B2 (en) * 2022-12-29 2025-12-23 Allstate Northern Ireland Limited Anonymized digital image duplication detection systems and methods
AU2023201686C1 (en) * 2023-03-17 2024-09-19 Canva Pty Ltd Image enhancement

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361359A (zh) * 2014-11-25 2015-02-18 深圳市哈工大交通电子技术有限公司 基于图像检测的车辆识别方法
CN105184271A (zh) * 2015-09-18 2015-12-23 苏州派瑞雷尔智能科技有限公司 一种基于深度学习的车辆自动检测方法
CN105354273A (zh) * 2015-10-29 2016-02-24 浙江高速信息工程技术有限公司 一种快速检索高速公路逃费车辆高相似度图像的方法
CN105654066A (zh) * 2016-02-02 2016-06-08 北京格灵深瞳信息技术有限公司 一种车辆识别方法及装置
CN106295541A (zh) * 2016-08-03 2017-01-04 乐视控股（北京）有限公司 车辆类型识别方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9665802B2 (en) * 2014-11-13 2017-05-30 Nec Corporation Object-centric fine-grained image classification
US9418319B2 (en) * 2014-11-21 2016-08-16 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
US9633282B2 (en) * 2015-07-30 2017-04-25 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
US11080384B2 (en) * 2015-12-15 2021-08-03 Applied Recognition Corp. Systems and methods for authentication using digital signature with biometrics
WO2017143260A1 (en) * 2016-02-19 2017-08-24 Reach Consulting Group, Llc Community security system
CN105631440B (zh) * 2016-02-22 2019-01-22 清华大学 一种易受伤害道路使用者的联合检测方法
CN105631482A (zh) * 2016-03-03 2016-06-01 中国民航大学 一种基于卷积神经网络模型的危险物品图像分类方法
CN106156750A (zh) * 2016-07-26 2016-11-23 浙江捷尚视觉科技股份有限公司 一种基于卷积神经网络的以图搜车方法
CN106295526B (zh) * 2016-07-28 2019-10-18 浙江宇视科技有限公司 车辆图像匹配的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361359A (zh) * 2014-11-25 2015-02-18 深圳市哈工大交通电子技术有限公司 基于图像检测的车辆识别方法
CN105184271A (zh) * 2015-09-18 2015-12-23 苏州派瑞雷尔智能科技有限公司 一种基于深度学习的车辆自动检测方法
CN105354273A (zh) * 2015-10-29 2016-02-24 浙江高速信息工程技术有限公司 一种快速检索高速公路逃费车辆高相似度图像的方法
CN105654066A (zh) * 2016-02-02 2016-06-08 北京格灵深瞳信息技术有限公司 一种车辆识别方法及装置
CN106295541A (zh) * 2016-08-03 2017-01-04 乐视控股（北京）有限公司 车辆类型识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11692885B2 (en) 2020-06-04 2023-07-04 Zhejiang University Method for identifying spatial-temporal distribution of vehicle loads on bridge based on densely connected convolutional networks
CN113506400A (zh) * 2021-07-05 2021-10-15 深圳市点购电子商务控股股份有限公司 自动售货方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
US20190139262A1 (en) 2019-05-09
US10740927B2 (en) 2020-08-11
CN107688819A (zh) 2018-02-13
SG11201809816YA (en) 2018-12-28

Similar Documents

Publication Publication Date Title
WO2018149302A1 (zh) 车辆的识别方法及装置
EP4320606B1 (en) Personalized biometric anti-spoofing protection using machine learning and enrollment data
US10410292B2 (en) Method, system, apparatus, and storage medium for realizing antifraud in insurance claim based on consistency of multiple images
CN114022729B (zh) 基于孪生网络和监督训练的异源图像匹配定位方法和系统
CN111488879A (zh) 利用双嵌入构成的用于提高分割性能的方法及装置
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN117475236A (zh) 用于矿产资源勘探的数据处理系统及其方法
CN108537137B (zh) 基于标签鉴别相关分析的多模态生物特征融合识别方法
CN111368829B (zh) 一种基于rgb-d图像的视觉语义关系检测方法
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
Lin et al. Convolutional neural networks for face anti-spoofing and liveness detection
CN112734741A (zh) 一种肺炎ct影像的图像处理方法和系统
EP3832542A1 (en) Device and method with sensor-specific image recognition
Moorthy et al. SEM and TEM images’ dehazing using multiscale progressive feature fusion techniques
CN114372523A (zh) 一种基于证据深度学习的双目匹配不确定性估计方法
CN114882239B (zh) 一种基于模型融合的高效道路全景检测方法
CN115188054A (zh) 基于双光谱融合的三段式人脸识别方法
CN104112145B (zh) 基于pwld和d‑s证据理论的人脸表情识别方法
CN111275694B (zh) 一种注意力机制引导的递进式划分人体解析系统及方法
CN116958606A (zh) 一种图像匹配方法及相关装置
Pathak et al. Multimodal eye biometric system based on contour based E-CNN and multi algorithmic feature extraction using SVBF matching
CN119963800A (zh) 一种共显著目标检测方法和系统
CN115797678B (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
CN117745639A (zh) 多尺度深度特征统计的盲图像质量评价方法和存储介质
CN114842506A (zh) 一种人体姿态估计方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18754334

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 21/11/2019)

122 Ep: pct application non-entry in european phase

Ref document number: 18754334

Country of ref document: EP

Kind code of ref document: A1