WO2020173022A1 - 一种识别车辆违章行为的方法、服务器及存储介质 - Google Patents

一种识别车辆违章行为的方法、服务器及存储介质 Download PDF

Info

Publication number
WO2020173022A1
WO2020173022A1 PCT/CN2019/092688 CN2019092688W WO2020173022A1 WO 2020173022 A1 WO2020173022 A1 WO 2020173022A1 CN 2019092688 W CN2019092688 W CN 2019092688W WO 2020173022 A1 WO2020173022 A1 WO 2020173022A1
Authority
WO
WIPO (PCT)
Prior art keywords
parking
information
vehicle
image
detection object
Prior art date
Application number
PCT/CN2019/092688
Other languages
English (en)
French (fr)
Inventor
王健宗
黄章成
肖京
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2020173022A1 publication Critical patent/WO2020173022A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Definitions

  • This application relates to the field of image detection, and in particular to a method, server and storage medium for identifying vehicle violations.
  • This application provides a method, a server and a storage medium for identifying vehicle violations, which can solve the problems of low accuracy, slow speed, and heavy workload of traffic police in the prior art for identifying technology for parking violations.
  • this application provides a method for identifying vehicle violations, the method including:
  • an image recognition algorithm is used to identify the vehicle information and parking information of the detection object from the parking image.
  • vehicle information includes vehicle type and license plate number.
  • parking information includes parking location information and traffic signs;
  • the vehicle information and parking information of the detection object it is determined whether the detection object meets the parking violation condition.
  • the method further includes:
  • An upload condition is set at the entrance of uploading the parking image, and the upload condition includes one of the following items:
  • the method further includes:
  • the image characteristics of the parking image perform a histogram comparison of all uploaded parking images, and determine approximate images within a preset threshold range as repeated parking images;
  • the identification of the vehicle information and parking information of the detection object from the parking image includes:
  • the position information of the detection object and the position information of the traffic sign are identified according to the superpixel area block with vehicle characteristic information.
  • the identification of the position information of the detection object and the position information of the traffic sign according to the superpixel area block with vehicle characteristic information includes:
  • p(x) refers to the location information of the detection object
  • q(x) refers to the location information of the traffic sign adjacent to the target vehicle
  • BC(p, q) refers to the location information of the detection object and the traffic sign Bhattacharyya distance.
  • the judging whether the detected object meets the parking violation condition according to the vehicle information and parking information of the detected object includes:
  • the license plate number is a fake license plate number, it is determined that the vehicle in the parking image is a parking violation; if the license plate number is a license plate number in the restricted number list, it is determined that the vehicle in the parking image is a parking violation .
  • the judging whether the detected object meets the parking violation condition according to the vehicle information and parking information of the detected object includes:
  • the semantic segmentation network it is determined whether the detection object occludes the traffic sign, and the traffic sign includes a parking landmark line or a no-stop sign line;
  • the present application provides a server that has the function of implementing the method corresponding to the method for identifying vehicle violations provided in the first aspect.
  • the function can be realized by hardware, or by hardware executing corresponding software.
  • the hardware or software includes one or more modules corresponding to the above functions, and the modules may be software and/or hardware.
  • the server includes:
  • the acquisition module is used to acquire parking images
  • the detection module is configured to perform edge detection on the parking image to detect the detection object in the parking image
  • the processing module is configured to, if the detection module detects that the detection object in the parking image is a motor vehicle, use an image recognition algorithm to identify the characteristic area of the detection object from the parking image, and from the characteristic area Extract the gradient histogram feature, input the gradient histogram feature into the neural network classifier, train the pre-training model in the neural network classifier according to the gradient histogram feature, and perform the training on the position information of the detection object
  • the training result of the pre-training model calculates the pixel mean and standard deviation, and the calculation result with the largest pixel mean and standard deviation is determined as the vehicle information and parking information of the detection object.
  • the vehicle information includes vehicle type and license plate number.
  • the vehicle information includes parking location information and traffic signs; judging whether the detection object meets the parking conditions according to the vehicle information and parking information of the detection object;
  • a representation of the neural network classifier is:
  • I ⁇ (i,j) I(i,j)- ⁇ (i,j) ⁇ (i,j)+C, ⁇ and ⁇ are respectively in a small local neighborhood centered on the pixel (i,j)
  • C is a constant
  • I is the gray value of the pixel (i, j)
  • (i, j) ⁇ W is the gradient histogram feature.
  • the processing module is further configured to: after the detection module detects that the detection object in the parking image is a motor vehicle:
  • An upload condition is set at the entrance of uploading the parking image, and the upload condition includes one of the following items:
  • the processing module is further configured to: after the detection module detects that the detection object in the parking image is a motor vehicle:
  • the image characteristics of the parking image perform a histogram comparison of all uploaded parking images, and determine approximate images within a preset threshold range as repeated parking images;
  • the processing module is specifically used for:
  • Using a super pixel segmentation algorithm divide the parking image into a plurality of super pixel area blocks according to the extracted abstract feature information, where the super pixel area blocks refer to pixel areas corresponding to the features of each part of the parking image;
  • the position information of the detection object and the position information of the traffic sign are identified according to the superpixel area block with vehicle characteristic information.
  • the processing module is specifically used for:
  • Bhattacharyya distance is as follows:
  • p(x) refers to the location information of the detection object
  • q(x) refers to the location information of the traffic sign adjacent to the target vehicle
  • BC(p, q) refers to the location information of the detection object and the traffic sign Bhattacharyya distance.
  • the processing module is specifically used for:
  • the license plate number is a fake license plate number, it is determined that the vehicle in the parking image is a parking violation; if the license plate number is a license plate number in the restricted number list, it is determined that the vehicle in the parking image is a parking violation .
  • the processing module is specifically used for:
  • the semantic segmentation network it is determined whether the detection object occludes the traffic sign, and the traffic sign includes a parking landmark line or a no-stop sign line;
  • an image recognition algorithm is used to identify the characteristic area of the detection object from the parking image, the gradient histogram feature is extracted from the characteristic area, and the The gradient histogram feature is input to the neural network classifier, the pre-training model in the neural network classifier is trained according to the gradient histogram feature, and the pixel average of the training result of the pre-training model is calculated according to the position information of the detection object And standard deviation, the calculation result of the maximum pixel mean and standard deviation is determined as the vehicle information and parking information of the detection object, the vehicle information includes vehicle type and license plate number, and the parking information includes parking location information and traffic Flag; judging whether the detection object meets the parking conditions according to the vehicle information and parking information of the detection object;
  • a representation of the neural network classifier is:
  • I ⁇ (i,j) I(i,j)- ⁇ (i,j) ⁇ (i,j)+C, ⁇ and ⁇ are respectively in a small local neighborhood centered on the pixel (i,j)
  • C is a constant
  • I is the gray value of the pixel (i, j)
  • (i, j) ⁇ W is the gradient histogram feature.
  • the processor is further configured to perform the following operations before detecting that the detection object in the parking image is a motor vehicle:
  • An upload condition is set at the entrance of uploading the parking image, and the upload condition includes one of the following items:
  • the processor is further configured to perform the following operations before detecting that the detection object in the parking image is a motor vehicle:
  • the image characteristics of the parking image perform a histogram comparison of all uploaded parking images, and determine approximate images within a preset threshold range as repeated parking images;
  • the processor is specifically configured to perform the following operations:
  • Using a super pixel segmentation algorithm divide the parking image into a plurality of super pixel area blocks according to the extracted abstract feature information, where the super pixel area blocks refer to pixel areas corresponding to the features of each part of the parking image;
  • the position information of the detection object and the position information of the traffic sign are identified according to the superpixel area block with vehicle characteristic information.
  • the processor is specifically configured to perform the following operations:
  • Bhattacharyya distance is as follows:
  • p(x) refers to the location information of the detection object
  • q(x) refers to the location information of the traffic sign adjacent to the target vehicle
  • BC(p, q) refers to the location information of the detection object and the traffic sign Bhattacharyya distance.
  • the processor is specifically configured to perform the following operations:
  • the license plate number is a fake license plate number, it is determined that the vehicle in the parking image is a parking violation; if the license plate number is a license plate number in the restricted number list, it is determined that the vehicle in the parking image is a parking violation .
  • Another aspect of the present application provides a non-volatile computer storage medium, which includes instructions, which when run on a computer, cause the computer to execute the method described in the first aspect.
  • the image recognition algorithm is used to identify the detection object from the parking image. Based on the vehicle information and parking information, it is determined whether the detected object meets the parking violation condition according to the vehicle information and parking information of the detected object. It can be seen that this application can not only accept parking images taken by fixed-point equipment, but also only need to send images taken by patrols at a specific time or images reported by people to the traffic control background, which greatly strengthens the deterrence of illegal parking behaviors, and at the same time, it also improves parking violations.
  • the accuracy and speed of the recognition technology can effectively reduce the workload of the traffic police, and can also deal with the increasingly serious illegal parking situation brought about by the rapid growth of urban vehicles.
  • FIG. 1 is a schematic flowchart of a method for identifying vehicle violations in an embodiment of the application
  • FIG. 2 is a schematic diagram of a process for identifying vehicle information and parking information in an embodiment of this application;
  • FIG. 3 is a schematic diagram of a structure of a server in an embodiment of the application.
  • Figure 4 is a schematic diagram of a structure of a server in an embodiment of the application.
  • This application provides a method, server and storage medium for identifying vehicle violations, which can be used for traffic violations.
  • this application mainly provides the following technical solutions:
  • the efficiency and accuracy of vehicle recognition are solved by the parking image recognition method and illegal vehicle photo detection method based on deep learning, and the vehicle detection problem under the static image is converted into the target and background binary classification problem in the unit of super pixel.
  • the sample is divided into several subsets and a local classifier is trained on each subset to detect whether each superpixel belongs to a vehicle, so as to determine the target vehicle area.
  • LRCN Long-term Recurrent Convolutional Network
  • the following describes a method for identifying vehicle violations according to the present application.
  • the method is executed by a server in the traffic control background, and the method includes:
  • the parking image includes a parking space and a vehicle parked in the parking space.
  • the parking image may be an image taken by a traffic police patrolling at a specific time period, or may also be an image reported by the masses through a traffic management platform.
  • upload conditions may be set at the entrance of uploading parking images.
  • the upload condition may include:
  • images at different distances need to include a long-range photo and a close-range image of a vehicle, and the close-range photo includes vehicle number plate information.
  • the long-range photos are used as the basis for judging whether the car has violated the rules (for example, the yellow solid line on the side of the vehicle is pressed), and the close-up photos are used to identify the license plate information of the vehicle and double-verify the judgment of the long-range violation.
  • the back-end server In order to facilitate the analysis of violations by the back-end server, it is also necessary to check the quality of the uploaded measurement image. For example, at the upload entrance, it is required to provide a clear long and short view picture at the same time. Among them, the long view image is required to include the outline of the whole vehicle (for example, the occlusion range is ⁇ 10%) and the traffic sign line, and the close view image is required to include the complete license plate suspected of parking No. information. If the uploaded parking image does not include the local or global image of the vehicle, it is determined that the parking image is unqualified, and a dialog box will pop up, prompting "Unqualified, please upload again". In this way, the parking image will be initially screened at the front end. The data processing load of the end server improves the efficiency of identifying violations.
  • the method further includes:
  • a histogram comparison is performed on all uploaded parking images, and an approximate image within a preset threshold range is determined as a repeated parking image.
  • the 102 Perform edge detection on the parking image. If the detection object in the parking image is detected as a motor vehicle, use an image recognition algorithm to identify the vehicle information and parking information of the detection object from the parking image.
  • the vehicle information includes vehicle type and license plate number
  • the parking information includes parking location information and traffic signs.
  • the traffic signs include at least a stop sign line, a no-stop sign line, a no-stop sign or a stop sign.
  • an image recognition algorithm may be used to recognize the vehicle information and parking information in the parking image, and the image recognition algorithm may be a convolutional neural network.
  • the image recognition algorithm may be a convolutional neural network.
  • the license plate number when recognizing the license plate number, the license plate number can be recognized through the target license plate position detection and the license plate number classification, and the accurate coordinate area of the license plate can be obtained through the large-scale neural network (Faster-Recurrent Neural Networks, Faster-RCNN), and the parking The detection objects in the image are classified and position detected. If the license plate is irregular, the angle of the license plate can also be corrected for the designated area to facilitate server identification.
  • the use of an image recognition algorithm to identify the vehicle information and parking information of the detection object from the parking image includes:
  • the pixel average value and standard deviation are calculated on the training result of the pre-training model according to the position information of the detection object, and the calculation result with the largest pixel average value and standard deviation is determined as the vehicle information and parking information of the detection object.
  • a representation of the neural network classifier is:
  • I ⁇ (i,j) I(i,j)- ⁇ (i,j) ⁇ (i,j)+C, ⁇ and ⁇ are respectively in a small local neighborhood centered on the pixel (i,j)
  • C is a constant
  • I is the gray value of the pixel (i, j)
  • (i, j) ⁇ W is the gradient histogram feature.
  • the using an image recognition algorithm to identify the vehicle information and parking information of the detection object from the parking image includes:
  • the vehicle information includes vehicle type and license plate number
  • the parking information includes parking location information and traffic signs
  • the vehicle feature format includes a license plate feature format and a vehicle type feature format.
  • image feature extraction is the most effective way to simplify expression of high-dimensional image data, that is, extract data from the data matrix of an image
  • the key information in the image such as color features, texture features, shape features and local feature points.
  • the image recognition algorithms that implement image feature extraction in this application include convolutional neural networks, local binary mode LBP feature extraction algorithms, directional gradient histogram HOG feature extraction algorithms, wavelet and Haar feature extraction operators, and second-order Laplacian- Gaussian edge LoG extraction algorithm, SIFT feature extraction operator or SURF feature extraction algorithm.
  • Convolutional neural network contains a feature extractor composed of convolutional layer and sub-sampling layer for image recognition.
  • LBP Local Binary Patterns
  • Histogram of Oriented Gradient (HOG) feature extraction algorithm is a feature descriptor used for object detection in computer vision and image processing. It is constructed by calculating and counting the gradient direction histogram of the local area of the image feature.
  • the HoG feature extraction algorithm extracts the statistical histogram of the gradient of each pixel of the image, and generally converts these gradient histograms into a vector for the training input of the classifier.
  • Haar feature value obtained by the Haar feature extraction operator reflects the gray level change of the image.
  • Haar features are divided into edge features, linear features, central features and diagonal features, which are combined into feature templates.
  • white and black rectangles in the feature template There are white and black rectangles in the feature template, and the feature value of the template is defined as the sum of white rectangle pixels and minus black rectangle pixels.
  • the second-order Laplacian-Gaussian edge extraction algorithm image is the LoG feature extraction algorithm.
  • Gaussian filtering is first performed on the image, and then Laplacian edge extraction is performed on the image.
  • the SIFT feature extraction operator is an algorithm for detecting local features. It can also be called the SIFT feature matching algorithm.
  • the algorithm obtains features and performs image feature points by finding feature points in a picture and their related size and direction descriptors For matching, the SIFT feature of each feature point is a 128-dimensional vector.
  • the SURF feature extraction algorithm is an improved version of the SIFT feature extraction operator, which is mainly used to match brightness changes.
  • the traffic sign when recognizing a traffic sign, taking the traffic sign as a landmark line as an example, it can be determined whether there is a parking landmark line in the parking image according to the inference result of the parking image to be detected in the convolutional neural network; if there is parking Landmark line, output the location information of the parking landmark line in the original parking image.
  • the judging whether the detection object meets the parking conditions according to the vehicle information and parking information of the detection object includes the following steps:
  • the license plate number is a fake license plate number, it is determined that the vehicle in the parking image is a parking violation; if the license plate number is a license plate number in the restricted number list, it is determined that the vehicle in the parking image is a parking violation .
  • the parking space can only be used with the Guangdong B license plate number, but the license plate number is the Hubei A license plate number, it is determined that the vehicle in the parking image is an illegal parking behavior.
  • the judging whether the detected object meets the parking conditions according to the vehicle information and parking information of the detected object includes:
  • the semantic segmentation network it is determined whether the detection object occludes the traffic sign, and the traffic sign includes a parking landmark line or a no-stop sign line;
  • the image recognition algorithm is used to identify the detection object vehicle from the parking image Information and parking information, according to the vehicle information and parking information of the detection object, it is determined whether the detection object meets the parking violation condition. It can be seen that this application can not only accept parking images taken by fixed-point equipment, but also only need to send images taken by patrols at a specific time or images reported by people to the traffic control background, which greatly strengthens the deterrence of illegal parking behaviors, and at the same time, it also improves parking violations.
  • the accuracy and speed of the recognition technology can effectively reduce the workload of the traffic police, and can also deal with the increasingly serious illegal parking situation brought about by the rapid growth of urban vehicles.
  • the identification of the vehicle information and parking information of the detection object from the parking image includes step 201 to step 204 as shown in FIG. 2.
  • the super pixel area block refers to the pixel area corresponding to the feature of each part of the parking image.
  • each pixel is classified at the pixel level, the abstract feature information of the object in the image is extracted, and the super pixel segmentation algorithm is used to divide the parking image into multiple super pixel area blocks according to the extracted abstract feature information.
  • the super pixel area block refers to the pixel area corresponding to the feature of each part of the parking image. Then gradually reduce the model space dimension through multiple pooling layers. Subsequently, the position information of the object is gradually recovered through the decoding process, and a direct information connection is added to the symmetrical structure of encoding and decoding to improve the accuracy of recovery of target details.
  • the parking image is divided into a plurality of super pixel area blocks according to the extracted abstract feature information, and the super pixel area blocks refer to pixel areas corresponding to the features of each part of the parking image.
  • the super-pixel segmentation algorithm is used to select several seed points in the original parking image, and through distance measurement (color distance and spatial distance), each pixel is assigned a corresponding category label, and the category label and extraction
  • the abstract feature information of the parking image is divided into multiple super pixel area blocks.
  • a formula for super pixel segmentation algorithm is as follows:
  • dc is the color distance between the pixel point and the seed point
  • ds is the spatial distance
  • D' is the standardized measurement coefficient
  • the remaining super-pixel area blocks do not carry vehicle feature information, and all the information contained in them is background feature information.
  • a local classifier refers to learning classification rules and classifiers using training data with a given category known, and then classifying or predicting unknown data.
  • the local classifier in this application can use a Support Vector Machine (SVM), through which the best separation hyperplane can be found in the feature space to maximize the interval between positive and negative samples on the training set. That is, the local classifier in this application may be a local SVM classifier based on HOG features.
  • SVM Support Vector Machine
  • the detection object is a motor vehicle according to the extracted vehicle category feature information, identify the location information of the detection object and the location information of the traffic sign according to the superpixel area block with vehicle feature information.
  • the detection target is a non-motor vehicle, it is determined that the parking image is invalid, and the detection process ends.
  • Parking images that cannot be recognized by the machine generally include the following situations: a. It can recognize the location of the vehicle, but the license plate number information; b. It can recognize the license plate number information, but cannot recognize the complete location of the vehicle; c. Can recognize the vehicle Location and license plate number information, but the location of the landmark line cannot be identified; d. The location of the target vehicle cannot match the location of the license plate; e. The type of landmark line cannot be recognized.
  • the identifying the location information of the detection object and the location information of the traffic sign according to the superpixel area block with vehicle characteristic information includes:
  • Bhattacharyya distance is as follows:
  • p(x) refers to the location information of the detection object
  • q(x) refers to the location information of the traffic sign adjacent to the target vehicle
  • BC(p, q) refers to the location information of the detection object and the traffic sign Bhattacharyya distance.
  • a schematic structural diagram of a server 30 can be applied to traffic violation management.
  • the server in the embodiment of the present application can implement the steps corresponding to the method for identifying vehicle violations performed in the embodiment corresponding to FIG. 1 above.
  • the functions implemented by the server 30 can be implemented by hardware, or implemented by hardware executing corresponding software.
  • the hardware or software includes one or more modules corresponding to the above functions, and the modules may be software and/or hardware.
  • the server may include an acquisition module 301, a detection module 302, and a processing module 303.
  • the functional implementation of the processing module 303, the detection module 302, and the acquisition module 301 may refer to the operations performed in the embodiment corresponding to FIG. 1, here Do not repeat it.
  • the processing module can be used to control the receiving and sending operations of the acquisition module 301 and the detection operation of the detection module 302.
  • the acquisition module 301 can be used to acquire parking images
  • the detection module 302 can be used to perform edge detection on the parking image to detect the detection object in the parking image;
  • the processing module 303 can be configured to, if the detection module 302 detects that the detection object in the parking image is a motor vehicle, use an image recognition algorithm to identify the vehicle information and parking information of the detection object from the parking image,
  • the vehicle information includes vehicle type and license plate number, and the parking information includes parking location information and traffic signs; judging whether the detection object meets the parking conditions according to the vehicle information and parking information of the detection object.
  • processing module 303 is used to:
  • the detection module 302 detects that the detection object in the parking image is a motor vehicle, use an image recognition algorithm to identify the characteristic area of the detection object in the parking image, and extract a gradient histogram from the characteristic area Feature, the gradient histogram feature is input to a neural network classifier, the pre-training model in the neural network classifier is trained according to the gradient histogram feature, and the pre-training model is trained according to the position information of the detection object
  • the training result calculates the pixel mean and standard deviation, and the calculation result with the largest pixel mean and standard deviation is determined as the vehicle information and parking information of the detection object.
  • the vehicle information includes vehicle type and license plate number
  • the parking information includes parking. Location information and traffic signs.
  • a representation of the neural network classifier is:
  • I ⁇ (i,j) I(i,j)- ⁇ (i,j) ⁇ (i,j)+C, ⁇ and ⁇ are respectively in a small local neighborhood centered on the pixel (i,j)
  • C is a constant
  • I is the gray value of the pixel (i, j)
  • (i, j) ⁇ W is the gradient histogram feature.
  • the processing module 302 uses an image recognition algorithm to identify the detection from the parking image. According to the vehicle information and parking information of the object, it is determined whether the object of detection meets the parking violation condition according to the vehicle information and parking information of the object of detection. It can be seen that this application can not only accept parking images taken by fixed-point equipment, but also only need to send images taken by patrols at a specific time or images reported by people to the traffic control background, which greatly strengthens the deterrence of illegal parking behaviors, and at the same time, it also improves parking violations.
  • the accuracy and speed of the recognition technology can effectively reduce the workload of the traffic police, and can also deal with the increasingly serious illegal parking situation brought about by the rapid growth of urban vehicles.
  • the processing module 303 is further configured to: after the acquiring module 301 acquires the parking image and before the detection module 302 detects that the detection object in the parking image is a motor vehicle:
  • An upload condition is set at the entrance of uploading the parking image, and the upload condition includes one of the following items:
  • the processing module 303 is further configured to: after the acquiring module 301 acquires the parking image and before the detection module 302 detects that the detection object in the parking image is a motor vehicle:
  • the image characteristics of the parking image perform a histogram comparison of all uploaded parking images, and determine approximate images within a preset threshold range as repeated parking images;
  • the processing module 303 is specifically configured to:
  • Using a super pixel segmentation algorithm divide the parking image into a plurality of super pixel area blocks according to the extracted abstract feature information, where the super pixel area blocks refer to pixel areas corresponding to the features of each part of the parking image;
  • the position information of the detection object and the position information of the traffic sign are identified according to the superpixel area block with vehicle characteristic information.
  • the processing module 303 is specifically configured to:
  • Bhattacharyya distance is as follows:
  • p(x) refers to the location information of the detection object
  • q(x) refers to the location information of the traffic sign adjacent to the target vehicle
  • BC(p, q) refers to the location information of the detection object and the traffic sign Bhattacharyya distance.
  • the processing module 303 is specifically configured to:
  • the license plate number is a fake license plate number, it is determined that the vehicle in the parking image is a parking violation; if the license plate number is a license plate number in the restricted number list, it is determined that the vehicle in the parking image is a parking violation .
  • the processing module 303 is specifically configured to:
  • the semantic segmentation network it is determined whether the detection object occludes the traffic sign, and the traffic sign includes a parking landmark line or a no-stop sign line;
  • the computer devices in the embodiments of the present application are introduced separately from the perspective of modular functional entities above.
  • the following describes a computer device from the perspective of hardware, as shown in FIG. 4, which includes: a processor, a memory, a transceiver (or An input and output unit (not identified in FIG. 4) and a computer program stored in the memory and running on the processor.
  • the computer program may be a program corresponding to the method for identifying vehicle violations in the embodiment corresponding to FIG. 1.
  • the processor executes the computer program to implement the method for identifying vehicle violations executed by the server 30 in the embodiment corresponding to FIG.
  • the processor executes the computer program, the function of each module in the server 30 in the embodiment corresponding to FIG. 3 is realized.
  • the computer program may be a program corresponding to the method for identifying vehicle violations in the embodiment corresponding to FIG. 1.
  • the so-called processor can be a central processing unit (Central Processing Unit, CPU), other general-purpose processors, digital signal processors (Digital Signal Processor, DSP), application specific integrated circuits (Application Specific Integrated Circuit, ASIC), ready-made Field-Programmable Gate Array (FPGA) or other programmable logic devices, discrete gates or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor may be a microprocessor or the processor may also be any conventional processor, etc.
  • the processor is the control center of the computer device and connects various parts of the entire computer device through various interfaces and lines.
  • the memory may be used to store the computer program and/or module, and the processor implements the computer by running or executing the computer program and/or module stored in the memory, and calling data stored in the memory.
  • the memory may mainly include a storage program area and a storage data area.
  • the storage program area may store an operating system, an application program required by at least one function (such as a sound playback function, an image playback function, etc.), etc.; Data created based on the use of mobile phones (such as audio data, video data, etc.), etc.
  • the memory may include high-speed random access memory, and may also include non-volatile memory, such as hard disks, memory, plug-in hard disks, smart media cards (SMC), and secure digital (SD) cards , Flash Card, at least one magnetic disk storage device, flash memory device, or other volatile solid-state storage device.
  • non-volatile memory such as hard disks, memory, plug-in hard disks, smart media cards (SMC), and secure digital (SD) cards , Flash Card, at least one magnetic disk storage device, flash memory device, or other volatile solid-state storage device.
  • the transceiver may also be replaced by a receiver and a transmitter, and may be the same or different physical entities. When they are the same physical entity, they can be collectively referred to as transceivers.
  • the memory may be integrated in the processor, or may be provided separately from the processor.
  • the transceiver can be an input and output unit.
  • the method of the above embodiments can be implemented by means of software plus the necessary general hardware platform. Of course, it can also be achieved by hardware, but in many cases the former is better. ⁇
  • the technical solution of this application essentially or the part that contributes to the existing technology can be embodied in the form of a software product.
  • the computer software product is stored in a storage medium (such as ROM/RAM), including Several instructions are used to make a terminal (which may be a mobile phone, a computer, a server, or a network device, etc.) execute the method described in each embodiment of the present application.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及图像检测领域，提供识别车辆违章行为的方法、服务器及存储介质，该方法包括：检测到停车图像中的检测对象为机动车后，根据边缘检测方式检测到停车图像中的检测对象为机动车后，利用图像识别算识别检测对象的特征区域，从特征区域中提取梯度直方图特征并输入神经网络分类器，以对神经网络分类器中的预训练模型进行训练，根据检测对象的位置信息对训练结果计算像素均值和标准差，将像素均值和标准差最大的计算结果确定为检测对象的车辆信息和泊车信息，根据检测对象的车辆信息和泊车信息判断检测对象是否符合违停条件。本方案能够提高违停识别准确率和速度、减轻交警工作量以及应对城市车辆增长迅速带来的日益严重的违章停车情况。

Description

一种识别车辆违章行为的方法、服务器及存储介质
本申请要求于2019-02-25日提交中国专利局、申请号为201910136176.2、发明名称为“一种识别车辆违章行为的方法、服务器及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及图像检测领域，尤其涉及一种识别车辆违章行为的方法、服务器及存储介质。
背景技术
随着我国机动车保有量不断地增加,违章停车问题也逐渐增多。执勤交警受工作时间、人力等因素无法对所有违停车辆进行现场处罚,而定点的拍照或监控设备由于存在盲区也不能拍摄所有的违停行为，群众拍照举报系统往往也需要大量审核人员处理。
但是，发明人发现，现有机制中检测违章停车时，存在以下问题：
无法有效的、自动的判断车辆与停车标志线关系；
所拍摄的涉嫌违停车辆照片的存在失效和重复性问题；
对于群众拍照交通举报系统往往也需要大量审核人员处理，照片的筛选、识别效率低，且劳动强度大。
发明内容
本申请提供了一种识别车辆违章行为的方法、服务器及存储介质，能够解决现有技术中违停识别技术准确率低、速度慢，交警工作量大的问题。
第一方面，本申请提供一种识别车辆违章行为的方法，所述方法包括：
获取停车图像；
若检测到所述停车图像中的检测对象为机动车后，利用图像识别算法从所述停车图像中识别所述检测对象的车辆信息和泊车信息，所述车辆信息包括车辆类型和车牌号，所述泊车信息包括停车的位置信息和交通标志；
根据所述检测对象的车辆信息和泊车信息判断所述检测对象是否符合违停条件。
一种可能的设计中，所述获取停车图像之后，所述检测到所述停车图像中的检测对象为机动车之前，所述方法还包括：
在上传所述停车图像的入口设置上传条件，所述上传条件包括以下项之一：
车辆不同距离或角度的图像、或者包含车辆信息的图像。
一种可能的设计中，所述获取停车图像之后，所述检测到所述停车图像中的检测对象 为机动车之前，所述方法还包括：
对上传的所有停车图像进行分析，获取所述停车图像的直方图的图像特征，所述图像特征包括旋转、位移、放大、缩小和不变性；
根据所述停车图像的图像特征，对所有上传的停车图像进行直方图比较，将在预设的阈值范围内的近似图像确定为重复的停车图像；
对在预设的阈值范围内的近似图像进行剔除处理。
一种可能的设计中，所述从所述停车图像中识别所述检测对象的车辆信息和泊车信息，包括：
将所述停车图像分割成多个超像素区域块；
采用局部分类器从各超像素区域块中识别出带有车辆特征信息的超像素区域块；
若各超像素区域块中存在带有车辆特征信息的超像素区域块，则从带有车辆特征信息的超像素区域块中提取车辆类别特征信息；
若根据提取的车辆类别特征信息确定所述检测对象为机动车，则根据带有车辆特征信息的超像素区域块识别所述检测对象的位置信息和所述交通标志的位置信息。
一种可能的设计中，所述根据带有车辆特征信息的超像素区域块识别所述检测对象的位置信息和所述交通标志的位置信息，包括：
定位出所述检测对象的位置信息；
计算所述检测对象与所述交通标志的巴氏距离：
根据所述检测对象的位置信息与所述巴氏距离计算得到所述交通标志的位置信息；
其中，计算所述巴氏距离的公式如下：
Figure PCTCN2019092688-appb-000001
p(x)是指所述检测对象的位置信息，q(x)是指与目标车辆相邻的交通标志的位置信息，BC(p，q)是指所述检测对象与所述交通标志的巴氏距离。
一种可能的设计中，所述根据所述检测对象的车辆信息和泊车信息判断所述检测对象是否符合违停条件，包括：
将所述车牌号与后台数据比对，判断所述车牌号的真伪，以及判断所述车牌号是否在限号列表中；
若所述车牌号为假车牌号，则确定所述停车图像中的车辆属于违停行为；若所述车牌号为限号列表中的车牌号，则确定该停车图像中的车辆属于违停行为。
一种可能的设计中，所述根据所述检测对象的车辆信息和泊车信息判断所述检测对象是否符合违停条件，包括：
定位出所述检测对象的位置信息；
根据语义分割网络译码后的物体分类标注，判断检测对象是否遮挡所述交通标志，所述交通标志包括停车地标线或禁停标志线；
若所述交通标志的坐标位置与所述检测对象的坐标位置发生重叠，则确定所述检测对象对应的车辆存在违章行为。
第二方面，本申请提供一种服务器，具有实现对应于上述第一方面提供的识别车辆违章行为的方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。
一种可能的设计中，所述服务器包括：
获取模块，用于获取停车图像；
检测模块，用于对所述停车图像进行边缘检测，以检测所述停车图像中的检测对象；
处理模块，用于若所述检测模块检测到所述停车图像中的检测对象为机动车后，利用图像识别算法从所述停车图像中识别所述检测对象的特征区域，从所述特征区域中提取梯度直方图特征，将所述梯度直方图特征输入神经网络分类器，根据所述梯度直方图特征对所述神经网络分类器中的预训练模型进行训练，根据检测对象的位置信息对所述预训练模型的训练结果计算像素均值和标准差，将像素均值和标准差最大的计算结果确定为所述检测对象的车辆信息和泊车信息，所述车辆信息包括车辆类型和车牌号，所述泊车信息包括停车的位置信息和交通标志；根据所述检测对象的车辆信息和泊车信息判断所述检测对象是否符合违停条件；
其中，所述神经网络分类器的一种表示方式为：
I^(i,j)＝I(i,j)-μ(i,j)σ(i,j)+C，μ、σ分别是以像素点(i,j)为中心的局部小邻域内的像素均值和标准差，C是常数，I是像素点(i,j)的灰度值，(i,j)∈W，W为所述梯度直方图特征。
一种可能的设计中，所述处理模块在所述获取模块获取停车图像之后，所述检测模块检测到所述停车图像中的检测对象为机动车之前，还用于：
在上传所述停车图像的入口设置上传条件，所述上传条件包括以下项之一：
车辆不同距离或角度的图像、或者包含车辆信息的图像。
一种可能的设计中，所述处理模块在所述获取模块获取停车图像之后，所述检测模块检测到所述停车图像中的检测对象为机动车之前，还用于：
对上传的所有停车图像进行分析，获取所述停车图像的直方图的图像特征，所述图像特征包括旋转、位移、放大、缩小和不变性；
根据所述停车图像的图像特征，对所有上传的停车图像进行直方图比较，将在预设的阈值范围内的近似图像确定为重复的停车图像；
对在预设的阈值范围内的近似图像进行剔除处理。
一种可能的设计中，所述处理模块具体用于：
在像素级层面对所述停车图像中的每个像素进行分类，抽取所述停车图像中带有车辆特征信息的抽象特征信息；
采用超像素分割算法，按照抽取的抽象特征信息将所述停车图像分割成多个超像素区域块，所述超像素区域块是指所述停车图像的各部分的特征所对应的像素区域；
采用基于HOG特征的局部SVM分类器从各超像素区域块中识别出带有车辆特征信息的超像素区域块；
若各超像素区域块中存在带有车辆特征信息的超像素区域块，则从带有车辆特征信息的超像素区域块中提取车辆类别特征信息；
若根据提取的车辆类别特征信息确定所述检测对象为机动车，则根据带有车辆特征信息的超像素区域块识别所述检测对象的位置信息和所述交通标志的位置信息。
一种可能的设计中，所述处理模块具体用于：
通过所述检测模块定位出所述检测对象的位置信息；
计算所述检测对象与所述交通标志的巴氏距离：
根据所述检测对象的位置信息与所述巴氏距离计算得到所述交通标志的位置信息；
其中，巴氏距离的计算公式如下：
Figure PCTCN2019092688-appb-000002
p(x)是指所述检测对象的位置信息，q(x)是指与目标车辆相邻的交通标志的位置信息，BC(p，q)是指所述检测对象与所述交通标志的巴氏距离。
一种可能的设计中，所述处理模块具体用于：
将所述车牌号与后台数据比对，判断所述车牌号的真伪，以及判断所述车牌号是否在限号列表中；
若所述车牌号为假车牌号，则确定所述停车图像中的车辆属于违停行为；若所述车牌号为限号列表中的车牌号，则确定该停车图像中的车辆属于违停行为。
一种可能的设计中，所述处理模块具体用于：
通过所述检测模块定位出所述检测对象的位置信息；
根据语义分割网络译码后的物体分类标注，判断检测对象是否遮挡所述交通标志，所述交通标志包括停车地标线或禁停标志线；
若所述交通标志的坐标位置与所述检测对象的坐标位置发生重叠，则确定所述检测对象对应的车辆存在违章行为。
本申请又一方面提供了一种计算机装置，其包括至少一个连接的处理器、存储器、发射器和接收器，其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中的程序代码来执行以下操作：
通过收发器获取停车图像；
对所述停车图像进行边缘检测，以检测所述停车图像中的检测对象；
若检测到所述停车图像中的检测对象为机动车后，利用图像识别算法从所述停车图像中识别所述检测对象的特征区域，从所述特征区域中提取梯度直方图特征，将所述梯度直方图特征输入神经网络分类器，根据所述梯度直方图特征对所述神经网络分类器中的预训练模型进行训练，根据检测对象的位置信息对所述预训练模型的训练结果计算像素均值和标准差，将像素均值和标准差最大的计算结果确定为所述检测对象的车辆信息和泊车信息，所述车辆信息包括车辆类型和车牌号，所述泊车信息包括停车的位置信息和交通标志；根据所述检测对象的车辆信息和泊车信息判断所述检测对象是否符合违停条件；
其中，所述神经网络分类器的一种表示方式为：
I^(i,j)＝I(i,j)-μ(i,j)σ(i,j)+C，μ、σ分别是以像素点(i,j)为中心的局部小邻域内的像素均值和标准差，C是常数，I是像素点(i,j)的灰度值，(i,j)∈W，W为所述梯度直方图特征。
一种可能的设计中，所述处理器在所述获取模块获取停车图像之后，检测到所述停车图像中的检测对象为机动车之前，还用于执行以下操作：
在上传所述停车图像的入口设置上传条件，所述上传条件包括以下项之一：
车辆不同距离或角度的图像、或者包含车辆信息的图像。
一种可能的设计中，所述处理器在所述收发器获取停车图像之后，检测到所述停车图像中的检测对象为机动车之前，还用于执行以下操作：
对上传的所有停车图像进行分析，获取所述停车图像的直方图的图像特征，所述图像特征包括旋转、位移、放大、缩小和不变性；
根据所述停车图像的图像特征，对所有上传的停车图像进行直方图比较，将在预设的 阈值范围内的近似图像确定为重复的停车图像；
对在预设的阈值范围内的近似图像进行剔除处理。
一种可能的设计中，所述处理器具体用于执行以下操作：
在像素级层面对所述停车图像中的每个像素进行分类，抽取所述停车图像中带有车辆特征信息的抽象特征信息；
采用超像素分割算法，按照抽取的抽象特征信息将所述停车图像分割成多个超像素区域块，所述超像素区域块是指所述停车图像的各部分的特征所对应的像素区域；
采用基于HOG特征的局部SVM分类器从各超像素区域块中识别出带有车辆特征信息的超像素区域块；
若各超像素区域块中存在带有车辆特征信息的超像素区域块，则从带有车辆特征信息的超像素区域块中提取车辆类别特征信息；
若根据提取的车辆类别特征信息确定所述检测对象为机动车，则根据带有车辆特征信息的超像素区域块识别所述检测对象的位置信息和所述交通标志的位置信息。
一种可能的设计中，所述处理器具体用于执行以下操作：
通过所述检测模块定位出所述检测对象的位置信息；
计算所述检测对象与所述交通标志的巴氏距离：
根据所述检测对象的位置信息与所述巴氏距离计算得到所述交通标志的位置信息；
其中，巴氏距离的计算公式如下：
Figure PCTCN2019092688-appb-000003
p(x)是指所述检测对象的位置信息，q(x)是指与目标车辆相邻的交通标志的位置信息，BC(p，q)是指所述检测对象与所述交通标志的巴氏距离。
一种可能的设计中，所述处理器具体用于执行以下操作：
将所述车牌号与后台数据比对，判断所述车牌号的真伪，以及判断所述车牌号是否在限号列表中；
若所述车牌号为假车牌号，则确定所述停车图像中的车辆属于违停行为；若所述车牌号为限号列表中的车牌号，则确定该停车图像中的车辆属于违停行为。
本申请又一方面提供了一种非易失性计算机存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。
相较于现有技术，本申请提供的方案中，获取停车图像后，若检测到所述停车图像中的检测对象为机动车，利用图像识别算法从所述停车图像中识别所述检测对象的车辆信息和泊车信息，根据所述检测对象的车辆信息和泊车信息判断所述检测对象是否符合违停条 件。可见，本申请既可以承接定点设备所拍摄的停车图像，也可以只需要特定时段巡逻拍摄图像或群众举报图像传至交管后台即可，大大加强对违章停车行为的威慑，同时，也提高违停识别技术准确率和速度，能够有效减轻交警工作量，还可以应对城市车辆增长迅速带来的日益严重的违章停车情况。
附图说明
图1为本申请实施例中识别车辆违章行为的方法的一种流程示意图；
图2为本申请实施例中识别车辆信息和泊车信息的一种流程示意图；
图3为本申请实施例中服务器的一种结构示意图；
图4为本申请实施例中服务器的一种结构示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本领域技术人员应当理解，本发明所称的“应用”、“应用程序”、“应用软件”以及类似表述的概念，是业内技术人员所公知的相同概念，是指由一系列计算机指令及相关数据资源有机构造的适于电子运行的计算机软件。除非特别指定，这种命名本身不受编程语言种类、级别，也不受其赖以运行的操作系统或平台所限制。理所当然地，此类概念也不受任何形式的终端所限制。
本领域技术人员应当理解，本发明所称的“应用”、“应用程序”、“应用软件”以及类似表述的概念，是业内技术人员所公知的相同概念，是指由一系列计算机指令及相关数 据资源有机构造的适于电子运行的计算机软件。除非特别指定，这种命名本身不受编程语言种类、级别，也不受其赖以运行的操作系统或平台所限制。理所当然地，此类概念也不受任何形式的终端所限制。
本申请提供一种识别车辆违章行为的方法、服务器及存储介质，可用于交通违章。
为解决上述技术问题，本申请主要提供以下技术方案：
通过基于深度学习的停车图像识别方法和违停车辆照片检测方法解决车辆识别的效率和准确率，将静态图像下的车辆检测问题转换成以超像素为单位的目标与背景二分类问题,以局部学习中心选取策略和巴氏距离大小为基础,将样本划分若干子集并在每个子集上训练一个局部分类器来检测各超像素是否属于车辆,从而确定目标车辆区域。通过将基于卷积神经网络(Convolutional Neural Networks，CNN)的方法与长短期记忆网络(Long Short-Term Memory，LSTM)相结合，形成长期递归卷积网络(Long-term Recurrent Convolutional Network，LRCN)，有效检测车辆是否停在指定区域，判断车辆与停车标志线关系。以及通过面向违停车辆的举报照片有效性检测方案和多信息联合的车辆举报照片去重方案，利用车牌识别，提高检测效率和有效性、基于深度学习的停车图像识别方法以及手机端的方向传感器数据来检测举报照片是否满足有效性标准。
参照图1，以下介绍本申请的一种识别车辆违章行为的方法，该方法由交管后台的服务器执行，所述方法包括：
101、获取停车图像。
其中，所述停车图像包括停车位以及停在所述停车位上的车辆。所述停车图像可以是交警在特定时段巡逻拍摄的图像，或也可以是来自于群众通过交管平台举报的图像。
一些实施方式中，为提高车辆违停识别的效率，可以在上传停车图像的入口设置上传条件。其中，所述上传条件可包括：
车辆不同距离或角度的图像、或者包含车辆信息的图像。
例如，不同距离的图像需要包括一张远景照片以及一张车辆近景图像，所述近景照片包括车辆号牌信息。其中，远景照片作为判断汽车是否发生违章行为的判断依据(例如车辆压路边黄色实线)，近景照片则用于识别车辆的车牌信息以及对远景违章判别的双重验证。
为便于后台的服务器对违章行为进行分析，还需要检测上传的测量图像的质量。例如，在上传入口，要求同时提供清晰的远近景图片各一张，其中，远景图片要求包含整车轮廓(例如遮挡范围<10％)及交通标志线，近景图片要求包含完整涉嫌违停的车牌号信息。如果该上传的停车图像中不包括车辆的局部或全局图像，则确定该停车图像不合格，弹出对话框，提示“不合格，请重新上传”，这样在前端将停车图像进行初筛，减少后端服务器的数据处理负荷，提高违停行为的识别效率。
一些实施方式中，为避免重复上传停车图像，还可以对上传的所有停车图像进行分析，识别出重复的停车图像后，可对这些停车图像进行去重处理。具体来说，在获取停车图像之后，所述检测到所述停车图像中的检测对象为机动车之前，所述方法还包括：
对上传的所有停车图像进行分析，获取所述停车图像的直方图的图像特征，所述图像特征包括旋转、位移、放大、缩小和不变性；
根据所述停车图像的图像特征，对所有上传的停车图像进行直方图比较，将在预设的阈值范围内的近似图像确定为重复的停车图像。
可见，识别出重复的停车图像后，通过对在预设的阈值范围内的近似图像进行剔除处理(即对这些停车图像进行去重处理)，能够减少不必要的噪声图像，便于后台的服务器进行违停分析。
102、对所述停车图像进行边缘检测，若检测到所述停车图像中的检测对象为机动车后，利用图像识别算法从所述停车图像中识别所述检测对象的车辆信息和泊车信息。
其中，所述车辆信息包括车辆类型和车牌号，所述泊车信息包括停车的位置信息和交通标志。所述交通标志至少包括停车标志线、禁停标志线、禁停标志牌或者停车标志牌。
一些实施方式中，可利用图像识别算法识别所述停车图像中的车辆信息和泊车信息，该图像识别算法可以是卷积神经网络。举例来说，识别车牌号时，可通过目标车牌位置检测和车牌号码分类进行车牌号识别，通过大型神经网络(Faster-Recurrent Neural Networks，Faster-RCNN)获取车牌的准确坐标区域，同时对该停车图像中的检测对象进行分类以及位置检测。若车牌不规则，还可以针对指定区域进行车牌角度校正，便于服务器识别。
一些实施方式中，所述利用图像识别算法从所述停车图像中识别所述检测对象的车辆信息和泊车信息，包括：
利用图像识别算法从所述停车图像中识别所述检测对象的特征区域；
从所述特征区域中提取梯度直方图特征；
将所述梯度直方图特征输入神经网络分类器，根据所述梯度直方图特征对所述神经网络分类器中的预训练模型进行训练；
根据检测对象的位置信息对所述预训练模型的训练结果计算像素均值和标准差，将像素均值和标准差最大的计算结果确定为所述检测对象的车辆信息和泊车信息。
其中，所述神经网络分类器的一种表示方式为：
I^(i,j)＝I(i,j)-μ(i,j)σ(i,j)+C，μ、σ分别是以像素点(i,j)为中心的局部小邻域内的像素均值和标准差，C是常数，I是像素点(i,j)的灰度值，(i,j)∈W，W为所述梯度直方图特征。
另一些实施方式中，所述利用图像识别算法从所述停车图像中识别所述检测对象的车辆信息和泊车信息，包括：
利用图像识别算法对所述停车图像依次进行灰度化处理、灰度拉伸处理、二值化处理和中值滤波处理，得到二值化图像；
按照预设的车辆特征格式从所述二值化图像中识别所述检测对象中与所述车辆特征格式匹配的车辆信息，以及按照预设的停车特征格式从所述二值化图像中识别所述检测对象中与所述停车特征格式匹配的泊车信息。
其中，所述车辆信息包括车辆类型和车牌号，所述泊车信息包括停车的位置信息和交通标志；所述车辆特征格式包括车牌特征格式和车辆类型特征格式。
本申请实施例中，由于图像分析与图像识别的前提是图像特征提取，图像特征提取是将高维的图像数据进行简化表达最有效的方式，即根据一幅图像的的数据矩阵中的数据提取出该幅图像中的关键信息，例如颜色特征、纹理特征、形状特征以及局部特征点。本申请中实现图像特征提取的图像识别算法包括卷积神经网络、局部二值模式LBP特征提取算法、方向梯度直方图HOG特征提取算法、小波和Haar特征提取算子、二阶拉普拉斯-高斯边缘LoG提取算法、SIFT特征提取算子或SURF特征提取算法。
卷积神经网络包含一个由卷积层和子采样层构成的特征抽取器，用于图像识别。
局部二值模式(Local Binary Patterns，LBP)是提取局部特征作为判别依据的，为一种有效的纹理描述算子，度量和提取图像局部的纹理信息，对光照具有不变性。
方向梯度直方图(Histogram of Oriented Gradient,HOG)特征提取算法是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子，它通过计算和统计图像局部区域的梯度方向直方图来构成特征。HoG特征提取算法提取的是图像各个像素梯度的统计直方图， 一般会将这些梯度直方图转化成一个向量，用于分类器的训练输入。
Haar特征提取算子得到的Haar特征值反映图像的灰度变化情况。Haar特征分为边缘特征、线性特征、中心特征和对角线特征，组合成特征模板。特征模板内有白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。
二阶拉普拉斯-高斯边缘提取算法图像即LoG特征提取算法，在进行图像识别时，先对图像进行高斯滤波，然后对图像进行拉普拉斯边缘提取。
SIFT特征提取算子是一种检测局部特征的算法，也可称为SIFT特征匹配算法，该算法通过求一幅图中的特征点及其有关尺寸和方向的描述子得到特征并进行图像特征点匹配，每个特征点的SIFT特征是128维向量。
SURF特征提取算法是SIFT特征提取算子的改进版，主要用在亮度变化上匹配。
一些实施方式中，识别交通标志时，以交通标志为地标线为例，可根据待检测的停车图像在卷积神经网络中的推理结果，判断停车图像是否存在停车地标线；若存在停车地标线，则输出原停车图像中停车地标线的位置信息。
103、根据所述检测对象的车辆信息和泊车信息判断所述检测对象是否符合违停条件。
一些实施方式中，所述根据所述检测对象的车辆信息和泊车信息判断所述检测对象是否符合违停条件，包括以下步骤：
将所述车牌号与后台数据比对，判断所述车牌号的真伪，以及判断所述车牌号是否在限号列表中；
若所述车牌号为假车牌号，则确定所述停车图像中的车辆属于违停行为；若所述车牌号为限号列表中的车牌号，则确定该停车图像中的车辆属于违停行为。例如该停车位只能粤B车牌号使用，但该车牌号为鄂A车牌号，则确定该停车图像中的车辆属于违停行为。
另一些实施方式中，所述根据所述检测对象的车辆信息和泊车信息判断所述检测对象是否符合违停条件，包括：
定位出所述检测对象的位置信息；
根据语义分割网络译码后的物体分类标注，判断检测对象是否遮挡所述交通标志，所述交通标志包括停车地标线或禁停标志线；
若所述交通标志的坐标位置与所述检测对象的坐标位置发生重叠，则确定所述检测对象对应的车辆存在违章行为。
与现有机制相比，本申请实施例中，获取停车图像后，若检测到所述停车图像中的检测对象为机动车，利用图像识别算法从所述停车图像中识别所述检测对象的车辆信息和泊 车信息，根据所述检测对象的车辆信息和泊车信息判断所述检测对象是否符合违停条件。可见，本申请既可以承接定点设备所拍摄的停车图像，也可以只需要特定时段巡逻拍摄图像或群众举报图像传至交管后台即可，大大加强对违章停车行为的威慑，同时，也提高违停识别技术准确率和速度，能够有效减轻交警工作量，还可以应对城市车辆增长迅速带来的日益严重的违章停车情况。
可选的，在本申请的一些实施例中，所述从所述停车图像中识别所述检测对象的车辆信息和泊车信息，包括如图2所示的步骤201至步骤204：
201、将所述停车图像分割成多个超像素区域块。
其中，所述超像素区域块是指所述停车图像的各部分的特征所对应的像素区域。
一些实施方式中，在像素级层面对每个像素进行分类，抽取图片中物体的抽象特征信息，采用超像素分割算法，按照抽取的抽象特征信息将所述停车图像分割成多个超像素区域块，所述超像素区域块是指所述停车图像的各部分的特征所对应的像素区域。然后通过多个池化层逐渐降低模型空间维度。随后通过译码过程逐步恢复物体的位置信息，在编码与译码的对称结构中加入直接的信息连接，以提高目标细节的恢复准确率。
采用超像素分割算法，按照抽取的抽象特征信息将所述停车图像分割成多个超像素区域块，所述超像素区域块是指所述停车图像的各部分的特征所对应的像素区域。具体来说，采用超像素分割算法在原始停车图像中选取若干个种子点，通过距离度量(颜色距离与空间距离)，为每个像素点分配对应的类别标签，根据像素点的类别标签和抽取的抽象特征信息将所述停车图像分割成多个超像素区域块。超像素分割算法的一种公式如下：
Figure PCTCN2019092688-appb-000004
Figure PCTCN2019092688-appb-000005
Figure PCTCN2019092688-appb-000006
其中dc为像素点与种子点的颜色距离，ds为空间距离，D’为经过标准化的度量系数。
202、采用局部分类器从各超像素区域块中识别出带有车辆特征信息的超像素区域块。
其余的超像素区域块不带有车辆特征信息，其所含的信息全部为背景特征信息。
一些实施方式中，局部分类器是指利用给定的类别已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类或预测。本申请中的局部分类器可采用支持向量机(Support Vector Machine，SVM)，通过SVM可在特征空间上找到最佳的分离超平面使得 训练集上正负样本间隔最大。即本申请中的局部分类器可以为基于HOG特征的局部SVM分类器。
203、判断各超像素区域块中是否存在带有车辆特征信息的超像素区域块。判断结果分下述步骤203-1和步骤203-2：
203-1、若各超像素区域块中存在带有车辆特征信息的超像素区域块，则从带有车辆特征信息的超像素区域块中提取车辆类别特征信息。
203-2、若不存在，则确定所述停车图像无效，检测流程结束。
204、根据提取的车辆类别特征信息判断所述检测对象是否为机动车。判断结果分下述步骤204-1和步骤204-2：
204-1、若根据提取的车辆类别特征信息确定所述检测对象为机动车，则根据带有车辆特征信息的超像素区域块识别所述检测对象的位置信息和所述交通标志的位置信息。
204-2、若确定该检测对象非机动车，则确定所述停车图像无效，检测流程结束。
另一些实施方式中，由于停车图像的获取途径、拍摄者的硬件不同等因素，会导致上传的停车图像无法被机器识别，那么，还可以对机器无法识别的停车图像进行后期的人工判断流程。机器无法识别的停车图像一般包括下述几种情况：a.能识别出车辆位置，但无法识别车牌号信息；b.能识别车牌号信息，但无法识别车辆的完整位置；c.能识别车辆位置及车牌号信息，但无法识别地标线的位置；d.目标车辆位置与车牌位置无法匹配；e.无法识别地标线的类型。
可选的，在本申请的一些实施例中，所述根据带有车辆特征信息的超像素区域块识别所述检测对象的位置信息和所述交通标志的位置信息，包括：
定位出所述检测对象的位置信息；
计算所述检测对象与所述交通标志的巴氏距离：
根据所述检测对象的位置信息与所述巴氏距离计算得到所述交通标志的位置信息；
其中，巴氏距离的计算公式如下：
Figure PCTCN2019092688-appb-000007
p(x)是指所述检测对象的位置信息，q(x)是指与目标车辆相邻的交通标志的位置信息，BC(p，q)是指所述检测对象与所述交通标志的巴氏距离。
上述图1-图2中所对应的实施例中提及的各项技术特征也同样适用于本申请中的图3和图4所对应的实施例，后续类似之处不再赘述。
以上对本申请中一种识别车辆违章行为的方法进行说明，以下对执行上述识别车辆违 章行为的方法的服务器进行描述。
如图3所示的一种服务器30的结构示意图，其可应用于交通违章管理。本申请实施例中的服务器能够实现对应于上述图1所对应的实施例中所执行的识别车辆违章行为的方法的步骤。服务器30实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。所述服务器可包括获取模块301、检测模块302和处理模块303，所述处理模块303、检测模块302和获取模块301的功能实现可参考图1所对应的实施例中所执行的操作，此处不作赘述。处理模块可用于控制所述获取模块301的收发操作，以及控制检测模块302的检测操作。
一些实施方式中，所述获取模块301可用于获取停车图像；
所述检测模块302可用于对所述停车图像进行边缘检测，以检测所述停车图像中的检测对象；
所述处理模块303可用于若所述检测模块302检测到所述停车图像中的检测对象为机动车后，利用图像识别算法从所述停车图像中识别所述检测对象的车辆信息和泊车信息，所述车辆信息包括车辆类型和车牌号，所述泊车信息包括停车的位置信息和交通标志；根据所述检测对象的车辆信息和泊车信息判断所述检测对象是否符合违停条件。
具体来说，所述处理模块303用于：
若所述检测模块302检测到所述停车图像中的检测对象为机动车后，利用图像识别算法从所述停车图像中识别所述检测对象的特征区域，从所述特征区域中提取梯度直方图特征，将所述梯度直方图特征输入神经网络分类器，根据所述梯度直方图特征对所述神经网络分类器中的预训练模型进行训练，根据检测对象的位置信息对所述预训练模型的训练结果计算像素均值和标准差，将像素均值和标准差最大的计算结果确定为所述检测对象的车辆信息和泊车信息，所述车辆信息包括车辆类型和车牌号，所述泊车信息包括停车的位置信息和交通标志。
其中，所述神经网络分类器的一种表示方式为：
I^(i,j)＝I(i,j)-μ(i,j)σ(i,j)+C，μ、σ分别是以像素点(i,j)为中心的局部小邻域内的像素均值和标准差，C是常数，I是像素点(i,j)的灰度值，(i,j)∈W，W为所述梯度直方图特征。
本申请实施例中，获取模块301获取停车图像后，若检测模块302检测到所述停车图像中的检测对象为机动车，则处理模块302利用图像识别算法从所述停车图像中识别所述 检测对象的车辆信息和泊车信息，根据所述检测对象的车辆信息和泊车信息判断所述检测对象是否符合违停条件。可见，本申请既可以承接定点设备所拍摄的停车图像，也可以只需要特定时段巡逻拍摄图像或群众举报图像传至交管后台即可，大大加强对违章停车行为的威慑，同时，也提高违停识别技术准确率和速度，能够有效减轻交警工作量，还可以应对城市车辆增长迅速带来的日益严重的违章停车情况。
一些实施方式中，所述处理模块303在所述获取模块301获取停车图像之后，所述检测模块302检测到所述停车图像中的检测对象为机动车之前，还用于：
在上传所述停车图像的入口设置上传条件，所述上传条件包括以下项之一：
车辆不同距离或角度的图像、或者包含车辆信息的图像。
一些实施方式中，所述处理模块303在所述获取模块301获取停车图像之后，所述检测模块302检测到所述停车图像中的检测对象为机动车之前，还用于：
对上传的所有停车图像进行分析，获取所述停车图像的直方图的图像特征，所述图像特征包括旋转、位移、放大、缩小和不变性；
根据所述停车图像的图像特征，对所有上传的停车图像进行直方图比较，将在预设的阈值范围内的近似图像确定为重复的停车图像；
对在预设的阈值范围内的近似图像进行剔除处理。
一些实施方式中，所述处理模块303具体用于：
在像素级层面对所述停车图像中的每个像素进行分类，抽取所述停车图像中带有车辆特征信息的抽象特征信息；
采用超像素分割算法，按照抽取的抽象特征信息将所述停车图像分割成多个超像素区域块，所述超像素区域块是指所述停车图像的各部分的特征所对应的像素区域；
采用基于HOG特征的局部SVM分类器从各超像素区域块中识别出带有车辆特征信息的超像素区域块；
若各超像素区域块中存在带有车辆特征信息的超像素区域块，则从带有车辆特征信息的超像素区域块中提取车辆类别特征信息；
若根据提取的车辆类别特征信息确定所述检测对象为机动车，则根据带有车辆特征信息的超像素区域块识别所述检测对象的位置信息和所述交通标志的位置信息。
一些实施方式中，所述处理模块303具体用于：
通过所述检测模块302定位出所述检测对象的位置信息；
根据下述巴氏距离计算公式计算所述检测对象与所述交通标志的巴氏距离：
根据所述检测对象的位置信息与所述巴氏距离计算得到所述交通标志的位置信息；
其中，巴氏距离的计算公式如下：
Figure PCTCN2019092688-appb-000008
p(x)是指所述检测对象的位置信息，q(x)是指与目标车辆相邻的交通标志的位置信息，BC(p，q)是指所述检测对象与所述交通标志的巴氏距离。
一些实施方式中，所述处理模块303具体用于：
将所述车牌号与后台数据比对，判断所述车牌号的真伪，以及判断所述车牌号是否在限号列表中；
若所述车牌号为假车牌号，则确定所述停车图像中的车辆属于违停行为；若所述车牌号为限号列表中的车牌号，则确定该停车图像中的车辆属于违停行为。
一些实施方式中，所述处理模块303具体用于：
通过所述检测模块302定位出所述检测对象的位置信息；
根据语义分割网络译码后的物体分类标注，判断检测对象是否遮挡所述交通标志，所述交通标志包括停车地标线或禁停标志线；
若所述交通标志的坐标位置与所述检测对象的坐标位置发生重叠，则确定所述检测对象对应的车辆存在违章行为。
上面从模块化功能实体的角度分别介绍了本申请实施例中的计算机装置，以下从硬件角度介绍一种计算机装置，如图4所示，其包括：处理器、存储器、收发器(也可以是输入输出单元，图4中未标识出)以及存储在所述存储器中并可在所述处理器上运行的计算机程序。例如，该计算机程序可以为图1所对应的实施例中识别车辆违章行为的方法对应的程序。例如，当计算机装置实现如图3所示的服务器30的功能时，所述处理器执行所述计算机程序时实现上述图3所对应的实施例中由服务器30执行的识别车辆违章行为的方法中的各步骤；或者，所述处理器执行所述计算机程序时实现上述图3所对应的实施例的服务器30中各模块的功能。又例如，该计算机程序可以为图1所对应的实施例中识别车辆违章行为的方法对应的程序。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的 控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述收发器也可以用接收器和发送器代替，可以为相同或者不同的物理实体。为相同的物理实体时，可以统称为收发器。所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。该收发器可以为输入输出单元。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本申请的保护之内。

Claims (20)

  1. 一种识别车辆违章行为的方法，所述方法包括：
    获取停车图像；
    对所述停车图像进行边缘检测，若检测到所述停车图像中的检测对象为机动车后，利用图像识别算法从所述停车图像中识别所述检测对象的特征区域，从所述特征区域中提取梯度直方图特征，将所述梯度直方图特征输入神经网络分类器，根据所述梯度直方图特征对所述神经网络分类器中的预训练模型进行训练，根据检测对象的位置信息对所述预训练模型的训练结果计算像素均值和标准差，将像素均值和标准差最大的计算结果确定为所述检测对象的车辆信息和泊车信息，所述车辆信息包括车辆类型和车牌号，所述泊车信息包括停车的位置信息和交通标志；其中，所述神经网络分类器的一种表示方式为：
    I^(i,j)＝I(i,j)-μ(i,j)σ(i,j)+C，μ、σ分别是以像素点(i,j)为中心的局部小邻域内的像素均值和标准差，C是常数，I是像素点(i,j)的灰度值，(i,j)∈W，W为所述梯度直方图特征；
    根据所述检测对象的车辆信息和泊车信息判断所述检测对象是否符合违停条件。
  2. 根据权利要求1所述的方法，所述获取停车图像之后，所述检测到所述停车图像中的检测对象为机动车之前，所述方法还包括：
    在上传所述停车图像的入口设置上传条件，所述上传条件包括以下项之一：
    车辆不同距离或角度的图像、或者包含车辆信息的图像。
  3. 根据权利要求1所述的方法，所述获取停车图像之后，所述检测到所述停车图像中的检测对象为机动车之前，所述方法还包括：
    对上传的所有停车图像进行分析，获取所述停车图像的直方图的图像特征，所述图像特征包括旋转、位移、放大、缩小和不变性；
    根据所述停车图像的图像特征，对所有上传的停车图像进行直方图比较，将在预设的阈值范围内的近似图像确定为重复的停车图像；
    对在预设的阈值范围内的近似图像进行剔除处理。
  4. 根据权利要求1-3中任一项所述的方法，所述从所述二值化图像中识别所述检测对象的车辆信息，以及按照预设的停车特征格式从所述二值化图像中识别所述检测对象中与所述停车特征格式匹配的泊车信息，包括：
    在像素级层面对所述停车图像中的每个像素进行分类，抽取所述停车图像中带有车辆特征信息的抽象特征信息；
    采用超像素分割算法，按照抽取的抽象特征信息将所述停车图像分割成多个超像素区域块，所述超像素区域块是指所述停车图像的各部分的特征所对应的像素区域；
    采用基于HOG特征的局部SVM分类器从各超像素区域块中识别出带有车辆特征信息的超像素区域块；
    若各超像素区域块中存在带有车辆特征信息的超像素区域块，则从带有车辆特征信息的超像素区域块中提取车辆类别特征信息；
    若根据提取的车辆类别特征信息确定所述检测对象为机动车，则根据带有车辆特征信息的超像素区域块识别所述检测对象的位置信息和所述交通标志的位置信息。
  5. 根据权利要求4所述的方法，所述根据带有车辆特征信息的超像素区域块识别所述检测对象的位置信息和所述交通标志的位置信息，包括：
    定位出所述检测对象的位置信息；
    计算所述检测对象与所述交通标志的巴氏距离：
    根据所述检测对象的位置信息与所述巴氏距离计算得到所述交通标志的位置信息；
    其中，计算所述巴氏距离的公式如下：
    Figure PCTCN2019092688-appb-100001
    p(x)是指所述检测对象的位置信息，q(x)是指与目标车辆相邻的交通标志的位置信息，BC(p，q)是指所述检测对象与所述交通标志的巴氏距离。
  6. 根据权利要求5所述的方法，所述根据所述检测对象的车辆信息和泊车信息判断所述检测对象是否符合违停条件，包括：
    将所述车牌号与后台数据比对，判断所述车牌号的真伪，以及判断所述车牌号是否在限号列表中；
    若所述车牌号为假车牌号，则确定所述停车图像中的车辆属于违停行为；若所述车牌号为限号列表中的车牌号，则确定该停车图像中的车辆属于违停行为。
  7. 根据权利要求5所述的方法，所述根据所述检测对象的车辆信息和泊车信息判断所述检测对象是否符合违停条件，包括：
    定位出所述检测对象的位置信息；
    根据语义分割网络译码后的物体分类标注，判断检测对象是否遮挡所述交通标志，所述交通标志包括停车地标线或禁停标志线；
    若所述交通标志的坐标位置与所述检测对象的坐标位置发生重叠，则确定所述检测对象对应的车辆存在违章行为。
  8. 一种服务器，所述服务器包括：
    获取模块，用于获取停车图像；
    检测模块，用于对所述停车图像进行边缘检测，以检测所述停车图像中的检测对象；
    处理模块，用于若所述检测模块检测到所述停车图像中的检测对象为机动车后，利用图像识别算法从所述停车图像中识别所述检测对象的特征区域，从所述特征区域中提取梯度直方图特征，将所述梯度直方图特征输入神经网络分类器，根据所述梯度直方图特征对所述神经网络分类器中的预训练模型进行训练，根据检测对象的位置信息对所述预训练模型的训练结果计算像素均值和标准差，将像素均值和标准差最大的计算结果确定为所述检测对象的车辆信息和泊车信息，所述车辆信息包括车辆类型和车牌号，所述泊车信息包括停车的位置信息和交通标志；根据所述检测对象的车辆信息和泊车信息判断所述检测对象是否符合违停条件；
    其中，所述神经网络分类器的一种表示方式为：
    I^(i,j)＝I(i,j)-μ(i,j)σ(i,j)+C，μ、σ分别是以像素点(i,j)为中心的局部小邻域内的像素均值和标准差，C是常数，I是像素点(i,j)的灰度值，(i,j)∈W，W为所述梯度直方图特征。
  9. 根据权利要求8所述的服务器，所述处理模块在所述获取模块获取停车图像之后，所述检测模块检测到所述停车图像中的检测对象为机动车之前，还用于：
    在上传所述停车图像的入口设置上传条件，所述上传条件包括以下项之一：
    车辆不同距离或角度的图像、或者包含车辆信息的图像。
  10. 根据权利要求8所述的服务器，所述处理模块在所述获取模块获取停车图像之后，所述检测模块检测到所述停车图像中的检测对象为机动车之前，还用于：
    对上传的所有停车图像进行分析，获取所述停车图像的直方图的图像特征，所述图像特征包括旋转、位移、放大、缩小和不变性；
    根据所述停车图像的图像特征，对所有上传的停车图像进行直方图比较，将在预设的阈值范围内的近似图像确定为重复的停车图像；
    对在预设的阈值范围内的近似图像进行剔除处理。
  11. 根据权利要求8-10中任一项所述的服务器，所述处理模块具体用于：
    在像素级层面对所述停车图像中的每个像素进行分类，抽取所述停车图像中带有车辆特征信息的抽象特征信息；
    采用超像素分割算法，按照抽取的抽象特征信息将所述停车图像分割成多个超像素区域块，所述超像素区域块是指所述停车图像的各部分的特征所对应的像素区域；
    采用基于HOG特征的局部SVM分类器从各超像素区域块中识别出带有车辆特征信息的超像素区域块；
    若各超像素区域块中存在带有车辆特征信息的超像素区域块，则从带有车辆特征信息的超像素区域块中提取车辆类别特征信息；
    若根据提取的车辆类别特征信息确定所述检测对象为机动车，则根据带有车辆特征信息的超像素区域块识别所述检测对象的位置信息和所述交通标志的位置信息。
  12. 根据权利要求11所述的服务器，所述处理模块具体用于：
    通过所述检测模块定位出所述检测对象的位置信息；
    计算所述检测对象与所述交通标志的巴氏距离：
    根据所述检测对象的位置信息与所述巴氏距离计算得到所述交通标志的位置信息；
    其中，巴氏距离的计算公式如下：
    Figure PCTCN2019092688-appb-100002
    p(x)是指所述检测对象的位置信息，q(x)是指与目标车辆相邻的交通标志的位置信息，BC(p，q)是指所述检测对象与所述交通标志的巴氏距离。
  13. 根据权利要求12所述的服务器，所述处理模块具体用于：
    将所述车牌号与后台数据比对，判断所述车牌号的真伪，以及判断所述车牌号是否在限号列表中；
    若所述车牌号为假车牌号，则确定所述停车图像中的车辆属于违停行为；若所述车牌号为限号列表中的车牌号，则确定该停车图像中的车辆属于违停行为。
  14. 一种计算机装置，其特征在于，所述计算机装置包括：
    至少一个处理器、存储器和收发器；
    其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中存储的程序代码来执行以下操作：
    通过收发器获取停车图像；
    对所述停车图像进行边缘检测，以检测所述停车图像中的检测对象；
    若检测到所述停车图像中的检测对象为机动车后，利用图像识别算法从所述停车图像中识别所述检测对象的特征区域，从所述特征区域中提取梯度直方图特征，将所述梯度直方图特征输入神经网络分类器，根据所述梯度直方图特征对所述神经网络分类器中的预训练模型进行训练，根据检测对象的位置信息对所述预训练模型的训练结果计算像素均值和标准差，将像素均值和标准差最大的计算结果确定为所述检测对象的车辆信息和泊车信息，所述车辆信息包括车辆类型和车牌号，所述泊车信息包括停车的位置信息和交通标志；根 据所述检测对象的车辆信息和泊车信息判断所述检测对象是否符合违停条件；
    其中，所述神经网络分类器的一种表示方式为：
    I^(i,j)＝I(i,j)-μ(i,j)σ(i,j)+C，μ、σ分别是以像素点(i,j)为中心的局部小邻域内的像素均值和标准差，C是常数，I是像素点(i,j)的灰度值，(i,j)∈W，W为所述梯度直方图特征。
  15. 根据权利要求14所述的服务器，所述处理器在所述获取模块获取停车图像之后，检测到所述停车图像中的检测对象为机动车之前，还用于执行以下操作：
    在上传所述停车图像的入口设置上传条件，所述上传条件包括以下项之一：
    车辆不同距离或角度的图像、或者包含车辆信息的图像。
  16. 根据权利要求14所述的服务器，所述处理器在所述收发器获取停车图像之后，检测到所述停车图像中的检测对象为机动车之前，还用于执行以下操作：
    对上传的所有停车图像进行分析，获取所述停车图像的直方图的图像特征，所述图像特征包括旋转、位移、放大、缩小和不变性；
    根据所述停车图像的图像特征，对所有上传的停车图像进行直方图比较，将在预设的阈值范围内的近似图像确定为重复的停车图像；
    对在预设的阈值范围内的近似图像进行剔除处理。
  17. 根据权利要求14-16中任一项所述的服务器，所述处理器具体用于执行以下操作：
    在像素级层面对所述停车图像中的每个像素进行分类，抽取所述停车图像中带有车辆特征信息的抽象特征信息；
    采用超像素分割算法，按照抽取的抽象特征信息将所述停车图像分割成多个超像素区域块，所述超像素区域块是指所述停车图像的各部分的特征所对应的像素区域；
    采用基于HOG特征的局部SVM分类器从各超像素区域块中识别出带有车辆特征信息的超像素区域块；
    若各超像素区域块中存在带有车辆特征信息的超像素区域块，则从带有车辆特征信息的超像素区域块中提取车辆类别特征信息；
    若根据提取的车辆类别特征信息确定所述检测对象为机动车，则根据带有车辆特征信息的超像素区域块识别所述检测对象的位置信息和所述交通标志的位置信息。
  18. 根据权利要求17所述的服务器，所述处理器具体用于执行以下操作：
    通过所述检测模块定位出所述检测对象的位置信息；
    计算所述检测对象与所述交通标志的巴氏距离：
    根据所述检测对象的位置信息与所述巴氏距离计算得到所述交通标志的位置信息；
    其中，巴氏距离的计算公式如下：
    Figure PCTCN2019092688-appb-100003
    p(x)是指所述检测对象的位置信息，q(x)是指与目标车辆相邻的交通标志的位置信息，BC(p，q)是指所述检测对象与所述交通标志的巴氏距离。
  19. 根据权利要求18所述的服务器，所述处理器具体用于执行以下操作：
    将所述车牌号与后台数据比对，判断所述车牌号的真伪，以及判断所述车牌号是否在限号列表中；
    若所述车牌号为假车牌号，则确定所述停车图像中的车辆属于违停行为；若所述车牌号为限号列表中的车牌号，则确定该停车图像中的车辆属于违停行为。
  20. 一种非易失性计算机存储介质，其特征在于，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-7中任一项所述的方法。
PCT/CN2019/092688 2019-02-25 2019-06-25 一种识别车辆违章行为的方法、服务器及存储介质 WO2020173022A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910136176.2 2019-02-25
CN201910136176.2A CN109993056A (zh) 2019-02-25 2019-02-25 一种识别车辆违章行为的方法、服务器及存储介质

Publications (1)

Publication Number Publication Date
WO2020173022A1 true WO2020173022A1 (zh) 2020-09-03

Family

ID=67130021

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/092688 WO2020173022A1 (zh) 2019-02-25 2019-06-25 一种识别车辆违章行为的方法、服务器及存储介质

Country Status (2)

Country Link
CN (1) CN109993056A (zh)
WO (1) WO2020173022A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112687125A (zh) * 2020-12-09 2021-04-20 北京中交兴路车联网科技有限公司 一种公路上违规停车后的预警方法、装置、存储介质及终端
CN112699827A (zh) * 2021-01-05 2021-04-23 长威信息科技发展股份有限公司 一种基于区块链的交通警务处置方法及系统
CN112861952A (zh) * 2021-01-29 2021-05-28 云南电网有限责任公司电力科学研究院 一种局部放电图像匹配深度学习方法
CN113449605A (zh) * 2021-05-31 2021-09-28 超级视线科技有限公司 一种基于多维度的路侧车辆违停判断方法及系统
CN114764974A (zh) * 2021-01-15 2022-07-19 北京快港网络科技有限公司 一种机动车交替通行自动审核方法和系统
US11398092B2 (en) * 2020-04-26 2022-07-26 Intelligent Inter Connection Technology Co., Ltd. Parking detection method and device based on visual difference
CN114926817A (zh) * 2022-05-20 2022-08-19 远峰科技股份有限公司 识别车位的方法、装置、电子设备和计算机可读存储介质
CN114973207A (zh) * 2022-08-01 2022-08-30 成都航空职业技术学院 一种基于目标检测的路标识别方法
CN115009074A (zh) * 2022-07-21 2022-09-06 东莞先知大数据有限公司 一种充电桩偷电行为检测方法、电子设备和存储介质
CN115277831A (zh) * 2022-06-24 2022-11-01 武汉众智数字技术有限公司 一种基于移动终端gps定位的车辆预警方法及系统
CN116797533A (zh) * 2023-03-24 2023-09-22 东莞市冠锦电子科技有限公司 电源适配器的外观缺陷检测方法及其系统

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110491132B (zh) * 2019-07-11 2022-04-08 平安科技（深圳）有限公司 基于视频帧图片分析的车辆违停检测方法及装置
CN112309131B (zh) * 2019-07-30 2022-12-27 北京京东振世信息技术有限公司 停车位状态监测方法与装置、存储介质、电子设备
CN110580570B (zh) * 2019-08-14 2021-01-15 平安国际智慧城市科技股份有限公司 执法分析方法、装置及介质
CN113538958A (zh) * 2020-04-14 2021-10-22 深圳富泰宏精密工业有限公司 停车警示方法、车载装置及可读存储介质
CN111539937A (zh) * 2020-04-24 2020-08-14 北京海益同展信息科技有限公司 一种物体指标的检测方法、家畜重量的检测方法及装置
CN112232441B (zh) * 2020-11-18 2023-06-06 中国联合网络通信集团有限公司 违章停车判断方法、系统、计算机设备及存储介质
CN112580531B (zh) * 2020-12-23 2024-04-02 深圳市捷顺科技实业股份有限公司 一种真假车牌的识别检测方法及系统
CN112766069A (zh) * 2020-12-31 2021-05-07 广东电网有限责任公司 基于深度学习的车辆违停检测方法、装置及电子设备
CN113052069A (zh) * 2021-03-24 2021-06-29 安徽超视野智能科技有限公司 基于图像识别的非机动车违停监控系统及方法
CN113469120A (zh) * 2021-07-21 2021-10-01 浙江大华技术股份有限公司 车辆违规行为识别方法与装置
CN113850240B (zh) * 2021-11-29 2022-05-10 北京三快在线科技有限公司 一种物流园区车辆违停识别方法及装置
CN117351439B (zh) * 2023-12-06 2024-02-20 山东博安智能科技股份有限公司 智慧高速公路超限车辆动态监控管理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985230A (zh) * 2014-05-14 2014-08-13 深圳市大疆创新科技有限公司 一种基于图像的通知方法、装置及通知系统
CN106600977A (zh) * 2017-02-13 2017-04-26 深圳英飞拓科技股份有限公司 基于多特征识别的违停检测方法及系统
CN106886755A (zh) * 2017-01-19 2017-06-23 北京航空航天大学 一种基于交通标志识别的交叉口车辆违章检测系统
CN109147340A (zh) * 2018-08-30 2019-01-04 平安科技（深圳）有限公司 违法停车案件的鉴别方法、装置和计算机设备
CN109255959A (zh) * 2018-06-25 2019-01-22 北京筑梦园科技有限公司 一种车辆监管方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100565555C (zh) * 2007-12-05 2009-12-02 浙江工业大学 基于计算机视觉的违章停车检测装置
CN103116984B (zh) * 2013-01-21 2016-03-23 信帧电子技术（北京）有限公司 检测违章停车的方法
CN104537360B (zh) * 2015-01-15 2018-01-02 上海博康智能信息技术有限公司 车辆未让行违章检测方法及其检测系统
CN105975915B (zh) * 2016-04-28 2019-05-21 大连理工大学 一种基于多任务卷积神经网络的前方车辆参数识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985230A (zh) * 2014-05-14 2014-08-13 深圳市大疆创新科技有限公司 一种基于图像的通知方法、装置及通知系统
CN106886755A (zh) * 2017-01-19 2017-06-23 北京航空航天大学 一种基于交通标志识别的交叉口车辆违章检测系统
CN106600977A (zh) * 2017-02-13 2017-04-26 深圳英飞拓科技股份有限公司 基于多特征识别的违停检测方法及系统
CN109255959A (zh) * 2018-06-25 2019-01-22 北京筑梦园科技有限公司 一种车辆监管方法和系统
CN109147340A (zh) * 2018-08-30 2019-01-04 平安科技（深圳）有限公司 违法停车案件的鉴别方法、装置和计算机设备

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11398092B2 (en) * 2020-04-26 2022-07-26 Intelligent Inter Connection Technology Co., Ltd. Parking detection method and device based on visual difference
CN112687125B (zh) * 2020-12-09 2022-07-22 北京中交兴路车联网科技有限公司 一种公路上违规停车后的预警方法、装置、存储介质及终端
CN112687125A (zh) * 2020-12-09 2021-04-20 北京中交兴路车联网科技有限公司 一种公路上违规停车后的预警方法、装置、存储介质及终端
CN112699827A (zh) * 2021-01-05 2021-04-23 长威信息科技发展股份有限公司 一种基于区块链的交通警务处置方法及系统
CN112699827B (zh) * 2021-01-05 2023-07-25 长威信息科技发展股份有限公司 一种基于区块链的交通警务处置方法及系统
CN114764974A (zh) * 2021-01-15 2022-07-19 北京快港网络科技有限公司 一种机动车交替通行自动审核方法和系统
CN112861952A (zh) * 2021-01-29 2021-05-28 云南电网有限责任公司电力科学研究院 一种局部放电图像匹配深度学习方法
CN112861952B (zh) * 2021-01-29 2023-04-28 云南电网有限责任公司电力科学研究院 一种局部放电图像匹配深度学习方法
CN113449605A (zh) * 2021-05-31 2021-09-28 超级视线科技有限公司 一种基于多维度的路侧车辆违停判断方法及系统
CN114926817A (zh) * 2022-05-20 2022-08-19 远峰科技股份有限公司 识别车位的方法、装置、电子设备和计算机可读存储介质
CN115277831A (zh) * 2022-06-24 2022-11-01 武汉众智数字技术有限公司 一种基于移动终端gps定位的车辆预警方法及系统
CN115009074B (zh) * 2022-07-21 2023-03-31 东莞先知大数据有限公司 一种充电桩偷电行为检测方法、电子设备和存储介质
CN115009074A (zh) * 2022-07-21 2022-09-06 东莞先知大数据有限公司 一种充电桩偷电行为检测方法、电子设备和存储介质
CN114973207B (zh) * 2022-08-01 2022-10-21 成都航空职业技术学院 一种基于目标检测的路标识别方法
CN114973207A (zh) * 2022-08-01 2022-08-30 成都航空职业技术学院 一种基于目标检测的路标识别方法
CN116797533A (zh) * 2023-03-24 2023-09-22 东莞市冠锦电子科技有限公司 电源适配器的外观缺陷检测方法及其系统
CN116797533B (zh) * 2023-03-24 2024-01-23 东莞市冠锦电子科技有限公司 电源适配器的外观缺陷检测方法及其系统

Also Published As

Publication number Publication date
CN109993056A (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
WO2020173022A1 (zh) 一种识别车辆违章行为的方法、服务器及存储介质
CN109740478B (zh) 车辆检测及识别方法、装置、计算机设备及可读存储介质
Polishetty et al. A next-generation secure cloud-based deep learning license plate recognition for smart cities
US8867828B2 (en) Text region detection system and method
Puranic et al. Vehicle number plate recognition system: a literature review and implementation using template matching
US7734097B1 (en) Detecting objects in images with covariance matrices
Slimani et al. An automated license plate detection and recognition system based on wavelet decomposition and CNN
Liu et al. Hybrid cascade structure for license plate detection in large visual surveillance scenes
CN101937508A (zh) 一种基于高清图像的车牌定位与识别方法
Varghese et al. An efficient algorithm for detection of vacant spaces in delimited and non-delimited parking lots
Molina-Moreno et al. Efficient scale-adaptive license plate detection system
Rashedi et al. A hierarchical algorithm for vehicle license plate localization
Ingole et al. Characters feature based Indian vehicle license plate detection and recognition
Elbamby et al. Real-time automatic multi-style license plate detection in videos
Gunawan et al. Design of automatic number plate recognition on android smartphone platform
CN111178359A (zh) 车牌号码识别方法、装置和设备及计算机存储介质
Bakheet et al. Chord-length shape features for license plate character recognition
Gou et al. License plate recognition using MSER and HOG based on ELM
Bachchan et al. Automatic license plate recognition using local binary pattern and histogram matching
Ilayarajaa et al. Text recognition in moving vehicles using deep learning neural networks
Sadique et al. A comparative study of license plate detection and recognition techniques
Kodwani et al. Automatic license plate recognition in real time videos using visual surveillance techniques
Satish et al. Edge assisted fast binarization scheme for improved vehicle license plate recognition
Prates et al. An adaptive vehicle license plate detection at higher matching degree
Mutholib et al. Optimization of ANPR algorithm on Android mobile phone

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19917477

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19917477

Country of ref document: EP

Kind code of ref document: A1