WO2021047249A1 - 数据预测方法、装置、设备及计算机可读存储介质 - Google Patents

数据预测方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
WO2021047249A1
WO2021047249A1 PCT/CN2020/099266 CN2020099266W WO2021047249A1 WO 2021047249 A1 WO2021047249 A1 WO 2021047249A1 CN 2020099266 W CN2020099266 W CN 2020099266W WO 2021047249 A1 WO2021047249 A1 WO 2021047249A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle part
preset
recognition model
vehicle
confidence level
Prior art date
Application number
PCT/CN2020/099266
Other languages
English (en)
French (fr)
Inventor
刘迪
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021047249A1 publication Critical patent/WO2021047249A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators

Definitions

  • This application relates to the field of auto insurance technology, and in particular to a data prediction method, device, equipment, and computer-readable storage medium.
  • data prediction mainly relies on damage assessors taking pictures of the vehicles in danger on the spot, and then sending the photos back to the back-end server, and the photos are detected by the back-end server to determine the degree of damage to the vehicles in danger.
  • this method of damage assessment has higher requirements on shooting and network. If the photos taken by the damage assessor are not comprehensive or the angle is inaccurate, or the network situation at the accident site is poor, it will be used for vehicle damage assessment. The data is inaccurate, so the existing technology needs to be improved and improved.
  • the main purpose of this application is to provide a data prediction method, device, equipment, and computer-readable storage medium, aiming to solve the technical problem of insufficient accuracy of the existing methods for determining the damage of an in-risk vehicle.
  • the present application provides a data prediction method.
  • the data prediction method includes the following steps.
  • the camera preview interface is displayed on the mobile terminal.
  • the vehicle part is recognized in the photo preview interface, and the vehicle part in the photo preview interface is determined.
  • a rectangular frame of a preset color is used to frame the vehicle part on the photo preview interface.
  • the preset vehicle part recognition model recognizes the correct rate of vehicle parts.
  • the camera function of the mobile terminal is disabled, and a prompt message for adjusting the camera is issued.
  • the frame-selected vehicle part picture is saved, and damage recognition is performed on the vehicle part picture based on the preset vehicle damage recognition model , To determine the damage level of the vehicle part.
  • a treatment method of the vehicle part is determined, wherein the treatment method includes replacement and repair.
  • the present application also provides a data prediction device, which includes the data prediction device.
  • the camera preview module is used to display the camera preview interface on the mobile terminal when it is detected that the camera application is started.
  • the part recognition module is configured to recognize the vehicle part in the photo preview interface based on a preset vehicle part recognition model, and determine the vehicle part in the photo preview interface.
  • the frame selection module is used for frame selection of the vehicle parts with a rectangular frame of a preset color on the photo preview interface.
  • the confidence level module is used to obtain the confidence level corresponding to the vehicle part based on the preset vehicle part recognition model, and display the confidence level corresponding to the vehicle part in the rectangular frame of the preset color, wherein, The confidence level is the correct rate of identifying the vehicle part by the preset vehicle part recognition model.
  • the prompt module is configured to disable the camera function of the mobile terminal if the confidence level corresponding to the vehicle part is less than the preset confidence level, and send a prompt message for adjusting the camera.
  • the damage recognition module is used to save the frame-selected picture of the vehicle part when the camera command is received if the confidence level corresponding to the vehicle part is greater than or equal to the preset confidence level, and compare the vehicle part based on the preset vehicle damage recognition model. Damage identification is performed on the pictures of the vehicle parts, and the damage level of the vehicle parts is determined.
  • the processing module is configured to determine the processing method of the vehicle part based on the damage level of the vehicle part, wherein the processing method includes replacement and repair.
  • the push module is used to push the processing mode of the vehicle part to the mobile terminal.
  • this application also provides a data prediction device, the data prediction device includes an input and output unit, a memory and a processor, the memory is used to store a computer program, the computer program includes program instructions, The processor is used to execute the program instructions of the memory, where.
  • the camera preview interface is displayed on the mobile terminal.
  • the vehicle part is recognized in the photo preview interface, and the vehicle part in the photo preview interface is determined.
  • a rectangular frame of a preset color is used to frame the vehicle part on the photo preview interface.
  • the preset vehicle part recognition model recognizes the correct rate of vehicle parts.
  • the camera function of the mobile terminal is disabled, and a prompt message for adjusting the camera is issued.
  • the frame-selected vehicle part picture is saved, and damage recognition is performed on the vehicle part picture based on the preset vehicle damage recognition model , To determine the damage level of the vehicle part.
  • a treatment method of the vehicle part is determined, wherein the treatment method includes replacement and repair.
  • the present application also provides a computer-readable storage medium, the computer-readable storage medium stores a computer program, the computer program includes program instructions, when the program instructions are executed by a processor, To implement the following steps.
  • the camera preview interface is displayed on the mobile terminal.
  • the vehicle part is recognized in the photo preview interface, and the vehicle part in the photo preview interface is determined.
  • a rectangular frame of a preset color is used to frame the vehicle part on the photo preview interface.
  • the preset vehicle part recognition model recognizes the correct rate of vehicle parts.
  • the camera function of the mobile terminal is disabled, and a prompt message for adjusting the camera is issued.
  • the frame-selected vehicle part picture is saved, and damage recognition is performed on the vehicle part picture based on the preset vehicle damage recognition model , To determine the damage level of the vehicle part.
  • a treatment method of the vehicle part is determined, wherein the treatment method includes replacement and repair.
  • the vehicle parts are identified on the camera preview interface of the mobile terminal, and the identified vehicle parts are selected by a rectangular box and displayed in the rectangular box The confidence level corresponding to the vehicle part. If the confidence level corresponding to the vehicle part is less than the preset confidence level, the camera function of the mobile terminal is disabled, and a prompt message for adjusting the camera is issued. If the confidence level corresponding to the vehicle part is greater than or equal to the preset confidence level, the framed vehicle part picture will be saved when the photographing instruction is received, and the vehicle part picture will be damaged based on the preset vehicle damage recognition model to determine the vehicle The damage level of the site.
  • the treatment method of the vehicle part is determined, and the treatment method of the vehicle part is pushed to the mobile terminal.
  • the vehicle parts can be identified and framed on the camera preview interface of the mobile terminal to achieve accurate acquisition of vehicle damage data, and the damage level of the selected vehicle parts can be identified to improve The loss assessment efficiency of the accident scene is improved.
  • FIG. 1 is a schematic diagram of the structure of a data prediction device in a hardware operating environment involved in a solution of an embodiment of the application.
  • FIG. 2 is a schematic flowchart of an embodiment of a data prediction method according to the present application.
  • FIG. 3 is a schematic diagram of functional modules of an embodiment of a data prediction device according to the present application.
  • FIG. 4 is a schematic diagram of functional modules of another embodiment of a data prediction device according to the present application.
  • FIG. 5 is a schematic diagram of the functional units of the offline training module in an embodiment of the data prediction device of this application.
  • FIG. 1 is a schematic structural diagram of a data prediction device in a hardware operating environment involved in a solution of an embodiment of the application.
  • the data prediction device in the embodiment of the present application may be a terminal device with data processing capabilities such as a portable computer and a server.
  • the data prediction device may include.
  • the processor 1001 is, for example, a CPU, a network interface 1004, a user interface 1003, a memory 1005, and a communication bus 1002.
  • the communication bus 1002 is used to implement connection and communication between these components.
  • the user interface 1003 may include a display screen (Display) and an input unit such as a keyboard (Keyboard), and the optional user interface 1003 may also include a standard wired interface and a wireless interface.
  • the network interface 1004 may optionally include a standard wired interface and a wireless interface (such as a WI-FI interface).
  • the memory 1005 can be a high-speed RAM memory or a stable memory (non-volatile memory), such as disk storage.
  • the memory 1005 may also be a storage device independent of the aforementioned processor 1001.
  • the structure of the data prediction device shown in FIG. 1 does not constitute a limitation on the data prediction device, and may include more or less components than shown in the figure, or a combination of certain components, or different components Layout.
  • a memory 1005 as a computer storage medium may include an operating system, a network communication module, a user interface module, and a data prediction program.
  • the network interface 1004 is mainly used to connect to a background server and perform data communication with the background server.
  • the user interface 1003 is mainly used to connect to the client (user terminal) and perform data communication with the client.
  • the processor 1001 can be used to call the data prediction program stored in the memory 1005 and execute the operations of the following data prediction methods.
  • FIG. 2 is a schematic flowchart of an embodiment of a data prediction method according to the present application.
  • the data prediction method includes.
  • Step S10 When it is detected that the camera application is started, the camera preview interface is displayed on the mobile terminal.
  • this application proposes a data prediction method based on mobile terminals.
  • the camera preview interface of the mobile terminal is performed in real time. Recognition, so that the identified vehicle parts can be frame-selected on the photo preview interface, and the damage level of the frame-selected vehicle parts can be identified, so that the vehicle can be damaged.
  • the mobile terminal is used to take on-site photography of the dangerous vehicle. Specifically, when it is detected that the camera application of the mobile terminal is started, the camera preview interface is displayed on the interface of the mobile terminal, and the mobile terminal is displayed on the camera preview interface. The current picture taken by the camera. It is understandable that the photo preview interface can display the entire vehicle in danger or a part of the vehicle in danger.
  • Step S20 Perform vehicle part recognition in the photo preview interface based on the preset vehicle part recognition model, and determine the vehicle part in the photo preview interface.
  • recognizing the photo preview interface specifically, recognizing the vehicle parts included in the photo preview interface. It is understandable that when a mobile terminal is used to take on-site shooting of a dangerous vehicle, the camera preview interface may also include some other scenes on the scene, such as trees, roadblocks, and signs. Therefore, by recognizing the photo preview interface, the vehicle part contained therein is determined, so as to further frame the location of the vehicle part on the photo preview interface.
  • the vehicle parts may include, but are not limited to, door handles, doors, tires, left front door, right front door, left fender, right fender, front bumper, rear bumper, etc.
  • the vehicle part in the photo preview interface is recognized through a preset vehicle part recognition model.
  • the preset vehicle part recognition model is obtained through offline training, specifically, offline
  • the training process is as follows. First, preprocess the input sample pictures of different vehicle parts to enhance the characteristics of the sample pictures. Further, the preprocessed sample pictures are input into a preset convolutional neural network, and feature maps are extracted. Finally, use RPN (Region Proposal Network, regional candidate network) to identify vehicle parts. It is understandable that the above-mentioned sample pictures of vehicle parts used for training all have corresponding vehicle part tags.
  • RPN Registered Proposal Network, regional candidate network
  • the preset vehicle part recognition model is trained by using sample pictures with vehicle part tags, so that the preset vehicle part recognition model can perform online recognition of vehicle parts.
  • step S30 a rectangular frame with a preset color is used to frame the vehicle parts on the photo preview interface.
  • the vehicle part recognition when the vehicle part recognition is performed in the photo preview interface through the preset vehicle part recognition model, it is specifically identified which part of the vehicle part is included. Therefore, when the vehicle part in the photo preview interface is recognized Then, frame the vehicle part, that is, frame the vehicle part with a rectangular frame of preset color on the photo preview interface, so as to distinguish it from other parts on the photo preview interface.
  • Step S40 Obtain the confidence level corresponding to the vehicle part based on the preset vehicle part recognition model, and display the confidence level corresponding to the vehicle part in a rectangular box with a preset color, where the confidence level is the preset vehicle part recognition model recognition The correct rate of the vehicle parts.
  • the name of the vehicle part and the preset vehicle part recognition model can be displayed in the rectangular frame of the vehicle part to identify the confidence level of the vehicle part, such as "front fender, 90%” , Indicating that the vehicle part in the rectangular frame is the front fender, and the preset vehicle part recognition model recognizes that the vehicle part is the front fender with 90% confidence.
  • step S50 if the confidence level corresponding to the vehicle part is less than the preset confidence level, the camera function of the mobile terminal is disabled, and a prompt message for adjusting the camera is issued.
  • the vehicle part in the photo preview interface is recognized through the preset vehicle part recognition model, if the confidence level corresponding to the identified vehicle part is lower than the preset confidence level, then The function of the camera button of the mobile terminal can be disabled, and a prompt message for adjusting the camera can be issued, prompting the user to adjust the position of the camera of the mobile terminal, so as to obtain more accurate pictures of the dangerous vehicle and improve the accuracy of the vehicle taking pictures at the dangerous scene.
  • step S60 if the confidence level corresponding to the vehicle part is greater than or equal to the preset confidence level, when a photo instruction is received, the frame-selected vehicle part picture is saved, and damage recognition is performed on the vehicle part picture based on the preset vehicle damage recognition model. Determine the damage level of the vehicle parts.
  • the user can click the shooting button to take a picture of the dangerous vehicle, that is, when the terminal receives a photographing instruction, the picture and frame selection on the picture preview interface Save the pictures of the vehicle parts so as to identify the damage level of the vehicle parts according to the saved pictures of the vehicle parts.
  • the recognition of the damage level of the vehicle part is also based on a preset vehicle damage recognition model for online recognition.
  • the preset vehicle damage recognition model is obtained through offline training in advance.
  • the preset vehicle damage recognition model is The offline training process of the vehicle damage recognition model will not be repeated.
  • the identified and framed vehicle parts may include damaged vehicle parts or undamaged parts. Parts of the vehicle. Therefore, when using the preset vehicle damage recognition model to recognize the damage level of the saved vehicle part pictures, the corresponding output damage level is also different. Specifically, the output damage level can be reflected by scores. The higher the score, the more severe the damage to the vehicle part. If the output score is 0 or less than a certain preset value, the vehicle part is considered undamaged Location.
  • Step S70 Determine a treatment method of the vehicle part based on the damage level of the vehicle part, where the treatment method includes replacement and repair.
  • the processing method corresponding to the vehicle part can be determined.
  • the processing method may include replacement and repair. Of course, it may also include other processing methods.
  • the handling of vehicle parts is not described in detail.
  • the damage level is represented by a score of 0-10. The higher the score, the more severe the damage to the vehicle part.
  • the vehicle part if the recognized damage level is "3 points", it indicates that the front bumper is "3 points”. If the bumper loss is light, the corresponding treatment method is "repair”. If the identified damage level is "8 points”, it indicates that the front bumper loss is serious, and the corresponding handling method is "replacement".
  • the corresponding treatment plan can be determined on-site, which improves the efficiency of the damage assessment of the vehicle in danger and the claim settlement experience of the user in danger.
  • step S80 the processing mode of the vehicle part is pushed to the mobile terminal.
  • the processing method of the vehicle part is pushed to the mobile terminal, so that the damage assessor knows the current processing method of the vehicle in danger.
  • the vehicle part when it is detected that the camera application is started, the vehicle part is identified on the camera preview interface of the mobile terminal, and the identified vehicle part is selected by a rectangular frame, and the vehicle part is displayed in the rectangular frame Corresponding confidence level. If the confidence level corresponding to the vehicle part is less than the preset confidence level, the camera function of the mobile terminal is disabled, and a prompt message for adjusting the camera is issued. If the confidence level corresponding to the vehicle part is greater than or equal to the preset confidence level, the framed vehicle part picture will be saved when the photographing instruction is received, and the vehicle part picture will be damaged based on the preset vehicle damage recognition model to determine the vehicle The damage level of the site.
  • the treatment method of the vehicle part is determined, and the treatment method of the vehicle part is pushed to the mobile terminal.
  • the vehicle parts can be identified and framed on the camera preview interface of the mobile terminal to achieve accurate acquisition of vehicle damage data, and the damage level of the selected vehicle parts can be identified to improve The loss assessment efficiency of the accident scene is improved.
  • step S10 and before step S20 it also includes.
  • Step S90 Obtain a preset number of sample pictures of different vehicle parts.
  • step S100 offline training is performed on the preset vehicle part recognition model based on the sample picture.
  • the vehicle part in the photo preview interface is recognized through a preset vehicle part recognition model.
  • the preset vehicle part recognition model is obtained through offline training. The process of offline training as follows.
  • sample pictures of different vehicle parts have corresponding vehicle part tags, such as door handles, doors, tires, etc.
  • vehicle part tags such as door handles, doors, tires, etc.
  • the left front door, the right front door, the left fender, the right fender, the front bumper and the rear bumper, etc. are trained offline for the preset vehicle part recognition model through sample pictures with vehicle part labels.
  • preprocess the above sample pictures including de-averaging, normalization, and whitening.
  • de-averaging is to center all dimensions of the input sample data to 0, that is, to pull the center of the sample back On the origin of the coordinate system.
  • normalization is to normalize the amplitude of the data to the same range and reduce the interference caused by the difference in the value range of the data of each dimension.
  • Whitening is to normalize the amplitude on each characteristic axis of the data.
  • the preprocessed sample pictures are input into a preset convolutional neural network, and feature maps are extracted.
  • the preset convolutional neural network includes 13 convolutional layers, 13 excitation layers, and 4 pooling layers.
  • the convolution kernel kernel is 3*3, and the filling value Is 1, the function of the padding value is to make the convolutional layer not change the size of the input and output matrices.
  • the convolution kernel of the pooling layer is 2*2, and the stride is 2*2.
  • RPN Registered Proposal Network, regional candidate network
  • a preset number of ROIs are set for each point in the feature map, so multiple ROIs can be obtained.
  • the RPN network is used to perform binary classification and Bounding-box regression, filtering out a part of invalid ROI to obtain a valid ROI.
  • the effective ROI is semantically segmented, specifically, the ROI Align is used to perform pixel correction on the regional feature map of each ROI, and each ROI is predicted according to the regional feature map of each ROI, and the category and the category of each ROI are obtained. The boundary of each ROI.
  • the full connect (fully connected) layer and soft max to calculate which category each area belongs to, for example, door handle, door, tire, left front door, right front door, left fender, right fender, front bumper Or rear bumper, etc.
  • the SVD Single Value Decomposition
  • the preset vehicle part recognition model is continuously trained offline through sample pictures with vehicle part tags.
  • the current offline training is complete.
  • determining the convergence of the preset vehicle part recognition model may include, but is not limited to, the following situations.
  • the number of training times has reached the preset number of times, the training time has reached the preset time, and the training loss function is approaching zero.
  • the condition for judging whether the vehicle part recognition model has converged can be set according to actual conditions.
  • the offline training vehicle part recognition model is saved, so that the preset vehicle part recognition model can perform online vehicle part recognition in the photo preview interface.
  • the preset vehicle part recognition model is trained offline through sample pictures with vehicle part tags, and the vehicle part recognition model after offline training is used to recognize the vehicle parts in the photo preview interface online, which improves the vehicle Recognition accuracy rate of parts.
  • FIG. 3 is a schematic diagram of functional modules of an embodiment of a data prediction apparatus according to the present application.
  • the data prediction device includes.
  • the camera preview module 10 is used to display a camera preview interface on the mobile terminal when it is detected that the camera application is started.
  • the part recognition module 20 is configured to perform vehicle part recognition in the photo preview interface based on a preset vehicle part recognition model, and determine the vehicle part in the photo preview interface.
  • the frame selection module 30 is used for frame selection of the vehicle parts with a rectangular frame of a preset color on the photo preview interface.
  • the confidence level module 40 is configured to obtain the confidence level corresponding to the vehicle part based on the preset vehicle part recognition model, and display the confidence level corresponding to the vehicle part in the rectangular frame of the preset color, wherein The confidence level is the correct rate of identifying the vehicle part by the preset vehicle part recognition model.
  • the prompt module 50 is configured to disable the camera function of the mobile terminal if the confidence level corresponding to the vehicle part is less than the preset confidence level, and issue a prompt message for adjusting the camera.
  • the damage recognition module 60 is configured to, if the confidence level corresponding to the vehicle part is greater than or equal to the preset confidence level, when a photographing instruction is received, save the frame-selected vehicle part picture, and compare the vehicle parts based on the preset vehicle damage recognition model. Damage identification is performed on the picture of the vehicle part, and the damage level of the vehicle part is determined.
  • the processing module 70 is configured to determine a processing method of the vehicle part based on the damage level of the vehicle part, wherein the processing method includes replacement and repair.
  • the pushing module 80 is used to push the processing mode of the vehicle parts to the mobile terminal.
  • the data prediction device further includes.
  • the obtaining module 90 is used to obtain a preset number of sample pictures of different vehicle parts.
  • the offline training module 100 is configured to perform offline training on a preset vehicle part recognition model based on the sample picture.
  • the offline training module 100 includes.
  • the preprocessing unit 101 is configured to preprocess the sample pictures.
  • the feature map unit 102 is configured to input the preprocessed sample image into a preset convolutional neural network, so that the preset convolutional neural network outputs a feature map of the sample image.
  • the recognition unit 103 is configured to recognize the feature map based on the area candidate network, and determine the vehicle part information corresponding to the sample picture.
  • an embodiment of the present application also proposes a computer-readable storage medium storing a data prediction program on the computer-readable storage medium, and when the data prediction program is executed by a processor, the steps of the above-mentioned data prediction method are implemented.
  • the computer-readable storage medium may be non-volatile or volatile.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Technology Law (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Image Analysis (AREA)

Abstract

一种数据预测方法、装置、设备及计算机可读存储介质，可在人工智能中实现。数据预测方法包括：当检测到拍照应用启动时，在移动终端上显示拍照预览界面；基于预设的车辆部位识别模型在拍照预览界面中进行车辆部位识别，确定拍照预览界面中的车辆部位；若车辆部位对应的置信度大于或等于预设置信度，当接收到拍照指令时，保存框选的车辆部位图片，并基于预设的车辆损伤识别模型对车辆部位图片进行损伤识别，确定车辆部位的损伤等级；基于车辆部位的损伤等级，确定车辆部位的处理方式，其中，处理方式包括更换和修复；将车辆部位的处理方式推送至所述移动终端。通过该方法，提高了车辆部位的识别准确率和出险现场的定损效率。

Description

数据预测方法、装置、设备及计算机可读存储介质
本申请要求于2019年09月09日提交中国专利局、申请号为201910846316.5，发明名称为“数据预测方法、装置、设备及计算机可读存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及车险技术领域，尤其涉及一种数据预测方法、装置、设备及计算机可读存储介质。
 背景技术
随着社会的发展，交通车辆越来越多，车辆参加保险已经是购买车辆后的第一道手续。随着车辆的增多，车辆交通事故的绝对数量也相应变大，当投保车辆发生交通事故时，保险公司的第一件事就是到现场查勘定损。
目前，数据预测主要是依赖于定损员现场对出险车辆进行拍照，然后将照片传回至后台服务器，通过后台服务器对照片进行检测，以判断出险车辆的损伤程度。但是，发明人意识到，这种定损方式对拍摄和网络的要求较高，如果定损员拍摄的照片不全面或角度不准确或者出险现场网络情况不佳，则会导致用于车辆定损的数据不准确，因而现有技术还有待改进和提高。
 技术问题
本申请的主要目的在于提供一种数据预测方法、装置、设备及计算机可读存储介质，旨在解决现有的出险车辆定损方式不够准确的技术问题。
 技术解决方案
为实现上述目的，本申请提供一种数据预测方法，所述数据预测方法包括以下步骤。
当检测到拍照应用启动时，在移动终端上显示拍照预览界面。
基于预设的车辆部位识别模型在所述拍照预览界面中进行车辆部位识别，确定所述拍照预览界面中的车辆部位。
在所述拍照预览界面上用预设颜色的矩形框对所述车辆部位进行框选。
基于所述预设的车辆部位识别模型获取所述车辆部位对应的置信度，并将所述车辆部位对应的置信度显示在所述预设颜色的矩形框内，其中，所述置信度为所述预设的车辆部位识别模型识别出车辆部位的正确率。
若所述车辆部位对应的置信度小于预设置信度，则禁用移动终端的拍照功能，并发出调整摄像头的提示信息。
若所述车辆部位对应的置信度大于或等于预设置信度，当接收到拍照指令时，保存框选的车辆部位图片，并基于预设的车辆损伤识别模型对所述车辆部位图片进行损伤识别，确定所述车辆部位的损伤等级。
基于所述车辆部位的损伤等级，确定所述车辆部位的处理方式，其中，所述处理方式包括更换和修复。
将所述车辆部位的处理方式推送至所述移动终端。
此外，为实现上述目的，本申请还提供一种数据预测装置，所述数据预测装置包括。
拍照预览模块，用于当检测到拍照应用启动时，在移动终端上显示拍照预览界面。
部位识别模块，用于基于预设的车辆部位识别模型在所述拍照预览界面中进行车辆部位识别，确定所述拍照预览界面中的车辆部位。
框选模块，用于在所述拍照预览界面上用预设颜色的矩形框对所述车辆部位进行框选。
置信度模块，用于基于所述预设的车辆部位识别模型获取所述车辆部位对应的置信度，并将所述车辆部位对应的置信度显示在所述预设颜色的矩形框内，其中，所述置信度为所述预设的车辆部位识别模型识别出车辆部位的正确率。
提示模块，用于若所述车辆部位对应的置信度小于预设置信度，则禁用移动终端的拍照功能，并发出调整摄像头的提示信息。
损伤识别模块，用于若所述车辆部位对应的置信度大于或等于预设置信度，当接收到拍照指令时，保存框选的车辆部位图片，并基于预设的车辆损伤识别模型对所述车辆部位图片进行损伤识别，确定所述车辆部位的损伤等级。
处理模块，用于基于所述车辆部位的损伤等级，确定所述车辆部位的处理方式，其中，所述处理方式包括更换和修复。
推送模块，用于将所述车辆部位的处理方式推送至所述移动终端。
此外，为实现上述目的，本申请还提供一种数据预测设备，所述数据预测设备包括输入输出单元、存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述存储器的所述程序指令，其中。
当检测到拍照应用启动时，在移动终端上显示拍照预览界面。
基于预设的车辆部位识别模型在所述拍照预览界面中进行车辆部位识别，确定所述拍照预览界面中的车辆部位。
在所述拍照预览界面上用预设颜色的矩形框对所述车辆部位进行框选。
基于所述预设的车辆部位识别模型获取所述车辆部位对应的置信度，并将所述车辆部位对应的置信度显示在所述预设颜色的矩形框内，其中，所述置信度为所述预设的车辆部位识别模型识别出车辆部位的正确率。
若所述车辆部位对应的置信度小于预设置信度，则禁用移动终端的拍照功能，并发出调整摄像头的提示信息。
若所述车辆部位对应的置信度大于或等于预设置信度，当接收到拍照指令时，保存框选的车辆部位图片，并基于预设的车辆损伤识别模型对所述车辆部位图片进行损伤识别，确定所述车辆部位的损伤等级。
基于所述车辆部位的损伤等级，确定所述车辆部位的处理方式，其中，所述处理方式包括更换和修复。
将所述车辆部位的处理方式推送至所述移动终端。
此外，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时，用于实现以下步骤。
当检测到拍照应用启动时，在移动终端上显示拍照预览界面。
基于预设的车辆部位识别模型在所述拍照预览界面中进行车辆部位识别，确定所述拍照预览界面中的车辆部位。
在所述拍照预览界面上用预设颜色的矩形框对所述车辆部位进行框选。
基于所述预设的车辆部位识别模型获取所述车辆部位对应的置信度，并将所述车辆部位对应的置信度显示在所述预设颜色的矩形框内，其中，所述置信度为所述预设的车辆部位识别模型识别出车辆部位的正确率。
若所述车辆部位对应的置信度小于预设置信度，则禁用移动终端的拍照功能，并发出调整摄像头的提示信息。
若所述车辆部位对应的置信度大于或等于预设置信度，当接收到拍照指令时，保存框选的车辆部位图片，并基于预设的车辆损伤识别模型对所述车辆部位图片进行损伤识别，确定所述车辆部位的损伤等级。
基于所述车辆部位的损伤等级，确定所述车辆部位的处理方式，其中，所述处理方式包括更换和修复。
将所述车辆部位的处理方式推送至所述移动终端。
 有益效果
本申请提出的数据预测方法，当检测到拍照应用启动时，即在移动终端的拍照预览界面上进行车辆部位的识别，用矩形框对识别出的车辆部位进行框选，并在矩形框内显示车辆部位对应的置信度。若车辆部位对应的置信度小于预设置信度，则禁用移动终端的拍照功能，并发出调整摄像头的提示信息。若车辆部位对应的置信度大于或等于预设置信度，则在接收到拍照指令时，保存框选的车辆部位图片，并基于预设的车辆损伤识别模型对车辆部位图片进行损伤识别，确定车辆部位的损伤等级。根据车辆部位的损伤等级，确定车辆部位的处理方式，并将车辆部位的处理方式推送至移动终端。通过本申请提出的数据预测方法，在移动终端的拍照预览界面上就进行车辆部位的识别及框选，实现车辆定损数据的准确获取，并对框选出的车辆部位进行损伤等级识别，提高了出险现场的定损效率。
 附图说明
图1为本申请实施例方案涉及的硬件运行环境的数据预测设备结构示意图。
图2为本申请数据预测方法一实施例的流程示意图。
图3为本申请数据预测装置一实施例的功能模块示意图。
图4为本申请数据预测装置另一实施例的功能模块示意图。
图5为本申请数据预测装置一实施例中离线训练模块的功能单元示意图。
 本发明的实施方式
如图1所示，图1为本申请实施例方案涉及的硬件运行环境的数据预测设备结构示意图。
本申请实施例中的数据预测设备可以是便携计算机、服务器等具有数据处理能力的终端设备。
如图1所示，该数据预测设备可以包括。处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选地可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选地还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的数据预测设备结构并不构成对数据预测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据预测程序。
在图1所示的数据预测设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信。用户接口1003主要用于连接客户端（用户端），与客户端进行数据通信。而处理器1001可以用于调用存储器1005中存储的数据预测程序，并执行以下数据预测方法的各实施例的操作。
参照图2，图2为本申请数据预测方法一实施例的流程示意图，在该实施例中，数据预测方法包括。
步骤S10，当检测到拍照应用启动时，在移动终端上显示拍照预览界面。
为了解决现有的出险车辆定损方式不够准确的问题，本申请提出了一种基于移动终端的数据预测方法，当基于移动终端进行出险车辆现场拍照时，实时地对移动终端的拍照预览界面进行识别，以便在拍照预览界面上对识别出的车辆部位进行框选，并对框选的车辆部位进行损伤等级识别，以便进行车辆定损。
在本实施例中，是通过移动终端对出险车辆进行现场拍摄，具体地，当检测到移动终端的拍照应用启动时，移动终端的界面上显示拍照预览界面，拍照预览界面上显示的是移动终端的摄像头当前所拍摄的画面。可以理解的是，拍照预览界面显示的可以是整个出险车辆，也可以是出险车辆的其中一部分。
步骤S20，基于预设的车辆部位识别模型在拍照预览界面中进行车辆部位识别，确定拍照预览界面中的车辆部位。
进一步地，对拍照预览界面进行识别，具体地，是对拍照预览界面中包含的车辆部位进行识别。可以理解的是，当使用移动终端进行出险车辆的现场拍摄时，拍照预览界面中还可能包括现场的一些其他景物，如树木、路障及指示牌等。因此，通过对拍照预览界面进行识别，确定其中包含的车辆部位，以便进一步地对拍照预览界面上该车辆部位所在的位置进行框选。
具体地，车辆部位可以包括但不限于门把手、车门、轮胎、左前门、右前门、左叶子板、右叶子板、前保险杠及后保险杠等。在本实施例中，是通过预设的车辆部位识别模型对拍照预览界面中的车辆部位进行识别，可以理解的是，该预设的车辆部位识别模型是经过离线训练得到的，具体地，离线训练的过程如下。首先，对输入的不同车辆部位的样本图片进行预处理，以便对样本图片的特征进行加强。进一步地，将预处理后的样本图片输入至预设的卷积神经网络中，进行特征图的提取。最后，利用RPN（Region Proposal Network，区域候选网络）进行车辆部位的识别。可以理解的是，上述用于训练的车辆部位的样本图片均带有对应的车辆部位标签。
基于以上离线训练的过程，利用带有车辆部位标签的样本图片，对预设的车辆部位识别模型进行训练，以便该预设的车辆部位识别模型能进行车辆部位的在线识别。
步骤S30，在拍照预览界面上用预设颜色的矩形框对车辆部位进行框选。
在本实施例中，通过预设的车辆部位识别模型在拍照预览界面中进行车辆部位识别时，具体地识别出包含的车辆部位具体是哪个部位，因此，当识别出拍照预览界面中的车辆部位后，将车辆部位进行框选，即在拍照预览界面上用预设颜色的矩形框将该车辆部位框选起来，以便与拍照预览界面上的其他部分进行区分。
步骤S40，基于预设的车辆部位识别模型获取车辆部位对应的置信度，并将车辆部位对应的置信度显示在预设颜色的矩形框内，其中，置信度为预设的车辆部位识别模型识别出车辆部位的正确率。
同时，对框选出来的车辆部位，可以在该车辆部位的矩形框内显示该车辆部位的名称以及预设的车辆部位识别模型识别该车辆部位的置信度，例如“前叶子板，90%”，表明该矩形框内的车辆部位是前叶子板，预设的车辆部位识别模型识别出该车辆部位是前叶子板的置信度为90%。
步骤S50，若车辆部位对应的置信度小于预设置信度，则禁用移动终端的拍照功能，并发出调整摄像头的提示信息。
可以理解的是，在本实施例中，当通过预设的车辆部位识别模型对拍照预览界面中的车辆部位进行识别时，若识别出的车辆部位对应的置信度低于预设置信度，则可以禁用移动终端的拍照按钮的功能，并发出调整摄像头的提示信息，提示用户调整移动终端的摄像头的位置，以便获取更准确的出险车辆图片，提高出险现场的车辆拍照定损准确度。
步骤S60，若车辆部位对应的置信度大于或等于预设置信度，当接收到拍照指令时，保存框选的车辆部位图片，并基于预设的车辆损伤识别模型对车辆部位图片进行损伤识别，确定车辆部位的损伤等级。
进一步地，若车辆部位对应的置信度大于或等于预设置信度，用户即可点击拍摄按钮进行出险车辆的图片拍摄，即当终端接收到拍照指令时，对拍照预览界面上的图片以及框选出的车辆部位的图片进行保存，以便根据保存的车辆部位图片对该车辆部位的损伤等级进行识别。
具体地，对车辆部位的损伤等级进行识别也是基于预设的车辆损伤识别模型进行在线识别，该预设的车辆损伤识别模型是事先经过离线训练得到的，在本实施例中，对预设的车辆损伤识别模型的离线训练过程不做赘述。
可以理解的是，在通过预设的车辆部位识别模型对拍照预览界面中包含的车辆部位进行识别时，识别并框选出来的车辆部位中可能包括受损的车辆部位，也可能包括未受损的车辆部位。因此，当通过预设的车辆损伤识别模型对保存的车辆部位图片进行损伤等级识别时，对应输出的损伤等级也有所不同。具体地，输出的损伤等级可以通过分数体现，分数越高，表示该车辆部位的损伤越严重，若输出的分数为0或者说小于某个预设值，则将该车辆部位视为未受损部位。
步骤S70，基于车辆部位的损伤等级，确定车辆部位的处理方式，其中，处理方式包括更换和修复。
进一步地，根据识别出的车辆部位的损伤等级，可以确定该车辆部位对应的处理方式，在本实施例中，处理方式可以包括更换及修复，当然，还可以包括其他的处理方式，本实施例中对车辆部位的处理方式不做赘述。针对不同的车辆部位以及不同的损伤等级，可以对应有不同的处理方式。例如，假设损伤等级用分数0-10进行表示，分数越高，表示该车辆部位的损伤越严重，对于前保险杠这一车辆部位，若识别出的损伤等级为“3分”，表明该前保险杠损失较轻，则对应的处理方式为“修复”。若识别出的损伤等级为“8分”，则表明前保险杠损失较严重，则对应的处理方式为“更换”。通过对车辆部位的损伤等级进行识别及判断，可以现场确定对应的处理方案，提高出险车辆定损的效率及出险用户的理赔体验。
步骤S80，将车辆部位的处理方式推送至移动终端。
进一步地，将车辆部位的处理方式推送至移动终端，以便定损员知晓当前出险车辆的处理方式。
在本实施例中，当检测到拍照应用启动时，即在移动终端的拍照预览界面上进行车辆部位的识别，用矩形框对识别出的车辆部位进行框选，并在矩形框内显示车辆部位对应的置信度。若车辆部位对应的置信度小于预设置信度，则禁用移动终端的拍照功能，并发出调整摄像头的提示信息。若车辆部位对应的置信度大于或等于预设置信度，则在接收到拍照指令时，保存框选的车辆部位图片，并基于预设的车辆损伤识别模型对车辆部位图片进行损伤识别，确定车辆部位的损伤等级。根据车辆部位的损伤等级，确定车辆部位的处理方式，并将车辆部位的处理方式推送至移动终端。通过本申请提出的数据预测方法，在移动终端的拍照预览界面上就进行车辆部位的识别及框选，实现车辆定损数据的准确获取，并对框选出的车辆部位进行损伤等级识别，提高了出险现场的定损效率。
进一步地，在步骤S10之后，步骤S20之前，还包括。
步骤S90，获取预设数量的不同车辆部位的样本图片。
步骤S100，基于样本图片，对预设的车辆部位识别模型进行离线训练。
在本实施例中，是通过预设的车辆部位识别模型对拍照预览界面中的车辆部位进行识别，可以理解的是，该预设的车辆部位识别模型是经过离线训练得到的，离线训练的过程如下。
具体地，首先获取预设数量的不同车辆部位的样本图片，可以理解的是，上述用于离线训练的车辆部位的样本图片均带有对应的车辆部位标签，例如，门把手、车门、轮胎、左前门、右前门、左叶子板、右叶子板、前保险杠及后保险杠等，通过带有车辆部位标签的样本图片，对预设的车辆部位识别模型进行离线训练。
首先，对上述样本图片进行预处理，主要包括去均值、归一化及白化处理，去均值的目的是把输入的样本数据中各个维度都中心化为0，即把样本中的中心拉回到坐标系原点上。归一化的目的是将数据的幅度归一化到同样的范围，减少各维度数据取值范围的差异而带来的干扰。白化是对数据各个特征轴上的幅度归一化。通过上述步骤，对待训练的样本图片进行了特征加强。
进一步地，将预处理后的样本图片输入至预设的卷积神经网络中，进行特征图的提取。具体地，在本实施例中，预设的卷积神经网络包括13个卷积层、13个激励层和4个池化层，对于卷积层的卷积核kernel为3*3，填充值为1，填充值的作用是为了使卷积层不改变输入和输出矩阵大小。池化层的卷积核为2*2，步幅为2*2。通过对样本图片进行卷积、激励、池化等操作，可得到一个特征向量，该特征向量即表征了该样本图片对应的特征图的向量信息。
进一步地，将上述获得的特征向量输入至RPN（Region Proposal Network，区域候选网络）中，进行车辆部位的初步定位与识别。具体地，对特征图中的每一个点设置预设个数的ROI(region of interest，感兴趣区域），因此可获得多个ROI。进一步地，利用RPN网络对这多个ROI进行二值分类和 Bounding-box regression（边框回归），过滤掉一部分无效的ROI，以获得有效的ROI。进一步地，对有效的ROI进行语义分割，具体地，是使用ROI Align对每一个ROI的区域特征图进行像素校正，根据各ROI的区域特征图对每个ROI进行预测，得到各ROI的类别以及各ROI的边界。最后，通过full connect（全连接）层与soft max计算每个区域具体是属于哪一个类别，例如，门把手、车门、轮胎、左前门、右前门、左叶子板、右叶子板、前保险杠或后保险杠等。
可以理解的是，在本实施例中，在通过full connect（全连接）层进行车辆部位类别的判断时，还采用了SVD（Singular Value Decomposition，奇异值分解）算法进行分解以加速全连接层的计算。
基于以上过程，通过带有车辆部位标签的样本图片对预设的车辆部位识别模型不断地进行离线训练，在离线训练过程中，当检测到预设的车辆部位识别模型开始收敛时，即可判定当前的离线训练完成。具体地，判定预设的车辆部位识别模型收敛可以包括但不限于以下几种情况。训练次数达到了预设次数、训练时间达到了预设时间及训练的损失函数趋近于零，在本实施例中，判断车辆部位识别模型是否收敛的条件可以根据实际情况进行设置。
当确定预设的车辆部位识别模型离线训练完成后，保存离线训练后的车辆部位识别模型，以便预设的车辆部位识别模型能在拍照预览界面中进行车辆部位的在线识别。
在本实施例中，通过带有车辆部位标签的样本图片对预设的车辆部位识别模型进行离线训练，并通过离线训练后的车辆部位识别模型在线识别拍照预览界面中的车辆部位，提高了车辆部位的识别准确率。
参照图3，图3为本申请数据预测装置一实施例的功能模块示意图。
在本实施例中，数据预测装置包括。
拍照预览模块10，用于当检测到拍照应用启动时，在移动终端上显示拍照预览界面。
部位识别模块20，用于基于预设的车辆部位识别模型在所述拍照预览界面中进行车辆部位识别，确定所述拍照预览界面中的车辆部位。
框选模块30，用于在所述拍照预览界面上用预设颜色的矩形框对所述车辆部位进行框选。
置信度模块40，用于基于所述预设的车辆部位识别模型获取所述车辆部位对应的置信度，并将所述车辆部位对应的置信度显示在所述预设颜色的矩形框内，其中，所述置信度为所述预设的车辆部位识别模型识别出车辆部位的正确率。
提示模块50，用于若所述车辆部位对应的置信度小于预设置信度，则禁用移动终端的拍照功能，并发出调整摄像头的提示信息。
损伤识别模块60，用于若所述车辆部位对应的置信度大于或等于预设置信度，当接收到拍照指令时，保存框选的车辆部位图片，并基于预设的车辆损伤识别模型对所述车辆部位图片进行损伤识别，确定所述车辆部位的损伤等级。
处理模块70，用于基于所述车辆部位的损伤等级，确定所述车辆部位的处理方式，其中，所述处理方式包括更换和修复。
推送模块80，用于将所述车辆部位的处理方式推送至所述移动终端。
进一步地，参照图4，数据预测装置还包括。
获取模块90，用于获取预设数量的不同车辆部位的样本图片。
离线训练模块100，用于基于所述样本图片，对预设的车辆部位识别模型进行离线训练。
进一步地，参照图5，离线训练模块100包括。
预处理单元101，用于对所述样本图片进行预处理。
特征图单元102，用于将预处理后的所述样本图片输入至预设的卷积神经网络中，以便所述预设的卷积神经网络输出所述样本图片的特征图。
识别单元103，用于基于区域候选网络对所述特征图进行识别，确定所述样本图片对应的车辆部位信息。
本申请数据预测装置的具体实施例与上述数据预测方法的各个实施例基本相同，在此不做赘述。
此外，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储数据预测程序，所述数据预测程序被处理器执行时实现如上述的数据预测方法的步骤。其中，所述计算机可读存储介质可以是非易失性，也可以是易失性。
本申请计算机可读存储介质的具体实施例与上述数据预测方法的各个实施例基本相同，在此不做赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (20)

  1. 一种数据预测方法，其中，所述数据预测方法包括以下步骤：
    当检测到拍照应用启动时，在移动终端上显示拍照预览界面；
    基于预设的车辆部位识别模型在所述拍照预览界面中进行车辆部位识别，确定所述拍照预览界面中的车辆部位；
    在所述拍照预览界面上用预设颜色的矩形框对所述车辆部位进行框选；
    基于所述预设的车辆部位识别模型获取所述车辆部位对应的置信度，并将所述车辆部位对应的置信度显示在所述预设颜色的矩形框内，其中，所述置信度为所述预设的车辆部位识别模型识别出车辆部位的正确率；
    若所述车辆部位对应的置信度小于预设置信度，则禁用移动终端的拍照功能，并发出调整摄像头的提示信息；
    若所述车辆部位对应的置信度大于或等于预设置信度，当接收到拍照指令时，保存框选的车辆部位图片，并基于预设的车辆损伤识别模型对所述车辆部位图片进行损伤识别，确定所述车辆部位的损伤等级；
    基于所述车辆部位的损伤等级，确定所述车辆部位的处理方式，其中，所述处理方式包括更换和修复；
    将所述车辆部位的处理方式推送至所述移动终端。
  2. 如权利要求1所述的数据预测方法，其中，在所述当检测到拍照应用启动时，在移动终端上显示拍照预览界面之后，在所述基于预设的车辆部位识别模型在所述拍照预览界面中进行车辆部位识别，确定所述拍照预览界面中的车辆部位之前，还包括：
    获取预设数量的不同车辆部位的样本图片；
    基于所述样本图片，对预设的车辆部位识别模型进行离线训练。
  3. 如权利要求2所述的数据预测方法，其中，所述基于所述样本图片，对预设的车辆部位识别模型进行离线训练包括：
    对所述样本图片进行预处理；
    将预处理后的所述样本图片输入至预设的卷积神经网络中，以便所述预设的卷积神经网络输出所述样本图片的特征图；
    基于区域候选网络对所述特征图进行识别，确定所述样本图片对应的车辆部位信息。
  4. 如权利要求3所述的数据预测方法，其中，所述基于区域候选网络对所述特征图进行识别，确定所述样本图片对应的车辆部位信息包括：
    基于区域候选网络对所述特征图进行检测，确定目标区域；
    通过全连接算法对所述目标区域进行检测，确定所述目标区域中对应的车辆部位信息。
  5. 如权利要求2所述的数据预测方法，其中，在所述基于所述样本图片，对预设的车辆部位识别模型进行离线训练之后，还包括：
    当检测到所述预设的车辆部位识别模型开始收敛时，确认所述预设的车辆部位识别模型离线训练完成；
    保存离线训练后的所述预设的车辆部位识别模型。
  6. 一种数据预测装置，其中，所述数据预测装置包括：
    拍照预览模块，用于当检测到拍照应用启动时，在移动终端上显示拍照预览界面；
    部位识别模块，用于基于预设的车辆部位识别模型在所述拍照预览界面中进行车辆部位识别，确定所述拍照预览界面中的车辆部位；
    框选模块，用于在所述拍照预览界面上用预设颜色的矩形框对所述车辆部位进行框选；
    置信度模块，用于基于所述预设的车辆部位识别模型获取所述车辆部位对应的置信度，并将所述车辆部位对应的置信度显示在所述预设颜色的矩形框内，其中，所述置信度为所述预设的车辆部位识别模型识别出车辆部位的正确率；
    提示模块，用于若所述车辆部位对应的置信度小于预设置信度，则禁用移动终端的拍照功能，并发出调整摄像头的提示信息；
    损伤识别模块，用于若所述车辆部位对应的置信度大于或等于预设置信度，当接收到拍照指令时，保存框选的车辆部位图片，并基于预设的车辆损伤识别模型对所述车辆部位图片进行损伤识别，确定所述车辆部位的损伤等级；
    处理模块，用于基于所述车辆部位的损伤等级，确定所述车辆部位的处理方式，其中，所述处理方式包括更换和修复；
    推送模块，用于将所述车辆部位的处理方式推送至所述移动终端。
  7. 如权利要求6所述的数据预测装置，其中，所述数据预测装置还包括：
    获取模块，用于获取预设数量的不同车辆部位的样本图片；
    离线训练模块，用于基于所述样本图片，对预设的车辆部位识别模型进行离线训练。
  8. 如权利要求7所述的数据预测装置，其中，所述离线训练模块包括：
    预处理单元，用于对所述样本图片进行预处理；
    特征图单元，用于将预处理后的所述样本图片输入至预设的卷积神经网络中，以便所述预设的卷积神经网络输出所述样本图片的特征图；
    识别单元，用于基于区域候选网络对所述特征图进行识别，确定所述样本图片对应的车辆部位信息。
  9. 如权利要求8所述的数据预测装置，其中，所述识别单元具体用于：
    基于区域候选网络对所述特征图进行检测，确定目标区域；
    通过全连接算法对所述目标区域进行检测，确定所述目标区域中对应的车辆部位信息。
  10. 如权利要求7所述的数据预测装置，其中，所述离线训练模块还用于：
    当检测到所述预设的车辆部位识别模型开始收敛时，确认所述预设的车辆部位识别模型离线训练完成；
    保存离线训练后的所述预设的车辆部位识别模型。
  11. 一种数据预测设备，其中，所述数据预测设备包括输入输出单元、存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述存储器的所述程序指令，其中：
    当检测到拍照应用启动时，在移动终端上显示拍照预览界面；
    基于预设的车辆部位识别模型在所述拍照预览界面中进行车辆部位识别，确定所述拍照预览界面中的车辆部位；
    在所述拍照预览界面上用预设颜色的矩形框对所述车辆部位进行框选；
    基于所述预设的车辆部位识别模型获取所述车辆部位对应的置信度，并将所述车辆部位对应的置信度显示在所述预设颜色的矩形框内，其中，所述置信度为所述预设的车辆部位识别模型识别出车辆部位的正确率；
    若所述车辆部位对应的置信度小于预设置信度，则禁用移动终端的拍照功能，并发出调整摄像头的提示信息；
    若所述车辆部位对应的置信度大于或等于预设置信度，当接收到拍照指令时，保存框选的车辆部位图片，并基于预设的车辆损伤识别模型对所述车辆部位图片进行损伤识别，确定所述车辆部位的损伤等级；
    基于所述车辆部位的损伤等级，确定所述车辆部位的处理方式，其中，所述处理方式包括更换和修复；
    将所述车辆部位的处理方式推送至所述移动终端。
  12. 如权利要求11所述的数据预测设备，其中，所述处理器用于：
    获取预设数量的不同车辆部位的样本图片；
    基于所述样本图片，对预设的车辆部位识别模型进行离线训练。
  13. 如权利要求12所述的数据预测设备，其中，所述处理器用于：
    对所述样本图片进行预处理；
    将预处理后的所述样本图片输入至预设的卷积神经网络中，以便所述预设的卷积神经网络输出所述样本图片的特征图；
    基于区域候选网络对所述特征图进行识别，确定所述样本图片对应的车辆部位信息。
  14. 如权利要求13所述的数据预测设备，其中，所述处理器用于：
    基于区域候选网络对所述特征图进行检测，确定目标区域；
    通过全连接算法对所述目标区域进行检测，确定所述目标区域中对应的车辆部位信息。
  15. 如权利要求12所述的数据预测设备，其中，所述处理器用于：
    当检测到所述预设的车辆部位识别模型开始收敛时，确认所述预设的车辆部位识别模型离线训练完成；
    保存离线训练后的所述预设的车辆部位识别模型。
  16. 一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时，用于实现以下步骤：
    当检测到拍照应用启动时，在移动终端上显示拍照预览界面；
    基于预设的车辆部位识别模型在所述拍照预览界面中进行车辆部位识别，确定所述拍照预览界面中的车辆部位；
    在所述拍照预览界面上用预设颜色的矩形框对所述车辆部位进行框选；
    基于所述预设的车辆部位识别模型获取所述车辆部位对应的置信度，并将所述车辆部位对应的置信度显示在所述预设颜色的矩形框内，其中，所述置信度为所述预设的车辆部位识别模型识别出车辆部位的正确率；
    若所述车辆部位对应的置信度小于预设置信度，则禁用移动终端的拍照功能，并发出调整摄像头的提示信息；
    若所述车辆部位对应的置信度大于或等于预设置信度，当接收到拍照指令时，保存框选的车辆部位图片，并基于预设的车辆损伤识别模型对所述车辆部位图片进行损伤识别，确定所述车辆部位的损伤等级；
    基于所述车辆部位的损伤等级，确定所述车辆部位的处理方式，其中，所述处理方式包括更换和修复；
    将所述车辆部位的处理方式推送至所述移动终端。
  17. 如权利要求16所述的计算机可读存储介质，其中，所述程序指令被处理器执行时，还用于实现以下步骤：
    获取预设数量的不同车辆部位的样本图片；
    基于所述样本图片，对预设的车辆部位识别模型进行离线训练。
  18. 如权利要求17所述的计算机可读存储介质，其中，所述程序指令被处理器执行时，还用于实现以下步骤：
    对所述样本图片进行预处理；
    将预处理后的所述样本图片输入至预设的卷积神经网络中，以便所述预设的卷积神经网络输出所述样本图片的特征图；
    基于区域候选网络对所述特征图进行识别，确定所述样本图片对应的车辆部位信息。
  19. 如权利要求18所述的计算机可读存储介质，其中，所述程序指令被处理器执行时，还用于实现以下步骤：
    基于区域候选网络对所述特征图进行检测，确定目标区域；
    通过全连接算法对所述目标区域进行检测，确定所述目标区域中对应的车辆部位信息。
  20. 如权利要求17所述的计算机可读存储介质，其中，所述程序指令被处理器执行时，还用于实现以下步骤：
    当检测到所述预设的车辆部位识别模型开始收敛时，确认所述预设的车辆部位识别模型离线训练完成；
    保存离线训练后的所述预设的车辆部位识别模型。
PCT/CN2020/099266 2019-09-09 2020-06-30 数据预测方法、装置、设备及计算机可读存储介质 WO2021047249A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910846316.5A CN110660000A (zh) 2019-09-09 2019-09-09 数据预测方法、装置、设备及计算机可读存储介质
CN201910846316.5 2019-09-09

Publications (1)

Publication Number Publication Date
WO2021047249A1 true WO2021047249A1 (zh) 2021-03-18

Family

ID=69036822

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/099266 WO2021047249A1 (zh) 2019-09-09 2020-06-30 数据预测方法、装置、设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN110660000A (zh)
WO (1) WO2021047249A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110660000A (zh) * 2019-09-09 2020-01-07 平安科技（深圳）有限公司 数据预测方法、装置、设备及计算机可读存储介质
CN114241180A (zh) * 2021-12-15 2022-03-25 平安科技（深圳）有限公司 车损理赔的图片检测方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090838A (zh) * 2017-11-21 2018-05-29 阿里巴巴集团控股有限公司 识别车辆受损部件的方法、装置、服务器、客户端及系统
CN108921068A (zh) * 2018-06-22 2018-11-30 深源恒际科技有限公司 一种基于深度神经网络的汽车外观自动定损方法及系统
CN109325488A (zh) * 2018-08-31 2019-02-12 阿里巴巴集团控股有限公司 用于辅助车辆定损图像拍摄的方法、装置及设备
CN109389169A (zh) * 2018-10-08 2019-02-26 百度在线网络技术（北京）有限公司 用于处理图像的方法和装置
US10373387B1 (en) * 2017-04-07 2019-08-06 State Farm Mutual Automobile Insurance Company Systems and methods for enhancing and developing accident scene visualizations
CN110660000A (zh) * 2019-09-09 2020-01-07 平安科技（深圳）有限公司 数据预测方法、装置、设备及计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5462609B2 (ja) * 2009-12-09 2014-04-02 富士重工業株式会社 停止線認識装置
CN107092922B (zh) * 2017-03-13 2018-08-31 平安科技（深圳）有限公司 车损识别方法及服务器
CN107358596B (zh) * 2017-04-11 2020-09-18 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置、电子设备及系统
CN107194398B (zh) * 2017-05-10 2018-09-25 平安科技（深圳）有限公司 车损部位的识别方法及系统
CN108446618A (zh) * 2018-03-09 2018-08-24 平安科技（深圳）有限公司 车辆定损方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10373387B1 (en) * 2017-04-07 2019-08-06 State Farm Mutual Automobile Insurance Company Systems and methods for enhancing and developing accident scene visualizations
CN108090838A (zh) * 2017-11-21 2018-05-29 阿里巴巴集团控股有限公司 识别车辆受损部件的方法、装置、服务器、客户端及系统
CN108921068A (zh) * 2018-06-22 2018-11-30 深源恒际科技有限公司 一种基于深度神经网络的汽车外观自动定损方法及系统
CN109325488A (zh) * 2018-08-31 2019-02-12 阿里巴巴集团控股有限公司 用于辅助车辆定损图像拍摄的方法、装置及设备
CN109389169A (zh) * 2018-10-08 2019-02-26 百度在线网络技术（北京）有限公司 用于处理图像的方法和装置
CN110660000A (zh) * 2019-09-09 2020-01-07 平安科技（深圳）有限公司 数据预测方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN110660000A (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
CN108009543B (zh) 一种车牌识别方法及装置
EP3520045B1 (en) Image-based vehicle loss assessment method, apparatus, and system, and electronic device
CN108734162B (zh) 商品图像中目标识别方法、系统、设备及存储介质
WO2021082662A1 (zh) 辅助用户拍摄车辆视频的方法及装置
CN111027504A (zh) 人脸关键点检测方法、装置、设备及存储介质
WO2021051601A1 (zh) 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质
WO2022151589A1 (zh) 图像增强方法、装置、设备及存储介质
WO2021136528A1 (zh) 一种实例分割的方法及装置
CN110826521A (zh) 驾驶员疲劳状态识别方法、系统、电子设备和存储介质
CN107622246B (zh) 人脸识别方法及相关产品
CN112100431B (zh) Ocr系统的评估方法、装置、设备及可读存储介质
CN110443245B (zh) 一种非限制场景下的车牌区域的定位方法、装置及设备
WO2021047249A1 (zh) 数据预测方法、装置、设备及计算机可读存储介质
CN112446322B (zh) 眼球特征检测方法、装置、设备及计算机可读存储介质
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及系统
CN114723646A (zh) 带标注的图像数据生成方法、装置、存储介质及电子设备
WO2024001617A1 (zh) 玩手机行为识别方法及装置
CN111178181B (zh) 交通场景分割方法及相关装置
WO2020244076A1 (zh) 人脸识别方法、装置、电子设备及存储介质
CN116486351A (zh) 行车预警方法、装置、设备及存储介质
CN115984723A (zh) 道路破损检测方法、系统、装置、存储介质及计算机设备
CN115222621A (zh) 图像校正方法、电子设备、存储介质及计算机程序产品
WO2020155998A1 (zh) 识别车体方向的方法和装置
CN114038030A (zh) 图像篡改识别方法、设备及计算机存储介质
CN110809088A (zh) 一种基于手机app的交通事故拍照方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20862573

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20862573

Country of ref document: EP

Kind code of ref document: A1