WO2021139357A1 - 车损检测数据合成方法、装置、系统及存储介质 - Google Patents

车损检测数据合成方法、装置、系统及存储介质 Download PDF

Info

Publication number
WO2021139357A1
WO2021139357A1 PCT/CN2020/125073 CN2020125073W WO2021139357A1 WO 2021139357 A1 WO2021139357 A1 WO 2021139357A1 CN 2020125073 W CN2020125073 W CN 2020125073W WO 2021139357 A1 WO2021139357 A1 WO 2021139357A1
Authority
WO
WIPO (PCT)
Prior art keywords
instance
data
car damage
specified
mask
Prior art date
Application number
PCT/CN2020/125073
Other languages
English (en)
French (fr)
Inventor
赵霄鸿
刘莉红
刘玉宇
肖京
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021139357A1 publication Critical patent/WO2021139357A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • This application relates to the field of data processing technology, and in particular to a method, device, system and computer-readable storage medium for vehicle damage detection data synthesis.
  • the second solution is to paste real instance objects into the real scene to generate new data, thereby reducing the dependence on graphics rendering.
  • direct pasting will produce pixel-level artifacts in the image, which will affect the final instance detection results.
  • the direct pasting method will make the data more flawed in the object's multi-view and multi-scale performance.
  • the present application provides a method for synthesizing vehicle damage detection data, which includes:
  • Fusion processing is performed on the mask picture of the designated car loss instance to be merged corresponding to the mask data of the designated car loss instance to be merged and the scene picture to obtain synthesized car damage detection data.
  • the present application also provides an electronic device, which includes a memory and a processor, the memory stores a vehicle damage detection data synthesis program, and the vehicle damage detection data synthesis program is When the processor executes, the following steps are implemented:
  • Fusion processing is performed on the mask picture of the designated car loss instance to be merged corresponding to the mask data of the designated car loss instance to be merged and the scene picture to obtain synthesized car damage detection data.
  • this application also provides a vehicle damage detection data synthesis system, including:
  • the picture collection unit is used to collect the pictures of the specified car damage instance objects and scene pictures
  • An instance mask data extraction unit for extracting specified car damage instance mask data according to the specified car damage instance object picture
  • a data amplification unit configured to perform data amplification processing on the specified car damage instance mask data to obtain the to-be-fused specified car damage instance mask data;
  • the picture fusion unit is used for fusing the specified car damage instance mask picture to be fused corresponding to the specified car damage instance mask data to be fused with the scene picture to obtain synthesized car damage detection data.
  • the present application also provides a computer-readable storage medium in which a vehicle damage detection data synthesis program is stored, and the vehicle damage detection data synthesis program is executed by a processor
  • a vehicle damage detection data synthesis program is stored, and the vehicle damage detection data synthesis program is executed by a processor
  • FIG. 2 is a schematic diagram of the application environment of a preferred embodiment of the method for synthesizing vehicle damage detection data according to the application;
  • FIG. 3 is a schematic diagram of modules of a preferred embodiment of the vehicle damage detection data synthesis program in FIG. 2.
  • This application provides a method for synthesizing vehicle damage detection data.
  • FIG. 1 it is a flowchart of a preferred embodiment of a method for synthesizing vehicle damage detection data according to this application.
  • the method can be executed by a device, and the device can be implemented by software and/or hardware.
  • the method for synthesizing vehicle damage detection data includes: step S110-step S140.
  • Step S120 extract the specified car damage instance mask data according to the specified car damage instance object picture.
  • the car damage part of the object picture of the specified car damage instance is extracted, and the specified car damage instance is separated from the background by extracting the mask, so as to obtain the specified car damage instance, for example, a car with a cracked texture
  • the cracked texture in the picture is extracted as an example of car damage. What is separated is the cracked texture without background information.
  • the pixel is the smallest unit of the picture.
  • the foreground pixel data and the background pixel data are separated, and then the foreground pixel data is extracted to obtain the specified car damage instance mask data .
  • the preset specified car damage instance mask data extraction model extracts the specified car damage instance mask data from the specified car damage instance object picture.
  • the prediction operation is automated by training a model for foreground/background classification.
  • the R-CNN model divides each image pixel into the foreground/background, that is, the mask data extraction model for the specified car damage instance is preset. By presetting the mask data extraction model of the specified car damage instance, a high-quality mask of the specified car damage instance object can be obtained.
  • the method before inputting the specified car damage instance object picture into the preset specified car damage instance mask data extraction model, the method further includes:
  • a basic model is established, and the model is trained based on the pixel foreground samples and pixel background samples of the specified car damage instance objects, as well as the pixel foreground sample tags and pixel background sample tags, and the preset specified car damage instance mask data extraction model is obtained.
  • the data used to train the preset specified car damage instance mask data extraction model is obtained.
  • a preset designated car damage instance mask data extraction model is obtained.
  • the method further includes:
  • car damage texture occlusion and interception in real images, which refers to the phenomenon that the instance object is partially visible.
  • data enhancement is performed for the specified car damage texture occlusion and interception respectively.
  • paste partially overlapping objects, and the maximum degree of fold (IOU) is 0.75.
  • the instance object is placed at the border of the image for truncation to ensure that the instance object has at least 0.25 frames in the image.
  • the degree of overlap refers to the intersection of the areas of the two objects divided by the union. 0.75 is set based on the experience in the actual operation, and of course it can also be adjusted according to the actual operation.
  • the method further includes:
  • the real scene is simulated by adding a designated car damage interference object in the generated image.
  • a designated car damage interference object in the generated image.
  • Step S130 Perform data amplification processing on the mask data of the specified car damage instance to obtain the mask data of the specified car damage instance to be merged.
  • the method of performing data amplification processing on the mask data of the specified car damage instance is a 2D rotating data amplification method.
  • the method of performing data amplification processing on the mask data of the specified car damage instance is a data amplification method of enlargement and reduction.
  • the specified car damage instance mask image corresponding to the specified car damage instance mask data is enlarged or reduced, so as to obtain the enlarged or reduced specified car damage instance amplification mask image, and then according to the specified car damage instance Amplify the mask picture to obtain the specified car damage instance mask data corresponding to the specified car damage instance amplified mask picture.
  • the process of enlarging or reducing the mask data of the designated car damage instance it is carried out according to the preset enlargement and reduction thresholds, and evenly enlarged and reduced within the range of the enlargement and reduction thresholds, so as to obtain the designated car loss instance masks of different sizes.
  • the picture data used for car damage detection is obtained, and the training of the picture data used for car damage detection is used for car damage detection model training.
  • the fusion processing is any one of Gaussian fusion, Poisson fusion, motion fusion and hybrid fusion or a mixed use of image fusion processing methods.
  • the vehicle damage detection data synthesis method provided in this application is applied to an electronic device 1.
  • FIG. 2 it is a schematic diagram of the application environment of the preferred embodiment of the method for synthesizing vehicle damage detection data according to this application.
  • the electronic device 1 may be a terminal device with a computing function such as a server, a smart phone, a tablet computer, a portable computer, a desktop computer, and the like.
  • the electronic device 1 includes a processor 12, a memory 11, a network interface 13, and a communication bus 14.
  • the memory 11 includes at least one type of readable storage medium.
  • the at least one type of readable storage medium may be a non-volatile storage medium such as flash memory, hard disk, multimedia card, and card-type memory 11.
  • the readable storage medium may be an internal storage unit of the electronic device 1, for example, the hard disk of the electronic device 1.
  • the readable storage medium may also be the external memory 11 of the electronic device 1, such as a plug-in hard disk or a smart memory card (Smart Memory Card) equipped on the electronic device 1.
  • the readable storage medium of the memory 11 is generally used to store the vehicle damage detection data synthesis program 10 and the like installed in the electronic device 1.
  • the memory 11 can also be used to temporarily store data that has been output or will be output.
  • the processor 12 may be a central processing unit (Central Processing Unit) in some embodiments.
  • Central Processing Unit CPU
  • microprocessor or other data processing chip, used to run the program code or processing data stored in the memory 11, for example, execute the vehicle damage detection data synthesis program 10, etc.
  • the communication bus 14 is used to realize the connection and communication between the above-mentioned components.
  • the memory 11 as a computer storage medium may include an operating system and a car damage detection data synthesis program 10; the processor 12 executes the car damage detection data synthesis program 10 stored in the memory 11.
  • the processor 12 executes the functions of the modules/units in the foregoing device embodiments when executing the vehicle damage detection data synthesis method.
  • the vehicle damage detection data synthesis program 10 shown in FIG. 3 can be divided into: a picture collection module 110, Example mask data extraction module 120, data amplification module 130, and image fusion module 140.
  • modules 110-140 are all similar to the above, and will not be described in detail here. Illustratively, for example, where:
  • the picture collection module 110 is used to collect the specified car damage instance object pictures and scene pictures.
  • the data amplification module 130 is configured to perform data amplification processing on the mask data of the specified car damage instance to obtain the mask data of the specified car damage instance to be merged.
  • the picture fusion module 140 is configured to perform fusion processing on the to-be-fused designated car-loss instance mask picture corresponding to the to-be-fused designated car loss instance mask data and the scene picture to obtain synthesized car damage detection data.
  • the embodiment of the present application also proposes a computer-readable storage medium.
  • the computer-readable storage medium may be non-volatile or volatile; the computer-readable storage medium includes a vehicle damage detection data synthesis program, When the vehicle damage detection data synthesis program is executed by the processor, the vehicle damage detection data synthesis method in Embodiment 1 is implemented. In order to avoid repetition, details are not repeated here. Or, when the computer program is executed by the processor, the function of each module/unit in the vehicle damage detection data synthesis system in Embodiment 4 is realized. In order to avoid repetition, details are not repeated here.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及数据处理技术领域，提供一种车损检测数据合成方法、装置及计算机可读存储介质，包括：收集指定车损实例对象图片和场景图片；根据指定车损实例对象图片提取指定车损实例掩码数据；对指定车损实例掩码数据进行数据扩增处理，得到待融合指定车损实例掩码数据；将待融合指定车损实例掩码数据对应的待融合指定车损实例掩码图片与场景图片进行融合处理，得到合成的车损检测数据。本申请能够快速合成大批量包含指定车损纹理的数据，解决了直接粘贴指定车损实例对象带来的局部伪影问题，并能够保持指定车损实例的图像局部真实性。

Description

车损检测数据合成方法、装置、系统及存储介质
本申请要求于2020年07月30日提交中国专利局、申请号为202010753024.X，发明名称为“车损检测数据合成方法、装置及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及数据处理技术领域，尤其涉及一种车损检测数据合成方法、装置、系统及计算机可读存储介质。
 背景技术
快速部署用于车损检测模型的一个主要障碍是缺少大型的带标注的车损数据集。在车损检测中，发明人意识到，指定车损种类往往存在数据少的问题，传统的数据收集分为数据管理和数据标注两个步骤。在数据管理中，如果直接在网上收集针对特定实例检测任务的数据十分困难，如果手动收集，则需要通过将物体放置在不同的背景和从不同的视角收集来确保获取的图片具有足够的多样性。数据标注往往比较昂贵。传统方法收集的数据都是针对特定场景，特定实例，若检测任务需要切换场景或者切换实例，如针对车损检测任务需要切换车型或切换车损种类，则需要重新收集和标注，既不快速又很昂贵。
为了解决上述问题，目前比较成功的方案有两个方向。第一种方案是利用合成和渲染的方式批量生成特定任务需要的场景和对象。直接人工合成最大的好处在于合成软件往往能够自然地生成标注而无需额外的人工标注。但直接人工合成也存在缺陷：1）为了确保高质量的全局和局部一致性，需要大量工作才可使场景和对象足够逼真；2）由于合成数据和真实数据之间有图像统计量的变化，针对这些合成数据的模型难以推广到真实数据。特别是第二类缺陷，若不能推广到真实数据，那么检测模型的有效性将被大大削弱。第二种方案是将真实实例对象粘贴到真实场景中来生成新的数据，以此减少对图形渲染的依赖。不过直接粘贴会在图像中产生像素级的伪影，从而影响最终实例检测结果。此外，直接粘贴的方式会使得数据在对象多视角和多尺度上的表现上较为缺陷。上述现有的合成数据集的方法，不论是第一种方案，还是第二种方案，主要集中在确保全局一致性和真实性上。缺少对局部信息特征的关注。
申请内容
基于上述现有技术中存在的问题，本申请提供一种车损检测数据合成方法、装置及计算机可读存储介质，其主要目的在于，通过先收集指定车损实例对象图片和场景图片；提取指定车损实例对象图片的指定车损实例掩码数据；对指定车损实例掩码数据进行数据扩增，将扩增后的待融合指定车损实例掩码数据对应的待融合指定车损实例掩码图片与场景图片进行融合，最后得到合成的车损检测数据，能够快速合成大批量包含指定车损纹理的数据，解决了直接粘贴指定车损实例对象带来的局部伪影问题，并能够保持指定车损实例的图像局部真实性。
第一方面，为实现上述目的，本申请提供一种车损检测数据合成方法，该方法包括：
收集指定车损实例对象图片和场景图片；
根据所述指定车损实例对象图片提取指定车损实例掩码数据；
对所述指定车损实例掩码数据进行数据扩增处理，得到待融合指定车损实例掩码数据；
将所述待融合指定车损实例掩码数据对应的待融合指定车损实例掩码图片与所述场景图片进行融合处理，得到合成的车损检测数据。
第二方面，为实现上述目的，本申请还提供一种电子装置，该电子装置包括：存储器、处理器，所述存储器中存储有车损检测数据合成程序，所述车损检测数据合成程序被所述处理器执行时实现如下步骤：
收集指定车损实例对象图片和场景图片；
根据所述指定车损实例对象图片提取指定车损实例掩码数据；
对所述指定车损实例掩码数据进行数据扩增处理，得到待融合指定车损实例掩码数据；
将所述待融合指定车损实例掩码数据对应的待融合指定车损实例掩码图片与所述场景图片进行融合处理，得到合成的车损检测数据。
第三方面，为实现上述目的，本申请还提供一种车损检测数据合成系统，包括：
图片收集单元、用于收集指定车损实例对象图片和场景图片；
实例掩码数据提取单元、用于根据所述指定车损实例对象图片提取指定车损实例掩码数据；
数据扩增单元、用于对所述指定车损实例掩码数据进行数据扩增处理，得到待融合指定车损实例掩码数据；
图片融合单元、用于将所述待融合指定车损实例掩码数据对应的待融合指定车损实例掩码图片与所述场景图片进行融合处理，得到合成的车损检测数据。
第四方面，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有车损检测数据合成程序，所述车损检测数据合成程序被处理器执行时，实现如上所述的车损检测数据合成方法中的任意步骤。
本申请提出的车损检测数据合成方法、装置及计算机可读存储介质，通过收集指定车损实例对象图片和场景图片；根据指定车损实例对象图片提取指定车损实例掩码数据；对指定车损实例掩码数据进行数据扩增处理，得到待融合指定车损实例掩码数据；将待融合指定车损实例掩码数据对应的待融合指定车损实例掩码图片与场景图片进行融合处理，得到合成的车损检测数据。能够快速合成大批量包含指定车损纹理的数据，解决了直接粘贴指定车损实例对象带来的局部伪影问题，并能够保持指定车损实例的图像局部真实性。
 技术解决方案
在此处键入技术解决方案描述段落。
 有益效果
在此处键入有益效果描述段落。
 附图说明
图1为本申请车损检测数据合成方法较佳实施例的流程图；
图2为本申请车损检测数据合成方法较佳实施例的应用环境示意图；
图3为图2中车损检测数据合成程序较佳实施例的模块示意图。
图4为本申请车损检测数据合成方法对应的系统逻辑图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
 本发明的最佳实施方式
在此处键入本发明的最佳实施方式描述段落。
 本发明的实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
实施例1
本申请提供一种车损检测数据合成方法。参照图1所示，为本申请车损检测数据合成方法较佳实施例的流程图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，车损检测数据合成方法包括：步骤S110-步骤S140。
步骤S110，收集指定车损实例对象图片和场景图片。
具体地，指定车损实例对象图片构成了生成合成数据集的指定车损实例对象。其中，指定车损实例对象图片是指带有某种车损类型的图片，例如带有开裂纹理的车损图片、带有划痕纹理的车损图片等；场景图片是指不同类型的车辆，例如，卡车、轿车等。
在收集指定车损实例对象图片和场景图片的过程中，不限制收集图片的方式，只要能够收集指定车损类型和车型的图片即可，例如，通过摄像装置拍摄的图片或者通过网络收集的图片均可。指定车损实例对象图片可以为不同角度的图片。场景图片构成了生成合成数据集的背景图片。本申请不计算任何场景统计信息，比如几何信息或者布局信息，因此方案可以很容易地处理新的场景，如其他种类的卡车、货车等。
步骤S120，根据指定车损实例对象图片提取指定车损实例掩码数据。
具体地，将指定车损实例对象图片中车损部分提取出来，通过提取掩码的方式将指定车损实例与背景分离，从而得到指定车损实例，例如，将一辆带有开裂纹理的轿车图片中的开裂纹理作为车损实例提取出来。分离出的即为没有背景信息的开裂纹理。
作为本申请的一个优选方案，根据指定车损实例对象图片提取指定车损实例掩码数据，包括：
对指定车损实例对象图片进行像素处理，得到指定车损实例对象图片的像素数据；
对指定车损实例对象图片的像素数据进行前景和背景分类处理，分别得到前景像素数据和背景像素数据；
提取前景像素数据，作为指定车损实例掩码数据。
具体地，通过将图片像素化，像素是图片最小的单位，通过一个像素一个像素的甄别，分出前景像素数据和背景像素数据，再提取出前景像素数据，从而得到指定车损实例掩码数据。
作为本申请的一个优选方案，在根据指定车损实例对象图片提取指定车损实例掩码数据的过程中，
将指定车损实例对象图片输入预设指定车损实例掩码数据提取模型；
预设指定车损实例掩码数据提取模型对指定车损实例对象图片进行指定车损实例掩码数据的提取。
具体的，为了便于提取指定车损实例掩码数据，通过训练一个用于前景/背景分类的模型来自动化该预测操作。可以通过训练Mask R-CNN模型来将每个图像像素划分为前景/背景，即预设指定车损实例掩码数据提取模型。通过预设指定车损实例掩码数据提取模型可以获得指定车损实例对象的高质量掩码。
作为本申请的一个优选方案，在将指定车损实例对象图片输入预设指定车损实例掩码数据提取模型之前还包括：
采集指定车损实例对象的像素前景样本和像素背景样本；
对指定车损实例对象的像素前景样本和像素背景样本分别进行标记，得到像素前景样本标记和像素背景样本标记；
建立基础模型，根据指定车损实例对象的像素前景样本和像素背景样本以及像素前景样本标记和像素背景样本标记进行模型训练，得到预设指定车损实例掩码数据提取模型。
具体的，通过采集指定车损实例对象的像素前景样本和像素背景样本并分别对像素前景样本和像素背景样本进行标记，从而得到用于训练预设指定车损实例掩码数据提取模型的数据，通过反复对训练数据的训练从而得到预设指定车损实例掩码数据提取模型。
作为本申请的一个优选方案，在根据指定车损实例对象图片提取指定车损实例掩码数据之后，还包括：
对指定车损实例掩码数据对应的指定车损实例掩码图片进行纹理遮挡和拦截处理，使指定车损实例掩码图片中粘贴部分重叠对象的最大重叠度为0.75，并使指定车损实例掩码图片中至少有0.25个框在指定车损实例掩码图片中。
具体地，在真实图像中指定车损纹理遮挡和拦截的现象很常见，指的是实例对象部分可见的现象。为了合成更加符合真实场景的数据，数据增强分别针对指定车损纹理遮挡和拦截进行操作。为了模拟指定车损纹理遮挡的情况，粘贴部分重叠的对象，最大的折叠度（IOU）为0.75。为了模拟指定车损纹理截断的情况，将实例对象放置在图像的边界处进行截断，保证该实例对象至少有0.25个框在图像中。其中，重叠度是指两个对象的面积交集除以并集，0.75是根据实际操作中的经验进行设定，当然也可根据实际操作情况进行调整。
作为本申请的一个优选方案，在根据指定车损实例对象图片提取指定车损实例掩码数据之后，还包括：
在指定车损实例掩码数据对应的指定车损实例掩码图片中添加指定车损干扰对象。
具体地，在生成的图像中通过添加指定车损干扰对象来模拟真实场景。通过这些添加的实例干扰对象，将更容易地检测到边界伪影和提高最终的检测性能。
步骤S130，对指定车损实例掩码数据进行数据扩增处理，得到待融合指定车损实例掩码数据。
具体地，为了扩增指定车损实例数据，通过扩增数据的方式得到大量的指定车损实例掩码数据，然后通过指定车损实例掩码数据得到用于与背景图片融合的指定车损实例图片。
作为本申请的一个优选方案，对指定车损实例掩码数据进行数据扩增处理的方式为2D旋转的数据扩增方式。
具体地，将指定车损实例掩码数据对应的指定车损实例掩码图片进行平面旋转处理，从而得到经过平面旋转后的指定车损实例扩增掩码图片，再根据指定车损实例扩增掩码图片，得到与指定车损实例扩增掩码图片相对应的指定车损实例掩码数据。
作为本申请的一个优选方案，待融合指定车损实例掩码数据存储于区块链中，对指定车损实例掩码数据进行数据扩增处理，得到待融合指定车损实例掩码数据，包括：
 将指定车损实例掩码数据以均匀采样的方式在-180°到180°之间旋转，得到指定车损实例掩码数据在-180°到180°之间的扩增数据。
具体地，指定车损实例掩码数据在采用2D旋转的数据扩增方式进行数据扩增的过程中，将指定车损实例掩码数据对应的指定车损实例掩码图片按照一定的角度，如每次旋转10°的方式在-180°到180°之间均匀旋转，得到指定车损实例掩码图片在-180°到180°之间的指定车损实例扩增掩码图片，在根据指定车损实例扩增掩码图片，得到与指定车损实例扩增掩码图片相对应的指定车损实例掩码数据，即指定车损实例掩码数据在-180°到180°之间的扩增数据。
作为本申请的一个优选方案，对指定车损实例掩码数据进行数据扩增处理的方式为放大和缩小的数据扩增方式。
具体的，将指定车损实例掩码数据对应的指定车损实例掩码图片进行放大或缩小处理，从而得到经过放大或缩小处理的指定车损实例扩增掩码图片，再根据指定车损实例扩增掩码图片，得到与指定车损实例扩增掩码图片相对应的指定车损实例掩码数据。
作为本申请的一个优选方案，对指定车损实例掩码数据进行数据扩增处理，得到待融合指定车损实例掩码数据，包括：
将指定车损实例掩码数据在预设放大和缩小阈值之间均匀采样；
得到指定车损实例掩码数据在预设放大和缩小阈值之间的放大或缩小的扩增数据。
具体的，在指定车损实例掩码数据放大或者缩小的过程中，根据预设放大和缩小阈值进行，在放大和缩小阈值的范围内均匀放大和缩小，从而得到不同大小的指定车损实例掩码图片，从而得到与不同大小的指定车损实例掩码图片相对应的指定车损实例掩码数据，得到扩增数据。
步骤S140，将待融合指定车损实例掩码数据对应的待融合指定车损实例掩码图片与场景图片进行融合处理，得到合成的车损检测数据。
具体地，将待融合指定车损实例掩码图片与场景图片融合处理后，得到用于车损检测的图片数据，通过这些用于车损检测的图片数据训练用于车损检测模型训练。
作为本申请的一个优选方案，融合处理为高斯融合、泊松融合、运动融合和混合融合中的任意一种或几种混合使用的图片融合处理方式。
具体地，几种不同的融合方式主要差别在于采用的计算算子不同，他们的实际效果会根据图像的纹理，光照等因素变化，无法保证某种融合方法绝对优于其他方法。但一般的，泊松融合可以在平滑边界的同时增添亮度变化，适合处理如保险杠、叶子板等区域小且边缘复杂的场景；高斯融合一般适用于边界相对平整的场景，如车门，机盖等；实际应用中，也可将几种方法综合在一起使用，来减少融合带来的不确定性。
实施例2
本申请提供的车损检测数据合成方法，应用于一种电子装置1。参照图2所示，为本申请车损检测数据合成方法较佳实施例的应用环境示意图。
在本实施例中，电子装置1可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。
该电子装置1包括：处理器12、存储器11、网络接口13及通信总线14。
存储器11包括至少一种类型的可读存储介质。至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡及卡型存储器11等的非易失性存储介质。在一些实施例中，可读存储介质可以是电子装置1的内部存储单元，例如该电子装置1的硬盘。在另一些实施例中，可读存储介质也可以是电子装置1的外部存储器11，例如电子装置1上配备的插接式硬盘、智能存储卡（Smart Media Card, SMC）、安全数字（Secure Digital, SD）卡、闪存卡（Flash Card）等。
在本实施例中，存储器11的可读存储介质通常用于存储安装于电子装置1的车损检测数据合成程序10等。存储器11还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器（Central Processing Unit, CPU）、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行车损检测数据合成程序10等。
网络接口13可选地可以包括标准的有线接口、无线接口（如WI-FI接口），通常用于在该电子装置1与其它电子设备之间建立通信连接。
通信总线14用于实现上述这些组件之间的连接通信。
图2仅示出了具有组件11-14的电子装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
在图2所示的装置实施例中，作为一种计算机存储介质的存储器11中可以包括操作系统以及车损检测数据合成程序10；处理器12执行存储器11中存储的车损检测数据合成程序10时实现实施例1中车损检测数据合成方法的各个步骤，例如图1所示。或者，处理器12执行车损检测数据合成方法时实现上述各装置实施例中各模块/单元的功能，例如图3所示的车损检测数据合成程序10可以被分割为：图片收集模块110、实例掩码数据提取模块120、数据扩增模块130、图片融合模块140。
所述模块110-140所实现的功能或操作步骤均与上文类似，此处不再详述，示例性地，例如其中：
图片收集模块110、用于收集指定车损实例对象图片和场景图片。
实例掩码数据提取模块120、用于根据指定车损实例对象图片提取指定车损实例掩码数据。
数据扩增模块130、用于对指定车损实例掩码数据进行数据扩增处理，得到待融合指定车损实例掩码数据。
图片融合模块140、用于将待融合指定车损实例掩码数据对应的待融合指定车损实例掩码图片与场景图片进行融合处理，得到合成的车损检测数据。
实施例3
与上述方法相对应，本申请的实施例还提出一种车损检测数据合成系统400，包括：图片收集单元410、实例掩码数据提取单元420、数据扩增单元430、图片融合单元440，其中，图片收集单元410、实例掩码数据提取单元420、数据扩增单元430、图片融合单元440的实现功能与实施例中车损检测数据合成方法的步骤一一对应。
图片收集单元410、用于收集指定车损实例对象图片和场景图片。
实例掩码数据提取单元420、用于根据指定车损实例对象图片提取指定车损实例掩码数据。
数据扩增单元430、用于对指定车损实例掩码数据进行数据扩增处理，得到待融合指定车损实例掩码数据。
图片融合单元440、用于将待融合指定车损实例掩码数据对应的待融合指定车损实例掩码图片与场景图片进行融合处理，得到合成的车损检测数据。
实施例4
本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质可以是非易失性，也可以是易失性；所述计算机可读存储介质中包括车损检测数据合成程序，所述车损检测数据合成程序被处理器执行时实现实施例1中车损检测数据合成方法，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现实施例4中车损检测数据合成系统中各模块/单元的功能，为避免重复，这里不再赘述。
本申请之计算机可读存储介质的具体实施方式与上述车损检测数据合成方法、电子装置、系统的具体实施方式大致相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
 工业实用性
在此处键入工业实用性描述段落。
 序列表自由内容
在此处键入序列表自由内容描述段落。

Claims (20)

  1. 一种车损检测数据合成方法，应用于电子装置，其中，所述方法包括：
    收集指定车损实例对象图片和场景图片；
    根据所述指定车损实例对象图片提取指定车损实例掩码数据；
    对所述指定车损实例掩码数据进行数据扩增处理，得到待融合指定车损实例掩码数据；
    将所述待融合指定车损实例掩码数据对应的待融合指定车损实例掩码图片与所述场景图片进行融合处理，得到合成的车损检测数据。
  2. 根据权利要求1所述的车损检测数据合成方法，其中，根据所述指定车损实例对象图片提取指定车损实例掩码数据，包括：
    对所述指定车损实例对象图片进行像素处理，得到指定车损实例对象图片的像素数据；
    对所述指定车损实例对象图片的像素数据进行前景和背景分类处理，分别得到前景像素数据和背景像素数据；
    提取所述前景像素数据，作为指定车损实例掩码数据。
  3. 根据权利要求1所述的车损检测数据合成方法，其中，在根据所述指定车损实例对象图片提取指定车损实例掩码数据之后，还包括：
    对所述指定车损实例掩码数据对应的指定车损实例掩码图片进行纹理遮挡和拦截处理，使所述指定车损实例掩码图片中粘贴部分重叠对象的最大重叠度为0.75，并使所述指定车损实例掩码图片中至少有0.25个框在所述指定车损实例掩码图片中。
  4. 根据权利要求1所述的车损检测数据合成方法，其中，在根据所述指定车损实例对象图片提取指定车损实例掩码数据之后，还包括：
    在所述指定车损实例掩码数据对应的指定车损实例掩码图片中添加指定车损干扰对象。
  5. 根据权利要求1所述的车损检测数据合成方法，其中，对所述指定车损实例掩码数据进行数据扩增处理的方式为2D旋转的数据扩增方式。
  6. 根据权利要求5所述的车损检测数据合成方法，其中，所述待融合指定车损实例掩码数据存储于区块链中，对所述指定车损实例掩码数据进行数据扩增处理，得到待融合指定车损实例掩码数据，包括：
     将所述指定车损实例掩码数据以均匀采样的方式在-180°到180°之间旋转，得到所述指定车损实例掩码数据在-180°到180°之间的扩增数据。
  7. 根据权利要求1所述的车损检测数据合成方法，其中，所述融合处理为高斯融合、泊松融合、运动融合和混合融合中的任意一种或几种混合使用的图片融合处理方式。
  8. 根据权利要求1所述的车损检测数据合成方法，其中，在根据所述指定车损实例对象图片提取指定车损实例掩码数据的过程中，
    将所述指定车损实例对象图片输入预设指定车损实例掩码数据提取模型；
    所述预设指定车损实例掩码数据提取模型对所述指定车损实例对象图片进行指定车损实例掩码数据的提取。
  9. 根据权利要求8所述的车损检测数据合成方法，其中，在将所述指定车损实例对象图片输入预设指定车损实例掩码数据提取模型之前还包括：
    采集指定车损实例对象的像素前景样本和像素背景样本；
    对所述指定车损实例对象的像素前景样本和像素背景样本分别进行标记，得到像素前景样本标记和像素背景样本标记；
    建立基础模型，根据所述指定车损实例对象的像素前景样本和像素背景样本以及所述像素前景样本标记和所述像素背景样本标记进行模型训练，得到所述预设指定车损实例掩码数据提取模型。
  10. 根据权利要求1所述的车损检测数据合成方法，其中，对所述指定车损实例掩码数据进行数据扩增处理的方式为放大和缩小的数据扩增方式。
  11. 根据权利要求10所述的车损检测数据合成方法，其中，对所述指定车损实例掩码数据进行数据扩增处理，得到待融合指定车损实例掩码数据，包括：
    将所述指定车损实例掩码数据在预设放大和缩小阈值之间均匀采样；
    得到所述指定车损实例掩码数据在预设放大和缩小阈值之间的放大或缩小的扩增数据。
  12. 一种电子装置，其特征在于，该电子装置包括：存储器、处理器，所述存储器中存储有车损检测数据合成程序，所述车损检测数据合成程序被所述处理器执行时实现如下步骤：
    收集指定车损实例对象图片和场景图片；
    根据所述指定车损实例对象图片提取指定车损实例掩码数据；
    对所述指定车损实例掩码数据进行数据扩增处理，得到待融合指定车损实例掩码数据；
    将所述待融合指定车损实例掩码数据对应的待融合指定车损实例掩码图片与所述场景图片进行融合处理，得到合成的车损检测数据。
  13. 根据权利要求12所述的电子装置，其中，根据所述指定车损实例对象图片提取指定车损实例掩码数据，包括：
    对所述指定车损实例对象图片进行像素处理，得到指定车损实例对象图片的像素数据；
    对所述指定车损实例对象图片的像素数据进行前景和背景分类处理，分别得到前景像素数据和背景像素数据；
    提取所述前景像素数据，作为指定车损实例掩码数据。
  14. 根据权利要求12所述的电子装置，其中，在根据所述指定车损实例对象图片提取指定车损实例掩码数据之后，还包括：
    对所述指定车损实例掩码数据对应的指定车损实例掩码图片进行纹理遮挡和拦截处理，使所述指定车损实例掩码图片中粘贴部分重叠对象的最大重叠度为0.75，并使所述指定车损实例掩码图片中至少有0.25个框在所述指定车损实例掩码图片中。
  15. 根据权利要求12所述的电子装置，其中，在根据所述指定车损实例对象图片提取指定车损实例掩码数据之后，还包括：
    在所述指定车损实例掩码数据对应的指定车损实例掩码图片中添加指定车损干扰对象。
  16. 根据权利要求12所述的电子装置，其中，对所述指定车损实例掩码数据进行数据扩增处理的方式为2D旋转的数据扩增方式。
  17. 根据权利要求16所述的电子装置，其中，所述待融合指定车损实例掩码数据存储于区块链中，对所述指定车损实例掩码数据进行数据扩增处理，得到待融合指定车损实例掩码数据，包括：
    将所述指定车损实例掩码数据以均匀采样的方式在-180°到180°之间旋转，得到所述指定车损实例掩码数据在-180°到180°之间的扩增数据。
  18. 根据权利要求12所述的电子装置，其中，所述融合处理为高斯融合、泊松融合、运动融合和混合融合中的任意一种或几种混合使用的图片融合处理方式。
  19. 一种车损检测数据合成系统，其中，包括：
    图片收集单元、用于收集指定车损实例对象图片和场景图片；
    实例掩码数据提取单元、用于根据所述指定车损实例对象图片提取指定车损实例掩码数据；
    数据扩增单元、用于对所述指定车损实例掩码数据进行数据扩增处理，得到待融合指定车损实例掩码数据；
    图片融合单元、用于将所述待融合指定车损实例掩码数据对应的待融合指定车损实例掩码图片与所述场景图片进行融合处理，得到合成的车损检测数据。
  20. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有车损检测数据合成程序，所述车损检测数据合成程序被处理器执行时，实现如权利要求1至11中任一项所述的车损检测数据合成方法的步骤。
PCT/CN2020/125073 2020-07-30 2020-10-30 车损检测数据合成方法、装置、系统及存储介质 WO2021139357A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010753024.XA CN111899204B (zh) 2020-07-30 2020-07-30 车损检测数据合成方法、装置及存储介质
CN202010753024.X 2020-07-30

Publications (1)

Publication Number Publication Date
WO2021139357A1 true WO2021139357A1 (zh) 2021-07-15

Family

ID=73182687

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/125073 WO2021139357A1 (zh) 2020-07-30 2020-10-30 车损检测数据合成方法、装置、系统及存储介质

Country Status (2)

Country Link
CN (1) CN111899204B (zh)
WO (1) WO2021139357A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612744A (zh) * 2022-03-10 2022-06-10 平安科技（深圳）有限公司 一种检测模型训练方法、车辆损伤检测方法及终端设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003304395A (ja) * 2002-04-09 2003-10-24 Canon Inc 画像処理装置及びフィルムスキャナ
CN109146830A (zh) * 2018-07-17 2019-01-04 北京旷视科技有限公司 用于生成训练数据的方法、装置、系统和存储介质
CN110288019A (zh) * 2019-06-21 2019-09-27 北京百度网讯科技有限公司 图像标注方法、装置和存储介质
CN111047576A (zh) * 2019-12-12 2020-04-21 珠海博明视觉科技有限公司 一种表面缺陷样本生成工具

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018128741A1 (en) * 2017-01-06 2018-07-12 Board Of Regents, The University Of Texas System Segmenting generic foreground objects in images and videos
CN108764046A (zh) * 2018-04-26 2018-11-06 平安科技（深圳）有限公司 车辆损伤分类模型的生成装置、方法及计算机可读存储介质
CA3110126C (en) * 2018-08-21 2023-07-11 Huawei Technologies Co., Ltd. Binarization and normalization-based inpainting for removing text
CN110070056B (zh) * 2019-04-25 2023-01-10 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003304395A (ja) * 2002-04-09 2003-10-24 Canon Inc 画像処理装置及びフィルムスキャナ
CN109146830A (zh) * 2018-07-17 2019-01-04 北京旷视科技有限公司 用于生成训练数据的方法、装置、系统和存储介质
CN110288019A (zh) * 2019-06-21 2019-09-27 北京百度网讯科技有限公司 图像标注方法、装置和存储介质
CN111047576A (zh) * 2019-12-12 2020-04-21 珠海博明视觉科技有限公司 一种表面缺陷样本生成工具

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612744A (zh) * 2022-03-10 2022-06-10 平安科技（深圳）有限公司 一种检测模型训练方法、车辆损伤检测方法及终端设备
CN114612744B (zh) * 2022-03-10 2024-08-20 平安科技（深圳）有限公司 一种检测模型训练方法、车辆损伤检测方法及终端设备

Also Published As

Publication number Publication date
CN111899204B (zh) 2024-04-09
CN111899204A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN110163188B (zh) 视频处理以及在视频中嵌入目标对象的方法、装置和设备
CN112651881B (zh) 图像合成方法、装置、设备、存储介质以及程序产品
CN109712082B (zh) 协作修图的方法及装置
WO2019214321A1 (zh) 车辆损伤识别的处理方法、处理设备、客户端及服务器
WO2021189847A1 (zh) 基于图像分类模型的训练方法、装置、设备及存储介质
CN112712487A (zh) 一种场景视频融合方法、系统、电子设备及存储介质
CN113505799B (zh) 显著性检测方法及其模型的训练方法和装置、设备、介质
CN112734914A (zh) 一种增强现实视觉的图像立体重建方法及装置
CN114723636A (zh) 基于多特征融合的模型生成方法、装置、设备及存储介质
CN114897684A (zh) 车辆图像的拼接方法、装置、计算机设备和存储介质
CN110321969B (zh) 一种基于mtcnn的车脸对齐方法
CN106384071A (zh) 一种二维码扫描识别处理方法及装置
WO2021139357A1 (zh) 车损检测数据合成方法、装置、系统及存储介质
CN112967213B (zh) 车牌图像增强方法、装置、设备及存储介质
CN114119964A (zh) 一种网络训练的方法及装置、目标检测的方法及装置
CN116760937B (zh) 一种基于多机位的视频拼接方法、装置、设备及存储介质
CN111079624B (zh) 一种样本信息采集的方法、装置、电子设备以及介质
CN117315406A (zh) 一种样本图像处理方法、装置及设备
CN112927163A (zh) 图像数据增强方法、装置、电子设备及存储介质
CN117078800A (zh) 基于bev图像合成地面标识的方法及装置
CN108810319A (zh) 图像处理装置和图像处理方法
CN109740005A (zh) 一种图像目标标注方法及装置
US11423597B2 (en) Method and system for removing scene text from images
Wang et al. Image stitching using double features-based global similarity constraint and improved seam-cutting
CN113610838A (zh) 一种螺栓缺陷数据集扩充方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20912852

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20912852

Country of ref document: EP

Kind code of ref document: A1