TWI709085B - 用於對車輛損傷影像進行損傷分割的方法、裝置、電腦可讀儲存媒體和計算設備 - Google Patents

用於對車輛損傷影像進行損傷分割的方法、裝置、電腦可讀儲存媒體和計算設備 Download PDF

Info

Publication number
TWI709085B
TWI709085B TW108123629A TW108123629A TWI709085B TW I709085 B TWI709085 B TW I709085B TW 108123629 A TW108123629 A TW 108123629A TW 108123629 A TW108123629 A TW 108123629A TW I709085 B TWI709085 B TW I709085B
Authority
TW
Taiwan
Prior art keywords
segmentation
target
samples
category
damage
Prior art date
Application number
TW108123629A
Other languages
English (en)
Other versions
TW202011267A (zh
Inventor
徐娟
Original Assignee
開曼群島商創新先進技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 開曼群島商創新先進技術有限公司 filed Critical 開曼群島商創新先進技術有限公司
Publication of TW202011267A publication Critical patent/TW202011267A/zh
Application granted granted Critical
Publication of TWI709085B publication Critical patent/TWI709085B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30156—Vehicle coating
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Technology Law (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Image Analysis (AREA)

Abstract

本說明書實施例提供基於遷移學習的用於部件分割和損傷分割的方法，具體包括：第一方面，可以基於具有豐富的檢測和分割資料的高頻部件類別學習一種遷移方法，然後對於只有檢測資料沒有豐富分割資料的低頻部件類別可以透過其檢測框作用於此遷移方法而獲得對應的分割結果；第二方面，可以基於具有豐富的檢測和分割資料的高頻損傷類別學習一種檢測到分割遷移方法，然後對於只有檢測資料沒有豐富分割資料的低頻損傷類別可以透過其檢測框作用於此遷移方法而獲得對應的分割結果；第三方面，可以透過部件到損傷的跨域遷移學習獲得損傷的分割結果。透過這些方法，可以解決長尾的部件類別和損傷類別的分割資料獲取困難的問題。

Description

用於對車輛損傷影像進行損傷分割的方法、裝置、電腦可讀儲存媒體和計算設備
本說明書實施例涉及車輛定損領域，具體地，涉及一種用於對車輛損傷影像進行損傷分割的方法及裝置。
在車險理賠場景中，從車輛損傷影像中獲取損傷對象的像素級分割結果，對提升識別損傷對象的準確度，以及對損傷對象的精準定位和精準展示來說，都十分重要。
目前，主要是採用人工標註的方法確定出車損影像中的像素級損傷區域。然而，車體外觀損傷的形狀包括大量不連續、不規則的刮擦，變形，撕裂等，導致損傷區域的像素點邊界難以確認，因而進行人工標註的難度較大。
因此，需要一種更加有效地方法，可以快速、準確地實現對車輛損傷影像的損傷分割。
在本說明書描述的一種用於對車輛損傷影像進行損傷分割的方法中，基於遷移學習的思想，確定出損傷分割模型，用於對車輛損傷影像進行損傷分割。
根據第一方面，提供一種用於對車輛損傷影像進行損 傷分割的方法。該方法包括：獲取同時標註有目標檢測結果和目標分割結果的多個分割樣本，所述目標檢測結果包括目標對象的類別和邊框，所述目標分割結果包括目標對象的輪廓；所述多個分割樣本中對目標對象標註的多個類別構成第一類別子集；獲取標註有目標檢測結果但未標註目標分割結果的多個損傷檢測樣本；所述多個損傷檢測樣本中對目標對象標註的多個類別構成第二類別子集，所述第二類別子集中包括不屬於第一類別子集的類別；利用所述多個分割樣本和所述多個損傷檢測樣本，訓練損傷分割模型，所述損傷分割模型包括用於檢測損傷對象的目標檢測參數和用於確定所述損傷對象輪廓的目標分割參數；其中所述訓練損傷分割模型包括：基於所述多個分割樣本中的目標檢測結果和多個損傷檢測樣本中的目標檢測結果，確定與所述第一類別子集和第二類別子集構成的類別集合中各個類別對應的目標檢測參數；基於所述多個分割樣本中的目標檢測結果和目標分割結果，確定權重遷移函數，所述權重遷移函數表示從目標檢測參數到目標分割參數的映射；將所述各個類別對應的目標檢測參數輸入所述權重遷移函數中，得到各個類別對應的目標分割參數，從而確定所述損傷分割模型，用於對車輛損傷影像進行損傷分割。
根據一個實施例，所述第一類別子集中包括第一類別，所述確定權重遷移函數，包括：獲取與所述第一類別對應的目標檢測參數；將與所述第一類別對應的目標檢測參數輸入初始權重遷移函數中，得到對應的預測目標分割參數；基於所述預測目標分割參數，確定與第一類別的分割樣本對應的預測目標分割結果；至少基於所述預測目標分割結果和第一類別的分割樣本中標註的目標分割結果，調整所述初始權重遷移函數。 進一步地，在一個具體的實施例中，所述與所述第一類別對應的目標檢測參數包括目標分類參數和目標邊框參數；所述將與所述第一類別對應的目標檢測參數輸入初始權重遷移函數中，包括：將所述目標分類參數，和/或，目標邊框參數輸入所述初始權重遷移函數中。 根據一個實施例，其中所述權重遷移函數透過卷積神經網路實現。 根據一個實施例，其中所述多個分割樣本中包括目標對象為部件對象的多個部件分割樣本。 根據一個實施例，其中所述多個分割樣本中包括目標對象為損傷對象的多個損傷分割樣本。 進一步地，在一個具體的實施例中，其中所述獲取同時標註有目標檢測結果和目標分割結果的多個分割樣本，包括：從損傷樣本庫中獲取預定數量的損傷檢測樣本；基於顯著性檢測，從所述預定數量的損傷檢測樣本標註的多個邊框中，提取出多個顯著性區域，以使工作人員根據所述多個顯著性區域，對所述預定數量中部分數量的損傷檢測樣本進行分割結果的標註；將標註有分割結果的部分數量的損傷檢測樣本，確定為所述多個損傷分割樣本；以及，將所述預定數量中部分數量以外的損傷檢測樣本作為所述多個損傷檢測樣本。 根據第二方面，提供一種用於對車輛損傷影像進行部件分割的方法。該方法包括：獲取同時標註有目標檢測結果和目標分割結果的多個分割樣本，所述目標檢測結果包括目標對象的類別和邊框，所述目標分割結果包括目標對象的輪廓；所述多個分割樣本中對目標對象標註的多個類別構成第三類別子集；獲取標註有目標檢測結果但未標註目標分割結果的多個部件檢測樣本；所述多個部件檢測樣本中對目標對象標註的多個類別構成第四類別子集，所述第四類別子集中包括不屬於第三類別子集的類別；利用所述多個分割樣本和所述多個部件檢測樣本，訓練部件分割模型，所述部件分割模型包括用於檢測部件對象的目標檢測參數和用於確定所述部件對象輪廓的目標分割參數；其中所述訓練部件分割模型包括： 基於所述多個分割樣本中的目標檢測結果和多個部件檢測樣本中的目標檢測結果，確定與所述第三類別子集和第四類別子集構成的類別集合中各個類別對應的目標檢測參數；基於所述多個分割樣本中的目標檢測結果和目標分割結果，確定權重遷移函數，所述權重遷移函數表示從目標檢測參數到目標分割參數的映射；將所述各個類別對應的目標檢測參數輸入所述權重遷移函數中，得到各個類別對應的目標分割參數，從而確定所述部件分割模型，用於對車輛損傷影像進行部件分割。 根據一個實施例，其中所述多個分割樣本中包括目標對象為部件對象的多個部件分割樣本。 根據第三方面，提供一種用於對車輛損傷影像進行損傷分割的裝置，該裝置包括：第一獲取單元，配置為獲取同時標註有目標檢測結果和目標分割結果的多個分割樣本，所述目標檢測結果包括目標對象的類別和邊框，所述目標分割結果包括目標對象的輪廓；所述多個分割樣本中對目標對象標註的多個類別構成第一類別子集；第二獲取單元，配置為獲取標註有目標檢測結果但未標註目標分割結果的多個損傷檢測樣本；所述多個損傷檢測樣本中對目標對象標註的多個類別構成第二類別子集，所述第二類別子集中包括不屬於第一類別子集的類別；訓練單元，配置為利用所述多個分割樣本和所述多個損傷檢測樣本，訓練損傷分割模型，所述損傷分割模型包括用於檢測損傷對象的目標檢測參數和用於確定所述損傷對象輪廓的目標分割參數；其中所訓練單元具體包括： 第一確定模組，配置為基於所述多個分割樣本中的目標檢測結果和多個損傷檢測樣本中的目標檢測結果，確定與所述第一類別子集和第二類別子集構成的類別集合中各個類別對應的目標檢測參數；第二確定模組，配置為基於所述多個分割樣本中的目標檢測結果和目標分割結果，確定權重遷移函數，所述權重遷移函數表示從目標檢測參數到目標分割參數的映射；輸入模組，配置為將所述各個類別對應的目標檢測參數輸入所述權重遷移函數中，得到各個類別對應的目標分割參數，從而確定所述損傷分割模型，用於對車輛損傷影像進行損傷分割。 根據第四方面，提供一種用於對車輛損傷影像進行部件分割的裝置。該裝置包括：第一獲取單元，配置為獲取同時標註有目標檢測結果和目標分割結果的多個分割樣本，所述目標檢測結果包括目標對象的類別和邊框，所述目標分割結果包括目標對象的輪廓；所述多個分割樣本中對目標對象標註的多個類別構成第三類別子集；第二獲取單元，配置為獲取標註有目標檢測結果但未標註目標分割結果的多個部件檢測樣本；所述多個部件檢測樣本中對目標對象標註的多個類別構成第四類別子集，所述第四類別子集中包括不屬於第三類別子集的類別；訓練單元，配置為利用所述多個分割樣本和所述多個部件檢測樣本，訓練部件分割模型，所述部件分割模型包括用於檢測部件對象的目標檢測參數和用於確定所述部件對象輪廓的目標分割參數；其中所述訓練單元具體包括： 第一確定模組，配置為基於所述多個分割樣本中的目標檢測結果和多個部件檢測樣本中的目標檢測結果，確定與所述第三類別子集和第四類別子集構成的類別集合中各個類別對應的目標檢測參數；第二確定模組，配置為基於所述多個分割樣本中的目標檢測結果和目標分割結果，確定權重遷移函數，所述權重遷移函數表示從目標檢測參數到目標分割參數的映射；輸入模組，配置為將所述各個類別對應的目標檢測參數輸入所述權重遷移函數中，得到各個類別對應的目標分割參數，從而確定所述部件分割模型，用於對車輛損傷影像進行部件分割。 根據第五方面，提供了一種電腦可讀儲存媒體，其上儲存有電腦程式，當所述電腦程式在電腦中執行時，令電腦執行第一方面或第二方面所描述的方法。 根據第六方面，提供了一種計算設備，包括記憶體和處理器，其特徵在於，所述記憶體中儲存有可執行程式碼，所述處理器執行所述可執行程式碼時，實現第一方面或第二方面所描述的方法。 在本說明書實施例揭露的用於對車輛損傷影像進行損傷分割的方法中，可以基於與第一類別子集對應的同時標註有目標檢測結果和目標分割結果的分割樣本，以及與第二類別子集對應的標註有目標檢測結果但未標註目標分割結果的損傷檢測樣本，確定與第一類別子集和第二類別子集構成的類別集合中各個類別對應的目標檢測參數和目標分割參數，從而確定損傷分割模型，用於對車輛損傷影像進行損傷分割。
下面結合圖式，對本說明書揭露的多個實施例進行描述。 本說明書實施例揭露一種用於對車輛損傷影像進行損傷分割的方法，其中損傷分割是指對車輛損傷影像中具有目標類別和明確邊界的損傷對象進行區域提取，且區域提取可以表現為確定損傷對象的輪廓。 所述方法具體包括確定損傷分割模型，由此可以將車輛損傷影像輸入該模型中，進而得到損傷對象的目標類別(以下簡稱損傷類別)和分割輪廓。下面，首先對損傷分割模型的應用場景進行介紹。 損傷分割模型可以應用於提供給用戶使用的定損客戶端中。根據一個例子，在事故現場，用戶可以透過終端，如，手機、平板電腦等，拍攝現場照片，例如圖1中示出的車輛局部圖片，並將拍攝的照片上傳到終端中的定損客戶端，然後定損客戶端可以利用損傷分割模型，確定現場照片所對應的車輛損傷資訊，例如，如圖2所示，可以確定出車輛損傷類別為中度刮擦，以及刮擦損傷的輪廓。進一步地，還可以給出與損傷資訊對應的維修方案和相關賠償金額，例如，維修方案為：補漆，保修賠付金額：120元。 對於損傷分割模型的訓練，在一種實施方案中，可以採用傳統的機器學習方法，基於大量的人工標註的損傷分割樣本進行訓練。在這種方案中，工作人員通常採用筆刷等繪畫工具，近似繪出損傷區域，進行損傷像素點標註。這種標註方法不精準，尤其對於大量的不連續、不規則的損傷，如刮擦，變形，撕裂等，因其損傷區域的像素點邊界難以確認，而往往採用整片標註，致使標註中存在大量像素級雜訊。同時，這種方案中人工標註的成本過高，因此難以實施。 基於以上觀察和統計，本說明書實施例揭露一種用於對車輛損傷影像進行損傷分割的方法，採用遷移學習(Transfer Learning)的方法來確定損傷分割模型，其中遷移學習可以理解為運用已有的知識來學習新的知識，其核心是找到已有知識和新知識之間的相似性。進一步地，在一種實施方式中，可以基於與損傷對象具有相似特徵的非損傷對象，所對應大量分割樣本，且這些分割樣本通常比較容易獲取，確定損傷分割模型。例如，可以採用目標對象為部件對象的分割樣本，因部件的輪廓特徵與損傷的輪廓特徵相似，且因部件輪廓相對損傷輪廓來說較為規整，因而獲取大量標註有分割結果的部件分割樣本是比較容易的。 根據一個具體的實施例，首先，可以獲取與車輛損傷具有相似特徵的多個分割樣本，以及多個損傷檢測樣本，其中分割樣本中標註有目標檢測結果(包括目標對象的類別和邊框)和目標分割結果，且多個分割樣本對應的多個類別構成類別集合A，而損傷檢測樣本中標註有目標檢測結果但未標註目標分割結果，且多個損傷檢測樣本對應的多個類別構成類別集合B，其中類別集合B中具有不屬於類別集合A的類別；然後，確定分割樣本中各個類別對應的目標檢測結果與目標分割結果之間的關係，再將這種關係遷移到損傷檢測樣本中，進而可以基於這種關係確定出類別集合B中各個類別所對應的目標分割參數，用於對車輛損傷影像中與類別集合B對應的損傷對象進行分割。下面，描述以上過程的具體實施步驟。 圖3示出根據一個實施例的用於對車輛損傷影像進行損傷分割的方法流程圖，所述方法的執行主體可以為具有處理能力的設備：伺服器或者系統或者裝置。如圖3所示，該方法流程包括以下步驟：步驟S310，獲取同時標註有目標檢測結果和目標分割結果的多個分割樣本，這些分割樣本中對目標對象標註的多個類別構成第一類別子集；步驟S320，獲取標註有目標檢測結果但未標註目標分割結果的多個損傷檢測樣本，這些檢測樣本中對目標對象標註的多個類別構成第二類別子集，且第二類別子集中包括不屬於第一類別子集的類別；步驟S330，利用所述多個分割樣本和所述多個損傷檢測樣本，訓練損傷分割模型，該模型中包括用於檢測損傷對象的目標檢測參數和用於確定損傷對象輪廓的目標分割參數。 首先，在步驟S310，獲取同時標註有目標檢測結果和目標分割結果的多個分割樣本。 具體地，其中目標檢測結果包括目標對象的類別和邊框，目標分割結果包括目標對象的輪廓，或者說目標對象與輪廓對應的掩碼(Mask)。需要說明的是，其中目標對象為與車輛損傷具有類似或相近特徵的對象，如此可以保證訓練出來的損傷分割模型能夠得到較好的分割效果。 在一個實施例中，目標對象可以包括車輛部件，則多個分割樣本中可以包括多個部件分割樣本。進一步地，根據一個具體的實施例，多個部件分割樣本中可以包括基於人工標註而得到的部件分割樣本。需要說明的是，因車輛損傷影像中車輛部件的輪廓較為規整，因此對車輛部件的分割結果進行人工標註的可行性較高。根據另一個具體的實施例，多個部件分割樣本中還可以包括基於部件分割模型而得到的部件分割樣本。在一個例子中，可以基於前述人工標註的部件分割樣本訓練得到部件分割模型，然後將大量的車輛損傷圖片輸入部件分割模型中，從而得到更多的具有部件分割結果的影像，並將這些影像作為多個部件分割樣本的一部分。 在另一個實施例中，目標對象可以包括車輛損傷，則多個分割樣本中可以包括多個損傷分割樣本。需要說明的是，這些損傷分割樣本對應的類別的數量要少於，或者說，遠遠少於後續將提及的損傷檢測樣本對應的類別的數量。進一步地，如圖4所示，可以透過以下步驟獲取損傷分割樣本： 首先，在步驟S41，從損傷樣本庫中獲取預定數量的損傷檢測樣本。 具體地，其中損傷檢測樣本是指標註有目標檢測結果但未標註目標分割結果的樣本，也就是說，損傷檢測樣本中標註有損傷對象的類別和損傷對象所在的邊框，但是沒有標註出損傷對象的分割結果。 可以理解，損傷檢測樣本的獲取比較容易，在一個例子中，在車輛損傷影像中人工標註出損傷框和損傷類別的操作比較簡單，因此可以基於人工標註獲取大量的損傷檢測樣本。在另一個例子中，可以基於現有的損傷檢測模型，以及從保險公司獲取的海量車輛損傷圖片，獲取對應的損傷檢測結果，並根據損傷檢測結果確定損傷檢測樣本。 在一個具體的實施例中，其中預定數量可以由工作人員根據實際經驗而確定。 然後，在步驟S42，基於顯著性檢測，從獲取的預定數量的損傷檢測樣本標註的多個邊框中，提取出多個顯著性區域，以使工作人員根據多個顯著性區域，對預定數量中部分數量的損傷檢測樣本進行分割結果的標註。 需要說明的是，其中顯著性檢測(或稱為視覺注意機制)是指透過智慧演算法模擬人的視覺特點，提取影像中的顯著性區域(即人類感興趣的區域)。通常，顯著性區域具有一定的結構和紋理，色彩上具有較強的刺激，且顯著性區域和周圍區域具有較大的差異，基於這些簡單的顯著性檢測原則，可以實現顯著性檢測。 對於損傷檢測樣本標註的多個邊框，其中的損傷對象與邊框中其他區域之間在顏色、結構和紋理上通常具有較大的反差。因此，可以透過對邊框中的影像進行顯著性檢測，快速提取出其中的損傷對象。在一個具體的例子中，根據圖5中(a)示出的車身局部影像中的損傷框，可以得到圖5中(b)示出的顯著性度量圖，其中白色部分為檢測到的損傷對象。由此，可以從預定數量的損傷檢測樣本的多個邊框中，對應提取出多個損傷對象。 進一步地，在一個具體的實施例中，可以將基於顯著性檢測提取出的顯著性區域，直接自動標註為對應的損傷對象的分割結果。然而，考慮到一方面，由於邊框中可能包括灰塵、污漬等除損傷對象以外的顯著性對象，另一方面，由於車輛損傷的種類繁多，且其中包括大量的不連續損傷，或者程度比較輕微的損傷，因此對於某些損傷檢測樣本，顯著性檢測很可能無法從中完整、準確地提取出損傷對象覆蓋的區域，由此，在另一個具體的實施例中，可以將提取出的多個顯著性區域提供給工作人員，以使工作人員根據多個顯著性區域，對預定數量中部分數量的損傷檢測樣本進行分割結果的標註，例如，可以包括對顯著性區域進行篩選或修正，從而得到分割結果更加精準的損傷分割樣本。 以上，可以得到標註有分割結果的部分數量的損傷檢測樣本，接著，在步驟S43中，將得到的部分數量的損傷檢測樣本作為多個損傷分割樣本。 可以理解的是，獲取的多個分割樣本，可以包括上述的多個部件分割樣本，和/或，基於顯著性檢測得到的多個損傷分割樣本。此外，在一個具體的實施例中，多個分割樣本中還可以包括少量的基於人工標註而得到的損傷分割樣本。在另一個具體的實施例中，多個分割樣本中還可以包括其他與損傷對象具有類似特徵的分割樣本，例如，目標對象為植物葉子的分割樣本等。 以上，可以獲取同時標註有目標檢測結果和目標分割結果的多個分割樣本，且這些分割樣本中對目標對象標註的多個類別構成第一類別子集。接著，在步驟S320，獲取標註有目標檢測結果但未標註目標分割結果的多個損傷檢測樣本。 需要說明的是，其中多個損傷檢測樣本中對目標對象標註的多個類別構成第二類別子集，且第二類別子集中包括不屬於第一類別子集的類別。在一個實施例中，步驟S310中獲取的多個分割樣本包括目標對象為部件對象的部件分割樣本，而損傷檢測樣本的目標對象為損傷對象，顯然，第一類別子集中的類別為部件類別，而第二類別子集中的類別為損傷類別，損傷類別不同於部件類別。在另一個實施例中，步驟S310中獲取的多個分割樣本包括部分數量的損傷分割樣本，由前述可知，這些損傷分割樣本所對應的損傷類別是比較有限的，因此損傷分割樣本對應的損傷類別的數量要少於，或者說遠遠少於第二類別子集中包括的損傷類別的數量。 此外，對損傷檢測樣本的描述，可以參見前述步驟S41中的相關描述。 根據一個具體的實施例，在獲取預定數量的損傷檢測樣本，並得到部分數量的標註有分割結果的損傷分割樣本以後，可以將剩餘的(如，預定數量減去部分數量的)損傷檢測樣本作為本步驟中獲取的多個損傷檢測樣本的一部分。 以上，可以在步驟S310中獲取多個分割樣本，以及在步驟S320中獲取多個損傷檢測樣本。然後，在步驟S330，利用多個分割樣本和多個損傷檢測樣本，訓練損傷分割模型，此損傷分割模型包括用於檢測損傷對象的目標檢測參數和用於確定所述損傷對象輪廓的目標分割參數。 下面，結合圖6對損傷分割模型的訓練過程進行說明。如圖6所示，訓練損傷分割模型可以包括以下步驟： 首先，在步驟S61，基於多個分割樣本中的目標檢測結果和多個損傷檢測樣本中的目標檢測結果，確定與第一類別子集和第二類別子集構成的類別集合中各個類別對應的目標檢測參數。 在一個實施例中，可以採用現有的目標檢測演算法，例如，Faster R-CNN，R-FCN或SSD等，確定與類別集合中各個類別對應的目標檢測參數。 接著，在步驟S62，基於多個分割樣本中的目標檢測結果和目標分割結果，確定權重遷移函數，所述權重遷移函數表示從目標檢測參數到目標分割參數的映射。 由於權重遷移函數表示從目標檢測參數到目標分割參數的映射，在一個實施例中，分別確定出目標檢測參數和目標分割參數，然後透過數學方法確定兩者之間的映射關係作為權重遷移函數。具體地，首先，可以根據分割樣本中的目標檢測結果，確定與第一類別子集中各個類別對應的目標檢測參數，以及結合目標分割結果，確定與第一類類別子集中各個類別對應的目標分割參數；然後，可以根據與各個類別對應的目標檢測參數和目標分割參數，確定權重遷移函數。 在另一個實施例中，透過訓練的方式確定權重遷移函數。在該實施例中，首先確定初始權重遷移函數(即確定初步函數參數)，然後以目標檢測參數為輸入，以目標分割結果為標籤，透過函數參數調整，訓練得到權重遷移函數。下面以第一類別子集中包括的某個類別(下文稱為第一類別)為例，描述訓練過程的部分步驟。首先，獲取與第一類別對應的目標檢測參數；接著，將與第一類別對應的目標檢測參數輸入初始權重遷移函數中，得到對應的預測目標分割參數；然後，基於預測目標分割參數，確定與第一類別的分割樣本對應的預測目標分割結果；再至少基於預測目標分割結果和第一類別的分割樣本中標註的目標分割結果，調整初始權重遷移函數。如此，訓練得到權重遷移函數。 在一個具體的實施例中，與第一類別對應的目標檢測參數包括目標分類參數和目標邊框參數，相應地，將與第一類別對應的目標檢測參數輸入初始權重遷移函數中可以包括：將目標分類參數，和/或，目標邊框參數輸入初始權重遷移函數中。在一個例子中，目標檢測參數可以為目標分類參數和目標邊框參數的組合。 在一個具體的實施例中，權重遷移函數可以表示為
Figure 02_image001
(1) 其中，
Figure 02_image003
表示任一類別的目標檢測函數；
Figure 02_image005
表示與
Figure 02_image007
對應相同類別的目標分割參數，
Figure 02_image003
為與類別無關的學習參數。在初始權重遷移函數中，可以將
Figure 02_image009
設置為
Figure 02_image009
，具體可以隨機取值。 在一個具體的實施例中，權重遷移函數可以透過卷積神經網路實現，也就是透過神經網路的神經元的組合，實現權重遷移函數的運算。相應地，權重遷移函數的訓練即包括，調整和確定神經網路中神經元的運算參數和神經元之間的連接權重參數等。 在一個具體的實施例中，調整初始權重遷移函數可以包括，基於與第一類別集合中一個或者多個類別對應的預測目標分割結果和分割樣本中標註的目標分割結果，確定與目標分割結果對應的損失函數，透過誤差反向傳播，或者梯度下降的方式，調整初始權重遷移函數。 根據一個具體的例子，首先獲取與第一類別c對應的目標檢測參數
Figure 02_image011
；接著，將
Figure 02_image013
輸入下式表示的初始權重遷移函數中：
Figure 02_image013
(2) 並得到與第一類別c對應的目標分割參數
Figure 02_image015
。然後，基於
Figure 02_image017
，確定與第一類別的分割樣本對應的預測目標分割結果；再基於此預測目標分割結果和第一類別c的分割樣本中標註的目標分割結果，調整初始權重遷移函數，即，將θ0 調整為θ1 。 進一步地，在對初始權重遷移函數進行調整以後，接著可以基於此次調整，用得到的分割樣本以外的分割樣本，進行後續調整，以確定權重遷移函數。在一個例子中，確定權重遷移函數包括確定公式(1)中θ的參數值。 需要說明的是，步驟S61和步驟S62可以同時獨立進行，也可以先後獨立進行，還可以將步驟S62作為步驟S61的一個分支同時進行，以節省資源開銷。 以上，可以確定權重遷移函數，此函數表示從目標檢測參數到目標分割參數的映射。然後，在步驟S63，將步驟S61中確定的類別集合中各個類別對應的目標檢測參數輸入權重遷移函數中，得到各個類別對應的目標分割參數，從而確定損傷分割模型，用於對車輛損傷影像進行損傷分割。 如此，可以得到與第一類別子集和第二類別子集構成的類別集合中各個類別對應的目標分割參數，可以用於對影像中包括的與類別集合中各個類別對應的目標對象進行分割。這也意味著，對於第二類別子集中的部分類別，在訓練樣本集中只存在與之對應的檢測樣本，而不存在與之對應的分割樣本的情況下，採用本說明書實施例提供的方法，也可以得到對應的目標分割參數，用於對於這些類別對應的車輛損傷影像進行損傷分割。 下面結合一個具體的例子，對步驟S330進行進一步說明。如圖7所示，其中示出的基於遷移學習的Mask R-CNN架構圖，其中，假定第一類別子集為集合A，第二類別子集為集合B，A∪B表示集合A和集合B的並集，也就是前述的類別集合。 1、對於輸入訓練樣本集中的任意一張影像(image)，首先，採用共享的卷積層(ConvNet)對全圖進行特徵提取，然後將得到的特徵圖(feature map)送入區域產生網路(region proposal network，簡稱RPN)，以產生待檢測區域，並透過ROI Align從特徵圖中提取並聚集待檢測區域中的區域特徵。 當此影像為與分割樣本對應的影像時： 1)透過邊框頭部(box head)從聚集的區域特徵中提取邊框特徵(box feature)，基於邊框特徵和目標檢測參數(box weight)，可以表示為wdet ，確定出預測檢測結果(box prediction)，再基於預測檢測結果和與此影像對應的標註檢測結果(box lables in A∪B)，計算與檢測結果對應的損失函數(box loss)，以調整與此影像類別所對應的wdet ； 2)進而基於權重遷移函數(weight transfer function)確定與該類別對應的目標分割參數(mask weight)，可以表示為wseg ，其中權重遷移函數用於表示目標檢測參數和目標分割參數之間的映射關係。 3)透過分割頭部(mask head)從聚集的區域特徵中提取分割特徵(mask feature)，基於分割特徵和wseg ，確定預測分割結果，再基於預測分割結果和與此影像對應的標註分割結果，計算與分割結果對應的損失函數(mask loss)，進而調整權重遷移函數，也就是調整權重遷移函數中的學習參數。 由上，基於多個分割樣本，可以確定出權重遷移函數。 另一方面，當此影像為與檢測樣本對應的影像時，對其進行的處理與上述1)中的相同，進而可以得到與此影像的類別對應的目標檢測參數。 基於以上處理，可以基於與類別集合A對應的多個分割樣本，確定權重遷移函數，同時，基於類別集合A對應的多個分割樣本和類別集合B對應的多個損傷檢測樣本，確定與A∪B中各個類別對應的目標檢測參數。 2、將與A∪B中各個類別對應的目標檢測參數輸入權重遷移函數中，得到各個類別對應的目標分割參數，從而確定損傷分割模型，用於對與A∪B中的損傷類別對應的車輛損傷影像進行損傷分割。 綜上可知，採用本說明書實施例提供的用於損傷分割的方法，可以基於與第一類別子集對應的同時標註有目標檢測結果和目標分割結果的分割樣本，以及與第二類別子集對應的標註有目標檢測結果但未標註目標分割結果的損傷檢測樣本，確定與第一類別子集和第二類別子集構成的類別集合中各個類別對應的目標檢測參數和目標分割參數，從而確定損傷分割模型，用於對車輛損傷影像進行損傷分割。 根據另一方面的實施例，還提供一種用於對車輛損傷影像進行部件分割的方法。圖8示出根據一個實施例的用於對車輛損傷影像進行損傷分割的方法流程圖，所述方法的執行主體可以為具有處理能力的設備：伺服器或者系統或者裝置。如圖8所示，該方法流程包括以下步驟：步驟S810，獲取同時標註有目標檢測結果和目標分割結果的多個分割樣本，這些分割樣本中對目標對象標註的多個類別構成第三類別子集；步驟S820，獲取標註有目標檢測結果但未標註目標分割結果的多個部件檢測樣本，這些檢測樣本中對目標對象標註的多個類別構成第四類別子集，且第四類別子集中包括不屬於第三類別子集的類別；步驟S830，利用多個分割樣本和多個部件檢測樣本，訓練部件分割模型，該模型中包括用於檢測部件對象的目標檢測參數和用於確定所述部件對象輪廓的目標分割參數。 首先，在步驟S810，獲取同時標註有目標檢測結果和目標分割結果的多個分割樣本，這些分割樣本中對目標對象標註的多個類別構成第三類別子集。 在一個實施例中，多個分割樣本中可以包括與部件具有類似輪廓特徵的分割樣本，如多種植物的樹葉分割樣本等。 在另一個實施例中，多個分割樣本中包括目標對象為部件對象的多個部件分割樣本。 需要說明的是，因車輛的部件種類繁多，獲取到的多個部件分割樣本所對應的類別，通常只是車輛部件中的一部分，在一個例子中，可能占所有車輛部件類別的1/3或1/4。而對於其他類別的車輛部件，與之對應的部件檢測樣本較易獲取，而標註有分割結果的部件分割樣本較難獲取。比如說，對於有些車輛部件，在車輛事故中，其發生損傷的可能性較小，因此與其相關的車輛損傷圖片有限，此外，因標註分割結果的成本較高，因此對這類部件的分割結果進行人工標註的可能性較少，進而難以獲取這些部件的分割樣本。
此外，需要說明的是，對步驟S810-步驟S830的描述，還可以參見前述對步驟S310-步驟S330的描述，在此不作贅述。
綜上可知，採用本說明書實施例提供的用於部件分割的方法，可以基於與第三類別子集對應的同時標註有目標檢測結果和目標分割結果的分割樣本，以及與第四類別子集對應的標註有目標檢測結果但未標註目標分割結果的部件檢測樣本，確定與第一類別子集和第二類別子集構成的類別集合中各個類別對應的目標檢測參數和目標分割參數，從而確定部件分割模型，用於對車輛損傷影像進行部件分割。
根據再一方面的實施例，還提供一種用於損傷分割的裝置。圖9示出根據一個實施例的用於對車輛損傷影像進行損傷分割的裝置結構圖。如圖9所示，該裝置900包括：第一獲取單元910，配置為獲取同時標註有目標檢測結果和目標分割結果的多個分割樣本，所述目標檢測結果包括目標對象的類別和邊框，所述目標分割結果包括目標對象的輪廓；所述多個分割樣本中對目標對象標註的多個 類別構成第一類別子集；第二獲取單元920，配置為獲取標註有目標檢測結果但未標註目標分割結果的多個損傷檢測樣本；所述多個損傷檢測樣本中對目標對象標註的多個類別構成第二類別子集，所述第二類別子集中包括不屬於第一類別子集的類別；訓練單元930，配置為利用所述多個分割樣本和所述多個損傷檢測樣本，訓練損傷分割模型，所述損傷分割模型包括用於檢測損傷對象的目標檢測參數和用於確定所述損傷對象輪廓的目標分割參數；其中所訓練單元930具體包括：第一確定模組931，配置為基於所述多個分割樣本中的目標檢測結果和多個損傷檢測樣本中的目標檢測結果，確定與所述第一類別子集和第二類別子集構成的類別集合中各個類別對應的目標檢測參數；第二確定模組932，配置為基於所述多個分割樣本中的目標檢測結果和目標分割結果，確定權重遷移函數，所述權重遷移函數表示從目標檢測參數到目標分割參數的映射；輸入模組933，配置為將所述各個類別對應的目標檢測參數輸入所述權重遷移函數中，得到各個類別對應的目標分割參數，從而確定所述損傷分割模型，用於對車輛損傷影像進行損傷分割。
根據一個實施例，所述第一類別子集中包括第一類 別，所述第二確定模組932具體配置為：獲取與所述第一類別對應的目標檢測參數；將與所述第一類別對應的目標檢測參數輸入初始權重遷移函數中，得到對應的預測目標分割參數；基於所述預測目標分割參數，確定與第一類別的分割樣本對應的預測目標分割結果；至少基於所述預測目標分割結果和第一類別的分割樣本中標註的目標分割結果，調整所述初始權重遷移函數。
進一步地，在一個具體的實施例中，所述與所述第一類別對應的目標檢測參數包括目標分類參數和目標邊框參數；所述輸入模組933具體配置為：將所述目標分類參數，和/或，目標邊框參數輸入所述初始權重遷移函數中。
根據一個實施例，其中所述權重遷移函數透過卷積神經網路實現。
根據一個實施例，所述多個分割樣本中包括目標對象為部件對象的多個部件分割樣本。
根據一個實施例，所述多個分割樣本中包括目標對象為損傷對象的多個損傷分割樣本。
進一步地，在一個具體的實施例中，所述第一獲取單元910具體配置為：從損傷樣本庫中獲取預定數量的損傷檢測樣本；基於顯著性檢測，從所述預定數量的損傷檢測樣本標註的多個邊框中，提取出多個顯著性區域，以使工作人員 根據所述多個顯著性區域，對所述預定數量中部分數量的損傷檢測樣本進行分割結果的標註；將標註有分割結果的部分數量的損傷檢測樣本，確定為所述多個損傷分割樣本；以及，將所述預定數量中部分數量以外的損傷檢測樣本作為所述多個損傷檢測樣本。
綜上可知，採用本說明書實施例提供的用於損傷分割的裝置，可以基於與第一類別子集對應的同時標註有目標檢測結果和目標分割結果的分割樣本，以及與第二類別子集對應的標註有目標檢測結果但未標註目標分割結果的損傷檢測樣本，確定與第一類別子集和第二類別子集構成的類別集合中各個類別對應的目標檢測參數和目標分割參數，從而確定損傷分割模型，用於對車輛損傷影像進行損傷分割。
根據再一方面的實施例，還提供一種用於部件分割的裝置。圖10示出根據一個實施例的用於對車輛損傷影像進行部件分割的裝置結構圖。如圖10所示，該裝置1000包括：第一獲取單元1010，配置為獲取同時標註有目標檢測結果和目標分割結果的多個分割樣本，所述目標檢測結果包括目標對象的類別和邊框，所述目標分割結果包括目標對象的輪廓；所述多個分割樣本中對目標對象標註的多個類別構成第三類別子集；第二獲取單元1020，配置為獲取標註有目標檢測結果但未標註目標分割結果的多個部件檢測樣本；所述多個部件檢測樣本中對目標對象標註的多個類別構成第四類別子集，所述第四類別子集中包括不屬於第三類別子集的類別； 訓練單元1030，配置為利用所述多個分割樣本和所述多個部件檢測樣本，訓練部件分割模型，所述部件分割模型包括用於檢測部件對象的目標檢測參數和用於確定所述部件對象輪廓的目標分割參數；其中所述訓練單元1030具體包括： 第一確定模組1031，配置為基於所述多個分割樣本中的目標檢測結果和多個部件檢測樣本中的目標檢測結果，確定與所述第三類別子集和第四類別子集構成的類別集合中各個類別對應的目標檢測參數； 第二確定模組1032，配置為基於所述多個分割樣本中的目標檢測結果和目標分割結果，確定權重遷移函數，所述權重遷移函數表示從目標檢測參數到目標分割參數的映射； 輸入模組1033，配置為將所述各個類別對應的目標檢測參數輸入所述權重遷移函數中，得到各個類別對應的目標分割參數，從而確定所述部件分割模型，用於對車輛損傷影像進行部件分割。 在一個實施例中，所述多個分割樣本中包括目標對象為部件對象的多個部件分割樣本。 綜上可知，採用本說明書實施例提供的用於部件分割的裝置，可以基於與第三類別子集對應的同時標註有目標檢測結果和目標分割結果的分割樣本，以及與第四類別子集對應的標註有目標檢測結果但未標註目標分割結果的部件檢測樣本，確定與第一類別子集和第二類別子集構成的類別集合中各個類別對應的目標檢測參數和目標分割參數，從而確定部件分割模型，用於對車輛損傷影像進行部件分割。 如上，根據又一方面的實施例，還提供一種電腦可讀儲存媒體，其上儲存有電腦程式，當所述電腦程式在電腦中執行時，令電腦執行結合圖3、圖4、圖6或圖8所描述的方法。 根據又一方面的實施例，還提供一種計算設備，包括記憶體和處理器，所述記憶體中儲存有可執行程式碼，所述處理器執行所述可執行程式碼時，實現結合圖3、圖4、圖6或圖8所描述的方法。 本領域技術人員應該可以意識到，在上述一個或多個示例中，本說明書揭露的多個實施例所描述的功能可以用硬體、軟體、韌體或它們的任意組合來實現。當使用軟體實現時，可以將這些功能儲存在電腦可讀媒體中或者作為電腦可讀媒體上的一個或多個指令或程式碼進行傳輸。 以上所述的具體實施方式，對本說明書揭露的多個實施例的目的、技術方案和有益效果進行了進一步詳細說明，所應理解的是，以上所述僅為本說明書揭露的多個實施例的具體實施方式而已，並不用於限定本說明書揭露的多個實施例的保護範圍，凡在本說明書揭露的多個實施例的技術方案的基礎之上，所做的任何修改、等同替換、改進等，均應包括在本說明書揭露的多個實施例的保護範圍之內。
S310、S320、S330:步驟
S41、S42、S43:步驟
S61、S62、S63:步驟
S810、S820、S830:步驟
900:裝置
910:第一獲取單元
920:第二獲取單元
930:訓練單元
931:第一確定模組
932:第二確定模組
933:輸入模組
1000:裝置
1010:第一獲取單元
1020:第二獲取單元
1030:訓練單元
1031:第一確定模組
1032:第二確定模組
1033:輸入模組
為了更清楚地說明本說明書揭露的多個實施例的技術方案，下面將對實施例描述中所需要使用的圖式作簡單地介紹，顯而易見地，下面描述中的圖式僅僅是本說明書揭露的多個實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些圖式獲得其它的圖式。 圖1示出根據一個例子的車輛局部照片； 圖2示出根據一個例子的定損客戶端的界面變化示意圖； 圖3示出根據一個實施例的用於對車輛損傷影像進行損傷分割的方法流程圖； 圖4示出根據一個實施例的損傷分割樣本的獲取方法流程示意圖； 圖5示出根據一個實施例的基於顯著性檢測的損傷對象提取示意圖； 圖6示出根據一個實施例的損傷分割模型的訓練方法流程圖； 圖7示出根據一個實施例的基於遷移學習的Mask R-CNN架構圖； 圖8示出根據一個實施例的用於對車輛損傷影像進行部件分割的方法流程圖； 圖9示出根據一個實施例的用於對車輛損傷影像進行損傷分割的裝置結構圖； 圖10示出根據一個實施例的用於對車輛損傷影像進行部件分割的裝置結構圖。

Claims (20)

  1. 一種用於對車輛損傷影像進行損傷分割的方法，所述方法包括：由分割裝置，獲取同時標註有目標檢測結果和目標分割結果的多個分割樣本，所述目標檢測結果包括目標對象的類別和邊框，所述目標分割結果包括目標對象的輪廓；所述多個分割樣本中對目標對象標註的多個類別構成第一類別子集；由所述分割裝置，獲取標註有目標檢測結果但未標註目標分割結果的多個損傷檢測樣本；所述多個損傷檢測樣本中對目標對象標註的多個類別構成第二類別子集，所述第二類別子集中包括不屬於第一類別子集的類別；利用所述多個分割樣本和所述多個損傷檢測樣本，由所述分割裝置，訓練損傷分割模型，所述損傷分割模型包括用於檢測損傷對象的目標檢測參數和用於確定所述損傷對象的輪廓的目標分割參數；其中所述訓練損傷分割模型包括：基於所述多個分割樣本中的目標檢測結果和多個損傷檢測樣本中的目標檢測結果，由所述分割裝置，確定與所述第一類別子集和第二類別子集構成的類別集合中各個類別對應的目標檢測參數；基於所述多個分割樣本中的目標檢測結果和目標分割結果，由所述分割裝置，確定權重遷移函數，所述權重遷 移函數表示從目標檢測參數到目標分割參數的映射；由所述分割裝置，將所述各個類別對應的目標檢測參數輸入所述權重遷移函數中，得到各個類別對應的目標分割參數，從而確定所述損傷分割模型，用於對車輛損傷影像進行損傷分割。
  2. 根據申請專利範圍第1項所述的方法，其中，所述第一類別子集中包括第一類別，所述確定權重遷移函數，包括：由所述分割裝置，獲取與所述第一類別對應的目標檢測參數；由所述分割裝置，將與所述第一類別對應的目標檢測參數輸入初始權重遷移函數中，得到對應的預測目標分割參數；基於所述預測目標分割參數，由所述分割裝置，確定與第一類別的分割樣本對應的預測目標分割結果；至少基於所述預測目標分割結果和第一類別的分割樣本中標註的目標分割結果，由所述分割裝置，調整所述初始權重遷移函數。
  3. 根據申請專利範圍第2項所述的方法，其中，所述與所述第一類別對應的目標檢測參數包括目標分類參數和目標邊框參數；所述將與所述第一類別對應的目標檢測參數輸入初始權重遷移函數中，包括： 由所述分割裝置，將所述目標分類參數，和/或，目標邊框參數輸入所述初始權重遷移函數中。
  4. 根據申請專利範圍第1項所述的方法，其中所述權重遷移函數透過卷積神經網路實現。
  5. 根據申請專利範圍第1項所述的方法，其中，所述多個分割樣本中包括目標對象為部件對象的多個部件分割樣本。
  6. 根據申請專利範圍第1項所述的方法，其中，所述多個分割樣本中包括目標對象為損傷對象的多個損傷分割樣本。
  7. 根據申請專利範圍第6項所述的方法，其中，所述獲取同時標註有目標檢測結果和目標分割結果的多個分割樣本，包括：由所述分割裝置，從損傷樣本庫中獲取預定數量的損傷檢測樣本；基於顯著性檢測，從所述預定數量的損傷檢測樣本標註的多個邊框中，由所述分割裝置，提取出多個顯著性區域，以使工作人員根據所述多個顯著性區域，對所述預定數量中部分數量的損傷檢測樣本進行分割結果的標註；將標註有分割結果的部分數量的損傷檢測樣本，由所 述分割裝置，確定為所述多個損傷分割樣本；以及，由所述分割裝置，將所述預定數量中部分數量以外的損傷檢測樣本作為所述多個損傷檢測樣本。
  8. 一種用於對車輛損傷影像進行部件分割的方法，所述方法包括：由分割裝置，獲取同時標註有目標檢測結果和目標分割結果的多個分割樣本，所述目標檢測結果包括目標對象的類別和邊框，所述目標分割結果包括目標對象的輪廓；所述多個分割樣本中對目標對象標註的多個類別構成第三類別子集；由所述分割裝置，獲取標註有目標檢測結果但未標註目標分割結果的多個部件檢測樣本；所述多個部件檢測樣本中對目標對象標註的多個類別構成第四類別子集，所述第四類別子集中包括不屬於第三類別子集的類別；利用所述多個分割樣本和所述多個部件檢測樣本，由所述分割裝置，訓練部件分割模型，所述部件分割模型包括用於檢測部件對象的目標檢測參數和用於確定所述部件對象的輪廓的目標分割參數；其中所述訓練部件分割模型包括：基於所述多個分割樣本中的目標檢測結果和多個部件檢測樣本中的目標檢測結果，由所述分割裝置，確定與所述第三類別子集和第四類別子集構成的類別集合中各個類別對應的目標檢測參數； 基於所述多個分割樣本中的目標檢測結果和目標分割結果，由所述分割裝置，確定權重遷移函數，所述權重遷移函數表示從目標檢測參數到目標分割參數的映射；由所述分割裝置，將所述各個類別對應的目標檢測參數輸入所述權重遷移函數中，得到各個類別對應的目標分割參數，從而確定所述部件分割模型，用於對車輛損傷影像進行部件分割。
  9. 根據申請專利範圍第8項所述的方法，其中，所述多個分割樣本中包括目標對象為部件對象的多個部件分割樣本。
  10. 一種用於對車輛損傷影像進行損傷分割的裝置，所述裝置包括：第一獲取單元，配置為獲取同時標註有目標檢測結果和目標分割結果的多個分割樣本，所述目標檢測結果包括目標對象的類別和邊框，所述目標分割結果包括目標對象的輪廓；所述多個分割樣本中對目標對象標註的多個類別構成第一類別子集；第二獲取單元，配置為獲取標註有目標檢測結果但未標註目標分割結果的多個損傷檢測樣本；所述多個損傷檢測樣本中對目標對象標註的多個類別構成第二類別子集，所述第二類別子集中包括不屬於第一類別子集的類別；訓練單元，配置為利用所述多個分割樣本和所述多個 損傷檢測樣本，訓練損傷分割模型，所述損傷分割模型包括用於檢測損傷對象的目標檢測參數和用於確定所述損傷對象的輪廓的目標分割參數；其中所訓練單元具體包括：第一確定模組，配置為基於所述多個分割樣本中的目標檢測結果和多個損傷檢測樣本中的目標檢測結果，確定與所述第一類別子集和第二類別子集構成的類別集合中各個類別對應的目標檢測參數；第二確定模組，配置為基於所述多個分割樣本中的目標檢測結果和目標分割結果，確定權重遷移函數，所述權重遷移函數表示從目標檢測參數到目標分割參數的映射；輸入模組，配置為將所述各個類別對應的目標檢測參數輸入所述權重遷移函數中，得到各個類別對應的目標分割參數，從而確定所述損傷分割模型，用於對車輛損傷影像進行損傷分割。
  11. 根據申請專利範圍第10項所述的裝置，其中，所述第一類別子集中包括第一類別，所述第二確定模組具體配置為：獲取與所述第一類別對應的目標檢測參數；將與所述第一類別對應的目標檢測參數輸入初始權重遷移函數中，得到對應的預測目標分割參數；基於所述預測目標分割參數，確定與第一類別的分割樣本對應的預測目標分割結果；至少基於所述預測目標分割結果和第一類別的分割樣 本中標註的目標分割結果，調整所述初始權重遷移函數。
  12. 根據申請專利範圍第11項所述的裝置，其中，所述與所述第一類別對應的目標檢測參數包括目標分類參數和目標邊框參數；所述輸入模組具體配置為：將所述目標分類參數，和/或，目標邊框參數輸入所述初始權重遷移函數中。
  13. 根據申請專利範圍第10項所述的裝置，其中所述權重遷移函數透過卷積神經網路實現。
  14. 根據申請專利範圍第10項所述的裝置，其中，所述多個分割樣本中包括目標對象為部件對象的多個部件分割樣本。
  15. 根據申請專利範圍第10項所述的裝置，其中，所述多個分割樣本中包括目標對象為損傷對象的多個損傷分割樣本。
  16. 根據申請專利範圍第15項所述的裝置，其中，所述第一獲取單元具體配置為：從損傷樣本庫中獲取預定數量的損傷檢測樣本；基於顯著性檢測，從所述預定數量的損傷檢測樣本標註的多個邊框中，提取出多個顯著性區域，以使工作人員 根據所述多個顯著性區域，對所述預定數量中部分數量的損傷檢測樣本進行分割結果的標註；將標註有分割結果的部分數量的損傷檢測樣本，確定為所述多個損傷分割樣本；以及，將所述預定數量中部分數量以外的損傷檢測樣本作為所述多個損傷檢測樣本。
  17. 一種用於對車輛損傷影像進行部件分割的裝置，所述裝置包括：第一獲取單元，配置為獲取同時標註有目標檢測結果和目標分割結果的多個分割樣本，所述目標檢測結果包括目標對象的類別和邊框，所述目標分割結果包括目標對象的輪廓；所述多個分割樣本中對目標對象標註的多個類別構成第三類別子集；第二獲取單元，配置為獲取標註有目標檢測結果但未標註目標分割結果的多個部件檢測樣本；所述多個部件檢測樣本中對目標對象標註的多個類別構成第四類別子集，所述第四類別子集中包括不屬於第三類別子集的類別；訓練單元，配置為利用所述多個分割樣本和所述多個部件檢測樣本，訓練部件分割模型，所述部件分割模型包括用於檢測部件對象的目標檢測參數和用於確定所述部件對象的輪廓的目標分割參數；其中所述訓練單元具體包括：第一確定模組，配置為基於所述多個分割樣本中的目標檢測結果和多個部件檢測樣本中的目標檢測結果，確定 與所述第三類別子集和第四類別子集構成的類別集合中各個類別對應的目標檢測參數；第二確定模組，配置為基於所述多個分割樣本中的目標檢測結果和目標分割結果，確定權重遷移函數，所述權重遷移函數表示從目標檢測參數到目標分割參數的映射；輸入模組，配置為將所述各個類別對應的目標檢測參數輸入所述權重遷移函數中，得到各個類別對應的目標分割參數，從而確定所述部件分割模型，用於對車輛損傷影像進行部件分割。
  18. 根據申請專利範圍第17項所述的裝置，其中，所述多個分割樣本中包括目標對象為部件對象的多個部件分割樣本。
  19. 一種電腦可讀儲存媒體，其上儲存有電腦程式，當所述電腦程式在電腦中執行時，令電腦執行申請專利範圍第1至9項中任一項的所述的方法。
  20. 一種計算設備，包括記憶體和處理器，其特徵在於，所述記憶體中儲存有可執行程式碼，所述處理器執行所述可執行程式碼時，實現申請專利範圍第1至9項中任一項所述的方法。
TW108123629A 2018-09-10 2019-07-04 用於對車輛損傷影像進行損傷分割的方法、裝置、電腦可讀儲存媒體和計算設備 TWI709085B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811052994.6A CN110570435B (zh) 2018-09-10 2018-09-10 用于对车辆损伤图像进行损伤分割的方法及装置
CN201811052994.6 2018-09-10

Publications (2)

Publication Number Publication Date
TW202011267A TW202011267A (zh) 2020-03-16
TWI709085B true TWI709085B (zh) 2020-11-01

Family

ID=68772408

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108123629A TWI709085B (zh) 2018-09-10 2019-07-04 用於對車輛損傷影像進行損傷分割的方法、裝置、電腦可讀儲存媒體和計算設備

Country Status (6)

Country Link
US (1) US11042978B2 (zh)
EP (1) EP3852061B1 (zh)
CN (1) CN110570435B (zh)
SG (1) SG11202100117XA (zh)
TW (1) TWI709085B (zh)
WO (1) WO2020052352A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359676A (zh) * 2018-10-08 2019-02-19 百度在线网络技术（北京）有限公司 用于生成车辆损伤信息的方法和装置
CN111091492B (zh) * 2019-12-23 2020-09-04 韶鼎人工智能科技有限公司 一种基于卷积神经网络的人脸图像光照迁移方法
CN115605887A (zh) 2020-01-03 2023-01-13 易识有限公司（Gb） 确定受损车辆的修理操作的方法
CN112183541B (zh) * 2020-09-17 2023-04-18 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 一种轮廓提取方法及装置、电子设备、存储介质
CN112192318B (zh) * 2020-09-28 2022-07-19 北京天泽智云科技有限公司 机加工刀具状态监控方法和系统
CN112365453A (zh) * 2020-10-26 2021-02-12 上海东普信息科技有限公司 快递货物堆放的检测方法、装置、设备和存储介质
CN113450362A (zh) * 2021-06-02 2021-09-28 北京迈格威科技有限公司 一种视频目标分割方法、装置和电子系统
CN113763389B (zh) * 2021-08-24 2022-06-14 深圳前海爱客风信息技术有限公司 一种基于多主体检测分割的图像识别方法
US12002192B2 (en) * 2021-11-16 2024-06-04 Solera Holdings, Llc Transfer of damage markers from images to 3D vehicle models for damage assessment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170293894A1 (en) * 2016-04-06 2017-10-12 American International Group, Inc. Automatic assessment of damage and repair costs in vehicles
TW201740338A (zh) * 2016-04-11 2017-11-16 鴻海精密工業股份有限公司 車輛損傷定價系統及方法
CN107392218A (zh) * 2017-04-11 2017-11-24 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置及电子设备
CN108446618A (zh) * 2018-03-09 2018-08-24 平安科技（深圳）有限公司 车辆定损方法、装置、电子设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11017250B2 (en) * 2010-06-07 2021-05-25 Affectiva, Inc. Vehicle manipulation using convolutional image processing
RU2629875C1 (ru) * 2016-04-04 2017-09-04 Общество С Ограниченной Ответственностью "Яндекс" Способы и системы прогнозирования условий вождения
US11144889B2 (en) * 2016-04-06 2021-10-12 American International Group, Inc. Automatic assessment of damage and repair costs in vehicles
US10445576B2 (en) * 2016-09-23 2019-10-15 Cox Automotive, Inc. Automated vehicle recognition systems
US10546242B2 (en) * 2017-03-03 2020-01-28 General Electric Company Image analysis neural network systems
CN110651310B (zh) * 2017-04-05 2023-09-08 卡内基梅隆大学 估计对象密度和/或流量的深度学习方法及相关方法和软件
CN107194398B (zh) * 2017-05-10 2018-09-25 平安科技（深圳）有限公司 车损部位的识别方法及系统
US20190095877A1 (en) * 2017-09-26 2019-03-28 Panton, Inc. Image recognition system for rental vehicle damage detection and management
CN107977895A (zh) * 2017-12-08 2018-05-01 北京小米移动软件有限公司 车辆损毁信息的确定方法、装置及用户设备
CN108460328A (zh) * 2018-01-15 2018-08-28 浙江工业大学 一种基于多任务卷积神经网络的套牌车检测方法
CN108414549A (zh) * 2018-03-07 2018-08-17 中国科学院高能物理研究所 一种用于汽车定损的射线检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170293894A1 (en) * 2016-04-06 2017-10-12 American International Group, Inc. Automatic assessment of damage and repair costs in vehicles
TW201740338A (zh) * 2016-04-11 2017-11-16 鴻海精密工業股份有限公司 車輛損傷定價系統及方法
CN107392218A (zh) * 2017-04-11 2017-11-24 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置及电子设备
CN108446618A (zh) * 2018-03-09 2018-08-24 平安科技（深圳）有限公司 车辆定损方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2020052352A1 (zh) 2020-03-19
EP3852061B1 (en) 2024-06-26
SG11202100117XA (en) 2021-02-25
US11042978B2 (en) 2021-06-22
CN110570435A (zh) 2019-12-13
TW202011267A (zh) 2020-03-16
US20210150691A1 (en) 2021-05-20
CN110570435B (zh) 2020-06-26
EP3852061A4 (en) 2022-06-08
EP3852061A1 (en) 2021-07-21

Similar Documents

Publication Publication Date Title
TWI709085B (zh) 用於對車輛損傷影像進行損傷分割的方法、裝置、電腦可讀儲存媒體和計算設備
CN111612763B (zh) 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
WO2021051885A1 (zh) 目标标注的方法及装置
WO2019104767A1 (zh) 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
WO2018108129A1 (zh) 用于识别物体类别的方法及装置、电子设备
CN111862296B (zh) 三维重建方法及装置、系统、模型训练方法、存储介质
WO2023060777A1 (zh) 一种基于深度学习的猪只体尺体重估测方法
CN109871845B (zh) 证件图像提取方法及终端设备
CN110930390B (zh) 基于半监督深度学习的芯片管脚缺失检测方法
WO2023160312A1 (zh) 基于自监督学习的行人重识别方法、装置、设备及存储介质
CN109087261B (zh) 基于非受限采集场景的人脸矫正方法
WO2017120796A1 (zh) 路面病害的检测方法及其装置、电子设备
CN109711268B (zh) 一种人脸图像筛选方法及设备
WO2022042348A1 (zh) 医学影像标注方法和装置、设备及存储介质
CN110807775A (zh) 基于人工智能的中医舌像分割装置、方法及存储介质
CN113240623B (zh) 一种路面病害检测方法及装置
CN108830856B (zh) 一种基于时间序列sd-oct视网膜图像的ga自动分割方法
US9087272B2 (en) Optical match character classification
CN113706472B (zh) 公路路面病害检测方法、装置、设备及存储介质
CN112839167B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN111882555B (zh) 基于深度学习的网衣检测方法、装置、设备及存储介质
CN114511041A (zh) 模型训练方法、图像处理方法、装置、设备和存储介质
WO2014205787A1 (zh) 一种基于混合图像模板的车辆检测方法
CN106469300A (zh) 一种色斑检测识别方法
CN104243970A (zh) 基于立体视觉注意力机制和结构相似度的3d绘制图像的客观质量评价方法