TW201837786A - 基於圖像的車輛定損方法、裝置、電子設備及系統 - Google Patents
基於圖像的車輛定損方法、裝置、電子設備及系統 Download PDFInfo
- Publication number
- TW201837786A TW201837786A TW107107229A TW107107229A TW201837786A TW 201837786 A TW201837786 A TW 201837786A TW 107107229 A TW107107229 A TW 107107229A TW 107107229 A TW107107229 A TW 107107229A TW 201837786 A TW201837786 A TW 201837786A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- damage
- vehicle
- processed
- component
- Prior art date
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 69
- 230000006378 damage Effects 0.000 claims abstract description 404
- 238000000034 method Methods 0.000 claims abstract description 105
- 230000008439 repair process Effects 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims description 82
- 238000013527 convolutional neural network Methods 0.000 claims description 63
- 238000004422 calculation algorithm Methods 0.000 claims description 32
- 230000009466 transformation Effects 0.000 claims description 30
- 238000013528 artificial neural network Methods 0.000 claims description 27
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 25
- 238000003384 imaging method Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 12
- 238000012790 confirmation Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 238000007635 classification algorithm Methods 0.000 claims description 4
- 238000003066 decision tree Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 2
- 238000012549 training Methods 0.000 description 35
- 208000027418 Wounds and injury Diseases 0.000 description 29
- 208000014674 injury Diseases 0.000 description 29
- 238000010586 diagram Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 26
- 230000006870 function Effects 0.000 description 16
- 230000006872 improvement Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 8
- 230000003902 lesion Effects 0.000 description 8
- 230000005291 magnetic effect Effects 0.000 description 7
- 206010039203 Road traffic accident Diseases 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000003672 processing method Methods 0.000 description 5
- 239000000047 product Substances 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 238000006748 scratching Methods 0.000 description 4
- 230000002393 scratching effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000010422 painting Methods 0.000 description 3
- 208000004221 Multiple Trauma Diseases 0.000 description 2
- 208000023637 Multiple injury Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 239000007795 chemical reaction product Substances 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000007790 scraping Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 101000762967 Homo sapiens Lymphokine-activated killer T-cell-originated protein kinase Proteins 0.000 description 1
- 102100026753 Lymphokine-activated killer T-cell-originated protein kinase Human genes 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000009528 severe injury Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06313—Resource planning in a project environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/08—Insurance
-
- G06Q50/40—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/17—Image acquisition using hand-held instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
本發明實施例揭示了一種基於圖像的車輛定損方法、裝置、電子設備及系統。所述方法包括獲取待處理圖像;檢測所述待處理圖像,識別待處理圖像中的第一車輛部件;對待處理圖像中未識別出車輛部件的局部圖像,採用和已識別出包含車輛部件的部件圖像進行圖像匹配,確定局部圖像所屬的第二車輛部件;檢測所述待處理圖像,識別其中的損傷部位和損傷類型;根據識別出的所述第一車輛部件、第二車輛部件以及損傷部位和損傷類型確定待處理圖像中的損傷部件和與所述損傷部件對應的損傷部位、損傷類型。利用本發明各個實施例,可以快速、準確、可靠地檢測出車輛部件的損傷部位和程度等的具體資訊,使得定損結果更準確可靠,提高用戶服務體驗。
Description
本發明屬於電腦圖像資料處理技術領域,尤其關於一種基於圖像的車輛定損方法、裝置及電子設備。
在發生交通事故後,常常需要等待保險公司的理賠員到現場處理,透過拍照等獲取理賠依據。隨著近年來機動車保有量的增加,每年的交通事故數量一直處於高位狀。而車輛理賠定損業務的處理常常需要依賴專業保險工作人員的人力現場處理,成本高、等待週期長,處理效率低。 目前業內有一些利用交通事故現場圖像進行自動分析得到預設車損部位分類的處理方式。例如發明公布號為“CN105678622A”、發明名稱為「車險理賠照片的分析方法及系統」揭示一種演算法利用常規卷積神經網路(Convolutional Neural Network, CNN)對移動終端上傳的理賠照片進行分析,識別出損傷部位分類,並基於分析結果產生提醒資訊。但上述方式僅僅是簡單的確定出車損部位的分類,如車前方、車側面、車尾等,沒有識別出具體的損傷類型。識別出的損傷部位的提醒資訊主要是用於保險公司的工作人員拿來和人工定損進行人工的對比,作為參考資訊説明保險公司的工作人員進行定損核算。另外其演算法只使用CNN通用的物體識別演算法,最終車輛定損的結果還是依靠人工核定,人力和時間成本較大,並且不同保險公司車損核定標準不統一,加上人的主觀因素影響,車輛定損結果的差異較大,可靠性較低。
本發明目的在於提供一種基於圖像的車輛定損方法、裝置及電子設備,可以快速、準確、可靠的檢測出車輛部件的損傷部位和程度等的具體資訊,使得定損結果更準確可靠,可以快速高效地進行車輛定損處理,大大提高用戶服務體驗。 本發明提供的一種基於圖像的車輛定損方法、裝置及電子設備是這樣實現的: 一種基於圖像的車輛定損方法,所述方法包括: 獲取待處理圖像; 檢測所述待處理圖像,識別所述待處理圖像中的車輛部件; 對所述待處理圖像中未識別出車輛部件的局部圖像,採用和已識別出包含車輛部件的部件圖像進行圖像匹配,確定所述局部圖像所屬的車輛部件; 檢測所述待處理圖像,識別所述待處理圖像中的損傷部位和損傷類型; 根據識別出的車輛部件、所述損傷部位和損傷類型確定所述待處理圖像中的損傷部件和與所述損傷部件對應的損傷部位、損傷類型。 一種基於圖像的車輛定損裝置,所述裝置包括: 圖像獲取模組,用於獲取待處理圖像; 部件第一識別模組,檢測所述待處理圖像,識別所述待處理圖像中的車輛部件; 部件第二識別模組,對所述待處理圖像中未識別出車輛部件的局部圖像,採用和已識別出包含車輛部件的部件圖像進行圖像匹配,確定所述局部圖像所屬的車輛部件; 損傷識別模組,用於檢測所述待處理圖像,識別所述待處理圖像中的損傷部位和損傷類型; 損傷計算模組,用於根據識別出的車輛部件、所述損傷部位和損傷類型確定所述待處理圖像中的損傷部件和與所述損傷部件對應的損傷部位、損傷類型。 一種基於圖像的車輛定損裝置,包括處理器以及用於儲存處理器可執行指令的記憶體,所述處理器執行所述指令時實現: 獲取待處理圖像; 檢測所述待處理圖像,識別所述待處理圖像中的車輛部件; 對所述待處理圖像中未識別出車輛部件的局部圖像,採用和已識別出包含車輛部件的部件圖像進行圖像匹配,確定所述局部圖像所屬的車輛部件; 檢測所述待處理圖像,識別所述待處理圖像中的損傷部位和損傷類型; 根據識別出的車輛部件、所述損傷部位和損傷類型確定所述待處理圖像中的損傷部件和與所述損傷部件對應的損傷部位、損傷類型。 一種電腦可讀儲存媒體,其上儲存有電腦指令,所述指令被執行時實現以下步驟: 獲取待處理圖像; 檢測所述待處理圖像,識別所述待處理圖像中的車輛部件; 對所述待處理圖像中未識別出車輛部件的局部圖像,採用和已識別出包含車輛部件的部件圖像進行圖像匹配,確定所述局部圖像所屬的車輛部件; 檢測所述待處理圖像,識別所述待處理圖像中的損傷部位和損傷類型; 根據識別出的車輛部件、所述損傷部位和損傷類型確定所述待處理圖像中的損傷部件和與所述損傷部件對應的損傷部位、損傷類型。 一種電子設備,包括處理器以及用於儲存處理器可執行指令的記憶體,所述處理器執行所述指令時實現: 獲取待處理圖像; 檢測所述待處理圖像,識別所述待處理圖像中的車輛部件; 對所述待處理圖像中未識別出車輛部件的局部圖像,採用和已識別出包含車輛部件的部件圖像進行圖像匹配,確定所述局部圖像所屬的車輛部件; 檢測所述待處理圖像,識別所述待處理圖像中的損傷部位和損傷類型; 根據識別出的車輛部件、所述損傷部位和損傷類型確定所述待處理圖像中的損傷部件和與所述損傷部件對應的損傷部位、損傷類型。 一種基於圖像的車輛定損系統,包括I/O介面、記憶體、中央處理器、影像處理器, 所述I/O介面,用於獲取待處理圖像和輸出維修方案; 所述中央處理器耦合於影像處理器,用於檢測所述待處理圖像,識別所述待處理圖像中的車輛部件;對所述待處理圖像中未識別出車輛部件的局部圖像,採用和已識別出包含車輛部件的部件圖像進行圖像匹配,確定所述局部圖像所屬的車輛部件;檢測所述待處理圖像,識別所述待處理圖像中的損傷部位和損傷類型;根據識別出的車輛部件、所述損傷部位和損傷類型確定所述待處理圖像中的損傷部件和與所述損傷部件對應的損傷部位、損傷類型; 所述中央處理器還用於基於包括確定出所述待處理圖像中的損傷部件和與所述損傷部件對應的損傷部位、損傷類型的資訊產生維修方案。 本發明提供的一種基於圖像的車輛定損方法、裝置、電子設備及系統,可以識別出待處理圖像中所包含的損傷部件,然後基於構建的損傷識別模型檢測出損傷部件的受損部位和每個損傷部位對應的損傷類型,從而得到車輛部件準確、全面、可靠的車輛定損資訊。本發明實施方案可以識別出一張或多張圖像中的一個或多個受損部件,和所述損傷部件中的一處或多處受損部位及受損程度等。並且對於類似車輛部件局部細節圖像也能進行準確的部件類型確認,提高計算得到的車輛定損資訊的可靠性,使得基於圖像的車輛定損結果更加可靠,可以提高車輛定損處理結果的準確性和可靠性,提高用戶服務體驗。
為了使本技術領域的人員更好地理解本發明中的技術方案,下面將結合本發明實施例中的附圖,對本發明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發明一部分實施例,而不是全部的實施例。基於本發明中的實施例,本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例,都應當屬於本發明保護的範圍。 圖1是本發明所述一種基於圖像的車輛定損方法一種實施例的方法流程圖。雖然本發明提供了如下述實施例或附圖所示的方法操作步驟或裝置結構,但基於常規或者無需創造性的勞動在所述方法或裝置中可以包括更多或者部分合併後更少的操作步驟或模組單元。在邏輯性上不存在必要因果關係的步驟或結構中,這些步驟的執行順序或裝置的模組結構不限於本發明實施例或附圖所示的執行順序或模組結構。所述的方法或模組結構的在實際中的裝置、伺服器或終端產品應用時,可以按照實施例或者附圖所示的方法或模組結構進行循序執行或者並存執行(例如並行處理器或者多執行緒處理的環境、甚至包括分散式處理、伺服器集群的實施環境)。 在現有的實際交通事故處理中,例如刮擦事故等,常常需要等待保險公司的理賠員到現場拍照後才能撤離現場,因此經常會導致交通堵塞,且浪費大量的時間,並定損結果的資訊獲取週期較長。而利用本發明實施方案在發生交通事故時,涉事車主往往想要知道自己或對方車輛的損失或理賠情況,此時可以自己拍下交通事故現場的圖像,一方面可以作為現場證據,另一方面可以利用拍攝將圖像透過終端APP進行自主的車損估算損失、理賠情況等。滿足涉事車主用戶快速、全面、準確可靠地得到車輛定損處理需求。 為了清楚起見,下述實施例以具體的一個車主用戶利用移動終端APP(application,應用)請求車輛定損服務的應用情況進行說明。在本實施例應用情況中,車主用戶在交通事故現場可以透過移動終端(如手機)對車輛受損位置以及車輛整體進行拍攝,一些情況下還可以對車輛證件、用戶證件等進行拍照,然後透過終端應用上傳拍攝獲得的照片(圖像)。雲端伺服器獲取車輛定損的待處理圖像後,可以先識別出有哪些損傷的部件以及這些損傷的部件的一處或多處損傷部位和對應的損傷類型。然後可以基於本發明實施方案得到的更加準確、可靠、全面的車輛定損的資訊,設計一個規則引擎,根據車型、所在地、修理廠等的維修策略資訊,調用不同的價格庫,產生至少一個維修方案。這個維修方案可以返回給車主用戶,車主用戶則可以快速獲取車輛定損結果。當然,如果用戶為保險公司作業人員,則可以返回給保險公司側或直接顯示維修方案的結果。但是,本領域技術人員能夠理解到,可以將本方案的實質精神應用到車輛定損的其他實施情況中,如保險公司或修理廠的自動車輛定損,或者4S門店、其他伺服器提供的自助車輛定損服務等。 具體的一種實施例如圖1所示,本發明提供的一種基於圖像的車輛定損方法的一種實施例中,所述方法可以包括: S1:獲取待處理圖像。 伺服器可以從用戶端或協力廠商伺服器(如保險公司的伺服器)獲取車輛定損的待處理圖像。所述的待處理圖像通常包括了車主用戶或保險公司作業人員現場拍攝的多張圖片資訊,可以包括車輛的圖片、事故現場的圖片等。當然也可以包括用戶上傳的車輛證件、用戶身份證件、周邊環境(信號燈或地標等)資訊的圖片。這些待處理圖像往往不確定是不是單一部件的多張照片。本實施中所述的待處理圖像可以包括各種圖形和影像的總稱,通常指具有視覺效果的畫面,一般可以包括紙媒體上的、底片或照片上的、電視、投影儀或電腦螢幕等上的畫面。 若所述待處理圖像包括多種類別的圖像資訊,則透過圖像分類演算法對所述待處理圖像進行分類,篩選出符合車輛定損處理資訊相關聯的圖像作為車輛定損處理的圖像。例如,可以透過圖像分類演算法來進行分類,進而把對於識別受損部位、受損類型有用的車輛定損處理的圖片找出來。待處理圖像具體的分類可以根據情況處理需求進行劃分設定,例如劃分車輛定損處理中的圖片需要包括汽車圖像,因此可以劃分為包括整車全景、多部件半景、汽車部件細節等。而與車輛定損處理中識別車輛部件、損傷部位不關聯的其他圖像則可以單獨劃分或者劃分到對應的分類,如證件照、事故地點信號燈照片、駕駛員人像等。圖像分類演算法可以採用卷積資料網路(CNN)模型,如ResNet(Residual Network,殘差網路),透過使用已分類的圖片訓練得到。 可選的實施例中,還可以判斷所述待處理圖像的圖像品質,刪除圖像品質不符合要求的待處理圖像。具體的可以判斷所述待處理圖像的圖像品質是否達到設定的處理要求,若圖像品質較差,如照片模糊無法識別,則可以棄用該部件圖像,並回饋到移動終端APP提示用戶拍攝圖像時注意對焦,光照等影響清晰度因素。圖像品質的判定可以採用模糊度閾值、資訊熵值等方式進行處理。 其他的實施例中,獲取待處理圖像後,或者經過上述圖像品質判定、圖像分類的至少一項處理後,還可以對相似度達到預定閾值的待處理圖像進行去重處理。這樣可以刪除一些同一角度重複拍攝的多張相似度高的圖像,選取圖像品質高的待處理圖像進行處理。 S2:檢測所述待處理圖像,識別所述待處理圖像中的車輛部件。 本實施例情況中,雲端伺服器獲取待處理圖像後,可以利用預先構建的部件識別模型檢測所述待處理圖像,找到所述待處理圖像中包含的車輛部件。如果檢測到一個待處理圖像中包括一個或者多個車輛部件,則同時計算確認這些車輛部件在待處理圖像中的位置區域(在此可以稱為部件區域)的資訊。本實施例中所述的車輛部件通常是指車輛上的部件,如前保險槓,左前門,後尾燈等。 在本實施例中,可以預先採用設計的機器學習演算法構建用於識別圖像中車輛部件的部件識別模型,所述的部件識別模型經過樣本圖像的訓練後,可以識別出所述部件圖像中包含哪些車輛部件。本實情況中,所述的部件識別模型可以採用深度神經網路的網路模型或者變種的網路模型,經過樣本圖像訓練後構建產生。例如可以基於卷積神經網路(Convolutional Neural Network,CNN)和區域建議網路(Region Proposal Network,RPN),結合輸入模型訓練的損傷樣本圖像、全連接層等構建產生所述的部件識別模型。因此,本發明所述方法的另一種實施例中,所述採用下述識別模型檢測所述待處理圖像,識別車輛部件: S201:基於卷積層和區域建議層的網路模型,經過樣本資料訓練後構建產生的深度神經網路。 基於待處理圖像中可識別出車輛部件的圖像,利用深度神經網路識別得到的部件類型。卷積神經網路一般指以卷積層(CNN)為主要結構並結合其他如啟動層等組成的神經網路,主要用於圖像識別。本實施例中所述的深度神經網路可以包括卷積層和其他重要的層(如輸入模型訓練的損傷樣本圖像,資料歸一化層,啟動層等),並結合區域建立網路共同組建產生。卷積神經網路通常是將影像處理中的二維離散卷積運算和人工神經網路相結合。這種卷積運算可以用於自動提取特徵。區域建議網路(RPN)可以將一個圖像(任意大小)提取的特徵作為輸入(可以使用卷積神經網路提取的二維特徵),輸出矩形目標建議框的集合,每個框有一個物件的得分。為避免混淆,本實施例中可以把使用的卷積神經網路(CNN)稱為卷積層(CNN)、區域建議網路(RPN)稱為區域建議層(RPN)。本發明其他的實施例中,所述的部件識別模型還可以包括基於所述卷積神經網路改進後的或區域建議網路改進後的變種網路模型,經過樣本資料訓練後構建產生的深度卷積神經網路。 上述實施例中使用的模型和演算法可以選擇同類模型或者演算法。具體地,例如部件識別模型中,可以使用基於卷積神經網路和區域建議網路的多種模型和變種,如Faster R-CNN、YOLO、Mask-FCN等。其中的卷積神經網路(CNN)可以用任意CNN模型,如ResNet、Inception, VGG等及其變種。通常神經網路中的卷積網路(CNN)部分可以使用在物體識別取得較好效果的成熟網路結構,如Inception、ResNet等網路,如ResNet網路,輸入為一張圖片,輸出為多個部件區域,和對應的部件分類和置信度(這裡的置信度為表示識別出來的車輛部件真實性程度的參量)。faster R-CNN、YOLO、Mask-FCN等都是屬於本實施例可以使用的包含卷積層的深度神經網路。本實施例使用的深度神經網路結合區域建議層和CNN層能檢測出所述待處理圖像中的車輛部件,並確認所述車輛部件在待處理圖像中的部件區域。 需要說明的是,本發明的一種實施方式中,可以採用單獨的演算法伺服器實施部件識別模型來檢測所述待處理圖像,識別待處理圖像中的車輛部件。如設置一個業務伺服器,用於獲取用戶上傳的待處理圖像和輸出維修方案,同時還可以設置一個演算法伺服器,儲存有構建的部件識別模型,對業務伺服器的待處理圖像進行檢測識別,確定待處理圖像中的車輛部件。當然,上述所述的處理也可以由同一伺服器執行完成。 S3:對所述待處理圖像中未識別出車輛部件的局部圖像,採用和已識別出包含車輛部件的部件圖像進行圖像匹配,確定所述局部圖像所屬的車輛部件。 本實施例中獲取的待處理圖像往往包括多種類別的,對於某些圖像Tu,比如部件的局部細節圖,可能透過演算法模型等沒法直接檢測出的部件類型和位置,這些圖像在此可以稱為局部圖像。因此,本發明實施例可以利用演算法模型等已經識別出的包含車輛部件的其他圖像來識別出局部圖像所屬的車輛部件,例如根據上述深度神經網路識別出的包含第一車輛部件的部件做圖像匹配,計算哪些部件圖像中包含了該局部圖像的資訊,最終根據圖像匹配的結果確定局部圖像所歸屬的車輛部件(可以為所述已識別的車輛部件中的某個部件類型)。 具體的一個示例中,例如用戶上傳了10張圖片中有6張圖片是包含車輛本身的資訊,其餘為證件圖片。這6張待處理圖片中有一張圖片P1為車輛某個部件的局部細節圖片,構建的部件識別模型未能檢測出圖片P1的部件類型和位置,但其餘5張待處理圖片識別出了包含的車輛部件。此時,可以將圖片P1的圖片分別在其餘5張圖片P2、P3、P4、P5、P6中分別進行匹配,計算5張圖片中是否存在某個位置區域與圖片P1的圖片資訊匹配符合要求,如匹配度最高且達到最低匹配度。匹配採用的資料可以採用圖片圖元的視覺特徵資料,如RGB、梯度、灰度等,當然也可以採用其他的圖像資料資訊。經過圖像匹配,發現P2中包含的一個車輛部件的局部位置與圖片P1相似度最高,且滿足最低相似度要求,則可以將P2對應位置的車輛部件作為識別出的圖片P1的車輛部件。 常規的圖像變換在直接坐標系可以進行線性變換,如將圖像轉化為向量進行相乘等。但在車輛定損處理中,受損的部件相比正常狀態下的圖像資訊可能發生變形,或相比於其他未受損部件發生位移。本發明提供的所述方法的另一個實施例中,可以針對該實施情況提供基於仿射變換的圖像資料處理,更加準確的識別出部件圖像,尤其是對於受損部件的部件圖像。所述的仿射變換指的是滿足仿射組合的變換,可以理解為是一個線性變換加上平移。因為線性變換不能表示平移,而仿射變換則可以。 所述局部圖像Tu,在利用其他圖片Tk,檢測出所包含的部件類型和位置時,可以對Tu中每個圖片u和Tk中的圖片做匹配,找到Tk中包含了u所含部位的圖片k,以及u和k之間的一個仿射變換,從而得到圖片u中的部件類型和位置。圖2是本發明提供的識別局部圖像所述車輛部件的一個實施過程示意圖,如圖2所示,具體的可以包括: S30:採用卷積神經網路提取所述局部圖像的第一卷積特徵資料,以及採用預定演算法提取所述局部圖像的第一局部特徵點集。 本實施例中可以提取部件圖像u的第一卷積特徵資料x。例如構建一個卷積神經網路Np,使用該卷積神經網路Np中最後一個池化層的輸出向量作為部件圖像u的卷積網路特徵。 所述的第一局部特徵點集可以採用尺度不變特徵變換(Scale-invariant feature transform,SIFT)獲取,提取圖片u中的SIFT第一局部特徵點集y。本發明的一個實施例使用了SIFT作為圖像的局部特徵資料,當然其他的實施例也可以使用其他的特徵資料,例如FAST(Features fromaccelerated segment test,角點檢測方法)等特徵。 S31:將所述第一卷積特徵資料匹配與所述部件圖像中的取樣區域的卷積特徵資料進行比較,獲取與所述第一卷積特徵資料相似度最高的相似區域。 對於一個進行圖像匹配的部件圖像,可以選取部件圖像中多個取樣區域,例如每個採用區域設定與部件圖像或裁剪後的部件圖像大小相同,從部件圖像左上角依次選取取樣區域。獲取所有部件圖像的採用區域後可以形成採用區域的集合。然後計算每個採用區域的卷積特徵資料,將所述第一卷積特徵資料匹配與所述部件圖像中的取樣區域的卷積特徵資料進行比較,獲取得到相似度最高的採用區域作為相似區域。 其他的實施方式中,所述將所述第一卷積特徵資料匹配與所述部件圖像中的取樣區域的卷積特徵資料進行比較獲取與所述第一卷積特徵資料相似度最高的相似區域包括; 對於所述部件圖像,利用滑動視窗提取所述部件圖像中滑動視窗區域的第二卷積特徵資料,獲取第二卷積特徵資料集合,所述第二卷積特徵資料使用與提取卷積特徵資料x相同的卷積神經網路獲得; 從所述第二卷積特徵資料集合中選取與所述第一卷積特徵資料相似度最高的相似區域。 具體的示例中,如對Tk中每張圖片t,可以使用不同大小的滑動窗扣,對部件圖像中不同區域使用與提取第一卷積特徵資料x中相同的卷積神經來網路提取第二卷積特徵資料。從所有區域中選出第二卷積特徵資料和第一卷積特徵資料x最相似的區域r。相似度計算可以使用餘弦相似度。 S32:取樣所述預定演算法提取所述相似區域的第二局部特徵點集,將所述第一局部特徵點集與第二局部特徵點集進行匹配,獲取匹配點對,透過最小化匹配點對在仿射變換下的位置誤差得到所述局部圖像與部件圖像之間的仿射變換。 將u的局部特徵點集和r的局部特徵點集做匹配,得到一組匹配點對,然後透過最小化匹配點對在仿射變換下的位置誤差求得仿射變換。 其他的實施例中,還可以將所述相似區域按照預定方式擴大圖像區域範圍,以獲取更大範圍內更多的局部特徵資料,提升匹配處理可靠性;對應地,所述第二局部特徵點集包括提取的所述擴大圖像區域範圍後的相似區域的局部特徵點集。 將所述相似區域按照預定方式擴大圖像區域範圍的方式可以根據處理需求自訂設定。本發明提的一個實施例中,所述將所述相似區域按照預定方式擴大圖像區域範圍可以包括: 所述相似區域的左、右、上、下的邊向外擴展預定比例,一般的,或者在預定比例範圍內擴大到包含足夠的第二局部特徵點個數,如達到對應的第一局部特徵點個數的兩倍。例如,可以選取向外擴張50%,將相似區域r的邊長各向四周擴張(通常影像處理中預處理為正方形圖片)50%,這樣既能滿足特徵提取的資料需求,又能合理控制計算量。 S33:選取所述位置誤差最小的圖像區域對應在所述部件圖像上的部件類型作為所述局部圖像的車輛部件。 選取S32中匹配誤差最小的圖像區域作為和部件圖像u的匹配圖k,將部件圖像u透過對應的仿射變換在k上的對應區域所對應的部件類型作為部件圖像u中的部件類型。 利用上述實施例提供的處理方式,在某些待處理圖像如部件局部細節圖不能從單一圖像中確定出具體的部件類型時,可以和其他已知所含部件類型和位置的待處理圖像做匹配,從而確定類型這些部件局部細節所屬的部件類型。具體的一個示例實現方式中,可以採用Siamese network (孿生網路)的網路結構,基於圖像的SIFT以及CNN特徵進行圖像匹配,求出匹配圖像之間的仿射變換,從而得當對應圖像位置上的部件類型,確定局部圖像所屬的第二車輛部件。圖3是本發明提供一個識別部件圖像的一個處理過程示意圖。圖4是一個具體的利用部件圖像進行匹配確定局部圖像所屬部件的情況示意圖,圖4中的上面局部圖像僅看到有刮擦,但無法識別是什麼部件的位置。經過和已經識別出車輛部件的部件圖像進行匹配,得到而找到圖4中上圖損傷部位所在的部件為:前保險槓。 S4:所述待處理圖像,識別所述待處理圖像中的損傷部位和損傷類型。 雲端伺服器一側獲取待處理圖像後,可以利用預先構建的損傷識別模型對所述部件圖像進行檢測,識別出待處理圖像中的損傷部位和損傷類型。本實施例中所述的損傷部位通常是指車輛上有損傷的一個部位。一個受損的車輛部件可能包含多個受損部位,每個損傷部位對應有損傷類型(如重度刮擦、輕度變形等)。本實施例可以檢測待處理圖像中有損傷部位的位置區域(在此可以稱為損傷區域,可以理解為一個損傷部位對應著一個具體的損傷區域的圖片區域資料,或者損傷區域表達的即為損傷部位的實體資料資訊),可以對該損傷區域進行檢測,識別出損傷類型。本實施例中所述的損傷類型可以包括輕度刮擦、重度刮擦、輕度變形、中度變形、重度變形、破損、需拆解檢查等類型。 在本實施例中,可以預先採用設計的機器學習演算法構建用於識別圖像中包含的損傷部位和損傷類型的損傷識別模型。該損傷識別模型經過樣本訓練後,可以識別出所述待處理圖像中的一處或多處損傷部位以及對應的損傷類型。本實施例中,所述的損傷識別模型可以採用深度神經網路的網路模型或者其變種後的網路模型經過樣本訓練後構建產生。本發明提供的所述方法的另一個實施例中,可以基於卷積神經網路(Convolutional Neural Network,CNN)和區域建議網路(Region Proposal Network,RPN),結合輸入模型訓練的損傷樣本圖像、全連接層等構建所述的損傷識別模型。因此,本發明所述方法的另一種實施例中,所述採用下述識別模型檢測所述待處理圖像,識別損傷部位和損傷類型: 301:基於卷積層和區域建議層的網路模型,經過樣本資料訓練後構建產生的深度神經網路。 卷積神經網路一般指以卷積層(CNN)為主要結構並結合其他如啟動層等組成的神經網路,主要用於圖像識別。本實施例中所述的深度神經網路可以包括卷積層和其他重要的層(如輸入模型訓練的損傷樣本圖像,資料歸一化層,啟動層等),並結合區域建議網路(RPN)共同組建產生。卷積神經網路通常是將影像處理中的二維離散卷積運算和人工神經網路相結合。這種卷積運算可以用於自動提取特徵。區域建議網路(RPN)可以將一個圖像(任意大小)提取的特徵作為輸入(可以使用卷積神經網路提取的二維特徵),輸出矩形目標建議框的集合,每個框有一個物件的得分。同上述所述,為避免混淆,本實施例中可以把使用的卷積神經網路(CNN)稱為卷積層(CNN)、區域建議網路(RPN)稱為區域建議層(RPN)。本發明其他的實施例中,所述的損傷識別模型還可以包括基於所述卷積神經網路改進後的或區域建議網路改進後的變種網路模型,經過樣本資料訓練後構建產生的深度卷積神經網路。 上述的實施方式在模型訓練時可以識別出單張損傷樣本圖像上多個損傷部位。具體的在樣本訓練時,輸入為一張圖片,輸出為多個圖片區域,和對應的損傷分類。選取的神經網路的參數通可以過使用打標資料進行小批次梯度下降(mini-batch gradient descent)訓練得到,比如mini-batch=32時,同時32張訓練圖片作為輸入來訓練。打標資料標注了區域和對應類型的圖片,可以透過對真實車損圖片進行人工打標獲得。這個神經網路的輸入為一張圖片,輸出的區域和圖片中包含損傷部位個數有關。具體的,例如如果有一個損傷部位,輸出一個圖片區域;如果有k個損傷部位,則可以輸出k個圖片區域;如果沒有損傷部位,則輸出0個圖片區域。 上述實施例中使用的模型和演算法可以選擇同類模型或者演算法。具體地,例如部件識別模型中,可以使用基於卷積神經網路和區域建議網路的多種模型和變種,如Faster R-CNN、YOLO、Mask-FCN等。其中的卷積神經網路(CNN)可以用任意CNN模型,如ResNet,、Inception、VGG等及其變種。通常神經網路中的卷積網路(CNN)部分可以使用在物體識別取得較好效果的成熟網路結構,如Inception、ResNet等網路,如ResNet網路,輸入為一張圖片,輸出為多個含有損傷部位的圖片區域,和對應的損傷分類(損傷分類用於確定損傷類型)和置信度(這裡的置信度為表示損傷類型真實性程度的參量)。faster R-CNN、YOLO、Mask-FCN等都是屬於本實施例可以使用的包含卷積層的深度神經網路。本實施例使用的深度神經網路結合區域建議層和CNN層能檢測出損傷部位、損傷類型和損傷部位在所述部件圖像中所處的位置區域。 需要說明的是,本發明的一種實施方式中,可以採用單獨的演算法伺服器來檢測所述待處理圖像,識別待處理圖像中的損傷部位和損傷類型,如設置一個業務伺服器,用於獲取用戶上傳的待處理圖像和輸出維修方案,同時還可以設置一個演算法伺服器,儲存有構建的損傷識別模型,對業務伺服器的待處理圖像進行檢測識別,確定待處理圖像中所述包含的損傷部位和損傷類型以及損傷區域等資訊。當然,上述所述的獲取待處理圖像和識別損傷部位、損傷類型、損傷區域處理也可以由同一伺服器執行完成。 在上述所述的部件識別模型和損傷識別模型,可以採用多種的訓練資料,如一種實施方式中,所述部件識別模型可以被設置成,採用標記為相同損傷樣本部件的部件樣本圖像進行訓練,所述部件樣本圖像包括至少一個損傷部件,所述損傷部件包括至少一處損傷部位; 所述損傷識別模型可以被設置成,輸入模型訓練的損傷樣本圖像,輸出包含至少一個損傷部位和與所述損傷部位對應的損傷類型、表示所述損傷類型真實性程度的置信度的資料資訊。 需要說明的是,上述S2中利用部件識別模型檢測車輛部件的處理和S4中利用損傷識別模型檢測損傷部位、損傷類型、損傷區域的處理可以並行進行,即可以使用同一個演算法伺服器或者分別使用對應的演算法伺服器對待處理圖像進行處理,執行上述S2和S4的影像處理計算。當然,不發明不排除先進行S2識別車輛部件的處理或者先識別損傷部位的處理的實施方式。如圖5和圖6所示,圖5是一種實施例中損傷識別模型的網路構架結構示意圖,圖6是本發明一種實施例中部件識別模型的網路構架示意圖,在實際終端APP實施過程中,所述的部件識別模型和損傷識別模型的網路模型構架基本相同,在部件識別模中,損傷識別模型中的損傷區域變成了部件區域,損傷類型變成了部件類型。基於圖5和圖6所示的本發明的網路模型結構的基礎上,還可以包括其他改進或變形、變換的網路模型,但本發明其他實施例中,所述部件識別模型、損傷識別模型中的至少一個為基於卷積層和區域建議層的網路模型,經過樣本資料訓練後構建產生的深度神經網路的實施方式均應屬於本發明的實施範疇。 S5:根據所述損傷部位和部件區域確定所述待處理圖像中的損傷部件,以及確定所述損傷部件的損傷部位和損傷類型。 在前述獲取得到了待處理圖像中包含的車輛部件資訊,以及待處理圖像中存在哪些損傷部位、損傷類型、損傷區域的資訊後,可以進一步查找檢測出車輛部件中的損傷部件有哪些。本實施例的一種實現方式可以透過上述識別處理的過程中計算得到的所述部件區域和損傷區域的分析處理來定位得到損傷部件。具體的,可以根據所述損傷區域和部件區域在待處理圖像中的位置區域進行確認,例如在一種圖片P1中,若P1中檢測出來的損傷區域包含在P1中檢測出來的部件區域中(通常識別出的部件區域的面積大於損傷區域的面積),則可以認為P1中該部件區域對應的車輛部件為損傷部件。或者,圖片P2中,若P2中檢測出來的損傷區域與P2中檢測出來的部件區域有面積重合區域,則也可以認為P2中部件區域對應的車輛部件也為損傷部件。 具體的一個示例中,如一張圖片P,S2處理時檢測到車輛部件為左前門和左前葉子板,這兩個車輛部件分別在圖片P中所在的部件區域為(r1,r2),對應的為置信度(p1,p2)。S3中檢測到圖片P中存在一個輕度刮擦(損傷類型中的一種),該輕度刮傷在圖片P中所在的損傷區域r3,置信度p3。經過圖片位置區域對應關係處理,發現這個輕度刮擦區域r3在左前門所在的部件區域r1中,從而得到損傷部件左前門,損傷部件的損傷部位為r3,在這個單張圖片P中的損傷部件的損傷類型為輕度刮擦,置信度採用採用p1*p3。 當然,如果同時檢測到左前葉子板處也有損傷,則可以按照上述示例確定出在圖片P中損傷部件還有左前葉子板,其損傷部位和損傷類型也可以計算得出。 在定損處理中,待處理圖像輸入設置的卷積神經網路。如果存在多個損傷部位,則檢測到多個包含損傷部位的圖片區域,檢測所述圖片區域,確定所述圖片區域的損傷類型,分別輸出每個圖片區域對應的損傷部位和損傷類型。進一步的,本實施例中可以選取所述損傷類型中表示損傷程度最高的損傷類型所對應的損傷部位作為所述損傷部件的損傷部位。對應地,所述損傷程度最高的損傷類型為確定出的所述損傷部件的損傷類型。 本發明提供的一種基於圖像的車輛定損方法,可以識別出待處理圖像中所包含的損傷部件,然後基於構建的損傷識別模型檢測出損傷部件的受損部位和每個損傷部位對應的損傷類型,從而得到車輛部件準確、全面、可靠的車輛定損資訊。本發明實施方案可以識別出一張或多張圖像中的一個或多個受損部件,和所述損傷部件中的一處或多處受損部位及受損程度等。並且對於類似車輛部件局部細節圖像也能進行準確的部件類型確認,提高計算得到的車輛定損資訊的可靠性,使得基於圖像的車輛定損結果更加可靠,可以提高車輛定損處理結果的準確性和可靠性,提高用戶服務體驗。 進一步地,獲取了車輛定損的資訊後,還可以產生回饋給用戶的定損結果。因此,本發明所述方法還可以包括: S6:基於包括所述損傷部件、損傷部位、損傷類型的資訊產生維修方案。 圖7是本發明所述一種基於圖像的車輛定損方法另一種實施例的方法流程示意圖。上述經過對待處理圖像的車輛部件識別、受損部件的確認,以及損傷部位、受損類型的識別等處理,獲取本實施例進行車輛定損的資訊後,可以基於這些資訊產生維修方案。所述的維修方案可以是針對一個受損部件對應一個維修方案的定損結果,也可以為整個車輛的多個損傷部件的一個定損結果。本發明實施方案基於這些損傷部件以及損傷部件中的損傷部位、損傷類型、維修策略的資訊產生車輛的維修方案,為保險作業人員和車主用戶提供更為準確、可靠、有實際參考價值的定損資訊。本發明實施方案可以識別出一張或多張圖像中的一個或多個受損部件,和所述損傷部件中的一處或多處受損部位及受損程度等,快速的得到更全面、準確的定損資訊,然後自動產生維修方案,可以滿足保險公司或車主用戶快速、全面、準確可靠的車輛定損處理需求,提高車輛定損處理結果的準確性和可靠性,提高用戶服務體驗。 本實施例中,可以設定每個損傷類型對應一種維修方案,如嚴重變形對應於換件,輕度變形需要鈑金,輕微擦傷需要噴漆。對於用戶而言,一個損傷部件最終輸出的可以為一個維修方案,當一個損傷部件存在多處損傷時,可以以損傷最嚴重的部位的維修方式作為整個部件最終的處理方式。通常車輛上的一個部件是一個整體,多處損傷的話,以最嚴重的損傷的處理較為合理。本實施例可以選取一種維修方案能解決損傷部件上的所有損傷,比如一個損傷部件中,一個損傷部位的損傷類型為嚴重損壞,需要換件,另一個損傷部位的損傷類型為中度變形,需要鈑金,則此時可以選擇換件而可以不需要在進行鈑金處理。 需要理解的是,通常所述的定損可以包括核損和核價兩個資訊。在本發明的實施例中,輸出的維修方案如果不包括維修費用的資訊,則可以歸屬為核損部分,如果包括維修費用的資訊,則可以認為核損和核價均做了計算處理。因此,本實施例所述的維修方案均屬於車輛定損的維修方案處理結果中的一種。 具體的一個示例中,例如演算法伺服器在識別出待處理圖像中的損傷部件以及損傷部件的損傷部位和損傷類型後,可以根據上述資訊按照預設的處理規則產生所述車輛部件的維修方案。如A1廠商2016年B1型號車左前葉子板:輕度變形:需鈑金處理;A2廠商2010年B2型號車左前車門:重度刮擦並且重度變形:需更換處理;A3廠商2013年B3型號車前保險槓:輕度刮擦:需噴漆處理;左前燈:需要拆解檢查等。 本發明所述方法的另一種實施例中,為滿足用戶對車輛定損中費用價格的資訊需求,所述的維修方案中還可以包括針對車輛部件維修的預估修改價格的資訊,以使用戶得知修改費用資訊,選擇更適合的維修處理方式,滿足用戶需要,提高用戶體驗。因此,本發明所述方法的另一種實施例中,所述方法還可以包括: S601:獲取所述車輛部件的維修策略的資訊; 對應地,所述維修方案還可以包括對應於所述維修策略的預估維修價格;所述預估維修價格根據包括所述車輛部件的損傷部位、損傷類型、維修策略的資訊,並查詢對應於所述維修策略中車輛部件的產品和/或維修服務的價格資料後,計算得到的所述車輛部件的預估維修價格。 具體的實現方式上,可以設計一個計算規則,根據車輛部件所述歸屬的車型、選擇的車輛部件的維修地、修理廠(4S點還是普通綜合修理廠)等的維修策略的資訊,調用不同的價格庫,產生所述車輛部件的包括預維修處理方式和對應的預估維修價格的維修方案。所述的維修策略的資訊可以透過用戶選取確定,例如用戶可以選擇維修地點(如市級或區級劃分)、在4S店還是綜合修理廠,輸入車品牌、型號,然後演算法伺服器可以根據該車輛部件的維修策略資訊和識別出的損傷部位和損傷類型得到類似如下的維修方案: A3廠商2013年B3型號車前保險槓,輕度刮擦,需噴漆處理;預估本地4S店維修費用為:600元。 當然,其他的實施方式中,也可以根據傳統車險公司理賠經驗整理出車輛事故現場受損部件、受損類型、受損程度等資訊,結合4S店修復工時、費用等資訊建立引擎模組。當實際處理應用識別出車輛部件的受損部位和受損類型時,可以調用引擎模組,輸出車輛部件的定損結果。 上述中所述的維修策略的資訊可以被修改更換。如用戶可以選擇在4S店維修,此時對應一個維修策略,對應地會對應一個維修方案。如果用戶更換為在綜合修理廠維修,則對應另一個維修策略,對應地也會產生另一個維修方案。 本發明還提供一個具體的損傷識別模型樣本訓練過程的實施方式。具體的所述方法的另一個實施例中如圖8所示,所述可以採用下述方式確定損傷部件以及所述損傷部件的損傷部位和損傷類型: S410:獲取含有損傷部位的待處理圖像的集合; S420:利用卷積神經網路提取所述集合中待處理圖像的特徵向量,基於所述特徵向量的進行相同車輛部件的圖像叢聚處理,確定損傷部件; S430:將屬於同一損傷部件的損傷部位進行合併,獲取損傷部位的損傷叢聚特徵資料; S440:根據所述損傷叢聚特徵資料確定所述損傷部件所包含損傷部位和所述損傷部位對應的損傷類型。 具體的一個示例中,對任何一個檢測出來的損傷部件p,其對應了一到多張圖片中檢測到的一到多個損傷部位(包括損傷類型、位置和置信度)。將這些圖片叢聚,使用圖片經過卷積網路提取的特徵向量,如使用Ns中卷積網路最後一個輸入模型訓練的損傷樣本圖像的輸出向量,來計算圖片距離。將屬於同一叢聚t圖片內的損傷部位合併(按置信度選top-K,k可以取15)作為特徵Ft。選取top-C(C可以取5,按照叢聚內的加權受損部位個數排序,權值為受損部位的置信度)的叢聚的特徵(Ft1, Ft2, …)作為多分類梯度提升決策樹GBDT的特徵輸入,使用一個多分類梯度提升決策樹(GBDT)模型最終給出受損類型和程度。此GBDT模型可以透過打標資料梯度下降訓練得到。 可以理解的是,所述的損傷圖像在模型訓練時可以為採用的樣本圖像。在實際用戶使用時,可以為所述待處理圖像。上述所述的圖像叢聚主要是將含有相同部件的圖像叢聚。叢聚的目的是能找到對損傷部件大致相同部位的拍攝圖像。根據S2和S3得到的各損傷部件和損傷部位、損傷類型採用上述實施方式確認得到待處理圖像的損傷部件和其對應的損傷部位、損傷類型。 進一步地,另一種實施例中,所述將屬於同一損傷部件的損傷部位進行合併可以包括: 從圖像叢聚中屬於同一損傷部件的待處理圖像中,按照置信度降冪選取K個待處理圖像的損傷部位進行合併,K≥2。 合併後選擇TOPK個置信度的進行處理,尤其是在大量樣本圖像訓練時可提高識別處理速度。本實施例模型訓練的實施情況中,K可以取值為10到15。 另一種實施例中,所述獲取損傷部位的損傷叢聚特徵資料可以包括: 從所述合併後的圖像叢聚中,按照損傷部位的加權值降冪選取C個待處理圖像的損傷叢聚特徵資料,C≥2,所述加權值的權重因數為損傷部位的置信度。本實施例模型訓練的實施情況中,C可以取值為3到5。 其他的一些實施例中,所述根據所述損傷叢聚特徵資料確定所述損傷部件所包含損傷部位和所述損傷部位對應的損傷類型包括: 將所述損傷叢聚特徵資料作為設定的多分類梯度提升決策樹模型的輸入資料,識別出損傷部位和損傷類型。 可以理解的是,上述所述的待處理圖像的處理在模型訓練時可以為採用的樣本圖像。例如上述S410中獲取的含有損傷部位的訓練樣本圖像的集合,或者,從圖像叢聚中屬於同一損傷部件的訓練樣本圖像中,按照置信度降冪選取K個訓練樣本圖像的損傷部位進行合併等。在模型訓練的實施過程參照前述待處理圖像的描述,在此不做重複贅述。 上述所述的實施方案,可以提高定損處理結果的可靠性和準確性的同時,進一步的加快處理速度。 使用車輛三維模型在多角度和光照模型下進行真實感繪製產生圖片,同時得到各車輛部件在圖片中的位置。繪製產生的圖片加入到訓練資料中和打標資料一起訓練。一種實施例中,所述部件識別模型或損傷識別模型中的至少一項使用的訓練樣本圖像可以包括:利用電腦模擬車輛部件受損繪製產生的圖片資訊。結合實際現場拍攝的圖像一起打標訓練,可以進一步提高模型訓練效果,優化模型參數,提高識別精度。 本發明提供的一種基於圖像的車輛定損方法,可以識別出待處理圖像中所包含的損傷部件,然後基於構建的損傷識別模型檢測出損傷部件的多處受損部位和每個損傷部位對應的損傷類型,從而得到車輛部件準確、全面、可靠的車輛定損資訊。進一步的,本發明實施方案基於這些損傷部件以及損傷部件中的損傷部位、損傷類型、維修策略的資訊產生車輛的維修方案,為保險作業人員和車主用戶提供更為準確、可靠、有實際參考價值的定損資訊。本發明實施方案可以識別出一張或多張圖像中的一個或多個受損部件,和所述損傷部件中的一處或多處受損部位及受損程度等,快速的得到更全面、準確的定損資訊,然後自動產生維修方案,可以滿足保險公司或車主用戶快速、全面、準確可靠的車輛定損處理需求,提高車輛定損處理結果的準確性和可靠性,提高用戶服務體驗。 基於上述所述的基於圖像的車輛定損方法,本發明還提供一種基於圖像的車輛定損裝置。所述的裝置可以包括使用了本發明所述方法的系統(包括分散式系統)、軟體(應用)、模組、元件、伺服器、用戶端等並結合必要的實施硬體的裝置。基於同一創新構思,本發明提供的一種實施例中的裝置如下面的實施例所述。由於裝置解決問題的實現方案與方法相似,因此本發明具體的裝置的實施可以參見前述方法的實施,重複之處不再贅述。以下所使用的,術語“單元”或者“模組”可以實現預定功能的軟體和/或硬體的組合。儘管以下實施例所描述的裝置較佳地以軟體來實現,但是硬體,或者軟體和硬體的組合的實現也是可能並被構想的。具體的,圖9是本發明提供的一種基於圖像的車輛定損裝置一種實施例的模組結構示意圖,如圖9所示,所述裝置可以包括: 圖像獲取模組101,可以用於獲取待處理圖像; 部件第一識別模組102,可以檢測所述待處理圖像,識別所述待處理圖像中的車輛部件; 部件第二識別模組103,可以對所述待處理圖像中未識別出車輛部件的局部圖像,採用和已識別出包含車輛部件的部件圖像進行圖像匹配,確定所述局部圖像所屬的車輛部件; 損傷識別模組104,可以用於檢測所述待處理圖像,識別所述待處理圖像中的損傷部位和損傷類型; 損傷計算模組105,可以用於根據識別出的車輛部件、所述損傷部位和損傷類型確定所述待處理圖像中的損傷部件和與所述損傷部件對應的損傷部位、損傷類型。 本發明提供的一種基於圖像的車輛定損方法,可以識別出待處理圖像中所包含的損傷部件,然後基於構建的損傷識別模型檢測出損傷部件的受損部位和每個損傷部位對應的損傷類型,從而得到車輛部件準確、全面、可靠的車輛定損資訊。本發明實施方案可以識別出一張或多張圖像中的一個或多個受損部件,和所述損傷部件中的一處或多處受損部位及受損程度等。並且對於類似車輛部件局部細節圖像也能進行準確的部件類型確認,提高計算得到的車輛定損資訊的可靠性,使得基於圖像的車輛定損結果更加可靠,可以提高車輛定損處理結果的準確性和可靠性,提高用戶服務體驗。 圖10是本發明提供的一種基於圖像的車輛定損裝置另一種實施例的模組結構示意圖,如圖10所示,另一種實施方式中,所述裝置還可以包括: 定損處理模組106,可以用於基於包括確定出所述待處理圖像中的損傷部件和與所述損傷部件對應的損傷部位、損傷類型的資訊產生維修方案。 圖11是本發明所述部件第二識別模組103一種實施例的模組結構示意圖,如圖11所示,所述部件第二識別模組可以包括: 特徵提取模組1031,可以用於採用卷積神經網路提取所述局部圖像的第一卷積特徵資料,以及採用預定演算法提取所述局部圖像的第一局部特徵點集; 區域匹配模組1032,可以用於將所述第一卷積特徵資料匹配與所述部件圖像中的取樣區域的卷積特徵資料進行比較,獲取與所述第一卷積特徵資料相似度最高的相似區域; 仿射變換處理模組1033,可以用於取樣所述預定演算法提取所述相似區域的第二局部特徵點集,將所述第一局部特徵點集與第二局部特徵點集進行匹配,獲取匹配點對,透過最小化匹配點對在仿射變換下的位置誤差得到所述局部圖像與部件圖像之間的仿射變換; 部件確認模組1034,可以用於選取所述位置誤差最小的圖像區域對應在所述部件圖像上的部件類型作為所述局部圖像的車輛部件。 對於所述部件圖像,可以利用滑動視窗提取所述部件圖像中滑動視窗區域的第二卷積特徵資料,獲取第二卷積特徵資料集合,所述第二卷積特徵資料使用與提取第一卷積特徵資料相同的卷積神經網路獲得;從所述第二卷積特徵資料集合中選取與所述第一卷積特徵資料相似度最高的相似區域,相似度計算使用餘弦相似度。 參照前述方法所述,所述裝置還可以包括其他的實施方式。例如基於卷積層和區域建議層的網路模型,經過樣本資料訓練後構建產生的深度神經網路檢測所述待處理圖像、從圖像叢聚中屬於同一損傷樣本部件的待處理圖像中,按照置信度降冪選取K個待處理圖像的損傷部位進行合併、將所述相似區域按照預定方式擴大圖像區域範圍等。或者,還可以包括獲取所述車輛部件的維修策略資訊,並產生包括預估維修價格的維修方案等。具體的可以參照前述方法實施例的相關描述,在此不做一一列舉描述。 本發明上述所述的方法或裝置可以透過電腦程式結合必要的硬體實施,可以設定在中的設備的應用中,基於圖像的車輛定損結果快速、可靠輸出。因此,本發明還提供一種基於圖像的車輛定損裝置,可以用於伺服器側,可以包括處理器以及用於儲存處理器可執行指令的記憶體,所述處理器執行所述指令時實現: 獲取待處理圖像; 檢測所述待處理圖像,識別所述待處理圖像中的車輛部件; 對所述待處理圖像中未識別出車輛部件的局部圖像,採用和已識別出包含車輛部件的部件圖像進行圖像匹配,確定所述局部圖像所屬的車輛部件; 檢測所述待處理圖像,識別所述待處理圖像中的損傷部位和損傷類型; 根據識別出的車輛部件、所述損傷部位和損傷類型確定所述待處理圖像中的損傷部件和與所述損傷部件對應的損傷部位、損傷類型。 上述所述裝置具體的實際處理中,還可以包括其他的處理硬體,例如GPU(Graphics Processing Unit,圖形處理單元)。如前述方法所述,所述裝置的另一種實施例中,所述處理器執行所述指令時還實現: 基於包括確定出所述待處理圖像中的損傷部件和與所述損傷部件對應的損傷部位、損傷類型的資訊產生維修方案。 所述的一種基於圖像的車輛定損裝置的另一種實施例中,所述處理器執行採用和已識別出包含車輛部件的部件圖像進行圖像匹配確定所述局部圖像所屬的車輛部件的指令時實現包括: 採用卷積神經網路提取所述局部圖像的第一卷積特徵資料,以及採用預定演算法提取所述局部圖像的第一局部特徵點集; 將所述第一卷積特徵資料匹配與所述部件圖像中的取樣區域的卷積特徵資料進行比較,獲取與所述第一卷積特徵資料相似度最高的相似區域; 取樣所述預定演算法提取所述相似區域的第二局部特徵點集,將所述第一局部特徵點集與第二局部特徵點集進行匹配,獲取匹配點對,透過最小化匹配點對在仿射變換下的位置誤差得到所述局部圖像與部件圖像之間的仿射變換; 選取所述位置誤差最小的圖像區域對應在所述部件圖像上的部件類型作為所述局部圖像的車輛部件。 所述裝置的另一種實施例中,還可以進一步優化方案,提高處理精度。具體的,所述處理器執行採用和已識別出包含車輛部件的部件圖像進行圖像匹配確定所述局部圖像所屬的車輛部件的指令時實現包括下述中的至少一個步驟; 對於所述部件圖像,利用滑動視窗提取所述部件圖像中滑動視窗區域的第二卷積特徵資料,獲取第二卷積特徵資料集合,所述第二卷積特徵資料使用與提取第一卷積特徵資料相同的卷積神經網路獲得,從所述第二卷積特徵資料集合中選取與所述第一卷積特徵資料相似度最高的相似區域,相似度計算使用餘弦相似度; 將所述相似區域按照預定比例擴大圖像區域範圍,所述預定比例的取值範圍包括50%,對應地,所述第二局部特徵點集包括提取的所述擴大圖像區域範圍後的相似區域的局部特徵點集; 採用尺度不變特徵變換提取第一局部特徵資料和第二局部特徵資料。 一種基於圖像的車輛定損裝置的另一種實施中,可以採用下述識別模型檢測所述待處理圖像: 基於卷積層和區域建議層的網路模型,經過樣本資料訓練後構建產生的深度神經網路。 如前方式所述,可以採用下述方式確定所述待處理圖像中的損傷部件和與所述損傷部件對應的損傷部位、損傷類型: 獲取含有損傷部位的待處理圖像的集合; 利用卷積神經網路提取所述集合中待處理圖像的特徵向量,基於所述特徵向量的進行相同車輛部件的圖像叢聚處理,確定損傷部件; 將屬於同一損傷部件的損傷部位進行合併,獲取損傷部位的損傷叢聚特徵資料; 根據所述損傷叢聚特徵資料確定所述損傷部件所包含損傷部位和所述損傷部位對應的損傷類型。 參照前述方法所述,所述裝置還可以包括其他的實施方式。所述方法具體的實現和實施過程可以參照前述方法相關實施例的描述,在此不做一一贅述。 利用本發明實施例提供的一種基於圖像的車輛定損裝置,可以識別出待處理圖像中所包含的損傷部件,然後基於構建的損傷識別模型檢測出損傷部件的多處受損部位和每個損傷部位對應的損傷類型,從而得到車輛部件準確、全面、可靠的車輛定損資訊。進一步的,本發明實施方案基於這些損傷部件以及損傷部件中的損傷部位、損傷類型、維修策略的資訊產生車輛的維修方案,為保險作業人員和車主用戶提供更為準確、可靠、有實際參考價值的定損資訊。本發明實施方案可以識別出一張或多張圖像中的一個或多個受損部件,和所述損傷部件中的一處或多處受損部位及受損程度等,快速的得到更全面、準確的定損資訊,然後自動產生維修方案,可以滿足保險公司或車主用戶快速、全面、準確可靠的車輛定損處理需求,提高車輛定損處理結果的準確性和可靠性,提高用戶服務體驗。 本發明上述實施例所述的方法或裝置可以透過電腦程式實現業務邏輯並記錄在儲存媒體上,所述的儲存媒體可以電腦讀取並執行,實現本發明實施例所描述方案的效果。因此,本發明還提供一種電腦可讀儲存媒體,其上儲存有電腦指令,所述指令被執行時可以實現以下步驟: 獲取待處理圖像; 檢測所述待處理圖像,識別所述待處理圖像中的車輛部件; 對所述待處理圖像中未識別出車輛部件的局部圖像,採用和已識別出包含車輛部件的部件圖像進行圖像匹配,確定所述局部圖像所屬的車輛部件; 檢測所述待處理圖像,識別所述待處理圖像中的損傷部位和損傷類型; 根據識別出的車輛部件、所述損傷部位和損傷類型確定所述待處理圖像中的損傷部件和與所述損傷部件對應的損傷部位、損傷類型。 所述電腦可讀儲存媒體可以包括用於儲存資訊的物理裝置,通常是將資訊數位化後再以利用電、磁或者光學等方式的媒體加以儲存。本實施例所述的電腦可讀儲存媒體有可以包括:利用電能方式儲存資訊的裝置如,各式記憶體,如RAM、ROM等;利用磁能方式儲存資訊的裝置如,硬碟、軟碟、磁帶、磁芯記憶體、磁泡記憶體、U盤;利用光學方式儲存資訊的裝置如,CD或DVD。當然,還有其他方式的可讀儲存媒體,例如量子記憶體、石墨烯記憶體等等。 上述所述的裝置或方法可以用於影像處理的電子設備中,實現基於圖像的車輛定損快速處理。所述的電子設備器可以是單獨的伺服器,也可以是多台應用伺服器組成的系統集群,也可以是分散式系統中的伺服器。圖12是本發明提供的一種電子設備一種實施例的結構示意圖。一種實施例中,所述電子設備可以包括處理器以及用於儲存處理器可執行指令的記憶體,所述處理器執行所述指令時實現: 獲取待處理圖像; 檢測所述待處理圖像,識別所述待處理圖像中的車輛部件; 對所述待處理圖像中未識別出車輛部件的局部圖像,採用和已識別出包含車輛部件的部件圖像進行圖像匹配,確定所述局部圖像所屬的車輛部件; 檢測所述待處理圖像,識別所述待處理圖像中的損傷部位和損傷類型; 根據識別出的車輛部件、所述損傷部位和損傷類型確定所述待處理圖像中的損傷部件和與所述損傷部件對應的損傷部位、損傷類型。 圖13是利用本發明實施方案進行車輛定損的一個處理情況示意圖。圖13中的用戶端為用戶的移動終端,其他的實施情況中也可以為PC或其他終端設備。本發明提供的一種基於圖像的車輛定損方法、裝置及電子設備,使用深度學習技術檢測受損部位和損傷類型,利用圖像匹配方法精確定位損傷部位,可以使用多圖像檢測結果提高定損的準確性。圖像檢測技術和車輛部件價格庫以及維修規則相結合自動產生維修方案和估價。本發明的一些實施方案可以基於更為具體的車損資訊、車輛部件價格庫以及維修處理方式等自動產生維修方案和預估的維修費用,可以滿足保險公司或車主用戶快速、全面、準確可靠的車輛定損處理需求,提高車輛定損處理結果的準確性和可靠性,提高用戶服務體驗。 上述所述的方法、裝置等可以用於多種基於圖像的車輛自動定損業務系統中,實現用戶上傳拍攝的定損圖像即可快速獲取準確、可靠的車輛定損資訊,滿足用戶需求,提高用戶業務使用體驗。因此,本發明還提供一種基於圖像的車輛定損系統,具體的可以包括I/O介面、記憶體、中央處理器、影像處理器,其中, 所述I/O介面,用於獲取待處理圖像和輸出維修方案; 所述中央處理器耦合於影像處理器,用於檢測所述待處理圖像,識別所述待處理圖像中的車輛部件;對所述待處理圖像中未識別出車輛部件的局部圖像,採用和已識別出包含車輛部件的部件圖像進行圖像匹配,確定所述局部圖像所屬的車輛部件;檢測所述待處理圖像,識別所述待處理圖像中的損傷部位和損傷類型;根據識別出的車輛部件、所述損傷部位和損傷類型確定所述待處理圖像中的損傷部件和與所述損傷部件對應的損傷部位、損傷類型; 所述中央處理器還用於基於包括確定出所述待處理圖像中的損傷部件和與所述損傷部件對應的損傷部位、損傷類型的資訊產生維修方案。 需要說明的是,雖然上述實施例提供的一些裝置、電子設備、電腦可讀儲存媒體、系統的實施例的描述,但基於前述相關方法或裝置實施例的描述,所述的裝置、電子設備、電腦可讀儲存媒體、系統還可以包括其他的實施方式,具體的可以參照相關方法或裝置實施例的描述,在此不再一一舉例贅述。 儘管本發明內容中提到圖像品質處理、卷積神經網路和區域建議網路以及其組合產生的深度神經網路、預估維修價格的計算方式、利用GBDT模型得到損傷部位和類型處理方式等等之類的資料模型構建、SIFT提取局部特徵資料、仿射變換處理過程等的資料獲取、交互、計算、判斷等描述,但是,本發明並不局限於必須是符合行業通訊標準、標準資料模型/演算法、電腦處理和儲存規則或本發明實施例所描述的情況。某些行業標準或者使用自訂方式或實施例描述的實施基礎上略加修改後的實施方案也可以實現上述實施例相同、等同或相近、或變形後可預料的實施效果。應用這些修改或變形後的資料獲取、儲存、判斷、處理方式等獲取的實施例,仍然可以屬於本發明的可選實施方案範圍之內。 在20世紀90年代,對於一個技術的改進可以很明顯地區分是硬體上的改進(例如,對二極體、電晶體、開關等電路結構的改進)還是軟體上的改進(對於方法流程的改進)。然而,隨著技術的發展,當今的很多方法流程的改進已經可以視為硬體電路結構的直接改進。設計人員幾乎都透過將改進的方法流程程式設計到硬體電路中來得到對應的硬體電路結構。因此,不能說一個方法流程的改進就不能用硬體實體模組來實現。例如,可程式設計邏輯元件(Programmable Logic Device,PLD)(例如現場可程式設計閘陣列(Field Programmable Gate Array,FPGA))就是這樣一種積體電路,其邏輯功能由用戶對元件程式設計來確定。由設計人員自行程式設計來把一個數位系統“整合”在一片PLD上,而不需要請晶片製造廠商來設計和製作專用的積體電路晶片。而且,如今,取代手工地製作積體電路晶片,這種程式設計也多半改用“邏輯編譯器(logic compiler)”軟體來實現,它與程式開發撰寫時所用的軟體編譯器相類似,而要編譯之前的原始代碼也得用特定的程式設計語言來撰寫,此稱之為硬體描述語言(Hardware Description Language,HDL),而HDL也並非僅有一種,而是有許多種,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware Description Language)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL (Ruby Hardware Description Language)等,目前最普遍使用的是VHDL(Very-High-Speed Integrated Circuit Hardware Description Language)與Verilog。本領域技術人員也應該清楚,只需要將方法流程用上述幾種硬體描述語言稍作邏輯程式設計並程式設計到積體電路中,就可以很容易得到實現該邏輯方法流程的硬體電路。 控制器可以按任何適當的方式實現,例如,控制器可以採取例如微處理器或處理器以及儲存可由該(微)處理器執行的電腦可讀程式碼(例如軟體或固件)的電腦可讀媒體、邏輯閘、開關、專用積體電路(Application Specific Integrated Circuit,ASIC)、可程式設計邏輯控制器和嵌入微控制器的形式,控制器的例子包括但不限於以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,記憶體控制器還可以被實現為記憶體的控制邏輯的一部分。本領域技術人員也知道,除了以純電腦可讀程式碼方式實現控制器以外,完全可以透過將方法步驟進行邏輯程式設計來使得控制器以邏輯閘、開關、專用積體電路、可程式設計邏輯控制器和嵌入微控制器等的形式來實現相同功能。因此這種控制器可以被認為是一種硬體部件,而對其內包括的用於實現各種功能的裝置也可以視為硬體部件內的結構。或者甚至,可以將用於實現各種功能的裝置視為既可以是實現方法的軟體模組又可以是硬體部件內的結構。 上述實施例闡明的系統、裝置、模組或單元,具體可以由電腦晶片或實體實現,或者由具有某種功能的產品來實現。一種典型的實現設備為電腦。具體的,電腦例如可以為個人電腦、膝上型電腦、車載人機交互設備、蜂窩電話、相機電話、智慧型電話、個人數位助理、媒體播放機、導航設備、電子郵件設備、遊戲控制台、平板電腦、可穿戴設備或者這些設備中的任何設備的組合。 雖然本發明提供了如實施例或流程圖所述的方法操作步驟,但基於常規或者無創造性的手段可以包括更多或者更少的操作步驟。實施例中列舉的步驟順序僅僅為眾多步驟執行順序中的一種方式,不代表唯一的執行順序。在實際中的裝置或終端產品執行時,可以按照實施例或者附圖所示的方法循序執行或者並存執行(例如並行處理器或者多執行緒處理的環境,甚至為分散式資料處理環境)。術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、產品或者設備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、產品或者設備所固有的要素。在沒有更多限制的情況下,並不排除在包括所述要素的過程、方法、產品或者設備中還存在另外的相同或等同要素。 為了描述的方便,描述以上裝置時以功能分為各種模組分別描述。當然,在實施本發明時可以把各模組的功能在同一個或多個軟體和/或硬體中實現,也可以將實現同一功能的模組由多個子模組或子單元的組合實現等。以上所描述的裝置實施例僅僅是示意性的,例如,所述單元的劃分,僅僅為一種邏輯功能劃分,實際實現時可以有另外的劃分方式,例如多個單元或元件可以結合或者可以整合到另一個系統,或一些特徵可以忽略,或不執行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通訊連接可以是透過一些介面,裝置或單元的間接耦合或通訊連接,可以是電性、機械或其它的形式。 本領域技術人員也知道,除了以純電腦可讀程式碼方式實現控制器以外,完全可以透過將方法步驟進行邏輯程式設計來使得控制器以邏輯閘、開關、專用積體電路、可程式設計邏輯控制器和嵌入微控制器等的形式來實現相同功能。因此這種控制器可以被認為是一種硬體部件,而對其內部包括的用於實現各種功能的裝置也可以視為硬體部件內的結構。或者甚至,可以將用於實現各種功能的裝置視為既可以是實現方法的軟體模組又可以是硬體部件內的結構。 本發明是參照根據本發明實施例的方法、設備(系統)、和電腦程式產品的流程圖和/或方塊圖來描述的。應理解可由電腦程式指令實現流程圖和/或方塊圖中的每一流程和/或方塊、以及流程圖和/或方塊圖中的流程和/或方塊的結合。可提供這些電腦程式指令到通用電腦、專用電腦、嵌入式處理機或其他可程式設計資料處理設備的處理器以產生一個機器,使得透過電腦或其他可程式設計資料處理設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能的裝置。 這些電腦程式指令也可儲存在能引導電腦或其他可程式設計資料處理設備以特定方式工作的電腦可讀記憶體中,使得儲存在該電腦可讀記憶體中的指令產生包括指令裝置的製造品,該指令裝置實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能。 這些電腦程式指令也可裝載到電腦或其他可程式設計資料處理設備上,使得在電腦或其他可程式設計設備上執行一系列操作步驟以產生電腦實現的處理,從而在電腦或其他可程式設計設備上執行的指令提供用於實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能的步驟。 在一個典型的配置中,計算設備包括一個或多個處理器(CPU)、輸入/輸出介面、網路介面和記憶體。 記憶體可能包括電腦可讀媒體中的非永久性記憶體,隨機存取記憶體(RAM)和/或非易失性記憶體等形式,如唯讀記憶體(ROM)或快閃記憶體(flash RAM)。記憶體是電腦可讀媒體的示例。 電腦可讀媒體包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術來實現資訊儲存。資訊可以是電腦可讀指令、資料結構、程式的模組或其他資料。電腦的儲存媒體的例子包括,但不限於相變記憶體(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可擦除可程式設計唯讀記憶體(EEPROM)、快閃記憶體或其他記憶體技術、唯讀光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)或其他光學儲存、磁盒式磁帶,磁帶磁磁片儲存或其他磁性存放裝置或任何其他非傳輸媒體,可用於儲存可以被計算設備訪問的資訊。按照本文中的界定,電腦可讀媒體不包括暫態性電腦可讀媒體(transitory media),如調變的資料信號和載波。 本領域技術人員應明白,本發明的實施例可提供為方法、系統或電腦程式產品。因此,本發明可採用完全硬體實施例、完全軟體實施例或結合軟體和硬體方面的實施例的形式。而且,本發明可採用在一個或多個其中包含有電腦可用程式碼的電腦可用儲存媒體(包括但不限於磁碟記憶體、CD-ROM、光學記憶體等)上實施的電腦程式產品的形式。 本發明可以在由電腦執行的電腦可執行指令的一般上下文中描述,例如程式模組。一般地,程式模組包括執行特定任務或實現特定抽象資料類型的常式、程式、物件、元件、資料結構等等。也可以在分散式運算環境中實踐本發明,在這些分散式運算環境中,由透過通訊網路而被連接的遠端處理設備來執行任務。在分散式運算環境中,程式模組可以位於包括存放裝置在內的本地和遠端電腦儲存媒體中。 本說明書中的各個實施例均採用遞進的方式描述,各個實施例之間相同相似的部分互相參見即可,每個實施例重點說明的都是與其他實施例的不同之處。尤其,對於系統實施例而言,由於其基本相似於方法實施例,所以描述的比較簡單,相關之處參見方法實施例的部分說明即可。在本說明書的描述中,參考術語“一個實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結合該實施例或示例描述的具體特徵、結構、材料或者特點包含於本發明的至少一個實施例或示例中。在本說明書中,對上述術語的示意性表述不必須針對的是相同的實施例或示例。而且,描述的具體特徵、結構、材料或者特點可以在任一個或多個實施例或示例中以合適的方式結合。此外,在不相互矛盾的情況下,本領域的技術人員可以將本說明書中描述的不同實施例或示例以及不同實施例或示例的特徵進行結合和組合。 以上所述僅為本發明的實施例而已,並不用於限制本發明。對於本領域技術人員來說,本發明可以有各種更改和變化。凡在本發明的精神和原理之內所作的任何修改、等同替換、改進等,均應包含在本發明的申請專利範圍之內。
S1、S2、S3、S4、S5、S6‧‧‧方法步驟
S30、S31、S32、S33‧‧‧方法步驟
S410、S420、S430、S440‧‧‧方法步驟
101‧‧‧圖像獲取模組
102‧‧‧部件第一識別模組
103‧‧‧部件第二識別模組
104‧‧‧損傷識別模組
105‧‧‧損傷計算模組
106‧‧‧定損處理模組
1031‧‧‧特徵提取模組
1032‧‧‧區域匹配模組
1033‧‧‧仿射變換處理模組
1034‧‧‧部件確認模組
為了更清楚地說明本發明實施例或現有技術中的技術方案,下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發明中記載的一些實施例,對於本領域普通技術人員來講,在不付出創造性勞動性的前提下,還可以根據這些附圖獲得其他的附圖。 圖1是本發明所述一種基於圖像的車輛定損方法一種實施例的方法流程示意圖; 圖2是本發明提供的識別局部圖像所述車輛部件的一個實施過程示意圖; 圖3是本發明提供一個識別部件圖像的一個處理過程示意圖; 圖4是本發明一個具體的利用部件圖像進行匹配確定局部圖像所屬部件的情況示意圖; 圖5是本發明一種實施例中損傷識別模型的網路構架結構示意圖; 圖6是本發明一種實施例中部件識別模型的網路構架示意圖; 圖7是本發明所述一種基於圖像的車輛定損方法另一種實施例的方法流程示意圖; 圖8是本發明一種確定損傷部件以及所述損傷部件的損傷部位和損傷類型的方法示意圖; 圖9是本發明提供的一種基於圖像的車輛定損裝置一種實施例的模組結構示意圖; 圖10是本發明提供的一種基於圖像的車輛定損裝置另一種實施例的模組結構示意圖; 圖11是本發明所述部件第二識別模組一種實施例的模組結構示意圖; 圖12是本發明提供的一種電子設備一種實施例的結構示意圖; 圖13是利用本發明實施方案進行車輛定損的一個處理情況示意圖。
Claims (25)
- 一種基於圖像的車輛定損方法,其特徵在於,該方法包括: 獲取待處理圖像; 檢測該待處理圖像,識別該待處理圖像中的車輛部件; 對該待處理圖像中未識別出車輛部件的局部圖像,採用和已識別出包含車輛部件的部件圖像進行圖像匹配,確定該局部圖像所屬的車輛部件; 檢測該待處理圖像,識別該待處理圖像中的損傷部位和損傷類型;以及 根據識別出的車輛部件、該損傷部位和損傷類型確定該待處理圖像中的損傷部件和與該損傷部件對應的損傷部位、損傷類型。
- 如申請專利範圍第1項所述的基於圖像的車輛定損方法,其中,該方法還包括: 基於包括確定出該待處理圖像中的損傷部件和與該損傷部件對應的損傷部位、損傷類型的資訊產生維修方案。
- 如申請專利範圍第1項所述的基於圖像的車輛定損方法,其中,該採用和已識別出包含車輛部件的部件圖像進行圖像匹配確定該局部圖像所屬的車輛部件包括: 採用卷積神經網路提取該局部圖像的第一卷積特徵資料,以及採用預定演算法提取該局部圖像的第一局部特徵點集; 將該第一卷積特徵資料匹配與該部件圖像中的取樣區域的卷積特徵資料進行比較,獲取與該第一卷積特徵資料相似度最高的相似區域; 取樣該預定演算法提取該相似區域的第二局部特徵點集,將該第一局部特徵點集與第二局部特徵點集進行匹配,獲取匹配點對,透過最小化匹配點對在仿射變換下的位置誤差得到該局部圖像與部件圖像之間的仿射變換;以及 選取該位置誤差最小的圖像區域對應在該部件圖像上的部件類型作為該局部圖像的車輛部件。
- 如申請專利範圍第3項所述的基於圖像的車輛定損方法,其中,該將該第一卷積特徵資料匹配與該部件圖像中的取樣區域的卷積特徵資料進行比較獲取與該第一卷積特徵資料相似度最高的相似區域包括; 對於該部件圖像,利用滑動視窗提取該部件圖像中滑動視窗區域的第二卷積特徵資料,獲取第二卷積特徵資料集合,該第二卷積特徵資料使用與提取第一卷積特徵資料相同的卷積神經網路獲得;以及 從該第二卷積特徵資料集合中選取與該第一卷積特徵資料相似度最高的相似區域,相似度計算使用餘弦相似度。
- 如申請專利範圍第3項所述的基於圖像的車輛定損方法,其中,該方法還包括: 將該相似區域按照預定方式擴大圖像區域範圍;以及 對應地,該第二局部特徵點集包括提取的該擴大圖像區域範圍後的相似區域的局部特徵點集。
- 如申請專利範圍第5項所述的基於圖像的車輛定損方法,其中,該將該相似區域按照預定方式擴大圖像區域範圍包括: 該相似區域的左、右、上、下的邊向外擴展預定比例,該預定比例的取值範圍包括為50%。
- 如申請專利範圍第3項所述的基於圖像的車輛定損方法,其中,該預定演算法包括: 尺度不變特徵變換。
- 如申請專利範圍第1項所述的基於圖像的車輛定損方法,其中,獲取待處理圖像之後,還進行下述中的至少一項影像處理: 若該待處理圖像包括多種類別的圖像資訊,則透過圖像分類演算法對該待處理圖像進行分類,篩選出符合車輛定損處理資訊相關聯的圖像作為車輛定損處理的圖像; 判斷該待處理圖像的圖像品質,刪除圖像品質不符合要求的待處理圖像;以及 對相似度達到預定閾值的待處理圖像進行去重處理。
- 如申請專利範圍第2項所述的基於圖像的車輛定損方法,其中,該方法還包括: 獲取該損傷部件的維修策略的資訊;以及 對應地,該維修方案還包括對應於該維修策略的預估維修價格,該預估維修價格根據包括該損傷部件、損傷部位、損傷類型、維修策略的資訊,並查詢對應於該維修策略中損傷部件的產品和/或維修服務的價格資料後,計算得到的該損傷部件的預估維修價格。
- 如申請專利範圍第1項所述的基於圖像的車輛定損方法,其中,採用下述識別模型檢測該待處理圖像: 基於卷積層和區域建議層的網路模型,經過樣本資料訓練後構建產生的深度神經網路。
- 如申請專利範圍第10項所述的基於圖像的車輛定損方法,其中,採用下述方式確定該待處理圖像中的損傷部件和與該損傷部件對應的損傷部位、損傷類型: 獲取含有損傷部位的待處理圖像的集合; 利用卷積神經網路提取該集合中待處理圖像的特徵向量,基於該特徵向量的進行相同車輛部件的圖像叢聚處理,確定損傷部件; 將屬於同一損傷部件的損傷部位進行合併,獲取損傷部位的損傷叢聚特徵資料;以及 根據該損傷叢聚特徵資料確定該損傷部件所包含損傷部位和該損傷部位對應的損傷類型。
- 如申請專利範圍第11項所述的基於圖像的車輛定損方法,其中,該將屬於同一損傷部件的損傷部位進行合併獲取損傷部位的損傷叢聚特徵資料包括: 從圖像叢聚中屬於同一損傷樣本部件的待處理圖像中,按照置信度降冪選取K個待處理圖像的損傷部位進行合併,K≥2;以及 從該合併後的圖像叢聚中,按照損傷部位的加權值降冪選取C個待處理圖像的損傷叢聚特徵資料,C≥2,該加權值的權重因數為損傷部位的置信度。
- 如申請專利範圍第12項所述的基於圖像的車輛定損方法,其中,該根據該損傷叢聚特徵資料識別出損傷樣本圖像中的損傷部位和損傷類型,包括: 將該損傷叢聚特徵資料作為設定的多分類梯度提升決策樹模型的輸入資料,識別出損傷部位和損傷類型。
- 一種基於圖像的車輛定損裝置,其特徵在於,該裝置包括: 圖像獲取模組,用於獲取待處理圖像; 部件第一識別模組,檢測該待處理圖像,識別該待處理圖像中的車輛部件; 部件第二識別模組,對該待處理圖像中未識別出車輛部件的局部圖像,採用和已識別出包含車輛部件的部件圖像進行圖像匹配,確定該局部圖像所屬的車輛部件; 損傷識別模組,用於檢測該待處理圖像,識別該待處理圖像中的損傷部位和損傷類型;以及 損傷計算模組,用於根據識別出的車輛部件、該損傷部位和損傷類型確定該待處理圖像中的損傷部件和與該損傷部件對應的損傷部位、損傷類型。
- 如申請專利範圍第14項所述的基於圖像的車輛定損裝置,其中,該裝置還包括: 定損處理模組,用於基於包括確定出該待處理圖像中的損傷部件和與該損傷部件對應的損傷部位、損傷類型的資訊產生維修方案。
- 如申請專利範圍第14或15項所述的基於圖像的車輛定損裝置,其中,該部件第二識別模組包括: 特徵提取模組,用於採用卷積神經網路提取該局部圖像的第一卷積特徵資料,以及採用預定演算法提取該局部圖像的第一局部特徵點集; 區域匹配模組,用於將該第一卷積特徵資料匹配與該部件圖像中的取樣區域的卷積特徵資料進行比較,獲取與該第一卷積特徵資料相似度最高的相似區域; 仿射變換處理模組,用於取樣該預定演算法提取該相似區域的第二局部特徵點集,將該第一局部特徵點集與第二局部特徵點集進行匹配,獲取匹配點對,透過最小化匹配點對在仿射變換下的位置誤差得到該局部圖像與部件圖像之間的仿射變換;以及 部件確認模組,用於選取該位置誤差最小的圖像區域對應在該部件圖像上的部件類型作為該局部圖像的車輛部件。
- 一種基於圖像的車輛定損裝置,其特徵在於,包括處理器以及用於儲存處理器可執行指令的記憶體,該處理器執行該指令時實現: 獲取待處理圖像; 檢測該待處理圖像,識別該待處理圖像中的車輛部件; 對該待處理圖像中未識別出車輛部件的局部圖像,採用和已識別出包含車輛部件的部件圖像進行圖像匹配,確定該局部圖像所屬的車輛部件; 檢測該待處理圖像,識別該待處理圖像中的損傷部位和損傷類型;以及 根據識別出的車輛部件、該損傷部位和損傷類型確定該待處理圖像中的損傷部件和與該損傷部件對應的損傷部位、損傷類型。
- 如申請專利範圍第17項所述的基於圖像的車輛定損裝置,其中,該處理器執行該指令時還實現: 基於包括確定出該待處理圖像中的損傷部件和與該損傷部件對應的損傷部位、損傷類型的資訊產生維修方案。
- 如申請專利範圍第17項所述的基於圖像的車輛定損裝置,其中,該處理器執行採用和已識別出包含車輛部件的部件圖像進行圖像匹配確定該局部圖像所屬的車輛部件的指令時實現包括: 採用卷積神經網路提取該局部圖像的第一卷積特徵資料,以及採用預定演算法提取該局部圖像的第一局部特徵點集; 將該第一卷積特徵資料匹配與該部件圖像中的取樣區域的卷積特徵資料進行比較,獲取與該第一卷積特徵資料相似度最高的相似區域; 取樣該預定演算法提取該相似區域的第二局部特徵點集,將該第一局部特徵點集與第二局部特徵點集進行匹配,獲取匹配點對,透過最小化匹配點對在仿射變換下的位置誤差得到該局部圖像與部件圖像之間的仿射變換;以及 選取該位置誤差最小的圖像區域對應在該部件圖像上的部件類型作為該局部圖像的車輛部件。
- 如申請專利範圍第19項所述的基於圖像的車輛定損裝置,其中,該處理器執行採用和已識別出包含車輛部件的部件圖像進行圖像匹配確定該局部圖像所屬的車輛部件的指令時實現包括下述中的至少一個步驟; 對於該部件圖像,利用滑動視窗提取該部件圖像中滑動視窗區域的第二卷積特徵資料,獲取第二卷積特徵資料集合,該第二卷積特徵資料使用與提取第一卷積特徵資料相同的卷積神經網路獲得,從該第二卷積特徵資料集合中選取與該第一卷積特徵資料相似度最高的相似區域,相似度計算使用餘弦相似度; 將該相似區域按照預定比例擴大圖像區域範圍,該預定比例的取值範圍包括:50%,對應地,該第二局部特徵點集包括提取的該擴大圖像區域範圍後的相似區域的局部特徵點集;以及 採用尺度不變特徵變換提取第一局部特徵資料和第二局部特徵資料。
- 如申請專利範圍第17項所述的基於圖像的車輛定損裝置,其中,採用下述識別模型檢測該待處理圖像: 基於卷積層和區域建議層的網路模型,經過樣本資料訓練後構建產生的深度神經網路。
- 如申請專利範圍第21項所述的基於圖像的車輛定損裝置,其中,採用下述方式確定該待處理圖像中的損傷部件和與該損傷部件對應的損傷部位、損傷類型: 獲取含有損傷部位的待處理圖像的集合; 利用卷積神經網路提取該集合中待處理圖像的特徵向量,基於該特徵向量的進行相同車輛部件的圖像叢聚處理,確定損傷部件; 將屬於同一損傷部件的損傷部位進行合併,獲取損傷部位的損傷叢聚特徵資料;以及 根據該損傷叢聚特徵資料確定該損傷部件所包含損傷部位和該損傷部位對應的損傷類型。
- 一種電腦可讀儲存媒體,其上儲存有電腦指令,其特徵在於,該指令被執行時實現以下步驟: 獲取待處理圖像; 檢測該待處理圖像,識別該待處理圖像中的車輛部件; 對該待處理圖像中未識別出車輛部件的局部圖像,採用和已識別出包含車輛部件的部件圖像進行圖像匹配,確定該局部圖像所屬的車輛部件; 檢測該待處理圖像,識別該待處理圖像中的損傷部位和損傷類型;以及 根據識別出的車輛部件、該損傷部位和損傷類型確定該待處理圖像中的損傷部件和與該損傷部件對應的損傷部位、損傷類型。
- 一種電子設備,其特徵在於,包括處理器以及用於儲存處理器可執行指令的記憶體,該處理器執行該指令時實現: 獲取待處理圖像; 檢測該待處理圖像,識別該待處理圖像中的車輛部件; 對該待處理圖像中未識別出車輛部件的局部圖像,採用和已識別出包含車輛部件的部件圖像進行圖像匹配,確定該局部圖像所屬的車輛部件; 檢測該待處理圖像,識別該待處理圖像中的損傷部位和損傷類型;以及 根據識別出的車輛部件、該損傷部位和損傷類型確定該待處理圖像中的損傷部件和與該損傷部件對應的損傷部位、損傷類型。
- 一種基於圖像的車輛定損系統,其特徵在於,包括I/O介面、記憶體、中央處理器、影像處理器, 該I/O介面,用於獲取待處理圖像和輸出維修方案; 該中央處理器耦合於影像處理器,用於檢測該待處理圖像,識別該待處理圖像中的車輛部件;對該待處理圖像中未識別出車輛部件的局部圖像,採用和已識別出包含車輛部件的部件圖像進行圖像匹配,確定該局部圖像所屬的車輛部件;檢測該待處理圖像,識別該待處理圖像中的損傷部位和損傷類型;根據識別出的車輛部件、該損傷部位和損傷類型確定該待處理圖像中的損傷部件和與該損傷部件對應的損傷部位、損傷類型;以及 該中央處理器還用於基於包括確定出該待處理圖像中的損傷部件和與該損傷部件對應的損傷部位、損傷類型的資訊產生維修方案。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710232956.8 | 2017-04-11 | ||
CN201710232956.8A CN107358596B (zh) | 2017-04-11 | 2017-04-11 | 一种基于图像的车辆定损方法、装置、电子设备及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201837786A true TW201837786A (zh) | 2018-10-16 |
TWI684922B TWI684922B (zh) | 2020-02-11 |
Family
ID=60271548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107107229A TWI684922B (zh) | 2017-04-11 | 2018-03-05 | 基於圖像的車輛定損方法、裝置、電子設備及系統 |
Country Status (10)
Country | Link |
---|---|
US (2) | US20180293552A1 (zh) |
EP (1) | EP3520045B8 (zh) |
JP (2) | JP6874150B2 (zh) |
KR (1) | KR102151365B1 (zh) |
CN (1) | CN107358596B (zh) |
MY (1) | MY193739A (zh) |
PH (1) | PH12019500971A1 (zh) |
SG (1) | SG11201903904VA (zh) |
TW (1) | TWI684922B (zh) |
WO (2) | WO2018191435A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI700646B (zh) * | 2018-11-27 | 2020-08-01 | 中華電信股份有限公司 | 一種資訊整合之干擾查測系統與方法 |
TWI703511B (zh) * | 2019-07-09 | 2020-09-01 | 洽吧智能股份有限公司 | 螢幕裂損檢測系統 |
TWI723823B (zh) * | 2020-03-30 | 2021-04-01 | 聚晶半導體股份有限公司 | 基於神經網路的物件偵測裝置和物件偵測方法 |
Families Citing this family (153)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10740891B1 (en) | 2016-05-20 | 2020-08-11 | Ccc Information Services Inc. | Technology for analyzing images depicting vehicles according to base image models |
CN106651881B (zh) * | 2016-12-28 | 2023-04-28 | 同方威视技术股份有限公司 | 车辆检查系统、车辆部位识别方法及系统 |
US10399106B2 (en) * | 2017-01-19 | 2019-09-03 | Ford Global Technologies, Llc | Camera and washer spray diagnostic |
CN112435215B (zh) | 2017-04-11 | 2024-02-13 | 创新先进技术有限公司 | 一种基于图像的车辆定损方法、移动终端、服务器 |
CN107392218B (zh) | 2017-04-11 | 2020-08-04 | 创新先进技术有限公司 | 一种基于图像的车辆定损方法、装置及电子设备 |
CN111914692B (zh) * | 2017-04-28 | 2023-07-14 | 创新先进技术有限公司 | 车辆定损图像获取方法及装置 |
CN108090838B (zh) * | 2017-11-21 | 2020-09-29 | 阿里巴巴集团控股有限公司 | 识别车辆受损部件的方法、装置、服务器、客户端及系统 |
CN108171255A (zh) * | 2017-11-22 | 2018-06-15 | 广东数相智能科技有限公司 | 基于图像识别的图片联想强度评分方法及装置 |
US10460431B2 (en) * | 2018-01-15 | 2019-10-29 | Otis Elevator Company | Part recognition and damage characterization using deep learning |
CN108334906B (zh) * | 2018-02-08 | 2021-02-23 | 北京鑫车科技有限公司 | 一种金融典当服务的抵押物自动识别评估方法和装置 |
CN108399382A (zh) * | 2018-02-13 | 2018-08-14 | 阿里巴巴集团控股有限公司 | 车险图像处理方法和装置 |
CN108446618A (zh) * | 2018-03-09 | 2018-08-24 | 平安科技(深圳)有限公司 | 车辆定损方法、装置、电子设备及存储介质 |
CN108550080A (zh) * | 2018-03-16 | 2018-09-18 | 阿里巴巴集团控股有限公司 | 物品定损方法及装置 |
CN108921811B (zh) * | 2018-04-03 | 2020-06-30 | 阿里巴巴集团控股有限公司 | 检测物品损伤的方法和装置、物品损伤检测器 |
CN108764046A (zh) * | 2018-04-26 | 2018-11-06 | 平安科技(深圳)有限公司 | 车辆损伤分类模型的生成装置、方法及计算机可读存储介质 |
CN108628287A (zh) * | 2018-04-27 | 2018-10-09 | 重庆车云金服科技股份有限公司 | 汽车维修方案智能评估方法及系统 |
CN108632530B (zh) * | 2018-05-08 | 2021-02-23 | 创新先进技术有限公司 | 一种车辆定损的数据处理方法、装置、设备及客户端、电子设备 |
CN108921068B (zh) * | 2018-06-22 | 2020-10-20 | 深源恒际科技有限公司 | 一种基于深度神经网络的汽车外观自动定损方法及系统 |
EP3588451A1 (en) * | 2018-06-26 | 2020-01-01 | Ningbo Geely Automobile Research & Development Co. Ltd. | Repair instruction device and method |
US20200034934A1 (en) * | 2018-07-24 | 2020-01-30 | Mitchell International, Inc. | Methods for assessing conditioning of a total loss vehicle and devices thereof |
CN110569693B (zh) * | 2018-08-16 | 2023-05-12 | 创新先进技术有限公司 | 车体颜色识别方法及装置 |
CN109242006A (zh) * | 2018-08-23 | 2019-01-18 | 阿里巴巴集团控股有限公司 | 基于车型分类的识别车辆损伤的方法及装置 |
CN110569856B (zh) * | 2018-08-24 | 2020-07-21 | 阿里巴巴集团控股有限公司 | 样本标注方法及装置、损伤类别的识别方法及装置 |
CN109242762A (zh) * | 2018-08-27 | 2019-01-18 | 北京铂石空间科技有限公司 | 图像识别方法、装置、存储介质及电子设备 |
CN110569697A (zh) * | 2018-08-31 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 车辆的部件检测方法、装置及设备 |
CN110569696A (zh) * | 2018-08-31 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 用于车辆部件识别的神经网络系统、方法和装置 |
CN110569695B (zh) * | 2018-08-31 | 2021-07-09 | 创新先进技术有限公司 | 基于定损图像判定模型的图像处理方法和装置 |
CN110569694A (zh) * | 2018-08-31 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 车辆的部件检测方法、装置及设备 |
CN110570388A (zh) * | 2018-08-31 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 车辆的部件检测方法、装置及设备 |
CN113567149A (zh) * | 2018-09-03 | 2021-10-29 | 创新先进技术有限公司 | 用户拍摄意图的识别方法、装置及设备 |
CN110569864A (zh) * | 2018-09-04 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 基于gan网络的车损图像生成方法和装置 |
EP3620984B1 (en) * | 2018-09-06 | 2024-04-10 | Accenture Global Solutions Limited | Digital quality control using computer visioning with deep learning |
US11928581B2 (en) * | 2018-09-14 | 2024-03-12 | Arm Limited | System and method for compressing kernels |
CN110570389B (zh) * | 2018-09-18 | 2020-07-17 | 阿里巴巴集团控股有限公司 | 车辆损伤识别方法及装置 |
CN109443301B (zh) * | 2018-09-25 | 2021-09-10 | 平安科技(深圳)有限公司 | 一种车辆定损方法、计算机可读存储介质及服务器 |
CN110569700B (zh) * | 2018-09-26 | 2020-11-03 | 创新先进技术有限公司 | 优化损伤识别结果的方法及装置 |
CN109359676A (zh) * | 2018-10-08 | 2019-02-19 | 百度在线网络技术(北京)有限公司 | 用于生成车辆损伤信息的方法和装置 |
CN109410218B (zh) * | 2018-10-08 | 2020-08-11 | 百度在线网络技术(北京)有限公司 | 用于生成车辆损伤信息的方法和装置 |
CN109544623B (zh) * | 2018-10-11 | 2021-07-27 | 百度在线网络技术(北京)有限公司 | 车辆损伤区域的测量方法和装置 |
CN109215027A (zh) * | 2018-10-11 | 2019-01-15 | 平安科技(深圳)有限公司 | 一种基于神经网络的车辆定损方法、服务器及介质 |
CN109214399B (zh) * | 2018-10-12 | 2021-01-01 | 清华大学深圳研究生院 | 一种嵌入SENet结构的改进YOLOV3目标识别方法 |
CN113228055B (zh) | 2018-10-19 | 2024-04-12 | 克莱米特有限责任公司 | 配置和利用卷积神经网络以识别植物病害的方法和介质 |
CN109508715B (zh) * | 2018-10-30 | 2022-11-08 | 南昌大学 | 一种基于深度学习的车牌定位和识别方法 |
CN109635651A (zh) * | 2018-11-07 | 2019-04-16 | 中国平安财产保险股份有限公司 | 一种基于图像识别的车辆定损方法、存储介质及服务器 |
WO2020102584A2 (en) * | 2018-11-14 | 2020-05-22 | Intuitive Surgical Operations, Inc. | Convolutional neural networks for efficient tissue segmentation |
CN109635142B (zh) * | 2018-11-15 | 2022-05-03 | 北京市商汤科技开发有限公司 | 图像选择方法及装置、电子设备和存储介质 |
CN109584230A (zh) * | 2018-11-26 | 2019-04-05 | 深圳龙图腾创新设计有限公司 | 辅助质检方法、装置、计算机设备及可读存储介质 |
CN109900702A (zh) * | 2018-12-03 | 2019-06-18 | 阿里巴巴集团控股有限公司 | 车辆损伤检测的处理方法、装置、设备、服务器和系统 |
CN109657716B (zh) * | 2018-12-12 | 2020-12-29 | 中汽数据(天津)有限公司 | 一种基于深度学习的车辆外观损伤识别方法 |
CN109635742A (zh) * | 2018-12-13 | 2019-04-16 | 深源恒际科技有限公司 | 一种车辆图像定损中的子部件损伤识别方法 |
CN109684956A (zh) * | 2018-12-14 | 2019-04-26 | 深源恒际科技有限公司 | 一种基于深度神经网络的车辆损伤检测方法及系统 |
CN110033011A (zh) * | 2018-12-14 | 2019-07-19 | 阿里巴巴集团控股有限公司 | 车祸事故处理方法和装置、电子设备 |
CN109784171A (zh) * | 2018-12-14 | 2019-05-21 | 平安科技(深圳)有限公司 | 车辆定损图像筛选方法、装置、可读存储介质及服务器 |
CN109635824A (zh) * | 2018-12-14 | 2019-04-16 | 深源恒际科技有限公司 | 一种图像匹配深度学习方法及系统 |
US11037440B2 (en) * | 2018-12-19 | 2021-06-15 | Sony Group Corporation | Vehicle identification for smart patrolling |
CN110569701B (zh) * | 2018-12-29 | 2020-08-07 | 阿里巴巴集团控股有限公司 | 计算机执行的车辆定损方法及装置 |
KR102096386B1 (ko) * | 2018-12-31 | 2020-04-03 | 주식회사 애자일소다 | 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 방법 및 시스템 |
KR102097120B1 (ko) * | 2018-12-31 | 2020-04-09 | 주식회사 애자일소다 | 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법 |
CN110009509B (zh) * | 2019-01-02 | 2021-02-19 | 创新先进技术有限公司 | 评估车损识别模型的方法及装置 |
CN109815997A (zh) * | 2019-01-04 | 2019-05-28 | 平安科技(深圳)有限公司 | 基于深度学习的识别车辆损伤的方法和相关装置 |
EP3915050A4 (en) * | 2019-01-22 | 2022-09-14 | Fyusion, Inc. | DAMAGE DETECTION FROM MULTI-VIEW VISUAL DATA |
US11783443B2 (en) | 2019-01-22 | 2023-10-10 | Fyusion, Inc. | Extraction of standardized images from a single view or multi-view capture |
US10887582B2 (en) | 2019-01-22 | 2021-01-05 | Fyusion, Inc. | Object damage aggregation |
US11176704B2 (en) | 2019-01-22 | 2021-11-16 | Fyusion, Inc. | Object pose estimation in visual data |
CN109948811A (zh) * | 2019-01-31 | 2019-06-28 | 德联易控科技(北京)有限公司 | 车辆定损的处理方法、装置及电子设备 |
CN109886344A (zh) * | 2019-02-26 | 2019-06-14 | 广东工业大学 | 基于深度学习的皮革破损识别方法、系统及设备和介质 |
CN109885718B (zh) * | 2019-02-28 | 2021-05-28 | 江南大学 | 一种基于深度车贴检测的嫌疑车辆检索方法 |
CN109902629A (zh) * | 2019-03-01 | 2019-06-18 | 成都康乔电子有限责任公司 | 一种复杂交通场景下的实时车辆目标检测模型 |
EP3709219B1 (en) * | 2019-03-13 | 2022-06-08 | Ravin AI Limited | System and method for automatically detecting damages in vehicles |
CN110163761B (zh) * | 2019-03-27 | 2023-05-12 | 蚂蚁金服(杭州)网络技术有限公司 | 基于图像处理的可疑项目成员识别方法及装置 |
CN110287768A (zh) * | 2019-05-06 | 2019-09-27 | 浙江君嘉智享网络科技有限公司 | 图像智能识别车辆定损方法 |
CN110135437B (zh) * | 2019-05-06 | 2022-04-05 | 北京百度网讯科技有限公司 | 用于车辆的定损方法、装置、电子设备和计算机存储介质 |
CA3139562A1 (en) * | 2019-05-09 | 2020-11-12 | Automobilia Ii, Llc | Methods, systems and computer program products for media processing and display |
DE102019112289B3 (de) * | 2019-05-10 | 2020-06-18 | Controlexpert Gmbh | Verfahren zur Schadenserfassung bei einem Kraftfahrzeug |
EP3739507A1 (en) * | 2019-05-14 | 2020-11-18 | Banco Bilbao Vizcaya Argentaria, S.A. | Method and system for obtaining information about an object based on a photograph thereof |
CN110276258A (zh) * | 2019-05-21 | 2019-09-24 | 智慧互通科技有限公司 | 一种识别车辆外观的方法及系统 |
CN110210536A (zh) * | 2019-05-22 | 2019-09-06 | 北京邮电大学 | 一种光互连系统的物理损伤诊断方法及装置 |
JP7117272B2 (ja) * | 2019-06-06 | 2022-08-12 | 株式会社日立ビルシステム | 保守支援システムおよび方法 |
JP7462386B2 (ja) * | 2019-06-14 | 2024-04-05 | 株式会社シマノ | 検出装置、検出方法、生成方法、コンピュータプログラムおよび記憶媒体 |
CN110458186B (zh) * | 2019-06-26 | 2021-08-31 | 山东大学 | 基于局部参考相似性编码的乳腺超声图像分类方法及系统 |
CN110472656B (zh) * | 2019-07-03 | 2023-09-05 | 平安科技(深圳)有限公司 | 车辆图像分类方法、装置、计算机设备及存储介质 |
CN114127679A (zh) | 2019-07-12 | 2022-03-01 | 尼尔森(美国)有限公司 | 跨多个不同数据源进行重复数据删除以识别共同设备 |
CN110399816B (zh) * | 2019-07-15 | 2023-04-07 | 广西大学 | 一种基于Faster R-CNN的高速列车车底异物检测方法 |
CN110334693A (zh) * | 2019-07-17 | 2019-10-15 | 中国电子科技集团公司第五十四研究所 | 一种面向深度学习的遥感图像目标样本生成方法 |
CN110569383A (zh) * | 2019-07-26 | 2019-12-13 | 平安科技(深圳)有限公司 | 店铺信息处理方法、装置、存储介质及计算机设备 |
CN110516746A (zh) * | 2019-08-29 | 2019-11-29 | 吉林大学 | 一种基于无标签数据的驾驶员跟车行为风格分类方法 |
CN110598621A (zh) * | 2019-09-06 | 2019-12-20 | 高新兴科技集团股份有限公司 | 车辆品牌识别方法、装置、设备及计算机可读存储介质 |
CN110660000A (zh) * | 2019-09-09 | 2020-01-07 | 平安科技(深圳)有限公司 | 数据预测方法、装置、设备及计算机可读存储介质 |
US11410287B2 (en) * | 2019-09-09 | 2022-08-09 | Genpact Luxembourg S.à r.l. II | System and method for artificial intelligence based determination of damage to physical structures |
DE102019125320A1 (de) * | 2019-09-20 | 2021-03-25 | Audi Ag | Automatisches Behandeln eines Kollisionsschadens eines Fahrzeugs |
US11721010B2 (en) * | 2019-09-22 | 2023-08-08 | Openlane, Inc. | Vehicle self-inspection apparatus and method |
JP7138252B2 (ja) * | 2019-09-30 | 2022-09-15 | 日立建機株式会社 | 疲労管理システム |
CN110738576B (zh) * | 2019-10-14 | 2021-08-06 | 支付宝(杭州)信息技术有限公司 | 为受损车辆生成定损文件的方法及装置 |
US11829128B2 (en) | 2019-10-23 | 2023-11-28 | GM Global Technology Operations LLC | Perception system diagnosis using predicted sensor data and perception results |
CN110796105A (zh) * | 2019-11-04 | 2020-02-14 | 中国矿业大学 | 一种基于多模态数据融合的遥感图像语义分割方法 |
JP7015503B2 (ja) * | 2019-12-18 | 2022-02-03 | Arithmer株式会社 | 貸与対象物管理システム、貸与対象物管理プログラム及び貸与対象物管理方法。 |
CN115668250A (zh) * | 2020-01-03 | 2023-01-31 | 易识有限公司 | 确定对损坏车辆的喷漆要求的方法 |
CN111209957B (zh) * | 2020-01-03 | 2023-07-18 | 平安科技(深圳)有限公司 | 车辆部件识别方法、装置、计算机设备及存储介质 |
US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
US11562474B2 (en) | 2020-01-16 | 2023-01-24 | Fyusion, Inc. | Mobile multi-camera multi-view capture |
US11776142B2 (en) | 2020-01-16 | 2023-10-03 | Fyusion, Inc. | Structuring visual data |
CN111310631B (zh) * | 2020-02-10 | 2021-05-07 | 湖南大学 | 一种旋翼作业飞行机器人目标跟踪方法及系统 |
CN113505624A (zh) * | 2020-03-23 | 2021-10-15 | 虹软科技股份有限公司 | 车辆定损方法、车辆定损装置及应用其的电子设备 |
US11210869B2 (en) * | 2020-03-31 | 2021-12-28 | Calpro Adas Solutions, Llc | Vehicle safety feature identification and calibration |
KR102148884B1 (ko) * | 2020-04-02 | 2020-08-27 | 주식회사 애자일소다 | 차량의 손상 분석 시스템 및 방법 |
US11935219B1 (en) | 2020-04-10 | 2024-03-19 | Allstate Insurance Company | Systems and methods for automated property damage estimations and detection based on image analysis and neural network training |
CN111783517A (zh) * | 2020-05-13 | 2020-10-16 | 北京达佳互联信息技术有限公司 | 图像识别方法、装置、电子设备及存储介质 |
JP7031935B2 (ja) * | 2020-05-19 | 2022-03-08 | Necプラットフォームズ株式会社 | 寿命通知装置、寿命通知システム、寿命通知方法及び寿命通知プログラム |
CN111666434B (zh) * | 2020-05-26 | 2021-11-02 | 武汉大学 | 基于深度全局特征的街景图片检索方法 |
CN111695615A (zh) * | 2020-05-28 | 2020-09-22 | 平安科技(深圳)有限公司 | 基于人工智能的车辆定损方法、装置、电子设备及介质 |
CN111666995B (zh) * | 2020-05-29 | 2024-04-09 | 平安科技(深圳)有限公司 | 基于深度学习模型的车辆定损方法、装置、设备及介质 |
CN111709352B (zh) * | 2020-06-12 | 2022-10-04 | 浪潮集团有限公司 | 一种基于神经网络的车辆划痕检测方法 |
CN111667392B (zh) * | 2020-06-12 | 2023-06-16 | 成都国铁电气设备有限公司 | 一种基于时空聚类的铁路接触网缺陷热点区域预警方法 |
CN111488875B (zh) * | 2020-06-24 | 2021-04-13 | 爱保科技有限公司 | 基于图像识别的车险理赔核损方法、装置和电子设备 |
CN111612104B (zh) * | 2020-06-30 | 2021-04-13 | 爱保科技有限公司 | 车辆定损图像获取方法、装置、介质和电子设备 |
WO2022015236A1 (en) * | 2020-07-17 | 2022-01-20 | Hitachi, Ltd. | Method of image processing for object identification and system thereof |
US11488117B2 (en) * | 2020-08-27 | 2022-11-01 | Mitchell International, Inc. | Systems and methods for managing associations between damaged parts and non-reusable parts in a collision repair estimate |
US11328402B2 (en) | 2020-09-29 | 2022-05-10 | Hong Kong Applied Science and Technology Research Institute Company Limited | Method and system of image based anomaly localization for vehicles through generative contextualized adversarial network |
CN112329772B (zh) * | 2020-11-06 | 2024-03-05 | 浙江大搜车软件技术有限公司 | 车辆部件识别方法、装置、电子装置和存储介质 |
CN112232351B (zh) * | 2020-11-09 | 2023-10-10 | 浙江工业职业技术学院 | 一种基于深度神经网络的车牌识别系统 |
CA3206364A1 (en) * | 2020-11-09 | 2022-05-12 | Automobilia Ii, Llc | Methods, systems and computer program products for media processing and display |
CN112785547A (zh) * | 2020-11-11 | 2021-05-11 | 平高集团有限公司 | 一种电极触头表面损伤识别方法和系统 |
CN112070250B (zh) * | 2020-11-13 | 2021-05-04 | 深圳壹账通智能科技有限公司 | 车辆定损方法、装置、终端设备及存储介质 |
CN112330666B (zh) * | 2020-11-26 | 2022-04-29 | 成都数之联科技股份有限公司 | 基于改进孪生网络的图像处理方法及系统及装置及介质 |
CN112270313A (zh) * | 2020-12-21 | 2021-01-26 | 德联易控科技(北京)有限公司 | 线上理赔方法、装置、设备及存储介质 |
CN112686308A (zh) * | 2020-12-28 | 2021-04-20 | 青岛鼎信通讯股份有限公司 | 一种基于kh与fcm的低压台区归属识别方法及系统 |
CN112785561A (zh) * | 2021-01-07 | 2021-05-11 | 天津狮拓信息技术有限公司 | 一种基于改进Faster RCNN预测模型的二手商用车车况检测方法 |
CN112801951A (zh) * | 2021-01-15 | 2021-05-14 | 深圳市商汤科技有限公司 | 目标部件的损伤检测方法、装置、设备及存储介质 |
KR102263067B1 (ko) * | 2021-01-26 | 2021-06-09 | 박형근 | 제품의 부품 교체 필요성을 판단하는 서버 및 그 동작 방법 |
CN112818884B (zh) * | 2021-02-07 | 2021-11-30 | 中国科学院大学 | 一种人群计数方法 |
US11544914B2 (en) | 2021-02-18 | 2023-01-03 | Inait Sa | Annotation of 3D models with signs of use visible in 2D images |
EP4295310A1 (en) * | 2021-02-18 | 2023-12-27 | Inait SA | Annotation of 3d models with signs of use visible in 2d images |
US11605151B2 (en) | 2021-03-02 | 2023-03-14 | Fyusion, Inc. | Vehicle undercarriage imaging |
CN113139572B (zh) * | 2021-03-09 | 2022-08-02 | 西南交通大学 | 一种基于图像的列车空气弹簧的故障检测方法 |
CN112689114B (zh) * | 2021-03-11 | 2021-06-22 | 太平金融科技服务(上海)有限公司 | 对车辆的目标位置进行确定的方法、装置、设备和介质 |
CN113034114A (zh) * | 2021-04-01 | 2021-06-25 | 苏州惟信易量智能科技有限公司 | 一种基于可穿戴设备的流程控制系统及方法 |
AU2022262359A1 (en) * | 2021-04-21 | 2023-08-24 | Siemens Mobility GmbH | Automated selection and semantic connection of images |
CN112990158A (zh) * | 2021-05-14 | 2021-06-18 | 太平金融科技服务(上海)有限公司深圳分公司 | 车险数据处理方法、装置、计算机设备和存储介质 |
CN113486725A (zh) * | 2021-06-11 | 2021-10-08 | 爱保科技有限公司 | 智能车辆定损方法及装置、存储介质及电子设备 |
WO2023017617A1 (ja) * | 2021-08-13 | 2023-02-16 | コグニビジョン株式会社 | 車両画像から車両の損傷情報を推定するための情報処理装置、方法、及びプログラム、並びに学習済みモデルを生成するための方法及びシステム |
CN113640308B (zh) * | 2021-08-31 | 2024-03-29 | 夏冰心 | 一种基于机器视觉的轨道异常监测系统 |
CN113781454B (zh) * | 2021-09-15 | 2023-09-08 | 平安科技(深圳)有限公司 | 一种车辆损伤检测方法、装置、设备及存储介质 |
CN113822447A (zh) * | 2021-09-23 | 2021-12-21 | 深圳市星卡科技有限公司 | 一种用于汽车保养的智能检测方法、装置及车载设备 |
WO2023058068A1 (en) * | 2021-10-08 | 2023-04-13 | Ola Electric Mobility Private Limited | Damage assessment for vehicles |
US20230131632A1 (en) * | 2021-10-25 | 2023-04-27 | Argo AI, LLC | Systems, Methods, and Computer Program Products for Severity Classifications of Simulated Collisions |
WO2023083182A1 (en) * | 2021-11-09 | 2023-05-19 | Alpha Ai Technology Limited | A system for assessing a damage condition of a vehicle and a platform for facilitating repairing or maintenance services of a vehicle |
CN114530043A (zh) * | 2022-03-03 | 2022-05-24 | 上海闪马智能科技有限公司 | 一种事件检测方法、装置、存储介质及电子装置 |
CN114739293A (zh) * | 2022-03-25 | 2022-07-12 | 北京博联众睿机器人科技有限公司 | 车身测量方法、系统、装置以及电子设备 |
CN115115611B (zh) * | 2022-07-21 | 2023-04-07 | 明觉科技(北京)有限公司 | 车辆损伤识别方法、装置、电子设备和存储介质 |
KR102476815B1 (ko) * | 2022-09-21 | 2022-12-12 | (주)슬레이트미디어 | 인공지능 기반 스톡 이미지 자동 추출 방법, 장치 및 시스템 |
CN115994910B (zh) * | 2023-03-24 | 2023-06-06 | 邦邦汽车销售服务(北京)有限公司 | 基于数据处理的汽车损伤程度确定方法及系统 |
CN116703622B (zh) * | 2023-08-02 | 2023-10-03 | 凯泰铭科技(北京)有限公司 | 一种车辆损伤鉴定方法及系统 |
CN117851940A (zh) * | 2024-03-08 | 2024-04-09 | 北京建筑大学 | 一种超声导波损伤检测方法、装置、电子设备及存储介质 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3243065B2 (ja) * | 1993-06-30 | 2002-01-07 | 株式会社東芝 | 構造部品の劣化・損傷予測装置 |
JP2001344463A (ja) * | 2000-05-30 | 2001-12-14 | System Location Co Ltd | 車両再販価格分析システム |
JP2002183338A (ja) * | 2000-12-14 | 2002-06-28 | Hitachi Ltd | 損害評価方法および情報処理装置ならびに記憶媒体 |
JP2003196511A (ja) * | 2001-12-25 | 2003-07-11 | System Kobo M:Kk | 車両修理簡易見積りシステム、車両修理簡易見積りサーバおよびプログラム |
JP2003226230A (ja) * | 2002-02-05 | 2003-08-12 | Mazda Motor Corp | 製品の修理支援装置、その方法、及び製品の修理支援用プログラムを記録した記録媒体 |
US6826301B2 (en) * | 2002-10-07 | 2004-11-30 | Infocus Corporation | Data transmission system and method |
IT1337796B1 (it) * | 2004-05-11 | 2007-02-20 | Fausto Siri | Procedimento per il riconoscimento, l'analisi e la valutazione delle deformazioni in particolare in automezzi |
JP3839822B2 (ja) * | 2004-08-11 | 2006-11-01 | 株式会社損害保険ジャパン | 物流工程における物品の損傷状況分析方法、損傷状況分析システム及び記録媒体 |
JP2006164022A (ja) * | 2004-12-09 | 2006-06-22 | Mitsubishi Electric Corp | 維持管理計画システム |
CN1658559A (zh) * | 2005-02-22 | 2005-08-24 | 刘波 | 基于因特网的远程实时监控车辆定损系统及其监控方法 |
JP5057183B2 (ja) * | 2010-03-31 | 2012-10-24 | アイシン・エィ・ダブリュ株式会社 | 風景マッチング用参照データ生成システム及び位置測位システム |
CN102376071B (zh) * | 2010-08-20 | 2015-03-25 | 深圳市安致兰德科技有限公司 | 保险定损移动查勘系统 |
EP2761595A2 (en) * | 2011-09-29 | 2014-08-06 | Tata Consultancy Services Limited | Damage assessment of an object |
US9002719B2 (en) * | 2012-10-08 | 2015-04-07 | State Farm Mutual Automobile Insurance Company | Device and method for building claim assessment |
CN103310223A (zh) * | 2013-03-13 | 2013-09-18 | 四川天翼网络服务有限公司 | 一种基于图像识别的车辆定损系统及方法 |
FR3007172B1 (fr) * | 2013-06-12 | 2020-12-18 | Renault Sas | Procede et systeme d'identification d'un degat cause a un vehicule |
US20150287130A1 (en) * | 2014-04-04 | 2015-10-08 | Verc, Inc. | Systems and methods for assessing damage of rental vehicle |
US20160239922A1 (en) * | 2015-02-17 | 2016-08-18 | Raymond Jimenez | System and method of real-time imaging and analysis of real-world objects |
GB2542118B (en) * | 2015-09-04 | 2021-05-19 | Toshiba Europe Ltd | A method, apparatus, system, and computer readable medium for detecting change to a structure |
GB201517462D0 (en) * | 2015-10-02 | 2015-11-18 | Tractable Ltd | Semi-automatic labelling of datasets |
CN105678622A (zh) | 2016-01-07 | 2016-06-15 | 平安科技(深圳)有限公司 | 车险理赔照片的分析方法及系统 |
CN105719188B (zh) * | 2016-01-22 | 2017-12-26 | 平安科技(深圳)有限公司 | 基于多张图片一致性实现保险理赔反欺诈的方法及服务器 |
US11144889B2 (en) * | 2016-04-06 | 2021-10-12 | American International Group, Inc. | Automatic assessment of damage and repair costs in vehicles |
CN105956667B (zh) * | 2016-04-14 | 2018-09-25 | 平安科技(深圳)有限公司 | 车险定损理赔审核方法及系统 |
CN106021548A (zh) * | 2016-05-27 | 2016-10-12 | 大连楼兰科技股份有限公司 | 基于分布式人工智能图像识别的远程定损方法及系统 |
CN106296118A (zh) * | 2016-08-03 | 2017-01-04 | 深圳市永兴元科技有限公司 | 基于图像识别的车辆定损方法及装置 |
CN106203644A (zh) * | 2016-08-09 | 2016-12-07 | 深圳市永兴元科技有限公司 | 车辆定损方法和装置 |
CN106372651B (zh) * | 2016-08-22 | 2018-03-06 | 平安科技(深圳)有限公司 | 图片品质的检测方法及装置 |
-
2017
- 2017-04-11 CN CN201710232956.8A patent/CN107358596B/zh active Active
-
2018
- 2018-03-05 TW TW107107229A patent/TWI684922B/zh active
- 2018-04-11 SG SG11201903904VA patent/SG11201903904VA/en unknown
- 2018-04-11 WO PCT/US2018/027192 patent/WO2018191435A1/en active Search and Examination
- 2018-04-11 US US15/950,786 patent/US20180293552A1/en not_active Abandoned
- 2018-04-11 KR KR1020197012676A patent/KR102151365B1/ko active IP Right Grant
- 2018-04-11 JP JP2019555669A patent/JP6874150B2/ja active Active
- 2018-04-11 MY MYPI2019005962A patent/MY193739A/en unknown
- 2018-04-11 EP EP18723105.5A patent/EP3520045B8/en active Active
- 2018-04-11 WO PCT/US2018/027194 patent/WO2018191437A1/en active Search and Examination
- 2018-04-11 JP JP2019524075A patent/JP6873237B2/ja active Active
-
2019
- 2019-03-19 US US16/358,581 patent/US20190213563A1/en not_active Abandoned
- 2019-04-30 PH PH12019500971A patent/PH12019500971A1/en unknown
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI700646B (zh) * | 2018-11-27 | 2020-08-01 | 中華電信股份有限公司 | 一種資訊整合之干擾查測系統與方法 |
TWI703511B (zh) * | 2019-07-09 | 2020-09-01 | 洽吧智能股份有限公司 | 螢幕裂損檢測系統 |
TWI723823B (zh) * | 2020-03-30 | 2021-04-01 | 聚晶半導體股份有限公司 | 基於神經網路的物件偵測裝置和物件偵測方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2020504358A (ja) | 2020-02-06 |
EP3520045B8 (en) | 2022-02-23 |
EP3520045A1 (en) | 2019-08-07 |
WO2018191437A8 (en) | 2022-02-17 |
PH12019500971A1 (en) | 2019-11-11 |
US20180293552A1 (en) | 2018-10-11 |
TWI684922B (zh) | 2020-02-11 |
WO2018191437A1 (en) | 2018-10-18 |
KR102151365B1 (ko) | 2020-09-04 |
JP6874150B2 (ja) | 2021-05-19 |
CN107358596B (zh) | 2020-09-18 |
CN107358596A (zh) | 2017-11-17 |
MY193739A (en) | 2022-10-27 |
US20190213563A1 (en) | 2019-07-11 |
EP3520045B1 (en) | 2021-11-24 |
WO2018191435A1 (en) | 2018-10-18 |
JP2020517015A (ja) | 2020-06-11 |
KR20190069457A (ko) | 2019-06-19 |
JP6873237B2 (ja) | 2021-05-19 |
SG11201903904VA (en) | 2019-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI684922B (zh) | 基於圖像的車輛定損方法、裝置、電子設備及系統 | |
TW201839703A (zh) | 基於圖像的車輛定損方法、裝置及電子設備 | |
TW201839704A (zh) | 基於圖像的車輛定損方法、裝置及電子設備 | |
TWI709919B (zh) | 車險圖像處理方法、裝置、伺服器及系統 | |
Noh et al. | Hvpr: Hybrid voxel-point representation for single-stage 3d object detection | |
US10713865B2 (en) | Method and apparatus for improving vehicle loss assessment image identification result, and server | |
US10902056B2 (en) | Method and apparatus for processing image | |
EP3629256A1 (en) | Method and apparatus for improving vehicle loss assessment image identification result, and server | |
EP3844668A1 (en) | System and method for training a damage identification model | |
WO2021217924A1 (zh) | 交通卡口车辆类型的识别方法、装置、设备及存储介质 | |
WO2020047316A1 (en) | System and method for training a damage identification model | |
CN112989877A (zh) | 点云数据中标注对象的方法及装置 | |
Wang et al. | Lightweight identification of retail products based on improved convolutional neural network | |
JP2014232373A (ja) | 照合対象抽出システム、照合対象抽出方法、照合対象抽出プログラム | |
Chen et al. | An efficient framework for location-based scene matching in image databases | |
CN117079160A (zh) | 无人机图像识别网络训练方法、应用方法及电子设备 | |
Cai et al. | Head pose estimation with neural networks from surveillant images | |
Puri et al. | SSD Based Vehicle Number Plate Detection and Recognition | |
Kamencay et al. | Vehicles Recognition Based on Point Cloud Representation | |
Zhang et al. | Detection of vehicle parts based on Faster R-CNN and relative position information | |
Llado et al. | Surface texture recognition by surface rendering | |
Ren et al. | Feature optimization for pedestrian detection based on faster R-CNN | |
CN113281780A (zh) | 对图像数据进行标注的方法、装置及电子设备 | |
Jia et al. | Image feature matching method based on improved ORB | |
Wu et al. | Vehicle classification in pan-tilt-zoom videos via sparse learning |