TWI698804B - 最佳化損傷識別結果的方法及裝置 - Google Patents
最佳化損傷識別結果的方法及裝置 Download PDFInfo
- Publication number
- TWI698804B TWI698804B TW108124232A TW108124232A TWI698804B TW I698804 B TWI698804 B TW I698804B TW 108124232 A TW108124232 A TW 108124232A TW 108124232 A TW108124232 A TW 108124232A TW I698804 B TWI698804 B TW I698804B
- Authority
- TW
- Taiwan
- Prior art keywords
- damage
- frame
- recognition result
- picture
- candidate
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000004048 modification Effects 0.000 claims abstract description 30
- 238000012986 modification Methods 0.000 claims abstract description 30
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 238000005457 optimization Methods 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 19
- 230000002159 abnormal effect Effects 0.000 claims description 14
- 230000007787 long-term memory Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 230000006403 short-term memory Effects 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 230000015654 memory Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012417 linear regression Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 abstract description 12
- 230000000875 corresponding effect Effects 0.000 description 44
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 9
- 239000000047 product Substances 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0278—Product appraisal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0283—Price estimation or determination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/08—Insurance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30156—Vehicle coating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0808—Diagnosing performance data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- Technology Law (AREA)
- Tourism & Hospitality (AREA)
- Game Theory and Decision Science (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Mathematical Optimization (AREA)
- Operations Research (AREA)
- Mathematical Analysis (AREA)
Abstract
本說明書實施例提供最佳化損傷識別結果的方法,一方面,該方法包括根據與用戶進行互動的資料,對單張圖片的損傷識別結果進行最佳化的方法,具體包括:首先,基於CNN演算法識別出單張圖片的初步損傷識別結果,展示給用戶,並接收用戶對初步損傷識別結果的修改,然後結合此修改,通過LSTM和Attention機制影響重新輸出損傷識別結果,並再次展示給用戶,直到用戶滿意;另一方面,該方法還包括基於其他圖片的損傷識別結果,對當前圖片的損傷識別結果進行最佳化的方法,具體包括:基於CNN演算法識別出當前圖片的初步損傷識別結果,然後結合其他圖片的損傷識別結果,通過LSTM和Attention機制對當前圖片的初步損傷識別結果進行最佳化。
Description
本說明書實施例涉及車輛定損領域,具體地,涉及一種最佳化損傷識別結果的方法及裝置。
在傳統車險理賠場景中,保險公司需要派出專業的查勘定損人員到事故現場進行現場查勘定損,給出車輛的維修方案和賠償金額,並拍攝現場照片,定損照片留檔以供後台核查人員核損核價。由於需要人工查勘定損,保險公司需要投入大量的人力成本,和專業知識的培訓成本。從普通用戶的體驗來說,理賠流程由於等待人工查勘員現場拍照、定損員在維修地點定損、核損人員在後台核損,理賠週期長達1-3天,用戶的等待時間較長,體驗較差。
針對需求背景中提到的這一人工成本巨大的行業痛點,開始設想將人工智慧和機器學習應用到車輛定損的場景中,希望能夠利用人工智慧領域電腦視覺影像識別技術,根據普通用戶拍攝的現場損失圖片,自動識別圖片中反映的車損狀況,並自動給出維修方案。如此,無需人工查勘定損核損,大大減少了保險公司的成本,提升了普通用戶的車險理賠體驗。
不過,目前的智慧定損方案,損傷識別的準確度還有待進一步提高。因此,希望能有改進的方案,能夠對車輛的損傷識別結果進行進一步最佳化,提高識別準確度。
在說明書提供的最佳化損傷識別結果的方法中,基於循環神經網路,將前次損傷識別結果以及與用戶的互動資訊作為輸入,從而實現損傷識別結果的最佳化。
根據第一方面,提供一種最佳化損傷識別結果的方法,應用於單張圖片的處理。該方法包括:獲取用戶輸入的車輛損傷圖片;基於預先訓練的損傷識別模型,提取圖片特徵資訊,並確定與所述車輛損傷圖片對應的損傷識別結果,所述損傷識別結果至少包括損傷框;向用戶展示所述損傷識別結果,並接收所述用戶基於所述損傷識別結果做出的更改;基於預先訓練的長短期記憶網路LSTM,將所述損傷識別結果、所述圖片特徵資訊和所述更改作為輸入,得到最佳化後的損傷識別結果。
在一個實施例中,所述損傷識別模型基於以下步驟預先訓練:獲取標註有損傷識別結果的多張歷史車輛損傷圖片;基於卷積神經網路CNN,將所述多張歷史車輛損傷圖片作為訓練樣本,訓練所述損傷識別模型。
在一個實施例中,所述損傷識別結果還包括與損傷框對應的損傷類別;所述更改包括更改損傷框,和/或,更改損傷類別;其中所述更改損傷框包括刪除、添加、移動、縮小和放大中的至少一種。
進一步地,一方面,在一個具體的實施例中,其中所述更改包括更改損傷框;所述得到最佳化後的損傷識別結果,包括:根據所述圖片特徵資訊,獲取所述損傷識別模型為獲得損傷識別結果而產生的候選損傷框,其中包括所述損傷結果中的損傷框;基於所述更改,更新所述候選損傷框;對於更新後的候選損傷框,基於各個候選損傷框之間的相似度,確定出最佳化後的損傷框,並將最佳化後的損傷框作為最佳化後的損傷識別結果的一部分。
更進一步地,在一個具體的實施例中,其中所述確定出最佳化後的損傷框,包括:確定所述更新後的候選損傷框中任意的第一候選損傷框與其他候選損傷框的多個相似度;將所述多個相似度輸入預定的預測模型,根據預測模型的輸出結果,確定第一候選損傷框是否為異常框,所述預測模型包含在所述LSTM中;在所述第一候選損傷框不是異常框的情況下,將所述第一候選損傷框作為所述最佳化後的損傷框中的一部分。
更進一步地,在一個例子中,中所述確定所述更新後的候選損傷框中任意的第一候選損傷框與其他候選損傷框的多個相似度,包括:計算所述第一候選損傷框對應的第一特徵向量,分別與多個其他候選損傷框對應的多個其他特徵向量的點積,將多個點積結果確定為所述多個相似度。
在另一個例子中,其中所述預測模型通過正樣本和負樣本預先訓練,所述正樣本包括,多個標註為真實損傷的損傷區域,所述負樣本包括,多個標註為真實損傷的損傷區域和至少一個標註為非損傷的區域。
在又一個例子中,其中所述預測模型為線性迴歸模型。
另一方面,在一個具體的實施中,所述損傷識別結果包括多個損傷框,所述多個損傷框包括第一損傷框,所述更改包括刪除所述第一損傷框;所述最佳化所述損傷識別結果,包括:確定所述第一損傷框與多個其他損傷框的多個相似度;將所述多個相似度中低於預設臨限值的相似度所對應的損傷框,作為最佳化後的損傷識別結果的一部分。
根據第二方面,提供另一種最佳化損傷識別結果的方法,應用於多張圖片的處理。該方法包括:獲取第一車輛損傷圖片的第一圖片特徵資訊和與所述第一車輛損傷圖片對應的第一損傷識別結果,以及獲取第二車輛損傷圖片的第二圖片特徵資訊和與所述第二車輛損傷圖片對應的第二損傷識別結果;基於預先訓練的長短期記憶網路LSTM,將所述第一損傷識別結果、所述第一圖片特徵資訊、所述第二圖片特徵資訊和所述第二損傷識別結果作為輸入,得到最佳化後的所述第二損傷識別結果。
在一個實施例中,其中所述第一圖片特徵資訊和第二圖片特徵資訊基於預先訓練的損傷識別模型而分別提取。
在一個實施例中,其中所述第一損傷識別結果和第二損傷識別結果,基於預先訓練的損傷識別模型而分別確定,或者,基於申請專利範圍第1項所述的方法而分別確定。
在一個實施例中,其中所述第二損傷識別結果包括第一損傷框;所述得到最佳化後的第二損傷識別結果,包括:基於區域匹配定位演算法,從所述第一車輛圖片中確定與所述第一損傷框匹配的匹配區域;根據所述匹配區域對所述第一損傷框的類別進行最佳化。
在一個實施例中,所述方法還包括:將最佳化後的第二損傷識別結果和所述第二圖片特徵資訊,以及所述第一損傷識別結果和所述第一圖片特徵資訊作為輸入,得到最佳化後的第一損傷識別結果。
進一步地,在一個具體的實施例中,其中所述第二損傷識別結果包括第一損傷框;所述得到最佳化後的第二損傷識別結果,包括:基於區域匹配定位演算法,從所述第一車輛圖片中確定與所述第一損傷框匹配的匹配區域;根據所述匹配區域對所述第一損傷框的類別進行最佳化;其中得到最佳化後的第一損傷識別結果,包括:根據所述匹配區域最佳化所述第一損傷識別結果中的至少一個損傷框。
根據第三方面,提供一種最佳化損傷識別結果的裝置,應用於單張圖片的處理。該裝置包括:獲取單元,用於獲取用戶輸入的車輛損傷圖片;提取單元,用於基於預先訓練的損傷識別模型,提取圖片特徵資訊;確定單元,用於確定與所述車輛損傷圖片對應的損傷識別結果,所述損傷識別結果至少包括損傷框;展示單元,用於向用戶展示所述損傷識別結果;接收單元,用於接收所述用戶基於所述損傷識別結果做出的更改;最佳化單元,用於基於預先訓練的長短期記憶網路LSTM,將所述損傷識別結果、所述圖片特徵資訊和所述更改作為輸入,得到最佳化後的所述損傷識別結果。
根據第四方面,提供一種最佳化損傷識別結果的裝置,應用於多張圖片的處理。該裝置包括:獲取單元,用於獲取第一車輛損傷圖片的第一圖片特徵資訊和與所述第一車輛損傷圖片對應的第一損傷識別結果,以及獲取第二車輛損傷圖片的第二圖片特徵資訊和與所述第二車輛損傷圖片對應的第二損傷識別結果;第一最佳化單元,用於基於預先訓練的長短期記憶網路LSTM,將所述第一損傷識別結果、所述第一圖片特徵資訊、所述第二圖片特徵資訊和所述第二損傷識別結果作為輸入,得到最佳化後的第二損傷識別結果。
根據第五方面,提供了一種電腦可讀儲存媒體,其上儲存有電腦程式,當所述電腦程式在電腦中執行時,令電腦執行第一方面或第二方面所描述的方法。
根據第六方面,提供了一種計算設備,包括記憶體和處理器,其特徵在於,所述記憶體中儲存有可執行碼,所述處理器執行所述可執行碼時,實現第一方面或第二方面所描述的方法。
在本說明書實施例揭露的最佳化單張圖片的損傷識別結果的方法中,首先基於用戶拍攝的單張定損圖片提取出圖片特徵資訊,並初步識別出損傷識別結果;然後接收用戶對損傷識別結果的修改資料;再基於預先訓練的LSTM,將提取出的圖片特徵資訊、初步識別出的損傷識別結果和用戶修改資料作為輸入,更新損傷識別結果。如果用戶對更新後的損傷識別結果仍不滿意,還可以再次修改,如此直到用戶對定損結果滿意為止。
下面結合圖式,對本說明書揭露的多個實施例進行描述。
本說明書實施例揭露一種最佳化損傷識別結果的方法,下面首先介紹所述方法的發明構思。
為了對車輛定損圖片中的損傷狀況進行識別,業界普遍採用的方法是,通過與海量歷史資料庫進行比對得到相似的圖片,來決定圖片上的損傷部件及其程度。然而,這樣的方式損傷識別準確率不夠理想。此外,還採用樣本標註的方式訓練一些損傷識別模型,進行車輛損傷的識別。在進行損傷識別過程中,由於受到光照、污漬、拍攝角度、距離、車型等各種因素的影響,使得損傷識別準確率不夠高,比如,在識別結果中很可能會出現真正的損傷能夠正確檢測,而同時少量反光或污漬也會被檢測成損傷的情況,從而出現錯誤檢測。
而且,損傷識別模型通常被用於定損客戶端中,以使普通用戶可以拍攝現場損失圖片,並將現場損失圖片上傳至定損客戶端中,從而實現自動定損。鑒於現有的損傷識別模型的準確率不夠高,用戶可能對損傷識別結果並不滿意,在這種情況下,用戶通常會補拍或更換部分照片,然後上傳至定損客戶端重新定損,客戶端通常會將更新後的所有照片作為輸入,重新定損,如此多次反復可能還是很難讓用戶滿意,同時,還會造成較大的資源開銷,以及消耗用戶較多的時間。
為了快速得到令用戶滿意的損傷識別結果,發明人想到,可以通過與用戶的互動的方式,得到用戶對損傷識別結果的反饋資料,並結合反饋資料更新損傷識別結果。
進一步地,考慮到長短期記憶網路LSTM可以用於處理時間序列資訊,具體地,LSTM中的計算單元,例如神經元,可以記憶以前的資訊,並將其作為之後的輸入。具體地,參見圖1中示出的LSTM中神經元的時序圖,對於某個神經元,x
t-1、x
t、x
t+1分別表示t-1時刻、t時刻和t+1時刻的輸入,a
1、a
2、a
3分別表示t-1時刻、t時刻和t+1時刻神經元的狀態,而h
t-1、h
t、h
t+1分別表示t-1時刻、t時刻和t+1時刻的輸出,其中:
a
t=g(U*x
t-1+W*h
t-1+b
a) (1)
h
t=f(V*a
t-1+b
h) (2)
a
t+1=g(U*x
t+W*h
t+b
a) (3)
h
t+1=f(V*a
t+b
h) (4)
從圖1中可以看出,t時刻的輸出h
t是由上一時刻的輸出h
t-1和當前的輸入x
t共同決定的。因此,可以利用LSTM能夠處理時序資訊的特點,結合用戶對損傷識別結果的修改反饋,實現對損傷識別結果的更新。如此,既利用了用戶的反饋資料,還可以利用之前已確定的損傷資料,從而可以更加快速、準確地更新損傷識別結果,以使用戶滿意。
圖2為本說明書揭露的一個實施例的實施場景示意圖。如圖2所示,車輛損傷圖片首先被輸入到損傷識別模型進行損傷識別,損傷識別模型將提取圖片的特徵資訊,同時,如果圖片中包括多處損傷,例如,變形、刮擦等,通常識別模型會從圖片中識別出多個候選損傷區域作為檢測結果。根據本說明書的實施例,接收用戶輸入的修改,並基於修改資料,以及經過損傷識別模型提取的車輛損傷圖片的圖片特徵資訊,更新檢測結果,直到用戶滿意。下面描述最佳化損傷識別結果的具體實現過程。
圖3示出根據一個實施例的最佳化損傷識別結果的方法流程圖,所述方法用於對單張圖片進行處理,且其執行主體可以為具有處理能力的設備:伺服器或者系統或者裝置。如圖3所示,該方法流程包括以下步驟:步驟S310,獲取用戶輸入的車輛損傷圖片;步驟S320,基於預先訓練的損傷識別模型,提取圖片特徵資訊,並確定與車輛損傷圖片對應的損傷識別結果,其中損傷識別結果至少包括損傷框;步驟S330,向用戶展示損傷識別結果,並接收用戶基於損傷識別結果做出的更改;步驟S340,基於預先訓練的LSTM,將損傷識別結果、圖片特徵資訊和用戶更改作為輸入,得到最佳化後的損傷識別結果。下面描述以上各個步驟的執行方式。
首先,在步驟S310,獲取用戶輸入的車輛損傷圖片。可以理解,該圖片可以是普通用戶拍攝的車損現場的圖片,是有待進行損傷識別的圖片。
圖4a示出車輛損傷圖片的一個示例。該圖片是普通用戶拍攝的未經處理的現場圖片。
接著在步驟S320,基於預先訓練的損傷識別模型,提取圖片特徵資訊,並確定與車輛損傷圖片對應的損傷識別結果,其中損傷識別結果至少包括損傷框。
在一個實施例中,其中損傷識別模型基於以下步驟預先訓練:首先獲取標註有損傷識別結果的多張歷史車輛損傷圖片;然後基於卷積神經網路(Convolutional Neural Network,簡稱CNN),將多張歷史車輛損傷圖片作為訓練樣本,訓練損傷識別模型。在一個具體的實施例中,其中標註的損傷識別結果包括損傷框,即,包括損傷對象的邊框(bounding box)和損傷類別,即,邊框中損傷對象的類別,相應地,基於該模型識別出來的損傷識別結果包括損傷框和損傷類別。進一步地,其標註的損傷識別結果還可以包括損傷分割結果,例如,損傷的輪廓資訊或遮罩(mask)資訊,相應地,該模型識別出來的損傷識別結果還可以包括損傷分割結果。
在一個實施例中,將車輛損傷圖片輸入損傷識別模型之後,該模型會先提取圖片特徵資訊,然後再基於圖片特徵資訊產生損傷識別結果。在一個具體的實施例中,其中圖片特徵資訊可以包括基於CNN產生的特徵圖(feature map),進一步地,基於此特徵圖可以採集感興趣區域(region of interest,簡稱ROI)中的特徵資訊,進而進行損傷的分類(classification)、邊框迴歸(bounding box regression)和分割(segmentation),再確定出損傷識別結果。在另一個具體的實施例中,其中圖片特徵資訊除了包括特徵圖,還可以包括CNN網路中其他層的資訊,例如,ROI的特徵資訊,或者候選損傷框的特徵資訊。
以上,可以初步確定出與車輛損傷圖片對應的損傷識別結果。接著,在步驟S330,向用戶展示損傷識別結果,並接收用戶基於損傷識別結果做出的更改。
需要說明的是,用戶在查看初步確定的損傷識別結果之後,在認可該損傷識別結果的情況下,可以對此結果進行確認操作,響應於該確認操作可以將此結果直接作為對應車輛損傷圖片在單張圖片的損傷識別階段的最終結果,並結束當前流程。
另一方面,當用戶對該損傷識別結果不滿意的情況下,可以對損傷識別結果進行更改。在一個實施例中,損傷識別結果中可以包括損傷框,相應的更改可以包括更改損傷框,如刪除、添加、移動、縮小和放大等。進一步地,在一個具體的實施例中,損傷識別結果中還包括與損傷框對應的損傷類別,相應的更改可以包括更改損傷類別。
根據一個具體的例子,如圖4b所示,其中包括基於損傷識別模型,確定出的圖4a中車輛損傷圖片的損傷識別結果,即三個損傷框和對應的損傷類別。進一步地,假定用戶認為右後車門上的損傷框實際上是反光,並非是變形損傷,則可以將該損傷框進行刪除,與其對應的損傷類別隨之被刪除。如圖4c所示,圖中示出用戶修改後的損傷識別結果界面。由此可知,用戶更改包括刪除損傷類別為右後車門中度變形的損傷框。
以上,可以得到基於損傷識別模型提取的圖片特徵資訊和基於圖片特徵資訊確定的損傷識別結果,以及用戶對損傷識別結果的更改資料。然後,在步驟S340,基於預先訓練的LSTM,將損傷識別結果、圖片特徵資訊和用戶更改作為輸入,得到最佳化後的損傷識別結果。
在一個實施例中,如圖5所示,H
0表示基於損傷識別模型確定的初步損傷識別結果,X
1表示圖片特徵資訊,此時用戶沒有修改,所以輸出的H
1仍為初步損傷識別結果;進一步地,X
2表示圖片特徵資訊和用戶基於初步損傷識別結果進行的更改,將H
1和X
2輸入預先訓練的LSTM中,可以得到的最佳化後的損傷識別結果H
2。
更進一步地,後續可以繼續接收用戶對損傷識別結果的更改,並將此次更改和圖片特徵資訊作為X
n,以及將X
n和此次修改所基於的損傷識別結果H
n-1輸入LSTM中,以得到對應的最佳化識別結果H
n。
需要說明的是,預先訓練LSTM的過程與使用訓練好的LSTM的過程類似,區別在於在訓練LSTM的過程中,需要使用大量的標註有損傷識別結果的車輛損傷樣本,並結合與工作人員的互動資料,以對LSTM進行訓練。因此,對LSTM的訓練過程的介紹可以參見以下對其的使用過程的介紹,在此不作贅述。
此外,考慮到一次碰撞或者刮擦事故造成的車體表面的多處損傷往往具有相似的視覺特徵,比如損傷的高度基本一致,痕跡趨於連貫,或者由於刮擦而附著上的顏色相同。同時,對於容易被誤判為損傷的反光、污漬等,通常具有類似的視覺效果。根據這樣的特點,提出在使用LSTM最佳化損傷識別結果的過程中引入Attention機制,即注意力機制,來進一步最佳化損傷檢測的結果。
Attention機制是自然語言處理中常常用到的一個概念。在進行自然語言處理,需要理解一個詞或一句話的意思的時候,上下文的資訊非常關鍵,可以幫助理解一個詞或一句話的準確意思。然而,不同位置的上下文對當前要處理的詞句的影響作用並不相同,要投入的“注意力”也就不同,並且對當前詞句最有影響的上下文的位置並不固定,因為它可能出現在當前詞句之前或之後,距離也不確定。因此就需要attention機制解決這樣的問題。
Attention機制也可以被應用到影像處理領域中。例如,可以應用該機制去學習和確定,在一張圖片中,哪些區域是對識別當前對象比較關鍵的區域,也就是需要投入更多注意力的區域。
基於LSTM可以處理資料序列和attention機制的特點,在本說明書的一個或多個實施例中,借鑒Attention機制的思路,對於損傷識別模型識別出的多個損傷框,關注某個損傷框與其他損傷框之間的相似度關聯,由此排除異常區域(outlier),最佳化損傷檢測的結果。
在一個實施例中,損傷識別結果中包括多個損傷框,用戶更改包括對其中某個損傷框的刪除,被刪除的損傷框中的損傷對象很可能不是損傷,如實為污漬等,或者不是此次事故造成的損傷。由此可以推想,在其他損傷框中,如果存在與被刪除的損傷框較為相似的損傷框,也需要對其進行刪除,並保留不太相似的損傷框。由此,在一個具體的實施例中,用戶更改包括刪除損傷識別結果中的第一損傷框,相應地,最佳化損傷識別結果可以包括:首先確定第一損傷框與多個其他損傷框的多個相似度,然後將多個相似度中低於預設臨限值的相似度所對應的損傷框,作為最佳化後的損傷識別結果的一部分。進一步地,在一個具體的實施例中,確定損傷框之間的相似度可以包括,首先確定損傷框對應的特徵向量,然後將對應的特徵向量之間的點積作為相似度。
根據一個具體的例子,損傷識別結果包括圖4b中示出的三個損傷框,用戶對其中的“右後車門中度變形”進行了刪除,據此,可以分別計算損傷類別為“右後車門中度變形”損傷框(記為損傷框1)與損傷類別為“擋泥板中度變形”的損傷框(記為損傷框2)、以及與損傷類別為“右後車門輕度刮擦”的損傷框(記為損傷框3)之間的相似度,假定計算出的相似度分別為0.8和0.1,而預設臨限值為0.7,則可以對損傷類別為“擋泥板中度變形”的損傷框2進行刪除,最佳化後的損傷識別結果如圖4d所示。可以看到,損傷框2與用戶刪除的損傷框1之間存在較高的相似度(實際上兩者都是反光),在用戶確認損傷框1不是真實損傷因而進行刪除的情況下,經過損傷最佳化過程,與損傷框1相似的損傷框2也得到刪除。
另一方面,在用戶通過更多方式更改損傷框的情況下,可以利用損傷識別模型在產生損傷識別結果過程中產生的候選損傷框,基於用戶的更改進行損傷識別最佳化。
一般來說,損傷識別模型為了識別損傷結果,在提取圖片特徵資訊後,會基於圖片特徵資訊產生候選損傷框,然後再根據預設的判別條件,從候選損傷框中確定出至少一部分損傷框,作為損傷結果中的損傷框。基於此,在用戶更改損傷框的情況下,最佳化損傷識別結果可以包括:首先獲取損傷識別模型基於圖片特徵資訊產生的候選損傷框,其中包括所述損傷結果中的損傷框;接著基於用戶對損傷識別結果中損傷框的更改,更新候選損傷框;然後,對於更新後的候選損傷框,基於各個候選損傷框之間的相似度,確定出最佳化後的損傷框,並將最佳化後的損傷框作為最佳化後的損傷識別結果的一部分。
進一步地,根據一個具體的實施例,其中從更新後的候選損傷框中確定出最佳化後的損傷框,包括:首先,確定更新後的候選損傷框中任意的第一候選損傷框與其他候選損傷框的多個相似度;接著,將多個相似度輸入預定的預測模型,並根據預測模型的輸出結果,確定第一候選損傷框是否為異常框;然後,在第一候選損傷框不是異常框的情況下,將第一候選損傷框作為最佳化後的損傷框中的一部分。
更進一步地,在一個具體的實施例中,確定更新後的候選損傷框中任意的第一候選損傷框與其他候選損傷框的多個相似度可以包括:計算第一候選損傷框對應的第一特徵向量,分別與多個其他候選損傷框對應的多個其他特徵向量的點積,將多個點積結果確定為所述多個相似度。在其他實施例中,還可以基於候選損傷框的特徵向量之間的其他數學運算,例如求差值向量,求距離等,確定候選損傷框之間的相似度。
關於候選損傷框的特徵向量的提取,在一個例子中,確定與各個候選損傷框對應的特徵向量,可以包括:基於圖片特徵資訊中包括的特徵圖,提取與各個候選損傷框對應的特徵向量。在另一個例子中,其中確定與各個候選損傷框對應的特徵向量,可以包括:從原始的車輛損傷圖片的像素特徵中獲取各個候選損傷框對應的像素特徵,例如RGB像素值,然後基於這些像素特徵提取各個候選損傷區域的特徵向量。
在一個具體的實施例中,其中預測模型可以通過正樣本和負樣本預先訓練,然後直接將訓練好的預測模型作為LSTM中的一部分。進一步地,其中正樣本包括,多個標註為真實損傷的損傷區域,所述負樣本包括,多個標註為真實損傷的損傷區域和至少一個標註為非損傷的區域。需要說明的是,其中的損傷區域和非損傷區域可以理解為對應的標註損傷框所圍成的區域。在一個例子中,預測模型可以為線性迴歸模型。在另一個具體的實施例中,預測模型可以與LSTM中的其他部分聯合協同訓練,也就是說,LSTM的訓練過程包括對預測模型中參數的確定。
根據一個具體的例子,由損傷識別模型產生的候選損傷框包括損傷框A、損傷框B、損傷框C、損傷框D和損傷框E,其中損傷框A、損傷框B和損傷框C為損傷結果中的損傷框。同時,用戶對損傷框的更改包括對損傷框B的刪除,以及將損傷框C縮小為損傷框C’,由此可以得到更新後的候選損傷框包括:損傷框A、損傷框C’、損傷框D和損傷框E。然後,可以分別確定損傷框A與損傷框C’、損傷框D和損傷框E之間的相似度,並將這三個相似度輸入預測模型中,以確定損傷框A是否為異常框,同理,還可以分別確定出損傷框C’、損傷框D和損傷框E是否為異常框。假定確定出損傷框A、損傷框C’和損傷框D不是異常框,而損傷框E為異常框,由此可以將損傷框A、損傷框C’和損傷框D作為最佳化後的損傷結果的一部分。
以上,在LSTM的基礎上引入attention機制,可以實現對損傷識別結果的進一步最佳化。
綜上可知,採用本說明書實施例提供的最佳化損傷識別結果的方法,首先基於用戶拍攝的單張定損圖片提取出圖片特徵資訊,並初步識別出損傷識別結果;然後接收用戶對損傷識別結果的修改資料;再基於預先訓練的LSTM,將提取出的圖片特徵資訊、初步識別出的損傷識別結果和用戶修改資料作為輸入,更新損傷識別結果。如果用戶對更新後的損傷識別結果仍不滿意,還可以再次修改,如此直到用戶對定損結果滿意為止。
以上,主要討論的是針對單張定損圖片的最佳化損傷識別結果的方法。考慮到定損過程中通常涉及到多張定損圖片,除了採用前述方法對其中各張定損圖片分別進行損傷識別及最佳化損傷識別結果之外,發明人認為,還可以考慮各張定損圖片之間的關聯資訊,以實現對多張定損圖片的損傷識別結果的共同最佳化。
同樣地,考慮到LSTM可以處理時間序列資訊,本說明書實施例還提供一種用於多張圖片的最佳化損傷識別結果的方法。圖6示出根據一個實施例的最佳化損傷識別結果的方法流程圖,所述方法的執行主體可以為具有處理能力的設備:伺服器或者系統或者裝置,例如,定損客戶端。如圖6所示,該方法流程包括以下步驟:步驟S610,獲取第一車輛損傷圖片的第一圖片特徵資訊和與所述第一車輛損傷圖片對應的第一損傷識別結果,以及獲取第二車輛損傷圖片的第二圖片特徵資訊和與所述第二車輛損傷圖片對應的第二損傷識別結果;步驟S620,基於預先訓練的長短期記憶網路LSTM,將第一損傷識別結果、第一圖片特徵資訊、第二圖片特徵資訊和第二損傷識別結果作為輸入,得到最佳化後的第二損傷識別結果。下面介紹以上各步驟的執行方式。
首先,在步驟S610,獲取第一車輛損傷圖片的第一圖片特徵資訊和與所述第一車輛損傷圖片對應的第一損傷識別結果,以及獲取第二車輛損傷圖片的第二圖片特徵資訊和與所述第二車輛損傷圖片對應的第二損傷識別結果。
在一個實施例中,可以基於預先訓練的損傷識別模型,提取第一車輛損傷圖片的第一圖片特徵資訊,並確定第一損傷識別結果,以及提取第二車輛損傷圖片的第二圖片特徵資訊,並確定第二損傷識別結果。其中對於損傷識別模型、圖片特徵資訊和損傷識別結果的介紹可以參見前述實施例,在此不作贅述。
進一步地,在一個具體的實施例中,其中獲取的第一損傷識別結果或第二損傷識別結果還可以為基於圖3示出的方法最佳化後的損傷識別結果。在一個例子中,第一損傷識別結果為基於用戶互動資料最佳化後的損傷識別結果,而第二損傷識別結果為基於損傷識別模型初步確定的損傷識別結果,由此,可以結合第一損傷識別結果對第二損傷識別結果進行最佳化,再將最佳化後的第二損傷識別結果展示給用戶。
接著,在步驟S620,基於預先訓練的長短期記憶網路LSTM,將第一損傷識別結果、第一圖片特徵資訊、第二圖片特徵資訊和第二損傷識別結果作為輸入,得到最佳化後的第二損傷識別結果。
需要說明的是,此處涉及的預先訓練的LSTM與前述步驟S340中提及的預先訓練的LSTM不相同,前述步驟S340中的預先訓練的LSTM用於根據用戶的互動資料最佳化單張定損圖片的定損結果,而此步驟中的LSTM用於根據其他圖片的定損結果來最佳化當前圖片的定損結果。可以理解的是,這是兩個需要分別訓練的模型,但是,可以將這兩個模型進行嵌套使用。
在一個實施例中,可以將第一圖片特徵資訊和第一損傷識別結果作為初始輸入,以及將第二圖片特徵資訊和第二損傷識別結果作為當前時刻的新增輸入,並將這兩部分的輸入共同輸入到預先訓練的LSTM中,以得到最佳化後的第二損傷識別結果。同樣地,可以在LSTM的基礎上結合attention機制,以使第二損傷識別結果得到更好的最佳化。
在一個實施例中,第二損傷結果中包括第一損傷框,相應地,最佳化第二損傷識別結果可以包括:首先,基於區域匹配定位演算法,從第一車輛圖片中確定與第一損傷框匹配的匹配區域;然後,根據匹配區域對第一損傷框的類別進行最佳化。
在一個具體的例子中,用戶發現圖4d中車燈的損傷沒有被識別出來,因此增加了一張對車燈拍攝的近景圖片,具體如圖7a所示。此時,基於損傷識別模型可以確定出圖7b中示出的第二損傷識別結果,即,第一損傷框和對應的損傷類別“車燈碎裂”。據此,從圖片中識別出車燈碎裂的類別資訊,但具體是哪個車燈發生碎裂,比如車輛前燈或車輛尾燈沒有被識別出來,但基於圖4d可以得知,為車輛右側尾燈。具體地,最佳化第二損傷識別結果可以包括:首先,基於區域匹配定位演算法,從第一車輛圖片中確定與第一損傷框匹配區域;然後,獲取基於圖片特徵資訊識別出的匹配區域的部件資訊,即車輛右側尾燈,將第一損傷框的類別最佳化為“車輛右側尾燈碎裂”,並將最佳化後的損傷識別結果展示給用戶,如圖7c所示。
需要說明的是,在步驟S620之後,一方面,用戶可以繼續拍攝車輛損傷圖片,或者對已拍攝的車輛損傷圖片進行選擇性刪除,基於用戶對圖片的添加或刪除操作,可以採用圖6示出的最佳化方法對損傷識別結果進行更新最佳化。另一方面,還可以採用圖3示出的步驟S330和步驟S340,通過接收用戶對第二損傷識別結果的修改,對第二損傷識別結果進行進一步最佳化,直到用戶對第二損傷識別結果滿意為止。
此外,在步驟S620之後,可以包括將最佳化後的第二損傷識別結果和所述第二圖片特徵資訊,以及所述第一損傷識別結果和所述第一圖片特徵資訊作為輸入,以最佳化所述第一損傷識別結果。也就是說,在根據第一損傷識別結果對第二損傷識別結果進行最佳化以後,接著可以利用最佳化後的第二損傷識別結果對第一損傷識別結果進行最佳化。
如前述實施例,最佳化第二損傷識別結果可以包括:首先基於區域匹配定位演算法,從第一車輛圖片中確定與第一損傷框匹配的匹配區域;然後根據匹配區域對第一損傷框的類別進行最佳化。
進一步地,最佳化第二損傷識別結果可以包括:根據所述匹配區域最佳化第一損傷識別結果中的至少一個損傷框。根據一個具體的例子,如圖7c所示,最佳化後的第二損傷識別結果包括類別為“車輛右側尾燈碎裂”的損傷框,據此可以在第一車輛圖片中與該損傷框的匹配區域,標識出相應的損傷框,最佳化後的第一損傷識別結果如圖7d所示。
綜上可知,採用本說明書實施例提供的最佳化損傷識別結果的方法,可以結合其他圖片的定損結果,對當前圖片的定損結果進行最佳化。
根據再一方面的實施例,還提供一種最佳化裝置,應用於單張圖片的處理。圖8示出根據一個實施例的最佳化損傷識別結果的裝置結構圖,該裝置800包括:
獲取單元810,用於獲取用戶輸入的車輛損傷圖片;
提取單元820,用於基於預先訓練的損傷識別模型,提取圖片特徵資訊;
確定單元830,用於確定與所述車輛損傷圖片對應的損傷識別結果,所述損傷識別結果至少包括損傷框;
展示單元840,用於向用戶展示所述損傷識別結果;
接收單元850,用於接收所述用戶基於所述損傷識別結果做出的更改;
最佳化單元860,用於基於預先訓練的長短期記憶網路LSTM,將所述損傷識別結果、所述圖片特徵資訊和所述更改作為輸入,得到最佳化後的損傷識別結果。
在一個實施例中,所述提取單元中的損傷識別模型基於以下步驟預先訓練:
獲取標註有損傷識別結果的多張歷史車輛損傷圖片;
基於卷積神經網路CNN,將所述多張歷史車輛損傷圖片作為訓練樣本,訓練所述損傷識別模型。
在一個實施例中,所述損傷識別結果還包括與損傷框對應的損傷類別;所述更改包括更改損傷框,和/或,更改損傷類別;其中所述更改損傷框包括刪除、添加、移動、縮小和放大中的至少一種。
進一步地,一方面,在一個具體的實施例中,其中所述更改包括更改損傷框;所述最佳化單元860具體包括:
獲取子單元861,用於根據圖片特徵資訊,獲取所述損傷識別模型為獲得損傷識別結果而產生的候選損傷框,其中包括所述損傷結果中的損傷框;
更新子單元862,用於基於所述更改,更新所述候選損傷框;
確定子單元863,用於對於更新後的候選損傷框,基於各個候選損傷框之間的相似度,確定出最佳化後的損傷框,並將最佳化後的損傷框作為最佳化後的損傷識別結果的一部分。
更進一步地,在一個例子中,其中所述確定子單元863具體用於:
確定所述更新後的候選損傷框中任意的第一候選損傷框與其他候選損傷框的多個相似度;
將所述多個相似度輸入預定的預測模型,根據預測模型的輸出結果,確定第一候選損傷框是否為異常框,所述預測模型包含在所述LSTM中;
在所述第一候選損傷框不是異常框的情況下,將所述第一候選損傷框作為所述最佳化後的損傷框中的一部分。
更進一步地,在一個例子中,其中所述確定子單元863具體用於確定所述更新後的候選損傷框中任意的第一候選損傷框與其他候選損傷框的多個相似度,包括:
計算所述第一候選損傷框對應的第一特徵向量,分別與多個其他候選損傷框對應的多個其他特徵向量的點積,將多個點積結果確定為所述多個相似度。
在另一個例子中,其中所述預測模型通過正樣本和負樣本預先訓練,所述正樣本包括,多個標註為真實損傷的損傷區域,所述負樣本包括,多個標註為真實損傷的損傷區域和至少一個標註為非損傷的區域。
在又一個例子中,其中所述預測模型為線性迴歸模型。
另一方面,在一個具體的實施例中,所述損傷識別結果包括多個損傷框,所述多個損傷框包括第一損傷框,所述更改包括刪除所述第一損傷框;所述最佳化單元860具體用於:
確定所述第一損傷框與多個其他損傷框的多個相似度;
將所述多個相似度中低於預設臨限值的相似度所對應的損傷框,作為最佳化後的損傷識別結果的一部分。
綜上可知,採用本說明書實施例提供的最佳化損傷識別結果的裝置,首先基於用戶拍攝的單張定損圖片提取出圖片特徵資訊,並初步識別出損傷識別結果;然後接收用戶對損傷識別結果的修改資料;再基於預先訓練的LSTM,將提取出的圖片特徵資訊、初步識別出的損傷識別結果和用戶修改資料作為輸入,更新損傷識別結果。如果用戶對更新後的損傷識別結果仍不滿意,還可以再次修改,如此直到用戶對定損結果滿意為止。
根據再一方面的實施例,還提供一種用於最佳化裝置,應用於多張圖片的處理。圖9示出根據一個實施例的最佳化損傷識別結果的裝置結構圖,如圖9所示,該裝置900包括:
獲取單元910,用於獲取第一車輛損傷圖片的第一圖片特徵資訊和與所述第一車輛損傷圖片對應的第一損傷識別結果,以及獲取第二車輛損傷圖片的第二圖片特徵資訊和與所述第二車輛損傷圖片對應的第二損傷識別結果;
第一最佳化單元920,用於基於預先訓練的長短期記憶網路LSTM,將所述第一損傷識別結果、所述第一圖片特徵資訊、所述第二圖片特徵資訊和所述第二損傷識別結果作為輸入,得到最佳化後的第二損傷識別結果。
在一個實施例中,其中所述第一圖片特徵資訊和第二圖片特徵資訊基於預先訓練的損傷識別模型而分別提取。
在一個實施例中,其中所述第一損傷識別結果和第二損傷識別結果,基於預先訓練的損傷識別模型而分別確定,或者,基於圖3中示出的方法而分別確定。
在一個實施例中,其中所述第二損傷識別結果包括第一損傷框;所述第一最佳化單元920具體用於:
基於區域匹配定位演算法,從所述第一車輛圖片中確定與所述第一損傷框匹配的匹配區域;
根據所述匹配區域對所述第一損傷框的類別進行最佳化。
在一個實施例中,該裝置還包括:
第二最佳化單元930,用於將最佳化後的第二損傷識別結果和所述第二圖片特徵資訊,以及所述第一損傷識別結果和所述第一圖片特徵資訊作為輸入,得到最佳化後的第一損傷識別結果。
進一步地,在一個具體的實施例中,其中所述第二損傷識別結果包括第一損傷框;所述第一最佳化單元920具體用於:
基於區域匹配定位演算法,從所述第一車輛圖片中確定與所述第一損傷框匹配的匹配區域;
根據所述匹配區域對所述第一損傷框的類別進行最佳化;
其中所述第二最佳化單元930具體用於:根據所述匹配區域最佳化所述第一損傷識別結果中的至少一個損傷框。
綜上可知,採用本說明書實施例提供的最佳化損傷識別結果的裝置,可以結合其他圖片的定損結果,對當前圖片的定損結果進行最佳化。
如上,根據又一方面的實施例,還提供一種電腦可讀儲存媒體,其上儲存有電腦程式,當所述電腦程式在電腦中執行時,令電腦執行結合圖3或圖6所描述的方法。
根據又一方面的實施例,還提供一種計算設備,包括記憶體和處理器,所述記憶體中儲存有可執行碼,所述處理器執行所述可執行碼時,實現結合圖3或圖6所描述的方法。
本領域技術人員應該可以意識到,在上述一個或多個示例中,本說明書揭露的多個實施例所描述的功能可以用硬體、軟體、韌體或它們的任意組合來實現。當使用軟體實現時,可以將這些功能儲存在電腦可讀媒體中或者作為電腦可讀媒體上的一個或多個指令或碼進行傳輸。
以上所述的具體實施方式,對本說明書揭露的多個實施例的目的、技術方案和有益效果進行了進一步詳細說明,所應理解的是,以上所述僅為本說明書揭露的多個實施例的具體實施方式而已,並不用於限定本說明書揭露的多個實施例的保護範圍,凡在本說明書揭露的多個實施例的技術方案的基礎之上,所做的任何修改、等同替換、改進等,均應包括在本說明書揭露的多個實施例的保護範圍之內。
S310,S320,S330,S340:步驟
S610,S620:步驟
800:裝置
810:獲取單元
820:提取單元
830:確定單元
840:展示單元
850:接收單元
860:最佳化單元
861:獲取子單元
862:更新子單元
863:確定子單元
900:裝置
910:獲取單元
920:第一最佳化單元
930:第二最佳化單元
為了更清楚地說明本說明書揭露的多個實施例的技術方案,下面將對實施例描述中所需要使用的圖式作簡單地介紹,顯而易見地,下面描述中的圖式僅僅是本說明書揭露的多個實施例,對於本領域普通技術人員來講,在不付出創造性勞動的前提下,還可以根據這些圖式獲得其它的圖式。
圖1示出根據一個實施例的LSTM中神經元的時序圖;
圖2為本說明書揭露的一個實施例的實施場景示意圖;
圖3示出根據一個實施例的最佳化損傷識別結果的方法流程圖;
圖4a示出車輛損傷圖片的一個示例;
圖4b示出損傷識別模型識別出的損傷識別結果的例子;
圖4c示出用戶修改後的損傷識別結果;
圖4d示出最佳化後的損傷識別結果;
圖5示出根據一個實施例的LSTM在使用過程中的時序示意圖;
圖6示出根據一個實施例的最佳化損傷識別結果的方法流程圖;
圖7a示出車輛損傷圖片的一個示例;
圖7b示出損傷識別模型識別出的損傷識別結果的例子;
圖7c示出最佳化後的損傷識別結果;
圖7d示出最佳化後的損傷識別結果;
圖8示出根據一個實施例的最佳化損傷識別結果的裝置結構圖;
圖9示出根據一個實施例的最佳化損傷識別結果的裝置結構圖。
Claims (32)
- 一種最佳化損傷識別結果的方法,所述方法應用於單張圖片的處理,所述方法包括: 獲取用戶輸入的車輛損傷圖片; 基於預先訓練的損傷識別模型,提取圖片特徵資訊,並確定與所述車輛損傷圖片對應的損傷識別結果,所述損傷識別結果至少包括損傷框; 向用戶展示所述損傷識別結果,並接收所述用戶基於所述損傷識別結果做出的更改; 基於預先訓練的長短期記憶網路LSTM,將所述損傷識別結果、所述圖片特徵資訊和所述更改作為輸入,得到最佳化後的損傷識別結果。
- 根據申請專利範圍第1項所述的方法,其中,所述損傷識別模型基於以下步驟預先訓練: 獲取標註有損傷識別結果的多張歷史車輛損傷圖片; 基於卷積神經網路CNN,將所述多張歷史車輛損傷圖片作為訓練樣本,訓練所述損傷識別模型。
- 根據申請專利範圍第1項所述的方法,其中,所述損傷識別結果還包括與損傷框對應的損傷類別;所述更改包括更改損傷框,和/或,更改損傷類別;其中所述更改損傷框包括刪除、添加、移動、縮小和放大中的至少一種。
- 根據申請專利範圍第3項所述的方法,其中所述更改包括更改損傷框;所述得到最佳化後的損傷識別結果,包括: 根據所述圖片特徵資訊,獲取所述損傷識別模型為獲得損傷識別結果而產生的候選損傷框,其中包括所述損傷結果中的損傷框; 基於所述更改,更新所述候選損傷框; 對於更新後的候選損傷框,基於各個候選損傷框之間的相似度,確定出最佳化後的損傷框,並將最佳化後的損傷框作為最佳化後的損傷識別結果的一部分。
- 根據申請專利範圍第4項所述的方法,其中所述確定出最佳化後的損傷框,包括: 確定所述更新後的候選損傷框中任意的第一候選損傷框與其他候選損傷框的多個相似度; 將所述多個相似度輸入預定的預測模型,根據預測模型的輸出結果,確定第一候選損傷框是否為異常框,所述預測模型包含在所述LSTM中; 在所述第一候選損傷框不是異常框的情況下,將所述第一候選損傷框作為所述最佳化後的損傷框中的一部分。
- 根據申請專利範圍第5項所述的方法,其中所述確定所述更新後的候選損傷框中任意的第一候選損傷框與其他候選損傷框的多個相似度,包括: 計算所述第一候選損傷框對應的第一特徵向量,分別與多個其他候選損傷框對應的多個其他特徵向量的點積,將多個點積結果確定為所述多個相似度。
- 根據申請專利範圍第5項所述的方法,其中所述預測模型通過正樣本和負樣本預先訓練,所述正樣本包括,多個標註為真實損傷的損傷區域,所述負樣本包括,多個標註為真實損傷的損傷區域和至少一個標註為非損傷的區域。
- 根據申請專利範圍第5項所述的方法,其中所述預測模型為線性迴歸模型。
- 根據申請專利範圍第3項所述的方法,其中,所述損傷識別結果包括多個損傷框,所述多個損傷框包括第一損傷框,所述更改包括刪除所述第一損傷框;所述最佳化所述損傷識別結果,包括: 確定所述第一損傷框與多個其他損傷框的多個相似度; 將所述多個相似度中低於預設臨限值的相似度所對應的損傷框,作為最佳化後的損傷識別結果的一部分。
- 一種最佳化損傷識別結果的方法,所述方法應用於多張圖片的處理,所述方法包括: 獲取第一車輛損傷圖片的第一圖片特徵資訊和與所述第一車輛損傷圖片對應的第一損傷識別結果,以及獲取第二車輛損傷圖片的第二圖片特徵資訊和與所述第二車輛損傷圖片對應的第二損傷識別結果; 基於預先訓練的長短期記憶網路LSTM,將所述第一損傷識別結果、所述第一圖片特徵資訊、所述第二圖片特徵資訊和所述第二損傷識別結果作為輸入,得到最佳化後的所述第二損傷識別結果。
- 根據申請專利範圍第10項所述的方法,其中所述第一圖片特徵資訊和第二圖片特徵資訊基於預先訓練的損傷識別模型而分別提取。
- 根據申請專利範圍第10項所述的方法,其中所述第一損傷識別結果和第二損傷識別結果,基於預先訓練的損傷識別模型而分別確定,或者,基於申請專利範圍第1項所述的方法而分別確定。
- 根據申請專利範圍第10項所述的方法,其中所述第二損傷識別結果包括第一損傷框;所述得到最佳化後的第二損傷識別結果,包括: 基於區域匹配定位演算法,從所述第一車輛圖片中確定與所述第一損傷框匹配的匹配區域; 根據所述匹配區域對所述第一損傷框的類別進行最佳化。
- 根據申請專利範圍第10項所述的方法,還包括: 將最佳化後的第二損傷識別結果和所述第二圖片特徵資訊,以及所述第一損傷識別結果和所述第一圖片特徵資訊作為輸入,得到最佳化後的第一損傷識別結果。
- 根據申請專利範圍第14項所述的方法,其中所述第二損傷識別結果包括第一損傷框;所述得到最佳化後的第二損傷識別結果,包括: 基於區域匹配定位演算法,從所述第一車輛圖片中確定與所述第一損傷框匹配的匹配區域; 根據所述匹配區域對所述第一損傷框的類別進行最佳化; 其中所述得到最佳化後的第一損傷識別結果,包括:根據所述匹配區域最佳化所述第一損傷識別結果中的至少一個損傷框。
- 一種最佳化損傷識別結果的裝置,所述裝置應用於單張圖片的處理,所述裝置包括: 獲取單元,用於獲取用戶輸入的車輛損傷圖片; 提取單元,用於基於預先訓練的損傷識別模型,提取圖片特徵資訊; 確定單元,用於確定與所述車輛損傷圖片對應的損傷識別結果,所述損傷識別結果至少包括損傷框; 展示單元,用於向用戶展示所述損傷識別結果; 接收單元,用於接收所述用戶基於所述損傷識別結果做出的更改; 最佳化單元,用於基於預先訓練的長短期記憶網路LSTM,將所述損傷識別結果、所述圖片特徵資訊和所述更改作為輸入,得到最佳化後的損傷識別結果。
- 根據申請專利範圍第16項所述的裝置,其中,所述提取單元中的損傷識別模型基於以下步驟預先訓練: 獲取標註有損傷識別結果的多張歷史車輛損傷圖片; 基於卷積神經網路CNN,將所述多張歷史車輛損傷圖片作為訓練樣本,訓練所述損傷識別模型。
- 根據申請專利範圍第16項所述的裝置,其中,所述損傷識別結果還包括與損傷框對應的損傷類別;所述更改包括更改損傷框,和/或,更改損傷類別;其中所述更改損傷框包括刪除、添加、移動、縮小和放大中的至少一種。
- 根據申請專利範圍第18項所述的裝置,其中所述更改包括更改損傷框;所述最佳化單元具體包括: 獲取子單元,用於根據所述圖片特徵資訊,獲取所述損傷識別模型為獲得損傷識別結果而產生的候選損傷框,其中包括所述損傷結果中的損傷框; 更新子單元,用於基於所述更改,更新所述候選損傷框; 確定子單元,用於對於更新後的候選損傷框,基於各個候選損傷框之間的相似度,確定出最佳化後的損傷框,並將最佳化後的損傷框作為最佳化後的損傷識別結果的一部分。
- 根據申請專利範圍第19項所述的裝置,所述確定子單元具體用於: 確定所述更新後的候選損傷框中任意的第一候選損傷框與其他候選損傷框的多個相似度; 將所述多個相似度輸入預定的預測模型,根據預測模型的輸出結果,確定第一候選損傷框是否為異常框,所述預測模型包含在所述LSTM中; 在所述第一候選損傷框不是異常框的情況下,將所述第一候選損傷框作為所述最佳化後的損傷框中的一部分。
- 根據申請專利範圍第20項所述的裝置,其中所述確定子單元具體用於確定所述更新後的候選損傷框中任意的第一候選損傷框與其他候選損傷框的多個相似度,包括: 計算所述第一候選損傷框對應的第一特徵向量,分別與多個其他候選損傷框對應的多個其他特徵向量的點積,將多個點積結果確定為所述多個相似度。
- 根據申請專利範圍第21項所述的裝置,其中所述預測模型通過正樣本和負樣本預先訓練,所述正樣本包括,多個標註為真實損傷的損傷區域,所述負樣本包括,多個標註為真實損傷的損傷區域和至少一個標註為非損傷的區域。
- 根據申請專利範圍第22項所述的裝置,其中所述預測模型為線性迴歸模型。
- 根據申請專利範圍第18項所述的裝置,所述損傷識別結果包括多個損傷框,所述多個損傷框包括第一損傷框,所述更改包括刪除所述第一損傷框;所述最佳化單元具體用於: 確定所述第一損傷框與多個其他損傷框的多個相似度; 將所述多個相似度中低於預設臨限值的相似度所對應的損傷框,作為最佳化後的損傷識別結果的一部分。
- 一種最佳化損傷識別結果的裝置,所述裝置應用於多張圖片的處理,所述裝置包括: 獲取單元,用於獲取第一車輛損傷圖片的第一圖片特徵資訊和與所述第一車輛損傷圖片對應的第一損傷識別結果,以及獲取第二車輛損傷圖片的第二圖片特徵資訊和與所述第二車輛損傷圖片對應的第二損傷識別結果; 第一最佳化單元,用於基於預先訓練的長短期記憶網路LSTM,將所述第一損傷識別結果、所述第一圖片特徵資訊、所述第二圖片特徵資訊和所述第二損傷識別結果作為輸入,得到最佳化後的所述第二損傷識別結果。
- 根據申請專利範圍第25項所述的裝置,其中所述第一圖片特徵資訊和第二圖片特徵資訊基於預先訓練的損傷識別模型而分別提取。
- 根據申請專利範圍第25項所述的裝置,其中所述第一損傷識別結果和第二損傷識別結果,基於預先訓練的損傷識別模型而分別確定,或者,基於申請專利範圍第1項所述的方法而分別確定。
- 根據申請專利範圍第25項所述的裝置,其中所述第二損傷識別結果包括第一損傷框;所述第一最佳化單元具體用於: 基於區域匹配定位演算法,從所述第一車輛圖片中確定與所述第一損傷框匹配的匹配區域; 根據所述匹配區域對所述第一損傷框的類別進行最佳化。
- 根據申請專利範圍第25項所述的裝置,還包括: 第二最佳化單元,用於將最佳化後的第二損傷識別結果和所述第二圖片特徵資訊,以及所述第一損傷識別結果和所述第一圖片特徵資訊作為輸入,得到最佳化後的第一損傷識別結果。
- 根據申請專利範圍第29項所述的裝置,其中所述第二損傷識別結果包括第一損傷框;所述第一最佳化單元具體用於: 基於區域匹配定位演算法,從所述第一車輛圖片中確定與所述第一損傷框匹配的匹配區域; 根據所述匹配區域對所述第一損傷框的類別進行最佳化; 其中所述第二最佳化單元具體用於:根據所述匹配區域最佳化所述第一損傷識別結果中的至少一個損傷框。
- 一種電腦可讀儲存媒體,其上儲存有電腦程式,當所述電腦程式在電腦中執行時,令電腦執行申請專利範圍第1至15項中任一項的所述的方法。
- 一種計算設備,包括記憶體和處理器,其特徵在於,所述記憶體中儲存有可執行碼,所述處理器執行所述可執行碼時,實現申請專利範圍第1至15項中任一項所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811122031.9 | 2018-09-26 | ||
CN201811122031.9A CN110569700B (zh) | 2018-09-26 | 2018-09-26 | 优化损伤识别结果的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202013249A TW202013249A (zh) | 2020-04-01 |
TWI698804B true TWI698804B (zh) | 2020-07-11 |
Family
ID=68772389
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108124232A TWI698804B (zh) | 2018-09-26 | 2019-07-10 | 最佳化損傷識別結果的方法及裝置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11069052B2 (zh) |
EP (1) | EP3859592A4 (zh) |
CN (1) | CN110569700B (zh) |
SG (1) | SG11202100124XA (zh) |
TW (1) | TWI698804B (zh) |
WO (1) | WO2020063099A1 (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110569864A (zh) * | 2018-09-04 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 基于gan网络的车损图像生成方法和装置 |
US11657373B2 (en) * | 2020-08-21 | 2023-05-23 | Accenture Global Solutions Limited | System and method for identifying structural asset features and damage |
CN113325011B (zh) * | 2021-05-24 | 2024-03-29 | 华能秦煤瑞金发电有限责任公司 | 一种基于深度学习的混凝土结构损伤检测方法 |
EP4160549A4 (en) * | 2021-06-29 | 2024-02-14 | Beijing Baidu Netcom Science And Technology Co., Ltd. | METHOD, DEVICE AND SYSTEM FOR IMAGE-BASED ASSESSMENT OF VEHICLE LOSS |
CN113361457A (zh) * | 2021-06-29 | 2021-09-07 | 北京百度网讯科技有限公司 | 基于图像的车辆定损方法、装置及系统 |
CN113537167B (zh) * | 2021-09-15 | 2021-12-03 | 成都数联云算科技有限公司 | 一种车辆外观识别方法及系统及装置及介质 |
US12002192B2 (en) * | 2021-11-16 | 2024-06-04 | Solera Holdings, Llc | Transfer of damage markers from images to 3D vehicle models for damage assessment |
CN115546767B (zh) * | 2022-11-30 | 2023-04-07 | 广汽埃安新能源汽车股份有限公司 | 数据发送方法、装置、设备和计算机可读介质 |
CN116091457B (zh) * | 2023-01-16 | 2023-10-27 | 北京航科星云科技有限公司 | 一种卫星太阳电池阵异常预测方法、装置及计算机设备 |
CN116168356B (zh) * | 2023-04-26 | 2023-07-21 | 威海海洋职业学院 | 一种基于计算机视觉的车辆损伤判别方法 |
CN117197538B (zh) * | 2023-08-16 | 2024-05-14 | 哈尔滨工业大学 | 一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法 |
CN117437496B (zh) * | 2023-12-21 | 2024-05-28 | 惠联云技术(深圳)有限公司 | 基于机器视觉的电脑一体机良率检测方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050251427A1 (en) * | 2004-05-07 | 2005-11-10 | International Business Machines Corporation | Rapid business support of insured property using image analysis |
US20130317863A1 (en) * | 2012-05-24 | 2013-11-28 | State Farm Mutual Automobile Insurance Company | Computer programs for real-time accident documentation and claim submission |
US20140309805A1 (en) * | 2012-03-14 | 2014-10-16 | Flextronics Ap, Llc | Vehicle damage detection and indication |
TWI536326B (zh) * | 2012-07-20 | 2016-06-01 | 緯創資通股份有限公司 | 車輛碰撞事故通報系統及方法 |
US20170148102A1 (en) * | 2015-11-23 | 2017-05-25 | CSI Holdings I LLC | Damage assessment and repair based on objective surface data |
CN107092922A (zh) * | 2017-03-13 | 2017-08-25 | 平安科技(深圳)有限公司 | 车损识别方法及服务器 |
CN107358596A (zh) * | 2017-04-11 | 2017-11-17 | 阿里巴巴集团控股有限公司 | 一种基于图像的车辆定损方法、装置、电子设备及系统 |
CN107665353A (zh) * | 2017-09-15 | 2018-02-06 | 平安科技(深圳)有限公司 | 基于卷积神经网络的车型识别方法、装置、设备及计算机可读存储介质 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110218825A1 (en) * | 2010-03-03 | 2011-09-08 | International Business Machines Corporation | Three-dimensional interactive vehicle damage claim interface |
CN105550756B (zh) * | 2015-12-08 | 2017-06-16 | 优易商业管理成都有限公司 | 一种基于模拟车辆受损的汽车快速定损方法 |
US10268671B2 (en) * | 2015-12-31 | 2019-04-23 | Google Llc | Generating parse trees of text segments using neural networks |
US20170262996A1 (en) * | 2016-03-11 | 2017-09-14 | Qualcomm Incorporated | Action localization in sequential data with attention proposals from a recurrent network |
US10692050B2 (en) * | 2016-04-06 | 2020-06-23 | American International Group, Inc. | Automatic assessment of damage and repair costs in vehicles |
CN107871134A (zh) * | 2016-09-23 | 2018-04-03 | 北京眼神科技有限公司 | 一种人脸检测方法及装置 |
US10963782B2 (en) * | 2016-11-04 | 2021-03-30 | Salesforce.Com, Inc. | Dynamic coattention network for question answering |
US10255521B2 (en) * | 2016-12-12 | 2019-04-09 | Jack Cooper Logistics, LLC | System, method, and apparatus for detection of damages on surfaces |
CN108461080A (zh) * | 2017-02-21 | 2018-08-28 | 中兴通讯股份有限公司 | 一种基于hlstm模型的声学建模方法和装置 |
CN107403424B (zh) * | 2017-04-11 | 2020-09-18 | 阿里巴巴集团控股有限公司 | 一种基于图像的车辆定损方法、装置及电子设备 |
CN107220648B (zh) * | 2017-04-11 | 2018-06-22 | 平安科技(深圳)有限公司 | 理赔单据的字符识别方法及服务器 |
CN111914692B (zh) * | 2017-04-28 | 2023-07-14 | 创新先进技术有限公司 | 车辆定损图像获取方法及装置 |
CN107748893A (zh) * | 2017-09-29 | 2018-03-02 | 阿里巴巴集团控股有限公司 | 提升车辆定损图像识别结果的方法、装置及服务器 |
CN108090838B (zh) * | 2017-11-21 | 2020-09-29 | 阿里巴巴集团控股有限公司 | 识别车辆受损部件的方法、装置、服务器、客户端及系统 |
CN107944831A (zh) * | 2017-12-07 | 2018-04-20 | 平安科技(深圳)有限公司 | 汽车报损方法、应用服务器及计算机可读存储介质 |
CN107977895A (zh) * | 2017-12-08 | 2018-05-01 | 北京小米移动软件有限公司 | 车辆损毁信息的确定方法、装置及用户设备 |
-
2018
- 2018-09-26 CN CN201811122031.9A patent/CN110569700B/zh active Active
-
2019
- 2019-07-10 TW TW108124232A patent/TWI698804B/zh active
- 2019-07-31 EP EP19864038.5A patent/EP3859592A4/en active Pending
- 2019-07-31 SG SG11202100124XA patent/SG11202100124XA/en unknown
- 2019-07-31 WO PCT/CN2019/098545 patent/WO2020063099A1/zh unknown
-
2021
- 2021-01-22 US US17/156,198 patent/US11069052B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050251427A1 (en) * | 2004-05-07 | 2005-11-10 | International Business Machines Corporation | Rapid business support of insured property using image analysis |
US20140309805A1 (en) * | 2012-03-14 | 2014-10-16 | Flextronics Ap, Llc | Vehicle damage detection and indication |
US20130317863A1 (en) * | 2012-05-24 | 2013-11-28 | State Farm Mutual Automobile Insurance Company | Computer programs for real-time accident documentation and claim submission |
TWI536326B (zh) * | 2012-07-20 | 2016-06-01 | 緯創資通股份有限公司 | 車輛碰撞事故通報系統及方法 |
US20170148102A1 (en) * | 2015-11-23 | 2017-05-25 | CSI Holdings I LLC | Damage assessment and repair based on objective surface data |
CN107092922A (zh) * | 2017-03-13 | 2017-08-25 | 平安科技(深圳)有限公司 | 车损识别方法及服务器 |
CN107358596A (zh) * | 2017-04-11 | 2017-11-17 | 阿里巴巴集团控股有限公司 | 一种基于图像的车辆定损方法、装置、电子设备及系统 |
CN107665353A (zh) * | 2017-09-15 | 2018-02-06 | 平安科技(深圳)有限公司 | 基于卷积神经网络的车型识别方法、装置、设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP3859592A4 (en) | 2022-07-06 |
SG11202100124XA (en) | 2021-02-25 |
CN110569700B (zh) | 2020-11-03 |
EP3859592A1 (en) | 2021-08-04 |
TW202013249A (zh) | 2020-04-01 |
US11069052B2 (en) | 2021-07-20 |
WO2020063099A1 (zh) | 2020-04-02 |
US20210174493A1 (en) | 2021-06-10 |
CN110569700A (zh) | 2019-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI698804B (zh) | 最佳化損傷識別結果的方法及裝置 | |
TWI742382B (zh) | 透過電腦執行的、用於車輛零件識別的神經網路系統、透過神經網路系統進行車輛零件識別的方法、進行車輛零件識別的裝置和計算設備 | |
TWI729405B (zh) | 優化損傷檢測結果的方法及裝置 | |
US11176381B2 (en) | Video object segmentation by reference-guided mask propagation | |
TWI726364B (zh) | 電腦執行的車輛定損方法及裝置 | |
WO2019238063A1 (zh) | 文本检测分析方法、装置及设备 | |
US10853699B2 (en) | Method and apparatus for vehicle damage identification | |
CN110647829A (zh) | 一种票据的文本识别方法及系统 | |
CN110651276A (zh) | 标注和标记用于深度神经网络和神经网络应用的数据流的在线增量实时学习 | |
CN110532431B (zh) | 短视频关键词提取方法、装置及存储介质 | |
US20220292861A1 (en) | Docket Analysis Methods and Systems | |
CN115116074A (zh) | 一种手写体文字识别、及模型训练方法和装置 | |
CN115810197A (zh) | 一种多模态电力表单识别方法及装置 | |
CN110738576A (zh) | 为受损车辆生成定损文件的方法及装置 | |
CN112926700A (zh) | 针对目标图像的类别识别方法和装置 | |
CN116110047A (zh) | 基于ocr-ner的结构化电子病历构建方法和系统 | |
CN114581911B (zh) | 一种钢卷标号识别方法及系统 | |
CN116433936A (zh) | 图像检测方法、装置、电子设备及存储介质 | |
CN116071544A (zh) | 面向弱监督指向性视觉理解的图像描述预测方法 | |
JP2023069083A (ja) | 学習装置、学習方法、学習プログラム、物体検出装置、物体検出方法、物体検出プログラム、学習支援システム、学習支援方法及び学習支援プログラム | |
Dahlberg et al. | Tag recognition from panoramic scans of industrial facilities | |
CN117710763B (zh) | 图像噪声识别模型训练方法、图像噪声识别方法及装置 | |
CN116012656B (zh) | 样本图像的生成方法和图像处理模型的训练方法、装置 | |
CN113850301B (zh) | 训练数据的获取方法和装置、模型训练方法和装置 | |
CN112560866B (zh) | 一种基于背景抑制的ocr识别方法 |