下面結合附圖,對本說明書提供的方案進行描述。
車輛智慧型定損,主要涉及從普通使用者拍攝的現場損失影像中,自動識別影像中反映的車損狀況。為了對車輛影像中的車損狀況進行識別,業界普遍採用的方法是,透過與巨量歷史資料庫進行比對得到相似的影像,來決定影像上的損傷組件及其程度。然而,這樣的方式損傷識別準確率不夠理想。
根據本說明書的構思和實施框架,考慮到車損狀況一般需要包含車輛組件資訊和損傷程度資訊,即,什麼組件受到了什麼類型/程度的損傷,在多個實施例中,對車輛組件和車輛損傷分別進行識別,然後對結果進行融合。
圖1為本說明書披露的一個實施例的實施情境示意圖。如圖1所示,在獲取到車輛損傷影像之後,分別將其輸入到損傷檢測模型和組件模型,從而得到損傷檢測資訊和組件資訊。其中,損傷檢測資訊包括識別出的損傷檢測框,組件資訊不僅包含識別出的組件檢測框,還包括組件輪廓的分割資訊。透過綜合損傷檢測資訊和組件資訊,可以產生組件級損傷特徵,該組件級損傷特徵包括,某個組件的組件特徵,以及屬於該組件的所有損傷檢測框的損傷特徵的融合。如此,可以使用上述組件級損傷特徵,來表徵組件+損傷的整體特徵。
接著,將該組件級損傷特徵分別輸入多個預測模型,分別確定組件和損傷的類別。更具體的,多個預測模型可以包括作為條件預測模型的第一條件預測模型和第二條件預測模型。第一條件預測模型基於對損傷進行人工標記的訓練資料而訓練,側重於對損傷類別進行預測。更具體的,當將上述組件級損傷特徵和備選的組件類別+損傷類別的二元組輸入給第一條件預測模型時,該模型可以輸出,假設組件類別正確的情況下,損傷類別正確的機率。第二條件預測模型基於對組件進行人工標記的訓練資料而訓練,側重於對組件類別進行預測。更具體的,當將上述組件級損傷特徵和備選的組件類別+損傷類別的二元組輸入給第二條件預測模型時,該模型可以輸出,假設損傷類別正確的情況下,組件類別正確的機率。可選的,還可以採用第三預測模型,給出上述二元組中組件類別和損傷類別均正確的機率。
於是,可以綜合上述多個預測模型的預測結果,確定針對上述組件級損傷特徵,預測的組件類別和損傷類別的結果。如此,得到車輛損傷狀況資訊。下面描述智慧型定損的具體實現過程。
圖2示出根據一個實施例的車輛定損方法的流程圖。該方法可以透過任何具有計算、處理能力的裝置、設備、平台和設備集群來執行。如圖2所示,該方法至少包括以下步驟:
步驟21,獲取待識別的車損影像;
步驟22,利用預先訓練的損傷檢測模型,獲取損傷物件檢測資訊,其包括,框選出所述車損影像中多個損傷物件的多個損傷檢測框的資訊;
步驟23,利用預先訓練的組件模型,獲取針對所述車損影像的車輛組件資訊,其中包括,組件物件檢測資訊,和組件分割資訊,所述組件物件檢測資訊中包括檢測出的第一組件;
步驟24,基於所述損傷物件檢測資訊和所述車輛組件資訊,針對所述第一組件產生第一綜合特徵,所述第一綜合特徵包括,該第一組件的組件特徵,以及融合損傷特徵,所述融合損傷特徵透過將所述多個損傷檢測框中,同屬於所述第一組件的至少一個損傷檢測框的損傷特徵進行融合而得到;
步驟25,確定針對所述第一組件的多個備選預測結果,每個備選預測結果包括備選組件類別和備選損傷類別;
步驟26,將所述第一綜合特徵和所述多個備選預測結果輸入預先訓練的第一條件預測模型,得到第一預測結果,所述第一預測結果包括,每個備選預測結果中,備選損傷類別正確的機率;
步驟27,將所述第一綜合特徵和所述多個備選預測結果輸入預先訓練的第二條件預測模型,得到第二預測結果,所述第二預測結果包括,每個備選預測結果中,備選組件類別正確的機率;
步驟28,至少基於所述第一預測結果和所述第二預測結果,確定所述第一組件的組件類別及其對應的損傷類別。
下面描述以上各個步驟的執行方式。
首先,在步驟21,獲取待識別的車輛損傷影像。可以理解,該影像可以是普通使用者拍攝的車損現場的影像,是有待進行損傷識別的影像。
圖3示出車損影像的一個實例。該影像是普通使用者拍攝的未經處理的現場影像。
接著,在步驟22,利用預先訓練的損傷檢測模型,獲取損傷物件檢測資訊。
需要理解的是,損傷檢測模型是電腦視覺領域中典型的目標檢測模型的一種具體化應用。如本領域技術人員所知,目標檢測模型用於從影像中識別出特定的目標物件,並對目標物件進行分類。一般地,目標檢測模型基於標記的影像樣本進行訓練而得到,在訓練完成之後,可以對未知影像中的特定目標物件進行檢測和識別。具體而言,目標檢測模型會輸出目標檢測框和預測類別,其中目標檢測框是框選出目標物件的最小矩形框,預測類別為針對目標檢測框所框選的目標物件預測的類別。
特定的,將車輛損傷作為目標物件進行標記,即可訓練出損傷檢測模型。訓練完成之後,損傷檢測模型即可對未知的車損影像中的損傷物件進行檢測和識別。具體而言,損傷檢測模型輸出的損傷物件檢測資訊包含,框選出車損影像中各個損傷物件的損傷檢測框,以及針對各個損傷檢測框的預測損傷類別。
圖4a示出針對圖3所示的車損影像得到的損傷物件檢測資訊的例子。可以看到,圖4a在圖3的基礎上,包括了一系列矩形框,即為損傷檢測模型輸出的損傷檢測框,每個損傷檢測框框選出一處損傷。損傷檢測模型還針對每個損傷檢測框對應輸出有預測損傷類別,例如各個矩形框左上角的數字即表示損傷類別。例如,圖4a中數字12代表損傷類別為刮擦,還可能有其他數字代表其他損傷類別,例如用數字10代表變形,數字11代表撕裂,數字13代表(玻璃物件)的碎裂,等等。
在本領域中,已經基於各種網路結構和各種檢測演算法提出了各種各樣的目標檢測模型。例如,單階段(one stage)檢測模型可以從影像中直接確定出目標物件的類別機率和位置座標,也就是直接識別出目標物件。單階段檢測模型的典型例子包括,SSD模型,Yolo模型等。兩階段(two stage)的檢測模型首先在影像中產生候選區域,或稱為興趣區域ROI,然後在候選區域中進行目標識別和邊框迴歸。兩階段的檢測模型的典型例子包括,R-CNN模型,Fast R-CNN模型,Faster R-CNN模型等。還提出有其他目標檢測模型。
步驟22中的損傷檢測模型可以採用以上的任意的目標檢測演算法來實現。
在一個實施例中,在步驟22中,將待識別的車損影像輸入到多個損傷檢測模型,該多個損傷檢測模型分別採用不同的目標檢測演算法進行損傷檢測,分別輸出檢測結果,即分別輸出識別的損傷檢測框和預測損傷類別。例如,在一個具體例子中,可以採用3個損傷檢測模型,這3個損傷檢測模型分別採用SSD模型演算法,Yolo模型演算法和FastR-CNN模型演算法,進行損傷物件的檢測。由此,最終得到的損傷檢測資訊包括,來自這3個損傷檢測模型的損傷檢測框的資訊。例如,圖4a所示的一系列的損傷檢測框可以是來自於多個損傷檢測模型的檢測結果。
另一方面,在步驟23,利用預先訓練的組件模型,獲取針對車損影像的車輛組件資訊,車輛組件資訊可以包括,以組件為目標檢測物件的組件物件檢測資訊,以及組件的分割資訊或輪廓資訊。
更具體而言,在一個實施例中,可以採用預先訓練的組件檢測模型,獲取針對車損影像的組件物件檢測資訊,其中包括框選出相應組件的組件檢測框,以及每個組件檢測框對應的預測組件類別。
可以理解,與損傷檢測模型類似的,組件檢測模型也是目標檢測模型的一種具體化應用,也就是將車輛組件作為目標物件的檢測模型。透過將車輛組件作為目標物件進行標記,即可訓練出組件檢測模型。訓練完成之後,組件檢測模型即可對未知的車輛影像中的組件進行檢測和識別。具體而言,組件檢測模型輸出的組件物件檢測資訊包含,框選出車損影像中各個組件的組件檢測框,以及針對各個組件檢測框的預測組件類別。
圖4b示出針對圖3所示的車損影像得到的組件物件檢測資訊的例子。可以看到,圖4b在圖3的基礎上,包括了若干組件檢測框,每個組件檢測框框選出一個組件。組件檢測模型還可以針對每個組件檢測框對應輸出預測組件類別,例如各個矩形框左上角的數字即表示組件類別。例如,圖4b中數字101代表右前門,102代表右後門,103代表門把手,等等。
可以理解,組件檢測模型也可以採用任意的目標檢測演算法來實現,例如,SSD模型,Yolo模型,R-CNN模型,Fast R-CNN模型,Faster R-CNN模型中的演算法等。
在一個實施例中,在步驟23,還利用組件分割模型,獲取對車損影像中各個組件的分割結果。
如本領域技術人員所知,圖像分割模型用於將圖像分割或者劃分為屬於/不屬於特定目標物件的區域,其輸出可以表現為覆蓋特定目標物件區域的遮罩(Mask)。組件分割模型是圖像分割模型的一種具體化應用,用於將車輛影像劃分為屬於/不屬於特定組件的區域。一般地,組件分割模型基於對車輛組件輪廓的標記資料而訓練,在訓練完成之後,即可對未知的車輛影像中的組件進行分割。具體地,組件分割模型輸出的分割結果通常顯示為,覆蓋特定組件的遮罩。
圖4c示出針對圖3所示的車損影像得到的組件分割資訊的例子。可以看到,圖4c在圖3的基礎上,用遮罩覆蓋了右後門的區域,從而實現了相應的組件分割。需要理解的是,為了圖示的簡單和清楚,圖4c僅示出了覆蓋右後門組件的遮罩,而沒有示出覆蓋其他組件的遮罩,但是實際上,組件分割模型可以同時輸出各個組件的分割資訊或輪廓資訊。
在本領域中,已經基於各種網路結構和各種分割演算法提出了多種目標分割模型,例如基於CRF(條件隨機場)的分割模型,Mask R-CNN模型等等。組件分割模型可以採用任意的分割演算法來實現。
在一種實施方式中,以上的組件檢測模型和組件分割模型採用兩個獨立模型來實現,其分別輸出組件物件檢測資訊和組件分割資訊。
在另一種實施方式中,可以採用一些神經網路模型,同時進行組件的檢測和分割。例如,Mask R-CNN模型可以支援目標檢測,目標分類和目標分割這三項任務。因此,在一個實施例中,可以採用上述Mask R-CNN模型結構作為步驟22的組件模型。在這樣的情況下,組件檢測和組件分割可以視為整個組件模型的兩個分支。
如此,透過步驟23,獲取到車損影像中的車輛組件資訊,其中包括,組件物件檢測資訊和組件分割資訊。
需要理解,步驟22和步驟23可以並存執行,或者以任意的先後循序執行,在此不做限定。
在分別在步驟22獲取到損傷物件檢測資訊和在步驟23獲取到車輛組件資訊後,在步驟24,基於這兩部分資訊的融合,產生組件級損傷特徵。組件級損傷特徵是以組件為單位整理的、該組件的綜合損傷特徵。
對於某個組件,為了描述的簡單,將其稱為第一組件,可以基於上述損傷物件檢測資訊和車輛組件資訊,針對該第一組件產生組件級損傷特徵,下文稱為第一綜合特徵。具體地,第一綜合特徵包括,該第一組件的組件特徵,以及融合損傷特徵,所述融合損傷特徵透過將步驟22識別的多個損傷檢測框中,同屬於該第一組件的至少一個損傷檢測框的損傷特徵進行融合而得到。在一個實施例中,上述第一綜合特徵是第一組件的組件特徵和融合損傷特徵的拼接。
接著,先描述第一組件的組件特徵的獲取。
如本領域技術人員所知,在前述的步驟23中,為了獲取到車輛組件資訊,組件模型需要首先對車損影像進行特徵擷取。更具體的,在一個實施例中,組件模型採用基於卷積神經網路CNN的模型架構,包括R-CNN,Fast R-CNN,Mask R-CNN等。卷積神經網路CNN包括若干卷積層,用於對待識別影像進行卷積處理,得到卷積特徵圖(feature map),該卷積特徵圖反映影像內容的抽象特徵。組件模型中後續的組件分類、組件框框迴歸,以及組件分割,均是基於卷積特徵圖中的卷積特徵進行。
因此,在一個實施例中,可以從組件模型對應的卷積神經網路的卷積層中獲取,與第一組件相關的影像卷積特徵,作為上述組件特徵。
在一個實施例中,還可以將組件模型輸出的車輛組件資訊中,與第一組件相關的部分,也作為組件特徵的一部分,例如,該第一組件的分割結果特徵,預測結果特徵,等等。
接著,描述第一組件的融合損傷特徵的獲取。
圖5示出根據一個實施例的獲取融合損傷特徵的步驟流程。可以理解,這些步驟均為圖2中步驟24的子步驟。如圖5所示,為了獲取第一組件的融合損傷特徵,首先在步驟51,根據損傷物件檢測資訊和組件分割資訊,確定同屬於該第一組件的至少一個損傷檢測框。
如前所述,損傷物件檢測資訊透過步驟22提供,其中包括針對車損影像識別出的多個損傷檢測框,以及針對各個損傷檢測框的預測損傷類別,如圖4a所示。組件分割資訊透過步驟23提供,其中包括對影像進行區域劃分的資訊,例如呈現為覆蓋特定組件的遮罩,如圖4c所示。基於這兩部分資訊,可以確定出,對應於第一組件的損傷物件的至少一個損傷檢測框。
具體地,可以首先從上述組件分割信息中擷取第一組件的分割資訊,由此確定第一組件覆蓋的區域,稱為第一區域。下面就以圖4c中用遮罩覆蓋的組件作為第一組件的例子,進行說明。在該例子中,灰色遮罩覆蓋的區域即為第一區域。
接著,根據損傷物件檢測資訊中包含的多個損傷檢測框的位置資訊,確定各個損傷檢測框是否落入上述第一區域。可以透過多種具體標準來判斷一個損傷檢測框是否落入第一區域,例如,在一個例子中,如果損傷檢測框的中心位於第一區域中,則認為該損傷檢測框落入該第一區域;或者,在另一例子中,如果損傷檢測框的整個面積中,有預定比例(比如50%)以上屬於第一區域,則認為該損傷檢測框落入該第一區域。
基於以上判斷,將落入第一區域的損傷檢測框確定為上述的至少一個損傷檢測框。
沿用上例。對於圖4c中遮罩所覆蓋的第一組件,可以從圖4a中的多個損傷檢測框中確定出屬於該第一組件的至少一個損傷檢測框。圖4d示出屬於第一組件的損傷檢測框的例子,其中用粗線條示出落入遮罩區域、因此被認為屬於上述第一組件的損傷檢測框。
如此在步驟51,確定出同屬於第一組件的至少一個損傷檢測框。
接著,在步驟52,獲取上述至少一個損傷檢測框的損傷特徵。
在一個實施例中,損傷檢測框的損傷特徵包括,該損傷檢測框對應的影像卷積特徵。可以理解,損傷檢測框透過損傷檢測模型得到,一般的,損傷檢測模型透過卷積神經網路CNN架構來實現。具體的,卷積神經網路CNN透過卷積層對影像進行卷積處理,得到卷積特徵圖。損傷檢測模型基於卷積特徵圖進行損傷的分類和損傷檢測框的迴歸。損傷檢測模型輸出的各個損傷檢測框,可以對應到卷積特徵圖中的子區域。透過對各個子區域進行特徵擷取,可以得到各個損傷檢測框對應的影像卷積特徵。
因此,在一個實施例中,對於上述至少一個損傷檢測框中任意的損傷檢測框,為了描述簡單,稱為第一損傷檢測框,可以從損傷檢測模型對應的卷積神經網路的卷積層中,擷取與該第一損傷檢測框相關的影像卷積特徵,作為對應的損傷特徵。
在一個實施例中,損傷檢測框的損傷特徵還包括,與其他損傷檢測框的關聯特徵。仍以任意的第一損傷檢測框為例,確定其損傷特徵還包括,根據該第一損傷檢測框與其他損傷檢測框的關聯關係,確定其關聯特徵作為損傷特徵的一部分。在不同實施例中,上述關聯關係可以包括,損傷檢測框位置關聯關係,預測損傷類別關聯關係,透過所述影像卷積特徵反映的框內容關聯關係,等等。
在一個實施例中,上述關聯關係包括框內容關聯關係,也就是邊框內圖像特徵之間的關聯關係。框內容可以透過前述的影像卷積特徵體現。在一個實施例中,假定第一損傷檢測框對應具有的影像卷積特徵可以記為特徵向量F1,另一損傷檢測框,稱為第二損傷檢測框,對應具有的影像卷積特徵記為特徵向量F2,那麼,第一損傷檢測框和第二損傷檢測框之間的框內容關聯關係可以表現為,特徵向量F1和特徵向量F2之間的關聯關係,例如相似度。
更具體的,在一個例子中,確定特徵向量F1和特徵向量F2之間的距離,例如歐式距離,餘弦距離等,作為這兩個特徵向量之間的相似度,進而作為第一損傷檢測框和第二損傷檢測框之間的框內容關聯關係。
在另一例子中,計算特徵向量F1和特徵向量F2的點乘,作為第一損傷檢測框和第二損傷檢測框之間的框內容關聯關係。
在其他例子中,還可以透過其他方式確定兩個損傷檢測框之間的框內容關聯關係。
此外,在一個實施例中,上述關聯關係還可以包括損傷檢測框位置關聯關係。下面仍以第一損傷檢測框和第二損傷檢測框為例進行描述說明。
可以理解,在之前的步驟21,損傷檢測模型輸出的損傷檢測框的資訊即包含各個損傷檢測框的位置參數。一般地,損傷檢測框的位置參數常常採用(x,y,w,h)的形式,其中(x,y)表示檢測框的中心座標,w為檢測框的寬,h為檢測框的高。根據這些位置參數,可以確定出第一損傷檢測框與任意的第二損傷檢測框之間的位置關聯特徵。
根據不同的實施例,位置關聯特徵可以包括以下中的一項或多項:中心距離,交並比,面積比,包含關係,等等。其中,交並比(IoU)表示兩個損傷檢測框交疊區域的面積與合併區域的面積的比值;包含關係可以是,第一損傷檢測框包含/不包含第二損傷檢測框,或者第二損傷檢測框包含/不包含第一損傷檢測框,等等。
此外,根據一種實施方式,上述關聯關係還可以包括預測損傷類別的關聯關係。仍以第一損傷檢測框和第二損傷檢測框為例進行描述說明。
在一個實施例中,在步驟22損傷檢測模型輸出的損傷物件檢測資訊包含針對各個損傷檢測框的預測損傷類別。因此,可以獲取第一損傷檢測框和第二損傷檢測框各自的預測損傷類別,記為第一類別和第二類別。例如,第一類別對應於刮擦,第二類別對應於變形,等等。在一個例子中,可以基於第一類別與第二類別的比較結果,即相同或不相同,確定其損傷類別關聯關係。在一個實施例中,損傷檢測模型在輸出各個損傷檢測框的預測損傷類別的同時,還輸出預測的信賴度,例如與上述第一類別對應的第一信賴度,和與第二類別對應的第二信賴度。在這樣的情況下,第一損傷檢測框和第二損傷檢測框的預測損傷類別關聯特徵可以包括,第一類別和第二類別的異同,以及第一信賴度和第二信賴度的差值。
以上結合某個其他損傷檢測框(第二損傷檢測框)描述了計算各種關聯特徵(框內容關聯特徵,位置關聯特徵,預測類別關聯特徵中的一種或多種)的過程,可以理解,該過程可以適用於計算第一損傷檢測框和任意的其他損傷檢測框的關聯特徵。在確定出第一損傷檢測框與每個其他損傷檢測框的每個關聯特徵的基礎上,可以對這些關聯特徵進行拼接或組合,從而得到第一損傷檢測框與其他損傷檢測框的總體關聯特徵。
如上,獲取到第一損傷檢測框的損傷特徵,其包括,該第一損傷檢測框自身的影像卷積特徵,還可以進一步包括,與其他損傷檢測框的關聯特徵。對於屬於上述第一組件的每個損傷檢測框,均進行上述特徵獲取,如此得到,屬於第一組件的至少一個損傷檢測框各自的損傷特徵。
接著,在步驟53,將上述至少一個損傷檢測框的損傷特徵進行融合運算,得到融合損傷特徵。在不同實施例中,上述融合運算可以是,取最大值運算,取最小值運算,求平均值運算,求總和運算,求中位數運算等運算,還可以是這些運算的組合。
透過上述步驟51到53,獲取到第一組件的融合損傷特徵。
如此,分別獲取到了第一組件的組件特徵和融合損傷特徵。在此基礎上,將以上獲取的第一組件的組件特徵和融合損傷特徵拼接或組合在一起,就可以得到第一組件的組件級損傷特徵,即第一綜合特徵。
具體的,在一個例子中,上述第一綜合特徵記為V1,可以表示為:
V1=(C1,S1)
其中,C1表示第一組件的組件特徵,S1表示第一組件的融合損傷特徵。
以上,實現了對第一組件的特徵擷取。
接著,回到圖2,在步驟25,確定針對上述第一組件的多個備選預測結果,每個備選預測結果包括備選組件類別和備選損傷類別。換而言之,每個備選預測結果是一個備選組件類別和備選損傷類別的二元組,該二元組示出第一組件是什麼類別的組件,以及該組件上的損傷整體是什麼類別的損傷的可能組合。
在一個實施例中,將預先定義的每種組件類別與預先定義的每種損傷類別進行組合,將組合得到的二元組均作為備選預測結果。這樣的方式可以稱為全排列方式。例如,在一種實施方式中,假設車輛預先被劃分為100種組件,並且預先定義了20種損傷類別,那麼,可以將每種組件類別與每種損傷類別進行組合,從而得到2000個二元組,作為備選預測結果。
一般的,全排列方式得到的二元組最為全面,但是數目眾多,後續處理負擔較大。因此,在一種實施方式中,僅選擇其中一部分作為備選預測結果。例如,可以根據之前的損傷物件檢測資訊和組件物件檢測資訊中與預測類別有關的資訊,選擇有較大機率作為最終預測結果的組件類別和損傷類別,作為備選預測結果。
如前所述,在步驟23,組件模型輸出的組件物件檢測資訊中還可以包括針對各個組件的預測組件類別。因此,可以從上述組件物件檢測資訊中獲取,針對第一組件的預測組件類別,稱為第一預測組件類別,將其作為備選組件類別。
一般的,組件模型會將信賴度最高的組件類別輸出作為預測組件類別;但是,在一種實施方式中,組件模型還同時輸出,該組件對應於多個組件類別的信賴度或機率。在這樣的情況下,上述第一預測組件類別可以包括,信賴度較高的一個或多個預測組件類別。
例如,根據圖4b和圖4c所示,以遮罩覆蓋的組件為第一組件為例,透過圖4b可知,組件模型將其類別識別為102:右後門。因此,可以將“102:右後門”作為備選組件類別。
在一個例子中,組件模型還輸出有,該組件對應於“102:右後門”的信賴度為55%,對應於“101:右前門”的信賴度為40%,對應於“105:左後門”的信賴度為5%。在這樣的情況下,可以將信賴度較高(例如高於一預設閾值,比如35%)的預測組件類別“102:右後門”和“101:右前門”均作為備選組件類別。
類似的,可以基於損傷物件檢測資訊確定出備選損傷類別。具體的,如前所述,損傷檢測模型輸出的損傷物件檢測資訊可以包括,各個損傷檢測框對應的預測損傷類別。如此,在步驟51中確定出屬於第一組件的至少一個損傷檢測框後,可以獲取到上述至少一個損傷檢測框對應的至少一個預測損傷類別,基於這些預測損傷類別,確定備選損傷類別。
例如,在一個例子中,有6個損傷檢測框被確定為屬於第一組件,這6個損傷檢測框對應的預測損傷類別分別為:12(刮擦),12(刮擦),11(撕裂),10(變形),12(刮擦),12(刮擦)。
在一個實施例中,將上述預測損傷類別中,佔比最高的損傷類別,作為備選損傷類別。例如,在以上例子中,12(刮擦)佔比最高,將其作為備選損傷類別。
在一個實施例中,將上述預測損傷類別中,損傷程度最高的類別,作為備選損傷類別。可以理解,可以預先為各種損傷類別設定損傷程度的高低,如此可以將上述預測損傷類別按照損傷程度高低進行排序,確定出損傷程度最高的類別。例如,在以上例子中,11(撕裂)的損傷程度最高,可以將其作為備選損傷類別。
在另一實施例中,直接將上述至少一個預測損傷類別中的每種類別,均作為一個備選損傷類別。例如,對於以上例子,直接獲取3種備選損傷類別:12(刮擦),11(撕裂),10(變形)。
透過以上方式,分別獲取了備選組件類別,和備選損傷類別。將獲取的各個備選組件類別和各個備選損傷類別進行組合,得到多個二元組作為備選預測結果。
在一個具體例子中,假定獲取的備選組件類別包括,“102:右後門”和“101:右前門”,獲取的備選損傷類別包括,12(刮擦),11(撕裂)和10(變形),那麼可以組合得到如下的6個二元組:
(右後門,刮擦)
(右後門,撕裂)
(右後門,變形)
(右前門,刮擦)
(右前門,撕裂)
(右前門,變形)
這些二元組即作為備選預測結果。
如前所述,車輛定損最終是需要確定從車損影像中識別出,什麼組件受到了什麼類別或什麼程度的損傷。可以看到,以上得到的每個二元組即是對該定損結果的一種可能猜測。接著就需要利用預測模型,基於組件級損傷特徵,判斷哪種猜測正確機率更高。
於是,接下來將步驟24針對第一組件擷取的組件級損傷特徵,以及步驟25確定的各個備選預測結果,輸入預測模型,使得預測模型基於組件級損傷特徵來判斷,各個備選預測結果正確的機率。
需要理解,預測模型需要基於標記資料進行訓練,才可以實現上述預測。如果要同時對二元組中的組件類別和損傷類別的正確性進行預測和判斷,就需要同時對這兩態樣進行標記的標記資料。然而,在現有的模型訓練樣本庫中,這樣的標記資料量比較少。而另一方面,為了訓練前述的損傷檢測模型,已經存在大量對損傷進行標記的標記樣本;為了訓練前述的組件模型,也存在大量對組件進行標記的標記樣本。基於此,根據本說明書的實施例,可以基於這樣的標記樣本,訓練條件預測模型,來對二元組中的部分元素的正確性進行預測和判斷。
如圖2所示,在步驟26,將上述第一組件對應的第一綜合特徵和各個備選預測結果輸入預先訓練的第一條件預測模型,得到第一預測結果,所述第一預測結果包括,每個備選預測結果中,備選損傷類別正確的機率;在步驟27,將第一綜合特徵和各個備選預測結果輸入預先訓練的第二條件預測模型,得到第二預測結果,所述第二預測結果包括,每個備選預測結果中,備選組件類別正確的機率。
可以理解,上述步驟26和27,可以並存執行,或者以任意的先後循序執行,在此不做限定。
下面分別描述上述第一條件預測模型和第二條件預測模型的訓練和使用。
如上所述,第一條件預測模型基於組件級損傷特徵,針對備選預測結果的二元組,預測其中損傷類別正確的機率。因此,第一條件預測模型至少基於對損傷進行人工標記的標記樣本而訓練。更具體而言,第一條件預測模型需要的訓練樣本包括,訓練影像和針對該訓練影像的損傷標記資料。因為第一條件預測模型需要對受損組件的總體損傷類別進行判斷(即二元組中的備選損傷類別),因此,所需的損傷標記資料至少包括,針對訓練影像中各個受損組件的總體損傷類別標籤。
然而,在常規的損傷檢測模型的訓練中,是透過人工對訓練影像中的各個損傷物件進行標記。因此,還需要對常規標記資料進行處理和加工,才可以得到所需的損傷標記資料。
圖6示出根據一個實施例的產生損傷標記資料的步驟流程圖。下面結合一個具體的訓練影像的例子進行描述。
圖7a示出一個訓練影像的原圖的例子。可以將該訓練影像分發給標記人員進行標記。
於是,在圖6的步驟61,可以獲取到針對該訓練影像進行人工標記的損傷標記資料,包括在該訓練影像中標記出的多個損傷標記框,以及針對各個損傷標記框標記的各個損傷類別標籤。
圖7b示出針對圖7a的訓練影像,經由人工標記得到的標記資料。可以看到,標記人員在其中用矩形框框選出損傷物件所在區域,這些矩形框可以稱為損傷標記框。此外,針對每個損傷物件,標記人員還標出該損傷物件的類別,例如12對應於刮擦,10對應於變形。可以理解,損傷類別的標記方式可以有多種,除了圖7b所示的用不同數字表示不同損傷類別,還可以例如用不同顏色的標記框表示不同損傷類別,等等,圖7b僅僅是一種實例。
此外,在步驟62,獲取針對訓練影像中受損組件的輪廓資訊。
在一個實施例中,上述受損組件的輪廓資訊是經由標記人員的標記而產生的。標記輪廓資訊的標記人員與前述標記損傷框的標記人員可以相同,也可以不同。
在更為典型的實施例中,上述受損組件的輪廓資訊由組件分割模型產生。也就是,將上述訓練影像輸入訓練好的組件分割模型,根據模型輸出結果獲得組件的輪廓資訊。
圖7c示出在一個例子中獲取的受損組件的輪廓資訊。該輪廓資訊透過組件分割模型的輸出獲得。如圖7c所示,用遮罩覆蓋某個組件的區域作為其輪廓資訊。下面將該組件稱為第一受損組件,並以其作為實例進行說明。
接著,在步驟63,根據上述受損組件的輪廓資訊,確定步驟61中得到的各個損傷標記框對應於哪個受損組件,或者說,確定與各個受損組件對應的損傷標記框。例如,對於上述的第一受損組件,確定出對應於該組件的至少一個損傷標記框。
具體的,可以透過各個損傷標記框的位置資訊與第一受損組件覆蓋的區域資訊,確定出對應於第一受損組件的損傷標記框。該過程與前述圖5中的步驟51類似,不再贅述。
圖7d示出在一個例子中屬於第一受損組件的損傷標記框。可以看到,在圖7b標記出的8個損傷標記框中,經過步驟63的判斷,有5個損傷標記框對應於第一受損組件,這5個損傷標記框在圖7d中用加粗的方式示出。
然後,在步驟64,將上述對應於第一受損組件的至少一個損傷標記框各自的損傷類別標籤中,損傷程度最高的損傷類別標籤,作為第一受損組件的損傷類別標籤。
例如,如圖7d所示,有5個損傷標記框對應於第一受損組件,這5個損傷標記框對應的損傷類別標籤包括,代表刮擦的類別12,和代表變形的類別10。根據預先定義的損傷程度排序,變形的損傷程度要高於刮擦,那麼可以將類別10(變形)作為第一受損組件整體的損傷類別標籤。
對於其他受損組件,也採取上述步驟的運算。如此,基於標記人員標記的損傷標記框和損傷類別,產生針對各個受損組件的總體損傷類別標籤,作為所需的損傷標記資料。
在為訓練影像產生所需的損傷標記資料的基礎上,該訓練影像和對應的損傷標記資料即構成完整的訓練樣本,可以用於對第一條件預測模型進行訓練。
在訓練第一條件預測模型的過程中,首先對訓練影像進行特徵擷取,獲取訓練影像中各個組件的組件級損傷特徵。這個過程與前述的步驟21到步驟23相似,只是輸入的影像為訓練影像原圖。類似的,得到的組件級損傷特徵包括,訓練影像中某個受損組件的組件特徵和該組件上的融合損傷特徵。
然後,將訓練影像中某受損組件的組件級損傷特徵輸入第一條件預測模型,第一條件預測模型對輸入特徵進行處理,給出關於該組件損傷類別的預測值。將該預測值與損傷標記資料中,針對該受損組件的總體損傷類別標籤進行比對,確定預測誤差,然後將誤差反向傳播以調整模型參數,從而實現模型的訓練。
透過以上過程可以看到,第一條件預測模型所基於的訓練資料主要包括對組件級總體損傷的標記資料,訓練過程中誤差的確定主要基於關於組件級損傷的預測值與標記值的差異,那麼相應的,預測過程的處理也更多側重於對組件級損傷特徵中融合損傷特徵的處理。
回到圖2,在上述第一條件預測模型訓練完成之後,對於待識別的影像,按照步驟22到24擷取得到第一組件的組件級損傷特徵,即第一綜合特徵後,將該第一綜合特徵,以及各個備選預測結果的二元組輸入第一條件預測模型。第一條件預測模型對第一綜合特徵進行處理,由此得到對第一組件的總體損傷類別的預測結果,其中包括預測類別和預測信賴度。基於該預測結果與各個二元組中備選損傷類別的比較,得到各個二元組中備選損傷類別正確的機率。
需要說明的是,由於第一條件預測模型的訓練資料中沒有對組件類別的標記,因此第一條件預測模型並不對組件類別進行預測,也不對二元組中備選組件類別的正確性進行判斷。換而言之,第一條件預測模型輸出的第一預測結果表示,對於每個備選預測結果,在其中的備選組件類別正確的情況下,備選損傷類別正確的機率。
下面描述第二條件預測模型的訓練和使用。
如前所述,第二條件預測模型用於基於組件級損傷特徵,針對備選預測結果的二元組,預測其中備選組件類別正確的機率。因此,第二條件預測模型至少基於對組件進行人工標記的標記樣本而訓練。更具體而言,第二條件預測模型需要的訓練樣本包括,訓練影像以及標記資料,其中標記資料至少包括,針對訓練影像中的受損組件人工標記的組件類別標籤。
可以理解,為了訓練步驟23中的組件模型,已經具有大量的組件標記樣本。這些標記樣本可以用於對第二條件預測模型進行訓練。
在訓練第二條件預測模型的過程中,首先對訓練影像進行特徵擷取。不同於常規的組件模型只擷取組件特徵,第二條件預測模型需要獲取訓練影像中各個組件的組件級損傷特徵。這個過程與前述的步驟22到步驟24相似,只是輸入的影像為訓練影像原圖。類似的,得到的組件級損傷特徵包括,訓練影像中某個受損組件的組件特徵和該組件上的融合損傷特徵。
然後,將訓練影像中某受損組件的組件級損傷特徵輸入第二條件預測模型,第二條件預測模型對輸入特徵進行處理,給出關於該組件的組件類別的預測值。將該預測值與標記的組件類別標籤進行比對,確定預測誤差,然後將誤差反向傳播以調整模型參數,從而實現模型的訓練。
如此,在第二條件預測模型訓練完成之後,對於待識別的影像,按照步驟22到24擷取得到第一組件的組件級損傷特徵,即第一綜合特徵後,將該第一綜合特徵,以及各個備選預測結果的二元組輸入第二條件預測模型。第二條件預測模型對第一綜合特徵進行處理,由此得到對第一組件的組件類別的預測結果,其中包括預測類別和預測信賴度。基於該預測結果與各個二元組中備選組件類別的比較,得到各個二元組中備選組件類別正確的機率。
需要說明的是,由於第二條件預測模型的訓練資料中沒有對總體損傷類別的標記,因此第二條件預測模型並不對損傷類別進行預測,也不對二元組中備選損傷類別的正確性進行判斷。換而言之,第二條件預測模型輸出的第二預測結果表示,對於每個備選預測結果,在其中的備選損傷類別正確的情況下,備選組件類別正確的機率。
如此,在圖2的步驟26和27,分別將第一綜合特徵和各個備選預測結果輸入第一條件預測模型和第二條件預測模型,得到第一預測結果和第二預測結果。第一預測結果和第二預測結果分別示出,備選預測結果的二元組中,備選損傷類別正確的機率,和備選組件類別正確的機率。
接著,在步驟28,至少基於上述第一預測結果和所述第二預測結果,確定第一組件的組件類別及其對應的損傷類別。
圖8示出在一個實施例中根據第一和第二預測結果確定組件類別和損傷類別的步驟流程圖,可以理解,該步驟流程是以上步驟28的子步驟。如圖8所示,首先,在步驟81,對於各個備選預測結果,獲取第一預測結果中與該備選預測結果對應的第一機率,以及第二預測結果中與該備選預測結果對應的第二機率。
如前所述,每個備選預測結果表現為一個二元組。在步驟81,對於每個二元組,獲取第一預測結果中針對該二元組的機率,即第一機率,第一機率表示該二元組中備選損傷類別的正確機率;並獲取第二預測結果中針對該二元組的機率,即第二機率,第二機率表示該二元組中備選組件類別的正確機率。
然後,在步驟82,根據上述第一機率和第二機率,確定各個備選預測結果的綜合正確機率,即整個二元組的綜合正確機率。
在一個具體例子中,將第一機率和第二機率的最大值作為所述綜合正確機率;
在另一具體例子中,將第一機率和第二機率的總和值作為所述綜合正確機率;
在又一具體例子中,考慮到第一機率和第二機率是對二元組中單個元素正確性的條件機率,將第一機率和第二機率的乘積作為綜合正確機率。
下面的表1示出,對於前述例子中形成的6個二元組,其第一機率、第二機率和綜合正確機率的實例,其中綜合正確機率透過第一機率和第二機率的乘積得到。
![Figure 02_image001](https://patentimages.storage.googleapis.com/46/d4/09/a50eba4b448d4c/02_image001.png)
可以理解,還可以透過其他方式,確定二元組的綜合正確機率,例如取平均值,等等,在此不一一枚舉。
在確定出各個備選預測結果的綜合正確機率的基礎上,在步驟83,根據所述綜合正確機率,從多個備選預測結果中選擇至少一條預測結果。在一個實施例中,可以從多個備選預測結果中選擇綜合正確機率最高的預測結果。在另一實施例中,可以選擇綜合正確機率達到一定預設閾值的備選預測結果。在又一實施例中,還可以從多個備選預測結果中,按照綜合正確機率從高到底的順序,選擇預定數目的備選預測結果。
然後,在步驟84,根據步驟83中選擇的至少一條預測結果中包含的備選組件類別和備選損傷類別,確定第一組件的組件類別和對應的損傷類別。
在步驟83中僅選擇一條備選預測結果的情況下,將該預測結果二元組中的備選組件類別確定為第一組件的組件類別,將其中的備選損傷類別作為第一組件的總體損傷類別。
在一種實施例中,步驟83中選擇出多條備選預測結果的二元組。對於這多條備選二元組,如果其中的備選組件類別相同,在步驟84中就將該相同的備選組件類別作為第一組件的組件類別。如果其中的備選組件類別不同,那麼在步驟84,將第二機率最高的二元組中的備選組件類別作為第一組件的組件類別。在一種實施例中,如果步驟83選擇出多條備選二元組,則意味著,該實施例支持一個組件出現多種損傷的定損結果形式,那麼可以將選擇出的多個二元組中的備選損傷類別均作為第一組件的總體損傷類別。在另一種實施例中,將步驟83選出的多條二元組所包含的各個備選損傷類別中,損傷程度最高的類別,作為第一組件的總體損傷類別。
例如,在一個具體例子中,各個二元組的綜合正確機率如表1所示。在一個例子中,步驟83基於表1選擇出綜合正確機率最高的二元組(右後門,刮擦)。於是,在步驟84,將該選擇出的二元組中的備選組件類別“右後門”作為所分析的第一組件的組件類別,將該二元組中的備選損傷類別“刮擦”作為第一組件的總體損傷類別。如此,確定出右後門受到了刮擦損傷。
在另一例子中,在步驟83,選出綜合正確機率高於一定閾值的2個二元組:(右後門,刮擦),(右後門,變形)。在步驟84,將共同的備選組件類別“右後門”作為第一組件的組件類別,將刮擦和變形均作為第一組件右後門所受的損傷,即確定,右後門同時受到了刮擦和變形損傷。或者,也可以將損傷程度更高的“變形”確定為右後門的損傷類別,因為組件的換修方案一般取決於該組件上損傷程度最高的損傷類別。
以上,透過圖8的具體步驟,基於第一預測結果和第二預測結果,確定出第一組件的組件類別及其對應的損傷類別。然而應理解,這並不是唯一的執行方式,步驟28也可以透過其他方式執行。例如,在一種執行方式中,並不直接計算各個二元組的綜合正確機率,而是分別將第一機率低於一定閾值的二元組剔除,將第二機率低於一定閾值的二元組剔除,根據剩餘的二元組,確定第一組件的組件類別和總體損傷類別。在以上描述的具體實施例的基礎上,還有可能採用更多其他執行方式,執行步驟28。
如此,在步驟28,基於第一預測結果和第二預測結果,確定出第一組件的組件類別及其對應的損傷類別。上述第一組件是待識別車損影像中任意的涉嫌受損的組件,因此,透過對各個涉嫌受損組件,按照圖2中的步驟24擷取其組件級損傷特徵,並按照步驟25至28執行,就可以確定出各個涉嫌受損組件的組件類別和損傷類別,從而確定出,車損影像中的車輛,什麼組件受到什麼樣的損傷,實現智慧型定損。
在以上的智慧型定損過程中,基於兩個條件預測模型,即第一條件預測模型和第二條件預測模型,對備選預測結果二元組中兩個元素的正確性分別進行預測評估。其中第一條件預測模型和第二條件預測模型可以基於已有的標記樣本進行訓練,更好的利用已有的標記資料。
在此基礎上,還可以獲取更全面的標記資料,從而訓練第三預測模型,該模型用於基於組件級損傷特徵,針對備選預測結果的二元組,預測其中備選組件類別和備選損傷類別均正確的機率,也就是整個二元組正確的機率。下面描述第三預測模型的訓練和使用。
可以理解,由於要求第三預測模型同時對備選預測結果中的備選組件類別和備選損傷類別的正確性進行判斷,那麼第三預測模型所需的訓練樣本既需要對組件類別的標記資料,也需要對損傷類別的標記資料。具體而言,第三預測模型所基於的訓練樣本需要包括訓練影像,以及全標記資料,該全標記資料包括,對訓練影像中的受損組件進行人工標記的組件類別標籤,以及人工標記的該組件的總體損傷類別標籤。
圖9示出根據一個實施例的用於訓練第三條件預測模型的訓練樣本的標記資料。圖9的標記資料是透過將圖7a所示的訓練影像原圖分發給標記人員,使其對受損組件進行全標記而產生。所謂全標記,即包括組件的標記和損傷的標記。如圖9所示,透過標記人員的標記,全標記資料中至少包括,對某個受損組件的組件類別和總體損傷類別的標記,該標記也構成一個標記二元組(A,B),其中A表示組件類別,B表示該組件上總體損傷類別。例如,(101,12)對應於(右前門,刮擦),(102,10)對應於(右後門,變形)。為了區分不同組件,全標記資料中還需要包含對組件輪廓的標記。例如,在圖9中,用粗線條標出了兩個受損組件的輪廓。
如此構成的標記樣本可以用於對第三預測模型進行訓練。在訓練第三預測模型的過程中,首先對訓練影像進行特徵擷取。特徵擷取的過程與前述的步驟21到步驟23相似,只是輸入的影像為訓練影像原圖。類似的,得到的組件級損傷特徵包括,訓練影像中各個受損組件的組件特徵和該組件上的融合損傷特徵。
然後,將訓練影像中某受損組件的組件級損傷特徵輸入第三預測模型,第三預測模型對輸入特徵進行處理,給出關於該受損組件的組件類別的第一預測值和關於該受損組件的總體損傷類別的第二預測值。另外,根據標記的各個組件的輪廓,確定上述受損組件對應的標記二元組,其中包括組件類別標籤和損傷類別標籤。基於第一預測值、第二預測值分別與組件類別標籤和損傷類別標籤的比對,確定預測誤差,然後將誤差反向傳播以調整模型參數,從而實現模型的訓練。
如此,在第三預測模型訓練完成之後,在一個實施例中,對於待識別的影像,按照圖2的步驟22到24擷取得到第一組件的組件級損傷特徵,即第一綜合特徵後,圖2的方法還包括,將該第一綜合特徵,以及各個備選預測結果的二元組輸入第三預測模型。第三預測模型對第一綜合特徵進行處理,由此得到對第一組件的組件類別的預測結果以及對總體損傷類別的預測結果,各個預測結果包括預測類別和信賴度。將該兩項預測結果分別與各個二元組中備選組件類別和備選損傷類別進行比較,基於比較結果得到各個二元組的整體正確機率。換而言之,第三預測模型輸出第三預測結果,其中包括,對於每個備選預測結果二元組,其中的備選損傷類別和備選組件類別均正確的機率。
在如上所述利用了第三預測模型的情況下,在圖2中的步驟28,可以根據第一條件預測模型輸出的第一預測結果,第二條件預測模型輸出的第二預測結果,以及上述第三預測模型輸出的第三預測結果,確定第一組件的組件類型及其對應的損傷類別。
在使用第三預測模型的情況下,仍然可以採用與圖8所示的步驟類似的方式來執行步驟28,只是在圖8的基礎上進一步引入第三預測結果。具體地,這個過程可以包括:
對於各個備選預測結果二元組,獲取第一預測結果中與該備選預測結果對應的第一機率,第二預測結果中與該備選預測結果對應的第二機率,以及第三預測結果中與該備選預測結果對應的第三機率。這與步驟81類似。
接著,根據所述第一機率、第二機率和所述第三機率,確定各個備選預測結果的綜合正確機率。
在一個具體例子中,可以直接基於第一機率、第二機率和所述第三機率,確定綜合正確機率。例如,可以將第一機率、第二機率、第三機率的最小值、最大值、總和值、平均值中的一項作為上述綜合正確機率。
在又一個具體例子中,可以首先參照結合圖8中步驟82所述的實施方式,基於第一機率和第二機率確定出第一綜合正確機率,然後基於第一綜合正確機率和上述第三機率,確定最終的綜合正確機率。例如,將第一機率和第二機率的乘積作為第一綜合正確機率,然後將第一綜合正確機率和第三機率的平均值,作為最終的綜合正確機率。
下面的表2示出,對於前述例子中形成的6個二元組,其第一機率、第二機率、第三機率和綜合正確機率的實例,其中綜合正確機率透過將第一機率和第二機率的乘積與第三機率求平均值而得到。
![Figure 02_image003](https://patentimages.storage.googleapis.com/1b/18/6d/1ea84859c00d00/02_image003.png)
可以理解,還可以透過其他方式,基於上述三個機率值確定二元組的綜合正確機率,在此不一一枚舉。
接著,根據上述綜合正確機率,從多個備選預測結果中選擇至少一條預測結果;並根據所述至少一條預測結果中包含的備選組件類別和備選損傷類別,確定所述第一組件的組件類別和對應的損傷類別。這兩個步驟的執行方式可以參照前述對圖8中步驟83和84的描述,不再贅述。
如此,透過三個預測模型的預測結果,確定出各個組件的組件類別和總體損傷類別。
在確定出各個受損組件的組件類別和損傷類別的基礎上,在一個實施例中,還可以據此確定出各個組件的換修方案。
可以理解,根據定損需要,工作人員可以預先設定有映射表,其中記錄各種類型的組件在各種損傷類別下的換修方案。例如,對於金屬類型的組件,損傷類別為刮擦時,對應的換修方案為噴漆,損傷類別為變形時,對應的換修方案為鈑金;對於玻璃類型的組件,損傷類別為刮擦時,對應的換修方案為更換玻璃,等等。
如此,對於以上舉例的第一組件,假定確定出該組件的組件類別為右後門,損傷類別為刮擦,那麼首先,根據組件類別“右後門”確定其歸屬的類型,例如為金屬類型組件,然後根據損傷類別“刮擦”,確定出對應的換修方案為:噴漆。
於是,可以針對各個受損組件,確定其換修方案,從而更全面地實現定損過程。
以上,基於待識別的單張車損影像,確定出車損狀況,包括什麼組件受到什麼類別的損傷。在此基礎上,還可以基於多張車損影像進行智慧型定損,從而更全面更準確地確定車損資訊。需要理解,上述多張車損影像應該是屬於同一定損案件的影像。例如,使用者往往針對同一車損案件,從不同角度及/或不同距離進行拍攝,得到一組系列影像。這樣的系列影像就可以作為同一案件的多張車損影像,用來綜合確定車損狀況。
在一個實施例中,對於一系列多張車損影像的每一張車損影像,分別執行圖2所示的方法,得到各個組件的組件類別和損傷類別的預測結果。然後,將來自各個車損影像的預測結果進行綜合,例如,取並集,得到整個案件的定損結果。
在另一實施例中,考慮系列影像之間的關聯,對多張車損影像的特徵進行融合,將融合後的特徵輸入預測模型,得到預測結果,據此確定定損結果。下面描述在該實施構思下車輛定損的方法。
圖10示出根據一個實施例的車輛定損方法,用於基於至少兩張車損影像進行智慧型定損。如圖10所示,該方法至少包括以下步驟。
首先,在步驟1001,獲取待識別的第一車損影像和第二車損影像。如前所述,這裡,第一車損影像和第二車損影像屬於同一定損案件。
然後,在步驟1002,利用預先訓練的損傷檢測模型,獲取分別針對第一車損影像和第二車損影像的第一損傷物件檢測資訊和第二損傷物件檢測資訊,其中第一損傷物件檢測資訊包括,框選出所述第一車損影像中多個損傷物件的多個第一損傷檢測框的資訊,第二損傷物件檢測資訊包括,框選出所述第二車損影像中多個損傷物件的多個第二損傷檢測框的資訊。
該步驟相當於分別針對第一車損影像和第二車損影像執行圖2所示的步驟22,其具體過程不再贅述。
此外,在步驟1003,利用預先訓練的組件模型,獲取分別針對第一車損影像和第二車損影像的第一車輛組件資訊和第二車輛組件資訊,所述第一車輛組件資訊包括,第一組件物件檢測資訊和第一組件分割資訊,所述第二車輛組件資訊包括,第二組件物件檢測資訊和第二組件分割資訊,其中第一組件物件檢測資訊和第二組件物件檢測資訊中均包括檢測出的第一組件。
該步驟相當於分別針對第一車損影像和第二車損影像執行圖2所示的步驟23,從而分別得到第一車輛組件資訊和第二車輛組件資訊,其具體過程不再贅述。
接著,在步驟1004,根據第一車損影像和第二車損影像之間的關聯,從第一組件物件檢測資訊和第二組件物件檢測資訊中,確定出共同的第一組件。
已經存在一些影像匹配模型,能夠實現兩個影像的匹配定位,即確定出一幅圖所示內容在另一幅圖中的位置,或確定出兩幅圖中相似的共同的內容。因此,可以利用這樣的匹配模型,根據第一車損影像和第二車損影像之間的關聯,從第一組件物件檢測資訊和第二組件物件檢測資訊中,確定出共同的組件,以下仍稱為第一組件。
接下來,在步驟1005,基於上述第一損傷物件檢測資訊、第二損傷物件檢測資訊、第一車輛組件資訊和第二車輛組件資訊,針對第一組件產生第一綜合特徵,所述第一綜合特徵包括,該第一組件的融合組件特徵以及融合損傷特徵,其中,所述融合組件特徵透過將第一組件特徵和第二組件特徵進行融合而得到,所述第一組件特徵基於所述第一車損影像產生,所述第二組件特徵基於所述第二車損影像產生;所述融合損傷特徵透過將第一損傷特徵和第二損傷特徵進行融合而得到,所述第一損傷特徵基於所述第一車損影像中同屬於該第一組件的至少一個第一損傷檢測框的損傷特徵而產生,所述第二損傷特徵基於所述第二車損影像中同屬於該第一組件的至少一個第二損傷檢測框的損傷特徵而產生。
在一個實施例中,對於上述第一組件,可以分別基於第一車損影像和第二車損影像,執行圖2的步驟24,分別獲得基於第一車損影像的綜合特徵V1,和基於第二車損影像的綜合特徵V2,其中綜合特徵V1包括,基於第一車損影像擷取的第一組件的組件特徵,稱為第一組件特徵,以及基於第一車損影像中同屬於該第一組件的損傷檢測框的損傷特徵而產生的融合損傷特徵,稱為第一損傷特徵;綜合特徵V2包括,基於第二車損影像擷取的第一組件的組件特徵,稱為第二組件特徵,以及基於第二車損影像中同屬於該第一組件的損傷檢測框的損傷特徵而產生的融合損傷特徵,稱為第二損傷特徵。然後可以將這兩個綜合特徵V1和V2進行進一步融合,得到最終的第一綜合特徵。
具體地,該上述第一組件特徵和第二組件特徵進行融合,得到融合組件特徵;將上述第一損傷特徵和第二損傷特徵進行融合,得到融合損傷特徵;融合組件特徵和融合損傷特徵共同構成上述第一綜合特徵。
以上特徵的融合可以採取多種融合方式,例如拼接,求平均值,最大池化(Pooling),等等,在此不一一列舉。
可以看到,在步驟1005,對於兩張車損影像中包含的共同的第一組件,將基於兩張影像分別擷取的特徵進行進一步融合,得到第一組件的第一綜合特徵。該第一綜合特徵全面反映了兩張影像中示出的該第一組件的組件特徵,以及該組件上的損傷特徵。
接著,在步驟1006,確定針對該第一組件的多個備選預測結果,每個備選預測結果包括備選組件類別和備選損傷類別。該步驟的執行方式與前述的步驟25相似,不再贅述。
然後,在步驟1007,將上述第一綜合特徵和多個備選預測結果輸入預先訓練的第一條件預測模型,得到第一預測結果,所述第一預測結果包括,每個備選預測結果中,備選損傷類別正確的機率。
並且,在步驟1008,將上述第一綜合特徵和多個備選預測結果輸入預先訓練的第二條件預測模型,得到第二預測結果,所述第二預測結果包括,每個備選預測結果中,備選組件類別正確的機率。
以上關於第一條件預測模型和第二條件預測模型的訓練、使用,可以參照前述關於圖2中步驟26和步驟27的描述,不再贅述。
之後,在步驟1010,至少基於上述第一預測結果和第二預測結果,確定第一組件的組件類別及其對應的損傷類別。
該步驟的執行方式可以參照前述步驟28的描述。
以上,透過綜合第一車損影像和第二車損影像,得到某個組件在多圖中的組件級損傷特徵,基於該組件級損傷特徵,利用預測模型確定出該組件的組件類別和損傷類別。
進一步的,可選的,圖10的方法還包括步驟1009(虛線框示出),將上述第一綜合特徵和多個備選預測結果輸入預先訓練的第三預測模型,得到第三預測結果,所述第三預測結果包括,對於每個備選預測結果,其中的備選損傷類別和備選組件類別均正確的機率。
關於第三預測模型的訓練和使用,參見之前的描述,不再贅述。
在進一步使用第三預測模型的情況下,相應的,步驟1010包括,基於所述第一預測結果,第二預測結果,以及所述第三預測結果,確定第一組件的組件類型及其對應的損傷類別。
在前述針對步驟28的描述中,已描述多個根據第一預測結果,第二預測結果,以及第三預測結果,確定組件類型及其損傷類別的實施例,這些實施例同樣可以應用於步驟1010的執行。
除此之外,在一個實施例中,還可以將上述第一條件預測模型,第二條件預測模型和第三預測模型作為樹節點,建構決策樹模型,利用該決策樹模型確定上述第一組件的組件類型及其對應的損傷類別。在這樣的情況下,第一條件預測模型、第二條件預測模型和第三預測模型,均作為弱分類器,輸出初步分類結果。透過訓練決策樹模型,確定各個樹節點對應的弱分類器的權重,從而基於各個初步分類結果輸出最終結果。
在一個實施例中,上述決策樹模型可以利用定損案件的定損單作為標記資料而訓練。可以理解,保險公司存在大量的案件資料,這些資料一般包括,同一案件的一系列車損影像,和針對這些影像人工定損的定損單,其中定損單中會示出,車輛中哪些組件受到什麼樣的損傷。因此,可以將定損單作為標記資料,訓練得到上述的決策樹模型。利用訓練好的決策樹模型,就可以基於各個預測模型的預測結果,確定出案件最終的車損狀況。
回顧圖1到圖10的過程可以看到,在智慧型定損過程中,在分別利用損傷檢測模型和組件模型對損傷和組件分別進行識別後,將組件特徵和損傷特徵進行融合,得到組件級損傷特徵。然後,利用多個預測模型,其中包括至少2個條件預測模型,基於該組件級損傷特徵,判斷組件的類別和損傷的類別,從而確定出車損狀況,實現智慧型定損。
可以理解,在這個智慧型決策的訓練過程中可以採用多種類型的訓練資料,1)整案定損單(整案中正確的組件和損傷類型組合)2)單一圖的定損單(單一圖中正確的組件和損傷類型組合)3)損傷的標記4)組件的標記。訓練資料優先順序1)>2)>3),4)。在高優先級資料豐富時採用高優先級資料訓練效果更佳,在高優先級資料不足或獲取難度成本很大的情況框下,可以順次獲取後面優先順序的訓練資料進行訓練,使整體決策效果更佳。其中3)4)的標記資訊不完備,這時的訓練目標是條件機率。
根據另一態樣的實施例,還提供一種車輛定損裝置。圖11示出根據一個實施例的車輛定損裝置的示意性方塊圖。可以理解,該裝置可以部署在任意具有計算、處理能力的設備、平台、集群中。如圖11所示,該定損裝置1100包括:
影像獲取單元1101,配置為獲取待識別的車損影像;
損傷資訊獲取單元1102,配置為利用預先訓練的損傷檢測模型,獲取損傷物件檢測資訊,其包括,框選出所述車損影像中多個損傷物件的多個損傷檢測框的資訊;
組件資訊獲取單元1103,配置為利用預先訓練的組件模型,獲取針對所述車損影像的車輛組件資訊,其中包括,組件物件檢測資訊,和組件分割資訊,所述組件物件檢測資訊中包括檢測出的第一組件;
綜合特徵產生單元1104,配置為基於所述損傷物件檢測資訊和所述車輛組件資訊,針對所述第一組件產生第一綜合特徵,所述第一綜合特徵包括,該第一組件的組件特徵,以及融合損傷特徵,所述融合損傷特徵透過將所述多個損傷檢測框中,同屬於所述第一組件的至少一個損傷檢測框的損傷特徵進行融合而得到;
備選結果確定單元1105,配置為確定針對所述第一組件的多個備選預測結果,每個備選預測結果包括備選組件類別和備選損傷類別;
第一預測單元1106,配置為將所述第一綜合特徵和所述多個備選預測結果輸入預先訓練的第一條件預測模型,得到第一預測結果,所述第一預測結果包括,每個備選預測結果中,備選損傷類別正確的機率;
第二預測單元1107,配置為將所述第一綜合特徵和所述多個備選預測結果輸入預先訓練的第二條件預測模型,得到第二預測結果,所述第二預測結果包括,每個備選預測結果中,備選組件類別正確的機率;
結果確定單元1108,配置為至少基於所述第一預測結果和所述第二預測結果,確定所述第一組件的組件類別及其對應的損傷類別。
在一個實施例中,損傷資訊獲取單元1102利用多個損傷檢測模型來獲取損傷檢測資訊;相應的,所述損傷檢測資訊包括,分別來自於所述多個損傷檢測模型的多個損傷檢測框的資訊。
根據一種實施方式,組件資訊獲取單元1103透過以下方式獲取針對所述車損影像的車輛組件資訊:
利用組件檢測模型,獲取針對所述車損影像的所述組件物件檢測資訊,其中包括框選出相應組件的至少一個組件檢測框,以及每個組件檢測框對應的預測組件類別;
利用組件分割模型,獲取對所述車損影像中各個組件的分割結果。
在一個實施例中,上述組件模型基於卷積神經網路實現;相應的,綜合特徵產生單元1104可以從所述卷積神經網路的卷積層中獲取,所述車損影像中與所述第一組件相關的特徵,作為所述第一綜合特徵中的組件特徵。
在一個實施例中,綜合特徵產生單元1104透過以下方式產生融合損傷特徵:
根據所述損傷物件檢測資訊和所述組件分割資訊,確定同屬於該第一組件的至少一個損傷檢測框;
獲取所述至少一個損傷檢測框的損傷特徵;
將所述至少一個損傷檢測框的損傷特徵進行融合運算,得到所述融合損傷特徵。
進一步地,在一個實施例中,綜合特徵產生單元1104透過以下方式確定同屬於該第一組件的至少一個損傷檢測框:
根據所述組件分割資訊,確定所述第一組件覆蓋的第一區域;
根據所述多個損傷檢測框的位置資訊,確定其是否落入所述第一區域;
將落入所述第一區域的損傷檢測框確定為所述至少一個損傷檢測框。
根據一種實施方式,對於上述至少一個損傷檢測框中包括的第一損傷檢測框,綜合特徵產生單元1104可以如下獲取其對應的第一損傷特徵:從所述損傷檢測模型所對應的卷積神經網路的卷積層中擷取,與所述第一損傷檢測框相關的影像卷積特徵。
進一步的,在一個實施例中,損傷資訊獲取單元1102獲取的損傷物件檢測資訊還包括,所述多個損傷檢測框中各個損傷檢測框對應的預測損傷類別;在這樣的情況下,綜合特徵產生單元1104獲取所述第一損傷檢測框對應的第一損傷特徵還包括,根據所述第一損傷檢測框與所述多個損傷檢測框中其他損傷檢測框之間的關聯關係,確定第一關聯特徵作為所述第一損傷特徵的一部分,所述關聯關係至少包括以下中的一項或多項:損傷檢測框位置關聯關係,預測損傷類別關聯關係,以及透過所述影像卷積特徵反映的框內容關聯關係。
根據一種實施方式,綜合特徵產生單元1104進行的融合運算可以包括以下中的一項或多項:取最大值運算,取最小值運算,求平均值運算,求總和運算,求中位數運算。
在一個實施例中,組件資訊獲取單元1103獲取的組件資訊包括,框選出相應組件的至少一個組件檢測框,以及每個組件檢測框對應的預測組件類別;基於此,備選結果確定單元1105可以獲取針對所述第一組件的第一預測組件類別,將所述第一預測組件類別作為所述備選組件類別。
在一個實施例中,損傷資訊獲取單元1102獲取的損傷物件檢測資訊包括,所述多個損傷檢測框中各個損傷檢測框對應的預測損傷類別;基於此,備選結果確定單元1105可以獲取所述至少一個損傷檢測框對應的至少一個預測損傷類別;分別將以下項目作為所述備選損傷類別:
所述至少一個預測損傷類別中,損傷程度最高的損傷類別;
所述至少一個預測損傷類別中,佔比最高的損傷類別。
根據一種實現方式,第一預測單元1106所利用的第一條件預測模型基於至少一個第一訓練樣本而訓練,所述第一訓練樣本包括第一訓練影像,以及第一標記資料,所述第一標記資料至少包括,針對所述第一訓練影像中的第一受損組件的第一損傷類別標籤,其中所述第一損傷類別標籤基於人工標記的損傷標記資料而產生。
進一步的,在一個實施例中,所述第一損傷類別標籤透過以下方式產生:
獲取所述人工標記的損傷標記資料,所述損傷標記資料包括在所述第一訓練影像中標記出的多個損傷標記框,以及針對各個損傷標記框標記的各個損傷類別標籤;
獲取針對所述第一訓練影像的組件輪廓資訊;
根據所述組件輪廓資訊,確定對應於所述第一受損組件的至少一個損傷標記框;
將所述至少一個損傷標記框對應的損傷類別標籤中,對應的損傷程度最高的損傷類別標籤,作為所述第一損傷類別標籤。
更進一步的,可以透過人工標記的輪廓標記資料,獲取上述組件輪廓資訊;或者,透過組件分割模型,獲取所述組件輪廓資訊。
根據一種實現方式,第二預測單元1107中採用的第二條件預測模型基於至少一個第二訓練樣本而訓練,所述第二訓練樣本包括第二訓練影像,以及第二標記資料,所述第二標記資料至少包括,針對所述第二訓練影像中的第二受損組件人工標記的第二組件類別標籤。
在一種可能的設計中,結果確定單元1108透過以下方式確定第一組件的組件類別及其對應的損傷類別:
對於各個備選預測結果,獲取所述第一預測結果中與該備選預測結果對應的第一機率,以及所述第二預測結果中與該備選預測結果對應的第二機率;
根據所述第一機率和所述第二機率,確定各個備選預測結果的綜合正確機率;
根據所述綜合正確機率,從所述多個備選預測結果中選擇至少一條預測結果;
根據所述至少一條預測結果中包含的備選組件類別和備選損傷類別,確定所述第一組件的組件類別和對應的損傷類別。
進一步的,備選結果確定單元1105可以透過以下方式確定各個備選預測結果的綜合正確機率:
將所述第一機率和第二機率的最大值作為所述綜合正確機率;或者,
將所述第一機率和第二機率的總和值作為所述綜合正確機率;或者,
將所述第一機率和第二機率的乘積作為所述綜合正確機率。
在一種可能的實現方式中,裝置1100還包括第三預測單元(未示出),配置為,將所述第一特徵和所述多個備選預測結果輸入預先訓練的第三預測模型,得到第三預測結果,所述第三預測結果包括,對於每個備選預測結果,其中的備選損傷類別和備選組件類別均正確的機率。
在一個實施例中,所述第三預測模型基於至少一個第三訓練樣本而訓練,所述第三訓練樣本包括第三訓練影像,以及第三標記資料,所述第三標記資料包括,針對所述第三訓練影像中的第三受損組件人工標記的第三組件類別標籤和第三損傷類別標籤。
相應的,在一個實施例中,結果確定單元1108可以基於所述第一預測結果,第二預測結果,以及所述第三預測結果,確定所述第一組件的組件類型及其對應的損傷類別。
在更具體的實施例中,結果確定單元1108可以如下確定第一組件的組件類型及其對應的損傷類別:
對於各個備選預測結果,獲取所述第一預測結果中與該備選預測結果對應的第一機率,所述第二預測結果中與該備選預測結果對應的第二機率,以及所述第三預測結果中與該備選預測結果對應的第三機率;
根據所述第一機率、所述第二機率和所述第三機率,確定各個備選預測結果的綜合正確機率;
根據所述綜合正確機率,從所述多個備選預測結果中選擇至少一條預測結果;
根據所述至少一條預測結果中包含的備選組件類別和備選損傷類別,確定所述第一組件的組件類別和對應的損傷類別。
在一種可能的設計中,裝置還可以包括換修方案確定單元(未示出),配置為根據所述第一組件的組件類別及其對應的損傷類別,確定所述第一組件的換修方案。
在又一態樣的實施例中,還提供一種車輛定損裝置,用於根據多張車損影像進行定損。圖12示出根據一個實施例的車輛定損裝置的示意性方塊圖。可以理解,該裝置可以部署在任意具有計算、處理能力的設備、平台、集群中。如圖12所示,該定損裝置1200包括:
影像獲取單元1201,配置為獲取待識別的第一車損影像和第二車損影像,所述第一車損影像和第二車損影像屬於同一定損案件;
損傷資訊獲取單元1202,配置為利用預先訓練的損傷檢測模型,獲取分別針對所述第一車損影像和第二車損影像的第一損傷物件檢測資訊和第二損傷物件檢測資訊,所述第一損傷物件檢測資訊包括,框選出所述第一車損影像中多個損傷物件的多個第一損傷檢測框的資訊,所述第二損傷物件檢測資訊包括,框選出所述第二車損影像中多個損傷物件的多個第二損傷檢測框的資訊;
組件資訊獲取單元1203,配置為利用預先訓練的組件模型,獲取分別針對所述第一車損影像和所述第二車損影像的第一車輛組件資訊和第二車輛組件資訊,所述第一車輛組件資訊包括,第一組件物件檢測資訊和第一組件分割資訊,所述第二車輛組件資訊包括,第二組件物件檢測資訊和第二組件分割資訊;
共同組件確定單元1204,配置為根據所述第一車損影像和第二車損影像之間的關聯,從所述第一組件物件檢測資訊和所述第二組件物件檢測資訊中確定出共同的第一組件;
綜合特徵產生單元1205,配置為基於所述第一損傷物件檢測資訊、所述第二損傷物件檢測資訊、所述第一車輛組件資訊和第二車輛組件資訊,針對所述第一組件產生第一綜合特徵,所述第一綜合特徵包括,該第一組件的融合組件特徵以及融合損傷特徵,其中,所述融合組件特徵透過將第一組件特徵和第二組件特徵進行融合而得到,所述第一組件特徵基於所述第一車損影像產生,所述第二組件特徵基於所述第二車損影像產生;所述融合損傷特徵透過將第一損傷特徵和第二損傷特徵進行融合而得到,所述第一損傷特徵基於所述第一車損影像中同屬於該第一組件的至少一個第一損傷檢測框的損傷特徵而產生,所述第二損傷特徵基於所述第二車損影像中同屬於該第一組件的至少一個第二損傷檢測框的損傷特徵而產生;
備選結果確定單元1206,配置為確定針對所述第一組件的多個備選預測結果,每個備選預測結果包括備選組件類別和備選損傷類別;
第一預測單元1207,配置為將所述第一綜合特徵和所述多個備選預測結果輸入預先訓練的第一條件預測模型,得到第一預測結果,所述第一預測結果包括,每個備選預測結果中,備選損傷類別正確的機率;
第二預測單元1208,配置為將所述第一綜合特徵和所述多個備選預測結果輸入預先訓練的第二條件預測模型,得到第二預測結果,所述第二預測結果包括,每個備選預測結果中,備選組件類別正確的機率;
結果確定單元1210,至少基於所述第一預測結果和所述第二預測結果,確定所述第一組件的組件類別及其對應的損傷類別。
在一個實施例中,上述裝置1200還包括第三預測單元1209(虛線示出),配置為將所述第一特徵和所述多個備選預測結果輸入預先訓練的第三預測模型,得到第三預測結果,所述第三預測結果包括,對於每個備選預測結果,其中的備選損傷類別和備選組件類別均正確的機率。
相應的,結果確定單元1210可以配置為,基於所述第一預測結果,第二預測結果,以及所述第三預測結果,確定所述第一組件的組件類型及其對應的損傷類別。
透過以上的裝置,基於待識別的車損影像,對車輛組件類別和總體損傷類別進行預測判斷,實現智慧型定損。
根據另一態樣的實施例,還提供一種電腦可讀儲存媒體,其上儲存有電腦程式,當所述電腦程式在電腦中執行時,令電腦執行結合圖2和圖10所描述的方法。
根據再一態樣的實施例,還提供一種計算設備,包括記憶體和處理器,所述記憶體中儲存有可執行碼,所述處理器執行所述可執行碼時,實現結合圖2和圖10所述的方法。
本領域技術人員應該可以意識到,在上述一個或多個實例中,本發明所描述的功能可以用硬體、軟體、韌體或它們的任意組合來實現。當使用軟體實現時,可以將這些功能儲存在電腦可讀媒體中或者作為電腦可讀媒體上的一個或多個指令或碼進行傳輸。
以上所述的具體實施方式,對本發明的目的、技術方案和有益效果進行了進一步詳細說明,所應理解的是,以上所述僅為本發明的具體實施方式而已,並不用於限定本發明的保護範圍,凡在本發明的技術方案的基礎之上,所做的任何修改、等同替換、改進等,均應包括在本發明的保護範圍之內。