TWI742382B - 透過電腦執行的、用於車輛零件識別的神經網路系統、透過神經網路系統進行車輛零件識別的方法、進行車輛零件識別的裝置和計算設備 - Google Patents

透過電腦執行的、用於車輛零件識別的神經網路系統、透過神經網路系統進行車輛零件識別的方法、進行車輛零件識別的裝置和計算設備 Download PDF

Info

Publication number
TWI742382B
TWI742382B TW108119715A TW108119715A TWI742382B TW I742382 B TWI742382 B TW I742382B TW 108119715 A TW108119715 A TW 108119715A TW 108119715 A TW108119715 A TW 108119715A TW I742382 B TWI742382 B TW I742382B
Authority
TW
Taiwan
Prior art keywords
candidate
vehicle
convolution
target
region
Prior art date
Application number
TW108119715A
Other languages
English (en)
Other versions
TW202011282A (zh
Inventor
郭清沛
Original Assignee
開曼群島商創新先進技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 開曼群島商創新先進技術有限公司 filed Critical 開曼群島商創新先進技術有限公司
Publication of TW202011282A publication Critical patent/TW202011282A/zh
Application granted granted Critical
Publication of TWI742382B publication Critical patent/TWI742382B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Technology Law (AREA)

Abstract

本說明書實施例提供一種透過電腦執行的、用於車輛零件識別的神經網路系統，該系統包括：卷積層，配置為接收車輛圖片，對車輛圖片進行卷積處理，生成與該車輛圖片對應的卷積特徵圖；區域生成網路RPN，配置為基於該卷積特徵圖，確定以車輛零件為潛在目標的多個候選區域；分類回歸層，配置為針對各個候選區域，基於該候選區域自身的區域特徵，確定該候選區域對應的零件類別和邊框；以及條件隨機場CRF組件，配置為獲取各個候選區域的零件類別和邊框，並提取該多個候選區域的關聯特徵，基於該關聯特徵，修正該各個候選區域的零件類別和邊框。

Description

透過電腦執行的、用於車輛零件識別的神經網路系統、透過神經網路系統進行車輛零件識別的方法、進行車輛零件識別的裝置和計算設備
本說明書一個或多個實施例涉及電腦領域，尤其涉及利用機器學習，透過神經網路自動識別車輛零件的方法和裝置。
在傳統車險理賠場景中，保險公司需要派出專業的查勘定損人員到事故現場進行現場查勘定損，給出車輛的維修方案和賠償金額，並拍攝現場照片，定損照片留檔以供後台核查人員核損核價。由於需要人工查勘定損，保險公司需要投入大量的人力成本，和專業知識的培訓成本。從普通用戶的體驗來說，理賠流程由於等待人工查勘員現場拍照、定損員在維修地點定損、核損人員在後台核損，理賠週期長達1-3天，用戶的等待時間較長，體驗較差。
針對需求背景中提到的這一人工成本巨大的行業痛點，開始設想將人工智慧和機器學習應用到車輛定損的場景中，希望能夠利用人工智慧領域電腦視覺圖像識別技術，根據普通用戶拍攝的現場損失圖片，自動識別圖片中反映的車損狀況，並自動給出維修方案。如此，無需人工查勘定損核損，大大減少了保險公司的成本，提升了普通 用戶的車險理賠體驗。
在車損檢測識別過程中，往往需要對車輛零件進行識別。目前的智慧定損方案中，車輛零件識別的準確度還有待進一步提高。
因此，希望能有改進的方案，可以更準確地對車輛零件進行識別，從而提高智慧定損的準確度。
本說明書一個或多個實施例描述了一種車輛零件識別的神經網路系統和識別方法，其中透過建立條件隨機場，在多個候選區域之間建立資訊流動，來修正獨立檢測的結果，從而提高零件識別準確度。
根據第一方面，提供了一種透過電腦執行的、用於車輛零件識別的神經網路系統，包括：至少一個卷積層，配置為接收車輛圖片，對該車輛圖片進行卷積處理，生成與該車輛圖片對應的卷積特徵圖；區域生成網路RPN，配置為基於該卷積特徵圖，確定以車輛零件為潛在目標的多個候選區域；分類回歸層，配置為針對各個候選區域，基於該候選區域自身的區域特徵，確定該候選區域對應的零件類別和邊框；條件隨機場CRF組件，配置為獲取各個候選區域的零件類別和邊框，並提取該多個候選區域的關聯特徵，基於該關聯特徵，修正該各個候選區域的零件類別和邊框。
根據一種實施方式，該區域生成網路RPN為全卷積網路，包括卷積處理層、邊框分類層、邊框回歸層， 其中該卷積處理層配置為，在該卷積特徵圖中，以滑動窗口對各個卷積映射位置進行卷積算子處理，得到各個位置的特徵向量； 該邊框分類層配置為，透過各個位置的特徵向量，預測各個位置對於預定的多個錨點是否構成前景目標； 該邊框回歸層配置為，預測各個位置上對應於各個錨點的區域邊界。 在一個實施例中，多個候選區域的關聯特徵包括以下中的至少一項：候選區域大小、候選區域之間的位置關係、候選區域的距離、候選區域的交並比。 根據一種可能的設計，該條件隨機場CRF組件配置為，確定條件隨機場CRF的能量函數以及對應的概率函數，求解概率函數最小化時的能量函數，該能量函數包括資料項和平滑項，該資料項基於各個候選區域屬各個零件類別的概率，該平滑項基於各個候選區域之間的關聯特徵。 進一步地，在一個實施例中，條件隨機場CRF組件包括循環神經網路RNN，該求解概率函數最小化時的能量函數包括，透過該循環神經網路RNN執行多次迭代操作，逼近該概率函數，該迭代操作包括，透過預先訓練的兼容性矩陣，更新各個候選區域屬各個零件類別的概率，該兼容性矩陣示出，車輛各個零件類別之間兼容的概率。 根據一種實施方式，基礎卷積層，區域生成網路RPN，分類回歸層，條件隨機場CRF組件中的參數透過訓練樣本端到端聯合訓練。 進一步地，在一個實施例中，該端到端聯合訓練包括， 將訓練樣本輸入該基礎卷積層，從該條件隨機場CRF組件的輸出獲得預測結果，該預測結果包括多個目標區域的預測零件類別和預測邊框； 根據該預測結果以及訓練樣本的零件類別標籤和邊框標籤，確定各個目標區域的預測誤差，並基於該預測誤差確定損失函數，該損失函數包括該多個目標區域的預測誤差的交叉項； 基於該損失函數將預測誤差反向傳播，該反向傳播包括，將該多個目標區域中的第一目標區域的預測誤差反向傳播到與第一目標區域相關的其他目標區域。 根據第二方面，提供一種透過神經網路系統進行車輛零件識別的方法，包括： 獲取車輛圖片； 對該車輛圖片進行卷積處理，生成與該車輛圖片對應的卷積特徵圖； 基於該卷積特徵圖，確定以車輛零件為潛在目標的多個候選區域； 針對各個候選區域，基於該候選區域自身的區域特徵，確定該候選區域的零件類別和邊框； 提取該多個候選區域的關聯特徵； 基於該關聯特徵，修正各個候選區域的零件類別和邊框。 根據第三方面，提供一種進行車輛零件識別的裝置，包括： 卷積處理單元，配置為獲取車輛圖片，對該車輛圖片進行卷積處理，生成與該車輛圖片對應的卷積特徵圖； 區域生成單元，配置為基於該卷積特徵圖，確定以車輛零件為潛在目標的多個候選區域； 目標檢測單元，配置為針對各個候選區域，基於該候選區域自身的區域特徵，確定該候選區域的零件類別和邊框； 修正單元，配置為提取該多個候選區域的關聯特徵，基於該關聯特徵，修正各個候選區域的零件類別和邊框。 根據第四方面，提供了一種計算設備，包括記憶體和處理器，其特徵在於，該記憶體中儲存有可執行代碼，該處理器執行該可執行代碼時，實現第一方面的神經網路系統。 透過本說明書實施例提供的神經網路系統、方法和裝置，在採用目標檢測演算法識別出多個零件的分類的基礎上，採用條件隨機場CRF，讓候選區域之間的資訊流相互之間流動，從而結合各個候選區域之間的關聯關係，共同決定候選區域中車輛零件的類別，從而優化零件識別結果的準確度。
下面結合圖式，對本說明書提供的方案進行描述。 為了對車輛定損圖片中的車損狀況進行識別，業界普遍採用的方法是，透過與海量歷史資料庫進行比對得到相似的圖片，來決定圖片上的損傷零件及其程度。然而，這樣的方式損傷識別準確率不夠理想。 根據監督學習的思路，開始採用模型訓練的方式，從含有車損資訊的圖片中進行車損識別。根據一種實施方案，車損識別可以分為車輛零件識別，和損傷類型識別，最後將零件識別結果和損傷類型識別結果進行結合，作為車損檢測結果。為此，考慮訓練專門的車輛零件識別模型，從而準確地進行車輛零件識別。 圖1為本說明書披露的一個實施例的實施場景示意圖。如圖1所示，利用帶標註的車輛圖片形成訓練樣本集，其中帶標註的車輛圖片可以是受損的車輛圖片，也可以是無損的車輛圖片，其中的標註包括對車輛圖片中各個零件的零件類別和零件所在邊框區域的標註。計算平台可以用這樣的訓練樣本集訓練車輛零件識別模型。 在訓練得到零件識別模型之後，對於用戶拍攝的現場圖片，就可以將現場圖片發送到計算平台，利用該零件識別模型，自動識別圖片中的車輛零件，用於與損傷資訊相結合，確定車損狀況。 具體地，根據本說明書的實施例，上述車輛零件識別模型可以採用神經網路來實現，是基於神經網路的識別模型。該模型被訓練為，可以基於單張車輛圖片，識別出其中的多個車輛零件，也就是可以進行多目標同時檢測。為了實現多目標檢測，根據一種目標檢測演算法，首先識別出多個候選的感興趣區域，或稱為候選區域，然後確定各個候選區域對應的目標對象的類別和邊框。根據本說明書的實施例，為了更為精準地進行多目標檢測，同時識別出多個車輛零件，上述神經網路模型在採用目標檢測演算法識別出多個零件的分類的基礎上，採用條件隨機場CRF，讓候選區域之間的資訊流相互之間流動，從而結合各個候選區域之間的關聯關係，共同決定候選區域中車輛零件的類別，從而優化零件識別結果的準確度。 下面描述實現零件識別模型的神經網路系統的具體結構和執行過程。 圖2示出根據一個實施例的神經網路系統的結構示意圖，該神經網路系統用於進行車輛零件識別。可以理解，該神經網路系統可以透過任何具有計算、處理能力的設備、裝置、平台、設備集群來實現，例如圖1所示的計算平台。如圖2所示，神經網路系統包括卷積層21、區域生成網路RPN 22、分類回歸層23，以及條件隨機場CRF組件24，這些網路層共同作用，實現零件識別模型的演算法，從而對車輛圖片進行零件識別。下面描述以上各個層的實現方式。 首先，神經網路系統在網路最前端包含卷積層21，用於接收車輛圖片，對該車輛圖片進行卷積處理，生成與該車輛圖片對應的卷積特徵圖。從實現的角度，卷積層21也可以認為是一個卷積神經網路CNN(Convolutional Neural Network)。 卷積神經網路CNN是圖像處理領域常常採用的一種網路結構，其中包括若干卷積層，用於對圖像進行卷積處理。卷積處理是對圖像進行分析常常採用的一種處理操作。具體地，卷積處理是使用一個卷積核，對圖像中的每個像素進行一系列操作。卷積核(算子)是用來做圖像處理時的矩陣，是與原圖像素做運算的參數。卷積核通常是一個四方形的網格結構(例如3*3的矩陣或像素區域)，每個網格都有一個權重值。使用卷積核對圖片進行卷積計算時，將卷積核在圖片的像素矩陣上滑動，每滑動一個步長，對卷積核中每個元素和其覆蓋的圖像像素值進行乘積並求和，如此得到的新的特徵值矩陣構成卷積特徵圖，即feature map。卷積運算可以從原始圖片的像素矩陣中，提取出抽象的特徵，根據卷積核的設計，這些抽象特徵例如可以反映，原始圖片中一個區域的線條形狀、顏色分佈等更加全域的特徵。 在一個實施例中，上述卷積層21包括一個或多個卷積層，每個卷積層對圖像進行一次卷積處理。經過這些卷積層處理，得到原車輛圖片對應的卷積特徵圖(feature map)。 在一個實施例中，卷積層21包括多個卷積層，在這多個卷積層之間或在某些卷積層之後，還包括至少一個ReLU(The Rectified Linear Unit，修正線性單元)激勵層，用於把卷積層輸出結果做非線性映射。非線性映射的結果可以被輸入下一卷積層繼續進行卷積處理，或者可以作為卷積特徵圖輸出。 在一個實施例中，卷積層21包括多個卷積層，在這多個卷積層之間，還包括至少一個池化層(pooling)，用於把卷積層輸出結果進行池化操作。池化操作的結果可以被輸入下一卷積層，繼續進行卷積操作。 本領域技術人員瞭解，根據需要，卷積層21可以被設計為包括一個或多個卷積層，並可以選擇性地在多個卷積層之間添加ReLU激勵層和/或池化層。卷積層21對原始車輛圖片進行卷積處理後，輸出該圖片對應的卷積特徵圖。 接著，基於卷積層21所生成的卷積特徵圖，區域生成網路RPN 22可以確定以車輛零件為潛在目標的多個候選區域。 候選區域RP(Region Proposal)是圖片中目標可能出現的區域，在有些情況下又稱為感興趣區域ROI(Region Of Interest)，候選區域的確定為後續目標的分類和邊框的回歸確定提供基礎。 在用於進行目標檢測和識別的R-CNN(Region CNN)網路模型和Fast R-CNN網路模型中都是採用選擇性搜索(selective search)的方式提取候選區域RP。而在進一步的Faster R-CNN中，提出了區域生成網路RPN(region proposal network)，專用於生成或建議候選區域RP。 區域生成網路RPN是一種全卷積網路(fully-convolutional network)，基於基礎網路(即包括前述的卷積層21)返回的卷積特徵圖，透過全卷積的方式高效實現候選區域RP的建議和生成。 圖3示出根據一個實施例的區域生成網路RPN的結構示意圖。如圖所示，RPN包括卷積處理層221、邊框分類層222、邊框回歸層223。 卷積處理層221可以配置為，在之前卷積層輸出的卷積特徵圖中，以滑動窗口對各個卷積映射位置進行卷積算子處理，得到各個卷積映射位置的特徵向量。 換而言之，在卷積處理層221，使用一個小網路(類似於卷積核)在之前卷積層輸出的卷積特徵圖上進行滑動掃描，這個滑動窗口每次與特徵圖上一定大小的窗口全連接(類似於卷積算子)，然後映射到一個低維向量，即作為這個窗口中心位置的特徵向量。 RPN網路中要用到錨點(anchor)的概念。如前所述用滑動窗口滑過各個位置進行掃描是為了確定每個滑窗中心對應感受野內存在目標與否。由於目標大小和長寬比例不一，因此就需要多個尺度的窗。錨點即給出一個基準窗大小，按照倍數和長寬比例得到不同大小的窗。例如最為經典的，基準窗大小為16，在此基礎上給出(8、16、32)三種倍數和(0.5、1、2)三種比例的窗，這樣能夠得到一共9種尺度的錨點。 圖4示出9種尺度的錨點的示例圖。注意在該圖中，為了清楚示出各個尺度的錨點，錨點中心並不對應同一位置。 需要瞭解，錨點對應於原始圖片中的不同尺度的窗，而進行卷積運算的滑動窗口是作用於卷積特徵圖，卷積特徵圖中的每個卷積映射位置(取決於卷積處理的次數和每次處理卷積核大小)對應於原圖中較大的區域。例如，圖4中的整體區域40可以是作用於卷積特徵圖上的一個滑動窗口所對應的原圖像素區域。而錨點是以滑動窗口(卷積核)中心點所對應的原圖上位置為中心，在原圖中框出的多尺度的窗口。 如上，以滑動窗口滑過各個位置進行處理，得到各個位置對於的特徵向量。 這樣的特徵向量被輸入到邊框分類層222和邊框回歸層223。 邊框分類層222透過各個位置的特徵向量，預測各個位置對於預定的各個錨點是否構成前景目標。更具體地，邊框分類層222針對每個位置，輸出對於某個錨點的目標性分數(objectness score)，該分數示出這個位置對於當前錨點是前景目標的概率。目標性分數只是為了區分這個位置是目標或者不是目標，而不對目標本身進行分類。 邊框回歸層223配置為，預測各個位置上對應於各個錨點的區域邊界。更具體地，該回歸層針對每個卷積映射位置，輸出這個位置上多種尺度和長寬比的多個區域建議的回歸邊界。在上述9種不同尺度錨點的情況下，對每個位置，輸出9種回歸邊界。 綜合邊框分類層222和邊框回歸層223的結果，區域生成網路RPN可以直接基於卷積特徵圖，生成以車輛零件為潛在目標的多個候選區域。 如圖2中示例性示出，在一個例子中，區域生成網路RPN在卷積特徵圖中建議出3個候選區域的區域邊框，分別表示為區域A，B，C。 接著，卷積特徵圖以及基於該特徵圖的多個候選區域的生成結果被輸入到分類回歸層23。分類回歸層23針對各個候選區域，基於該候選區域自身的區域特徵，確定其中零件類別和邊框。 根據一種實施方式，分類回歸層23是一個全連接層，基於前一層輸入的各個區域的區域特徵，進行零件類別分類和邊框回歸。更具體地，分類回歸層23可以包含多個分類器，各個分類器被訓練以識別候選區域中不同類別的目標。在車輛零件檢測的場景下，各個分類器被訓練以識別不同類別的車輛零件，例如保險桿，車前門，引擎蓋，大燈，尾燈等等。分類回歸層23還包括回歸器，用於對識別出的目標對應的邊框進行回歸，確定出包圍該目標的最小矩形區域為邊框(bounding box)。 以上的卷積層21，區域生成網路RPN 22和分類回歸層23，構成Faster R-CNN的主體網路結構。透過這樣的網路結構，可以對輸入的車輛圖片進行初步的零件識別，標註出零件類別，以及零件所在區域的邊框。 如前所述，分類回歸層23是基於每個候選區域自身的特徵，確定該區域中零件的類別和邊框。換而言之，對於各個候選區域是單獨考慮，獨立處理的。例如，對於圖2示例的候選區域A，分類回歸層23提取該候選區域A的特徵，基於該特徵判斷該候選區域A中的目標是否為某個預先訓練的零件類別，如果是，輸出區域A目標的類別標籤和邊框作為預測結果。在對候選區域A進行目標識別時，僅考慮該候選區域A的特徵，而與其他候選區域無關。如此，透過Faster R-CNN網路結構輸出初步的零件識別結果。 根據本說明書的實施例，考慮到對於車輛零件識別而言，零件位置關係決定了零件類別相互之間存在約束關係，因此，在神經網路系統中還添加了條件隨機場CRF組件，透過捕獲和處理候選區域之間的關聯特徵，對分類回歸層23得出的初步識別結果進行修正和優化，從而進一步提高零件檢測的準確度。 如圖2所示，條件隨機場CRF組件一方面從分類回歸層23獲取各個候選區域的零件類別和回歸邊框，另一方面還從卷積特徵圖中提取各個候選區域的關聯關係特徵，讓零件之間透過CRF組件建立一個隨機場，讓各個候選區域之間的資訊流相互之間流動，由周圍的候選區域的特徵共同決定當前候選區域應該是什麼類別，如此修正各個候選區域的零件類別結果。 具體地說，CRF即條件隨機場，是一個無向圖的概率模型，頂點代表變量，頂點之間的邊代表兩個變量之間的依賴關係。所有變量特徵可以進行全域歸一化，得到全域最優解。 在圖像處理領域，CRF可以用於圖像語義分割。具體地，圖像可以認為是像素點的集合，圖像分割也就是要確定各個像素點所屬的類別標籤。該圖像可以映射為無向圖模型，圖模型的每個頂點對應一個像素點。在圖像分割場景下，可以定義隱變量Xi為像素點i的分類標籤，它的取值範圍就是要分類的語義標籤L={l1,l2,l3……}；Yi為每個隨機變量Xi的觀測值，也就是每個像素點的顏色值。在此基礎上定義CRF的能量函數E(x)和概率函數P。 圖像分割的能量函數包括資料項和平滑項，資料項基於每個像素屬各個類別的概率，平滑項是基於像素對之間的能量，例如灰度值差異和空間距離。條件隨機場的圖像語義分割的目標就是，使得能量函數E(x)最小化，這對應於後驗概率函數P的最大化，此時得到的各個像素的類別標籤即對應於最優分割結果。 借鑒CRF在圖像分割中的應用，在本說明書的實施例中，使用條件隨機場CRF組件來優化零件檢測。主體思想是，在進行圖像分割時，CRF組件可以透過捕捉像素之間的位置關係和關聯(體現為在能量函數中存在平滑項)，利用像素周圍的一些資訊，得到更精準的像素級分割，也就是哪個像素是屬哪個分類。零件檢測和分割的區別在於，分割需要確定哪個像素屬哪個零件，零件檢測只需要確定，哪個區域是屬哪個零件，不需要知道各個像素的分類。因此，可以借鑒圖像分割的應用方式，捕獲候選區域的檢測框之間的關聯關係，利用周圍的候選區域的特徵，更精準地確定各個候選區域中零件的類別檢測結果。 為此，在將CRF組件用於零件檢測優化時，將條件隨機場CRF能量函數E定義為，包括資料項和平滑項，該資料項基於各個候選區域屬各個零件類別的概率，該平滑項基於各個候選區域之間的關聯特徵。然後，基於該能量函數確定條件隨機場的概率函數，並求解概率函數最小化時，能量函數對應的各個候選區域屬各個零件類別的概率。 在一個實施例中，CRF組件實現為預先建立的模型，透過求解上述概率函數和能量函數，更新之前Faster R-CNN的分類回歸層輸出的零件識別結果。 在另一實施例中，CRF組件透過循環神經網路RNN實現，即CRF as RNN組件，如此使得，CRF組件成為一個可學習、可訓練的網路組件，可以直接嵌入到已有的網路模型中。 具體地，在CRF as RNN組件中，可以將能量函數E(x)定義為：
Figure 02_image001
其中，
Figure 02_image003
是資料項，表示各個候選區域xi屬對應零件類別的概率，
Figure 02_image005
是平滑項，表示候選區域xi和xj之間的關聯特徵。更具體地，平滑項可以表示為若干個高斯函數的和。 在一個實施例中，候選區域之間的關聯特徵包括，候選區域大小、候選區域之間的位置關係、候選區域的距離、候選區域的交並比(IoU)等等。可以基於這些關聯特徵，確定以上平滑項。 基於以上的能量函數，可以確定條件隨機場CRF的概率函數為：
Figure 02_image007
對公式(1)中的E(x)最小化對應著對後驗概率P(x)的最大化，從而得到最優零件檢測結果。 由於直接計算概率函數P(x)比較困難，可以透過一個比較方便計算的概率函數Q(x)來近似得到P(x)：
Figure 02_image009
可以透過迭代計算的方式，讓Q(X)最大限度接近P(x)。 由於循環神經網路RNN的時序特性和記憶特性，因此可以透過RNN中的網路層來實現迭代計算過程。每次迭代操作都包括，消息傳遞，濾波權重輸出，類別兼容性轉換，資料項的添加，以及概率歸一化。 具體地，在CRF as RNN組件應用於車輛零件識別的情況下，在類別兼容性轉換步驟中，透過兼容性矩陣，更新各個候選區域屬各個零件類別的概率。更具體地，兼容性矩陣可以示出，車輛各個零件類別之間兼容的概率。例如，零件A為門把手，如果相鄰零件為車門，則二者之間的兼容概率對應於較高的值；如果相鄰零件為保險桿，則二者之間的兼容概率較低。該兼容性矩陣中的兼容概率值可以透過預先的訓練而獲得。也就是說，透過大量標註有車輛零件的圖片進行訓練，可以學習到在同一車輛中，各種零件之間的位置關係和兼容關係，並透過兼容性矩陣中的兼容概率值表示所學習到的位置關係。 透過以上的方式，不斷進行迭代操作，從而逼近概率函數P(x)，確定出概率函數P(x)最大情況下，各個候選區域所對應的各個零件類別的概率，據此優化零件檢測結果。 綜合以上，透過CRF組件，在卷積特徵圖上構建條件隨機場，提取各個候選區域之間的關聯特徵，讓不同候選區域之間具有能量和特徵資訊的流動，由多個候選區域共同決定某個候選區域的零件類別。如此，對之前的網路層中獨立地基於單個候選區域進行零件檢測的檢測結果進行進一步修正和優化，提高零件識別的準確度。 如上該，圖2中卷積層21、區域生成網路RPN 22、分類回歸層23，以及條件隨機場CRF組件24共同構成用於零件檢測的神經網路系統。由於該神經網路系統包括多個網路部分，這些網路部分例如是CRF組件，作為子網路的區域生成網路RPN，在一個實施例中，這些網路部分可以單獨訓練，確定模型參數。 在一個實施例中，對整個神經網路系統進行端到端的訓練，聯合訓練神經網路系統中的各個網路部分。 具體地，可以透過以下方式進行端到端聯合訓練。首先，將訓練樣本輸入整個神經網路系統，其中訓練樣本可以是包含車輛零件的圖片，其中車輛零件具有已經標註的零件類別標籤和零件邊框作為標註資料(Ground Truth)。訓練樣本在神經網路系統中，透過卷積層21的卷積處理得到卷積特徵圖，經過區域生成網路RPN 22處理得到候選區域，然後經過分類回歸層23處理，得到各個候選區域中零件類別和邊框的初步結果。之後，條件隨機場CRF組件對初步結果進行優化，輸出整個網路的預測結果，該預測結果包括多個目標區域的預測零件類別和預測邊框。 然後，根據網路的預測結果以及訓練樣本的標註資料(零件類別標籤和邊框標籤)，確定各個目標區域的預測誤差，並基於該預測誤差確定損失函數。在一個實施例中，損失函數包括多個目標區域的預測誤差的交叉項。這與CRF組件中在多個候選區域之間建立關聯，基於關聯特徵決定某個候選區域的預測結果相對應。 在此基礎上，基於上述損失函數將預測誤差反向傳播，以此調整和確定神經網路系統中的網路參數。由於損失函數包括多個目標區域的預測誤差的交叉項，因此在進行誤差的梯度反向傳播時，可以將某個目標區域的預測誤差反向傳播到與該目標區域相關的其他目標區域，如此優化與候選區域的關聯特徵計算相關的網路參數。 透過這樣的方式，訓練得到深度學習的神經網路系統。該神經網路系統可以基於單張車輛圖片，同時檢測圖中包含的多個車輛零件。由於引入了條件隨機場CRF組件，基於各個候選區域之間的關聯特徵進行零件檢測，使得檢測過程考慮了車輛獨有的零件之間的位置約束關係，從而使得檢測結果更加精確。 根據說明書另一方面的實施例，還提供一種透過神經網路系統進行車輛零件識別的方法。圖5示出根據一個實施例的車輛零件識別方法的流程圖。該方法可以由任何具有計算、處理能力的設備、裝置、平台、設備集群來實現，例如圖1所示的計算平台。如圖5所示，該方法包括：步驟51，獲取車輛圖片；步驟52，對該車輛圖片進行卷積處理，生成與該車輛圖片對應的卷積特徵圖；步驟53，基於該卷積特徵圖，確定以車輛零件為潛在目標的多個候選區域；步驟54，針對各個候選區域，基於該候選區域自身的區域特徵，確定該候選區域的零件類別和邊框；步驟55，提取該多個候選區域的關聯特徵；步驟56，基於該關聯特徵，修正各個候選區域的零件類別和邊框。 在一個實施例中，確定多個候選區域的步驟53進一步包括：在卷積特徵圖中，以滑動窗口對各個卷積映射位置進行卷積算子處理，得到各個位置的特徵向量；透過各個位置的特徵向量，預測各個位置對於預定的多個錨點是否構成前景目標；以及，預測各個位置上對應於各個錨點的區域邊界。 根據一種實施方式，上述多個候選區域的關聯特徵包括以下中的至少一項：候選區域大小、候選區域之間的位置關係、候選區域的距離、候選區域的交並比。 在一個實施例中，修正各個候選區域的零件類別和邊框的步驟56包括，確定條件隨機場CRF的能量函數以及對應的概率函數，求解概率函數最小化時的能量函數，該能量函數包括資料項和平滑項，該資料項基於各個候選區域屬各個零件類別的概率，該平滑項基於各個候選區域之間的關聯特徵。 更具體而言，在一個例子中，可以透過循環神經網路RNN執行多次迭代操作，逼近該概率函數，該迭代操作包括，透過預先訓練的兼容性矩陣，更新各個候選區域屬各個零件類別的概率，該兼容性矩陣示出，車輛各個零件類別之間兼容的概率。 在一個實施例中，實現車輛零件識別方法的神經網路系統透過訓練樣本端到端聯合訓練。 具體地，在一個例子中，神經網路系統的端到端聯合訓練包括， 將訓練樣本輸入該神經網路系統，獲得預測結果，該預測結果包括多個目標區域的預測零件類別和預測邊框； 根據該預測結果以及訓練樣本的零件類別標籤和邊框標籤，確定各個目標區域的預測誤差，並基於該預測誤差確定損失函數，該損失函數包括該多個目標區域的預測誤差的交叉項； 基於該損失函數將預測誤差反向傳播，該反向傳播包括，將該多個目標區域中的第一目標區域的預測誤差反向傳播到與第一目標區域相關的其他目標區域。 根據另一方面的實施例，還提供一種進行車輛零件識別的裝置。圖6示出根據一個實施例的零件識別裝置的示意性方塊圖。如圖6所示，該識別裝置600包括：卷積處理單元61，配置為獲取車輛圖片，對該車輛圖片進行卷積處理，生成與該車輛圖片對應的卷積特徵圖；區域生成單元62，配置為基於該卷積特徵圖，確定以車輛零件為潛在目標的多個候選區域；目標檢測單元63，配置為針對各個候選區域，基於該候選區域自身的區域特徵，確定該候選區域的零件類別和邊框；以及修正單元64，配置為提取該多個候選區域的關聯特徵，基於該關聯特徵，修正各個候選區域的零件類別和邊框。 根據另一方面的實施例，還提供一種電腦可讀儲存介質，其上儲存有電腦程式，當該電腦程式在電腦中執行時，令電腦執行結合圖5所描述的方法。 根據再一方面的實施例，還提供一種計算設備，包括記憶體和處理器，該記憶體中儲存有可執行代碼，該處理器執行該可執行代碼時，實現圖2所示的神經網路系統。 本領域技術人員應該可以意識到，在上述一個或多個示例中，本發明所描述的功能可以用硬體、軟體、韌體或它們的任意組合來實現。當使用軟體實現時，可以將這些功能儲存在電腦可讀介質中或者作為電腦可讀介質上的一個或多個指令或代碼進行傳輸。 以上所述的具體實施方式，對本發明的目的、技術方案和有益效果進行了進一步詳細說明，所應理解的是，以上所述僅為本發明的具體實施方式而已，並不用於限定本發明的保護範圍，凡在本發明的技術方案的基礎之上，所做的任何修改、等同替換、改進等，均應包括在本發明的保護範圍之內。
21:卷積層 22:區域生成網路RPN 23:分類回歸層 24:條件隨機場CRF組件 51~56:步驟 61:卷積處理單元 62:區域生成單元 63:目標檢測單元 64:修正單元 221:卷積處理層 222:邊框分類層 223:邊框回歸層 600:識別裝置
為了更清楚地說明本發明實施例的技術方案，下面將對實施例描述中所需要使用的圖式作簡單地介紹，顯而易見地，下面描述中的圖式僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些圖式獲得其它的圖式。 圖1示出本說明書披露的一個實施例的實施場景示意圖； 圖2示出根據一個實施例的神經網路系統的結構示意圖； 圖3示出根據一個實施例的區域生成網路RPN的結構示意圖； 圖4示出9種尺度的錨點的示例圖； 圖5示出根據一個實施例的車輛零件識別方法的流程圖； 圖6示出根據一個實施例的零件識別裝置的示意性方塊圖。
21:卷積層
22:區域生成網路RPN
23:分類回歸層
24:條件隨機場CRF組件

Claims (16)

  1. 一種透過電腦執行的、用於車輛零件識別的神經網路系統，包括：至少一個卷積層，配置為接收車輛圖片，對該車輛圖片進行卷積處理，生成與該車輛圖片對應的卷積特徵圖；區域生成網路RPN，配置為基於該卷積特徵圖，確定以車輛零件為潛在目標的多個候選區域；分類回歸層，配置為針對各個候選區域，基於該候選區域自身的區域特徵，確定該候選區域對應的零件類別和邊框；條件隨機場CRF組件，配置為獲取各個候選區域的零件類別和邊框，並提取該多個候選區域的關聯特徵，基於該關聯特徵，修正該各個候選區域的零件類別和邊框，其中，該條件隨機場CRF組件採用條件隨機場CRF，讓該各個候選區域之間的資訊流相互之間流動。
  2. 根據請求項1所述的系統，其中該區域生成網路RPN為全卷積網路，包括卷積處理層、邊框分類層、邊框回歸層，其中該卷積處理層配置為，在該卷積特徵圖中，以滑動窗口對各個卷積映射位置進行卷積算子處理，得到各個位置的特徵向量；該邊框分類層配置為，透過各個位置的特徵向量，預 測各個位置對於預定的多個錨點是否構成前景目標；該邊框回歸層配置為，預測各個位置上對應於各個錨點的區域邊界。
  3. 根據請求項1所述的系統，其中該多個候選區域的關聯特徵包括以下中的至少一項：候選區域大小、候選區域之間的位置關係、候選區域的距離、候選區域的交並比。
  4. 根據請求項1所述的系統，其中該條件隨機場CRF組件配置為，確定條件隨機場CRF的能量函數以及對應的概率函數，求解概率函數最小化時的能量函數，該能量函數包括資料項和平滑項，該資料項基於各個候選區域屬各個零件類別的概率，該平滑項基於各個候選區域之間的關聯特徵。
  5. 根據請求項4所述的系統，其中該條件隨機場CRF組件包括循環神經網路RNN，該求解概率函數最小化時的能量函數包括，透過該循環神經網路RNN執行多次迭代操作，逼近該概率函數，該迭代操作包括，透過預先訓練的兼容性矩陣，更新各個候選區域屬各個零件類別的概率，該兼容性矩陣示出，車輛各個零件類別之間兼容的概率。
  6. 根據請求項1所述的系統，其中該基礎卷積層，區域生成網路RPN，分類回歸層，條件隨機場CRF組件中的參 數透過訓練樣本端到端聯合訓練。
  7. 根據請求項6所述的系統，其中該端到端聯合訓練包括，將訓練樣本輸入該基礎卷積層，從該條件隨機場CRF組件的輸出獲得預測結果，該預測結果包括多個目標區域的預測零件類別和預測邊框；根據該預測結果以及訓練樣本的零件類別標籤和邊框標籤，確定各個目標區域的預測誤差，並基於該預測誤差確定損失函數，該損失函數包括該多個目標區域的預測誤差的交叉項；基於該損失函數將預測誤差反向傳播，該反向傳播包括，將該多個目標區域中的第一目標區域的預測誤差反向傳播到與第一目標區域相關的其他目標區域。
  8. 一種透過神經網路系統進行車輛零件識別的方法，包括：獲取車輛圖片；對該車輛圖片進行卷積處理，生成與該車輛圖片對應的卷積特徵圖；基於該卷積特徵圖，確定以車輛零件為潛在目標的多個候選區域；針對各個候選區域，基於該候選區域自身的區域特徵，確定該候選區域的零件類別和邊框； 提取該多個候選區域的關聯特徵；基於該關聯特徵，修正各個候選區域的零件類別和邊框；以及採用條件隨機場CRF，讓該各個候選區域之間的資訊流相互之間流動。
  9. 根據請求項8所述的方法，其中確定以車輛零件為潛在目標的多個候選區域包括，在該卷積特徵圖中，以滑動窗口對各個卷積映射位置進行卷積算子處理，得到各個位置的特徵向量；透過各個位置的特徵向量，預測各個位置對於預定的多個錨點是否構成前景目標；以及預測各個位置上對應於各個錨點的區域邊界。
  10. 根據請求項8所述的方法，其中該多個候選區域的關聯特徵包括以下中的至少一項：候選區域大小、候選區域之間的位置關係、候選區域的距離、候選區域的交並比。
  11. 根據請求項8所述的方法，其中基於該關聯特徵，修正各個候選區域的零件類別和邊框包括，確定條件隨機場CRF的能量函數以及對應的概率函數，求解概率函數最小化時的能量函數，該能量函數包括資料項和平滑項，該資料項基於各個候選區域屬各個零件類別的概率，該平滑項基於各個候選區域之間的關聯特徵。
  12. 根據請求項11所述的方法，其中該求解概率函數最小化時的能量函數包括，透過循環神經網路RNN執行多次迭代操作，逼近該概率函數，該迭代操作包括，透過預先訓練的兼容性矩陣，更新各個候選區域屬各個零件類別的概率，該兼容性矩陣示出，車輛各個零件類別之間兼容的概率。
  13. 根據請求項1所述的方法，其中該神經網路系統透過訓練樣本端到端聯合訓練。
  14. 根據請求項13所述的方法，其中該端到端聯合訓練包括，將訓練樣本輸入該神經網路系統，獲得預測結果，該預測結果包括多個目標區域的預測零件類別和預測邊框；根據該預測結果以及訓練樣本的零件類別標籤和邊框標籤，確定各個目標區域的預測誤差，並基於該預測誤差確定損失函數，該損失函數包括該多個目標區域的預測誤差的交叉項；基於該損失函數將預測誤差反向傳播，該反向傳播包括，將該多個目標區域中的第一目標區域的預測誤差反向傳播到與第一目標區域相關的其他目標區域。
  15. 一種進行車輛零件識別的裝置，包括： 卷積處理單元，配置為獲取車輛圖片，對該車輛圖片進行卷積處理，生成與該車輛圖片對應的卷積特徵圖；區域生成單元，配置為基於該卷積特徵圖，確定以車輛零件為潛在目標的多個候選區域；目標檢測單元，配置為針對各個候選區域，基於該候選區域自身的區域特徵，確定該候選區域的零件類別和邊框；修正單元，配置為提取該多個候選區域的關聯特徵，基於該關聯特徵，修正各個候選區域的零件類別和邊框；以及條件隨機場CRF組件，採用條件隨機場CRF，讓該各個候選區域之間的資訊流相互之間流動。
  16. 一種計算設備，包括記憶體和處理器，其特徵在於，該記憶體中儲存有可執行代碼，該處理器執行該可執行代碼時，實現請求項1-7中任一項所述的神經網路系統。
TW108119715A 2018-08-31 2019-06-06 透過電腦執行的、用於車輛零件識別的神經網路系統、透過神經網路系統進行車輛零件識別的方法、進行車輛零件識別的裝置和計算設備 TWI742382B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811014381.3A CN110569696A (zh) 2018-08-31 2018-08-31 用于车辆部件识别的神经网络系统、方法和装置
CN201811014381.3 2018-08-31

Publications (2)

Publication Number Publication Date
TW202011282A TW202011282A (zh) 2020-03-16
TWI742382B true TWI742382B (zh) 2021-10-11

Family

ID=68772399

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108119715A TWI742382B (zh) 2018-08-31 2019-06-06 透過電腦執行的、用於車輛零件識別的神經網路系統、透過神經網路系統進行車輛零件識別的方法、進行車輛零件識別的裝置和計算設備

Country Status (6)

Country Link
US (1) US11475660B2 (zh)
EP (1) EP3844669A1 (zh)
CN (1) CN110569696A (zh)
SG (1) SG11202012512RA (zh)
TW (1) TWI742382B (zh)
WO (1) WO2020047420A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019111840A1 (ja) * 2017-12-06 2019-06-13 日本電気株式会社 画像認識モデル生成装置、画像認識モデル生成方法、画像認識モデル生成プログラム記憶媒体、画像生成装置、画像生成方法および画像生成プログラム記憶媒体
CN109359676A (zh) * 2018-10-08 2019-02-19 百度在线网络技术（北京）有限公司 用于生成车辆损伤信息的方法和装置
US11790326B2 (en) * 2019-01-04 2023-10-17 Robert Lee Watts Systems and methods for repair of vehicle body damage
CN110210474B (zh) * 2019-04-30 2021-06-01 北京市商汤科技开发有限公司 目标检测方法及装置、设备及存储介质
CN110135437B (zh) * 2019-05-06 2022-04-05 北京百度网讯科技有限公司 用于车辆的定损方法、装置、电子设备和计算机存储介质
US10885625B2 (en) * 2019-05-10 2021-01-05 Advanced New Technologies Co., Ltd. Recognizing damage through image analysis
US10783643B1 (en) 2019-05-27 2020-09-22 Alibaba Group Holding Limited Segmentation-based damage detection
US20200394458A1 (en) * 2019-06-17 2020-12-17 Nvidia Corporation Weakly-supervised object detection using one or more neural networks
US11410287B2 (en) * 2019-09-09 2022-08-09 Genpact Luxembourg S.à r.l. II System and method for artificial intelligence based determination of damage to physical structures
CN111259969A (zh) * 2020-01-19 2020-06-09 上海钧正网络科技有限公司 一种报障识别方法、装置、服务器及介质
US11481862B2 (en) * 2020-02-26 2022-10-25 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for real-time, simultaneous object detection and semantic segmentation
CN111368784B (zh) * 2020-03-16 2024-04-02 广州文远知行科技有限公司 一种目标识别方法、装置、计算机设备和存储介质
CN113505624A (zh) * 2020-03-23 2021-10-15 虹软科技股份有限公司 车辆定损方法、车辆定损装置及应用其的电子设备
CN111507989A (zh) * 2020-04-15 2020-08-07 上海眼控科技股份有限公司 语义分割模型的训练生成方法、车辆外观检测方法、装置
CN111488945A (zh) * 2020-04-17 2020-08-04 上海眼控科技股份有限公司 图像处理方法、装置、计算机设备和计算机可读存储介质
CN111639069A (zh) * 2020-06-05 2020-09-08 上海海事大学 一种信息增强方法及信息增强系统
CN111832479B (zh) * 2020-07-14 2023-08-01 西安电子科技大学 基于改进的自适应锚点r-cnn的视频目标检测方法
WO2022031115A1 (ko) * 2020-08-06 2022-02-10 현대자동차주식회사 딥러닝 기반 인터 예측을 이용하는 영상 부호화 및 복호화
TWI768432B (zh) * 2020-08-18 2022-06-21 新加坡商鴻運科股份有限公司 零件裝配前分類處理方法、系統、電子設備及存儲介質
CN112016449A (zh) * 2020-08-27 2020-12-01 西华大学 一种基于深度学习的车辆识别与检测方法
CN112464841B (zh) * 2020-12-04 2022-08-19 四川长虹电器股份有限公司 一种用于专用道路违规行驶车辆检测的方法、存储介质
CN112772384B (zh) * 2021-01-28 2022-12-20 深圳市协润科技有限公司 一种基于卷积神经网络的农水灌溉系统和方法
CN113053003B (zh) * 2021-03-10 2022-08-05 广东博智林机器人有限公司 一种车辆门禁系统及其控制方法、装置、存储介质
CN113743407B (zh) * 2021-09-08 2024-05-10 平安科技（深圳）有限公司 车辆损伤的检测方法、装置、设备及存储介质
KR102360491B1 (ko) * 2021-09-28 2022-02-09 라이트브라더스 주식회사 저감된 탄소 배출량 계산 기반의 자전거 응용 서비스 플랫폼 서버, 방법, 및 컴퓨터 판독 가능한 기록 매체
CN114239761B (zh) * 2022-02-25 2022-05-10 北京鉴智科技有限公司 一种目标检测模型训练方法和装置
CN115374960B (zh) * 2022-07-05 2023-07-21 深圳市美信检测技术股份有限公司 一种管理航空发动机健康的方法及系统
CN116894937B (zh) * 2023-06-25 2024-02-06 德联易控科技(北京)有限公司 获取车轮定位仪参数的方法、系统及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW542986B (en) * 2001-11-05 2003-07-21 Tsubasa System Co Ltd Assessment method for charges of car repairs and the assessment system
TWI230879B (en) * 2001-11-05 2005-04-11 Tsubasa System Co Ltd Method and system for estimating vehicle repair expense
US20150106133A1 (en) * 2013-10-15 2015-04-16 Audatex North America, Inc. Mobile system for generating a damaged vehicle insurance estimate
US20170148102A1 (en) * 2015-11-23 2017-05-25 CSI Holdings I LLC Damage assessment and repair based on objective surface data
US20170293894A1 (en) * 2016-04-06 2017-10-12 American International Group, Inc. Automatic assessment of damage and repair costs in vehicles

Family Cites Families (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7031901B2 (en) 1998-05-13 2006-04-18 Abu El Ata Nabil A System and method for improving predictive modeling of an information system
US6397334B1 (en) 1998-12-17 2002-05-28 International Business Machines Corporation Method and system for authenticating objects and object data
US6644973B2 (en) 2000-05-16 2003-11-11 William Oster System for improving reading and speaking
US6925452B1 (en) 2000-05-22 2005-08-02 International Business Machines Corporation Method and system for recognizing end-user transactions
US7093129B1 (en) 2000-06-19 2006-08-15 International Business Machines Corporation Secured encrypted communications in a voice browser
JP3846851B2 (ja) 2001-02-01 2006-11-15 松下電器産業株式会社 画像のマッチング処理方法及びその装置
US7565537B2 (en) 2002-06-10 2009-07-21 Microsoft Corporation Secure key exchange with mutual authentication
US20040196363A1 (en) 2003-04-01 2004-10-07 Gary Diamond Video identification verification system
US7466824B2 (en) 2003-10-09 2008-12-16 Nortel Networks Limited Method and system for encryption of streamed data
US7401012B1 (en) 2005-04-20 2008-07-15 Sun Microsystems, Inc. Method and apparatus for characterizing computer system workloads
WO2006124666A2 (en) 2005-05-13 2006-11-23 Tivaro, Inc. A coordinate based computer authentication system and methods
US7536304B2 (en) 2005-05-27 2009-05-19 Porticus, Inc. Method and system for bio-metric voice print authentication
JP4865851B2 (ja) 2007-03-06 2012-02-01 住友電気工業株式会社 画像加工方法及び画像検査方法
US7872584B2 (en) 2007-04-09 2011-01-18 Honeywell International Inc. Analyzing smoke or other emissions with pattern recognition
US8280106B2 (en) 2007-09-29 2012-10-02 Samsung Electronics Co., Ltd. Shadow and highlight detection system and method of the same in surveillance camera and recording medium thereof
US9298979B2 (en) 2008-01-18 2016-03-29 Mitek Systems, Inc. Systems and methods for mobile image capture and content processing of driver's licenses
US8180629B2 (en) 2008-07-10 2012-05-15 Trigent Softward Ltd. Automatic pattern generation in natural language processing
DE102008046254A1 (de) 2008-09-08 2010-03-11 Giesecke & Devrient Gmbh Wertdokumentbearbeitungsvorrichtung und ein Verfahren zur Reduktion von Staub in der Wertdokumentbearbeitungsvorrichtung
KR101556654B1 (ko) 2008-11-28 2015-10-02 삼성전자주식회사 영상 통화 수행 방법 및 장치
US8121400B2 (en) 2009-09-24 2012-02-21 Huper Laboratories Co., Ltd. Method of comparing similarity of 3D visual objects
US9253167B2 (en) 2011-04-19 2016-02-02 Apriva, Llc Device and system for facilitating communication and networking within a secure mobile environment
US9082235B2 (en) 2011-07-12 2015-07-14 Microsoft Technology Licensing, Llc Using facial data for device authentication or subject identification
US8966613B2 (en) 2011-09-30 2015-02-24 Microsoft Technology Licensing, Llc Multi-frame depth image information identification
US9514357B2 (en) 2012-01-12 2016-12-06 Kofax, Inc. Systems and methods for mobile image capture and processing
US9066125B2 (en) 2012-02-10 2015-06-23 Advanced Biometric Controls, Llc Secure display
JP6052657B2 (ja) 2012-03-13 2016-12-27 パナソニックＩｐマネジメント株式会社 対象物検証装置、対象物検証プログラム、及び対象物検証方法
US20140310610A1 (en) 2013-04-15 2014-10-16 Flextronics Ap, Llc Vehicle occupant impairment assisted vehicle
US8705836B2 (en) 2012-08-06 2014-04-22 A2iA S.A. Systems and methods for recognizing information in objects using a mobile device
US9582843B2 (en) 2012-08-20 2017-02-28 Tautachrome, Inc. Authentication and validation of smartphone imagery
US9036943B1 (en) 2013-03-14 2015-05-19 Amazon Technologies, Inc. Cloud-based image improvement
US10475014B1 (en) 2013-03-15 2019-11-12 Amazon Technologies, Inc. Payment device security
US9147127B2 (en) 2013-03-15 2015-09-29 Facebook, Inc. Verification of user photo IDs
US9723251B2 (en) 2013-04-23 2017-08-01 Jaacob I. SLOTKY Technique for image acquisition and management
US10319035B2 (en) 2013-10-11 2019-06-11 Ccc Information Services Image capturing and automatic labeling system
US9202119B2 (en) 2013-10-18 2015-12-01 Daon Holdings Limited Methods and systems for determining user liveness
JP6287047B2 (ja) 2013-10-22 2018-03-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9607138B1 (en) 2013-12-18 2017-03-28 Amazon Technologies, Inc. User authentication and verification through video analysis
US10320807B2 (en) 2014-02-25 2019-06-11 Sal Khan Systems and methods relating to the authenticity and verification of photographic identity documents
US9646227B2 (en) 2014-07-29 2017-05-09 Microsoft Technology Licensing, Llc Computerized machine learning of interesting video sections
US9258303B1 (en) 2014-08-08 2016-02-09 Cellcrypt Group Limited Method of providing real-time secure communication between end points in a network
CA3186147A1 (en) 2014-08-28 2016-02-28 Kevin Alan Tussy Facial recognition authentication system including path parameters
US20160225053A1 (en) * 2015-01-29 2016-08-04 Clear Research Corporation Mobile visual commerce system
US9619696B2 (en) 2015-04-15 2017-04-11 Cisco Technology, Inc. Duplicate reduction for face detection
US9794260B2 (en) 2015-08-10 2017-10-17 Yoti Ltd Liveness detection
US20170060867A1 (en) 2015-08-31 2017-03-02 Adfamilies Publicidade, SA Video and image match searching
US10065441B2 (en) 2015-09-01 2018-09-04 Digimarc Corporation Counterfeiting detection using machine readable indicia
WO2017043314A1 (ja) 2015-09-09 2017-03-16 日本電気株式会社 ガイダンス取得装置、ガイダンス取得方法及びプログラム
GB201517462D0 (en) 2015-10-02 2015-11-18 Tractable Ltd Semi-automatic labelling of datasets
WO2017059576A1 (en) 2015-10-09 2017-04-13 Beijing Sensetime Technology Development Co., Ltd Apparatus and method for pedestrian detection
CN105719188B (zh) 2016-01-22 2017-12-26 平安科技（深圳）有限公司 基于多张图片一致性实现保险理赔反欺诈的方法及服务器
US11144889B2 (en) 2016-04-06 2021-10-12 American International Group, Inc. Automatic assessment of damage and repair costs in vehicles
US10789545B2 (en) 2016-04-14 2020-09-29 Oath Inc. Method and system for distributed machine learning
JP6235082B1 (ja) 2016-07-13 2017-11-22 ヤフー株式会社 データ分類装置、データ分類方法、およびプログラム
US10210418B2 (en) * 2016-07-25 2019-02-19 Mitsubishi Electric Research Laboratories, Inc. Object detection system and object detection method
US10055882B2 (en) 2016-08-15 2018-08-21 Aquifi, Inc. System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function
GB2554361B8 (en) 2016-09-21 2022-07-06 Emergent Network Intelligence Ltd Automatic image based object damage assessment
KR20230170119A (ko) * 2016-11-15 2023-12-18 매직 립, 인코포레이티드 큐보이드 검출을 위한 딥 러닝 시스템
US10380741B2 (en) * 2016-12-07 2019-08-13 Samsung Electronics Co., Ltd System and method for a deep learning machine for object detection
US20200005151A1 (en) 2016-12-30 2020-01-02 Nokia Technologies Oy Artificial neural network
CA3056498A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
US10713794B1 (en) * 2017-03-16 2020-07-14 Facebook, Inc. Method and system for using machine-learning for object instance segmentation
CN107392218B (zh) * 2017-04-11 2020-08-04 创新先进技术有限公司 一种基于图像的车辆定损方法、装置及电子设备
CN107358596B (zh) * 2017-04-11 2020-09-18 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置、电子设备及系统
CN107403424B (zh) * 2017-04-11 2020-09-18 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置及电子设备
JP6974697B2 (ja) * 2017-05-26 2021-12-01 富士通株式会社 教師データ生成装置、教師データ生成方法、教師データ生成プログラム、及び物体検出システム
KR102334575B1 (ko) 2017-07-31 2021-12-03 삼성디스플레이 주식회사 무라 검출 장치 및 무라 검출 장치의 검출 방법
US10268204B2 (en) * 2017-08-30 2019-04-23 GM Global Technology Operations LLC Cross traffic detection using cameras
US11087292B2 (en) 2017-09-01 2021-08-10 Allstate Insurance Company Analyzing images and videos of damaged vehicles to determine damaged vehicle parts and vehicle asymmetries
US11586875B2 (en) 2017-11-22 2023-02-21 Massachusetts Institute Of Technology Systems and methods for optimization of a data model network architecture for target deployment
CN109919308B (zh) 2017-12-13 2022-11-11 腾讯科技（深圳）有限公司 一种神经网络模型部署方法、预测方法及相关设备
US10942767B2 (en) 2018-02-27 2021-03-09 Microsoft Technology Licensing, Llc Deep neural network workload scheduling
US10554738B1 (en) 2018-03-02 2020-02-04 Syncsort Incorporated Methods and apparatus for load balance optimization based on machine learning
US10997413B2 (en) 2018-03-23 2021-05-04 NthGen Software Inc. Method and system for obtaining vehicle target views from a video stream
GB2573809B (en) 2018-05-18 2020-11-04 Emotech Ltd Speaker Recognition
US10832065B1 (en) 2018-06-15 2020-11-10 State Farm Mutual Automobile Insurance Company Methods and systems for automatically predicting the repair costs of a damaged vehicle from images
US10748281B2 (en) * 2018-07-21 2020-08-18 International Business Machines Corporation Negative sample enhanced object detection machine
WO2020033111A1 (en) 2018-08-09 2020-02-13 Exxonmobil Upstream Research Company ( Subterranean drill bit management system
US11100352B2 (en) * 2018-10-16 2021-08-24 Samsung Electronics Co., Ltd. Convolutional neural network for object detection
US10776647B2 (en) * 2019-01-31 2020-09-15 StradVision, Inc. Method and device for attention-driven resource allocation by using AVM to thereby achieve safety of autonomous driving
US11947890B2 (en) * 2019-05-10 2024-04-02 Sandisk Technologies Llc Implementation of deep neural networks for testing and quality control in the production of memory devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW542986B (en) * 2001-11-05 2003-07-21 Tsubasa System Co Ltd Assessment method for charges of car repairs and the assessment system
TWI230879B (en) * 2001-11-05 2005-04-11 Tsubasa System Co Ltd Method and system for estimating vehicle repair expense
US20150106133A1 (en) * 2013-10-15 2015-04-16 Audatex North America, Inc. Mobile system for generating a damaged vehicle insurance estimate
US20170148102A1 (en) * 2015-11-23 2017-05-25 CSI Holdings I LLC Damage assessment and repair based on objective surface data
US20170293894A1 (en) * 2016-04-06 2017-10-12 American International Group, Inc. Automatic assessment of damage and repair costs in vehicles

Also Published As

Publication number Publication date
SG11202012512RA (en) 2021-03-30
WO2020047420A1 (en) 2020-03-05
TW202011282A (zh) 2020-03-16
US20200074178A1 (en) 2020-03-05
CN110569696A (zh) 2019-12-13
US11475660B2 (en) 2022-10-18
EP3844669A1 (en) 2021-07-07

Similar Documents

Publication Publication Date Title
TWI742382B (zh) 透過電腦執行的、用於車輛零件識別的神經網路系統、透過神經網路系統進行車輛零件識別的方法、進行車輛零件識別的裝置和計算設備
US20230316702A1 (en) Explainable artificial intelligence (ai) based image analytic, automatic damage detection and estimation system
TWI726364B (zh) 電腦執行的車輛定損方法及裝置
TWI729405B (zh) 優化損傷檢測結果的方法及裝置
US10318848B2 (en) Methods for object localization and image classification
WO2018108129A1 (zh) 用于识别物体类别的方法及装置、电子设备
CN110210545B (zh) 基于迁移学习的红外遥感水体分类器构建方法
WO2022012110A1 (zh) 胚胎光镜图像中细胞的识别方法及系统、设备及存储介质
CN107545263B (zh) 一种物体检测方法及装置
CN111652317B (zh) 基于贝叶斯深度学习的超参数图像分割方法
WO2020238256A1 (zh) 基于弱分割的损伤检测方法及装置
CA3098286A1 (en) Method for distinguishing a real three-dimensional object from a two-dimensional spoof of the real object
US11004204B2 (en) Segmentation-based damage detection
US20230048405A1 (en) Neural network optimization method and apparatus
CN115393687A (zh) 一种基于双伪标签优化学习的rgb图像半监督目标检测方法
CN111881958B (zh) 车牌分类识别方法、装置、设备及存储介质
Li et al. A survey on deep learning-based panoptic segmentation
CN108230330B (zh) 一种快速的高速公路路面分割和摄像机定位的方法
CN115797736B (zh) 目标检测模型的训练和目标检测方法、装置、设备和介质
CN116385466B (zh) 一种基于边界框弱标注的图像中目标分割方法及系统
CN116935125A (zh) 通过弱监督实现的噪声数据集目标检测方法
CN117523549B (zh) 基于深宽知识蒸馏的三维点云物体识别方法
CN116503406B (zh) 基于大数据的水利工程信息管理系统
Wen et al. Design of recognition algorithm for multiclass digital display instrument based on convolution neural network
CN112115976A (zh) 模型训练方法、模型训练装置、存储介质和电子设备