TW202208832A - 缺陷檢測方法、電子設備以及電腦可讀儲存介質 - Google Patents

缺陷檢測方法、電子設備以及電腦可讀儲存介質 Download PDF

Info

Publication number
TW202208832A
TW202208832A TW110100514A TW110100514A TW202208832A TW 202208832 A TW202208832 A TW 202208832A TW 110100514 A TW110100514 A TW 110100514A TW 110100514 A TW110100514 A TW 110100514A TW 202208832 A TW202208832 A TW 202208832A
Authority
TW
Taiwan
Prior art keywords
target
defect
defect detection
image
detection result
Prior art date
Application number
TW110100514A
Other languages
English (en)
Other versions
TWI770757B (zh
Inventor
徐子豪
費敬敬
楊凱
吳立威
Original Assignee
大陸商上海商湯智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商上海商湯智能科技有限公司 filed Critical 大陸商上海商湯智能科技有限公司
Publication of TW202208832A publication Critical patent/TW202208832A/zh
Application granted granted Critical
Publication of TWI770757B publication Critical patent/TWI770757B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本發明公開了一種缺陷檢測方法、電子設備以及電腦可讀儲存介質，缺陷檢測方法包括：對待檢測圖像進行第一目標檢測，得到目標檢測結果，其中，目標檢測結果包括第一類目標以及第一類目標在待檢測圖像的第一位置資訊；基於第一位置資訊，獲取包含第一類目標的圖像區域；對圖像區域進行缺陷檢測，得到關於第一類目標的缺陷檢測結果。上述方案，能夠降低缺陷漏檢率和誤檢率。

Description

缺陷檢測方法、電子設備以及電腦可讀儲存介質
本發明關於但不限於圖像處理領域，特別是關於一種缺陷檢測方法、電子設備以及電腦可讀儲存介質。
目前，為了提高對環境中設備的保護，經常需要對環境中的設備進行缺陷檢測，以保證及時發現設備缺陷，進而進行維護。
相關技術中，設備的缺陷檢測都是基於拍攝設備圖像，並對該圖像進行人工檢查，以確定是否存在缺陷。然而，人工進行缺陷檢測，極容易因為人為疏忽而存在漏檢或錯檢的情況。因此，如何進行缺陷檢測以降低缺陷漏檢率，提高缺漏檢測準確性，是目前極為關鍵的課題。
本發明實施例至少提供一種缺陷檢測方法、電子設備以及電腦可讀儲存介質。
本發明實施例提供了一種缺陷檢測方法，包括：對待檢測圖像進行第一目標檢測，得到目標檢測結果，其中，目標檢測結果包括第一類目標以及第一類目標在待檢測圖像的第一位置資訊；基於第一位置資訊，獲取包含第一類目標的圖像區域；對圖像區域進行缺陷檢測，得到關於第一類目標的缺陷檢測結果。
因此，通過先檢測第一類目標在待檢測圖像中的位置，然後再對包含第一類目標的圖像區域進行缺陷檢測，由於直接針對目標所在的圖像區域進行缺陷檢測，即減小缺陷檢測的區域，可降低漏檢率和誤檢率。
在本發明的一些實施例中，對圖像區域進行缺陷檢測，得到關於第一類目標的缺陷檢測結果，包括：對圖像區域進行第二目標檢測，得到第一缺陷檢測結果，其中，第一缺陷檢測結果包括第一類目標上存在的至少一種第一缺陷的資訊；和/或，對圖像區域進行分類，得到第二缺陷檢測結果，其中，第二缺陷檢測結果包括第一類目標所屬第二缺陷的資訊。
因此，通過多種方式對包括第一類目標的圖像區域進行檢測，可針對不同的第一類目標採用不同的檢測方式，使得缺陷檢測更具有針對性，從而得到的缺陷檢測結果更準確或者為同一個第一類目標採用不同的檢測方式然後可以綜合各個不同的缺陷檢測方式得出最終待檢測圖像的缺陷檢測結果更準確，進一步減低誤檢率。
在本發明的一些實施例中，對圖像區域進行缺陷檢測，得到關於第一類目標的缺陷檢測結果，包括：在第一類目標為第一子類目標的情況下，執行對圖像區域進行第二目標檢測，得到第一缺陷檢測結果的步驟；在第一類目標為第二子類目標的情況下，執行對圖像區域進行分類，得到第二缺陷檢測結果的步驟。
因此，通過對不同的目標物件採用不同的缺陷檢測方式，使得缺陷檢測更加靈活，相比對所有種類的目標都採用同一種檢測方式來講，更有針對性，使得缺陷檢測結果更準確。
在本發明的一些實施例中，第一缺陷檢測結果包括每種第一缺陷的位置資訊以及屬於第一缺陷的第一概率；在對圖像區域進行第二目標檢測，得到第一缺陷檢測結果之後，方法還包括以下至少一者：依據每種第一缺陷的位置資訊，分別確定每種第一缺陷在待檢測圖像上的缺陷區域，並對不同缺陷區域之間的重疊區域進行去重處理；過濾第一概率滿足第一過濾條件的第一缺陷。
因此，通過獲取第一子類目標中第一缺陷的概率以及在包含第一子類目標的圖像區域中位置資訊，並且基於該位置資訊找到第一缺陷在待檢測圖像中上對應的區域，並對重疊的部分進行去重處理，使得一個第一缺陷對應一個缺陷區域，減少出現對一個缺陷進行多次後續處理的問題，提高最後輸出的準確率，而通過將滿足過濾條件的區域剔除，能夠減少後續處理的區域數量，提高處理效率。
在本發明的一些實施例中，第一過濾條件為第一概率低於第一概率閾值；和/或，對不同缺陷區域之間的重疊區域進行去重處理，包括：對不同缺陷區域之間的重疊區域進行非極大值抑制。
因此，通過將缺陷概率低的剔除，減少了很多不必要的處理區域，提高了處理效率，通過非極大值抑制的方式進行去重，能夠保留缺陷概率更大的缺陷區域，在提高處理效率的同時還能保障缺陷檢測的準確率。
在本發明的一些實施例中，第二缺陷檢測結果包括第一類目標屬於第二缺陷的第二概率；對圖像區域進行分類，得到第二缺陷檢測結果，包括：對圖像區域進行分類，得到第一類目標屬於每種預設缺陷的概率；將每種預設缺陷的概率相加，得到第一類目標屬於第二缺陷的第二概率。
因此，綜合多種預設缺陷的概率，確定該第一類目標的缺陷概率，廣泛考慮第一類目標屬於各種預設缺陷的可能性，使得第一類目標的缺陷概率更精確。
在本發明的一些實施例中，對待檢測圖像進行第一目標檢測，得到目標檢測結果，包括：利用缺陷檢測模型的第一區域檢測網路對待檢測圖像進行第一目標檢測，得到目標檢測結果；對圖像區域進行第二目標檢測，得到第一缺陷檢測結果，包括：利用缺陷檢測模型的第二區域檢測網路對圖像區域進行第二目標檢測，得到第一缺陷檢測結果；其中，第二區域檢測網路的深度比第一區域檢測網路的深度淺；對圖像區域進行分類，得到第二缺陷檢測結果，包括：利用缺陷檢測模型的分類網路對圖像區域進行分類，得到第二缺陷檢測結果。
因此，通過考慮各個不同部件可能存在不同缺陷的特點，利用不同的網路模型分段進行檢測，能夠在一定程度上減輕了單一檢測網路出現漏檢率高的問題，同時，第二目標檢測使用的網路模型深度比第一目標檢測使用的網路模型深度淺，能夠減少第二目標檢測過程中的計算量，提高檢測效率。
在本發明的一些實施例中，目標檢測結果還包括第二類目標以及第二類目標在待檢測圖像的第二位置資訊，在對待檢測圖像進行第一目標檢測，得到目標檢測結果之後，方法還包括：將第二類目標確定為待檢測圖像中的第三缺陷，並將第二類目標及其第二位置資訊作為關於第二類目標的缺陷檢測結果。
因此，通過將不應該存在的第二類目標設置為第三缺陷，使得一個缺陷檢測模型能夠針對多種目標進行檢測，加強了缺陷檢測模型的適應性。
在本發明的一些實施例中，在得到缺陷檢測結果之後，方法還包括：過濾缺陷檢測結果中滿足第二過濾條件的缺陷，以得到待檢測圖像的最終缺陷檢測結果。
因此，通過過濾不滿足條件的缺陷，減少了明顯不合理的缺陷，使得最後得到的缺陷檢測結果更精確。
在本發明的一些實施例中，過濾缺陷檢測結果中滿足第二過濾條件的缺陷，包括：利用缺陷檢測結果中缺陷的位置資訊得到缺陷的尺寸，過濾缺陷檢測結果中尺寸不滿足預設尺寸條件的缺陷；和/或，過濾缺陷檢測結果中概率低於第二概率閾值的缺陷。
因此，通過過濾掉尺寸或概率不滿足條件的，減少了明顯不合理的缺陷，使得最後得到的缺陷檢測結果更準確。
在本發明的一些實施例中，在得到待檢測圖像的最終缺陷檢測結果之後，方法還包括：按照最終缺陷檢測結果中每個缺陷的概率從高到低的順序，輸出最終缺陷檢測結果中每個缺陷的資訊。
因此，通過按照每個缺陷的概率從高到低的順序輸出最終缺陷檢測結果中每個缺陷的資訊，使得輸出結果更整潔，便於後續進一步的觀察。
在本發明的一些實施例中，基於第一位置資訊，獲取包含第一類目標的圖像區域，包括：基於第一位置資訊，從待檢測圖像中確定第一類目標對應的目標區域；將目標區域在待檢測圖像中向外擴預設倍數；在待檢測圖像中提取經外擴後的目標區域，以得到包含第一類目標的圖像區域。
因此，通過將目標區域在待檢測圖像中向外擴預設倍數，使得能夠在獲取包含第一類目標對應的目標區域之後使得能夠保留一些背景資訊，能夠提升對第一類目標缺陷檢測的準確度。
在本發明的一些實施例中，對待檢測圖像進行第一目標檢測，得到目標檢測結果之前，方法還包括：將初始圖像進行縮放，得到預設大小的圖像；將經縮放後的初始圖像的圖元值壓縮至預設圖元值範圍；對經壓縮的初始圖像進行歸一化處理，得到待檢測圖像。
因此，通過將獲取到的初始圖像的尺寸或圖元進行處理，得到統一圖像的樣式，在一定程度上提高了輸入圖像的魯棒性。
在本發明的一些實施例中，第一目標檢測和缺陷檢測是由缺陷檢測模型執行的；其中，缺陷檢測模型至少由以下步驟訓練得到：獲取第一樣本集，其中，第一樣本集包括至少一個樣本圖像，樣本圖像標注有關於目標的真實缺陷資訊，目標包括第一類目標；利用缺陷檢測模型對第一樣本集中的樣本圖像進行檢測，得到關於目標的缺陷檢測結果；利用真實缺陷資訊和缺陷檢測結果，調整缺陷檢測模型的參數。
因此，通過按照上述方式訓練得到的缺陷檢測模型的準確度更高，從而執行第一目標檢測以及缺陷檢測使得檢測結果更準確。
在本發明的一些實施例中，缺陷檢測模型是由多個圖形處理器共同訓練得到的，每個圖形處理器獲取的第一樣本集不同；利用缺陷檢測模型對第一樣本集中的樣本圖像進行檢測，得到關於目標的缺陷檢測結果，包括：對每個圖形處理器中的缺陷檢測模型的批標準化層進行同步，並利用每個圖形處理器中批標準化層同步後的缺陷檢測模型對樣本圖像進行檢測，得到關於目標的缺陷檢測結果；利用真實缺陷資訊和缺陷檢測結果，調整缺陷檢測模型的參數，包括：基於所有缺陷檢測結果與真實缺陷資訊，確定缺陷檢測模型的平均損失值；利用平均損失值，調整缺陷檢測模型的參數。
因此，通過同步多個圖形處理器上中缺陷檢測模型的批標準化層，使得可以使用全域的第一樣本集進行歸一化，相當於增大了批量大小，從而減少因為使用多個圖形處理器的影響，並且通過多個圖形處理器對缺陷檢測模型進行訓練加快了訓練的速度。
在本發明的一些實施例中，在所利用缺陷檢測模型對第一樣本集中的樣本圖像進行檢測，得到關於目標的缺陷檢測結果之前，方法還包括以下至少一個步驟：利用第二樣本集對缺陷檢測模型進行預訓練；利用第一樣本集對缺陷檢測模型進行預熱訓練，其中，預熱訓練的過程中採用的學習率為：從低於預設學習率的第一學習率開始，並逐步增大至預設學習率；其中，第一樣本集中的樣本圖像至少由以下步驟得到：對原始圖像進行預處理，得到樣本圖像，其中，預處理的方式包括尺度變換、顏色變換、水平翻轉、豎直翻轉、旋轉、裁剪中的一種或多種。
因此，通過在正式對缺陷檢測模型訓練之前，先利用第二樣本集對缺陷檢測模型進行預訓練使得對缺陷檢測模型的參數進行了初始化，或在正式訓練之前對學習率進行初始化，以及通過對原始圖像進行預處理，提高了缺陷檢測模型的適應性。
本發明實施例提供了一種缺陷檢測裝置，包括：第一目標檢測模組，配置為對待檢測圖像進行第一目標檢測，得到目標檢測結果，其中，目標檢測結果包括第一類目標以及第一類目標在待檢測圖像的第一位置資訊；圖像區域獲取模組，配置為基於第一位置資訊，獲取包含第一類目標的圖像區域；缺陷檢測模組，配置為對圖像區域進行缺陷檢測，得到關於第一類目標的缺陷檢測結果。
本發明實施例提供了一種電子設備，包括記憶體和處理器，處理器配置為執行記憶體中儲存的程式指令，以實現上述缺陷檢測方法的部分或全部步驟。
本發明實施例提供了一種電腦可讀儲存介質，其上儲存有程式指令，程式指令被處理器執行時實現上述缺陷檢測方法的部分或全部步驟。
本發明實施例提供一種電腦程式產品，其中，所述電腦程式產品包括儲存了電腦程式的非暫態性電腦可讀儲存介質，所述電腦程式被電腦讀取並執行時，實現如本發明實施例中所描述的方法的部分或全部步驟。該電腦程式產品可以為一個軟體安裝包。
本發明實施例中，通過先檢測第一類目標在待檢測圖像中的位置，然後再對包含第一類目標的圖像區域進行缺陷檢測，由於直接針對目標所在的圖像區域進行缺陷檢測，即減小缺陷檢測的區域，可降低漏檢率和誤檢率。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明。
下面結合說明書附圖，對本發明實施例的方案進行詳細說明。
以下描述中，為了說明而不是為了限定，提出了諸如特定系統結構、介面、技術之類的具體細節，以便透徹理解本發明實施例。
本文中術語“和/或”，僅僅是一種描述關聯物件的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中字元“/”，一般表示前後關聯物件是一種“或”的關係。此外，本文中的“多”表示兩個或者多於兩個。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
為了更好地理解本發明實施例提供的缺陷檢測方法，下面先對相關技術中的缺陷檢測方法進行說明。
以電網傳輸線路中的缺陷檢測為例，我國具有超過百萬公里的高壓輸電線路，這些線路需要定期的巡查、養護和維修，但由於大多數高壓輸電線架設在無人區域，電網巡檢都是通過飛機航拍輸電線路，人工肉眼觀測航拍視頻的方式進行巡檢。為了提升效率，在相關技術中採用基於圖像處理、機器學習的部件缺陷檢測方案，但該方案漏檢率較高，對拍攝視頻的要求也較高。相關技術中，可以採用安裝高清攝影頭的無人機接航拍輸電線路，使得整體的採集拍攝品質得到提升，成本也得到降低。但是由於仍然採用人工進行缺陷檢測，導致漏檢率和誤報率依舊較高。隨著深度學習模型在電腦視覺領域取得突破，電腦視覺各項基本任務的性能指標大幅提高。但所有模型都更針對學術資料集相關任務，並沒有針對電力巡檢場景單獨設計的檢測識別方案。由於無人機航拍圖像尺度很大，而電網巡檢中需要檢測的絕緣子自爆區域、防振錘、鳥巢等都屬於很小的目標，所以直接將異常缺陷當做檢測目標進行檢測會存在大量誤檢和漏檢，檢測效果很差。
上述相關技術中的缺陷檢測方法存在如下問題：1）訓練流程繁瑣，漏檢率和誤檢率高；2）使用CPU進行推理，測試速度慢；3）演算法沒有針對電力場景進行改良；4）只能單一地對一種部件或缺陷進行檢測識別，如：絕緣子自爆、防振錘銹蝕等。
請參閱圖1a，圖1a是本發明實施例提供的一種缺陷檢測方法的流程示意圖。該方法可以包括如下步驟。
步驟S11：對待檢測圖像進行第一目標檢測，得到目標檢測結果，其中，目標檢測結果包括第一類目標以及第一類目標在待檢測圖像的第一位置資訊。
在本發明的一些實施例中，在對待檢測圖像進行第一目標檢測之前，先獲取待檢測圖像。參見圖1b，圖1b是本發明實施例提供的一種缺陷檢測方法的狀態示意圖。如圖1b所示，圖像採集設備在特定環境中採集各待檢測物件的待檢測圖像，例如，包含第一類目標的待檢測圖像，然後圖像採集設備通過將待檢測圖像傳輸給缺陷檢測設備，其中缺陷檢測設備按照本發明實施例描述的方法對圖像採集設備傳輸過來的待檢測圖像進行缺陷檢測。第一類目標也就是需要對其進行檢修的設備，只要設備真實存在，都可以成為本發明實施例的第一類目標。例如，城市中某路口的紅綠燈、下水道井蓋等等，通過圖像採集設備即可獲取到可能包含紅綠燈或井蓋的待檢測圖像，然後將可能包含紅綠燈或井蓋的待檢測圖像輸入到缺陷檢測設備，進而得到紅綠燈的缺陷檢測結果。
例如，在電網傳輸線路中，可能需要對線路中的各種設備進行檢修，此時可以通過拍照等方式獲取線路中各個線路設備的航拍圖，例如絕緣子串或者防振錘的航拍圖，亦或者鳥巢的航拍圖。然後將獲取到的航拍圖作為待檢測圖像，輸入缺陷檢測設備中，然後缺陷檢測設備即可根據本發明實施例所描述的方法對待檢測圖像進行缺陷檢測。其中，圖像採集設備和缺陷檢測設備可以集成為一個設備，也可以是分開的多個設備，此處不做具體規定。
在本發明的一些實施例中，在對待檢測圖像進行第一目標檢測之前，可將初始圖像進行縮放到預設大小的圖像。其中，預設大小包括寬和高的比例為(1.1~1.7):1和/或尺寸較小的一邊大於1000。本發明實施例中採用的寬和高的比例為1.5:1，最小邊為1200。接著將經過縮放後的初始圖像的圖元值壓縮到預設圖元值範圍。例如將經過縮放後的初始圖像的圖元值從0-255壓縮到0-1。然後對經壓縮之後的初始圖像進行歸一化處理，得到待檢測圖像。其中，歸一化處理的方式包括使用ImageNet資料集的均值mean和方差std對壓縮之後的初始圖像進行歸一化處理，如下公式（1-1）所示：
Figure 02_image001
（1-1）； 其中，mean為資料集的均值，std為資料集的方差，pixelvalue為圖像中各圖元的值。
當然，在本發明一些實施例中也可採用其他的資料集，例如COCO(Common Objects in Context)資料集等，以及歸一化的方式也不必限定於通過調用其他資料集的方式進行歸一化，還可以平常使用的其他歸一化方式，例如遍歷初始圖像中全部圖元點的圖元值，並將最大值和最小值記錄下來，通過最大值和最小值作為參數，對初始圖像進行歸一化處理，還可以是利用Sigmoid函數進行歸一化，因此，對於歸一化的方式本發明實施例不做具體限定。通過先對獲取到的圖像進行上述預處理，統一圖像的樣式，能夠提高輸入的魯棒性。
本發明實施例中，通過缺陷檢測模型的第一區域檢測網路對待檢測圖像進行第一目標檢測，得到目標檢測結果。
其中，缺陷檢測模型可以由以下步驟訓練得到。
首先，獲取第一樣本集，其中，第一樣本集包括至少一個樣本圖像，而樣本圖像標注有關於目標的真實缺陷資訊，這裡的目標包括第一類目標，當然還可包括其他類別的目標，例如第二類目標等等。第一樣本集中的樣本圖像可以只包含第一類目標同時包含其他類別的目標，其中，目標的真實缺陷資訊可以表示該目標是正常的沒有缺陷的資訊，也可以是第一類目標具有特定缺陷的資訊。也就是說，本發明實施例中，可以利用正常的樣本圖像以及異常的有缺陷的樣本圖像對缺陷檢測模型進行訓練，得到適應性較強的缺陷檢測模型。其中，第一樣本集中的樣本圖像可以通過對原始圖像進行預處理得到，其中，預處理的方式可以是尺度變換、顏色變換、水平翻轉、豎直翻轉、旋轉、裁剪中的一種或多種。在一些實施例中，原始圖像的尺度變換過程中，原始圖像的長寬呈預設比例進行變換，例如原始圖像的長寬比值在保持1.5:1的比例的情況下進行尺度變換。當然在本發明一些實施例中，也可保持其他的長寬比例或者任意變換均可，因此，原始圖像的尺度變換的長寬比例本發明實施例不做具體規定。其中，顏色的變換可以是亮度、飽和度、色度變換中的一種或多種，例如將一種原始圖像的亮度以及飽和度、色度都變換，使得包含相同目標的同一真實缺陷資訊通過不同的形式輸入到缺陷檢測模型中，對缺陷檢測模型進行訓練，使得缺陷檢測模型能夠增強適應性以及提高缺陷檢測的準確性。在一些實施例中，上述各種預處理方式可以在缺陷檢測模型不同階段的網路中單獨使用，也可以在所有階段的網路中使用。
其次，利用缺陷檢測模型對第一樣本集中的樣本圖像進行檢測，得到關於目標的缺陷檢測結果。其中，缺陷檢測模型可以由多個圖形處理器共同訓練得到的，每個圖形處理器獲取的第一樣本集不同，通過採用多個圖形處理器對缺陷檢測模型進行檢測使得成倍加快了訓練的速度。在一些實施例中，對每個圖形處理器中的缺陷檢測模型的批標準化層進行同步，並利用每個圖形處理器中批標準化同步後的缺陷檢測模型對樣本圖像進行檢測，得到關於目標的缺陷檢測結果。其中一個圖形處理器收集其他圖形處理器中的缺陷檢測模型的批標準化層的均值和方差，從而計算得到一個總的均值和方差，然後這個圖形處理器再將計算得到的均值和方法返回至其餘的圖形處理器中的缺陷檢測模型的批標準化層，通過同步多個圖形處理器上中缺陷檢測模型的批標準化層，使得可以使用全域的第一樣本集進行歸一化，相當於增大了批量大小，從而減少因為使用多個圖形處理器的影響。
最後，利用真實缺陷資訊和缺陷檢測結果，調整缺陷檢測模型的參數。在一些實施例中，基於所有缺陷檢測結果與真實缺陷資訊，確定缺陷檢測模型的平均損失值，然後利用平均損失值，調整缺陷檢測模型的參數。通過多張圖形處理器同步對缺陷檢測模型進行訓練使得訓練之後的所有圖形處理器中的缺陷檢測模型的參數一致，相比單個圖形處理器來講，使用多張圖形處理器同步進行對缺陷檢測模型進行訓練加快了訓練的進度。
在本發明的一些實施例中，在利用缺陷檢測模型對第一樣本集中的樣本圖像進行檢測，得到關於目標的缺陷檢測結果之前，還可利用第二樣本集對缺陷檢測模型進行預訓練，和/或利用第一樣本集對缺陷檢測模型進行預熱訓練，其中，預熱訓練的過程中採用的學習率為：從低於預設學習率的第一學習率開始，並逐步增大至預設學習率。例如，預設學習率為0.6，則預熱訓練中，可以從第一學習率為0.3逐步增加到0.4，然後不斷增加到預設學習率0.6。其中，第二樣本集可以是公開訓練集，例如，可以是常見的COCO訓練集以及ImageNet資料集等。預熱訓練中使用的樣本可以是與正式訓練使用的樣本相同，即在預熱訓練中仍然使用第一樣本集。在一些實施例中，經過第二樣本集的預訓練對參數進行初始化之後，再利用第一樣本集進行預熱訓練不斷調整學習率，在預熱訓練不斷調整學習率的過程中，也可以算得上是對缺陷檢測模型的參數進行進一步的優化，使得正式訓練的時候能夠在較優的參數上進行訓練。在一些實施例中，在預熱訓練過程中使用的第一樣本集仍然可以是經過上述預處理之後得到的第一樣本集，也是能夠提高缺陷檢測模型的適應性，使得訓練得到的缺陷檢測模型的檢測精度更高。在一些實施例中，從第一學習率逐步線性增長或指數型增長到預設學習率，相當於對學習率進行初始化，使得能夠從一個較優的學習率對缺陷檢測模型進行訓練使得訓練的效果更好。
其中，本發明實施例中的第一區域檢測網路包括Faster R-CNN（Region with Convolutional Neural Networks）網路，例如ResNet50。當然，在其他實施例中還可以採用其他的神經網路模型對待檢測圖像進行第一目標檢測，例如SSD（Single Shot MultiBox Detector）網路模型等等，且深度也可不必限定為ResNet50，還可以是ResNet101、ResNet200等等，此處不做具體限定。
本發明實施例中採用的第一區域檢測網路為ResNet50網路，通過將待檢測圖像輸入第一區域檢測網路的頭部網路，提取得到待檢測圖像的特徵圖，其中，特徵圖的大小為待檢測圖像大小的十六分之一，接著通過區域候選網路（Region Proposal Networks，RPN）從特徵圖中提取候選框，候選框指的是可能存在第一類目標的區域，其中，提取候選框實質上就是提取候選框四個頂點的圖元值，然後將候選框與特徵圖一起經過池化層得到每一個候選框的特徵圖，該步驟具體包括將候選框的四個座標的資訊送入池化層，在池化層中將候選框的四個頂點座標映射到特徵圖上，再經過全連接層得到每個候選框的特徵向量，其中，這些特徵向量表示了候選框的特徵資訊，然後對特徵向量進行邊框回歸以及按照預設類別進行分類，最後得到目標檢測結果。由此可見，第一目標檢測也就是指的是對待檢測圖像中是否包含第一類目標進行檢測，若存在第一類目標則進一步獲取第一類目標在待檢測圖像中的第一位置資訊，還可進一步得知第一類目標的置信度，也就是檢測到的第一類目標真正屬於第一類目標的概率。
其中，目標檢測結果包括第一類目標以及第一類目標在待檢測圖像中的第一位置資訊，和/或候選框屬於第一類目標的概率。在一些實施例中，第一位置資訊包括第一類目標對應候選框在待檢測圖像中的位置資訊。第一位置資訊指的是第一類目標對應候選框四個頂點的位置資訊。其中，第一類目標還可包括第一子類目標以及第二子類目標。其中，這裡的第一子類目標以及第二類子目標與第一類目標之間可以沒有所屬關係，但是可以具有相同屬性。例如，第一類目標可以是一種設備，而第一子類目標可以是另外一種設備，第二類子目標卻可以是其他的設備，相同的屬性就是可以通過拍照，然後分析對應圖像即可知道設備是否具有缺陷。屬於第一類目標的概率還可進一步包括屬於第一子類目標的概率和/或屬於第二子類目標的概率。
在本發明的一些實施例中，目標檢測結果還包括第二類目標以及第二類目標在待檢測圖像中的第二位置資訊，和/或屬於第二類目標的概率。其中，這裡的第二類目標可以是本不應該存在而存在的目標，它的存在即是一種缺陷。當然，在一些實施例中，如果對初始圖像進行了處理之後才得到了待檢測圖像，那麼在對待檢測圖像進行第一目標檢測之後得到的目標檢測結果中包括第一類目標和/或第二類目標在初始圖像中的第一位置資訊。通過進一步設置第二類目標，能夠使得同一套演算法檢測多個不同目標物件的缺陷狀況，不需要運用多套演算法對同一張圖像中的不同部件或設備分別進行缺陷檢測，很大程度上簡化了缺陷檢測的操作步驟。
舉例說明，初始圖像為無人機航拍的輸電線路的圖像，或者說通過在高清視頻中切割出來的圖形幀，先將初始圖像進行處理，包括對初始圖像進行縮放，縮放到1200*1800的圖像，然後將經過縮放之後的初始圖像的圖元值壓縮到預設圖元值範圍即0-1之間，然後使用ImageNet資料集的均值mean和方差std對壓縮後的初始圖像進行歸一化運算，得到待檢測圖像。然後將待檢測圖像輸入ResNet50網路獲取待檢測圖像中每個候選框內目標物件對應每個預設目標類別的概率，選取概率最高的預設目標類別作為候選框的中目標物件的類別，同時還會輸出每個候選框的位置資訊。其中，在輸電線路中，常見的部件包括防振錘、絕緣子串，也可能包括外來缺陷也即是本不應該存在而存在，其存在就是一種缺陷的第二類目標，即鳥巢。其中，本發明實施例中，暫將防振錘以及絕緣子串納入第一類目標，將鳥巢納入第二類目標。即，通過將待檢測圖像輸入ResNet50之後，輸出的目標檢測結果可能包括防振錘、絕緣子或鳥巢，以及各自在待檢測圖像中對應的的位置資訊以及相關概率。這裡的概率指的是，候選框屬於防振錘、絕緣子串或鳥巢的概率。
在本發明的一些實施例中，在得到目標檢測結果之後，將第二類目標確定為待檢測圖像中的第三缺陷，並將第二類目標以及第二位置資訊作為關於第二類目標的缺陷檢測結果。例如，第二類目標為鳥巢，若在待檢測圖像中檢測到了鳥巢，則確定鳥巢為待檢測圖像中的第三缺陷，獲取鳥巢在待檢測圖像中的第二位置資訊，所以最後目標檢測結果中則包含鳥巢以及鳥巢的第二位置資訊。
步驟S12：基於第一位置資訊，獲取包含第一類目標的圖像區域。
本發明實施例中，基於第一位置資訊，從待檢測圖像中確定第一類目標對應的目標區域。具體包括通過從待檢測圖像中確定包含第一類目標對應的區域，也就是確定第一類目標對應候選框。接著將目標區域在待檢測圖像中向外擴預設倍數。其中，外擴的方式包括目標區域的中心點不變，目標區域的長和寬變為原目標區域的1.1~1.5倍，其中，本發明實施例採用將目標區域的長和寬變為原目標區域的1.2倍左右。若目標區域的邊界超出待檢測圖像的邊界，則保留待檢測圖像中的部分。然後在待檢測圖像中提取經外擴後的目標區域，以得到包含第一類目標的圖像區域。具體包括將外擴之後的目標區域從待檢測圖像中裁剪出來。
同時參見圖2及圖3，圖2是本發明實施例提供的一種缺陷檢測方法中待檢測圖像的示意圖，圖3是本發明實施例提供的一種缺陷檢測方法中圖像區域的示意圖。如圖2和圖3所示，待檢測圖像1中分別包括了第一類目標100，其中，通過第一目標檢測網路得到第一類目標100的位置資訊，然後基於第一類目標100的位置資訊，獲取包含第一類目標100的圖像區域110，為了更清楚地說明圖像區域110以及候選框101之間的關係，在圖3的圖像區域中示出了第一類目標100的候選框101。因為從待檢測圖像1中獲取包含第一類目標100的圖像區域110時，將第一類目標100的候選框101在待檢測圖像1中進行了一定比例的外擴，因此，得到的圖像區域110是比原本候選框101所在區域的面積要大。
在本發明的一些實施例中，若檢測圖像是由初始圖像經過縮放、壓縮圖元值以及歸一化處理得到時，則基於第一位置資訊，獲取包含第一類目標的圖像區域指的是基於第一類目標在初始圖像中的第一位置資訊，在初始圖像中確定第一類目標對應的目標區域，即確定初始圖像中第一類目標對應的候選框的位置，並將目標區域在初始圖像中外擴預設倍數，在初始圖像中提取外擴後的目標區域，以得到包含第一類目標的圖像區域。當然，因為待檢測圖像與初始圖像對應，所以在本發明的另一些實施例中，即使檢測圖像是由初始圖像經過縮放、壓縮圖元值以及歸一化一系列處理得到的，基於第一位置資訊，獲取包含第一類目標的圖像區域的具體步驟也可包括從待檢測圖像中提取第一類目標的圖像區域。因此，在待檢測圖像中獲取包含第一類目標的圖像區域還是在初始圖像中獲取第一類目標的圖像區域都可以，此處不做具體限定。
因此，通過將目標區域在待檢測圖像中向外擴預設倍數，使得能夠在獲取包含第一類目標對應的目標區域之後使得能夠保留一些背景資訊，能夠提升對第一類目標缺陷檢測的準確度。
在本發明的一些實施例中，在獲取包含第一類目標的圖像區域之後，需要對圖像區域進行預處理，即調整圖像區域的尺寸，其中，可以將圖像區域的長寬比例調整為1:1。如果圖像區域是從初始圖像中獲得，則需要對圖像區域進行歸一化，如果是從經過歸一化處理之後的待檢測圖像中獲得，則此處可以不再進行歸一化。
例如，基於絕緣子串在待檢測圖像中的第一位置資訊，確定絕緣子串在待檢測圖像中對應的候選框，將候選框在待檢測圖像中向外擴1.2倍，然後從待檢測圖像中提取外擴之後的候選框，即可得到包含絕緣子的圖像區域。
步驟S13：對圖像區域進行缺陷檢測，得到關於第一類目標的缺陷檢測結果。
對圖像區域進行缺陷檢測的方式包括以下至少一種，一種是對圖像區域進行第二目標檢測，得到第一缺陷檢測結果，其中，第一缺陷檢測結果包括第一類目標上存在的至少一種第一缺陷的資訊，另一種是對圖像區域進行分類，得到第二缺陷檢測結果，其中，第二缺陷檢測結果包括第一類目標所述第二缺陷的資訊。其中，第二目標檢測指的是對第一類目標進行進一步的目標檢測，在第一目標檢測中得到的是第一類目標的位置資訊，並沒有直接檢測出第一類目標的缺陷資訊，因此，第二目標檢測則對第一類進行針對性的缺陷檢測。對圖像區域進行分類指的就是將圖像區域中第一類目標按照預設的缺陷類別進行分類，計算第一類目標屬於各個缺陷類別的概率資訊。
通過多種方式對包括第一類目標的圖像區域進行檢測，可針對不同的第一類目標採用不同的檢測方式，使得缺陷檢測更具有針對性，從而檢測結果更準確。或者說為同一個第一類目標採用不同的檢測方式然後可以綜合各個不同的缺陷檢測方式得到的結果得出最終待檢測圖像的缺陷資訊，使得缺陷檢測結果更準確。
其中，在第一類目標為第一子類目標的情況下，執行對圖像區域進行第二目標檢測，得到第一缺陷檢測結果的步驟，而在第一類目標為第二子類的情況下，執行對圖像區域進行分類，得到第二缺陷檢測結果的步驟。
通過對不同的目標物件採用不同的缺陷檢測方式，使得缺陷檢測更加靈活，相比對所有種類的目標都採用同一種檢測方式來講，針對不同的目標物件採用不同的缺陷檢測方式更有針對性，使得檢測結果更準確。
例如，預設絕緣子串為第一子類目標，預設防振錘為第二子類目標，因此，當檢測出第一類目標為絕緣子串時，則對絕緣子串對應的圖像區域進行第二目標檢測，以得到第一缺陷檢測結果，當待檢測圖片中檢測出的第一類目標為防振錘時，則對防振錘對應的圖像區域進行分類，以得到第二缺陷檢測結果。而當檢測出第一類目標既包括絕緣子串也包括防振錘時，則分別對絕緣子串對應的圖像區域進行第二目標檢測，對防振錘對應的圖像區域進行分類，一些實施例中，對二者的缺陷檢測可同時進行，即同時進行第二目標檢測和分類。當然，在一些實施例中，也可針對同一第一子類目標分別進行第二目標檢測以及圖像區域分類，然後綜合兩種處理方式得到的結果，最終得出對第一子類目標的第一缺陷檢測結果。
第一缺陷檢測結果包括每種第一缺陷的位置資訊以及屬於第一缺陷的第一概率。其中，第一缺陷的位置資訊指的是第一缺陷在包含第一類目標的圖像區域中的位置，屬於第一缺陷的概率指的是檢測得到的第一缺陷的置信度，也就是第一缺陷真正屬於是第一缺陷的概率。例如，對包含絕緣子串的圖像區域進行第二目標檢測，檢測到絕緣子串上的A位置可能出現了絕緣子自爆，其中，絕緣子自爆這一缺陷即屬於第一缺陷，而絕緣子串上的A位置則屬於絕緣子自爆的第二位置資訊，絕緣子自爆的置信度即為屬於絕緣子自爆的第一概率。
本發明實施例中，當第一類目標為第一子類目標時，對圖像區域進行第二目標檢測中，使用的檢測網路為第二區域檢測網路，其中，第二區域檢測網路的深度比第一區域檢測網路的深度要淺。例如，當第一區域檢測網路為ResNet50時，第二區域檢測網路可以是ResNet18。其中，因為第二目標檢測中使用的網路模型和第一目標檢測中使用的網路模型都是Faster R-CNN網路，因此，第二目標檢測具體的過程此處不再贅述。與第一目標檢測不同的是第一目標檢測中會針對可能包含不同的第一類目標的待檢測圖像進行檢測，判斷待檢測圖像中是否包含第一類目標以及獲取第一類目標的第一位置，而第二目標檢測中僅針對第一子類目標所在的圖像區域進行檢測，具體包括檢測第一子類目標存在缺陷的概率。
例如，將包含絕緣子串的圖像區域輸入第二區域檢測網路ResNet18中後，會對絕緣子串中是否出現了絕緣子自爆進行檢測，若存在則輸出的將是絕緣子串中出現絕緣子自爆的位置資訊以及自爆的概率資訊。
本發明實施例中，在對圖像區域進行第二目標檢測，得到第一缺陷檢測結果之後，可以對第一缺陷檢測結果進行處理。其中包括依據每種第一缺陷的位置資訊，分別確定每種第一缺陷在待檢測圖像上的缺陷區域。因為通過第二目標檢測獲得的位置資訊是第一缺陷在包含第一類目標的圖像區域上的位置資訊，還需要通過映射的方式找到第一缺陷在待檢測圖像上的缺陷區域。接著對缺陷區域進行預設處理，其中，預設處理包括以下至少一者，即對不同缺陷區域之間的重疊區域進行去重處理，過濾第一概率滿足第一過濾條件的第一缺陷。其中，對不同缺陷區域之間的重疊區域進行去重處理的方式又可進一步包括對不同缺陷區域之間的重疊區域進行非極大值抑制。當重疊區域的面積達到預設面積時，獲取互相重疊的缺陷區域的第一概率，並對各自的概率進行比較，保留概率較大的缺陷區域，捨棄概率較小的缺陷區域。其中，第一過濾條件為第一概率低於第一概率閾值。即當第一缺陷概率低於第一概率閾值時，則剔除掉這部分第一缺陷對應的缺陷區域。並且同時將第一缺陷的位置資訊及第一概率從第一缺陷檢測結果中刪除，也就是基於僅預設處理後得到的缺陷區域確定最終的第一缺陷檢測結果。
通過獲取第一子類目標中第一缺陷的概率以及在包含第一子類目標的圖像區域中位置資訊，並且基於該位置資訊找到第一缺陷在待檢測圖像中上對應的區域，並對重疊的部分進行去重處理，使得一個第一缺陷對應一個缺陷區域，減少出現對一個缺陷進行多次後續處理的問題，提高最後輸出的準確率，而通過將滿足過濾條件的區域剔除，能夠減少後續處理的區域數量，提高處理效率。
在本發明的一些實施例中，通過將缺陷概率低的剔除，減少了很多不必要的處理區域，提高了處理效率，通過非極大值抑制的方式進行去重，能夠保留缺陷概率更大的缺陷區域，在提高處理效率的同時還能保障缺陷檢測的準確率。
當第一類目標為第二子類目標時，第二缺陷檢測結果包括第一類目標屬於第二缺陷的第二概率。在一些實施例中，這裡的第二缺陷指的就是第二子類目標是否存在缺陷，其中，第二概率也就是第二子類存在缺陷的概率。當然在其他實施例中，第二缺陷可以包括多個不同的子缺陷，第二概率為第二子類目標屬於各個子缺陷的概率。對圖像區域進行分類的過程包括：對圖像區域進行分類，得到第一類目標屬於每種預設缺陷的概率，也即是第二子類目標屬於每種預設缺陷的概率。例如，當第一類目標為第二子類目標，例如防振錘時，對包含防振錘的圖像區域進行分類，得到防振錘分別屬於正常防振錘、防振錘銹蝕、防振錘扭轉、防振錘損壞、防振錘脫落的概率，例如屬於正常防振錘的概率為0.1，屬於防振錘銹蝕的概率為0，屬於防振錘扭轉的概率為0.2屬於防振錘損壞的概率為0.5，屬於防振錘脫落的概率為0。此時，可以得出防振錘屬於預設缺陷防振錘損壞的概率最高。在本發明的一些實施例中，可以通過這個概率認定防振錘屬於防振錘損壞。本發明實施例中在得出第一類目標屬於每種預設缺陷的概率之後，將每種預設缺陷的概率相加，得到第一類目標屬於第二缺陷的第二概率。即將防振錘的四種缺陷概率進行相加，得出此防振錘有缺陷的概率為0.7。此時的第二缺陷即為防振錘存在缺陷，第二概率則為防振錘有缺陷的概率。通過綜合多種預設缺陷的概率，確定該第一類目標的缺陷概率，廣泛考慮第一類目標屬於各種預設缺陷的可能性，使得第一類目標的缺陷概率更精確。
在對圖像區域進行分類的過程中，使用的網路為分類網路。其中，該分類網路的深度也可比第一區域檢測網路的深度淺，此時的分類網路同樣可以是ResNet18，當然還可以是其他深度的網路，例如當第一區域檢測網路為ResNet101時，分類網路還可以是ResNet50，當然在一些實施例中，分類網路的深度可與第一區域檢測網路的深度相同。因此關於分類網路的選擇，此處不做具體限定。
通過考慮各個不同部件的不同缺陷的特點，利用不同的網路模型分段進行檢測，能夠在一定程度上解決單一網路檢測或分類器出現漏檢率高的問題，同時，第二目標檢測使用的網路模型深度比第一目標檢測使用的網路模型深度淺，能夠減少第二目標檢測過程中的計算量，提高檢測效率。
在本發明的一些實施例中，在得到缺陷檢測結果之後，過濾缺陷檢測結果中滿足第二過濾條件的缺陷。其中，這裡的缺陷檢測結果可以是第一缺陷檢測結果和第二缺陷檢測結果以及關於第二類目標的缺陷檢測結果的組合。利用缺陷檢測結果中各個缺陷的位置資訊得到的缺陷的尺寸，過濾缺陷檢測結果中尺寸不滿足預設尺寸條件的缺陷。例如，過濾掉尺寸過大或者過小的絕緣子自爆的缺陷區域或者鳥巢的區域以及異常防振錘所在區域。或者過濾缺陷檢測結果中概率低於第二概率閾值的缺陷。具體包括可對不同類的目標設置不同的閾值，例如，第一目標的第一子類目標設置閾值為0.3，第二子類目標設置為0.2，第二類目標設置為0.2等等。然後根據預設閾值對缺陷檢測結果中的缺陷進行過濾。當然，也可同時對缺陷檢測結果中缺陷的尺寸以及缺陷的概率進行過濾，減少缺陷檢測結果中缺陷的數量。最後，按照最終缺陷檢測結果中每個缺陷的概率從高到底的順序輸出缺陷檢測結果中每個缺陷的資訊。其中，輸出的缺陷的資訊包括缺陷在待檢測圖像中的位置資訊和概率，或者直接輸出缺陷在初始圖像中的位置資訊和相應的概率。
在本發明的一些實施例中，輸出的形式可以包括以字元的形式輸出缺陷在待檢測圖像和/或初始圖像中的位置和概率，還可以是利用標注的方式將所有的缺陷直接在待檢測圖像和/或初始圖像中標識出來，並在標識框內寫出各自的概率，或者還可以是直接輸出各個缺陷在待檢測圖像和/或初始圖像中對應的圖像區域，並在圖像區域中寫明缺陷的概率。
通過對缺陷檢測結果中的缺陷進行過濾使得過濾之後的缺陷檢測結果中盡可能少包含屬於正常情形下的資訊或者說排除明顯不合理的情形，從而提高了缺陷檢測結果的合理性，並且還會使得誤檢率下降。
上述方案，通過先檢測第一類目標在待檢測圖像中的位置，然後再對包含第一類目標的圖像區域進行缺陷檢測，由於直接針對目標所在的圖像區域進行缺陷檢測，即減小缺陷檢測的區域，可降低漏檢率和誤檢率。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。其中缺陷檢測方法的執行主體可以是缺陷檢測裝置，例如，缺陷檢測方法可以由終端設備或伺服器或其它處理設備執行，其中，終端設備可以為使用者設備（User Equipment，UE）、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等。在一些實施例中，該缺陷檢測方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
下面，將說明本發明實施例在一個實際的應用場景中的示例性應用。本發明實施例提出了一種基於深度學習的電網傳輸線路中多類別缺陷檢測的方法，使用深度學習模型對大尺度的輸入圖片進行兩階段的檢測和分類，該方法可以聯合進行絕緣子自爆檢測、防振錘缺陷檢測、鳥巢檢測等異常缺陷識別。參見圖4a，該方法的實現流程主要包括如下功能模組：RGB圖像輸入模組410、圖像預處理模組420、一級部件檢測模組430、二級防振錘分類識別模組440、二級絕緣子自爆檢測模組450、自爆檢測後處理模組460以及異常缺陷篩選模組470。下面分別對各個模組進行具體說明。
1）RGB圖像輸入模組：該模組可以獲取不同無人機攝影頭拍攝的資料輸出，得到無人機航拍的RGB圖或高清視頻，對於高清視頻，可切分成圖像幀得到相應的RGB圖。
2）圖像預處理模組：參見圖4b，該模組可以對RGB圖像做統一的處理，得到可用於缺陷檢測的待輸入圖像，處理過程包括：a）圖像縮放421：對輸入的高清RGB圖像進行縮放，縮放至大小為1200×1800的圖像；b）圖元值壓縮422：將縮放後的圖像圖元值從0-255壓縮到0-1；c）圖元值歸一化423：使用ImageNet資料集的均值mean和方差std對壓縮圖元值後的圖像按照前述公式（1-1）進行歸一化計算。
3）一級部件檢測模組：該模組的輸入為歸一化後的RGB圖像，通過目標檢測網路Faster R-CNN檢測鳥巢、絕緣子串、防振錘三類一級部件，得到絕緣子串區域、防振錘區域和鳥巢區域三類候選區域，以及每一候選區域對應的得分。該模組的主要網路結構如圖4c所示，使用ResNet50頭部網路431作為檢測網路的骨幹網路，提取得到C4層特徵圖432。該模組進行一級部件檢測的流程包括：RGB圖像經過ResNet50頭部網路431得到C4層特徵圖432，特徵圖大小為輸入圖像的1/16，ResNet50頭部網路431由不斷堆疊至少一個卷積層、至少一個歸一化層、下採樣層組成，以跳層連接的方式進行前向運算；C4層特徵圖432經過RPN提取候選框433，提取的候選框為可能存在目標的區域，候選框與C4層特徵圖一起經過RoI池化層434得到每一個候選區域的特徵圖，再經過至少一個全連接層435得到每個候選區域的特徵向量，候選區域的特徵向量表徵了候選區域的特徵資訊；最後對每個候選區域的特徵向量進行框座標回歸436和多類別分類437，得到最終的檢測結果，輸出鳥巢、絕緣子串、防振錘的原圖位置區域和相應的概率值，其中鳥巢區域直接送入異常缺陷篩選模組，絕緣子串區域送入二級自爆檢測模組進行自爆檢測，防振錘區域送入二級防振錘分類識別模組進行防振錘類別的分類。
4）二級防振錘分類識別模組：該模組以一級部件檢測模組檢測的防振錘區域作為輸入，主要通過ResNet18分類網路對原圖剪裁的防振錘區域進行異常類型的多分類（分類的類別也包含正常類），最後對缺陷類別概率進行整合，得到正常的防振錘及不同異常的防振錘。該模組依據防振錘的形態將防振錘劃分為以下五類：正常防振錘、防振錘銹蝕、防振錘扭轉、防振錘損壞、防振錘脫落，其中後四類為缺陷類別。該模組進行防振錘分類識別的流程如圖4d所示，包括從原圖裁剪防振錘區域441、圖像預處理442、ResNet18多分類443、缺陷類別概率整合444四個子流程。對概率超過第一特定閾值的一階段部件檢出的防振錘區域，首先從原圖裁剪防振錘區域；然後，對每一個裁剪出的防振錘區域子圖進行圖像預處理，保持尺度一致；之後將每一個子圖像輸入ResNet18分類網路進行五分類，使用softmax計算得到五種防振錘形態類別的概率值；最後進行缺陷類別概率整合，即將四類屬於防振錘缺陷的概率值求和，作為防振錘有缺陷的概率。
5）二級絕緣子自爆檢測模組：該模組以一級部件檢測模組檢測的絕緣子串區域作為輸入，主要通過Faster R-CNN檢測網路對每個絕緣子串區域子圖進行自爆區域檢測，得到可能包含自爆的絕緣子。該模組的主要網路結構如圖4e所示，使用ResNet18頭部網路451作為檢測網路的骨幹網路，可以減少計算量，首先裁剪出概率超過第二特定閾值的絕緣子串區域，對得到的每一子圖進行圖像預處理，保持尺度一致，得到用於檢測的RGB圖像，將每一個RGB圖像經過ResNet18頭部網路451對絕緣子串的自爆區域進行檢測，得到C4層特徵圖452；C4層特徵圖452經過RPN提取候選框453，提取的候選框為可能存在絕緣子串自爆的區域，候選框與C4層特徵圖一起經過RoI池化層454得到每個候選區域的特徵圖，再經過至少一個全連接層455得到每個候選區域的特徵向量；最後對每個候選區域的特徵向量進行框座標回歸456和多類別分類457，得到最終的檢測結果，輸出絕緣子串的自爆區域和相應的概率值。
6）自爆檢測後處理模組：該模組將絕緣子串區域子圖中的自爆檢測結果映射回原圖結果，並對多次重複檢測的自爆區域進行重疊抑制處理，得到原圖中絕緣子自爆區域的位置資訊。該模組的處理過程可以分為以下三步：a）絕緣子串子圖像中的自爆區域座標映射回原圖區域；b）對重疊的自爆區域進行抑制；c）過濾得分較低的自爆區域框。
7）異常缺陷篩選模組：該模組對鳥巢區域、異常防振錘、絕緣子自爆的檢測識別結果進行篩選得到最終的異常缺陷檢測結果。該模組的處理過程可以分為以下三步：a）對鳥巢區域和自爆區域按照尺寸進行過濾，剔除掉過大和過小的檢測框；b）對鳥巢、絕緣子自爆和異常防振錘按照各自類別的閾值，剔除掉低於對應閾值的結果；c）對所有保留下來的檢測結果按照得分從高到低整體排序作為輸出結果。
本發明實施例中，使用無人機航拍高解析度圖作為輸入，引入輕量化的深度學習檢測和分類模型，對絕緣子自爆、防振錘、附著鳥巢等幾種缺陷異常進行聯合識別，具有以下有益效果：1）相關技術中的電網缺陷檢測演算法中，主要利用圖像處理和機器學習的方法，對目標需要先驗構造手工特徵，魯棒性差，準確度低，且受拍攝環境影響很大，本發明實施例中基於深度學習模型，通過網路自主學習特徵，應用場景更廣，魯棒性更強，準確度更高；2）本發明實施例中，結合電路巡檢場景提出兩階段檢測-檢測、檢測-分類演算法適合無人機航拍的高清圖像，且充分考慮絕緣子自爆依託在檢測到的絕緣子串上的缺陷特點，可以解決相關技術中單一網路檢測或分類器對高清圖像檢測識別效果差的問題；3）相關技術中一套演算法只能檢測識別一種部件的缺陷，要進行多種缺陷檢測需要不斷重複輸入原圖到不同演算法中，效率低。本發明實施例中將幾種缺陷整合到一套演算法中進行檢測識別，保證準確性的前提下，大幅提高檢測效率。
請參閱圖5，圖5是本發明實施例提供的一種缺陷檢測裝置的結構示意圖。缺陷檢測裝置30包括第一目標檢測模組31、圖像區域獲取模組32、缺陷檢測模組33，第一目標檢測模組31，配置為對待檢測圖像進行第一目標檢測，得到目標檢測結果，其中，目標檢測結果包括第一類目標以及第一類目標在待檢測圖像的第一位置資訊；區域獲取模組，配置為基於第一位置資訊，獲取包含第一類目標的圖像區域；缺陷檢測模組33，配置為對圖像區域進行缺陷檢測，得到關於第一類目標的缺陷檢測結果。
上述方案，通過先檢測第一類目標在待檢測圖像中的位置，然後再對包含第一類目標的圖像區域進行缺陷檢測，由於直接針對目標所在的圖像區域進行缺陷檢測，即減小缺陷檢測的區域，可降低漏檢率和誤檢率。
其中，缺陷檢測裝置30還包括預處理模組（圖未示）。
在本發明的一些實施例中，第一目標檢測模組31對待檢測圖像進行第一目標檢測，得到目標檢測結果之前，預處理模組配置為將初始圖像進行縮放到預設大小的圖像；將經縮放後的初始圖像的圖元值壓縮至預設圖元值範圍；對經壓縮的初始圖像進行歸一化處理，得到待檢測圖像。
上述方案，通過先對獲取到的圖像進行上述預處理，統一圖像的樣式，能夠提高輸入的魯棒性。
在本發明的一些實施例中，第一目標檢測模組31對待檢測圖像進行第一目標檢測，得到檢測結果，包括：利用第一區域檢測網路對待檢測圖像進行第一目標檢測，得到檢測結果；對圖像區域進行第二目標檢測，得到第一缺陷檢測結果，包括：利用第二區域檢測網路對圖像區域進行第二目標檢測，得到第一缺陷檢測結果；其中，第二區域檢測網路的深度比第一區域檢測網路的深度淺；對圖像區域進行分類，得到第二缺陷檢測結果，包括：利用分類網路對圖像區域進行分類，得到第二缺陷檢測結果。
上述方案，通過考慮各個不同部分的不同缺陷的特點，利用不同的網路模型分段進行檢測，能夠在一定程度上解決單一檢測網路出現漏檢率高的問題，同時，第二目標檢測使用的網路模型深度比第一目標檢測使用的網路模型深度淺，能夠減少第二目標檢測過程中的計算量，提高檢測效率。
在本發明的一些實施例中，圖像區域獲取模組32基於第一位置資訊，獲取包含第一類目標的圖像區域，包括：基於第一位置資訊，從待檢測圖像中確定第一類目標對應的目標區域；將目標區域在待檢測圖像中向外擴預設倍數；在待檢測圖像中提取經外擴後的目標區域，以得到包含第一類目標的圖像區域。
上述方案，通過將目標區域在待檢測圖像中向外擴預設倍數，使得能夠在獲取包含第一類目標對應的目標區域之後使得能夠保留一些背景資訊，能夠提升對第一類目標缺陷檢測的準確度。
在本發明的一些實施例中，缺陷檢測模組33還配置為對圖像區域進行缺陷檢測，得到關於第一類目標的缺陷檢測結果，包括：對圖像區域進行第二目標檢測，得到第一缺陷檢測結果，其中，第一缺陷檢測結果包括第一類目標上存在的至少一種第一缺陷的資訊；和/或，對圖像區域進行分類，得到第二缺陷檢測結果，其中，第二缺陷檢測結果包括第一類目標所屬第二缺陷的資訊。
上述方案，通過多種方式對包括第一類目標的圖像區域進行檢測，可針對不同的第一類目標採用不同的檢測方式，使得缺陷檢測更具有針對性，從而得到的缺陷檢測結果更準確或者為同一個第一類目標採用不同的檢測方式然後可以綜合各個不同的缺陷檢測方式得出最終待檢測圖像的缺陷檢測結果更準確，進一步減低誤檢率。
在本發明的一些實施例中，缺陷檢測模組33還配置為對圖像區域進行缺陷檢測，得到關於第一類目標的缺陷檢測結果，包括：在第一類目標為第一子類目標的情況下，執行對圖像區域進行第二目標檢測，得到第一缺陷檢測結果的步驟；在第一類目標為第二子類目標的情況下，執行對圖像區域進行分類，得到第二缺陷檢測結果的步驟。
上述方案，通過對不同的目標物件採用不同的缺陷檢測方式，使得缺陷檢測更加靈活，相比對所有種類的目標都採用同一種檢測方式來講，更有針對性，使得缺陷檢測結果更準確。
在本發明的一些實施例中，第一缺陷檢測結果包括每種第一缺陷的位置資訊以及屬於第一缺陷的第一概率；缺陷檢測模組33還配置為對圖像區域進行第二目標檢測，得到第一缺陷檢測結果之後，還包括以下至少一者：依據每種第一缺陷的位置資訊，分別確定每種第一缺陷在待檢測圖像上的缺陷區域，並對不同缺陷區域之間的重疊區域進行去重處理；過濾第一概率滿足第一過濾條件的第一缺陷。
上述方案，通過獲取第一子類目標中第一缺陷的概率以及在包含第一子類目標的圖像區域中位置資訊，並且基於該位置資訊找到第一缺陷在待檢測圖像中上對應的區域，並對重疊的部分進行去重處理，使得一個第一缺陷對應一個缺陷區域，減少出現對一個缺陷進行多次後續處理的問題，提高最後輸出的準確率，而通過將滿足過濾條件的區域剔除，能夠減少後續處理的區域數量，提高處理效率。
在本發明的一些實施例中，第一過濾條件為第一概率低於第一概率閾值；和/或，對不同缺陷區域之間的重疊區域進行去重處理，包括：對不同缺陷區域之間的重疊區域進行非極大值抑制。
上述方案，通過將缺陷概率低的剔除，減少了很多不必要的處理區域，提高了處理效率，通過非極大值抑制的方式進行去重，能夠保留缺陷概率更大的缺陷區域，在提高處理效率的同時還能保障缺陷檢測的準確率。
在本發明的一些實施例中，第二缺陷檢測結果包括第一類目標屬於第二缺陷的第二概率；缺陷檢測模組33對圖像區域進行分類，得到第二缺陷檢測結果，包括：對圖像區域進行分類，得到第一類目標屬於每種預設缺陷的概率；將每種預設缺陷的概率相加，得到第一類目標屬於第二缺陷的第二概率。
上述方案，綜合多種預設缺陷的概率，確定該第一類目標的缺陷概率，廣泛考慮第一類目標屬於各種預設缺陷的可能性，使得第一類目標的缺陷概率更精確。
在本發明的一些實施例中，第一目標檢測模組31對待檢測圖像進行第一目標檢測，得到目標檢測結果，包括：利用缺陷檢測模型的第一區域檢測網路對待檢測圖像進行第一目標檢測，得到目標檢測結果；缺陷檢測模組33對圖像區域進行第二目標檢測，得到第一缺陷檢測結果，包括：利用缺陷檢測模型的第二區域檢測網路對圖像區域進行第二目標檢測，得到第一缺陷檢測結果；其中，第二區域檢測網路的深度比第一區域檢測網路的深度淺；對圖像區域進行分類，得到第二缺陷檢測結果，包括：利用缺陷檢測模型的分類網路對圖像區域進行分類，得到第二缺陷檢測結果。
上述方案，通過考慮各個不同部件可能存在不同缺陷的特點，利用不同的網路模型分段進行檢測，能夠在一定程度上減輕了單一檢測網路出現漏檢率高的問題，同時，第二目標檢測使用的網路模型深度比第一目標檢測使用的網路模型深度淺，能夠減少第二目標檢測過程中的計算量，提高檢測效率。
在本發明的一些實施例中，目標檢測結果還包括第二類目標以及第二類目標在待檢測圖像的第二位置資訊，第一目標檢測模組31在對待檢測圖像進行第一目標檢測，得到目標檢測結果之後，還配置為：將第二類目標確定為待檢測圖像中的第三缺陷，並將第二類目標及其第二位置資訊作為關於第二類目標的缺陷檢測結果。
上述方案，通過將不應該存在的第二類目標設置為第三缺陷，使得一個缺陷檢測模型能夠針對多種目標進行檢測，加強了缺陷檢測模型的適應性。
在本發明的一些實施例中，缺陷檢測模組33在得到缺陷檢測結果之後，還配置為：過濾缺陷檢測結果中滿足第二過濾條件的缺陷，以得到待檢測圖像的最終缺陷檢測結果。
上述方案，通過過濾不滿足條件的缺陷，減少了明顯不合理的缺陷，使得最後得到的缺陷檢測結果更精確。
在本發明的一些實施例中，缺陷檢測模組33過濾缺陷檢測結果中滿足第二過濾條件的缺陷，包括：利用缺陷檢測結果中缺陷的位置資訊得到缺陷的尺寸，過濾缺陷檢測結果中尺寸不滿足預設尺寸條件的缺陷；和/或，過濾缺陷檢測結果中概率低於第二概率閾值的缺陷。
上述方案，通過過濾掉尺寸或概率不滿足條件的，減少了明顯不合理的缺陷，使得最後得到的缺陷檢測結果更準確。
在本發明的一些實施例中，缺陷檢測模組33在得到待檢測圖像的最終缺陷檢測結果之後，還配置為：按照最終缺陷檢測結果中每個缺陷的概率從高到低的順序，輸出最終缺陷檢測結果中每個缺陷的資訊。
上述方案，通過按照每個缺陷的概率從高到低的順序輸出最終缺陷檢測結果中每個缺陷的資訊，使得輸出結果更整潔，便於後續進一步的觀察。
其中，缺陷檢測裝置包括訓練模組（圖未示），訓練模組配置為訓練缺陷檢測模型。
在本發明的一些實施例中，第一目標檢測和缺陷檢測是由缺陷檢測模型執行的；其中，缺陷檢測模型由訓練模組至少執行以下步驟訓練得到：獲取第一樣本集，其中，第一樣本集包括至少一個樣本圖像，樣本圖像標注有關於目標的真實缺陷資訊，目標包括第一類目標；利用缺陷檢測模型對第一樣本集中的樣本圖像進行檢測，得到關於目標的缺陷檢測結果；利用真實缺陷資訊和缺陷檢測結果，調整缺陷檢測模型的參數。
上述方案，通過按照上述方式訓練得到的缺陷檢測模型的準確度更高，從而執行第一目標檢測以及缺陷檢測使得檢測結果更準確。
在本發明的一些實施例中，缺陷檢測模型是由多個圖形處理器共同訓練得到的，每個圖形處理器獲取的第一樣本集不同；訓練模組利用缺陷檢測模型對第一樣本集中的樣本圖像進行檢測，得到關於目標的缺陷檢測結果，包括：對每個圖形處理器中的缺陷檢測模型的批標準化層進行同步，並利用每個圖形處理器中批標準化層同步後的缺陷檢測模型對樣本圖像進行檢測，得到關於目標的缺陷檢測結果；利用真實缺陷資訊和缺陷檢測結果，調整缺陷檢測模型的參數，包括：基於所有缺陷檢測結果與真實缺陷資訊，確定缺陷檢測模型的平均損失值；利用平均損失值，調整缺陷檢測模型的參數。
上述方案，通過同步多個圖形處理器上中缺陷檢測模型的批標準化層，使得可以使用全域的第一樣本集進行歸一化，相當於增大了批量大小，從而減少因為使用多個圖形處理器的影響，並且通過多個圖形處理器對缺陷檢測模型進行訓練加快了訓練的速度。
在本發明的一些實施例中，訓練模組在所利用缺陷檢測模型對第一樣本集中的樣本圖像進行檢測，得到關於目標的缺陷檢測結果之前，還包括以下至少一個步驟：利用第二樣本集對缺陷檢測模型進行預訓練；利用第一樣本集對缺陷檢測模型進行預熱訓練，其中，預熱訓練的過程中採用的學習率為：從低於預設學習率的第一學習率開始，並逐步增大至預設學習率；其中，第一樣本集中的樣本圖像至少由以下步驟得到：對原始圖像進行預處理，得到樣本圖像，其中，預處理的方式包括尺度變換、顏色變換、水平翻轉、豎直翻轉、旋轉、裁剪中的一種或多種。
上述方案，通過在正式對缺陷檢測模型訓練之前，先利用第二樣本集對缺陷檢測模型進行預訓練使得對缺陷檢測模型的參數進行了初始化，或在正式訓練之前對學習率進行初始化，以及通過對原始圖像進行預處理，提高了缺陷檢測模型的適應性。
請參閱圖5，圖5是本發明實施例提供的一種電子設備的結構示意圖。電子設備40包括記憶體41和處理器42，處理器42配置為執行記憶體41中儲存的程式指令，以實現上述缺陷檢測方法實施例的步驟，在一個實施場景中，電子設備40可以包括但不限於：微型電腦、伺服器，此外，電子設備40還可以包括筆記型電腦、平板電腦等移動設備，在此不做限定。
具體而言，處理器42配置為控制其自身以及記憶體41以實現上述任一缺陷檢測方法實施例中的步驟。處理器42還可以稱為CPU（Central Processing Unit，中央處理單元）。處理器42可能是一種積體電路晶片，具有信號的處理能力。處理器42還可以是通用處理器、數位訊號處理器（Digital Signal Processor，DSP）、專用積體電路（Application Specific Integrated Circuit，ASIC）、現場可程式設計閘陣列（Field-Programmable Gate Array，FPGA）或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等。另外，處理器42可以由積體電路晶片共同實現。
上述方案，通過先檢測第一類目標在待檢測圖像中的位置，然後再對包含第一類目標的圖像區域進行缺陷檢測，由於直接針對目標所在的圖像區域進行缺陷檢測，即減小缺陷檢測的區域，可降低漏檢率和誤檢率。
請參閱圖6，圖6為本發明實施例提供的一種電腦可讀儲存介質的結構示意圖。電腦可讀儲存介質50儲存有能夠被處理器運行的程式指令501，程式指令501用於實現上述缺陷檢測方法實施例的步驟。
本公開實施例還提供一種電腦程式產品，該電腦程式產品被處理器執行時實現前述實施例的任意一種方法。該電腦程式產品可以通過硬體、軟體或其結合的方式實現。在本公開的一些實施例中，所述電腦程式產品體現為電腦儲存介質，在本公開的另一些實施例中，電腦程式產品體現為軟體產品，例如軟體發展包（Software Development Kit，SDK）等等。
上述方案，通過先檢測第一類目標在待檢測圖像中的位置，然後再對包含第一類目標的圖像區域進行缺陷檢測，由於直接針對目標所在的圖像區域進行缺陷檢測，即減小缺陷檢測的區域，可降低漏檢率和誤檢率。
在一些實施例中，本發明實施例提供的裝置具有的功能或包含的模組可以配置為執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
上文對各個實施例的描述傾向於強調各個實施例之間的不同之處，其相同或相似之處可以互相參考，為了簡潔，本文不再贅述。
在本發明所提供的幾個實施例中，應該理解到，所揭露的方法和裝置，可以通過其它的方式實現。例如，以上所描述的裝置實施方式僅僅是示意性的，例如，模組或單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些介面，裝置或單元的間接耦合或通信連接，可以是電性、機械或其它的形式。
另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。
集成的單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個電腦可讀取儲存介質中。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台電腦設備（可以是個人電腦，伺服器，或者網路設備等）或處理器（processor）執行本發明各個實施方式方法的全部或部分步驟。而前述的儲存介質包括：U盤、移動硬碟、唯讀記憶體（ROM，Read-Only Memory）、隨機存取記憶體（RAM，Random Access Memory）、磁碟或者光碟等各種可以儲存程式碼的介質。
工業實用性 本發明實施例提供了一種缺陷檢測方法、電子設備以及電腦可讀儲存介質，其中方法包括：對待檢測圖像進行第一目標檢測，得到目標檢測結果，其中，目標檢測結果包括第一類目標以及第一類目標在待檢測圖像的第一位置資訊；基於第一位置資訊，獲取包含第一類目標的圖像區域；對圖像區域進行缺陷檢測，得到關於第一類目標的缺陷檢測結果。上述方案，根據本發明實施例提供的缺陷檢測方法對待檢測圖像進行缺陷檢測，能夠降低缺陷漏檢率和誤檢率。
1:待檢測圖像 100:第一類目標 101:候選框 110:圖像區域 410:RGB圖像輸入模組 420:圖像預處理模組 421:圖像縮放 422:圖元值壓縮 423:圖元值歸一化 430:一級部件檢測模組 431:ResNet50頭部網路 432:C4層特徵圖 433:RPN提取候選框 434:RoI池化層 435:至少一個全連接層 436:框座標回歸 437:多類別分類 440:二級防振錘分類識別模組 441:從原圖裁剪防振錘區域 442:圖像預處理 443:ResNet18多分類 444:缺陷類別概率整合 450:二級絕緣子自爆檢測模組 451:ResNet18頭部網路 452:C4層特徵圖 453:RPN提取候選框 454:RoI池化層 455:至少一個全連接層 456:框座標回歸 457:多類別分類 460:自爆檢測後處理模組 470:異常缺陷篩選模組 30:缺陷檢測裝置 31:第一目標檢測模組 32:圖像區域獲取模組 33:缺陷檢測模組 40:電子設備 41:記憶體 42:處理器 50:電腦可讀儲存介質 501:程式指令 S11~S13:步驟
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明實施例的技術方案。 圖1a是本發明實施例提供的一種缺陷檢測方法的流程示意圖； 圖1b是本發明實施例提供的一種缺陷檢測方法的狀態示意圖； 圖2是本發明實施例提供的一種缺陷檢測方法中待檢測圖像的示意圖； 圖3是本發明實施例提供的一種缺陷檢測方法中圖像區域的示意圖； 圖4a是本發明實施例提供的一種缺陷檢測方法的實現流程示意圖； 圖4b是本發明實施例提供的一種圖像預處理模組的實現流程示意圖； 圖4c是本發明實施例提供的一級部件檢測模組的網路結構示意圖； 圖4d是本發明實施例提供的一種防振錘分類識別的實現流程示意圖； 圖4e是本發明實施例提供的二級絕緣子自爆檢測模組的網路結構示意圖； 圖5是本發明實施例提供的一種缺陷檢測裝置的結構示意圖； 圖6是本發明實施例提供的一種電子設備的結構示意圖； 圖7是本發明實施例提供的一種電腦可讀儲存介質的結構示意圖。
S11~S13:步驟

Claims (18)

  1. 一種缺陷檢測方法，包括： 對待檢測圖像進行第一目標檢測，得到目標檢測結果，其中，所述目標檢測結果包括第一類目標以及所述第一類目標在所述待檢測圖像的第一位置資訊； 基於所述第一位置資訊，獲取包含所述第一類目標的圖像區域； 對所述圖像區域進行缺陷檢測，得到關於所述第一類目標的缺陷檢測結果。
  2. 根據請求項1所述的方法，其中，所述對所述圖像區域進行缺陷檢測，得到關於所述第一類目標的缺陷檢測結果，包括： 對所述圖像區域進行第二目標檢測，得到第一缺陷檢測結果，其中，所述第一缺陷檢測結果包括所述第一類目標上存在的至少一種第一缺陷的資訊；和/或， 對所述圖像區域進行分類，得到第二缺陷檢測結果，其中，所述第二缺陷檢測結果包括所述第一類目標所屬第二缺陷的資訊。
  3. 根據請求項2所述的方法，其中，所述對所述圖像區域進行缺陷檢測，得到關於所述第一類目標的缺陷檢測結果，包括： 在所述第一類目標為第一子類目標的情況下，執行所述對所述圖像區域進行第二目標檢測，得到第一缺陷檢測結果的步驟； 在所述第一類目標為第二子類目標的情況下，執行所述對所述圖像區域進行分類，得到第二缺陷檢測結果的步驟。
  4. 根據請求項2或3所述的方法，其中，所述第一缺陷檢測結果包括每種所述第一缺陷的位置資訊以及屬於所述第一缺陷的第一概率；在所述對所述圖像區域進行第二目標檢測，得到第一缺陷檢測結果之後，所述方法還包括以下至少一者： 依據每種所述第一缺陷的位置資訊，分別確定每種所述第一缺陷在所述待檢測圖像上的缺陷區域，並對不同所述缺陷區域之間的重疊區域進行去重處理； 過濾第一概率滿足第一過濾條件的所述第一缺陷。
  5. 根據請求項4所述的方法，其中，所述第一過濾條件為所述第一概率低於第一概率閾值；和/或， 所述對不同所述缺陷區域之間的重疊區域進行去重處理，包括： 對不同所述缺陷區域之間的重疊區域進行非極大值抑制。
  6. 根據請求項2或3所述的方法，其中，所述第二缺陷檢測結果包括所述第一類目標屬於第二缺陷的第二概率；所述對所述圖像區域進行分類，得到第二缺陷檢測結果，包括： 對所述圖像區域進行分類，得到所述第一類目標屬於每種預設缺陷的概率； 將每種預設缺陷的概率相加，得到所述第一類目標屬於第二缺陷的第二概率。
  7. 根據請求項2或3所述的方法，其中，所述對待檢測圖像進行第一目標檢測，得到目標檢測結果，包括： 利用缺陷檢測模型的第一區域檢測網路對待檢測圖像進行第一目標檢測，得到目標檢測結果； 所述對所述圖像區域進行第二目標檢測，得到第一缺陷檢測結果，包括： 利用所述缺陷檢測模型的第二區域檢測網路對所述圖像區域進行第二目標檢測，得到第一缺陷檢測結果；其中，所述第二區域檢測網路的深度比第一區域檢測網路的深度淺； 所述對所述圖像區域進行分類，得到第二缺陷檢測結果，包括： 利用所述缺陷檢測模型的分類網路對所述圖像區域進行分類，得到第二缺陷檢測結果。
  8. 根據請求項1至3任一項所述的方法，其中，所述目標檢測結果還包括第二類目標以及第二類目標在所述待檢測圖像的第二位置資訊，在所述對待檢測圖像進行第一目標檢測，得到目標檢測結果之後，所述方法還包括： 將所述第二類目標確定為所述待檢測圖像中的第三缺陷，並將所述第二類目標及其所述第二位置資訊作為關於所述第二類目標的缺陷檢測結果。
  9. 根據請求項1至3任一項所述的方法，其中，在得到所述缺陷檢測結果之後，所述方法還包括： 過濾所述缺陷檢測結果中滿足第二過濾條件的缺陷，以得到所述待檢測圖像的最終缺陷檢測結果。
  10. 根據請求項9所述的方法，其中，所述過濾所述缺陷檢測結果中滿足第二過濾條件的缺陷，包括： 利用所述缺陷檢測結果中所述缺陷的位置資訊得到所述缺陷的尺寸，過濾所述缺陷檢測結果中所述尺寸不滿足預設尺寸條件的缺陷；和/或， 過濾所述缺陷檢測結果中概率低於第二概率閾值的所述缺陷。
  11. 根據請求項9所述的方法，其中，在所述得到所述待檢測圖像的最終缺陷檢測結果之後，所述方法還包括： 按照所述最終缺陷檢測結果中每個所述缺陷的概率從高到低的順序，輸出所述最終缺陷檢測結果中每個所述缺陷的資訊。
  12. 根據請求項1至3任一項所述的方法，其中，所述基於所述第一位置資訊，獲取包含所述第一類目標的圖像區域，包括： 基於所述第一位置資訊，從所述待檢測圖像中確定所述第一類目標對應的目標區域； 將所述目標區域在所述待檢測圖像中向外擴預設倍數； 在所述待檢測圖像中提取經外擴後的所述目標區域，以得到包含所述第一類目標的圖像區域。
  13. 根據請求項1至3任一項所述的方法，其中，所述對待檢測圖像進行第一目標檢測，得到目標檢測結果之前，所述方法還包括： 將初始圖像進行縮放，得到預設大小的圖像； 將經縮放後的所述初始圖像的圖元值壓縮至預設圖元值範圍； 對經壓縮的所述初始圖像進行歸一化處理，得到所述待檢測圖像。
  14. 根據請求項1至3任一項所述的方法，其中，所述第一目標檢測和缺陷檢測是由缺陷檢測模型執行的；其中，所述缺陷檢測模型至少由以下步驟訓練得到： 獲取第一樣本集，其中，所述第一樣本集包括至少一個樣本圖像，所述樣本圖像標注有關於目標的真實缺陷資訊，所述目標包括第一類目標； 利用所述缺陷檢測模型對所述第一樣本集中的樣本圖像進行檢測，得到關於所述目標的缺陷檢測結果； 利用所述真實缺陷資訊和所述缺陷檢測結果，調整所述缺陷檢測模型的參數。
  15. 根據請求項14所述的方法，其中，所述缺陷檢測模型是由多個圖形處理器共同訓練得到的，每個所述圖形處理器獲取的第一樣本集不同； 所述利用所述缺陷檢測模型對所述第一樣本集中的樣本圖像進行檢測，得到關於所述目標的缺陷檢測結果，包括： 對每個所述圖形處理器中的所述缺陷檢測模型的批標準化層進行同步，並利用每個所述圖形處理器中所述批標準化層同步後的缺陷檢測模型對所述樣本圖像進行檢測，得到關於所述目標的缺陷檢測結果； 所述利用所述真實缺陷資訊和所述缺陷檢測結果，調整所述缺陷檢測模型的參數，包括： 基於所有所述缺陷檢測結果與所述真實缺陷資訊，確定所述缺陷檢測模型的平均損失值； 利用所述平均損失值，調整所述缺陷檢測模型的參數。
  16. 根據請求項14所述的方法，其中，在所述利用所述缺陷檢測模型對所述第一樣本集中的樣本圖像進行檢測，得到關於所述目標的缺陷檢測結果之前，所述方法還包括以下至少一個步驟： 利用第二樣本集對所述缺陷檢測模型進行預訓練； 利用第一樣本集對所述缺陷檢測模型進行預熱訓練，其中，所述預熱訓練的過程中採用的學習率為：從低於預設學習率的第一學習率開始，並逐步增大至所述預設學習率； 其中，所述第一樣本集中的樣本圖像至少由以下步驟得到： 對原始圖像進行預處理，得到所述樣本圖像，其中，所述預處理的方式包括尺度變換、顏色變換、水平翻轉、豎直翻轉、旋轉、裁剪中的一種或多種。
  17. 一種電子設備，包括記憶體和處理器，所述處理器配置為執行所述記憶體中儲存的程式指令，以實現請求項1至16任一項所述的方法。
  18. 一種電腦可讀儲存介質，其上儲存有程式指令，所述程式指令被處理器執行時實現請求項1至16任一項所述的方法。
TW110100514A 2020-08-19 2021-01-06 缺陷檢測方法、電子設備以及電腦可讀儲存介質 TWI770757B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010837709.2A CN112001902A (zh) 2020-08-19 2020-08-19 缺陷检测方法和相关装置、设备、存储介质
CN202010837709.2 2020-08-19

Publications (2)

Publication Number Publication Date
TW202208832A true TW202208832A (zh) 2022-03-01
TWI770757B TWI770757B (zh) 2022-07-11

Family

ID=73473665

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110100514A TWI770757B (zh) 2020-08-19 2021-01-06 缺陷檢測方法、電子設備以及電腦可讀儲存介質

Country Status (5)

Country Link
JP (1) JP2022548438A (zh)
KR (1) KR20220023335A (zh)
CN (1) CN112001902A (zh)
TW (1) TWI770757B (zh)
WO (1) WO2022036953A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001902A (zh) * 2020-08-19 2020-11-27 上海商汤智能科技有限公司 缺陷检测方法和相关装置、设备、存储介质
CN112634254A (zh) * 2020-12-29 2021-04-09 北京市商汤科技开发有限公司 绝缘子缺陷检测方法及相关装置
CN112767356A (zh) * 2021-01-20 2021-05-07 景旺电子科技(珠海)有限公司 用于分配物品的方法、装置、终端设备及存储介质
CN112926439B (zh) * 2021-02-22 2024-08-09 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN112926438B (zh) * 2021-02-22 2024-04-05 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN112926437B (zh) * 2021-02-22 2024-06-11 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN113139540B (zh) * 2021-04-02 2022-11-01 北京邮电大学 背板检测方法及设备
CN113205512B (zh) * 2021-05-26 2023-10-24 北京市商汤科技开发有限公司 图像异常检测方法、装置、设备及计算机可读存储介质
CN113222989B (zh) * 2021-06-09 2024-08-02 联仁健康医疗大数据科技股份有限公司 一种图像分级方法、装置、存储介质及电子设备
CN114298992B (zh) * 2021-12-21 2024-08-13 北京百度网讯科技有限公司 一种视频帧去重方法、装置、电子设备及存储介质
CN114359281A (zh) * 2022-03-17 2022-04-15 南方电网数字电网研究院有限公司 基于层次化集成学习的电力部件识别方法和装置
CN114820561A (zh) * 2022-05-16 2022-07-29 奥蒂玛光学科技（深圳）有限公司 一种异常区域检测方法、自动光学检测设备以及存储介质
CN117278763A (zh) * 2022-06-14 2023-12-22 中兴通讯股份有限公司 基于交互的编码方法、编码装置及可读存储介质
WO2024020994A1 (zh) * 2022-07-29 2024-02-01 宁德时代新能源科技股份有限公司 用于电芯的缺陷检测模型的训练方法和训练装置
CN115272249B (zh) * 2022-08-01 2024-07-09 腾讯科技（深圳）有限公司 一种缺陷检测方法、装置、计算机设备和存储介质
CN115272330B (zh) * 2022-09-28 2023-04-18 深圳先进技术研究院 基于电池表面图像的缺陷检测方法、系统及相关设备
CN115564773B (zh) * 2022-11-18 2023-04-18 南方电网数字电网研究院有限公司 基于元学习的小样本图像缺陷检测方法、装置和设备
CN115526892B (zh) * 2022-11-29 2023-03-03 南方电网数字电网研究院有限公司 基于三维重建的图像缺陷去重检测方法和装置
CN115631193A (zh) * 2022-12-06 2023-01-20 北京矩视智能科技有限公司 基于注意力机制的工件缺陷检测方法、装置及存储介质
CN116087345B (zh) * 2023-04-06 2023-06-13 广东电网有限责任公司揭阳供电局 复合绝缘子的轴向缺陷长度的计算方法、装置及介质
CN116539619B (zh) * 2023-04-19 2024-05-10 广州里工实业有限公司 产品缺陷检测方法、系统、装置及存储介质
CN116385952B (zh) * 2023-06-01 2023-09-01 华雁智能科技(集团)股份有限公司 配网线路小目标缺陷检测方法、装置、设备及存储介质
CN116449875B (zh) * 2023-06-16 2023-09-05 拓恒技术有限公司 一种无人机巡检方法及系统
CN117437188B (zh) * 2023-10-17 2024-05-28 广东电力交易中心有限责任公司 一种用于智慧电网的绝缘子缺陷检测系统
CN117078689B (zh) * 2023-10-17 2024-01-30 沈阳宏远电磁线股份有限公司 一种基于机器视觉的线缆缺陷识别方法及系统
CN117253179B (zh) * 2023-11-20 2024-02-02 合肥中科类脑智能技术有限公司 配电线路鸟巢检测方法、存储介质和电子设备
CN117576042A (zh) * 2023-11-22 2024-02-20 魅杰光电科技(上海)有限公司 晶圆缺陷检测方法、系统、电子设备以及存储介质
CN117495846B (zh) * 2023-12-27 2024-04-16 苏州镁伽科技有限公司 图像检测方法、装置、电子设备及存储介质
CN117934462B (zh) * 2024-03-21 2024-06-25 高视科技(苏州)股份有限公司 用于调整检测参数的方法、电子设备及存储介质

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4255065B2 (ja) * 2003-08-07 2009-04-15 財団法人電力中央研究所 画像処理による電線異常検出方法および装置およびプログラム並びに電線点検用画像の作成方法
JP2011257303A (ja) * 2010-06-10 2011-12-22 Olympus Corp 画像取得装置、欠陥修正装置および画像取得方法
JP5442549B2 (ja) * 2010-07-16 2014-03-12 一般財団法人電力中央研究所 電線の異常検出方法、異常検出装置、および異常検出プログラム
CN103530620A (zh) * 2013-10-30 2014-01-22 华北电力大学 一种输电线路杆塔鸟巢的识别方法
CN106226050B (zh) * 2016-07-15 2019-02-01 北京航空航天大学 一种基于卷积神经网络的tfds故障图像自动识别方法
KR20180115368A (ko) * 2017-04-12 2018-10-23 주식회사 포스코 선재의 표면 흠 자동 맵핑 장치 및 방법
CN107392901A (zh) * 2017-07-24 2017-11-24 国网山东省电力公司信息通信公司 一种用于输电线路部件智能自动识别的方法
CN108389197B (zh) * 2018-02-26 2022-02-08 上海赛特斯信息科技股份有限公司 基于深度学习的输电线路缺陷检测方法
CN108648169B (zh) * 2018-03-20 2020-11-10 中国科学院自动化研究所 高压输电塔绝缘子缺陷自动识别的方法及装置
CN108597053A (zh) * 2018-04-25 2018-09-28 北京御航智能科技有限公司 基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法
CN110619619A (zh) * 2018-06-04 2019-12-27 杭州海康威视数字技术股份有限公司 一种缺陷检测方法、装置及电子设备
JP7028091B2 (ja) * 2018-07-11 2022-03-02 日本製鉄株式会社 表面欠陥検出装置及び表面欠陥検出方法
CN108921846A (zh) * 2018-07-17 2018-11-30 北京航空航天大学 一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法
JP2020034413A (ja) * 2018-08-30 2020-03-05 東ソー株式会社 欠陥検出方法
CN109785288A (zh) * 2018-12-17 2019-05-21 广东电网有限责任公司 基于深度学习的输电设备缺陷检测方法及系统
CN109685930A (zh) * 2018-12-19 2019-04-26 深圳供电局有限公司 电力部件巡检方法、装置、计算机设备和存储介质
CN109829893B (zh) * 2019-01-03 2021-05-25 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法
CN109949296A (zh) * 2019-03-21 2019-06-28 北京中飞艾维航空科技有限公司 一种输电线路缺陷识别方法、装置及存储介质
CN110378222B (zh) * 2019-06-14 2023-10-27 南瑞集团有限公司 一种输电线路防震锤目标检测与缺陷识别方法及装置
CN110349145B (zh) * 2019-07-09 2022-08-16 京东方科技集团股份有限公司 缺陷检测方法、装置、电子设备以及存储介质
CN110517265B (zh) * 2019-09-04 2022-03-01 北京理工大学 一种产品表面缺陷的检测方法、装置及存储介质
CN110555842A (zh) * 2019-09-10 2019-12-10 太原科技大学 一种基于锚点集优化的硅片图像缺陷检测方法
CN110796107A (zh) * 2019-11-04 2020-02-14 南京北旨智能科技有限公司 电力巡检图像缺陷识别方法和系统、电力巡检无人机
CN110969620A (zh) * 2019-12-19 2020-04-07 中国农业大学 一种磁瓦波纹类缺陷的检测方法及装置
CN111161246B (zh) * 2019-12-30 2024-05-14 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
CN111260055B (zh) * 2020-01-13 2023-09-01 腾讯科技（深圳）有限公司 基于三维图像识别的模型训练方法、存储介质和设备
CN111242943B (zh) * 2020-01-22 2022-10-28 腾讯科技（深圳）有限公司 图像处理方法、装置、图像处理设备及存储介质
CN111353413B (zh) * 2020-02-25 2022-04-15 武汉大学 一种输电设备低漏报率缺陷识别方法
CN111415330A (zh) * 2020-02-27 2020-07-14 苏州杰锐思智能科技股份有限公司 基于深度学习的铜箔外观缺陷检测方法
CN111507958B (zh) * 2020-04-15 2023-05-26 全球能源互联网研究院有限公司 目标检测方法、检测模型的训练方法及电子设备
CN111462109A (zh) * 2020-04-17 2020-07-28 广东电网有限责任公司 一种耐张线夹的缺陷检测方法、装置、设备及存储介质
CN112001902A (zh) * 2020-08-19 2020-11-27 上海商汤智能科技有限公司 缺陷检测方法和相关装置、设备、存储介质

Also Published As

Publication number Publication date
TWI770757B (zh) 2022-07-11
JP2022548438A (ja) 2022-11-21
CN112001902A (zh) 2020-11-27
WO2022036953A1 (zh) 2022-02-24
KR20220023335A (ko) 2022-03-02

Similar Documents

Publication Publication Date Title
TWI770757B (zh) 缺陷檢測方法、電子設備以及電腦可讀儲存介質
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和系统
CN109063559B (zh) 一种基于改良区域回归的行人检测方法
CN109241982B (zh) 基于深浅层卷积神经网络的目标检测方法
US11676390B2 (en) Machine-learning model, methods and systems for removal of unwanted people from photographs
JP5775225B2 (ja) マルチレイヤ連結成分をヒストグラムと共に用いるテキスト検出
WO2018233038A1 (zh) 基于深度学习的车牌识别方法、装置、设备及存储介质
WO2023193401A1 (zh) 点云检测模型训练方法、装置、电子设备及存储介质
CN110298227B (zh) 一种基于深度学习的无人机航拍图像中的车辆检测方法
CN110909724B (zh) 一种多目标图像的缩略图生成方法
WO2020151299A1 (zh) 黄色禁停线识别方法、装置、计算机设备及存储介质
CN112132145B (zh) 一种基于模型扩展卷积神经网络的图像分类方法及系统
CN110942456B (zh) 篡改图像检测方法、装置、设备及存储介质
CN112329881A (zh) 车牌识别模型训练方法、车牌识别方法及装置
JP2004062605A (ja) シーン識別方法および装置ならびにプログラム
CN115861210B (zh) 一种基于孪生网络的变电站设备异常检测方法和系统
CN113781421A (zh) 基于水下的目标识别方法、装置及系统
CN103995864B (zh) 一种图像检索方法和装置
CN109977875A (zh) 基于深度学习的手势识别方法及设备
CN111581679A (zh) 一种基于深度网络的防范屏幕拍照方法
CN114445651A (zh) 一种语义分割模型的训练集构建方法、装置及电子设备
CN111127358A (zh) 图像处理方法、装置及存储介质
CN112070041B (zh) 一种基于cnn深度学习模型的活体人脸检测方法和装置
CN114445916A (zh) 一种活体检测方法、终端设备及存储介质
CN111797934A (zh) 路标识别方法及装置