TW202127312A - 影像處理方法及存儲介質 - Google Patents

影像處理方法及存儲介質 Download PDF

Info

Publication number
TW202127312A
TW202127312A TW109142281A TW109142281A TW202127312A TW 202127312 A TW202127312 A TW 202127312A TW 109142281 A TW109142281 A TW 109142281A TW 109142281 A TW109142281 A TW 109142281A TW 202127312 A TW202127312 A TW 202127312A
Authority
TW
Taiwan
Prior art keywords
image
prediction parameter
prediction
neural network
image processing
Prior art date
Application number
TW109142281A
Other languages
English (en)
Other versions
TWI769603B (zh
Inventor
趙學興
張建慧
元海燕
Original Assignee
大陸商鄭州富聯智能工坊有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商鄭州富聯智能工坊有限公司 filed Critical 大陸商鄭州富聯智能工坊有限公司
Publication of TW202127312A publication Critical patent/TW202127312A/zh
Application granted granted Critical
Publication of TWI769603B publication Critical patent/TWI769603B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)
  • Image Processing (AREA)

Abstract

本發明提供一種影像處理方法包括：獲取待測目標的至少一張圖像；基於所述圖像生成特徵熱圖；將所述圖像和所述特徵熱圖同時輸入深度學習模型中，得到訓練特徵值；根據所述訓練特徵值從所述深度學習模型中得到預測結果。本發明還提供一種電腦可讀存儲介質。本發明能夠提高圖像中的目標判定的準確率。

Description

影像處理方法及存儲介質
本發明涉及圖像識別技術領域，具體涉及一種影像處理方法及存儲介質。
利用深度學習卷積網路對圖像進行判別已是當前的主流，對於圖像的判別有著優異的表現。也可以應用到圖像的目標檢測中，然而深度學習卷積網路對目標進行判別也有一定的局限性。例如開發者很難去解釋卷積網路生成的模型，僅能從模型的判別結果來預測其好壞。因此，不易對網路進行針對性的控制與改進。另一方面，卷積網路容易忽略局部與整體之間的關聯性。例如，其無法提取目標在圖像中的“位置”，“大小”及“方向”等特徵。然而在某些情況中，這些因素都是目標判斷的重要依據，缺乏這些因素的判斷會影響模型對目標判別的準確性。
鑒於以上問題，本發明提出一種影像處理的方法和存儲介質，以提高影像處理中目標判定的準確率。
本申請的第一方面提供一種影像處理方法，所述方法包括： 獲取待測目標的至少一張圖像； 基於所述圖像生成特徵熱圖； 將所述圖像和所述特徵熱圖同時輸入深度學習模型中，得到訓練特徵值； 根據所述訓練特徵值從所述深度學習模型中得到預測結果。
優選地，基於所述圖像生成特徵熱圖包括： 提取所述圖像的特徵值； 導入所述特徵值至預設矩陣中； 基於導入後的預設矩陣生成所述特徵熱圖。
優選地，提取所述圖像的特徵值後，所述方法還包括： 歸一化處理所述特徵值。
優選地，所述預設矩陣包括多個分類區塊，每個分類區塊包括多個元素，所述導入所述特徵值至預設矩陣中包括： 根據所述分類區塊的類型劃分所述特徵值； 導入劃分後的特徵值至對應的分類區塊，其中，每一個特徵值對應所述分類區塊中的每一個元素。
優選地，所述特徵值包括描述所述圖像中目標尺寸的特徵值，描述所述目標在所述圖像中位置的特徵值，描述所述目標的紋理的特徵值，以及描述所述目標在所述圖像中方向的特徵值。
優選地，基於導入後的預設矩陣生成所述特徵熱圖包括： 將導入後的預設矩陣中的所有元素轉換成灰度值；及 根據轉換後的預設矩陣生成所述特徵熱圖。
優選地，所述深度學習模型包括第一卷積神經網路、第二卷積神經網路和預測單元。
優選地，將所述圖像和所述特徵熱圖同時輸入深度學習模型中，得到訓練特徵值包括： 根據所述第一卷積神經網路和所述圖像得到第一預測參數； 根據所述第二卷積神經網路和所述特徵熱圖得到第二預測參數； 組合所述第一預測參數和所述第二預測參數得到所述訓練特徵值。
優選地，所述第一卷積神經網路和所述第二卷積神經網路分別包括多個卷積層和池化層，所述池化層設置在一個或多個卷積層之間。
優選地，至少一個所述卷積層和至少一個所述池化層組合成所述第一卷積神經網路和所述第二卷積神經網路的中間層。
優選地，從所述第一卷積神經網路的中間層的池化層中提取所述第一預測參數，至少一個第一預測參數是另一個第一預測參數經過所述中間層的卷積層處理後輸出的參數； 從所述第二卷積神經網路的中間層的池化層中提取所述第二預測參數，至少一個第二預測參數是另一個第二預測參數經過所述中間層的卷積層處理後輸出的參數。
優選地，組合所述第一預測參數和所述第二預存參數得到所述訓練特徵值包括： 將從所述第一卷積神經網路的最後一個中間層提取的第一預測參數作為所述圖像的第三預測參數； 將從所述第二卷積神經網路的最後一個中間層提取的第二預測參數作為所述特徵熱圖的第四預測參數； 組合多個所述第一預測參數與所述第三預測參數，以及組合多個所述第二預測參數與所述第四預測參數，得到所述訓練特徵值。
優選地，根據所述訓練特徵值從所述深度學習模型中得到預測結果包括： 輸入所述訓練特徵值至所述深度學習模型的預測單元； 所述預測單元輸出所述預測結果。
優選地，所述預測單元輸出所述預測結果包括： 根據所述預測單元中的損失函數得到計算結果； 指數歸一化所述計算結果； 將歸一化後的計算結果轉換成對應的輸出標籤，其中，所述輸出標籤對應目標的等級標籤。
本發明第二方面提供一種電腦可讀存儲介質，其上存儲有電腦程式，所述電腦程式被處理器執行時實現如前所述的影像處理方法。
本發明提供的影像處理方法和介質，通過基於所述圖像生成特徵熱圖；並將所述圖像和所述特徵熱圖同時輸入深度學習模型中，得到訓練特徵值；根據所述訓練特徵值從所述深度學習模型中得到預測結果。解決了卷積神經網路對圖像無法提取並學習圖像量測資料特徵值的問題。利用本申請提供的方法對圖像中的目標進行判別，能夠得到更高的準確率。
為了能夠更清楚地理解本發明的所述目的、特徵和優點，下面結合附圖和具體實施例對本發明進行詳細描述。需要說明的是，在不衝突的情況下，本申請的實施例及實施例中的特徵可以相互組合。
在下面的描述中闡述了很多具體細節以便於充分理解本發明，所描述的實施例僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
除非另有定義，本文所使用的所有的技術和科學術語與屬於本發明的技術領域的技術人員通常理解的含義相同。本文中在本發明的說明書中所使用的術語只是為了描述具體的實施例的目的，不是旨在於限制本發明。
請參閱圖1，圖1為本發明一個實施例提供的影像處理方法的流程示意圖。根據不同的需求，所述流程圖中步驟的順序可以改變，某些步驟可以省略。為了便於說明，僅示出了與本發明實施例相關的部分。
如圖1所示，所述影像處理方法包括以下步驟。
步驟S1、獲取待測目標的至少一張圖像。
在一實施方式中，可通過相機拍攝待測目標獲得至少一張圖像。相機可以為手機、單眼相機、線陣相機等，待測目標可以是人、物體、動物、手機、個人電腦等。在另一實施方式中，獲取待測目標的至少一張圖像可以是接收伺服器傳送的待測目標的至少一張圖像。在其他實施方式中，可以從本地資料庫中獲取待測目標的至少一張圖像。本實施方式中，圖像可包括待測目標的完整或局部圖像。圖像可以是任意解析度，也可以經過高採樣或低採樣，依實際需求而定。
步驟S2、基於圖像生成特徵熱圖。
在一實施例中，基於圖像生成特徵熱圖的方法包括： （1）提取圖像的特徵值；
在一實施例中，待測目標在圖像中可以是一或多個目標，特徵值包括描述目標在圖像中的尺寸的特徵值，描述目標在圖像中位置的特徵值，描述目標的紋理的特徵值，以及描述目標在圖像中方向的特徵值。描述目標的尺寸的特徵值包括瑕疵長度、灰度差、單點瑕疵面積、寬度、瑕疵亮度、群聚瑕疵面積和長寬比等。描述目標在所述圖像中的位置的特徵值包括是否在孔洞第一區、是否在孔洞第二區、是否在孔洞第三區、是否在縱向分區第一區、是否在縱向分區第二區、是否在縱向分區第三區、是否在縱向分區第四區以及是否在圓角區等。描述目標的紋理的特徵值包括密度、群密度、熵、對比度、相關性、以及均勻性等。描述目標在所述圖像中方向的特徵值可以是目標與依據圖像建立的坐標系（XOY）的X軸或/和Y軸之間的角度，包括角度_0、角度_1、角度_2等。
在一實施方式中，目標可以是描述待測工件上的瑕疵區域。瑕疵為待測工件在生產過程中被擦傷、刮傷或碰傷時造成的，也可以包括待測工件上存在污漬的區域。
需要說明的是，可以通過目標在圖像中的位置確認目標在待測工件中的位置，也可以通過目標在圖像中的方向確認目標在待測工件中的方向。
（2）歸一化處理特徵值；
在一實施例中，可將特徵值歸一化處理為0至1範圍內的數值。
（3）導入特徵值至預設矩陣中；
在本實施例中，預設矩陣可以包括多個分類區塊，每一個分類區塊分別包括多個元素。每個元素可以導入一個特徵值。分類區塊可以描述目標的特徵，例如尺寸、紋理等。
優選地，當特徵值數量少於分類區塊中的元素的總數時，補入0至所述分類區塊。
例如，如圖2A所示，預設矩陣包括四個分類區塊，第一分類區塊201，第二分類區塊202，第三分類區塊203和第四分類區塊204。第一分類區塊201描述目標的尺寸。第二分類區塊202描述目標的紋理，第三分類區塊203描述目標的位置，以及第四分類區塊204描述目標的方向。四個分類區塊分別是尺寸，紋理，位置和方向。
如圖2B所示，第一分類區塊201，第二分類區塊202，第三分類區塊203和第四分類區塊204分別包括九個元素。第一分類區塊201導入了描述目標尺寸的特徵值，如瑕疵長度、灰度差、單點瑕疵面積、寬度、瑕疵亮度、群聚瑕疵面積和長寬比，以及補入一個零至第一分類區塊201。第二分類區塊202導入了描述目標紋理的特徵值，如密度、群密度、熵、對比度、相關性和均勻性，以及補入三個零至所述第二分類區塊202。第三分類區塊203導入了描述目標所在位置的特徵值，如是否在孔洞第一區，是否在孔洞第二區，是否在孔洞第三區，是否在縱向分區第一區，是否在縱向分區第二區，是否在縱向分區第三區，是否在縱向分區第四區和是否在圓角區，以及補入一個零至所述第三分類區塊203。第四分類區塊204導入了描述目標方向的特徵值，例如，角度_0、角度_1、角度_2、角度_3、角度_4、角度_5、角度_6、角度_7和角度_8。
（4）基於導入後的預設矩陣生成特徵熱圖；
在一實施方式中，通過將預設矩陣中的所有元素轉換成灰度值，再根據轉換後的預設矩陣生成特徵熱圖。
在一實施例中，將預設矩陣中的每一元素乘以255轉換成灰度值，再將轉換後的預設矩陣中的每一個元素作為一個圖元點，以得到特徵熱圖。如圖3A為待處理圖A，圖3B為待處理圖A通過上述方法得到的特徵熱圖。如圖3C所示為待處理圖B，圖3D為待處理圖B通過上述方法得到的特徵熱圖。
在一實施例中，將提取到的圖像的特徵值依類別分區，再依特徵之間的相關性順序排列，最後將排列後的預設矩陣轉變成特徵熱圖，使特徵熱圖得以與圖像一起應用於卷積神經網路模型。
優選地，在獲取圖像的特徵熱圖後，對圖像進行處理的方法還包括：調整特徵熱圖的尺寸。為了滿足深度學習模型的需求，需要先將特徵熱圖的尺寸進行處理。
步驟S3、將圖像和特徵熱圖同時輸入深度學習模型中，得到訓練特徵值。
在一實施方式中，將圖像和特徵熱圖同時輸入深度學習模型中，深度學習模型包括第一卷積神經網路、第二卷積神經網路和預測單元。
在一實施例中，將圖像2輸入深度學習模型的第一卷積神經網路，同時將特徵熱圖輸入深度學習模型的第二卷積神經網路。深度學習模型為預先訓練好的模型，可以在輸入圖像後，輸出圖像中的目標的分類等級，如圖4所示。訓練深度學習模型的方法為現有的訓練方法，在此不再贅述。
需要說明的是，可以動態調整所述深度學習模型的參數，所述深度學習模型不限定於本申請中對目標的分類判定，還適用於其他任何圖像的識別。
優選地，第一卷積神經網路和第二卷積神經網路分別包括多個卷積層和池化層，池化層設置在一個或多個卷積層之間。至少一個卷積層和至少一個池化層組合成第一卷積神經網路和第二卷積神經網路的中間層。
優選地，第一卷積神經網路與第二卷積神經網路的結構可以相同，也可以不同。例如，第一卷積神經網路的中間層包括四層，第二卷積神經網路的中間層也包括四層。又如，當特徵熱圖的重要性較低時，可以使用較簡易的神經網路架構，例如，減少第二卷積神經網路的中間層的數量。
優選地，將圖像和所述特徵熱圖同時輸入深度學習模型中，得到訓練特徵值包括：根據第一卷積神經網路和圖像得到第一預測參數；根據第二卷積神經網路和特徵熱圖得到第二預測參數；組合第一預測參數和第二預測參數得到訓練特徵值。
在一實施方式中，可以從第一卷積神經網路的池化層中提取第一預測參數，至少一個第一預測參數是另一個第一預測參數經過卷積層處理後輸出的參數。從第二卷積神經網路的池化層中提取第二預測參數，至少一個第二預測參數是另一個第二預測參數經過卷積層處理後輸出的參數。
第一卷積神經網路的中間層可以包括多層，每一個中間層都包括多個卷積層和池化層。第二卷積神經網路的中間層也可以包括多層，每一個中間層都包括多個卷積層和池化層。如圖4所示，第一卷積神經網路的中間層包括四層，提取依序的每一個中間層的預測參數可以得到四個第一預測參數，如第一預測參數A、第一預測參數B、第一預測參數C和第一預測參數D。第一預測參數A為從第一個中間層提取的參數，第一預測參數B為從第二個中間層提取的參數，第一預測參數C為從第三個中間層提取的參數，第一預測參數D為從第四個中間層提取參數。
在一實施例中，可以利用注意力機制提取第一卷積神經網路的每一個中間層的第一預測參數來得到圖像的多個第一預測參數。也可以是其他方法提取第一預測參數，本申請中對此不作限定。
第二卷積神經網路的中間層也包括四層，提取依序的每一個中間層的預測參數可以得到四個第二預測參數，如第二預測參數A、第二預測參數B、第二預測參數C和第二預測參數D。第二預測參數A為從第一個中間層提取的參數，第二預測參數B為從第二個中間層提取的參數，第二預測參數C為從第三個中間層提取的參數，第二預測參數D為從第四個中間層提取的參數。同樣地，可以利用注意力機制提取第二卷積神經網路的中間層的第二預測參數，得到特徵熱圖的多個第二預測參數。
需要說明的是，同樣可以利用注意力機制提取第二卷積神經網路的每一個中間層的第二預測參數來得到圖像的多個第二預測參數。也可以是其他方法提取第二預測參數，本申請中對此不作限定。
在本實施方式中，可通過組合多個第一預測參數生成第一組合預測參數，通過組合多個第二預測參數生成第二組合預測參數，再連接第一組合預測參數與第二組合預測參數，構成深度學習模型的全連接層。
在一實施方式中，組合第一預測參數和第二預測參數得到訓練特徵值包括： （1）將從第一卷積神經網路的最後一個中間層提取的第一預測參數作為第三預測參數。在本實施例中，可以提取第一卷積神經網路的最後一層的參數，得到圖像的第三預測參數。 （2）將從第二卷積神經網路的最後一個中間層提取的第二預測參數作為特徵熱圖的第四預測參數。在本實施例中，可以提取第二卷積神經網路的最後一層的參數，得到特徵熱圖的第四預測參數。 （3）組合多個第一預測參數與第三預測參數，以及組合多個第二預測參數與第四預測參數，得到訓練特徵值。在本實施方式中，可通過組合多個第一預測參數與第三預測參數生成第一組合預測參數，通過組合多個第二預測參數與第四預測參數生成第二組合預測參數，再連接第一組合預測參數與第二組合預測參數，構成深度學習模型的全連接層。
可以理解的是，訓練特徵值至少包括第一組合預測參數和第二組合預測參數。
步驟S4、根據訓練特徵值從深度學習模型中得到預測結果。
在本實施方式中，通過輸入訓練特徵值至深度學習模型的預測單元，預測單元輸出預測結果。在一實施方式中，可輸入全連接層至預測單元中，根據預測單元中的損失函數得到計算結果，指數歸一化計算結果，將歸一化後的計算結果轉換成對應的輸出標籤，其中，輸出標籤對應目標的等級標籤。
在一實施方式中，預測單元可以是一分類器，分類器可以是Softmax損失函數，損失函數的結果相當於輸入的圖像被分到每個等級標籤的概率分佈。全連接層輸入至Softmax損失函數得到計算結果，再將計算結果進行指數歸一化，最後轉換成對應的輸出標籤。輸出標籤對應的是目標的等級標籤。
本申請利用影像處理技術提取圖像中的靶心圖表像以量測資料特徵值，並基於特徵值生成圖像的特徵熱圖，將特徵熱圖和圖像一起使用卷積神經網路來學習與預測，以增加多種卷積神經網路對原始圖像無法提取到的圖像量測資料特徵。
本申請的卷積神經網路除了能夠對圖像自身的特徵值進行學習，也能同時學習到使用者指定的相關聯圖像（如特徵熱圖）特徵，解決了卷積神經網路對圖像無法提取並學習，例如“位置”、“大小” 、“方向”等圖像量測資料特徵值的問題。利用本申請對圖像進行檢測判別，能夠得到更高的準確率。
圖1至圖4詳細介紹了本發明的影像處理的方法，通過所述方法，能夠提高影像處理中目標判定的準確率。下面結合圖5和圖6，對實現所述影像處理方法的軟體系統的功能模組以及硬體裝置架構進行介紹。
圖5為本發明一實施方式提供的影像處理系統的結構圖。
在一些實施方式中，影像處理系統100可以包括多個由程式碼段所組成的功能模組。影像處理系統100中的各個程式段的程式碼可以存儲於電腦裝置的記憶體中，並由電腦裝置中的至少一個處理器所執行，以實現圖像檢測的功能。
參考圖5，本實施方式中，影像處理系統100根據其所執行的功能，可以被劃分為多個功能模組，各個功能模組用於執行圖1對應實施方式中的各個步驟，以實現影像處理的功能。本實施方式中，影像處理系統100的功能模組包括：獲取模組101、生成模組102、輸入模組103以及處理模組104。各個功能模組的功能將在下面的實施例中進行詳述。
獲取模組101用於獲取待測目標的至少一張圖像。在一實施方式中，可通過相機拍攝待測目標獲得至少一張圖像。相機可以為手機、單眼相機、線陣相機等，待測目標可以是人、物體、動物、手機、個人電腦等。在另一實施方式中，獲取待測目標的至少一張圖像可以是接收伺服器傳送的待測目標的至少一張圖像。在其他實施方式中，可以從本地資料庫中獲取待測目標的圖像。本實施方式中，圖像可包括待測目標的完整或局部圖像。圖像可以是任意解析度，也可以經過高採樣或低採樣，依實際需求而定。
生成模組102用於基於圖像生成特徵熱圖。
在一實施例中，生成模組102可用於： （1）提取圖像的特徵值。在一實施例中，特徵值包括描述目標尺寸的特徵值，描述目標在圖像中位置的特徵值，描述目標的紋理的特徵值，以及描述目標在圖像中方向的特徵值。描述目標尺寸的特徵值包括長度、灰度差、面積、寬度、亮度、顏色、飽和度和長寬比等。描述目標在圖像中位置的特徵值包括是否在第一區、是否在第二區、是否在第三區、是否在縱向分區第一區、是否在縱向分區第二區、是否在縱向分區第三區、是否在縱向分區第四區以及是否在圓角區等。描述目標紋理的特徵值包括密度、群密度、熵、對比度、相關性、以及均勻性等。描述目標在圖像中方向的特徵值可以是目標與依據圖像建立的坐標系（XOY）的X軸或/和Y軸之間的角度，包括角度_0、角度_1、角度_2等。 （2）歸一化處理所述特徵值。在一實施例中，可將特徵值歸一化處理為0至1範圍內的數值。 （3）導入特徵值至預設矩陣中；
在一實施例中，預設矩陣可以包括多個分類區塊，每一個分類區塊分別包括多個元素，每個元素可以導入一個特徵值。分類區塊可以描述目標的特徵，例如尺寸、紋理、顏色等。
優選地，當特徵值數量少於分類區塊中的元素的總數時，補入0至所述分類區塊。
例如，如圖2A所示，預設矩陣包括四個分類區塊，第一分類區塊201、第二分類區塊202、第三分類區塊203和第四分類區塊204。第一分類區塊201描述目標的尺寸。第二分類區塊202描述目標的紋理，第三分類區塊203描述目標的位置，以及第四分類區塊204描述目標的方向。四個分類區塊分別是尺寸、紋理、位置和方向。
如圖2B所示，第一分類區塊201、第二分類區塊202、第三分類區塊203和第四分類區塊204分別包括九個元素。第一分類區塊201導入了描述目標尺寸的特徵值，如長度、灰度差、顏色、寬度、亮度、面積和長寬比，以及補入一個零至第一分類區塊201。第二分類區塊202導入了目標紋理的特徵值，如密度，群密度，熵，對比度，相關性和均勻性，以及補入三個零至第二分類區塊202。第三分類區塊203導入了描述目標所在位置的特徵值，如是否在第一區，是否在第二區，是否在第三區，是否在縱向分區第一區，是否在縱向分區第二區，是否在縱向分區第三區，是否在縱向分區第四區和是否在圓角區，以及補入一個零至第三分類區塊203。第四分類區塊204導入了描述目標方向的特徵值，例如，角度_0，角度_1，角度_2，角度_3，角度_4，角度_5，角度_6，角度_7和角度_8。
（4）基於導入後的預設矩陣生成特徵熱圖。在一實施方式中，通過將預設矩陣中的所有元素轉換成灰度值，再根據轉換後的預設矩陣生成特徵熱圖。
在一實施例中，將預設矩陣中的每一元素乘以255轉換成灰度值。再將轉換後的預設矩陣中的每一個元素作為一個圖元點，得到特徵熱圖。如圖3A所示為待處理圖A，圖3B為待處理圖A通的特徵熱圖。如圖3C所示為待處理圖B，圖3D為待處理圖B的特徵熱圖。
在一實施例中，生成模組102可用於將提取到的圖像的特徵值依類別分區，再依特徵之間的相關性順序排列，最後將排列後的預設矩陣轉變成特徵熱圖，使特徵熱圖得以與圖像一起應用於卷積神經網路模型。
優選地，生成模組102可在獲取圖像的特徵熱圖後，調整特徵熱圖的尺寸，以滿足深度學習模型的需求。
輸入模組103用於將圖像和特徵熱圖同時輸入深度學習模型中以得到訓練特徵值。
在一實施方式中，輸入模組103可將圖像和特徵熱圖同時輸入深度學習模型中，深度學習模型包括第一卷積神經網路、第二卷積神經網路和預測單元。
在一實施例中，將圖像輸入深度學習模型的第一卷積神經網路，同時將特徵熱圖輸入深度學習模型的第二卷積神經網路。深度學習模型為預先訓練好的模型，可以在輸入圖像後，輸出目標的檢測結果，如圖4所示。訓練所述深度學習模型的方法為現有的訓練方法，在此不再贅述。
需要說明的是，可以動態調整深度學習模型的參數，深度學習模型不限定於本申請中對目標的判定，還適用於其他任何圖像的識別。
處理模組104用於根據訓練特徵值從深度學習模型中得到預測結果。
在一實施方式中，處理模組104是一深度學習模型，可從深度學習模型的預測單元輸出預測結果。
在一實施例中，預測單元可以是一分類器，分類器可以是Softmax損失函數，損失函數的結果相當於輸入的圖像被分到每個等級標籤的概率分佈。訓練特徵值輸入至Softmax損失函數得到計算結果，再將計算結果進行指數歸一化，最後轉換成對應的輸出標籤。輸出標籤對應目標的檢測結果標籤。
圖6為本發明一實施方式提供的電子裝置的功能模組示意圖。電子裝置10包括記憶體11、處理器12以及存儲在所述記憶體11中並可在所述處理器12上運行的電腦程式13，例如影像處理的程式。
在本實施方式中，電子裝置10可以是但不限於智慧手機、平板電腦、電腦設備等。
示例性的，電腦程式13可以被分割成一個或多個模組/單元，一個或者多個模組/單元被存儲在記憶體11中，並由處理器12執行。一個或多個模組/單元可以是能夠完成特定功能的一系列電腦程式指令段，指令段用於描述電腦程式13在電子裝置10中的執行過程。例如，電腦程式13可以被分割成圖5中的模組101-104。
本領域技術人員可以理解，示意圖6僅僅是電子裝置10的示例，並不構成對電子裝置10的限定，電子裝置10可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件，例如電子裝置10還可以包括輸入輸出設備等。
所稱處理器12可以是中央處理單元(Central Processing Unit，CPU)，還可以包括其他通用處理器、數位訊號處理器(Digital Signal Processor，DSP)、專用積體電路(Application Specific Integrated Circuit，ASIC)、現成可程式設計閘陣列(Field-Programmable Gate Array，FPGA)或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。通用處理器可以是微處理器或者所述處理器也可以是任何常規的處理器等，處理器12是所述電子裝置10的控制中心，利用各種介面和線路連接整個電子裝置10的各個部分。
記憶體11可用於存儲電腦程式13和/或模組/單元，處理器12通過運行或執行存儲在記憶體11內的電腦程式和/或模組/單元，以及調用存儲在記憶體11內的資料，實現電子裝置10的各種功能。記憶體11可以包括外部存儲介質，也可以包括記憶體。此外，記憶體11可以包括高速隨機存取記憶體，還可以包括非易失性記憶體，例如硬碟、記憶體、插接式硬碟，智慧存儲卡（Smart Media Card, SMC），安全數位（Secure Digital, SD）卡，快閃記憶體卡（Flash Card）、至少一個磁碟記憶體器件、快閃記憶體器件、或其他易失性固態記憶體器件。
電子裝置10集成的模組/單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個電腦可讀取存儲介質中。基於這樣的理解，本發明的方法實施例中的全部或部分流程也可以通過電腦程式來指令相關的硬體來完成，電腦程式可存儲於電腦可讀存儲介質中，電腦程式在被處理器執行時，可實現各個方法實施例的步驟。
最後應說明的是，以上實施例僅用以說明本發明的技術方案而非限制，儘管參照較佳實施例對本發明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或等同替換，而不脫離本發明技術方案的精神和範圍。
S1~S4:步驟 201:第一分類區塊 202:第二分類區塊 203:第三分類區塊 204:第四分類區塊 100:影像處理系統 101:獲取模組 102:生成模組 103:輸入模組 104:處理模組 10:電子裝置 11:記憶體 12:處理器 13:電腦程式
圖1是本發明一實施例所提供的影像處理方法的流程示意圖。 圖2A是本發明一實施方式提供的預設矩陣的分類區塊示意圖。 圖2B是本發明一實施方式提供的預設矩陣的示意圖。 圖3A是本發明一實施方式提供的待處理圖A的示意圖。 圖3B是本發明一實施方式提供的待處理圖A對應的特徵熱圖的示意圖。 圖3C是本發明一實施方式提供的待處理圖B的示意圖。 圖3D是本發明一實施方式提供的待處理圖B對應的特徵熱圖的示意圖。 圖4是本發明一實施例所提供的深度學習模型的示意圖。 圖5是本發明一實施例所提供的影像處理系統示意圖。 圖6是本發明一實施方式提供的電子裝置架構示意圖。
S1~S4:步驟

Claims (15)

  1. 一種影像處理方法，其改良在於，所述方法包括： 獲取待測目標的至少一張圖像； 基於所述圖像生成特徵熱圖； 將所述圖像和所述特徵熱圖同時輸入深度學習模型中，得到訓練特徵值； 根據所述訓練特徵值從所述深度學習模型中得到預測結果。
  2. 如請求項1所述之影像處理方法，其中，基於所述圖像生成特徵熱圖包括： 提取所述圖像的特徵值； 導入所述特徵值至預設矩陣中； 基於導入後的預設矩陣生成所述特徵熱圖。
  3. 如請求項2所述之影像處理方法，其中，提取所述圖像的特徵值後，所述方法還包括： 歸一化處理所述特徵值。
  4. 如請求項3所述之影像處理方法，其中，所述預設矩陣包括多個分類區塊，每個分類區塊包括多個元素，所述導入所述特徵值至預設矩陣中包括： 根據所述分類區塊的類型劃分所述特徵值； 導入劃分後的特徵值至對應的分類區塊，其中，每一個特徵值對應所述分類區塊中的每一個元素。
  5. 如請求項2至4中任意一項所述之影像處理方法，其中，所述特徵值包括描述所述圖像中的目標的尺寸的特徵值，描述所述目標在所述圖像中的位置的特徵值，描述所述目標的紋理的特徵值，以及描述所述目標在所述圖像中的方向的特徵值。
  6. 如請求項2所述之影像處理方法，其中，基於導入後的預設矩陣生成所述特徵熱圖包括： 將導入後的預設矩陣中的所有元素轉換成灰度值；及 根據轉換後的預設矩陣生成所述特徵熱圖。
  7. 如請求項1所述之影像處理方法，其中，所述深度學習模型包括第一卷積神經網路、第二卷積神經網路和預測單元。
  8. 如請求項7所述之影像處理方法，其中，將所述圖像和所述特徵熱圖同時輸入深度學習模型中，得到訓練特徵值包括： 根據所述第一卷積神經網路和所述圖像得到第一預測參數； 根據所述第二卷積神經網路和所述特徵熱圖得到第二預測參數； 組合所述第一預測參數和所述第二預測參數得到所述訓練特徵值。
  9. 如請求項8所述之影像處理方法，其中，所述第一卷積神經網路和所述第二卷積神經網路分別包括多個卷積層和池化層，所述池化層設置在一個或多個卷積層之間。
  10. 如請求項9所述之影像處理方法，其中，至少一個所述卷積層和至少一個所述池化層組合成所述第一卷積神經網路和所述第二卷積神經網路的中間層。
  11. 如請求項10所述之影像處理方法，其中，還包括： 從所述第一卷積神經網路的中間層的池化層中提取所述第一預測參數，至少一個第一預測參數是另一個第一預測參數經過所述中間層的卷積層處理後輸出的參數； 從所述第二卷積神經網路的中間層的池化層中提取所述第二預測參數，至少一個第二預測參數是另一個第二預測參數經過所述中間層的卷積層處理後輸出的參數。
  12. 如請求項10所述之影像處理方法，其中，組合所述第一預測參數和所述第二預存參數得到所述訓練特徵值包括： 將從所述第一卷積神經網路的最後一個中間層提取的第一預測參數作為所述圖像的第三預測參數； 將從所述第二卷積神經網路的最後一個中間層提取的第二預測參數作為所述特徵熱圖的第四預測參數； 組合多個所述第一預測參數與所述第三預測參數，以及組合多個所述第二預測參數與所述第四預測參數，得到所述訓練特徵值。
  13. 如請求項8所述之影像處理方法，其中，根據所述訓練特徵值從所述深度學習模型中得到預測結果包括： 輸入所述訓練特徵值至所述深度學習模型的預測單元； 所述預測單元輸出所述預測結果。
  14. 如請求項13所述之影像處理方法，其中，所述預測單元輸出所述預測結果包括： 根據所述預測單元中的損失函數得到計算結果； 指數歸一化所述計算結果； 將歸一化後的計算結果轉換成對應的輸出標籤，其中，所述輸出標籤對應目標的等級標籤。
  15. 一種電腦可讀存儲介質，其改良在於，其上存儲有電腦程式，所述電腦程式被處理器執行時實現如請求項1至14中任一項所述之影像處理方法。
TW109142281A 2019-12-31 2020-12-01 影像處理方法及存儲介質 TWI769603B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911415118.XA CN111222558B (zh) 2019-12-31 2019-12-31 图像处理方法及存储介质
CN201911415118.X 2019-12-31

Publications (2)

Publication Number Publication Date
TW202127312A true TW202127312A (zh) 2021-07-16
TWI769603B TWI769603B (zh) 2022-07-01

Family

ID=70808302

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109142281A TWI769603B (zh) 2019-12-31 2020-12-01 影像處理方法及存儲介質

Country Status (2)

Country Link
CN (1) CN111222558B (zh)
TW (1) TWI769603B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI813522B (zh) * 2022-12-20 2023-08-21 悟智股份有限公司 分類模型建立方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297866A (zh) * 2021-05-21 2021-08-24 苏州视印智能系统有限公司 基于深度学习及热图技术的工业读码器

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250819A (zh) * 2016-07-20 2016-12-21 上海交通大学 基于脸部实时监控检测人脸对称性及异常方法
CN106326937B (zh) * 2016-08-31 2019-08-09 郑州金惠计算机系统工程有限公司 基于卷积神经网络的人群密度分布估计方法
CN108509963B (zh) * 2017-02-28 2023-04-28 株式会社日立制作所 基于深度学习的目标差异性检测方法和目标差异性检测设备
US10650515B2 (en) * 2017-05-23 2020-05-12 Case Western Reserve University Characterizing intra-tumoral heterogeneity for response and outcome prediction using radiomic spatial textural descriptor (RADISTAT)
US10902252B2 (en) * 2017-07-17 2021-01-26 Open Text Corporation Systems and methods for image based content capture and extraction utilizing deep learning neural network and bounding box detection training techniques
CN107292886B (zh) * 2017-08-11 2019-12-31 厦门市美亚柏科信息股份有限公司 基于网格划分及神经网络的目标物入侵检测方法及装置
CN107833220B (zh) * 2017-11-28 2021-06-11 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN111788589A (zh) * 2018-02-23 2020-10-16 Asml荷兰有限公司 训练用于计算光刻术的机器学习模型的方法
EP3579196A1 (en) * 2018-06-05 2019-12-11 Cristian Sminchisescu Human clothing transfer method, system and device
CN109472790A (zh) * 2018-11-22 2019-03-15 南昌航空大学 一种机械零件缺陷检测方法及系统
CN109886125A (zh) * 2019-01-23 2019-06-14 青岛慧拓智能机器有限公司 一种构建道路检测模型的方法及道路检测方法
CN110111313B (zh) * 2019-04-22 2022-12-30 腾讯科技（深圳）有限公司 基于深度学习的医学图像检测方法及相关设备
CN110619350B (zh) * 2019-08-12 2021-06-18 北京达佳互联信息技术有限公司 图像检测方法、装置及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI813522B (zh) * 2022-12-20 2023-08-21 悟智股份有限公司 分類模型建立方法

Also Published As

Publication number Publication date
CN111222558A (zh) 2020-06-02
TWI769603B (zh) 2022-07-01
CN111222558B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
CN103617625B (zh) 一种图像匹配方法及图像匹配装置
CN111833237B (zh) 基于卷积神经网络和局部单应性变换的图像配准方法
TW202011264A (zh) 資訊的檢測方法、裝置及設備
US9025863B2 (en) Depth camera system with machine learning for recognition of patches within a structured light pattern
TWI769603B (zh) 影像處理方法及存儲介質
WO2023130717A1 (zh) 图像定位方法、装置、计算机设备和存储介质
CN110610143A (zh) 多任务联合训练的人群计数网络方法、系统、介质及终端
Dong et al. Spatial hierarchy aware residual pyramid network for time-of-flight depth denoising
Xie et al. A method for surface defect detection of printed circuit board based on improved YOLOv4
CN102713974B (zh) 学习装置、识别装置、学习识别系统和学习识别装置
CN107844803B (zh) 一种图片比对的方法和装置
CN111951954A (zh) 身体健康状态检测方法、装置、可读存储介质及终端设备
CN116977783A (zh) 一种目标检测模型的训练方法、装置、设备及介质
TWI803243B (zh) 圖像擴增方法、電腦設備及儲存介質
CN111079930A (zh) 数据集质量参数的确定方法、装置及电子设备
CN116468702A (zh) 黄褐斑评估方法、装置、电子设备及计算机可读存储介质
CN115331021A (zh) 基于多层特征自身差异融合的动态特征提取与描述方法
CN112070853A (zh) 图像生成方法及装置
CN113139540B (zh) 背板检测方法及设备
CN116310899A (zh) 基于YOLOv5改进的目标检测方法及装置、训练方法
CN115170834A (zh) 色差度量方法、装置、电子设备
Van Den Braak et al. GPU-vote: A framework for accelerating voting algorithms on GPU
CN111832629A (zh) 一种基于FPGA的faster-RCNN目标检测方法
US20230029163A1 (en) Wafer map analysis system using neural network and method of analyzing wafer map using the same
TWI840833B (zh) 多尺度自編碼器生成方法、電腦設備及儲存介質