TWI761715B - 缺陷檢測視覺化方法及其系統 - Google Patents

缺陷檢測視覺化方法及其系統 Download PDF

Info

Publication number
TWI761715B
TWI761715B TW108137945A TW108137945A TWI761715B TW I761715 B TWI761715 B TW I761715B TW 108137945 A TW108137945 A TW 108137945A TW 108137945 A TW108137945 A TW 108137945A TW I761715 B TWI761715 B TW I761715B
Authority
TW
Taiwan
Prior art keywords
defect
sub
tested
detection area
spectrogram
Prior art date
Application number
TW108137945A
Other languages
English (en)
Other versions
TW202118316A (zh
Inventor
楊傑棋
高盟超
劉文光
李滄興
盤立平
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW108137945A priority Critical patent/TWI761715B/zh
Priority to CN201911091856.3A priority patent/CN112700399B/zh
Priority to US16/706,817 priority patent/US10863294B1/en
Priority to US17/088,591 priority patent/US11326935B2/en
Publication of TW202118316A publication Critical patent/TW202118316A/zh
Priority to US17/328,775 priority patent/US11636583B2/en
Application granted granted Critical
Publication of TWI761715B publication Critical patent/TWI761715B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/18—Details of the transformation process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/008—Visual indication of individual signal levels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G10L21/14—Transforming into visible information by displaying frequency domain information
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Otolaryngology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

一種缺陷檢測視覺化方法及其系統，此方法包括下列步驟。輸出測試音頻訊號至待測物件，並且接收待測物件對於測試音頻訊號的響應訊號，以產生收音音頻訊號。針對收音音頻訊號進行訊號處理，以產生時頻譜圖。根據時頻譜圖，視覺化判斷待測物件是否具有缺陷。

Description

缺陷檢測視覺化方法及其系統
本發明是有關於一種檢測技術，且特別是一種缺陷檢測視覺化方法及其系統。
揚聲器是一種把電訊號轉變為聲訊號的換能器，其廣泛地應用於音響、耳機等設備，而其性能影響此些設備的使用。揚聲器的組裝缺陷以往是由豐富經驗的聽者在生產線末端進行檢測。此種檢測需要對揚聲器施正弦對數掃頻訊(log-swept sine chirps)，並且利用人的聽覺檢測分析其響應信號是否正常。然而，此種以人耳評估而檢測出的結果會隨著聽者的年齡、情緒變化、聽覺疲勞等主觀因素而有所不同，並且容易造成聽者的職業傷害。
本發明提供一種缺陷檢測視覺化方法及其系統，其可從時頻譜圖中以電腦視覺技術來檢測待測物件是否具有缺陷。
在本發明的一實施例中，上述的方法包括下列步驟。輸出測試音頻訊號至待測物件，並且接收待測物件對於測試音頻訊號的響應訊號，以產生收音音頻訊號。針對收音音頻訊號進行訊號處理，以產生時頻譜圖，並且根據時頻譜圖，視覺化判斷待測物件是否具有缺陷。
在本發明的一實施例中，上述的系統包括訊號輸出裝置、麥克風、類比數位轉換器以及處理裝置。訊號輸出裝置用以輸出測試音頻訊號至待測物件。麥克風用以接收待測物件對於測試音頻訊號的響應訊號。類比數位轉換器用以將響應訊號轉換為收音音頻訊號。處理裝置用以針對收音音頻訊號進行訊號處理，以產生時頻譜圖，以及根據時頻譜圖，視覺化判斷待測物件是否具有缺陷。
100:缺陷檢測系統
110:訊號輸出裝置
120:麥克風
130:類比數位轉換器
140:處理裝置
T:待測物件
S202~S210:步驟
310、320、710、720:時頻譜圖
315、325:檢測區域
RB:異音特徵
402~414、602~614:流程
H:影像金字塔
T1、T0:影像
T11、T01:子區塊
R1、R0:參考模型
R11、R01:參考子區塊
FE:特徵擷取
M:分類器
圖1為根據本發明一實施例所繪示的缺陷檢測系統的方塊圖。
圖2為根據本發明一實施例所繪示的缺陷檢測視覺化方法的流程圖。
圖3為根據本發明一實施例所繪示的時頻譜圖的示意圖。
圖4為根據本發明一實施例所繪示的建構分類器的功能方塊流程圖。
圖5為根據本發明一實施例所繪示的空間特徵的取得方法的功能方塊流程圖。
圖6為根據本發明一實施例所繪示的缺陷檢測視覺化方法的功能方塊流程圖。
圖7根據本發明一實施例所繪示的時頻譜圖的示意圖。
本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法與系統的範例。
圖1為根據本發明一實施例所繪示的缺陷檢測系統的方塊圖，但此僅是為了方便說明，並不用以限制本發明。首先圖1先介紹缺陷檢測系統中的所有構件以及配置關係，詳細功能將配合圖2一併揭露。
請參照圖1，缺陷檢測系統100包括訊號輸出裝置110、麥克風120、類比數位轉換器130以及處理裝置140，其用以檢測待測物件T是否有缺陷。
訊號輸出裝置110用以將測試音頻訊號輸出至待測物件T，其可以例如是具有數位音頻輸出介面的電子裝置，並且利用無線或是有線的方式將測試音頻訊號輸出至待測物件T。麥克風120用以將待測物件T對於測試音頻訊號的響應進行收音，其可以是設置於待測物件T的鄰近處或是相對於待測物件T的最佳收音的 位置。類比數位轉換器130連接於麥克風120，用以將麥克風120所接收到的類比聲音訊號轉換成數位聲音訊號。
處理裝置140連接至類比數位轉換器130，用以將自類比數位轉換器130所接收到的數位聲音訊號進行處理，以檢測待測物件T是否有缺陷。處理裝置140包括記憶體以及處理器。記憶體可以例如是任意型式的固定式或可移動式隨機存取記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、快閃記憶體(flash memory)、硬碟或其他類似裝置、積體電路及其組合。處理器可以例如是中央處理單元(central processing unit，CPU)、應用處理器(application processor，AP)，或是其他可程式化之一般用途或特殊用途的微處理器(microprocessor)、數位訊號處理器(digital signal processor，DSP)或其他類似裝置、積體電路及其組合。
必須說明的是，在一實施例中，訊號輸出裝置110、麥克風120、類比數位轉換器130以及處理裝置140可以分屬四個獨立裝置。在一實施例中，訊號輸出裝置110以及處理裝置140可以整合至同一裝置，而處理裝置140可控制訊號輸出裝置110的輸出。在一實施例中，訊號輸出裝置110、麥克風120、類比數位轉換器130以及處理裝置140更可以為單一整合(all-in-one)電腦系統。本發明不針對訊號輸出裝置110、麥克風120、類比數位轉換器130以及處理裝置140的整合做任何設限，只要是包括此些裝置的系統皆屬於缺陷檢測系統100的範疇。
以下即列舉實施例說明缺陷檢測系統100針對待測物件T執行缺陷檢測方法的詳細步驟。在以下的實施例中將以具有揚聲器的電子裝置做為待測物件T來進行說明，而缺陷檢測系統100所檢測的缺陷為待測物件T的組裝異音(rub and buzz)。
圖2為根據本發明一實施例所繪示的缺陷檢測視覺化方法的流程圖，圖2流程將以圖1的缺陷檢測系統100來執行。
請同時參照圖1以及圖2，訊號輸出裝置110將輸出測試音頻訊號至待測物件T(步驟S202)，麥克風120將接收待測物件T對於測試音頻訊號的響應訊號(步驟S204)，類比數位轉換器130將轉換響應訊號為收音音頻訊號(步驟S206)。在此，測試音頻訊號的音頻範圍可以是1K~20Hz，其中1K~500Hz的振幅為-25dB，500Hz~300Hz的振幅為-15dB，300Hz~20Hz的振幅為-8dB。然而，由於組裝異音會與測試音頻訊號的特定頻率點產生共振，而為了避免非組裝異音的共振影響異音的檢測(例如按鈕共振)，因此測試音頻訊號的音頻範圍與振幅會依照待測物件T的不同而有所調整。待測物件T將會對測試音頻訊號產生響應訊號，而麥克風120將接收來自待測物件T的響應訊號。接著，類比數位轉換器130會將類比的響應訊號進行類比數位轉換，以產生數位的響應訊號(以下稱為「收音音頻訊號」)。
處理裝置140將針對收音音頻訊號進行訊號處理，以產生時頻譜圖(步驟S208)，並且根據時頻譜圖，視覺化判斷待測物件T是否具有缺陷(步驟S210)。處理裝置140可以是針對收音 音頻訊號進行快速傅立葉轉換(Fast Fourier Transform，FFT)，以產生時頻譜圖。在此將收音音頻訊號轉換成時頻譜圖的原因在於異音在收音音頻訊號並沒有顯著特徵，但是異音與測試音頻訊號產生共振時具有時間連續性，因此若將時間域訊號轉換成時頻譜圖後，異音特徵在時頻譜圖中將會呈現時間連續並且能量群聚的現象，以利用電腦視覺技術來達到待測物件的缺陷檢測。
以圖3根據本發明一實施例所繪示的時頻譜圖的示意圖為例，時頻譜圖310對應於無異音的聲音訊號，時頻譜圖320對應於異音的聲音訊號。必須說明的是，本領域具通常知識者應明瞭，時頻譜圖代表訊號強度隨著時間以及頻率的分佈，而時頻譜圖310以及時頻譜圖320僅以曲線來簡易地示意出明顯的訊號強度來進行說明。在此，異音的聲音訊號在時頻譜圖320中有時間連續與能量群聚的特徵，如異音特徵RB。因此，若是利用處理裝置140以電腦視覺技術來分析時頻譜圖，則可從中判斷出待測裝置T是否有因組裝上的缺陷而產生異音。
在以下的實施例中，將會以分類器來進行影像辨識，因此在處理裝置140在判斷待測物件T是否具有缺陷之前，將會取得已訓練好的分類器。在此的分類器可以是由處理裝置140自行訓練，或者是自其它處理裝置取得已訓練好的分類器，本發明不在此設限。
圖4為根據本發明一實施例所繪示的建構分類器的功能方塊流程圖，自以下的說明當中將以類似於處理裝置140(以下 稱為「訓練系統」)來進行分類器的建構。
請參照圖4，首先，訓練系統將會蒐集多筆訓練資料402。在此的訓練資料可以是N1個無缺陷訓練物件以及N2個缺陷訓練物件以類似步驟S202~S204的方式所分別產生的N1筆無缺陷訓練聲音樣本以及N2筆缺陷訓練聲音樣本，其中此N1+N2個訓練物件與待測物件T為相同物件，但是已經預先經過缺陷檢測。
接著，訓練系統會將訓練資料轉換成時頻譜圖404。為了降低運算複雜度，以及為了避免低頻噪音以及高頻雜訊的影像，訓練系統將選取例如是3K~15KHz的預設頻率範圍做為檢測區域。以圖3為例，區域315為時頻譜圖310的檢測區域，而區域325為時頻譜圖320的檢測區域。為了方便說明，以下將對應於無缺陷訓練聲音樣本的時頻譜圖中的檢測區域稱為「無缺陷檢測區域影像」，而對應於缺陷訓練聲音樣本的時頻譜圖中的檢測區域稱為「缺陷檢測區域影像」。
之後，訓練系統將會取得各個缺陷檢測區域影像以及各個無缺陷檢測區域影像中不同區域所對應的特徵值，並且取得各個缺陷檢測區域影像以及無缺陷檢測區域影像分別與參考模型408之間的紋理相關性(texture correlation)406，以做為空間特徵410來訓練分類器412，進而產生用來檢測待測物件T是否有缺陷的分類器414。
在此，訓練系統會先將所有缺陷檢測區域影像以及無缺陷檢測區域影像進行影像分割，以產生多個相同尺寸的子區塊(例 如40×200的像素尺寸)。在本實施例中，若是子區塊的尺寸太大，將會降低異音特徵的比重，而若是子區塊的尺寸太小，將會無法涵蓋異音特徵而影響後續的辨識結果。因此，訓練系統可以例如是以圖5根據本發明一實施例所繪示的功能方塊流程圖來取得各個缺陷檢測區域影像以及無缺陷檢測區域影像的空間特徵。
請參照圖5，訓練系統會將各個缺陷檢測區域影像以及無缺陷檢測區域影像分別進行影像金字塔處理H(image pyramid)，以產生不同尺度(scale)的影像。本實施例將會具有兩個尺度，即原始影像大小以及原始影像大小的1/4(將原始影像的長與寬分別縮小為原本的1/2)。在此將以其中一張缺陷檢測區域影像來進行圖5流程的說明，而本領域具通常知識者可以類推其它缺陷檢測區域影像以及無缺陷檢測區域影像的處理方式。假設T1為其中一張缺陷檢測區域影像，其像素尺寸為1000×800。T11為影像分割後的其中一個子區塊(以下稱為「訓練子區塊」)，其像素尺寸為40×200。另一方面，T0為T1經過影像金字塔處理(縮小處理)後所產生的影像，其像素尺寸為500×400。T01為影像分割後的其中一個訓練子區塊，其像素尺寸將與訓練子區塊T11相同，即40×200的像素尺寸。
接著，訓練系統將會針對各個不同尺度的無缺陷檢測區域影像以及缺陷檢測區域影像所分割出的每個訓練子區塊進行特徵擷取FE。在本實施例中，訓練系統可以例如是計算各個尺度的每個訓練子區塊的像素值的標準差σ(standard deviation)以及直 方圖偏態k(Kurtosis)至少之一者來做為每個訓練子區塊的特徵值，然而本發明不以此為限。此外，為了提高無缺陷與缺陷的差異性，訓練系統更可以根據N1個無缺陷檢測區域影像來產生關聯於無缺陷的參考模型。舉例來說，訓練系統可以是將相同尺度的N1個無缺陷檢測區域影像的像素值進行平均，以獲得參考模型。因此，各個尺度分別有其對應的參考模型。在本實施例中，訓練系統將會產生對應於影像T1的參考模型R1以及對應於影像T0的參考模型R0。在此的影像T1與參考模型R1具有相同尺度，因此影像T1中的訓練子區塊將會在參考模型R1中找到對應的子區塊(以下稱為「參考子區塊」)。類似地，T0與參考模型R0具有相同尺度，因此影像T0中的訓練子區塊將會在參考模型R0中找到對應的參考子區塊。
接著，訓練系統將會計算各個尺度的每個子區塊及其所對應的參考模型中的參考子區塊之間的紋理相關性。具體來說，訓練系統將會計算訓練子區塊T11與參考子區塊R11之間的紋理相關性以及計算子區塊T01與參考子區塊R01之間的紋理相關性。在此的紋理相關性可以是子區塊與參考子區塊之間的局部二值模式(local binary pattern，LBP)的相關係數coeff(coefficient)。在此，每個子區塊將會有各自的特徵向量f={σ,k,coeff}，每張影像將會有各自的影像特徵向量F={f 1 ,f 2 ,...,f n }，其中n為子區塊的數量。以圖5為例，缺陷檢測區域影像T1將會有影像特徵向量
Figure 108137945-A0305-02-0011-1
，其中n 1為缺陷檢測區域影像T1中訓練子區 塊的數量。類似地，影像T0將會有影像特徵向量
Figure 108137945-A0305-02-0012-2
，其中n 0為影像T0中訓練子區塊的數量。之後，訓練系統可將兩個尺度的影像特徵向量連接(concatenate)為特徵向量
Figure 108137945-A0305-02-0012-3
來輸入至分類器M。
當訓練系統輸入完所有N1+N2筆訓練資料所對應的特徵向量至分類器後，將會開始對分類器M進行訓練。在此的分類器可以是支撐向量機(support vector machines，SVM)分類器，而訓練系統將會計算出SVM分類器的最佳分割超平面(optimal separating hyperplane)，以做為分辨待測物件T是否具有缺陷的依據。
圖6為根據本發明一實施例所繪示的缺陷檢測方法的功能方塊流程圖，而圖6的流程適用於缺陷檢測系統100。在進行圖6的流程前，處理裝置140將會預先儲存圖5所提到的參考模型以及分類器。
請同時參照圖1以及圖6，首先，類似於步驟S206以及步驟S208，處理裝置140將會取得測試資料602(即，對應於待測物件T的收音音頻訊號)，並且將測試資料轉換成時頻譜圖604。而在此的測試資料即為步驟S206的收音音頻訊號。
接著，處理裝置140將取得關聯於時頻譜圖的多個子區塊，以從中取得空間特徵610，以輸入至分類器612。在本實施例中，處理裝置140同樣將選取例如是3K~15KHz的預設頻率範圍做為檢測區域，以產生檢測區域影像。在一實施例中，處理裝置 140可以是直接將檢測區域影像進行分割，而直接產生多個大小相同的子區塊。在另一實施例中，處理裝置140可以是將檢測區域影像進行影像金字塔處理，以產生不同尺度的多張檢測區域影像。接著，處理裝置140再將不同尺度的檢測區域影像進行分割，以產生多個大小相同的子區塊。
之後，處理裝置140將會取得各個子區塊的特徵值，並且取得各個子區塊分別與參考模型608之間的紋理相關性606。在此的特徵值例如是子區塊的像素值的標準差以及直方圖偏態至少之一者，但需要符合預先儲存的分類器的輸入需求。在此的紋理相關性可以是子區塊與參考模型所對應的參考子區塊之間的局部二值模式的相關係數。接著，處理裝置140再將各個子區塊所對應的特徵值以及紋理相關性輸入至分類器612，以產生輸出結果，而此輸出結果將指出待測物件T是否具有缺陷。
在本實施例中，為了達到更為嚴謹的檢測，以避免實際上有缺陷的待測物件T被誤判為無缺陷，處理裝置140更可以在輸出結果指出待測物件T不具有缺陷時，更進一步地根據輸出結果的信賴度做更進一步的確認。詳細來說，以SVM分類器為例，處理裝置140可以是取得輸出結果的信心值(confidence level)，並且判斷信心值是否大於預設信心閥值614，其中預設信心閥值可以是0.75。若是，則處理裝置140將判定待測物件T不具有缺陷。反之，則處理裝置140將判定待測物件T具有缺陷。
在本實施例中，缺陷檢測系統100所檢測的缺陷為待測 物件T的組裝異音。由於不同種類的組裝異音會在播放特定音頻訊號時產生共振諧波，處理裝置140更可以進一步地利用異音在時頻譜圖的頻率與諧波頻率範圍來判斷待測物件T中造成組裝異音的部件。以另一觀點來說，處理裝置140將根據時頻譜圖的特定區域，來判別造成組裝異音的部件。
舉例來說，圖7根據本發明一實施例所繪示的時頻譜圖的示意圖，而以下僅示意出時頻譜圖中的部份區域。時頻譜圖710以及時頻譜圖720皆具有組裝異音。由於螺絲未鎖緊時的共振頻率點為460Hz的單點共振，因此處理裝置140可從時頻譜圖710中得出待測裝置T的螺絲未鎖緊。由於揚聲器單體中鐵屑造成的共振音會在460~350Hz均有共振，因此處理裝置140可從時頻譜圖720中得出待測裝置T中存在鐵屑。
綜上所述，本發明所提出的缺陷檢測方法及其系統，其可從時頻譜圖中以電腦視覺技術來檢測待測物件是否具有缺陷。如此一來，本發明除了可提供比人耳主觀判定更為精確的缺陷檢測，更可以降低相關的職業傷害。
S202~S210:步驟

Claims (20)

  1. 一種缺陷檢測視覺化方法，包括：輸出測試音頻訊號至待測物件；接收該待測物件對於該測試音頻訊號的響應訊號，以產生收音音頻訊號；針對該收音音頻訊號進行訊號處理，以產生時頻譜圖；以及以電腦視覺技術分析該時頻譜圖並判斷該待測物件是否具有缺陷。
  2. 如申請專利範圍第1項所述的方法，其中接收該待測物件對於該測試音頻訊號的該響應訊號，以產生該收音音頻訊號的步驟包括：利用麥克風接收該響應訊號；以及針對該響應訊號進行類比數位轉換，以產生該收音音頻訊號。
  3. 如申請專利範圍第2項所述的方法，其中針對該收音音頻訊號進行訊號處理，以產生該時頻譜圖的步驟包括：針對該收音音頻訊號進行快速傅立葉轉換，以產生該時頻譜圖。
  4. 如申請專利範圍第1項所述的方法，其中以該電腦視覺技術分析該時頻譜圖並判斷該待測物件是否具有該缺陷的步驟包括：取得關聯於該時頻譜圖的多個子區塊，其中各所述子區塊的尺寸相同； 利用所述子區塊以及分類器，產生輸出結果；以及根據該輸出結果，判斷該待測物件是否具有該缺陷。
  5. 如申請專利範圍第4項所述的方法，其中取得關聯於該時頻譜圖的所述子區塊的步驟包括：設定該時頻譜圖的檢測區域，以產生檢測區域影像，其中該檢測區域對應於預設頻率範圍；以及分割該檢測區域影像，以產生所述子區塊。
  6. 如申請專利範圍第4項所述的方法，其中取得關聯於該時頻譜圖的所述子區塊的步驟包括：針對該檢測區域影像進行不同尺度的影像金字塔處理，以分別產生多個不同尺度的檢測區域影像；以及分割各所述不同尺度的檢測區域影像，以產生所述子區塊。
  7. 如申請專利範圍第4項所述的方法，其中利用所述子區塊以及該分類器，產生該輸出結果的步驟包括：計算各所述子區塊的至少一特徵值；計算各所述子區塊與關聯於無缺陷的參考模型之間的紋理相關性；以及利用該分類器，根據各所述子區塊的所述特徵值以及該紋理相關性，產生該輸出結果。
  8. 如申請專利範圍第7項所述的方法，其中各所述子區塊的所述特徵值包括該子區塊的多個像素值的標準差以及直方圖偏態至少之一者。
  9. 如申請專利範圍第7項所述的方法，其中各所述子區塊與該參考模型之間的該紋理相關性為該子區塊與該參考模型之間的局部二值模式的相關係數。
  10. 如申請專利範圍第4項所述的方法，其中該分類器為支持向量機分類器，而根據該輸出結果，判定該待測物件是否具有該缺陷的步驟包括：當該輸出結果指出該待測物件具有該缺陷時，判定該待測物件具有該缺陷；以及當該輸出結果指出該待測物件不具有該缺陷時：取得該輸出結果的信心值；判斷該輸出結果的該信心值是否大於預設信心閥值；當該輸出結果的該信心值大於該預設信心閥值時，判定該待測物件不具有該缺陷；以及當該輸出結果的該信心值不大於該預設信心閥值時，判定該待測物件具有該缺陷。
  11. 如申請專利範圍第4項所述的方法，其中該分類器的建構方法包括：取得多個無缺陷訓練物件的多個無缺陷檢測區域影像以及多個缺陷訓練物件的多個缺陷檢測區域影像，其中所述無缺陷訓練物件以及所述缺陷訓練物件與該待測物件為相同物件； 針對各所述無缺陷檢測區域影像以及各所述缺陷檢測區域影像進行不同尺度的影像金字塔處理，以分別產生多個不同尺度的無缺陷檢測區域影像以及多個不同尺度的缺陷檢測區域影像；分割各所述不同尺度的無缺陷檢測區域影像以及各所述不同尺度的缺陷檢測區域影像，以產生多個訓練子區塊，其中各所述訓練子區塊的尺寸相同；以及利用所述訓練子區塊訓練該分類器。
  12. 如申請專利範圍第11項所述的方法，更包括：根據所述無缺陷檢測區域影像，產生關聯於無缺陷的參考模型，其中該參考模型具有對應於各所述訓練子區塊的參考子區塊。
  13. 如申請專利範圍第1項所述的方法，其中該待測物件為具有揚聲器的電子裝置。
  14. 如申請專利範圍第1項所述的方法，其中該缺陷為該待測物件的組裝異音。
  15. 如申請專利範圍第14項所述的方法，其中當判定該待測物件具有該缺陷時，該方法更包括：根據該時頻譜圖的特定區域，判別該待測物件中造成該組裝異音的部件。
  16. 一種缺陷檢測系統，包括：訊號輸出裝置，用以輸出測試音頻訊號至待測物件；麥克風，用以接收待測物件對於該測試音頻訊號的響應訊號；類比數位轉換器，用以轉換該響應訊號為收音音頻訊號；以 及處理裝置，用以針對該收音音頻訊號進行訊號處理，以產生時頻譜圖，以及以電腦視覺技術分析該時頻譜圖並判斷該待測物件是否具有缺陷。
  17. 如申請專利範圍第16項所述的系統，其中該處理裝置更預先儲存分類器，該處理裝置用以：取得關聯於該時頻譜圖的多個子區塊，其中各所述子區塊的尺寸相同；利用所述子區塊以及該分類器，產生輸出結果；以及根據該輸出結果，判斷該待測物件是否具有該缺陷。
  18. 如申請專利範圍第16項所述的系統，其中該待測物件為具有揚聲器的電子裝置。
  19. 如申請專利範圍第16項所述的系統，其中該缺陷為該待測物件的組裝異音。
  20. 如申請專利範圍第19項所述的系統，其中當該處理裝置判定該待測物件具有該缺陷時，更根據該時頻譜圖的特定區域，判別該待測物件中造成該組裝異音的部件。
TW108137945A 2019-10-21 2019-10-21 缺陷檢測視覺化方法及其系統 TWI761715B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
TW108137945A TWI761715B (zh) 2019-10-21 2019-10-21 缺陷檢測視覺化方法及其系統
CN201911091856.3A CN112700399B (zh) 2019-10-21 2019-11-07 缺陷检测视觉化方法及其系统
US16/706,817 US10863294B1 (en) 2019-10-21 2019-12-08 Method and system for vision-based defect detection
US17/088,591 US11326935B2 (en) 2019-10-21 2020-11-04 Method and system for vision-based defect detection
US17/328,775 US11636583B2 (en) 2019-10-21 2021-05-24 Method and system for vision-based defect detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108137945A TWI761715B (zh) 2019-10-21 2019-10-21 缺陷檢測視覺化方法及其系統

Publications (2)

Publication Number Publication Date
TW202118316A TW202118316A (zh) 2021-05-01
TWI761715B true TWI761715B (zh) 2022-04-21

Family

ID=73653677

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108137945A TWI761715B (zh) 2019-10-21 2019-10-21 缺陷檢測視覺化方法及其系統

Country Status (3)

Country Link
US (1) US10863294B1 (zh)
CN (1) CN112700399B (zh)
TW (1) TWI761715B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11326935B2 (en) * 2019-10-21 2022-05-10 Wistron Corporation Method and system for vision-based defect detection
TWI774472B (zh) * 2021-07-13 2022-08-11 緯創資通股份有限公司 異音檢測方法及裝置
CN117129480B (zh) * 2023-10-25 2024-02-13 深圳市吉方工控有限公司 基于机器视觉的计算机主板元器件智能检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090296946A1 (en) * 2008-05-27 2009-12-03 Fortemedia, Inc. Defect detection method for an audio device utilizing a microphone array
CN205812392U (zh) * 2016-05-16 2016-12-14 梯西爱尔爱麦克斯（上海）数字技术有限公司 音箱检测装置
US20180270594A1 (en) * 2016-03-31 2018-09-20 Sonos, Inc. Defect Detection via Audio Playback
CN109040940A (zh) * 2018-09-20 2018-12-18 歌尔股份有限公司 一种扬声器的检测方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6304865B1 (en) * 1998-10-27 2001-10-16 Dell U.S.A., L.P. Audio diagnostic system and method using frequency spectrum and neural network
JP2001108518A (ja) * 1999-08-03 2001-04-20 Mitsui Eng & Shipbuild Co Ltd 異常検知方法および装置
US7059191B2 (en) * 2001-09-21 2006-06-13 Texas Instruments Incorporated Determining defective devices which generate sound during operation
JP6235414B2 (ja) * 2014-06-06 2017-11-22 株式会社デンソーアイティーラボラトリ 特徴量演算装置、特徴量演算方法、及び特徴量演算プログラム
CN104130498A (zh) 2014-06-27 2014-11-05 苏州市盛百威包装设备有限公司 一种聚丙烯薄膜包装材料及其制备方法
JP6060989B2 (ja) * 2015-02-25 2017-01-18 カシオ計算機株式会社 音声録音装置、音声録音方法、及びプログラム
CN106323452B (zh) 2015-07-06 2019-03-29 中达电子零组件(吴江)有限公司 一种设备异音的检测方法及检测装置
TWI581213B (zh) * 2015-12-28 2017-05-01 力晶科技股份有限公司 物品缺陷檢測方法、影像處理系統與電腦可讀取記錄媒體
US20180213340A1 (en) * 2017-01-26 2018-07-26 W. L. Gore & Associates, Inc. High throughput acoustic vent structure test apparatus
KR102048240B1 (ko) * 2017-09-06 2019-11-25 주식회사 씨티아이랩 데이터 이미지화를 이용한 딥러닝 기반 시스템 이상행위 분석 기술
CN109461458B (zh) * 2018-10-26 2022-09-13 合肥工业大学 一种基于生成对抗网络的音频异常检测方法
CN109977920B (zh) * 2019-04-11 2022-06-07 福州大学 基于时频谱图及卷积神经网络的水轮机组故障诊断方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090296946A1 (en) * 2008-05-27 2009-12-03 Fortemedia, Inc. Defect detection method for an audio device utilizing a microphone array
US8379876B2 (en) * 2008-05-27 2013-02-19 Fortemedia, Inc Audio device utilizing a defect detection method on a microphone array
US20180270594A1 (en) * 2016-03-31 2018-09-20 Sonos, Inc. Defect Detection via Audio Playback
CN205812392U (zh) * 2016-05-16 2016-12-14 梯西爱尔爱麦克斯（上海）数字技术有限公司 音箱检测装置
CN109040940A (zh) * 2018-09-20 2018-12-18 歌尔股份有限公司 一种扬声器的检测方法及装置

Also Published As

Publication number Publication date
US10863294B1 (en) 2020-12-08
CN112700399A (zh) 2021-04-23
TW202118316A (zh) 2021-05-01
CN112700399B (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
TWI761715B (zh) 缺陷檢測視覺化方法及其系統
US11636583B2 (en) Method and system for vision-based defect detection
TWI684366B (zh) 來自複合信號之暫態失真之隔絕、擷取及評估
WO2018014673A1 (zh) 一种啸叫检测方法和装置
US10648953B1 (en) Ultrasonic weld quality testing using audio
KR102316671B1 (ko) Cnn을 이용한 음향 처리방법
CN107123427B (zh) 一种确定噪声声品质的方法及装置
TWI774472B (zh) 異音檢測方法及裝置
JP6891662B2 (ja) 音声評価プログラム、音声評価方法および音声評価装置
CN113259832B (zh) 麦克风阵列的检测方法、装置、电子设备及存储介质
TWI744177B (zh) 缺陷檢測視覺化方法及其系統
CN116684806A (zh) 扬声器异音测试方法
KR20210125366A (ko) 신경망 분류기를 이용하여 녹음 장치 고장을 탐지하는 방법, 이를 구현한 서버 및 스마트 디바이스
JP7334457B2 (ja) 異常検知システム、異常検知装置、異常検知方法およびプログラム
TWI778437B (zh) 用於音頻裝置的瑕疵檢測裝置及瑕疵檢測方法
CN114974301A (zh) 一种异音检测方法、计算机可读存储介质及电子设备
JP3896804B2 (ja) 信号判断装置
TWI595791B (zh) 音訊檢測方法
CN108781317B (zh) 利用线性传感器阵列检测非相关信号分量的方法和装置
JP7026026B2 (ja) びりつき音源探査システムおよびくし型フィルタの設定方法
Wenhua et al. A method of loudspeaker’s pure tone fault detection based on time-frequency image fractal
CN117579982A (zh) 基于机器视觉的音响检测方法、装置、设备及介质
CN117395587A (zh) 基于机器视觉的音响检测方法、装置、设备及介质
JP2023025350A (ja) 音質判定装置、音質判定方法、及び、音質判定プログラム
JP5941009B2 (ja) ノイズ分析装置及び方法