TWI804405B

TWI804405B - 振動偵測方法及振動偵測裝置

Info

Publication number: TWI804405B
Application number: TW111129428A
Authority: TW
Inventors: 袁廖杰; 王春盛; 楊總勝; 廖本毅; 賴宗楷; 王士碩
Original assignee: 友達光電股份有限公司
Priority date: 2022-08-04
Filing date: 2022-08-04
Publication date: 2023-06-01
Also published as: TW202406707A

Abstract

一種振動偵測方法，適於搬運平面基板的機械手臂。其中，振動偵測方法包含藉由攝影單元側向拍攝平面基板，以取得動態影像；依據動態影像，執行光流演算法，以取得第一振動軌跡；依據第一振動軌跡，執行資料處理程序，以取得第二振動軌跡；依據第二振動軌跡取得多個特徵值；輸入多個特徵值至機器學習模型以取得機器學習模型輸出之分類資訊；及依據分類資訊取得健康度資訊。本案更提供一種適用於振動偵測方法的振動偵測裝置。

Description

振動偵測方法及振動偵測裝置

本案是關於振動偵測，特別是一種結合影像光流演算法，能自主追蹤及分析振動軌跡的振動偵測方法及振動偵測裝置。

當兩個不同的物體相互碰撞或接觸時，其中一方的負電會移動到另一方。此現象稱為靜電。靜電不僅會因為摩擦或剝離等特有的方式而產生，光只是接觸也會產生靜電。一般來說，當機械手臂出現異常抖動時，機械手臂與其承載之玻璃之接觸區域會產生靜電微炸傷導致其承載之玻璃異常抖動。此種因機械手臂異常抖動而產生的靜電相當微小、不易發現且會造成大量異常之產品，進而影響產品之良率。

傳統上，因機械手臂通常於真空環境運作，並無法於真空環境安裝偵測器偵測玻璃之抖動情形或於真空環境安裝裝置量測靜電大小，通常是以人力透過手電筒觀察玻璃振動軌跡進行人工判定。但此法耗費時間及缺乏客觀標準且無法分析機械手臂之磨耗狀況。

在一實施例中，一種振動偵測方法，適於搬運平面基板的機械手臂。於此，振動偵測方法包含：藉由攝影單元側向拍攝平面基板，以取得動態影像；依據動態影像，執行光流演算法，以取得第一振動軌跡；依據第一振動軌跡，執行資料處理程序，以取得第二振動軌跡；依據第二振動軌跡取得多個特徵值；輸入多個特徵值至機器學習模型以取得機器學習模型輸出之分類資訊；及依據分類資訊取得健康度資訊。

在一實施例中，一種振動偵測裝置，適於搬運平面基板的機械手臂。於此，振動偵測裝置包含影像擷取裝置、軌跡模組、資料處理模組、特徵值模組及特徵分析模組。影像擷取裝置用以藉由攝影單元側向拍攝平面基板以取得動態影像，軌跡模組用以依據動態影像執行光流演算法以取得第一振動軌跡，資料處理模組用以依據第一振動軌跡執行資料處理程序以取得第二振動軌跡，特徵值模組用以依據第二振動軌跡取得多個特徵值，特徵分析模組用以輸入多個特徵值至機器學習模型以取得機器學習模型輸出之分類資訊並依據分類資訊取得健康度資訊。

在一實施例中，一種振動偵測方法，適於搬運平面基板的機械手臂。於此，振動偵測方法包含：藉由攝影單元側向拍攝平面基板，以取得動態影像；藉由背景去除演算法依據動態影像取得第一振動軌跡；依據第一振動軌跡，執行資料處理程序，以取得第二振動軌跡；依據第二振動軌跡取得多個特徵值；輸入多個特徵值至機器學習模型以取得機器學習模型輸出之分類資訊；及依據分類資訊取得健康度資訊。

以下在實施方式中詳細敘述本案之詳細特徵以及優點，其內容足以使任何熟習相關技藝者瞭解本案之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本案相關之目的及優點。

圖1為振動偵測裝置1之一實施例的方塊示意圖。請參閱圖1。振動偵測裝置1包含影像擷取裝置10、軌跡模組20、資料處理模組30、特徵值模組40及特徵分析模組50。

圖2為影像擷取裝置10側向拍攝平面基板FS以取得動態影像DI之一實施例的示意圖。請參閱圖1及圖2。影像擷取裝置10用以藉由攝影單元11側向拍攝置於機械手臂RA上方之平面基板FS，以取得平面基板FS上下振動之動態影像DI。換言之，由動態影像DI可得知平面基板FS之側面上下振動之位置。在一些實施例中，攝影單元11可為但不限於一攝影機、一攝影頭或一視訊鏡頭。

在一些實施例中，影像擷取裝置10更包含補光單元12。補光單元12用以於攝影單元11拍攝平面基板FS之動態影像DI時，朝平面基板FS發光以提高動態影像DI之亮度並使動態影像DI之亮度保持恆定。在一些實施例中，補光單元12包含發光二極體(LED)及聚光透鏡。在一些實施例中，補光單元12包含之聚光透鏡可為但不限於一6 ^o透鏡。

軌跡模組20用以依據動態影像DI執行光流演算法A1以取得第一振動軌跡VT1。圖3為光流演算法A1依據動態影像DI取得第一振動軌跡VT1之一實施例之示意圖。請參閱圖1及圖3。當動態影像DI輸入至軌跡模組20之後，軌跡模組20執行光流演算法A1。詳言之，軌跡模組20自動態影像DI中取得角點CP，並追蹤角點CP於動態影像DI之軌跡，以取得第一振動軌跡VT1。其中，追蹤角點CP於動態影像DI之軌跡，係為追蹤角點CP於動態影像DI之位置，因此，第一振動軌跡VT1為一角點CP之位置對時間之曲線。光流演算法A1依據動態影像DI之幀數，於每一幀追蹤角點CP於動態影像DI之位置。舉例而言，若動態影像DI之幀數為90幀，光流演算法A1即於1秒內追蹤角點CP於動態影像DI之位置90次，相鄰兩次之間隔時間為11.1毫秒(ms)。換言之，光流演算法A1每隔11.1ms對角點CP於動態影像DI之位置進行追蹤。在一些實施例中，動態影像DI之幀數可為但不限於90幀。

在一些實施例中，光流演算法A1可為但不限於一稀疏光流跟蹤演算法(KLT演算法)。

在一些實施例中，光流演算法A1對動態影像DI進行畫面切割以取得分析區域，並以分析區域亮度最亮之一點作為角點CP，但本案不以此為限。

在一些實施例中，輸入至軌跡模組20之動態影像DI為慢動作播放之影像，以使光流演算法A1對角點CP有較好之光流追蹤效果。

資料處理模組30用以依據第一振動軌跡VT1執行資料處理程序以取得第二振動軌跡VT2。資料處理程序包含去除第一振動軌跡VT1之雜訊、去除第一振動軌跡VT1之離群值L、補上第一振動軌跡VT1之缺值及對第一振動軌跡VT1進行水平校正以取得第二振動軌跡VT2。

圖4為第一振動軌跡VT1之一實施例之曲線圖。請參閱圖4。區域NA內所包含之大量不規則的點為第一振動軌跡VT1之雜訊，非區域NA內之不符合第一振動軌跡VT1之曲線趨勢的點則為第一振動軌跡VT1之離群值L。資料處理程序會去除區域NA內所包含之第一振動軌跡VT1之雜訊及非區域NA內之第一振動軌跡VT1之離群值L。進一步地，資料處理程序會補上因離群值L經移除後所產生之第一振動軌跡VT1之缺值並對第一振動軌跡VT1進行水平校正以取得第二振動軌跡VT2。

圖5為第一振動軌跡及第二振動軌跡之一實施例之曲線圖。請參閱圖5。在一些實施例中，資料處理程序透過將第一振動軌跡VT1之初始點從原位置設置為0之位置變化量對第一振動軌跡VT1進行水平校正以取得第二振動軌跡VT2。舉例而言，第一振動軌跡VT1之初始點之位置為108，當資料處理程序將第一振動軌跡VT1之初始點之位置設置為0，第一振動軌跡VT1之初始點從原位置設置為0之位置變化量即為-108。此時，若第一振動軌跡VT1之第二點之原位置為105，校正後之位置即為105減去108為-3；若第一振動軌跡VT1之第三點之原位置為110，校正後之位置即為110減去108為2，以此類推。資料處理程序依據此位置變化量對第一振動軌跡VT1之所有其餘點位置進行校正(即所有其餘點皆減去108)以取得第二振動軌跡VT2。

特徵值模組40用以依據第二振動軌跡VT2取得多個特徵值。特徵值包含波型特徵值及能量特徵值。波型特徵值為直接觀察第二振動軌跡VT2之曲線之波型可得知之特徵。在一些實施例中，波型特徵值可為但不限於波長、震幅、頻率、趨勢、自相關係數或波峰到波峰的時間。能量特徵值為依據第二振動軌跡VT2季節性差分後之動能資料。舉例而言，由動能公式

及位移公式

可知，速度(V)與動能(M)成正比，位移(

)也與速度(V)成正比，因此位移量也代表動能之能量程度。圖6為第二振動軌跡VT2及依據第二振動軌跡VT2所得之位移曲線D1之曲線圖及依據第二振動軌跡VT2所得之位移量之長條圖。請參閱圖6。特徵值模組40將第二振動軌跡VT2作季節性差分，也就是將第二振動軌跡VT2相鄰兩幀之位置相減，以取得位移曲線D1。特徵值模組40將位移曲線D1每一幀之值取絕對值，以取得位移量對時間之長條圖。此位移量代表平面基板FS之動能之能量程度。在一些實施例中，能量特徵值可為但不限於最大位移量、位移量變異性、平均位移量、前10幀總位移量或後10幀總位移量。

特徵分析模組50用以輸入多個特徵值至機器學習模型51以取得機器學習模型51輸出之分類資訊C1並依據分類資訊C1取得健康度資訊H1。在一些實施例中，特徵分析模組50包含機器學習模型51及分析單元52。機器學習模型51用以依據多個特徵值輸出分類資訊C1。分析單元52用以依據分類資訊C1取得健康度資訊H1。

在一些實施例中，輸入至機器學習模型51之特徵值數量為2個(下稱特徵值FV1及特徵值FV2)。圖7為機器學習模型51依據特徵值FV1及特徵值FV2分類之一實施例之示意圖。請參閱圖1及圖7。在一些實施例中，特徵值FV1為頻率且特徵值FV2為振幅。機器學習模型51以判別特徵值FV1及特徵值FV2之落點對特徵值FV1及特徵值FV2進行分類，機器學習模型51將特徵值FV1及特徵值FV2之落點範圍分為健康區OK、亞健康區CR及淘汰區NG。當機器學習模型51獲得特徵值FV1及特徵值FV2之分類結果後，將記載特徵值FV1及特徵值FV2之分類結果之分類資訊C1輸出給分析單元52。在一些實施例中，機器學習模型51可為但不限於一LightGBM(Light Gradient Boosting Machine)模型、一支持向量機 (Support Vector Machine)模型或一XGboost(eXtreme Gradient Boosting) 模型。

分析單元52接收到分類資訊C1後，依據分類資訊C1輸出健康度資訊H1。若特徵值FV1及特徵值FV2之落點位於健康區OK，健康度資訊H1為健康值，若特徵值FV1及特徵值FV2之落點位於亞健康區CR，健康度資訊H1為亞健康值，若特徵值FV1及特徵值FV2之落點位於淘汰區NG，健康度資訊H1為淘汰值。在一些實施例中，健康值為1、亞健康值為0.5且淘汰值為0，但本案不以此為限。

在一些實施例中，分析單元52可對多個健康度資訊H1進行平均以取得綜合健康度H。舉例而言，若健康度資訊H1有300個，其中200個健康度資訊H1為1、50個健康度資訊H1為0.5、50個健康度資訊H1為0。此時綜合健康度H為：(1*200+0.5*50+0*50)/300 = 0.75。在一些實施例中，使用者可透過綜合健康度H判別每一天機械手臂RA之磨耗狀況。舉例而言，若機械手臂RA一天運作300次，分析單元52便可對對應此300次運作之300個健康度資訊H1進行平均以取得綜合健康度H，以此判別機械手臂RA之磨耗狀況。圖8為機械手臂RA1至機械手臂RA4於複數天之綜合健康度H之一實施例之示意圖。請參閱圖8。由於機械手臂RA1、機械手臂RA2及機械手臂RA3於16天內，每天之綜合健康度H皆大於0.8，可得知機械手臂RA1、機械手臂RA2及機械手臂RA3之磨耗狀況輕微，尚不需更換。由於機械手臂RA4於16天內，每天之綜合健康度H皆小於0.6，可得知機械手臂RA4之磨耗狀況嚴重，需盡速更換。

圖9為振動偵測裝置1之另一實施例的方塊示意圖。在一些實施例中，軌跡模組20更包含背景去除模組21。背景去除模組21用以對動態影像DI執行背景去除程序，以取得經背景去除之動態影像DI。此時，進行光流演算法A1之動態影像DI為已去除背景之動態影像DI。

圖10為振動偵測裝置1之又一實施例的方塊示意圖。在一些實施例中，軌跡模組20藉由背景去除演算法A2依據動態影像DI取得第一振動軌跡VT1。當動態影像DI輸入至軌跡模組20，背景去除演算法A2對動態影像DI進行影像切割，去背化經影像切割後之動態影像DI以取得經背景去除之動態影像DI，依據經背景去除之動態影像DI取得平面基板FS之影像輪廓及對平面基板FS之影像輪廓做軌跡追蹤以取得第一振動軌跡VT1。在一些實施例中，背景去除演算法A2可為但不限於一K-近鄰演算法。

圖11為適用於振動偵測裝置1之振動偵測方法之一實施例的流程圖。在一些實施例中，影像擷取裝置10用以藉由攝影單元11側向拍攝置於機械手臂RA上方之平面基板FS，以取得平面基板FS上下振動之動態影像DI(步驟S01)。軌跡模組20用以依據動態影像DI執行光流演算法A1以取得第一振動軌跡VT1(步驟S02)。資料處理模組30用以依據第一振動軌跡VT1執行資料處理程序以取得第二振動軌跡VT2(步驟S03)。特徵值模組40用以依據第二振動軌跡VT2取得多個特徵值(步驟S04)。特徵分析模組50用以輸入多個特徵值至機器學習模型51以取得機器學習模型51輸出之分類資訊C1並依據分類資訊C1取得健康度資訊H1(步驟S05)。

圖12為軌跡模組20執行光流演算法A1之一實施例之流程圖。在一些實施例中，光流演算法A1對動態影像DI進行畫面切割以取得分析區域(步驟S02a)，光流演算法A1以分析區域亮度最亮之一點作為角點CP(步驟S02b)並追蹤角點CP於動態影像DI之軌跡，以取得第一振動軌跡VT1(步驟S02c)。

圖13為資料處理模組30用以依據第一振動軌跡VT1執行資料處理程序以取得第二振動軌跡VT2之一實施例之流程圖。在一些實施例中，資料處理模組30執行資料處理程序去除第一振動軌跡VT1之雜訊(步驟S03a)及去除第一振動軌跡VT1之離群值L(步驟S03b)，資料處理程序補上因離群值L經移除後所產生之第一振動軌跡VT1之缺值(步驟S03c)並對第一振動軌跡VT1進行水平校正以取得第二振動軌跡VT2(步驟S03d)。

圖14為適用於振動偵測裝置1之振動偵測方法之另一實施例的流程圖。在一些實施例中，影像擷取裝置10透過補光單元12，於攝影單元11拍攝平面基板FS之動態影像DI時，朝平面基板FS發光(步驟S07)以提高動態影像DI之亮度並使動態影像DI之亮度保持恆定。

在一些實施例中，軌跡模組20更包含背景去除模組21。背景去除模組21用以對動態影像DI執行背景去除程序，以取得經背景去除之動態影像DI(步驟S06)。

圖15為適用於振動偵測裝置1之振動偵測方法之又一實施例的流程圖。在一些實施例中，軌跡模組20藉由背景去除演算法A2依據動態影像DI取得第一振動軌跡VT1(步驟S08)。

圖16為軌跡模組20藉由背景去除演算法A2依據動態影像DI取得第一振動軌跡VT1之一實施例之流程圖。在一些實施例中，當動態影像DI輸入至軌跡模組20，背景去除演算法A2對動態影像DI進行影像切割(步驟S08a)，去背化經影像切割後之動態影像DI以取得經背景去除之動態影像DI(步驟S08b)，依據經背景去除之動態影像DI取得平面基板FS之影像輪廓(步驟S08c)及對平面基板FS之影像輪廓做軌跡追蹤以取得第一振動軌跡VT1(步驟S08d)。

在一些實施例中，前述軌跡模組20、資料處理模組30、特徵值模組40及特徵分析模組50係可由一個或多個處理單元實現。其中，處理單元可以是微處理器、微控制器、數位信號處理器、中央處理器、可編程邏輯控制器、狀態器或任何基於操作指令操作信號的類比和/或數位裝置，在此並不限制處理單元的種類。

綜上所述，在一些實施例中，振動偵測裝置1結合光流演算法A1，透過光流演算法A1追蹤平面基板FS之第一振動軌跡VT1及依據機器學習模型51分析多個特徵值自動判定機械手臂RA之磨耗狀況。無需透過人力觀察平面基板FS之振動軌跡，對機械手臂RA之磨耗狀況可進行客觀、高效且大幅節省時間成本的判定。

雖然本案的技術內容已經以較佳實施例揭露如上，然其並非用以限定本案，任何熟習此技藝者，在不脫離本案之精神所作些許之更動與潤飾，皆應涵蓋於本案的範疇內，因此本案之保護範圍當視後附之申請專利範圍所界定者為準。

1:振動偵測裝置 10:影像擷取裝置 11:攝影單元 12:補光單元 20:軌跡模組 A1:光流演算法 30:資料處理模組 40:特徵值模組 50:特徵分析模組 51:機器學習模型 52:分析單元 DI:動態影像 VT1:第一振動軌跡 VT2:第二振動軌跡 FV1:特徵值 FV2:特徵值 C1:分類資訊 H1:健康度資訊 FS:平面基板 RA:機械手臂 DI:動態影像 CP:角點 NA:區域 L:離群值 D1:位移曲線 H:綜合健康度 21:背景去除模組 A2:背景去除演算法 OK:健康區 CR:亞健康區 NG:淘汰區 S01-S08:步驟 S02a-S02c:步驟 S03a-S03d:步驟 S08a-S08d:步驟

圖1為振動偵測裝置之一實施例的方塊示意圖。圖2為影像擷取裝置側向拍攝平面基板以取得動態影像之一實施例的示意圖。圖3為光流演算法依據動態影像取得第一振動軌跡之一實施例示意圖。圖4為第一振動軌跡之一實施例之曲線圖。圖5為第一振動軌跡及第二振動軌跡之一實施例之曲線圖。圖6為第二振動軌跡及依據第二振動軌跡所得之位移曲線之一實施例之曲線圖及依據第二振動軌跡所得之位移量之一實施例之長條圖。圖7為機器學習模型依據特徵值分類之一實施例之示意圖。圖8為機器手臂於複數天之綜合健康度之一實施例之示意圖。圖9為振動偵測裝置之另一實施例的方塊示意圖。圖10為振動偵測裝置之又一實施例的方塊示意圖。圖11為適用於振動偵測裝置之振動偵測方法之一實施例的流程圖。圖12為軌跡模組執行光流演算法之一實施例之流程圖。圖13為資料處理模組依據第一振動軌跡執行資料處理程序以取得第二振動軌跡之一實施例之流程圖。圖14為適用於振動偵測裝置之振動偵測方法之另一實施例的流程圖。圖15為適用於振動偵測裝置之振動偵測方法之又一實施例的流程圖。圖16為軌跡模組藉由背景去除演算法依據動態影像取得第一振動軌跡之一實施例之流程圖。

1:振動偵測裝置

10:影像擷取裝置

11:攝影單元

12:補光單元

20:軌跡模組

A1:光流演算法

30:資料處理模組

40:特徵值模組

50:特徵分析模組

51:機器學習模型

52:分析單元

DI:動態影像

VT1:第一振動軌跡

VT2:第二振動軌跡

FV1:特徵值

FV2:特徵值

C1:分類資訊

H1:健康度資訊

Claims

一種振動偵測方法，適於搬運一平面基板的一機械手臂，該振動偵測方法包含：藉由一攝影單元側向拍攝該平面基板，以取得一動態影像；依據該動態影像，執行一光流演算法，以取得一第一振動軌跡；去除該第一振動軌跡之雜訊及該第一振動軌跡之離群值，並補上該第一振動軌跡之缺值及對該第一振動軌跡進行水平校正以取得一第二振動軌跡；依據該第二振動軌跡取得多個特徵值；及輸入該些特徵值至一機器學習模型以取得該機器學習模型輸出之一分類資訊並依據該分類資訊取得一健康度資訊。
如請求項1所述之振動偵測方法，更包含：在執行該光流演算法之前，對該動態影像執行一背景去除程序，以取得經背景去除之該動態影像。
如請求項1所述之振動偵測方法，其中執行該光流演算法的步驟包含：自該動態影像中取得一分析區域；從該分析區域中取得一角點；及追蹤該角點於該動態影像之軌跡，以取得該第一振動軌跡。
如請求項1所述之振動偵測方法，其中該些特徵值為該第二振動軌跡之振幅及頻率。
如請求項1所述之振動偵測方法，更包含：於該攝影單元拍攝該平面基板之該動態影像時，藉由一補光單元朝該平面基板發光。
如請求項5所述之振動偵測方法，其中該補光單元包含一發光二極體(LED)及一聚光透鏡。
一種振動偵測裝置，適於搬運一平面基板的一機械手臂，該振動偵測裝置包含：一影像擷取裝置，用以藉由一攝影單元側向拍攝該平面基板，以取得一動態影像；一軌跡模組，用以依據該動態影像，執行一光流演算法，以取得一第一振動軌跡；一資料處理模組，用以去除該第一振動軌跡之雜訊及該第一振動軌跡之離群值，並補上該第一振動軌跡之缺值及對該第一振動軌跡進行水平校正以取得一第二振動軌跡；一特徵值模組，用以依據該第二振動軌跡取得多個特徵值；及一特徵分析模組，用以輸入該些特徵值至一機器學習模型以取得該機器學習模型輸出之一分類資訊並依據該分類資訊取得一健康度資訊。
一種振動偵測方法，適於搬運一平面基板的一機械手臂，該振動偵測方法包含：藉由一攝影單元側向拍攝該平面基板，以取得一動態影像；藉由一背景去除演算法依據該動態影像取得一第一振動軌跡；去除該第一振動軌跡之雜訊及該第一振動軌跡之離群值，並補上該第一振動軌跡之缺值及對該第一振動軌跡進行水平校正以取得一第二振動軌跡；依據該第二振動軌跡取得多個特徵值；及輸入該些特徵值至一機器學習模型以取得該機器學習模型輸出之一分類資訊並依據該分類資訊取得一健康度資訊。
如請求項8所述之振動偵測方法，其中藉由該背景去除演算法依據該動態影像取得該第一振動軌跡的步驟包含：對該動態影像進行影像切割；去背化經影像切割後之該動態影像；依據經去背化之該動態影像取得一影像輪廓；及對該影像輪廓做軌跡追蹤以取得該第一振動軌跡。