TW201520669A - 斜軸式顯微自動對焦系統及方法 - Google Patents

Abstract

本發明之實施例揭露一斜軸式顯微自動對焦方法，包含：藉由攝影機擷取全幅斜軸輸入影像資訊；藉由影像分析的技術，讀取影像資訊，完成後再將相關灰階化強度資訊提供統計分析模組提取影像統計特徵，並進行機率函數的曲線擬合；以及根據擬合後的特徵參數進行估測。本方法係採用影像結合高斯曲線擬合及卡曼濾波理論，由影像品質的權重函數以分析聚焦面的位置，並直接決定物體面最佳之聚焦位置修正值，可大幅改進傳統對焦方式的準確度及速度。

Description

斜軸式顯微自動對焦系統及方法

本揭露係關於一種斜軸式顯微自動對焦系統及方法，尤指一種具有可提供單次即可修正到焦點位置方法，同時因結合估測方法而對環境外部影像雜訊干擾具有強健性，適用於一顯微光學系統。

自動對焦技術為自動光學檢測中相當重要的技術，主要是利用影像處理的方式針對待測物進行檢測。目前廣泛應用於半導體產業元件檢測，如半導體晶圓、LCD面板、太陽能電池及電路板檢測。在運用影像技術於特徵判斷、特徵匹配、目標定位等，都須先完成對焦的過程。

目前電子業在產品開發之過程中，時常因為許多製程技術未能有效控制良率，致使電子產品因良率不佳而有缺陷。為改 善製程中之不良參數及產品效能須具備高精密檢測技術，其中又以自動對焦技術為重要核心。

以TFT-LCD面板光電產業而言，無論是彩色濾光片部分或是下模組端之電極陣列部分，皆容易產生製程上之瑕疵，必須透過具有自動對焦功能之檢測技術，將瑕疵部分檢測出來並加以定位，再透過具有自動對焦功能之雷射微加工機將瑕疵消除，此不良品經過修整得以消除瑕疵並轉為良品。

TFT-LCD面板檢測快速自動對焦，是相關設備獲得高分辨率檢測圖像進行修補的關鍵。一般而言TFT-LCD面板檢測過程中所使用物鏡放大倍數是從5X到2X，景深(DOF)變化從0.5um到91um不等，因此對於要能夠達成自動對焦目的，有其相當困難度。

自動對焦方式可分被動式及主動式對焦兩類；其中，主動對焦大多採用雷射三角量測；以雷射光點、攝影機，與雷射本身構成一個三角形。藉由透過電荷耦合元件(CCD)畫面中雷射光點的位置，可決定出電荷耦合元件位於三角形中的角度。這三項條件可以決定出一個三角形，並可計算出待測物的距離。本方法可達成快速對焦，但其對焦效果受限於待測表面的性質， 尤其金屬面的反射會影響聚焦的效果。另一方面，被動對焦通常使用前、後連續圖像以判別焦平面位置，雖然所需設備較簡便，但須連續處理大量圖像資料，對焦時間較長。目前一般每次重複對焦的時間要求大多在0.5秒以內，如此在自動跟蹤對焦模式上，將影響檢測執行效率。

傳統的自動對焦系統有兩種方式，第一種是利用濾波理論中的傅利葉轉換找出影像中的高頻物件並且定義為聚焦評估函數(focus evaluation function)，並搜索聚焦範圍內的最大聚焦值。其理論依據是因為聚焦區域具有高頻特性，且聚焦區域範圍與水平聚焦區域有關。目前主要有幾種聚焦評估函數的定義方式如：基於最大梯度的目標函數(Tenengrad criterion)、Sum-Modified-Laplacian(SML)、Sum-Modulus-Difference(SMD)、Frequency Selective Weighted Median filter(FSWM)等；另外，如准條件推理(Quasi condition reasoning)搜尋法也被應用於此。佌習知方法均指出自動對焦的最主要的兩個要素：高頻特性及搜尋法則。

第二種傳統的自動對焦系統的方式則是利用光斑(speckle)特性檢測，在主光路中加入一組雷射光源，並遮蔽半邊光斑，通過設計的特殊光學迴路將雷射光束反射到電荷耦合元件 感測器，並利用光斑的形狀及位置來判別離焦位置。

本發明主要在縮短顯微自動對焦系統之聚焦時間，透過斜軸式架構，將擷取影像的電荷耦合元件與垂直面形成一適當傾斜角度，以由不同的聚焦位置直接決定物體面最佳之聚焦位置。

本發明之實施例揭露一斜軸式顯微自動對焦系統，包含：一光學顯微系統、一電荷耦合元件(電荷耦合元件)、一影像擷取卡、一自動控制器、以及一馬達驅動器；其中該光學顯微系統可由一光源、一第一透鏡、一分光鏡、一第二透鏡、一顯微物鏡組成，由上而下依序設置，用以觀察一物件，顯微物鏡可放大該物件的影像；來自該光源的光透過第一透鏡、分光鏡、第二透鏡、及顯微物鏡經該物件反射後再經過顯微物鏡、第二透鏡與分光鏡將影像轉90°傳至設置於分光鏡側邊的電荷耦合元件；電荷耦合元件的設置方式係將其平面與垂直線形成一傾斜夾角θ；該自動控制器藉由該影像擷取卡透過斜軸式電荷耦合元件擷取該物件的顯微影像，並控制該馬達驅動器以驅動顯微物鏡，提供垂直軸的對焦調整，達到自動對焦的目的。

本發明之另一實施例揭露一斜軸式顯微自動對焦方法，包含：藉由攝影機擷取全幅斜軸輸入影像資訊；藉由影像分析 的技術，讀取影像資訊，完成後再將相關灰階化強度資訊提供統計分析模組提取影像統計特徵，並進行機率函數的曲線擬合；以及根據擬合後的特徵參數進行估測。

101‧‧‧光源

102‧‧‧第一透鏡

103‧‧‧分光鏡

104‧‧‧第二透鏡

105‧‧‧顯微物鏡

106‧‧‧電荷耦合元件(CCD)

107‧‧‧影像擷取卡

108‧‧‧自動控制器

109‧‧‧馬達驅動器

110‧‧‧物件

210‧‧‧影像前處理模組

211‧‧‧影像輸入單元

212‧‧‧影像處理單元

220‧‧‧統計分析模組

221‧‧‧統計計算單元

222‧‧‧影像評估函數計算單元

223‧‧‧機率函數曲線擬合單元

230‧‧‧焦點位置估測模組

231‧‧‧卡曼濾波估算單元

232‧‧‧聚焦最佳位置計算單元

第一圖所示為本發明之斜軸式顯微自動對焦系統的架構示意圖。

第二圖所示為第一圖中自動控制器的較佳實施力的結構示意圖。

第三圖所示為本發明之斜軸式顯微自動對焦方法之流程示意圖。

第四A、四B圖所示分別為本發明之斜軸式顯微自動對焦方法利用電荷耦合元件應用於LCD製程時所擷取的LCD面板影像之聚焦影像與失焦影像。

第五A、五B圖所示分別為水平影像梯度變化的影像之原始影像與經過Sobel濾波器後所獲得水平方向的梯度變化影像。

第六A、六B圖所示為分別原始影像與對應FV曲線。

第七圖所示為影像列資料及擬合統計資訊的結果。

為使本發明之目的、技術特徵及優點，能更為相關技術領域人員所了解，並得以實施本發明，在此配合所附之圖式，具 體闡明本發明之技術特徵與實施方式，並列舉較佳實施例進一步說明。以下文中所對照之圖式，係表達與本發明特徵有關之示意，並未亦不需要依據實際情形完整繪製；而關於本案實施方式之說明中涉及本領域技術人員所熟知之技術內容，亦不再加以贅述，合先敘明。以下茲配合圖示、實施範例之詳細說明及申請專利範圍，將上述及本揭露之其他目的與優點詳述於後。

第一圖所示為本發明之斜軸式顯微自動對焦系統的架構示意圖。如第一圖所示，本發明之斜軸式顯微自動對焦系統包含：一光學顯微系統、一電荷耦合元件(CCD)106、一影像擷取卡107、一自動控制器108、以及一馬達驅動器109；其中該光學顯微系統可由一光源101、一第一透鏡102、一分光鏡103、一第二透鏡104、一顯微物鏡105組成，由上而下依序設置，用以觀察一物件110，顯微物鏡105可放大該物件110的影像；來自該光源101的光透過第一透鏡102、分光鏡103、第二透鏡104、及顯微物鏡105經該物件110反射後再經過顯微物鏡105、第二透鏡104與分光鏡103將影像轉90度傳至設置於分光鏡側邊的電荷耦合元件106；電荷耦合元件106的設置方式係將其平面與垂直線形成一傾斜夾角θ；該自動控制器108藉由該影像擷取卡107透過斜軸式電荷耦合元件106擷取該物件的顯微影像，並控制該馬達驅動器109以驅動顯微物鏡105，提供垂直軸的對焦調整，達到自動對焦的目的。

值得注意的是，前述的電荷耦合元件106的設置方式係將其平面與垂直線所形成一傾斜夾角θ，其較佳範圍可介於10°-45°之間，例如，20°。電荷耦合元件攝影機使用斜軸式感測面與垂直面傾斜θ度，以提供來源影像不同的聚焦位置的資訊來源，藉此調整垂直軸的距離，決定物體面最佳之聚焦位置。

第二圖所示為第一圖中自動控制器的較佳實施力的結構示意圖。如第二圖所示，自動控制器108更包含：一影像前處理模組210、一統計分析模組220、及一焦點位置估測模組230。在本實施例中，影像前處理模組210更包含一影像輸入單元211與一影像處理單元212；前者係依照對焦物體特性及使用環境，設定影像擷取基本模式；後者則是負責擷取指定內框影像灰階值，並藉由濾波器獲得水平方向的影像強度的梯度變化。然後，在將全幅影像依照使用條件，訂定長條狀的取樣區塊，並由左至右水平移動擷取該區塊的影像強度值。

在本實施例中，統計分析模組220更包含一統計計算單元221、一影像評估函數計算單元222、及一機率函數曲線擬合單元223；其中，統計計算單元221將影像前處理模組210所擷取分段區塊的影像強度值進行統計計算，例如，計算其強度值平均值、變異數及最大值等統計特性。接著，影像評估函數計算單元222計算各分段區塊的影像評估函數，將強度值平均 值、變異數及最大值帶入指定的一影像評估函數，例如，FV=w ₁ I _m +w ₂ I _s +w ₃ I _max，其中，I_m為統計特性平均值、I_s為變異數、I_max為最大值、而參數w ₁,w ₂,w ₃須依使用的對像調整。理想狀況下FV曲線理論值應為某一種高斯機率分佈曲線，而該高斯曲線的極值位置就是影像的聚焦位置(In-focus position、IFP)。最後，先將FV曲線先正規化，機率函數曲線擬合單元223再將曲線擬合出來。

同樣地，在本實施例中，焦點位置估測模組230更包含一卡曼濾波估算單元231、與一聚焦最佳位置計算單元232；其中，卡曼濾波估算單元231可去除外界雜訊對於成像特性的干擾，然後再藉由前述高斯曲線擬合所獲得之高斯曲線的平均值及變異數極值位置，並透過聚焦最佳位置計算單元232使用實際量測值殘差來估測聚焦的最佳位置。

藉由以上概念可估測影像評估函數平均值u _m ，變異數u _s 等統計值。值得注意的是，由於實際影像擷取時可能具有相當的雜訊，而致使對焦位置產生漂移。因此本發明結合卡曼濾波概念，藉由高斯曲線擬合殘差數據res ₁,res ₂，推估及影像聚焦置。

第三圖所示為本發明之斜軸式顯微自動對焦方法之流程示意圖，配合第二圖之自動控制器說明如下。如第三圖所 示，步驟301為輸入全幅的斜軸影像；接著，在步驟302中，進行影像灰階化，以擷取其灰階強度；以及在步驟303中，進行影像分區段取影像強度值。步驟304則是檢測影像，例如，使用Sobel濾波器以獲得影像橫向梯度變化，並且在步驟305中統計梯度變化的平均值I_m、變異數I_s、與最大值I_max。步驟306係計算區塊的評估值，例如，根據步驟305所得之梯度變化的平均值I_m、變異數I_s、與最大值I_max分別賦予一適當權重K1、K2、K3，再進行加總。步驟307則是執行高斯曲線正規化並且進行擬合；接著，步驟308則是結合卡曼濾波器，應用最小權重法計算誤差函數。步驟309計算焦點的位置，並且判斷所得之交點位置是否在範圍內，如步驟310所示；若不在範圍內，則返回步驟301，重新執行一次。

以下，藉由一實施範例來說明本發明之斜軸式顯微自動對焦方法在執行過程中，所的之中間影像與相關計算。

第四圖所示為本發明之斜軸式顯微自動對焦方法利用電荷耦合元件應用於LCD製程時所擷取的LCD面板影像，其中，第四A圖為聚焦影像，而第四B圖為失焦影像。第四A圖所獲得之影像中以中間部分最為清楚。如果物體上、下移動，原本中央部分清楚區塊將分別向左、右移動，因此須調整聚焦行程以重新調整聚焦位置。如前所述，聚焦區域具有高頻特性，聚焦區域範圍與水平聚焦區域有關。因此，可 先透過，例如，Sobel濾波器，先獲得水平方向的梯度變化。第五圖所示為水平影像梯度變化的影像，其中第五A圖為原始影像，第五B圖為經過Sobel濾波器後所獲得水平方向的梯度變化影像。其中，該Sobel濾波器可具有如下的特性：

接著，根據水平方向的梯度變化影像，統計一影像區域內之前述梯度變化的平均值Im、變異數Is、與最大值Imax。例如，一影像區域可定義為80×480像素的區塊。然後，分別賦予平均值Im、變異數Is、與最大值Imax一適當權重，以計算其FV評估值，例如，FV=0.5I _m +0.4I _s +0.1I _max。值的說明的是，此權重參數將可用於面板聚焦檢測的權重調整參數。第六A圖所示為原始影像與第六B圖對應FV曲線。第六A圖所示為當物鏡移動-100um時的原始影像。

在理想狀況時，曲線應近似FV曲線理論值。因此，假設FV值為高斯分佈。根據此假設可知，高斯曲線的中心就是影像的聚焦位置。因此，先將FV曲線先進行正規化，再取曲線擬合。

假設曲線為高斯函數型式

目標為讓函數y(x)與觀測值(x)有最小值δ，

為能求出y(x)，可由最小平方法，計算殘差u、e。首先，對u、σ的方程式求取偏微分，以獲得矩陣Z0包含f _u 、f _σ 。

在此假設u的初值為影像水平梯度的質心及σ等於1-e ^-1搜尋區塊(例如，50像素)，然後可決定一矩陣D.

修正矩陣△A可由公式(4)、(5)決定，以獲得新的u及σ為及。

重複步驟(4)-(7)，直到△A足夠小，以獲得最接近的擬合值y(x)，即獲得影像聚焦的位置u。其結果顯示如第六B 圖所示。

如前所述，假設FV曲線為高斯分佈，及藉由高斯擬合估測距焦位置。透過以上概念可計算平均值(I_m)，分佈值(I_s)，並藉由高斯曲線擬合以獲得u _m 及u _s ，以估測兩個影像聚焦估測位置。

本發明必須透過之間的關係以獲得IFP Kalman filter值。本發明中的I，為高斯曲線的尖端值、量測值z R，並且：z=Hu+w (10)

其中，系統雜訊為：

並且，

再應用最小權重平方法獲得誤差函數ε：

對ε微分為0，

由此可獲得如下：

最終所得之結果如第七圖所示，第七圖所示為影像列資料及擬合統計資訊的結果。

綜而言之，本發明之實施例揭露之斜軸式自動對焦系統係一高效能、精度佳、成本低之自動對焦系統，結合影像分析、統計分析及估測方法及軟硬體的介面控制。本發明之斜軸式自動對焦系統具有下列的特點：(1)採用電荷耦合元件攝影機當感測輸入可避免傳統雷射光斑所造成對提取影像品質鬼影干擾；(2)設計簡單，可直接整合至已有檢測機台，成本較傳統光斑設計為低；(3)提供影像全幅的特徵資訊，特性分析完整；(4)創新結合估測方法，增加對焦位置正確機率，將影像雜訊干擾降至最小，具有強健性。更進一步地，本發明之斜軸式顯微自動對焦方法更可加裝多波段雷射光源，並且導入同軸光路來進行雷射修補、雷射焊接等工作，或者進行半導體設備中的快速精密對位。

本發明之一實施例之斜軸式顯微自動對焦系統；該系統包一光學顯微系統、一電荷耦合元件、一影像擷取卡、一自動控制器、以及一馬達驅動器；其中該光學顯微系統可由一光源、一第一透鏡、一分光鏡、一第二透鏡、一顯微物鏡組 成，由上而下依序設置，用以觀察一物件，顯微物鏡可放大該物件的影像；來自該光源的光透過第一透鏡、分光鏡、第二透鏡、及顯微物鏡經該物件反射後再經過顯微物鏡、第二透鏡與分光鏡將影像轉90°傳至設置於分光鏡側邊的電荷耦合元件；電荷耦合元件的設置方式係將其平面與垂直線形成一傾斜夾角θ；該自動控制器藉由該影像擷取卡透過斜軸式電荷耦合元件擷取該物件的顯微影像，並控制該馬達驅動器以驅動顯微物鏡，提供垂直軸的對焦調整，達到自動對焦的目的。

本發明之另一實施例之斜軸式顯微自動對焦方法，包含：藉由攝影機擷取全幅斜軸輸入影像資訊；藉由影像分析的技術，讀取影像資訊，完成後再將相關灰階化強度資訊提供統計分析模組提取影像統計特徵，並進行機率函數的曲線擬合；以及根據擬合後的特徵參數進行估測。

因此，本發明之斜軸式自動對焦系統及方法，確能藉所揭露之技藝，達到所預期之目的與功效，符合發明專利之新穎性，進步性與產業利用性之要件。

惟，以上所揭露之圖示及說明，僅為本發明之較佳實施例而已，非為用以限定本發明之實施，大凡熟悉該項技藝之人士其所依本發明之精神，所作之變化或修飾，皆應涵蓋在以 下本案之申請專利範圍內。

101‧‧‧光源

102‧‧‧第一透鏡

103‧‧‧分光鏡

104‧‧‧第二透鏡

105‧‧‧顯微物鏡

106‧‧‧電荷耦合元件(CCD)

107‧‧‧影像擷取卡

108‧‧‧自動控制器

109‧‧‧馬達驅動器

110‧‧‧物件

Claims (8)

1. 一種斜軸式顯微自動對焦系統，包含：一光學顯微系統、一電荷耦合元件(電荷耦合元件)、一影像擷取卡、一自動控制器、以及一馬達驅動器；其中該光學顯微系統更包括一光源、一第一透鏡、一分光鏡、一第二透鏡、一顯微物鏡由上而下依序設置，用以觀察一物件，該顯微物鏡可放大該物件的影像；來自該光源的光透過該第一透鏡、該分光鏡、該第二透鏡、及該顯微物鏡經該物件反射後再經過該顯微物鏡、該第二透鏡與該分光鏡將該影像轉90°傳至設置於該分光鏡側邊的該電荷耦合元件；該電荷耦合元件的設置方式係將其平面與垂直線形成一傾斜夾角；該自動控制器藉由該影像擷取卡透過斜軸式該電荷耦合元件擷取該物件的顯微影像，並控制該馬達驅動器以驅動顯微物鏡，提供垂直軸的對焦調整，達到自動對焦的目的。
2. 如申請專利範圍第1項所述之一種斜軸式顯微自動對焦系統，其中該電荷耦合元件的平面與垂直線形成的傾斜夾角的範圍在10°-45°之間。
3. 如申請專利範圍第2項所述之一種斜軸式顯微自動對焦系統，其中該電荷耦合元件的平面與垂直線形成的傾斜夾角的範圍為20°。
4. 如申請專利範圍第1項所述之一種斜軸式顯微自動對 焦系統，其中自動控制器更包括：一影像前處理模組、一統計分析模組、及一焦點位置估測模組；其中，該影像前處理模組係依照對焦物體特性及使用環境，設定影像擷取基本模式，負責擷取指定內框影像灰階值，並藉由濾波器獲得水平方向的影像強度的梯度變化，在將全幅影像依照使用條件，訂定長條狀的取樣區塊，並由左至右水平移動擷取該區塊的影像強度值；該統計分析模組係將該影像前處理模組所擷取分段區塊的影像強度值進行計算其強度值平均值、變異數及最大值等統計特性；計算各分段區塊的影像評估函數，將強度值平均值、變異數及最大值帶入指定的一影像評估函數，將FV曲線正規化，再將曲線擬合出來；以及該焦點位置估測模組係負責去除外界雜訊對於成像特性的干擾，藉由前述高斯曲線擬合所獲得之高斯曲線的平均值及變異數的極值位置，並使用實際量測值殘差來估測聚焦的最佳位置。
5. 如申請專利範圍第4項所述之一種斜軸式顯微自動對焦系統，其中該影像前處理模組更包括含一影像輸入單元與一影像處理單元；該影像輸入單元係依照對焦物體特性及使用環境，設定影像擷取基本模式；該影像處理單元則是負責擷取指定內框影像灰階值，並藉 由濾波器獲得水平方向的影像強度的梯度變化；在將全幅影像依照使用條件，訂定長條狀的取樣區塊，並由左至右水平移動擷取該區塊的影像強度值。
6. 如申請專利範圍第4項所述之一種斜軸式顯微自動對焦系統，其中統計分析模組更包括一統計計算單元、一影像評估函數計算單元、及一機率函數曲線擬合單元；其中，該統計計算單元係將該影像前處理模組所擷取分段區塊的影像強度值進行計算其強度值平均值、變異數及最大值等統計特性；該影像評估函數計算單元係計算各分段區塊的影像評估函數，將強度值平均值、變異數及最大值帶入指定的一影像評估函數；以及機率函數曲線擬合單元再將曲線擬合出來。
7. 如申請專利範圍第4項所述之一種斜軸式顯微自動對焦系統，其中該焦點位置估測模組更包括一卡曼濾波估算單元、與一聚焦最佳位置計算單元；其中，該卡曼濾波估算單元可去除外界雜訊對於成像特性的干擾，再藉由前述高斯曲線擬合所獲得之高斯曲線的平均值及變異數之極值位置；該聚焦最佳位置計算單元則使用實際量測值殘差來估測聚焦的最佳位置。
8. 一種斜軸式顯微自動對焦方法，包含下列步驟：輸入全幅的斜軸影像； 進行影像灰階化，以擷取其灰階強度；進行影像分區段取影像強度值；使用Sobel濾波器以獲得影像橫向梯度變化；統計梯度變化的平均值、變異數、與最大值；計算區塊的評估值；執行高斯曲線正規化並且進行擬合；結合卡曼濾波器，應用最小權重法計算誤差函數；計算焦點的位置；以及判斷所得之交點位置是否在範圍內；若不在範圍內，則重新執行前述所有步驟。