TWI718747B

TWI718747B - 增進影像清晰度的方法

Info

Publication number: TWI718747B
Application number: TW108140120A
Authority: TW
Inventors: 柯羿竹; 郭鴻飛
Original assignee: 國立臺灣科技大學
Priority date: 2019-11-05
Filing date: 2019-11-05
Publication date: 2021-02-11
Also published as: TW202119355A

Abstract

一種增進影像清晰度的方法，其擷取一電路板各區塊在不同對焦深度的多層對焦影像；設定多個不同切割數，依據同一切割數將同一區塊的多層對焦影像各自切割成相同數量且相等大小的多個子圖；再比較來自不同對焦影像而具有同一切割畫面的各子圖之清晰度；接著重組出該切割數下每一區塊的清晰區塊圖；並從不同切割數下產生的清晰區塊圖中選出每一區塊的最佳切割數及最佳區塊圖；再將所有最佳區塊圖拼接成一電路板全景圖。此方法以整齊的融合策略形成最佳區塊圖，對於每一區塊可獨立且分散的優化其影像清晰度再拼接成電路板全景圖，並納入調整曝光、調整影像色調等影像優化程序，以克服影像重疊、鬼影等問題。

Description

增進影像清晰度的方法

本發明與一種增進影像清晰度的方法有關，特別是與一種在電路板光學檢測時用以增進電路板影像清晰度的方法有關。

隨著電路板上的元件安裝採用表面黏著技術(Surface-mount technology,SMT)，並且電路元件往體積越來越小、密度越來越高的方向發展，為了提升電路板的檢測速度及良率，傳統目測檢視已無法符合檢測上的需要。因此，基於機器視覺的自動化光學檢測(AOI)成為新的替代技術。

在自動化光學檢測系統的檢測過程中，為了形成清晰的電路板全景圖，常會應用到影像融合(Image Fusion)與影像拼接(Image Stitching)等技術。

影像融合是指將不同影像感測器獲得的同一場景影像，或者同一影像感測器以不同工作模式或在不同成像時間下獲得的同一場景影像，融合成一幅綜合了先前多幅影像的優點、內容更為豐富的合成影像。傳統的影像融合方法只能融合少量對焦影像和依序排列的影像，其中兩種較常被比較的傳統影像融合方法是Piella function演算法和Huang function演算法。

圖1顯示以Piella function演算法將同一場景的圖1(a)和圖1(b)兩影像以圖1(c)所示的融合策略進行融合的過程。圖1的場景中有兩個不同距離的時鐘110及120。首先，對焦近距離的時鐘110而形成圖1(a)中時鐘110較清晰但遠距離時鐘120較模糊的影像。接著，對焦遠距離的時鐘120形成圖1(b)中時鐘110較模糊但遠距離時鐘120較清晰的影像。以二值化的方法區別出圖1(a)中對焦區域和未對焦區域。同理，再區別出圖1(b)中的對焦區域和未對焦區域。如此，可得到一決策遮罩數值，並將同一場景分成兩區域R1及R2，其融合策略圖如圖1(c)所示。根據此決策遮罩數值，將圖1(a)中的近距離時鐘110及圖1(b)中的遠距離時鐘120融合為一張合成影像。然而，此方法的效果非常依賴切割的結果，若切割出的區域包含不止一個物件，或是包含不規則形狀的對焦物體，常會導致影像重疊。

圖2顯示以Huang function演算法將同一場景的圖2(a)和圖2(b)兩影像以圖2(c)所示的融合策略進行融合的過程。圖2的場景中有兩個不同距離的書本210及220。首先，對焦遠距離的書本210而形成圖1(a)中書本210較清晰但近距離書本220較模糊的影像。接著，對焦近距離的書本220形成圖1(b)中書本210較模糊但近距離書本220較清晰的影像。分別將圖2(a)及圖2(b)影像中的每一個像素點找出個別的區域視窗，並計算區域視窗的中心像素點與其周圍相鄰像素點的亮度差值來做為清晰度評判的依據，最後再比較圖2(a)及圖2(b)影像中位於相同座標位置的像素點之清晰度值，以像素點為單位來進行融合。最後的融合策略圖非常破碎如圖2(c)。

影像拼接是將多張具有重疊視野的相鄰影像拼接成一張全景圖或是高解析度影像。傳統拼接方法在影像拼接過程中，電路板上的金屬元件容易受光照影響造成曝光過亮或過暗，導致影像拼接在接縫線有嚴重的變形，或者因為受不均勻光照，導致色調不一致而產生鬼影(Ghosting)，進而導致拼接錯誤影響光學檢測器的檢測精度。另外，如果拼接圖像中的物體有高度差異，當光學檢測器離待測電路板距離過近或受拍攝移動方向的影響，而存在視差(Parallax)等問題導致辨識度不佳。

鑑於傳統的影像融合方法只能融合少量對焦影像和依序排列的影像，且有影像重疊、或是融合策略破碎等問題，在傳統影像拼接時則會因反光或不均勻光照導致的影像變形或鬼影等問題，為了提升電路板檢測的多層對焦影像清晰度，本案發明人提出新的影像融合程序結合影像拼接技術，以克服傳統影像融合演算法的限制和應用上的不足。

本發明之一目的在於提供一種增進影像清晰度的方法，用以提升電路板自動化光學檢測時的影像清晰度，此方法以新的影像融合方法搭配影像拼接方法，具有整齊的融合策略，並納入調整曝光、調整影像色調等影像優化程序，以克服影像重疊、鬼影等問題。

為了達到上述目的，本發明提供一種增進影像清晰度的方法，包括：將一電路板劃分成具有不同場景的複數區塊；將一影像擷取單元設置於電路板上方，並移動電路板與影像擷取單元的相對位置，使影像擷取單元依序擷取每一區塊在不同對焦深度的複數對焦影像，其中同一區塊的複數對焦影像具有相同的場景；將複數對焦影像輸入一影像處理單元，並對同一區塊的每一對焦影像設定至少一第一切割數及一第二切割數；以影像處理單元將同一區塊的每一對焦影像皆根據第一切割數切割成相等大小的複數第一子圖，並根據第二切割數切割成相等大小的複數第二子圖，從而使每一第一子圖皆可在同一區塊的一不同對焦影像中找到一第一對應子圖與其顯示同一切割畫面，並使每一第二子圖皆可在不同對焦影像中找到一第二對應子圖與其顯示同一切割畫面；將同一區塊的複數第一子圖各自與其第一對應子圖進行清晰度比較，以選出第一切割數下的複數第一最清晰子圖，並且將同一區塊的複數第二子圖各自與其第二對應子圖進行清晰度比較，以選出第二切割數下的複數第二最清晰子圖；將同一區塊的複數第一最清晰子圖拼接成一第一清晰區塊圖，並將其複數第二最清晰子圖拼接成一第二清晰區塊圖；比較同一區塊的第一清晰區塊圖及第二清晰區塊圖的清晰度，以篩選出區塊的一最佳區塊圖，據此從第一切割數及第二切割數中選出一最佳切割數，並獲得複數區塊所對應的複數最佳區塊圖；以及使用一影像拼接程序將複數最佳區塊圖結合成一電路板全景圖。

在一實施例中，電路板具有一表面及複數電路元件設置於表面上，同一區塊的每一對焦影像中包括至少一元件圖像，上述設定切割數的步驟包括：根據對焦影像中的元件圖像的一面積大小而決定第一切割數及第二切割數的一設定範圍。例如：當元件圖像的面積大小在3.8mm×2.0mm至9.0mm×8.8mm的範圍內，第一切割數及第二切割數的設定範圍為25至49。

在一實施例中，上述的電路元件包括一最高元件，影像擷取單元具有一最小焦距，上述擷取每一區塊在不同對焦深度的複數對焦影像的步驟包括：將電路板之表面至最高元件頂端的距離定義為一對焦高度範圍；以及根據最小焦距及對焦高度範圍來決定複數對焦影像的層數。

在一實施例中，上述劃分電路板的步驟包括：將電路板依一第一矩陣排列劃分成複數區塊。

在一實施例中，上述切割每一對焦影像的步驟包括：將每一對焦影像依一第二矩陣排列切割為複數子圖。

在一實施例中，上述增進影像清晰度的方法更包括：將電路板全景圖調整影像色調以及長方形化。

在一實施例中，上述擷取複數對焦影像的步驟包括：對每一對焦影像進行曝光程度分類；執行影像擷取單元的一軟體以搜尋每一對焦影像的一灰階亮度值；以及利用軟體調整影像擷取單元的一進光量。

本發明可結合電腦、電動移動平台、CCD攝影機與液態鏡頭擷取電路板影像，並以軟體程式執行新的影像融合程序，針對電路板多個區塊的多層對焦影像，將每一層對焦影像做切割處理，進一步計算影像清晰度，並合成一最佳區塊圖，最後結合影像拼接技術，將各區塊的最佳區塊圖拼接成一電路板全景圖，可優化電路板每一區塊的影像清晰度，以提升待檢測的電路板全景圖清晰度，故可增加其辨識度，而達到提升檢測良率的功效。

110:(近距離的)時鐘

120:(遠距離的)時鐘

210:(遠距離的)書本

220:(近距離的)書本

400:硬體裝置

410:影像擷取單元(CCD攝影機)

412:影像處理單元

420:X-Y軸電動移動平台

430:Arduino單晶片

432:電路板表面

500:電路元件

510:最高元件

#1~#16:區塊

A1~A16、B1~B16、C1~C16、D1~D16:對焦影像

a1~an(a25)、b1~bn、c1~cn、d1~dn:子圖

FI:清晰度數值

FL:最小焦距

FOV:檢視範圍

H:對焦高度範圍

n1,n2,…n:切割數

PCB:電路板

P12:清晰區塊圖

P01~P16:最佳區塊圖

PI:電路板全景圖

R1、R2:(融合策略圖)區域

S30:影像融合程序

S31~S38:影像融合程序的各步驟

S40:影像拼接程序

S41~S44:影像拼接程序的各步驟

WD:工作距離

圖1是習知以Piella function進行影像融合的過程示意圖。

圖2是習知以Huang function進行影像融合的過程示意圖。

圖3A是本發明之一實施例的增進影像清晰度的方法流程示意圖。

圖3B是本發明之一實施例的影像融合結構圖。

圖3C顯示根據不同切割數所切割出的子圖大小。

圖4A是實現本發明之一實施例的增進影像清晰度的方法之硬體裝置示意圖。

圖4B是本發明之一實施例中電路板的區塊劃分及影像擷取的步驟示意圖。

圖4C是本發明之一實施例中電路板之一區塊的多層對焦步驟示意圖。

圖4D是本發明之一實施例中將一對焦影像切割成多個子圖的步驟示意圖。

圖4E顯示在不同切割數下由不同大小的子圖所合成的清晰區塊圖。

圖4F是本發明之一實施例中將各最佳區塊圖拼接成一電路板全景圖的步驟示意圖。

圖5是應用於本發明之一實施例的三種不同規格電路板的原始圖。

圖6A至圖6C顯示樹梅派的原始圖及優化圖比較結果。

圖7A至圖7C顯示Arduino的原始圖及優化圖比較結果。

圖8A至圖8C顯示主機板的原始圖及優化圖比較結果。

有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之一較佳實施例的詳細說明中，將可清楚的呈現。以下實施例中所提到的方向用語，例如：上、下、左、右、前或後等，僅是用於參照隨附圖式的方向。因此，該等方向用語僅是用於說明並非是用於限制本發明。

圖3A為本發明之增進影像清晰度的方法流程示意圖，其完整流程包括一新的影像融合程序(S30)結合一影像拼接程序(S40)。以下配合圖4A至圖4F來說明圖3A所示的方法流程。

新的影像融合程序(S30)的各步驟(S31~S38)說明如下：

步驟S31：首先是將一電路板PCB劃分成具有不同場景的多個區塊#1,#2,...#16(如圖4B)，這些待拼接的區塊可以兩兩鄰接而不重疊，也可以有重疊區域。再將一影像擷取單元410置於電路板PCB上方(如圖4A)，利用多層對焦的方式依序對每一區塊#1,#2,...#16都擷取其多個不同對焦深度的對焦影像[A1,B1,C1,D1],[A2,B2,C2,D2],...[A16,B16,C16,D16]，以區塊#12為例(如圖4C)，對同一區塊#12可取得的多個場景相同但對焦深度不同的對焦影像A12、B12、C12、D12。

步驟S32：將這些對焦影像[A1,B1,C1,D1],[A2,B2,C2,D2],...[A16,B16,C16,D16]輸入一影像處理單元412。

步驟S33：請同時參照圖3B的影像融合結構圖，在影像處理單元412中設定多個切割數n1,n2,...n，據以將同一區塊的每一對焦影像都切割成n1,n2,...及n個相等大小的子圖。根據其中一切割數n，可將同一區塊#12的每一對焦影像A12、B12、C12、D12都切割成n個相等大小的子圖a1~an、b1~bn、c1~cn、d1~dn。同理，若是根據另一切割數n1，則可將同一區塊#12的每一對焦影像A12、B12、C12、D12都切割成n1個相等大小的子圖。

如此，每一對焦影像A12、B12、C12、D12所切割出的子圖數目等於所設定的切割數n，每一子圖a1~an、b1~bn、c1~cn、d1~dn皆顯示一切割畫面。例如：對焦影像A12的子圖a2，可在其他3個對焦影像B12、C12、D12中，各自找到其對應子圖b2,c2,d2。如此，對於任一對焦影像的任一子圖，皆可在同一區塊的其他不同對焦影像中，各自找到與該子圖的切割畫面相同的一對應子圖。在下文中，將來自不同對焦影像的子圖中具有相同切割畫面者稱為「對應子圖」。對於其他區塊#1~#11,#13~#16也分別依上述相同步驟進行切割，而得到各自的n個相等大小的子圖。

需注意的是，同一對焦影像依據不同切割數n1,n2,...n所切割出的子圖大小是不同的，但依據同一切割數n所切割出的所有子圖大小是相同的。圖3C顯示幾個不同切割數下的子圖比較。

步驟S34：接著，計算所有子圖的清晰度。

步驟S35：在同一切割數n下，將同一區塊#12的任一對焦影像A12中的多個子圖a1~an各自與其在不同對焦影像B12、C12、D12中找到的所有對應子圖b1~bn,c1~cn,d1~dn進行清晰度比較。

步驟S36：根據步驟S35的清晰度比較結果，選出區塊#12中n個不同切割畫面的最清晰子圖b1,d2,...cn。例如圖3B：將子圖a1與其對應子圖b1,c1,d1進行清晰度比較，所得到的最清晰子圖為b1；將子圖a2與其對應子圖b2,c2,d2進行清晰度比較，所得到的最清晰子圖為d2；將子圖an與其對應子圖bn,cn,dn進行清晰度比較，所得到的最清晰子圖為cn。同理，在另一切割數n1下，將同一區塊#12進行子圖切割並比較子圖及其對應子圖的清晰度，會得到n1個最清晰子圖。需注意的是，本發明的某一子圖及其對應子圖並非是同一對焦影像中的相鄰子圖，而是位於不同對焦影像中的各個顯示相同切割畫面的子圖，這些子圖的清晰度可能不同。

步驟S37：接著，將同一區塊#12的n個最清晰子圖b1,d2,...cn拼接成一清晰區塊圖P12，如圖3B及圖4F。同理，若依據另一切割數n1，則同一區塊#12會產生n1個最清晰子圖(未圖示)可拼接成區塊#12的另一清晰區塊圖(未圖示)。

步驟S38：比較步驟S37所得到的清晰區塊圖P12及另一清晰區塊圖(未圖示)的清晰度，可篩選出區塊#12的一最佳區塊圖，並從所有切割數n1,n2,...n選出一最佳切割數n。依此類推，可使電路板PCB的多個區塊#1,#2,…#16分別產生其對應的16個最佳區塊圖P01~P16(如圖4F)。依據本發明的概念，不同區塊#1,#2,...#16的最佳區塊圖P01~P16分別對應的最佳切割數可能相同或不同。

接著進行影像拼接程序(S40)，使用一影像拼接技術將多個最佳區塊圖P01~P16再拼接成一電路板全景圖PI(步驟S41)；並將影像拼接的接縫線平滑化(步驟S42)；再調整影像色調，例如以方差均值法或直方圖法來調整色調(步驟S43)；最後將此電路板全景圖PI長方形化(步驟S44)，其係藉由圖像特徵點匹配、再幾何變換取得影像資訊來決定影像變形方向，進一步再藉由演算法計算，將影像拼接過後的電路板全景圖PI，在少量的失真與裁切之下，將扭曲變形的影像調整回長方形影像。

以下更詳細地說明圖4A至圖4F所示的具體實施例。

圖4A為一用於擷取電路板PCB影像的硬體裝置400示意圖。硬體裝置400包括一影像擷取單元410及一X-Y軸電動移動平台420。影像擷取單元410例如是一具有液態鏡頭的CCD攝影機(下文中CCD攝影機的元件符號亦為410)，設置於X-Y軸電動移動平台420上方。為了模擬自動化光學檢測擷取影像的方式，故將一待測電路板PCB固定於X-Y軸電動移動平台420表面，並將CCD攝影機410可裝設於一Z軸可移動的平台(未圖示)上，由上往下拍攝待測電路板PCB的影像，故可取得一俯視平面圖。CCD攝影機410與待測電路板PCB之間的工作距離WD為120mm。X-Y軸電動移動平台420則以平穩的速度和平移的方式沿X方向或Y方向移動。

圖4B顯示X-Y軸電動移動平台420的移動路徑。以下說明擷取待測電路板PCB各區塊#1,#2,...#16之對焦影像[A1,B1,C1,D1],[A2,B2,C2,D2],...[A16,B16,C16,D16]的步驟：

(1)如圖4B所示，將此待測電路板PCB依一矩陣排列劃分成多個區塊#1,#2,...#16，CCD攝影機410由待測電路板PCB左上角的起始區塊#1開始移動，依序由左到右每5mm水平移動一次並擷取其檢視範圍FOV(Field of Views)所對應區塊#1的多個對焦影像，直到X-Y軸電動移動平台420移至待測電路板PCB右上角的區塊#4。在一實施例中，CCD攝影機410每次擷取的檢視範圍FOV可以利用下列公式(1)計算。

Sensor size：CCD攝影機的感光元件的有效區域尺寸大小。

FOV：待測物件的可檢視範圍。

FL：最小焦距。

WD：從CCD攝影機的鏡頭前端至待測物件的距離。

(2)X-Y軸電動移動平台420沿Y方向垂直往下移動5mm擷取下一列區塊#5的對焦影像。

(3)X-Y軸電動移動平台420沿X方向反向由右到左水平移動，每移動5mm擷取一次對應區塊的對焦影像直到待測電路板PCB左側區塊#8。

(4)X-Y軸電動移動平台420沿Y方向垂直往下移動5mm擷取下一列區塊#9的影像。

(5)最後反覆執行步驟(1)、(2)、(3)、(4)直到CCD攝影機410將整張待測電路板PCB拍攝完成，得到一完整待測電路板PCB的所有區塊#1,#2,...#16的所有對焦影像[A1,B1,C1,D1],[A2,B2,C2,D2],...[A16,B16,C16,D16]。

值得一提的是，當CCD攝影機410對焦到最清晰的平面時，電路板PCB上若有金屬元件會造成反光。當X-Y軸電動移動平台420移動時會成每一區塊的對焦影像光照不均勻。為了避免影像拼接時因反光或不均勻光照導致的影像變形或鬼影等問題，在擷取這些對焦影像[A1,B1,C1,D1],[A2,B2,C2,D2],...[A16,B16,C16,D16]時，可先利用灰階直方圖法對每一對焦影像[A1,B1,C1,D1],[A2,B2,C2,D2],...[A16,B16,C16,D16]進行曝光程度分類或分級；再執行該影像擷取單元410的一軟體以搜尋每一對焦影像[A1,B1,C1,D1],[A2,B2,C2,D2],...[A16,B16,C16,D16]的一灰階亮度值；以及利用該軟體的顯示設定(Display Setting)功能來調整該影像擷取單元410的一進光量，使對焦影像[A1,B1,C1,D1],[A2,B2,C2,D2],...[A16,B16,C16,D16]的亮度分佈趨於均勻，藉此可有效的改善清晰度。

圖4C是以圖4B中的一區塊#12為例來說明如何決定其對焦影像的層數及對焦深度。區塊#12例如是一塊Arduino單晶片430的一部分，其包括多個電路元件500設置於一電路板表面432上，這些電路元件500包括一最高元件510。在本實施例中，影像擷取單元410具有一最小焦距FL，Arduino單晶片 430的對焦高度範圍H是從其電路板表面432至最高元件510的頂端，並以最小焦距FL為基準來決定對焦影像的層數或對焦深度。例如：當最小焦距FL為10mm，而Arduino單晶片430的對焦高度範圍H為40mm時，可定出四種對焦深度，因此對焦影像的層數為4層，可以擷取4張同一場景不同對焦深度的對焦影像[A12,B12,C12,D12]。再將4張對焦影像[A12,B12,C12,D12]帶入圖3A所示之影像融合程序(S30)。

圖4D顯示當切割數n為25時，將區塊#12的其中一對焦影像A12切割成25張呈矩陣排列的相等大小子圖a1~a25。並將區塊#12的其他3張對焦影像B12,C12,D12每張皆切割成如同圖4D所示的25張子圖。如此，任一對焦影像A12中的任一子圖a1，皆可在其他每一對焦影像B12,C12,D12中找到一與其相同切割畫面的對應子圖b1,c1,d1。

接著再依據圖3B的影像融合結構圖，可以利用一演算法計算每一子圖a1及與其切割畫面相同的所有對應子圖b1,c1,d1的清晰度，例如以Brenner演算法將清晰度數值化後加以比較，可得到同一切割畫面的最清晰子圖b1。藉此過程，對於同一區塊#12的25個切割畫面皆可得到其對應的25張最清晰子圖b1,d2,...c25，而這些最清晰子圖b1,d2,...c25可能原本是分散於不同對焦影像[A12,B12,C12,D12]中。將所得的25張最清晰子圖b1,d2,...c25重新拼接成一清晰區塊圖P12，如位於圖4F的右邊第1行第3列的區塊圖。最後，在影像融合程序(S30)中重新帶入其他如前述表1所示的不同切割數1,4,16,36及49的子圖，並分別從此六個切割數1,4,16,25,36及49的子圖當中選取各切割畫面的最清晰子圖，再拼接成對應不同切割數的清晰區塊圖如圖4E。

如圖4F，由於圖4E顯示切割數n為36時所得的清晰區塊圖的清晰度最高，故以n=36為最佳切割數，對應的清晰區塊圖P12為一最佳區塊圖。將各區塊#1~#16的對焦影像皆以此最佳切割數為基礎，形成16張對應於各區塊#1~#16的最佳區塊圖P01~P16，再將進入影像拼接程序(S40)將所有最佳區塊圖P01~P16拼接成一電路板全景圖PI。

在另一實施例中，將本發明之增進影像清晰度的方法運用在三塊不同規格電路板說明影響切割數的因素。

如圖5所示，三塊不同規格電路板分別為：(1)樹梅派(Raspberry pie)、(2)Arduino、(3)主機板(Motherboard,MB)。本實施例將CCD攝影機410擷取影像的工作距離設置為13[cm]，並利用液態鏡頭對焦每一區塊的不同對焦深度的對焦影像，以得到最清晰子圖用以融合成清晰區塊圖，最後將清晰區塊圖拼接及優化後的電路板全景圖，再與一單張拍攝的完整電路板圖利用清晰度演算法和灰階直方圖法比較和驗證。

本實施例中，主機板在X方向上劃分的區塊影像數為22，Y方向上劃分的區塊影像數為18，故每一對焦影像的區塊圖張數為22×18=396張，對焦影像的層數為10層，故區塊圖總張數為396×10=3960張。樹梅派在X方向上的區塊影像數為8，Y方向上的區塊影像數為7，故每一對焦影像的區塊圖張數為8×7=56張，對焦影像的層數為5層，故區塊圖總張數為56×5=280張。Arduino在X方向上的區塊影像數為6，Y方向上的區塊影像數為6，故每一對焦影像的區塊圖張數為6×6=36張，對焦影像的層數為4層，故區塊圖總張數為36×4=144張。

由於三種電路板的最小元件各不同，因此在最小元件所在區域的切割數也有所不同。在切割一區塊的對焦影像時，該區塊中的最小元件越小，則切割其對焦影像所設的切割數需在一特定範圍內加大，使切割範圍縮小才能擷取更精細的影像。但需注意，切割範圍不宜縮小至小於對焦影像中最小元件的面積。反之，若該區塊的對焦影像中的最小元件所佔面積越大，則切割此對焦影像所需的切割數可以在該特定範圍內設的越小，以配合最小元件的面積。

下表顯示三種不同規格電路板的最小元件大小及所需的最小切割數：

據此，本發明之方法所需切割數n1,n2,...n的設定範圍可根據對焦影像A12中的最小元件圖像的一面積大小來決定。當最小元件圖像的面積大小在3.8mm×2.0mm至9.0mm×8.8mm的範圍內，切割數n1,n2,…n的設定範圍為25至49。

將優化後的三張不同電路板全景圖與其單張拍攝的完整電路板圖利用清晰度演算法和灰階直方圖法比較和驗證結果如下，證實本發明的方法可有效增進影像清晰度。

圖6A為樹梅派的原始圖(Original Image)及優化圖(Optimize Image)的比較。原始圖為單張拍攝的完整電路板圖；優化圖是以本發明之方法優化後的電路板全景圖。由圖6A可以看出優化圖不管在電路板底層的元件或數字均比原始圖來的清晰，優化圖的清晰度數值FI(shrpness)也明顯比原始圖高。圖6B是將圖6A的兩張圖分別轉成灰階直方圖表示，原始圖的灰階數值大多集中在前50%，而優化圖的灰階數值逐漸往中間值的右邊分散，顯示優化圖的曝光情形趨於均勻。圖6C是擷取圖6A的部分區域來進一步比較，顯示優化圖中的英數字比原始圖更清晰。

圖7A為Arduino的原始圖及優化圖的比較，其中優化圖的清晰度數值FI(shrpness)也明顯比原始圖高。圖7B是將圖7A的兩張圖分別轉成灰階直方圖表示，原始圖的灰階數值大多集中在前50%，而優化圖的灰階數值逐漸往中間值的右邊分散，顯示優化圖的曝光情形趨於均勻。圖7C是擷取圖7A的部分區域來進一步比較，顯示優化圖中的無論是底層元件或是上層元件皆比原始圖更清晰。

圖8A為主機板的原始圖及優化圖的比較，其中優化圖的清晰度數值FI(shrpness)也明顯比原始圖高。圖8B是將圖8A的兩張圖分別轉成灰階直方圖表示，原始圖的灰階數值大多集中在前50%，而優化圖的灰階數值逐漸往中間值的右邊分散，顯示優化圖的曝光情形趨於均勻。圖8C擷取圖8A的部分區域來進一步比較，顯示優化圖中的無論是底層元件或是上層元件皆比原始圖更清晰。

以上實施例以多層對焦方式擷取電路板PCB的各區塊#1~#16在不同對焦深度的對焦影像(如圖4C上半部所示)；再將電路板PCB之同一區塊#12不同對焦深度的對焦影像[A12,B12,C12,D12]切割成多個相等大小的子圖a1~a25(如圖4D所示)；再比較來自不同對焦影像[A12,B12,C12,D12]而具有同一切割畫面的各子圖之清晰度；接著利用本發明的影像融合程序(S30)重組出電路板PCB各區塊#1~#16基於不同切割數的多張清晰區塊圖；並從這些清晰區塊圖選出對應於各區塊#1~#16的最佳切割數及最佳區塊圖；再以影像拼接技術結合每一區塊#1~#16的最佳區塊圖而形成一電路板全景圖PI(如圖4F所示)；並進一步調整此電路板全景圖PI的影像色調並將其長方形化，使拼接後的圖像品質更佳。最後將本發明的方法運用在不同規格電路板PCB影像，以分析切割數的影響因素並取得其設定範圍的參考值。

綜上所述，本發明以新的影像融合方法結合影像拼接技術，提升電路板全景圖的清晰度，故可增加其辨識度，而達到提升檢測良率的功效，其與習知技術有以下區別：

1.習知技術並沒有提出切割數會影響影像清晰度的觀念。本發明提出新的影像融合技術，其針對電路板之同一區塊之多層對焦影像設定一或多個切割數來影響該區塊的重組影像之清晰度，並且切割出的子圖皆為相等大小，提供較整齊的融合策略，利於後續重組出清晰區塊圖的過程。並且，切割數的設定範圍與電路板的俯視影像中最小元件的面積大小有關。

2.在擷取電路板各區塊的對焦影像時，藉由統計影像灰階值來分類曝光程度，參考曝光程度再藉由軟體調整進光量，以改善曝光過亮或過暗的問題。

3.傳統影像融合方法在擷取多層對焦影像時是將一場景中的多個彼此相鄰的目標物依序進行對焦，故其劃分出的每一區塊必含有一個對焦目標物，其每次對焦距離視目標物遠近而定，可能相同，也可能不同。但本發明的方法在擷取的多層對焦影像時其對焦深度與劃分區塊的方法皆與目標物無關，其每一對焦影像的對焦深度必然是不同的，每個區塊可以獨立的優化其影像清晰度，形成融合策略時不需與相鄰的區塊進行比對或參照，故每個區塊可以是規則的形狀。

4.本發明將CCD攝影機架設在離待測電路板相對近的距離下拍攝其區塊影像，有別於習知影像拼接技術在離待測物相對遠的距離下拍攝場景，所以為了克服視差造成差異，將待測電路板固定在X-Y軸電動移動平台上，再以CCD攝影機由上往下的拍攝的方式來擷取影像，依此方式所拍攝的影像會呈現俯視平面圖。又因為X-Y軸電動移動平台以平穩的速度和平移的方式移動，進而克服拍攝目標物時的角度差異、深度和移動方向的影響，故可避免造成的視差等問題而導致影像拼接不理想。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。另外本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外，摘要部分和標題僅是用來輔助專利文件搜尋之用，並非用來限制本發明之權利範圍。

S30:影像融合程序

S31~S38:影像融合程序的各步驟

S40:影像拼接程序

S41~S44:影像拼接程序的各步驟

n1,n2,…n:切割數

Claims

一種增進影像清晰度的方法，包括：將一電路板劃分成具有不同場景的複數區塊；將一影像擷取單元設置於該電路板上方，並移動該電路板與該影像擷取單元的相對位置，使該影像擷取單元依序擷取每一該區塊在不同對焦深度的複數對焦影像，其中同一該區塊的該複數對焦影像具有相同的場景；將該複數對焦影像輸入一影像處理單元，並對同一該區塊的每一該對焦影像設定至少一第一切割數及一第二切割數；以該影像處理單元將同一該區塊的每一該對焦影像皆根據該第一切割數切割成相等大小的複數第一子圖，並根據該第二切割數切割成相等大小的複數第二子圖，從而使每一該第一子圖皆可在同一該區塊的一不同對焦影像中找到一第一對應子圖與其顯示同一切割畫面，並使每一該第二子圖皆可在該不同對焦影像中找到一第二對應子圖與其顯示同一切割畫面；將同一該區塊的該複數第一子圖各自與其該第一對應子圖進行清晰度比較，以選出該第一切割數下的複數第一最清晰子圖，並且將同一該區塊的該複數第二子圖各自與其該第二對應子圖進行清晰度比較，以選出該第二切割數下的複數第二最清晰子圖；將同一該區塊的該複數第一最清晰子圖拼接成一第一清晰區塊圖，並將其該複數第二最清晰子圖拼接成一第二清晰區塊圖；比較同一該區塊的該第一清晰區塊圖及該第二清晰區塊圖的清晰度，以篩選出該區塊的一最佳區塊圖，據此從該第一切割數及該第二切割數中選出一最佳切割數，並獲得該複數區塊所對應的複數最佳區塊圖；以及使用一影像拼接程序將該複數最佳區塊圖結合成一電路板全景圖。
如申請專利範圍第1項所述的增進影像清晰度的方法，其中該電路板具有一表面及複數電路元件設置於該表面上，同一該區塊的每一該對焦影像中包括至少一元件圖像，該設定該切割數的步驟包括：根據該對焦影像中的該元件圖像的一面積大小而決定該第一切割數及該第二切割數的一設定範圍。
如申請專利範圍第2項所述的增進影像清晰度的方法，其中當該元件圖像的該面積大小在3.8 mm × 2.0 mm至9.0 mm × 8.8 mm的範圍內，該第一切割數及該第二切割數的該設定範圍為25至49。
如申請專利範圍第2項所述的增進影像清晰度的方法，其中該電路板的該複數電路元件包括一最高元件，該影像擷取單元具有一最小焦距，其中擷取每一該區塊在不同對焦深度的複數對焦影像的步驟包括：將該電路板之該表面至該最高元件頂端的距離定義為一對焦高度範圍；以及根據該最小焦距及該對焦高度範圍來決定該複數對焦影像所對應的層數。
如申請專利範圍第1項所述的增進影像清晰度的方法，其中劃分該電路板的步驟包括：將該電路板依一第一矩陣排列劃分成該複數區塊。
如申請專利範圍第1項所述的增進影像清晰度的方法，其中切割每一該對焦影像的步驟包括：將每一該對焦影像依一第二矩陣排列切割為該複數子圖。
如申請專利範圍第1項所述的增進影像清晰度的方法，更包括：將該電路板全景圖調整影像色調以及長方形化。
如申請專利範圍第1項所述的增進影像清晰度的方法，其中擷取該複數對焦影像的步驟包括：對每一該對焦影像進行曝光程度分類；執行該影像擷取單元的一軟體以搜尋每一該對焦影像的一灰階亮度值；以及利用該軟體調整該影像擷取單元的一進光量。