TWI504859B - 拍攝並拼接物件影像的方法 - Google Patents

Description

拍攝並拼接物件影像的方法

本發明是關於一種拍攝並拼接物件影像的方法，特別是一種透過辨別物件真實座標與攝影機所拍攝影像的影像座標之間的座標對應關係，來進行影像拼接的方法。

在當今的工業生產過程中，影像檢測系統被大量的應用於自動化生產線上，進行諸如物件辨識、自動定位、尺寸量測等用途，以引導機械手臂，對生產平台上的元件，進行加工或製造程序，或是檢測所生產的物件，是否符合尺寸、外觀的高精度要求。

習知技術中，影像檢測系統在配置上，除了會在生產線上或工具機台上，架設一台攝影機，對準所欲檢測的物件，進行拍攝外，也會在攝影機的旁邊，另外架設一組燈源，提供拍攝所需的光線。此外，還需組裝相關的附屬配件，例如搭配燈源使用的亮度控制器，或是連接相關的電源線路與調控線路。

一般而言，為了能更精確的檢測產線上的待測物 件，影像檢測系統會以高解析度來拍攝物件影像。但是，當待測物件面積較大時，如果只用單一攝影機的鏡頭來拍攝整個物件的全部影像，因為所要擷取的畫面區域擴大，鏡頭所需涵括的畫面角度也隨之增加，除了容易產生解析度下降的問題外，也容易造成影像邊緣發生扭曲，導致整體影像畫面失真。

為了解決上述問題，習知技術中會同時架設2-4台攝影機，對物件進行拍攝影像的動作。亦即，透過不同的攝影機，分別擷取待測物件不同區域的影像。再透過拼接技術，將所拍攝的複數個影像重組起來，而得到完整的物件影像。

以目前常見的拼接技術為例，大多是透過軟體運算的方式，分析各個影像的畫面，並找出這些影像中重複的區域，接著再透過影像重疊，將重複的部份裁剪掉，以拼接出完整的物件影像。但是，此種以軟體分析影像重疊的方式，其準確度往往差強人意。主要原因在於，當兩個準備拼接的影像其重疊區域較小，並且缺乏比較顯著的圖案特徵時，即便是透過軟體計算畫面重疊的區域，也變得相對困難，並導致拼接時可能發生的誤差。

請參照第一A圖與第一B圖。第一A圖顯示拍攝一測試片時，所得到發生球狀扭曲的影像。其中，測試片上印刷了以矩陣排列的黑色圓形圖案。由第一A圖的影像，可看到校正板邊緣的黑色圓形圖案嚴重扭曲。第一B圖則顯示對第一A圖中發生扭曲的影像進行校正後，所得到的校正影像。由第一B圖來看，儘管已大幅修正影像週邊扭曲的問題，但是整體而言，靠近影像週邊區 域的黑色圓形圖案，仍然呈現形變的狀況。

此外，在架設多台攝影機對物件進行拍攝時，由於物件上方的空間有限，因此這些攝影機的鏡頭方向，相對於物件所放置的平台，可能會呈現傾斜的拍攝角度，而非垂直朝下的拍攝物件。此傾斜的角度，也會使所拍攝的影像，發生擴張變形。請參照第二A圖與第二B圖。第二A圖顯示當攝影機鏡頭以一傾斜角度拍攝平台上撲克牌時，所得到發生形變的影像。至於，第二B圖則顯示對第二A圖中變形的影像進行校正後所得到的校正影像。

因為有上述可能導致影像扭曲變形的原因，使得拼接複數個影像的工作，變得更加困難。需要先對影像畫面進行校正，才能進行後續分析、裁剪影像重疊區域與拼接等步驟。請參照第三A圖至第三C圖。其中，第三A圖顯示了一封裝晶片的完整影像。第三B圖則顯示了使用四台攝影機分別拍攝封裝晶片不同區域所得到的四個影像。第三C圖則顯示利用習知軟體拼接的方式，對所擷取的四個影像，進行拼接後所得到的整體影像。由第三C圖可明顯看出，拼接後所得到的封裝晶片影像，有嚴重失真的問題。

考慮到上述情形，本創作發明人希望提供一種拍攝並拼接出物件影像的方法，以有效的解決上述問題。

一種拍攝並拼接物件影像的方法，包含下列步驟。放置一物件於工作平台上。根據一真實空間座標系，決定物件的 真實座標。分別拍攝物件的不同區域，以取得複數個影像。分別對每一個影像設定一影像座標系。決定每一個影像座標系與真實空間座標系之間的座標對應關係。透過座標對應關係決定複數個影像彼此間的位置相對關係。根據位置相對關係，拼接組合複數個影像。

在一較佳實施例中，本發明並提供了一種拍攝並拼接出物件影像的方法，包含下列步驟。放置一校正板於工作平台上，其中校正板上表面具有複數個圓形圖案，且每一個圓形圖案皆包括一辨識圖案，用以顯示圓形圖案其圓心在校正板上表面的真實座標。分別拍攝校正板上表面的不同區域，以取得複數個校正板影像，其中所述不同區域彼此間有所重疊。根據每一個校正板影像中該些圓形圖案所具有的辨識圖案，決定複數個校正板影像彼此間的相對關係。移除校正板。放置一物件於工作平台上。分別拍攝物件以取得複數個物件影像。根據複數個校正板影像彼此間的相對關係，拼接複數個物件影像。

關於本發明所述的拍攝並拼接出物件影像的方法，可以藉由以下發明詳述及所附圖示，得到進一步的瞭解。

S01~S08‧‧‧步驟

S10~S70‧‧‧步驟

1‧‧‧工作平台

21、22、23、24‧‧‧攝影機

3‧‧‧校正板

30‧‧‧圓形圖案

300‧‧‧辨識圖案

S401~S405‧‧‧步驟

S41~S42‧‧‧步驟

第一A圖顯示拍攝一測試片時，所得到發生球狀扭曲的影像；第一B圖顯示對發生扭曲的影像進行校正後，所得到 的校正影像；第二A圖顯示當攝影機鏡頭以一傾斜角度拍攝平台上撲克牌時，所得到發生形變的影像；第二B圖顯示對變形的影像進行校正後所得到的校正影像；第三A圖顯示一封裝晶片的完整影像；第三B圖顯示使用四台攝影機分別拍攝封裝晶片不同區域所得到的四個影像；第三C圖則顯示利用習知技術中以軟體拼接的方式，對所擷取的四個影像，進行拼接後所得到的整體影像；第四圖顯示本發明所提供一種使用複數台攝影機拍攝並拼接物件影像的方法流程；第五圖顯示在本發明一較佳實施例中所提供一種使用複數台攝影機拍攝並拼接物件影像的方法流程；第六圖顯示本發明中實際架設複數台攝影機於工作平台上方的情形；第七圖顯示本發明一實施例中所使用的校正板；第八圖顯示本發明中決定複數個校正板影像彼此間的相對關係的詳細步驟；第九圖顯示本發明中決定複數個校正板影像彼此間的相對關係後的選擇性步驟；第十A圖顯示本發明中使用六台攝影機拍攝校正片 不同區域的影像後，將所擷取的影像個別顯示在螢幕上；且第十B圖顯示本發明中將拼接後的完整校正片影像顯示於螢幕上之情形。

本發明提供一種拍攝並拼接出物件影像的方法。此方法是根據一真實空間座標系，決定所拍攝物件的真實座標，並且分別對所拍攝物件不同區域的影像，設定各別的影像座標系。接著，透過找尋每一個影像座標系與真實空間座標系之間的座標對應關係，決定複數個影像彼此間的位置相對關係。如此，便可有效的拼接組合複數個影像，而得到所拍攝物件的完整影像。

請參照第四圖，此圖顯示了本發明所提供一種拍攝並拼接物件影像的方法流程。

首先，執行步驟S01，架設複數台攝影機於一工作平台上方。複數台攝影機可以分別架設在不同的高度，並且攝影機的鏡頭可分別調整而具有不同的焦距。另外，由工作平台上方俯瞰時，複數台攝影機的配置，約略呈現一矩陣排列，使各台攝影機分別對準不同的位置，拍攝不同的區域。

執行步驟S02，放置一物件於工作平台上。

接著，執行步驟S03，根據一真實空間座標系，決定物件的真實座標。其中，真實空間座標系可以是空間中的任何座標系。例如，可以是工作平台上表面所預設的座標系。此外，當 所述物件為一校正板時，真實空間座標系也可以是校正板上表面所預設的座標系。換言之，真實空間座標系，可以由操作者任意的選擇或定義，以設定物件的真實座標。

隨後，執行步驟S04，使用複數台攝影機分別拍攝物件的不同區域，以取得複數個影像。在一實施例中，複數台攝影機所拍攝的不同區域，彼此間會有所重疊，藉此可防止所拼接組合的物件影像產生斷離或空白的鄰接區域。不過，如果操作者原本就只要檢測物件的某些特定區域，那麼當然也可經過設定，使複數台攝影機分別拍攝的不同區域間，完全沒有重疊的區域，或是只有部份影像會有所重疊。

要特別說明的是，儘管在此實施例中，是透過架設複數台攝影機於工作平台上方，分別拍攝物件的不同區域，得到複數個影像，不過，隨著產線環境的差異，也可以使用單一台攝影機來拍攝物件的不同區域。透過機械手臂來移動攝影機，可逐一拍攝物件的不同區域，而取得到複數個影像。

接著，執行步驟S05，分別對每一個影像設定一影像座標系。基本上，由於複數台攝影機，可能分別架設在不同的高度，並且鏡頭的規格或調整的焦距也可能互不相同，因此，所擷取的複數個影像，可能會具有不同的比例大小。考慮此種情形，可針對所擷取的每一個影像，透過設定分別給予一影像座標系。一旦確認影像座標系，影像畫面中的任何位置，都可以用影像座標來標示。

執行步驟S06，決定每一個影像座標系與真實空間座標系之間的座標對應關係。基本上，只要透過逐一比對影像中物件特定位置的影像座標與真實座標，便可計算出影像座標系與真實空間座標系之間的座標對應關係。

執行步驟S07，透過座標對應關係，決定複數個影像彼此間的位置相對關係。由於在前面步驟中，已取得複數個影像各別的影像座標系與真實空間座標系之間的座標對應關係，因此可取得複數個影像各自的真實座標，並確認這些影像彼此間的位置相對關係。

最後，執行步驟S08，根據位置相對關係，拼接組合複數個影像。

在一較佳實施例中，本發明則提供一具有座標辨識圖案的校正板，並使用複數台攝影機，拍攝校正板的影像，再透過辨識影像中圖案所具有的座標資訊，決定各台攝影機所拍攝影像間的位置相對關係。最後，可藉由所得到的位置相對關係，來拼接組合影像。

請參照第五圖，此圖顯示了在一較佳實施例中，本發明所提供一種拍攝並拼接物件影像的方法流程。

首先，執行步驟S10，架設複數台攝影機於一工作平台上方。執行步驟S20，放置一校正板於工作平台上。其中，校正板上表面具有複數個圓形圖案，且每一個圓形圖案皆包括一辨識圖案，用以顯示圓形圖案其圓心在校正板上表面的真實座標。接 著，執行步驟S30，操作複數台攝影機，分別拍攝校正板上表面的不同區域，以取得複數個校正板影像，其中不同區域彼此間有所重疊。隨後，執行步驟S40，根據每一個校正板影像中，圓形圖案所具有的辨識圖案，決定複數個校正板影像彼此間的相對關係。然後，執行步驟S50，移除校正板，並且放置一物件於工作平台上。執行步驟S60，操作複數台攝影機，分別拍攝物件以取得複數個物件影像。最後，執行步驟S70，根據複數個校正板影像彼此間的相對關係，拼接複數個物件影像。

要特別說明的是，在進行上述步驟S10，架設複數台攝影機於工作平台上方時，這些攝影機可以分別架設在不同的高度，並且攝影機的鏡頭也能分別調整使其具有不同的焦距。由工作平台上方俯瞰時，複數台攝影機的配置，概略會呈現一矩陣排列。

請同時參照第六圖，此圖顯示實際架設複數台攝影機於工作平台上方的情形。如圖所示，在工作平台1的上方，可同時架設四台攝影機21、22、23、24，來進行物件影像的拍攝。如同前述，此四台攝影機21、22、23、24，相較於工作平台1，各自具有不同的高度。當然，隨著其高度的不同，這些攝影機21、22、23、24，也需要各自調整其鏡頭的焦距，以便能清晰的拍攝位於工作平台1上的物件影像。如果由工作平台1與攝影機21、22、23、24的上方俯瞰，四台攝影機21、22、23、24的位置，概略呈現一2x2的矩陣排列，以分別用來擷取物件不同區域的影像。

此外，如同前述，此實施例中雖然也是透過架設複數台攝影機於工作平台上方，分別拍攝物件的不同區域，得到複數個影像。不過，隨著產線環境的差異，也可以選擇使用單一台攝影機來拍攝物件的不同區域，並透過機械手臂移動攝影機，逐一拍攝物件的不同區域，而得到複數個影像。

換言之，在此實施例中，可能是使用四台攝影機21、22、23、24，分別擷取物件四個不同區域的影像。然而，也可以使用單一台攝影機，藉由機械手臂的移動，分別拍攝物件的四個不同區域影像。甚至，在環境條件的需求下，也可能只架設兩台攝影機，來擷取物件四個不同區域的影像。

請參照第七圖，此圖顯示了在一實施例中，放置於工作平台1上的校正板3。基本上，此校正板3可由紙張、紙板或塑膠片構成。在校正板3上表面印製了複數個圓形圖案30，並且複數個圓形圖案30是以矩陣方式排列分佈於校正板3上表面。每一個圓形圖案30皆包括一辨識圖案300，用以顯示圓形圖案30其圓心在校正板3上表面的真實座標。

在一較佳實施例中，上述圓形圖案30中所具有的辨識圖案300是由一維條碼或二維條碼所構成。其中，一維條碼可包括Code-128與Code-39，二維條碼則可包括QR COde、PDF417與DataMatrix。當然，其它任何合適的條碼，皆可應用作為此處的辨識圖案使用。

在完成步驟S30，取得校正板3上表面不同區域的校 正板影像之後，接著進行步驟S40，根據每一個校正板影像中，圓形圖案30所具有的辨識圖案300，決定複數個校正板影像彼此間的相對關係。

請參照第八圖，此圖顯示了步驟S40所包括的細部分解步驟。在一較佳實施例中，步驟S40更可細分為下列步驟：

首先，執行步驟S401，辨識每一個校正板影像中該些圓形圖案30所具有的辨識圖案300，以得到該些圓形圖案30其圓心的真實座標。基本上，只要透過影像分析，即可辨識圓形圖案30中的辨識圖案300，並得到圓形圖案30其圓心的真實座標。並且，可藉由計算出圓心的真實座標，得知影像中的每一個圓形圖案30，實際上應該對應到校正板3上表面的那一個位置。

其次，可執行步驟S402，根據每一個校正板影像中各個圓形圖案30其圓心的真實座標，對校正板影像中發生擴張或扭曲變形的部份進行修正。

要特別指出的是，受制於攝影機21、22、23、24其鏡頭相對於校正板3的拍攝角度、以及鏡頭所涵括影像畫面的角度範圍，所拍攝的影像可能會有前述變形或扭曲的情形。但是，因為校正板3上分佈著以矩陣排列的圓形圖案30，所以只要透過分析影像中的辨識圖案300，便可確認校正板影像中各個圓形圖案30其圓心的座標。如此，可輕易的藉由所得到校正板影像中各個圓形圖案30的圓心座標，調整或修正影像中發生擴張或扭曲的部份，而達成校正影像變形的效果。另外，要特別說明的是，此步驟S042 基本上為一選擇性步驟，可視所擷取的校正板影像，是否發生嚴重的擴張或扭曲變形，來決定是否執行。

接著，執行步驟S403，決定複數個校正板影像彼此間的相對關係。由於每一個校正板影像中，各個圓形圖案30其圓心的真實座標已得知，因此可確知此校正板影像對應於校正板3上表面的真實位置，而得以進一步確認數個校正板影像彼此間的相對關係。

隨後，執行步驟S404，決定該複數個校正板影像彼此間的比例關係。值得注意的是，由於複數個校正板影像是分別由數台攝影機21、22、23、24所拍攝，隨著攝影機的高度、鏡頭規格或所調整焦距的差異，皆可能使所擷取的校正板影像具有不同的比例與大小。然而，由於得知每一個校正板影像中各個圓形圖案30其圓心座標，因此可以進一步確認數個校正板影像彼此間的比例關係。

最後，執行步驟S405，決定複數個校正板影像彼此間重疊的區域範圍。換言之，在步驟S40中所決定的相對關係，至少包括了複數個校正板影像彼此間的位置關係、比例關係以及彼此重疊的區域範圍。

基本上，在完成上述步驟S40後，即可直接執行步驟S50，移除校正板3並放置待測物件於工作平台1上，然後開始操作複數台攝影機21、22、23、24，對待測物件進行拍攝與拼接影像的程序。但是，為了讓操作者能確認並檢視前述步驟S40的結果， 請參照第九圖所顯示的流程，在步驟S40完成後，選擇性的執行步驟S41與步驟S42。其中步驟S41為拼接複數個校正板影像，以得到一完整影像。至於，步驟S42則是將拼接後的完整影像顯示於一螢幕上，供操作者檢視。

換言之，在完成上述步驟S10至步驟S40，為了方便操作者檢視複數台攝影機21、22、23、24其所拍攝影像彼此間的位置、比例、重疊範圍等相對關係，並且檢視拼接後的完整影像，可對所拍攝的校正板影像進行拼接，並直接顯示於螢幕上。操作者在檢視確認無誤後，便可針對欲檢測的物件進行影像拍攝與拼接組合的程序。

請參照第十A圖與第十B圖。第十A圖顯示了使用六台攝影機拍攝校正片不同區域的影像後，將所擷取的影像個別顯示在螢幕上。至於，第十B圖則顯示了將拼接後的完整校正片影像顯示於螢幕上之情形。

本發明所提供拍攝並拼接出物件影像的方法，相較於習知技術中影像拼接的方法，具有相當的優點。本發明分別對所拍攝不同區域的物件影像，給予各別的影像座標系，再透過找尋每一個影像座標系與真實空間座標系之間的座標對應關係，決定複數個影像彼此間的位置相對關係。如此，便可透過所得到的位置相對關係，拼接組合複數個影像，得到所拍攝物件的完整影像。相較於習知技術中，透過分析各個影像中重復的部份再加以拼接的方式，本發明的方法可以更準確的拼接影像。

本發明雖以較佳實例闡明如上，然其並非用以限定本發明的精神與發明實體僅止於上述實施例爾。是以，在不脫離本發明的精神與範圍內所作的修改，均應包括在下述申請專利範圍內。

S01~S8‧‧‧步驟

Claims (10)

1. 一種拍攝並拼接物件影像的方法，包含下列步驟：放置一物件於一工作平台上；根據一真實空間座標系，決定該物件的真實座標；分別拍攝該物件的不同區域，以取得複數個影像；分別對每一個該影像設定一影像座標系；決定每一個該影像座標系與該真實空間座標系之間的座標對應關係；透過該座標對應關係決定該複數個影像彼此間的位置相對關係與比例關係；且根據該位置相對關係與該比例關係，拼接組合該複數個影像。
2. 如申請專利範圍第1項所述拍攝並拼接物件影像的方法，其中該真實空間座標系為該工作平台上表面所預設的座標系。
3. 如申請專利範圍第1項所述拍攝並拼接物件影像的方法，其中該物件為一校正板，且該真實空間座標系為該校正板上表面所預設的座標系，該校正板上表面具有複數個圓形圖案，每一個該圓形圖案皆包括一辨識圖案，用以顯示該圓形圖案其圓心在該校正板上表面的真實座標。
4. 如申請專利範圍第1項所述拍攝並拼接物件影像的方法，更 包括架設複數台攝影機於該工作平台上方的步驟，以操作該複數台攝影機分別拍攝該物件的不同區域。
5. 如申請專利範圍第1項所述拍攝並拼接物件影像的方法，其中上述所拍攝該物件的不同區域彼此間有所重疊。
6. 一種拍攝並拼接物件影像的方法，包含下列步驟：放置一校正板於一工作平台上，其中該校正板上表面具有複數個圓形圖案，且每一個該圓形圖案皆包括一辨識圖案，用以顯示該圓形圖案其圓心在該校正板上表面的真實座標；分別拍攝該校正板上表面的不同區域，以取得複數個校正板影像，其中所述不同區域彼此間有所重疊；根據每一個該校正板影像中該些圓形圖案所具有的該辨識圖案，決定該複數個校正板影像彼此間的相對關係；移除該校正板；放置一物件於該工作平台上；分別拍攝該物件以取得複數個物件影像；且根據該複數個校正板影像彼此間的相對關係，拼接該複數個物件影像。
7. 如申請專利範圍第6項所述拍攝並拼接物件影像的方法，更包括架設複數台攝影機於該工作平台上方的步驟，以操作該複數 台攝影機分別拍攝該校正板或分別拍攝該物件。
8. 如申請專利範圍第6項所述拍攝並拼接物件影像的方法，其中所述根據每一個該校正板影像中該些圓形圖案所具有的該辨識圖案，決定該複數個校正板影像彼此間相對關係的步驟，更包括：辨識每一個該校正板影像中該些圓形圖案所具有的該辨識圖案，以得到該些圓形圖案其圓心的真實座標；根據該些圓形圖案其圓心的真實座標，對該校正板影像中發生變形的部份進行修正；決定該複數個校正板影像彼此間的位置相對關係；決定該複數個校正板影像彼此間的比例關係；且決定該複數個校正板影像彼此重疊的區域範圍。
9. 如申請專利範圍第6項所述拍攝並拼接物件影像的方法，其中該相對關係包括該複數個校正板影像彼此間的位置關係、比例關係以及重疊的區域範圍。
10. 如申請專利範圍第6項所述拍攝並拼接物件影像的方法，其中在決定該複數個校正板影像彼此間的相對關係後，更包括：拼接該複數個校正板影像，以得到一完整影像；且將該完整影像於一螢幕上，供操作者檢視。