TWI747500B

TWI747500B - 自動物件取像方法及裝置

Info

Publication number: TWI747500B
Application number: TW109131881A
Authority: TW
Inventors: 林其禹
Original assignee: 國立臺灣科技大學
Priority date: 2020-09-16
Filing date: 2020-09-16
Publication date: 2021-11-21
Also published as: TW202212810A

Abstract

一種自動物件取像方法及裝置。在數位立體模型的表面上形成取像區域，數位立體模型對應於真實物件，且取像區域對應於相機視野。計算各取像區域的中心點的座標及法線向量，且此法線向量由中心點向外延伸而出。依據各取像區域的中心點的座標及法線向量決定各取像區域對應的取像參數，且各取像參數包括當影像擷取裝置的位置或姿態固定時，真實物件相對於影像擷取裝置的位置或姿態的對應位置或姿態，或當真實物件的位置或姿態固定時，影像擷取裝置相對於真實物件的位置或姿態的對應位置或姿態中的至少一者。藉此，可節省取像作業的規劃時間。

Description

自動物件取像方法及裝置

本發明是有關於一種光學檢測技術，且特別是有關於一種自動物件取像方法及裝置。

自動光學檢測(Automated Optical Inspection，AOI)是結合光學感測、視覺辨識、機構驅動及電控系統等技術來代替傳統人工目視檢測，且已被廣泛應用到各種產品的瑕疵檢測上。瑕疵的種類包括尺寸和形狀的異常、顏色的變異、和表面品質的正常。3C產品的表面瑕疵檢測包含刮痕、斑點、凹點等，因為表面性質的差異和幾何形狀的變化，往往不容易使用同一個相機取像角度擷取到可以判斷出瑕疵的影像。無可避免地，不同類型的待測物的幾何形狀和表面性質都可能不同。因此，對不同待測物的表面進行自動光學檢測前勢必需要花費大量的時間安排取像作業，企圖最終能找到一些有效的取像組合，對待測物表面上不同區域，採用特定的相機/鏡頭、取像距離、取像角度、和光源種類/位置等取像組合。在傳統技術上，操作者需要先將相機/鏡頭固定在取像架上，再將光源固定在特定位置後，再將待測物固定在相對相機的某個位置和角度上。對一個3D待測物件，安排一個取像區域在相機的正下方取像框內就要花一段時間調整固定該待測物件的夾具。如果該取像組合擷取出的影像無法判斷出瑕疵，則必須更改取像組合，例如更改取像角度。為了將該取像區域從跟相機成原來的直角變換到成一個特定角度時，就必須調整固定該待測物件的夾具在空間中的位置和姿態。而調整前述步驟的時間，可能需要少則數分鐘，甚至可能多達數十分鐘之久。每次取像之後，檢測人員如果對當前取像結果不夠滿意，相關設定便需要重新調整。而在花費一段時間決定好一個取像位置/區域的取像組合後，則必須進行下一個取像位置/區域的設定調整和測試，直到待測物件上所有待檢查區域都已設定好取像組合為止。如此反覆進行，相當耗費時間。

有鑑於此，本發明實施例提供一種自動物件取像方法及裝置，可分析待測物的數位立體模型，從而在待測物件上規劃出適當的待測區域，並可依據該些待測區域快速規劃和執行取像作業。

本發明實施例的自動物件取像方法，其包括(但不僅限於)下列步驟：在數位立體模型的表面上形成取像區域，數位立體模型對應於真實物件，且取像區域對應於相機視野。計算各取像區域的中心點的座標及法線向量，且此法線向量由中心點向外延伸而出。依據各取像區域的中心點的座標及法線向量決定各取像區域對應的取像參數，且各取像參數包括當影像擷取裝置的位置或姿態固定時，真實物件相對於影像擷取裝置的位置或姿態的對應位置或姿態，或當真實物件的位置或姿態固定時，影像擷取裝置相對於真實物件的位置或姿態的對應位置或姿態中的至少一者。

本發明實施例的自動物件取像裝置包括(但不僅限於)影像擷取裝置、移動機構及控制電路。影像擷取裝置用以擷取影像。移動機構用以移動或旋轉影像擷取裝置或真實物件。控制電路耦接影像擷取裝置及移動機構，並經配置用以在數位立體模型的表面上形成取像區域，計算各取像區域的中心點的座標及法線向量，並依據各取像區域的中心點的座標及法線向量決定各取像區域對應的取像參數。數位立體模型對應於真實物件，且取像區域對應於相機視野。此法線向量由中心點向外延伸而出。各取像參數包括當影像擷取裝置的位置或姿態固定時，真實物件相對於影像擷取裝置的位置或姿態的對應位置或姿態，或當真實物件的位置或姿態固定時，影像擷取裝置相對於真實物件的位置或姿態的對應位置或姿態中的至少一者。

基於上述，本發明實施例的自動物件取像方法及裝置，規劃數位立體模型的表面上的取像區域，依據取像區域的中心點的座標及法線向量決定影像擷取裝置與真實物件對應的位置及/或姿態，並據以控制影像擷取裝置或真實物件移動至指定的位置或或旋轉至指定的姿態。藉此，可提升取像作業的效率。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是依據本發明一實施例的自動物件取像裝置100的元件方塊圖。請參照圖1，自動物件取像裝置100包括(但不僅限於)一台或更多台影像擷取裝置110、移動機構130及控制電路150。

影像擷取裝置110是可活動地設於自動物件取像裝置100的主體。影像擷取裝置110可以是相機、攝影機等用以擷取影像的裝置，影像擷取裝置110並可以包括影像感測器(例如，電荷耦合裝置(Charge Coupled Device，CCD)、互補式金氧半導體(Complementary Metal-Oxide-Semiconductor，CMOS)等)、光學鏡頭、影像控制電路等元件。於本實施例中，這些影像擷取裝置110的鏡頭規格(例如，取像光圈、倍率、焦距、取像可視角度、影像感測器大小等)不同，且其數量可依據實際需求而調整。

移動機構130設於自動物件取像裝置100的主體，並夾持、抵頂、或支撐真實物件(智慧型手機、印刷電路板等各類型待測物)及/或影像擷取裝置110放置。移動機構130可以是機械手臂、高度調整台、滑軌、轉台、螺桿、馬達、或汽缸等各類型可驅動連接元件移動或旋轉的機械構件之組合，使放置的真實物件及/或影像擷取裝置110能升降、平移及/或旋轉(例如，多軸活動)。需說明的是，移動機構130可與自動物件取像裝置100的主體整合。然而，在一些實施例中，移動機構130可能與自動物件取像裝置100的主體分離，並作為獨立裝置。

控制電路150耦接影像擷取裝置110及移動機構130。控制電路150並可以是中央處理器(Central Processing Unit，CPU)、微控制器、可程式化控制器、特殊應用積體電路(Application-Specific Integrated Circuit，ASIC)、晶片或其他類似元件或上述元件的組合。於本實施例中，控制電路150控制自動物件取像裝置100的所有或部分運作。例如，控制電路150驅動移動機構130帶動影像擷取裝置110或真實物件活動(例如，旋轉或移動)，或控制影像擷取裝置110的功能(例如，開關、拍攝、明暗度調整等)。

為了方便理解本發明實施例的操作流程，以下將舉諸多實施例詳細說明本發明實施例中針對自動物件取像裝置100的使用流程。下文中，將搭配自動物件取像裝置100中的各項裝置及元件說明本發明實施例所述之方法。本方法的各個流程可依照實施情形而隨之調整，且並不僅限於此。

圖2是依據本發明一實施例的自動物件取像方法的流程圖。請參照圖2，控制電路150在數位立體模型的表面上形成數個取像區域(步驟S210)。具體而言，數位立體模型是對應於真實物件的立體圖資料(例如，由影像、物件、電腦輔助設計(Computer Aided Design，CAD)資料或點陣雲(point cloud)資料所形成的立體物件)。即，數位立體模型與真實物件的形狀外觀相同或相似。在一實施例中，數位立體模型是點陣雲格式。控制電路150可透過外接、內建或分離的立體掃描器(用以偵測並分析真實物件的幾何形狀或外觀資料)對真實物件掃描或由CAD模型圖轉換而形成點陣雲格式的數位立體模型。例如，控制電路150可基於立體掃描器所輸出的深度圖(depth map)建立真實物件對應的點陣雲圖。或者，控制電路150下載物件的CAD模型或存取使用者自行繪製的物件CAD模型，再轉換成點陣雲格式。

控制電路150可決定取像區域的一個或更多個區域大小(例如，長、寬、及/或面積)。即，可能有一個或更多個取像面積的不同取像區域。例如，表面的曲度較大處或變化較大處可規劃較小區域大小，且曲度較小處可規劃較大區域大小。取像區域是對應於影像擷取裝置110的一個或多個相機視野。影像擷取裝置110可能因鏡頭或感光元件而形成不同相機視角，且與待拍攝物件有不同距離時可能會有不同尺寸的相機視野。取像區域即是代表影像擷取裝置110的相機視野在真實物件的表面上所涵蓋的區域。取像區域面積較小時，代表影像的解析度較高，可能看出更微小的細節。此外，取像區域通常對應於數位立體模型的表面/曲面上某一點的切平面(tangent plane)。例如，取像區域的法線向量跟相機的取像主軸同軸(角度為零)，但有時該角度可依據實際需求而有偏轉。

控制電路150上可設定物件的主軸方向。例如，主軸方向是由數位立體模型長向端的後端朝向其前端。或者，主軸方向是由立體模型的底端朝向其頂端。在一些實施例中，主軸是數位立體模型的中心對稱軸。然而，主軸方向仍可依據應用者的需求自行變更。

控制電路150可依據主軸方向在數位立體模型的全部或部分表面形成一個或多數個取像區域，而取像區域的大小可以根據自動光學檢測的需要而選定。例如，控制電路150沿著主軸方向所指示的模型底部朝其頂部，依據選擇的取像區域大小或長寬依序在表面沿主軸方向排列貼上那些取像區域。根據物件上待檢測位置的需要，取像區域將依需要完全覆蓋數位立體模型的全部或部分指定表面。如果物件表面某些特定區域的幾何形狀不利於將取像區域沿主軸方向排列時，可依任一可行方向設置該些取像區域。

舉例而言，圖3A是數位立體模型3DM的範例，且圖3B是依據本發明一實施例決定的取像區域。請參照圖3A及圖3B，假設數位立體模型3DM是滑鼠模型，且圖3B中的立體模型3DM的表面上有數個取像區域CA1。圖3C是依據本發明另一實施例決定的取像區域。請參照圖3B及圖3C，相較於圖3B的取像區域CA1，取像區域CA2的區域大小更小，使得有更多數量的取像區域CA2形成在立體模型3DM的表面上。當使用更小的取像區域時，該區域上取像的解析度將更大，可供檢測出更微小的瑕疵。反之，更大的取像區域，可以減少在物件上一定部位取像的總次數，減少自動光學檢測的時間。

在一實施例中，控制電路150可決定相鄰的那些取像區域的重疊比例。重疊比例是指相鄰取像區域重疊的面積在其區域大小對應面積所占比例。接著，控制電路150可依據此重疊比例安排那些取像區域在數位立體模型的表面上的位置。此重疊比例可作為上限值或固定值。例如，兩取像區域的重疊處所占比例不高於決定的重疊比例。或者，所有相鄰取像區域的重疊處所佔比例皆等同或大致為決定的重疊比例。然而，在一些實施例中，重疊比例可能是零。在取像區域的邊緣上出現的瑕疵較不完整，因此比較不容易被判斷出，所以設置重疊比例的目的是讓在取像區域邊緣上的瑕疵因為重疊比例的設定而以更大的面積出現，而較容易判斷出。

舉例而言，圖4A是依據本發明一實施例的取像區域F1~F4。請參照圖4A，取像區域F1~F4之間僅有邊緣重疊。若瑕疵正好出現在取像區域F1~F4的邊緣，則難以辨識出此瑕疵。圖4B是依據本發明另一實施例的取像區域F1’~F4’。請參照圖4B，取像區域F1’~F4’的面積比取像區域F1~F4更大，且假設中心點位置相同。例如，取像區域F1的中心點與取像區域F1’的中心點相同，其餘依此類推。此時，左右相鄰的取像區域(例如，取像區域F1’與F2’)之間形成水平重疊區間hos，而上下相鄰的取像區域(例如，取像區域F1’與F3’)之間形成垂直重疊區間vos。藉此，原取像區域F1~F4的邊緣上的瑕疵可被檢測出。

須說明的是，重疊區間的形狀及大小可依據實際需求自行變更，本發明實施例不加以限制。

控制電路150可計算各取像區域的中心點的座標及法線(normal line)向量(步驟S230)。具體而言，控制電路150設定三維空間，並定義此三維空間中的三條正交軸。中心點在此三維空間的位置即可依據這些正交軸決定座標。而法線向量是由取像區域的中心點向外延伸而出。例如，控制電路150可計算一中心點在數位立體模型的表面(曲面)的切平面，並計算由此中心點在切平面向外垂直延伸而出的法線向量。或者，控制電路150可透過法線向量公式求得中心點在曲面上的法線向量。

在一些實施例中，控制電路150可先計算點陣雲格式的數位立體模型的表面上數個參考點(可能是點陣雲圖上的所有點，也可能是依據特定或不固定間距所形成)的座標和各點向外延伸的法線向量。例如，控制電路150根據法線向量公式求得一參考點在數位立體模型的表面的法線向量。這些參考點的法線向量可用來求取各取像區域的中心點的法線向量。例如，可使用各取像區域內最接近中心點的參考點的法線向量當成此中心點的法線向量，也可以使用各取像區域內接近中心點的一個區域內的多個參考點的法線向量平均值當成此中心點的法線向量。或者，取像區域中的任一個參考點的法線向量作為此中心點的法線向量。

以圖3B為例，取像區域CA1的中心點C1可向外延伸形成法線向量NL1。而以圖3C為例，取像區域CA2的中心點C2可向外延伸形成法線向量NL2。由於兩取像區域CA1,CA2的區域位置不同，因此其中心點C1, C2和法線向量NL1, NL2也可能不同。

控制電路150依據各取像區域的中心點的座標及法線向量決定各取像區域對應的取像參數(步驟S250)。具體而言，各取像參數包括影像擷取裝置110或真實物件的位置及/或姿態。控制電路150是假定，影像擷取裝置110在相對於真實物件的特定位置及姿態下其相機視野即剛好或大約涵蓋真實物件的表面上所形成的取像區域。

在一實施例中，控制電路150可依據影像擷取裝置110的相機視角由一取像區域的中心點沿著其法線向量向外移動至一定點。此時，相機視野剛好或大約涵蓋此取像區域。此定點即可作為影像擷取裝置110相對於真實物件的位置，且影像擷取裝置110的取像軸(對應於影像擷取裝置110的鏡頭朝向)與法線向量同軸。

依據不同移動機構130的設計，當真實物件固定不動時，控制電路150可依據各取像區域的中心點的座標和外伸法線向量，計算影像擷取裝置110取像的位置(x1, y1, z1)和姿態(θx1, θy1, θz1)(歐拉角)。例如，可多軸活動的機器手臂抓持影像擷取裝置110。或者，當影像擷取裝置110固定不動時，挾持真實物件的移動機構130所需讓真實物件到被取像所需位置(x2, y2, z2)和姿態(θx2, θy2, θz2)。例如，可多軸活動的升降結合旋轉機制的平台供真實物件擺放。又或者，真實物件和影像擷取裝置110皆具有移動自由度，控制電路150可安排各取像區域所需的物件位置(x3, y3, z3)和姿態(θx3, θy3, θz3)和對應的影像擷取裝置110取像的位置(x4, y4, z4)和姿態(θx4, θy4, θz4)。例如，兩可多軸活動的機器手臂分別抓持影像擷取裝置110及真實物件。

在另一實施例中，影像擷取裝置110的取像軸可與法線向量不同軸。控制電路150可對姿態在x軸及/或y軸上的旋轉量決定偏位角(例如，5、8或10度等)。此偏位角即是法線向量與影像擷取裝置110的取像軸之間的夾角。控制電路150可依據影像擷取裝置110的相機視角由一取像區域的中心點朝此偏位角偏轉後向外移動至一定點，並據以決定影像擷取裝置110相對於真實物件的位置及/或姿態。

決定所有或部分取像區域對應的取像參數之後，控制電路150可依據各取像區域的取像參數透過移動機構130控制影像擷取裝置110及/或真實物件活動，並控制影像擷取裝置110在任一取像區域對應的位置及姿態下進行拍攝作業(步驟S270)。具體而言，每一組取像參數可以是，當影像擷取裝置110的位置或姿態固定時，控制電路150可計算並移動該真實物件到相對於該影像擷取裝置的位置或姿態的對應位置或姿態；或當真實物件的位置或姿態固定時，控制電路150可計算並移動影像擷取裝置110到相對於真實物件的位置或姿態的對應位置或姿態。控制電路150可依據影像擷取裝置110相對於那些取像區域的位置，定義出影像擷取裝置110及/或真實物件的最終位置及角度。

舉例而言，圖5是依據本發明一實施例的取像控制的示意圖。請參照圖5，可多軸活動的機械手臂131夾持待測的真實物件O，且影像擷取裝置110的位置及姿態固定。此時，每一取像區域的取像參數是真實物件O相對於影像擷取裝置110的位置或姿態的對應位置或姿態，並據以將真實物件O上的各取像區域CA3對應到影像擷取裝置110的相機視野。

圖6是依據本發明另一實施例的取像控制的示意圖。請參照圖6，與圖5不同處在於，可多軸活動的機械手臂132夾持影像擷取裝置110，且待測的真實物件O的位置及姿態固定。此時，每一取像區域的取像參數是影像擷取裝置110相對於真實物件O的位置或姿態的對應位置或姿態，並據以將影像擷取裝置110的相機視野對應到真實物件O上的各取像區域CA4。

控制電路150可基於機器人機動學該計算出使影像擷取裝置110及/或真實物件移動到決定的取像參數所對應的位置和姿態。當影像擷取裝置110及/或真實物件抵達指定取像位置時，控制電路150則控制影像擷取裝置110開始拍攝一張或更多張影像。接著，移動機構130再將影像擷取裝置110及/或真實物件移動到下一個取像位置。

綜上所述，在本發明實施例的自動物件取像方法及裝置中，依據真實物件的數位立體模型規劃出可自動對真實物件的表面執行例如是AOI檢測所需取像作業的技術手段和機器。其中，本發明實施例決定位於表面的取像區域，且依據這些取像區域的中心點的座標及法線向量決定對應的取像參數，並據以驅動影像擷取裝置或真實物件活動。藉此，可大量減少安排對一個三維物件表面執行AOI任務所需創造取像區域和安排機構移動到各對應取像位置的時間。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:自動物件取像裝置 110:影像擷取裝置 130:移動機構 150:控制電路 S210~S270:步驟 3DM:數位立體模型 CA1、CA2、CA3、CA4:取像區域 C1、C2:中心點 NL1、NL2:法線向量 F1~F4、F1’~F4’:取像區域 hos:水平重疊區間 vos:垂直重疊區間 131、132:機械手臂 O:真實物件

圖1是依據本發明一實施例的自動物件取像裝置的元件方塊圖。圖2是依據本發明一實施例的自動物件取像方法的流程圖。圖3A是數位立體模型的範例。圖3B是依據本發明一實施例決定的取像區域。圖3C是依據本發明另一實施例決定的取像區域。圖4A是依據本發明一實施例的取像區域。圖4B是依據本發明另一實施例的取像區域。圖5是依據本發明一實施例的取像控制的示意圖。圖6是依據本發明另一實施例的取像控制的示意圖。

S210~S270:步驟

Claims

一種自動物件取像方法，包括：在一數位立體模型的表面上形成多個取像區域，其中該數位立體模型對應於一真實物件，該些取像區域對應於至少一相機視野，且形成該些取像區域的步驟包括：決定相鄰的該些取像區域的重疊比例；以及依據該重疊比例安排該些取像區域在該數位立體模型的表面上的位置；計算每一該取像區域的一中心點的一座標及一法線向量，其中該法線向量由該中心點向外延伸而出；以及依據每一該取像區域的該中心點的該座標及該法線向量決定每一該取像區域對應的取像參數，其中每一該取像參數包括：當一影像擷取裝置的位置或姿態固定時，該真實物件相對於該影像擷取裝置的位置或姿態的對應位置或姿態，或當該真實物件的位置或姿態固定時，該影像擷取裝置相對於該真實物件的位置或姿態的對應位置或姿態中的至少一者。
如請求項1所述的自動物件取像方法，其中依據每一該取像區域的該中心點的該座標及該法線向量決定每一該取像區域對應的取像參數的步驟之後，更包括：依據每一該取像區域的該取像參數控制該影像擷取裝置或該真實物件活動，並控制該影像擷取裝置在一該取像區域對應的位置及姿態拍攝。
如請求項1所述的自動物件取像方法，其中在該數位立體模型上形成該些取像區域的步驟包括：決定該些取像區域的至少一區域大小；決定一主軸方向；以及依據該主軸方向在該數位立體模型的全部或部分表面形成該些取像區域。
如請求項1所述的自動物件取像方法，其中決定每一該取像區域對應的取像參數的步驟包括：決定一偏位角，其中該偏位角是該法線向量與該影像擷取裝置的一取像軸之間的夾角，且該取像軸對應於該影像擷取裝置的鏡頭朝向；以及依據該偏位角決定每一該取像參數中該影像擷取裝置或該真實物件的該姿態或位置。
如請求項1所述的自動物件取像方法，其中計算每一該取像區域的該中心點的該座標及該法線向量的步驟包括：將每一該取像區域的該中心點的該法線向量對應於鄰近的一參考點的法線向量、或將該中心點鄰近區域內多個該參考點的法線向量的平均值作為該中心點的該法線向量。
一種自動物件取像裝置，包括：一影像擷取裝置，用以擷取影像；一移動機構，用以移動或旋轉該影像擷取裝置或一真實物件；以及一控制電路，耦接該影像擷取裝置及該移動機構，並經配置用以：在一數位立體模型的表面上形成多個取像區域，其中該數位立體模型對應於該真實物件，該些取像區域對應於該影像擷取裝置的至少一相機視野，且該控制電路更經配置用以：決定相鄰的該些取像區域的重疊比例；以及依據該重疊比例安排該些取像區域在該數位立體模型的表面上的位置；計算每一該取像區域的一中心點的一座標及一法線向量，其中該法線向量由該中心點向外延伸而出；以及依據每一該取像區域的該中心點的該座標及該法線向量決定每一該取像區域對應的取像參數，其中每一該取像參數包括：當該影像擷取裝置的位置或姿態固定時，該真實物件相對於該影像擷取裝置的位置或姿態的對應位置或姿態，或當該真實物件的位置或姿態固定時，該影像擷取裝置相對於該真實物件的位置或姿態的對應位置或姿態中的至少一者。
如請求項6所述的自動物件取像裝置，其中該控制電路經配置用以：依據每一該取像區域的該取像參數透過該移動機構控制該影像擷取裝置或該真實物件活動，並控制該影像擷取裝置在一該取像區域對應的位置及姿態拍攝。
如請求項6所述的自動物件取像裝置，其中該控制電路經配置用以：決定該些取像區域的至少一區域大小；決定一主軸方向；以及依據該主軸方向在該數位立體模型的全部或部分表面形成該些取像區域。
如請求項6所述的自動物件取像裝置，其中該控制電路經配置用以：決定一偏位角，其中該偏位角是該法線向量與該影像擷取裝置的一取像軸之間的夾角，且該取像軸對應於該影像擷取裝置的鏡頭朝向；以及依據該偏位角決定每一該取像參數中該影像擷取裝置或該真實物件的該姿態或位置。
如請求項6所述的自動物件取像裝置，其中每一該取像區域的該中心點的該法線向量對應於鄰近的一參考點的法線向量或該中心點鄰近區域內多個該參考點的法線向量的平均值作為該中心點的該法線向量。
如請求項6所述的自動物件取像裝置，其中該移動機構控制該影像擷取裝置或該真實物件多軸活動。