TWI788134B

TWI788134B - 用於自動控制設備之校正裝置與校正方法

Info

Publication number: TWI788134B
Application number: TW110145863A
Authority: TW
Inventors: 陳詣倫; 謝明憲; 宋家仲; 陳俊皓
Original assignee: 財團法人工業技術研究院
Priority date: 2021-12-08
Filing date: 2021-12-08
Publication date: 2022-12-21
Also published as: TW202323000A

Abstract

一種校正裝置與校正方法，適於校正自動控制設備之待校正結構相對於工作平面之姿態，其中校正裝置包括投影機以及視覺感測器。投影機與視覺感測器適於配置於自動控制設備之待校正結構處。投影機用於將校正圖案沿視覺感測器之光軸投影於工作平面。視覺感測器用於擷取校正圖案投影於工作平面的投影影像，藉以讓自動控制設備依據投影影像與校正圖案之間的轉換矩陣來決定移動待校正結構的動作。

Description

用於自動控制設備之校正裝置與校正方法

本發明係關於一種校正裝置，特別是係關於一種用於自動控制設備之校正裝置與校正方法。

隨著工業技術的進步，引入機械手臂(robotic arm)等自動控制設備以實現自動化的比例增加。以串聯式機械手臂為例來說，其可進行多軸且重複精度高的動作，因而被廣泛應用於各種產業，以從事重複的工作任務。但在執行任務之前，機械手臂必須先確立姿態與位置，讓機械手臂與其他機械或座標系進行匹配或校正，以實現精準的相互配合。

這在機械手臂搭載移動載具的應用時更顯重要。具體來說，在機械手臂搭載於無人搬運車(autonomously guided vehicle，AGV)所組成的自主性移動搬運機器人(autonomous mobile robot，AMR)的應用中，自主性移動搬運機器人於執行工作任務之前，對工作座標系統的原點需要高精度的定位與校正，才能在移動至每個站點時精準地進行所設定的動作，如拾取、搬運物件或視覺定位等。

過往，教導機械手臂與用於校正用之工作平面之間的校正是由人為目視的方式來進行，例如涉及以人為目視的方式判斷機械手臂之夾爪至是否與工作平面呈平行，然後再利用夾爪試抓工件等方式逐步教導、調整機械手臂，但方式已知耗時、繁瑣且誤差大。為此，有人開始將光學視覺系統導入校正流程。舉例來說，在工作平面上貼上用於校正的圖案，然後利用在機械手臂的末端設置視覺感測器進行拍攝，再根據拍攝到之圖像與所預設之圖案的差異(如變形量)來進行校正。但後者的作法仍有以下缺陷，例如：(1)對於高度或角度不同的工作平面則需要在其上貼特定的圖騰以便於校正作業的進行；(2)圖騰的大小與位置需要配合視覺感測器的視野進行調整等繁瑣作業；(3)需要調整機械手臂的姿態至使圖騰出現於視覺感測器之感測範圍之內等調整作業；(4)圖騰容易因受損或弄髒而需要維護或影響校正作業；(5)圖騰需要有三個不共線特徵點，因此圖騰通常較為複雜而需要特別注意貼在工作平面上的方位。

本發明之其中一目的在於提供一種用於自動控制設備之校正裝置與校正方法，藉以解決前述校正自動控制設備之習知作法所產生的相關問題。

根據本發明之一實施例所揭露的一種校正裝置，適於校正自動控制設備之待校正結構相對於工作平面之姿態，且包括投影機以及視覺感測器。投影機與視覺感測器適於配置於自動控制設備之待校正結構處。投影機用於將校正圖案沿視覺感測器之光軸投影於工作平面。視覺感測器用於擷取校正圖案投影於工作平面的投影影像，藉以讓自動控制設備依據投影影像與校正圖案之間的轉換矩陣來決定移動待校正結構的方式或動作。

根據本發明之一實施例所揭露的一種校正方法，適於校正自動控制設備相對於工作平面之姿態，且包括以下步驟：提供投影機與視覺感測器於自動控制設備之待校正結構處；令投影機將校正圖案沿視覺感測器之光軸投影於工作平面；令視覺感測器處擷取校正圖案投影於工作平面的投影影像；計算校正圖案與投影影像之間的轉換矩陣；以及依據轉換矩陣以令自動控制設備移動待校正結構。

根據本發明前述實施例所揭露的用於自動控制設備之校正裝置與校正方法，由於用於校正用的校正圖案是以投影方式成像於工作平面，換句話說，本發明前述提出的校正裝置與校正方法，是為一種非接觸式的視覺校正手段，這使得自動控制設備之待校正結構對於工作平面的校正可自動化進行，省去且解決了傳統以人為目視的校正方式所產生繁瑣、耗時且誤差大等問題，在機械手臂的姿態校正時，也無須或省去了傳統上需要事先於工作平面上貼校正板的相關作業與成本。

以上之關於本發明揭露內容之說明及以下之實施方式之說明，係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。

以下搭配附圖之一或多個實施例提供了足夠詳細的描述，使本領域具有通常知識者能夠透徹理解本發明並據以實施。應當理解地，以下的描述並不旨在將本發明限定為某些特定的實施例。相反地，其旨在涵蓋由申請專利範圍所界定之各種實施例的精神和範圍的替換物、修飾及等同物。

此外，為達圖面整潔之目的，一些習知慣用的結構與元件在以下實施例所搭配的附圖中可能會以簡化示意的方式繪示之。並且，附圖中可能有部份特徵的比例或尺寸會略為放大或改變，以達到便於理解與觀看的目的，但這並非用於限制本發明。且為便於說明，圖式附有座標。

另外，下文中可能使用如「實質上」、「約」及「大致上」等用語，以用於描述所修飾之情況或事件可能存在的合理或可接受的偏差量，但仍可達到所預期的結果。下文中也可能使用「至少一」來描述所指元件的數量，但除非另有明確說明，其不應僅限於數量為「僅有一」的情況。下文中也可能使用「及/或」的用語，其應被理解為包括所列出項目中之任一者及一或多者之所有組合。下文可能使用「連接」、「設置」、「固定」、「組裝」等用語，但除非另有明確說明，其不應僅限於被描述物以直接而無中間媒介的方式「連接」、「設置」、「固定」或「組裝」於另一被描述物，而可理解為被描述物之間可包括一或多個中間媒介的情況。

以下，本發明之一些與其他實施例將參酌圖1~7進行說明。但可理解地，以下所描述的各種細節僅是示例之用，而非用於限制本發明。

首先，請參閱圖1~4，本發明之一實施例提出了一種校正裝置(calibration device)1，適於校正一自動控制設備(autonomous control equipment) 9。這裡所述的自動控制設備9可以但不限於由一機械手臂(robotic arm)RA以及一移動載具C所構成。機械手臂RA可以但不限於是任何具有模仿人類手臂功能以完成各種自動化作業的常見設備，如圖所示，機械手臂RA可具有多關節連接以允許在平面或三度空間中進行所指定的運動。所述移動載具C可以但不限於是常見於自動化產線中的合適無人搬運車(autonomously guided vehicle，AGV)。機械手臂RA可被承載於移動載具C上，以隨著移動載具C移動至所預定的目的地進行相關的工作任務。機械手臂RA與移動載具C可共同構成常見之自主性移動搬運機器人(autonomous mobile robot，AMR)，但需聲明的是，圖示之機械手臂RA與移動載具C僅為便於說明之目的，並非用於限制本發明，且於一些應用中，自動控制設備可省略移動載具而僅由機械手臂所構成。

進一步地，機械手臂RA的末端可具有一待校正結構F，所述之待校正結構F可以但不限於泛指工業機器人(如機械手臂)之最末端的一平台或組裝架，其可進行如旋轉或伸縮等動作，且可具有一平面(或稱「法蘭面(flange)」)或組裝面，以供一末端效應器(end effector)(未繪示)裝設。所述末端效應器泛指安裝於機械手臂末端以用於與周操環境進行互動的部分，例如可為具有夾持功能的夾爪類工具以在產線上進行工件(workpiece)的夾取與下料、或可為適於與工件進行特殊目的加工或互動的工具，以進行如鎖螺絲、拋光或焊接等作業。前述之平面與組裝面，即為所欲於工作任務執行前先行校正姿態與絕對位置的部分，以利於確保甚至提升安裝末端效應器後的重複精度(repeatability accuracy)與絕對精度(absolute accuracy)。

為此，校正裝置1可例如可拆卸地安裝或配置於或鄰設於機械手臂RA之待校正結構F處，藉以與一工作平面(working plane)W進行與校正相關的互動，從而完成待校正結構F相對於工作平面W的姿態校正(pose calibration)與絕對精度校正。

此外，如圖所示，移動載具C上或內可設置一控制中心8，其可以但不限於是可以有線或無線等通訊方式通訊連接機械手臂RA、移動載具C及/或校正裝置1的任何合適的控制器，可用於控制機械手臂RA、移動載具C及/或校正裝置1或進行相關的訊號傳遞、儲存、計算與分析。圖示之控制中心8僅為示意之用而非於任何方面限制本發明；於其他實施例中，控制中心8也可非設置於機械手臂RA、移動載具C或校正裝置1上，而是以遠程無線的方式與機械手臂RA、移動載具C及/或校正裝置1進行溝通與操作。

以下，將針對校正裝置1的部分進行介紹。於本實施例中，校正裝置1可至少包括一視覺感測器(vision sensor)V以及一投影機(projector)P。所述之視覺感測器V可以但不限於是任何具有擷取影像功能的合適相機。如圖所示，視覺感測器V可以沿其光軸(optical axis)OA接收或擷取影像。所述之投影機P可以但不限於是任何合適的實物投影機或數位投影機，具有將所預存或所接收到的影像投影成像的功能。如圖所示，投影機P可以沿一投射方向(projecting direction)PD進行投影。於一例中，視覺感測器V之光軸OA與投影機P之投射方向PD可呈一角度(例如，約90度)。

為使投影機P沿投射方向PD所投出之影像沿著視覺感測器V之光軸OA進入視覺感測器V，於本實施例中，校正裝置1還可包括一折射透鏡M，其例如可配置於光軸OA與投射方向PD的交會處且與光軸OA與投射方向PD均呈一角度(例如，約45度)。藉此，自投影機P沿投射方向PD所投射之影像，可經由折射透鏡M的折射而實質上沿著光軸OA的方向往目標表面(如工作平面W)投影，使得自工作平面W反射的投影影像(如圖所示之校正圖案CP)可沿著實質上平行於光軸OA的方向進入視覺感測器V。補充說明的是，由於投影機P之投影可藉由折射透鏡M而與視覺感測器V之光軸OA為同軸，因此投影機P較不會限制或影響視覺感測器V的工作距離與視野。

此外，為了固持視覺感測器V、投影機P以及折射透鏡M等前述構件，於本實施例中，校正裝置1還可包括一殼件10及一組裝座20，視覺感測器V、投影機P與折射透鏡M可配置或容納於一殼件10中，而殼件10可經由組裝座20可拆卸地安裝或套設於機械手臂RA之待校正結構F處，其中，殼件10可具有一裸孔(open hole)H，其位置可對應於視覺感測器V，或者說，裸孔H可位於光軸OA上，藉以使沿光軸OA反射的投影影像可沿著光軸OA進入視覺感測器V。但需說明的是，圖示之殼件10與組裝座20僅為示意而非於任何方面限制本發明，任何適於將視覺感測器V與投影機P整合為一體，並組裝於機械手臂RA之待校正結構F處的結構，均可適於作為本發明之殼件與組裝座；例如於其他實施例中，校正裝置之殼件與組裝座也可為一體成型之結構；或者，於另一些其他實施例中，校正裝置也可省略組裝座而改為直接以殼件固持於末端效應器的方式進行組裝。具體地，雖未繪示，校正裝置之殼件也可與末端效應器共軸(coaxial)的方式直接固持於末端效應器。

進一步來看，於本實施例中，校正裝置1還包括一旋轉傳動機構30，旋轉傳動機構30可以但不限於是一傳輸帶(transmission belt)，適於組裝或套設於機械手臂RA之待校正結構F以及連接視覺感測器V，藉以利用待校正結構F之帶動使視覺感測器V以其光軸OA進行旋轉(如旋轉方向A所示)。

以下，將針對利用前述之校正裝置1對機械手臂RA之姿態與位置進行校正之校正方法進行介紹，為此，請併同前述之圖式再接續參閱圖5~7，其中，圖5係繪示本發明之一實施例中利用校正裝置1之校正方法的步驟流程示意圖，圖6A圖6A係繪示校正裝置1所預存於投影機P之校正圖案CP，而圖6B~7係繪示進行所述校正方法時校正裝置1所拍攝到校正圖案CP投影於工作平面W上所形成之多數投影影像PP’~PP。

首先，於安裝校正裝置1之步驟S01，使用者可例如透過前述之組裝座20以將視覺感測器V與投影機P，固持於機械手臂RA之待校正結構F處或附近。需說明的是，步驟S01是指使用校正裝置1之前，涉及將視覺感測器V與投影機P安裝於機械手臂RA之特定位置的事前準備工作，也就是說，若校正裝置1已事先安裝定位，則可省略執行步驟S01。

接著，移動載具C即可將機械手臂RA移近於工作平面W，以使機械手臂RA可將其上之校正裝置1移至工作平面W的上方，以便於開始進行機械手臂RA相對於工作平面W的姿態校正。例如於執行令投影機於自動控制設備之待校正結構處，將校正圖案投影於工作平面W之步驟S02，以令投影機P可將所預存或所接收到的影像投影於工作平面W。舉例來說，內建於投影機P或預定以投影機P進行投射之用於校正的特定圖案，可例如為圖6A所示之校正圖案CP，其可以但不限於為具有高對比色塊交錯配置的方形圖騰，但本發明並非以此為限。例如於其他實施例中，用於校正用之校正圖案也可為任何其他具有適於辨識方位或角度之特徵的合適圖案。

接著或同時，執行令視覺感測器於自動控制設備之待校正結構處，擷取投影於工作平面的投影影像之步驟S03，校正裝置1將藉由視覺感測器V來擷取投影機P將校正圖案CP投影於工作平面W所形成的投影影像(projection)，在機械手臂RA之姿態被校正至定位之前，視覺感測器V可能會擷取到如圖6B~6D的投影影像PP’、PP’’、PP’’’，可見到投影影像PP’、PP’’、PP’’’與圖6A所示用於確定機械手臂RA之姿態的校正圖案CP，在形狀及/或方位上具有的差異或形變。

接著或同時，於計算校正圖案與投影影像之間的轉換矩陣(transformation matrix)之步驟S04，與視覺感測器V通訊連接之控制中心(如前述之控制中心8)可基於所擷取到的投影影像(例如，投影影像PP’、PP’’或PP’’’)與所預定之校正圖案CP之間的形狀差異而計算出相應的轉換矩陣。

接著或同時，於依據轉換矩陣以令自動控制設備移動待校正結構之步驟S05，具體地，與機械手臂RA通訊連接之控制中心8可依據所計算獲得的轉換矩陣(包括旋轉與平移)，得知如何移動機械手臂RA才能使投影影像轉換成實質上接近或相同於校正圖案CP，換句話說，機械手臂RA可依據所計算獲得的轉換矩陣，來移動待校正結構F，以令待校正結構F移動至使投影機P所形成之投影影像，且被視覺感測器V擷取到為實質上相同或相似於校正圖案CP的位置(例如，圖2所示之投影影像PP)，此時，待校正結構F將實質上平行於工作平面W，從而完成了機械手臂RA相對於工作平面W的姿態校正。補充說明的是，當出現如圖6D之投影影像PP’’’時，也可依據所獲得的轉換矩陣，以決定視覺感測器V以其光軸OA旋轉的角度，藉以調整投影影像PP’’’的方位。

於此，由於機械手臂RA已藉由前述步驟，將待校正結構F調整至與工作平面W平行的姿態，因此後續關於待校正結構F相對於工作平面W之座標的絕對位置，可僅採用單點的標記即可。

具體地，可接續前述步驟而接著執行步驟S06，以藉由視覺感測器V決定投影影像PP與工作平面W上之一校正標定點D(calibration mark)之間的距離，於此步驟中，與視覺感測器V通訊連接之控制中心8可經由視覺感測器V，得知工作平面W上之校正標定點D的位置，從而可得知所投影之投影影像PP與校正標定點D之間的距離，換句話說，可利用視覺感測器V來決定待校正結構F相對於其所預定到達之絕對位置的距離。

接著或同時，於步驟S07，將依據所決定之距離，將投影影像PP對準校正標定點D，具體地，與機械手臂RA通訊連接之控制中心8可依據投影影像PP之所預定的其中一特徵(例如，高對比的色塊之交會處)，與校正標定點D之間所計算出的距離來移動機械手臂RA，以使投影影像PP中之特徵點(如投影影像PP中高對比色塊之交會處，或者說，投影影像PP之中心點)，移動至重疊於校正標定點D的位置，從而完成待校正結構F相對於工作平面W之座標的絕對位置定位。

進一步地，由於自動控制設備之待校正結構可藉由投影校正圖案的方式自動化地將姿態校正為與工作平面平行或呈現特定角度，使得工作平面上可僅需提供單點的校正標定點，即足以使校正裝置進行後續待校正結構之姿態與工作平面之座標的絕對位置定位。

並且，由於投影機之投影可藉由折射透鏡而與視覺感測器之光軸為同軸，因此投影機較不會限制或影響視覺感測器的工作距離與視野。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍所為之更動與潤飾，均屬於本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。

1:校正裝置 8:控制中心 9:自動控制設備 10:殼件 20:組裝座 30:旋轉傳動機構 A:旋轉方向 C:移動載具 CP:校正圖案 D:校正標定點 F:待校正結構 H:裸孔 OA:光軸 M:折射透鏡 P:投影機 PD:投射方向 PP, PP’, PP’’, PP’’’:投影影像 RA:機械手臂 S01-S07:步驟 V:視覺感測器 W:工作平面

圖1係繪示本發明之一實施例之校正裝置應用於自動控制設備的示意圖。圖2係繪示圖1之校正裝置與工作平面進行校正時之局部放大的示意圖。圖3係繪示圖1之校正裝置與機械手臂的分解示意圖。圖4係繪示圖1之校正裝置的側剖示意圖。圖5係繪示本發明之一實施例之校正方法的步驟流程示意圖。圖6A係繪示本發明之一實施例之校正裝置所預存於投影機之校正圖案。圖6B~6D係繪示校正裝置於機械手臂之姿態未定位之前所擷取到圖6A之校正圖案投影於工作平面時之投影影像。圖7係繪示本發明之一實施例之校正裝置將投影影像對準於校正標定點時的示意圖。

1:校正裝置

10:殼件

30:旋轉傳動機構

A:旋轉方向

D:校正標定點

F:待校正結構

H:裸孔

M:折射透鏡

OA:光軸

P:投影機

PD:投射方向

PP:投影影像

RA:機械手臂

V:視覺感測器

W:工作平面

Claims

一種校正裝置，適於校正一自動控制設備之一待校正結構相對於一工作平面之姿態，該校正裝置包括：一投影機以及一視覺感測器，適於配置於該自動控制設備之該待校正結構處；其中該投影機用於將一校正圖案沿該視覺感測器之一光軸，投影於該工作平面上，該視覺感測器用於擷取該校正圖案投影於該工作平面的一投影影像，藉以由該自動控制設備依據該投影影像與該校正圖案之間的轉換矩陣，決定移動該待校正結構的動作，且該投影機與該視覺感測器之至少其中一者為可動，以使投影於該工作平面之該投影影像與該視覺感測器之該光軸具有相對旋轉量。
如請求項1所述校正裝置，其中該自動控制設備包括一機械手臂，該校正裝置更包括一殼件，該投影機與該視覺感測器經由該殼件可拆卸地固持於該機械手臂之一末端效應器。
如請求項2所述校正裝置，更包括一旋轉傳動機構，用於連接該視覺感測器與該機械手臂之該末端效應器，以受該末端效應器驅使而令該視覺感測器以該光軸進行旋轉。
如請求項2所述校正裝置，更包括一折射透鏡，容置於該殼件內，且使該投影機之一投射方向以及該視覺感測器之該光軸呈45度角。
如請求項4所述校正裝置，其中該投影機之該投射方向實質上垂直於該視覺感測器之該光軸。
一種校正方法，適於校正一自動控制設備相對於一工作平面之姿態，該校正方法包括：提供一投影機與一視覺感測器於該自動控制設備之一待校正結構處；令該投影機將一校正圖案沿該視覺感測器之一光軸投影於該工作平面上；令該視覺感測器擷取該校正圖案投影於該工作平面的一投影影像；計算該校正圖案與該投影影像之間的一轉換矩陣；依據該轉換矩陣令該視覺感測器以該光軸旋轉，以使投影於該工作平面之該投影影像與該視覺感測器之該光軸具有相對旋轉量；以及依據該轉換矩陣以令該自動控制設備移動該待校正結構。
如請求項6所述之校正方法，其中於依據該轉換矩陣以令該自動控制設備移動該待校正結構之步驟之後包括：藉由該視覺感測器決定該投影影像與該工作平面上之一校正標定點之間的一距離；以及依據所決定之該距離將該投影影像對準該校正標定點。
如請求項6所述之校正方法，其中於提供一投影機與一視覺感測器於該自動控制設備之該待校正結構處之步驟包括：令該投影機之一投射方向實質上垂直於該視覺感測器之該光軸。