TWI677413B - 用於機械手臂系統之校正方法及裝置 - Google Patents

用於機械手臂系統之校正方法及裝置 Download PDF

Info

Publication number
TWI677413B
TWI677413B TW107141139A TW107141139A TWI677413B TW I677413 B TWI677413 B TW I677413B TW 107141139 A TW107141139 A TW 107141139A TW 107141139 A TW107141139 A TW 107141139A TW I677413 B TWI677413 B TW I677413B
Authority
TW
Taiwan
Prior art keywords
point cloud
point
feature data
plane
correction object
Prior art date
Application number
TW107141139A
Other languages
English (en)
Other versions
TW202019642A (zh
Inventor
黃捷
Jay Huang
鄭宇群
Yu-Chun Cheng
鄭憲君
Hian-Kun Tenn
高彩齡
Tsai-Ling Kao
Original Assignee
財團法人工業技術研究院
Industrial Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院, Industrial Technology Research Institute filed Critical 財團法人工業技術研究院
Priority to TW107141139A priority Critical patent/TWI677413B/zh
Priority to CN201811530966.0A priority patent/CN111195897B/zh
Priority to US16/516,694 priority patent/US11524406B2/en
Application granted granted Critical
Publication of TWI677413B publication Critical patent/TWI677413B/zh
Publication of TW202019642A publication Critical patent/TW202019642A/zh

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37567—3-D vision, stereo vision, with two cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39008—Fixed camera detects reference pattern held by end effector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40594—Two range sensors for recognizing 3-D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本揭露提出一種用於機械手臂系統之校正方法，用於一計算裝置中，包括：接收由一視覺裝置擷取固定於一機械手臂一前端上之一校正物件的一影像，其中上述機械手臂之一基座具有一基座坐標系，且上述機械手臂的上述前端與上述基座具有一第一相對關係，上述機械手臂的上述前端與上述校正物件具有一第二相對關係；根據上述影像取得上述校正物件的一三維特徵資料；以及根據上述三維特徵資料、上述第一相對關係及上述第二相對關係計算取得上述視覺裝置與上述機械手臂之上述基座之間的一第三相對關係，以校正上述機器手臂與上述視覺裝置的誤差。

Description

用於機械手臂系統之校正方法及裝置
本揭露係有關於校正方法及裝置，特別是有關於一種用於機械手臂系統之校正方法及裝置。
隨著工業生產技術的快速發展，工廠自動化利用機械手臂的視覺裝置定位工件的位置和姿態，引導機械手臂自動精准地抓取工件，進行組裝製造，以提高精密快速生產的效率。而影響機械手臂自動精確移動的主要關鍵在於引導的視覺裝置，利用視覺裝置校正機械手臂減少引導誤差，成為機械手臂重要的課題。
使用視覺裝置來測量工件姿態的顯著缺點在於，視覺裝置通常相對於視覺裝置的坐標系測量工件姿態，而機械手臂相對於機械手臂的坐標系移動機械手臂前端的執行器。如在本文中所使用的，術語「姿態」說明性地指三維位置和三維旋轉的組合 。因此，必須將視覺裝置計算的工件姿態轉換成機械手臂的坐標系以使機械手臂利用視覺裝置計算工件姿態。
然而，校正視覺裝置的坐標系和機械手臂的坐標系之間的關係目前皆有校正時間過長且精確度不高的問題。有鑑於此，本發明提出一種用於機械手臂系統之校正方法及裝置，以提昇校正效率並改善機械手臂的定位精確度。
以下揭露的內容僅為示例性的，且不意指以任何方式加以限制。除所述說明方面、實施方式和特徵之外，透過參照附圖和下述具體實施方式，其他方面、實施方式和特徵也將顯而易見。即，以下揭露的內容被提供以介紹概念、重點、益處及本文所描述新穎且非顯而易見的技術優勢。所選擇，非所有的，實施例將進一步詳細描述如下。因此，以下揭露的內容並不意旨在所要求保護主題的必要特徵，也不意旨在決定所要求保護主題的範圍中使用。
因此，本發明之主要目的即在於提供一種用於機械手臂系統之校正方法及裝置，以改善上述缺點。
本揭露提出一種用於機械手臂系統之校正方法，上述機械手臂系統包括一機械手臂、一校正物件、一視覺裝置和一計算裝置，上述校正方法包括：藉由上述視覺裝置擷取固定於上述機械手臂一前端上之上述校正物件的一影像，其中上述機械手臂之一基座具有一基座坐標系，且上述機械手臂的上述前端與上述基座具有一第一相對關係，上述機械手臂的上述前端與上述校正物件具有一第二相對關係；藉由上述視覺裝置計算裝置接收上述影像，並根據上述影像取得上述校正物件的一三維特徵資料；以及藉由上述計算裝置根據上述三維特徵資料、上述第一相對關係及上述第二相對關係計算取得上述視覺裝置與上述機械手臂之上述基座之間的一第三相對關係，以校正上述機器手臂與上述視覺裝置的誤差。
在一些實施例中，藉由上述計算裝置根據上述影像取得上述校正物件的上述三維特徵資料更包括：取得上述影像中上述校正物件的點雲資訊；比較每一點雲基元的深度值與左右兩側點雲基元的深度值；當一第一點雲基元的一第一深度值大於左右兩側一第二點雲基元的一第二深度值且上述第一深度值比上述第二深度值其中之一大於一第一門檻值時，設定上述第一點雲基元為一目標點；根據上述目標點將上述點雲資訊分為複數群組，其中每一群組係一平面資訊；根據上述平面資訊取得一邊界特徵資料及一平面特徵資料；以及根據上述邊界特徵資料及上述平面特徵資料取得上述校正物件的上述三維特徵資料。
在一些實施例中，藉由上述計算裝置根據上述目標點將上述點雲資訊分為複數群組更包括：比較每一目標點的一目標深度值與周遭點雲基元的深度值；以及當一第一目標點的一第一目標深度值比與上述周遭點雲基元中一第三點雲基元的一第三深度值之差值絕對值小於一第二門檻值時，判定上述第三點雲基元與上述第一目標點屬於同一群組。
在一些實施例中，上述第一門檻值係大於上述第二門檻值。
在一些實施例中，上述三維特徵資訊係至少包括：每一平面的點位置、一面積及一位置標準差；每一平面的一法向量；任二平面相交之角度；任二平面相交之長度；任二平面相交之一起點三維位置及一終點三維位置；以及任三平面相交之點三維位置。
在一些實施例中，以上述三維特徵資料、上述第一相對關係及上述第二相對關係及上述第三相對關係所組成之一三維空間方程式表示如下：AZ=BX其中A表示上述三維特徵資料，B表示上述第一相對關係，X表示上述第二相對關係及Z表示上述第三相對關係。
在一些實施例中，上述計算裝置更利用一最佳化方程式計算取得上述第三相對關係，上述最佳化方程式表示如下：
Figure TWI677413B_D0001
 其中α、β、γ係為權重值，N d 為上述校正物件之頂點間的正規化距離、N a 為上述校正物件之平面間的正規化角度、N p 為上述校正物件之平面間的正規化平面強度，Dis corner 為上述校正物件的頂點間之一距離、Arg normal 為上述校正物件之平面的法向量角度點化以及Plane diff 為上述校正物件表面之平面化程度。
在一些實施例中，上述校正物件係一三維物件，且不具有任何定位標記。
本揭露提出一種機械手臂系統，包括：一校正物件；一機械手臂，其中上述校正物件係固定於上述機械手臂之一前端上；一視覺裝置，擷取上述校正物件的一影像；以及一計算裝置，耦接於上述機械手臂及上述視覺裝置；其中上述機械手臂之一基座具有一基座坐標系 ，且上述機械手臂的上述前端與上述基座具有一第一相對關係，上述機械手臂的上述前端與上述校正物件具有一第二相對關係；上述計算裝置由上述視覺裝置接收上述影像，並根據上述影像取得上述校正物件的一三維特徵資料；以及上述計算裝置根據上述三維特徵資料、上述第一相對關係及上述第二相對關係計算取得上述視覺裝置與上述機械手臂之上述基座之間的一第三相對關係，以校正上述機器手臂與上述視覺裝置的誤差。
本揭露提出一種用於機械手臂系統之校正方法，用於一計算裝置中，包括：接收由一視覺裝置擷取固定於一機械手臂一前端上之一校正物件的一影像，其中上述機械手臂之一基座具有一基座坐標系 ，且上述機械手臂的上述前端與上述基座具有一第一相對關係，上述機械手臂的上述前端與上述校正物件具有一第二相對關係；根據上述影像取得上述校正物件的一三維特徵資料；以及根據上述三維特徵資料、上述第一相對關係及上述第二相對關係計算取得上述視覺裝置與上述機械手臂之上述基座之間的一第三相對關係，以校正上述機器手臂與上述視覺裝置的誤差。
在下文中將參考附圖對本揭露的各方面進行更充分的描述。然而，本揭露可以具體化成許多不同形式且不應解釋為侷限於貫穿本揭露所呈現的任何特定結構或功能。相反地，提供這些方面將使得本揭露周全且完整，並且本揭露將給本領域技術人員充分地傳達本揭露的範圍。基於本文所教導的內容，本領域的技術人員應意識到，無論是單獨還是結合本揭露的任何其它方面實現本文所揭露的任何方面，本揭露的範圍旨在涵蓋本文中所揭露的任何方面。例如，可以使用本文所提出任意數量的裝置或者執行方法來實現。另外，除了本文所提出本揭露的多個方面之外，本揭露的範圍更旨在涵蓋使用其它結構、功能或結構和功能來實現的裝置或方法。應可理解，其可透過申請專利範圍的一或多個元件具體化本文所揭露的任何方面。
詞語「示例性」在本文中用於表示「用作示例、實例或說明」。本揭露的任何方面或本文描述為「示例性」的設計不一定被解釋為優選於或優於本揭露或設計的其他方面。此外，相同的數字在所有若干圖示中指示相同的元件，且除非在描述中另有指定，冠詞「一」和「上述」包含複數的參考。
可以理解，當元件被稱為被「連接」或「耦接」至另一元件時，該元件可被直接地連接到或耦接至另一元件或者可存在中間元件。相反地，當該元件被稱為被「直接連接」或「直接耦接」至到另一元件時，則不存在中間元件。用於描述元件之間的關係的其他詞語應以類似方式被解釋（例如，「在…之間」與「直接在…之間」、「相鄰」與「直接相鄰」等方式）。
說明性地，機械手臂前端是能夠抓放工件的可控制機器，並且可包括例如機械夾具、真空吸引器、電磁觸點等。—般地，如本文中所使用的，機械手臂基座和前端的組合被稱為機械手臂。可由用於執行操作的機械手臂訪問的三維區域被稱為機械手臂的工作空間。
第1圖係依據本發明之一實施例實現一機械手臂系統100之一系統配置圖。在第1圖中，機械手臂系統100包括一機械手臂120、一視覺裝置130和一計算裝置140。機械手臂120具有一前端122、一末端124及複數關節126。末端124設置在一基座150之上。前端122能隨使用者的需求，裝配功能性元件例如鐳射、點膠頭、焊接、切割、夾取等組件。在此實施例中，一校正物件110係固定於機械手臂120的前端122上，其中校正物件110係一三維物件，且不具有任何定位標記。關節126能提供機械手臂120旋轉動作，並且作為機械手臂120力臂之間的連接。隨著各種機械手臂的設計，可能有不同數量的關節與力臂，並不限制於本實施例中。基座150為一可旋轉的底座或一固定的底座。
視覺裝置130可捕捉機械手臂120工作空間的影像，其中每一影像資料包括2D像素陣列及每一像素的深度值，上述深度值對應於由該像素成像的點至視覺裝置130的距離。由於在2D像素陣列中像素的垂直位置和水平位置本身對應於像素相對於視覺裝置130所表示點的天頂角和方位角，因此每一影像可透過對應視覺裝置130範圍內物件之可視點的三維點雲來表示。在一實施例中，視覺裝置130可以是任何市售之可擷取深度影像的深度攝影機或設備。
計算裝置140可以有線或無線方式連接至機械手臂120及視覺裝置130，並且包含處理器及可以存儲程式的一記憶體，用來控制機械手臂120的動作以及控制並接收視覺裝置130所擷取之影像。計算裝置140的類型範圍從小型手持裝置（例如，行動電話∕可攜式電腦）到大型主機系統（例如大型電腦）。可攜式電腦的示例包括個人數位助理(PDA)、筆記型電腦等裝置。
應可理解，第1圖所示的計算裝置140係一機械手臂系統100架構的示例。第1圖所示的每個元件可經由任何類型的計算裝置來實現，像是參考第7圖描述的計算裝置700，如第7圖所示。
第2圖係顯示根據本揭露一實施例所述之用於機械手臂系統100之校正方法200之流程圖。此方法可執行於如第1圖所示之機械手臂系統100中。
在步驟S205中，視覺裝置130擷取固定於機械手臂120一前端上之校正物件110的影像，其中機械手臂120之基座150具有基座坐標系，且機械手臂120的前端與基座150具有一第一相對關係，機械手臂120的前端與校正物件110具有一第二相對關係。在一實施例中，校正物件110係一三維物件，且不具有任何定位標記。
接著，在步驟S210中，計算裝置140接收上述影像，並根據影像取得校正物件110的三維特徵資料。在步驟S215中，計算裝置140根據上述三維特徵資料、上述第一相對關係及上述第二相對關係計算取得上述視覺裝置130與上述機械手臂120之上述基座150之間的一第三相對關係，以校正機器手臂120與視覺裝置130的誤差。
第3圖係顯示根據本揭露一實施例所述之用於機械手臂系統100之校正方法300之流程圖。此方法可執行於如第1圖所示之計算裝置140的處理器中。
在步驟S305中，計算裝置140接收由一視覺裝置130擷取固定於一機械手臂120一前端122上之一校正物件110的影像，其中機械手臂120之一基座150具有一基座坐標系，且機械手臂120的前端122與基座150具有一第一相對關係，機械手臂120的前端122與校正物件110具有一第二相對關係。接著，在步驟S310中，計算裝置140根據上述影像取得校正物件110的三維特徵資料。在步驟S315中，計算裝置140根據三維特徵資料、第一相對關係及第二相對關係計算取得視覺裝置130與機械手臂120之基座150之間的一第三相對關係，以校正機器手臂120與視覺裝置130的誤差。
需注意的是，在第2、3圖的校正方法200及300中，機器手臂120前端122與校正物件110為固定的。換言之，機器手臂120前端122無須移動校正物件110來進行校正。此外，由於機器手臂120前端122與校正物件110為固定的，因此視覺裝置130也無須由多個方位視角取得校正物件110的影像。下方將詳細說明在步驟S210及S310中計算裝置140如何根據影像取得校正物件110的三維特徵資料。
首先，計算裝置140根據影像取得影像中校正物件110的點雲資訊。接著，計算裝置140比較每一點雲基元的深度值與左右兩側點雲基元的深度值。當一第一點雲基元的一第一深度值大於左右兩側第二點雲基元的第二深度值且第一深度值比第二深度值其中之一大於一第一門檻值時，設定上述第一點雲基元為一目標點。舉例說明，第4A圖係顯示根據本揭露一實施例之由點雲基元所組成之影像示意圖。點雲基元402的深度值為40公厘(mm)，點雲基元403的深度值為78公厘，及點雲基元404的深度值為32公厘。以點雲基元403為例，計算裝置140比較點雲基元403的深度值與左右兩側點雲基元402及404的深度值。當點雲基元403的深度值大於左右兩側點雲基元402及404的深度值且點雲基元403的深度值比點雲基元402及404的深度值其中之一大於一第一門檻值（例如，10公厘）時，設定點雲基元403為一目標點。
在計算裝置140比較完影像中所有點雲基元的深度值與左右兩側點雲基元的深度值後，計算裝置140將取得影像中所有目標點。如第4B圖所示，灰色方格即為目標點。
在另一實施例中，計算裝置140可無須比較每一點雲基元的深度值與左右兩側點雲基元的深度值。計算裝置140可每隔一預定數量的點雲基元再進行比較程序。舉例來說，如第4A圖所示，假設預定數量係為2。當計算裝置140對點雲基元403執行完比較程序後，無須對點雲基元404及405進行比較程序，直接對點雲基元406執行比較程序。須注意的是，當上述預定數量愈多時，計算裝置140擷取特徵資料的速度會愈快，但是特徵資料的辨識率會下降。因此，使用者可依操作上之需求調整預定數量。
再來，計算裝置140根據目標點將點雲資訊分為複數群組，其中每一群組係一平面資訊。更詳細地說明，計算裝置140比較每一目標點的一目標深度值與周遭點雲基元的深度值。當一第一目標點的一第一目標深度值與周遭點雲基元中一第三點雲基元的一第三深度值之差值絕對值小於一第二門檻值時，判定第三點雲基元與第一目標點屬於同一群組。在一實施例中，上述第一門檻值係大於上述第二門檻值。
第5A圖係顯示根據本揭露一實施例之計算裝置140取得影像中所有目標點之示意圖。第5A圖中具有目標點510、520、521、530及540。以目標點 510為例，計算裝置140比較目標點510的目標深度值與周遭點雲基元5101、5102、5103、5104、5105的深度值。當目標點510的目標深度值與點雲基元5101、5102、5103的深度值之差值絕對值小於第二門檻值（例如，5公厘）時，判定點雲基元5101、5102、5103與目標點510屬於同一群組。
計算裝置140接著判斷點雲基元5101、5102、5103的深度值與周遭點雲基元的深度值之差值絕對值是否小於第二門檻值。當點雲基元5101、5102、5103的深度值與周遭點雲基元的深度值之差值絕對值小於第二門檻值時，計算裝置140判定點雲基元5101、5102、5103周遭的點雲基元與點雲基元5101、5102、5103屬於同一群組。依此類推，計算裝置140將點雲資訊分為複數群組，分組結果如第5B圖所示，每一群組以虛線方框表示。
在分組的過程中，有些群組可能會發生結合。如第5B圖所示，目標點520及521在分組的過程中被計算裝置140分為同一群組。此外，上述群組即為在三維空間中真實之平面資訊。
計算裝置140利用上述平面資訊計算出邊界特徵資料，其中邊界特徵資料可被視為任二平面相交所產生的一邊界。計算裝置140判定邊界的方法是測試任二平面是否存在相交的區域。如第5C圖所示為例，在影像中存在代表4個平面的4個群組，其中平面1和平面2中有重疊的區域（區域551、552）。計算裝置140判斷此重疊區域為一邊界，並記錄此邊界係由平面1及平面2所生成。因此，計算裝置140建立邊界特徵資料，如表格一所示。
• 相交平面各平面的面積及位置標準差 • 相交平面各平面之法向量 • 平面相交之角度 • 平面相交之長度 • 平面相交之起點三維位置及終點三維位置
表格一
在判定完邊界後，計算裝置140根據邊界特徵資料找出任三平面的交點。在真實空間中，一三維物件之角點至少要三個相交平面以上才能構成。因此，計算裝置140根據上述平面資訊及邊界特徵資料計算是否存在任三個相交平面所形成的區域。當計算裝置140判定存在任三個相交平面所形成的區域時，計算裝置140設定上述區域為角點區域。計算裝置140根據上述角點區域定位出於真實空間中的角點位置，並根據角點位置建立平面特徵資料，如表格二所示。
• 相交平面各平面的面積及位置標準差 • 相交平面各平面之法向量 • 三個平面中任二平面相交之角度 • 三個平面中任二平面相交之長度 • 三個平面中任二平面相交之起點三維位置及終點三維位置 • 三平面相交之點的三維位置
表格二
接著，計算裝置140根據邊界特徵資料及平面特徵資料取得校正物件110的三維特徵資料。換言之，無論校正物件110是幾面體，計算裝置140皆可利用表格一及表格二中之邊界特徵資料及平面特徵資料取得校正物件110的三維特徵資料，如表格三所示。
所有平面 • 點位置及平面面積及位置標準差 • 法向量
所有任相交二平面 • 相交平面各平面面積及位置標準差 • 相交平面各平面之法向量 • 平面相交之角度 • 平面相交之長度 • 平面相交之起點三維位置及終點三維位置
所有任相交三平面 • 相交平面各平面面積及位置標準差 • 相交平面各平面之法向量 • 任二平面相交之角度 • 任二平面相交之長度 • 任二平面相交之起點三維位置及終點三維位置 • 三平面相交之點三維位置
表格三
在計算裝置140取得三維特徵資料後，計算裝置140可根據三維特徵資料、第一相對關係及第二相對關係計算取得視覺裝置130與機械手臂120基座150之間的一第三相對關係。下方將詳細說明在步驟S215及S315中計算裝置140如何取得第三相對關係。
由三維特徵資料、第一相對關係及第二相對關係及第三相對關係所組成之一三維空間方程式表示如下：AZ=BX其中A表示三維特徵資料，B表示第一相對關係，X表示第二相對關係及Z表示第三相對關係。在一實施例中，第三相對關係Z包含了位移關係及旋轉關係，且第三相對關係Z可以用矩陣、球座標系或其他形式來表示。
在本揭露中，校正物件110的長寬高、機械手臂120的前端122與基座150之間的第一相對關係B及機械手臂120的前端122與校正物件110之間的第二相對關係X可視為是已知的參數。三維特徵資料A可透過計算裝置140根據影像取得。因此，視覺裝置130與機械手臂120基座150之間的第三相對關係Z可由計算裝置140利用一最佳化方程式計算取得，其中最佳化方程式表示如下。
Figure TWI677413B_D0002
 其中α、β、γ係為權重值，N d 為上述校正物件之頂點間的正規化距離、N a 為上述校正物件之平面間的正規化角度、N p 為上述校正物件之平面間的正規化平面強度，Dis corner 為上述校正物件的頂點間之一距離、Arg normal 為上述校正物件之平面的法向量角度點化以及Plane diff 為上述校正物件表面之平面化程度。
最後，計算裝置140根據第三相對關係Z校正機器手臂120與視覺裝置130的誤差。第6A~6B圖係顯示根據本揭露一實施例之計算裝置140校正機器手臂與視覺裝置130的誤差之示意圖。如第6A圖所示，物件610係為計算裝置140根據影像取得校正物件110的三維特徵資料A，而物件620係為機械手臂120的基座150與校正物件110之間的相對關係（即第一相對關係B乘上第二相對關係X）。計算裝置140利用最佳化運算取得第三相對關係Z而使得物件610及物件620疊合，以完成校正上述機器手臂120與上述視覺裝置130的誤差，如第6B圖所示。
如上所述，透過本揭露之用於機械手臂系統100之校正方法及裝置，無須知道視覺裝置130所架設之位置，也無須移動機械手臂120，直接利用最佳化運算取得視覺裝置130與機械手臂120之基座150之間的相對關係，以達到有效提昇校正效率及精確度之目的。
對於本發明已描述的實施例，下文描述了可以實現本發明實施例的示例性操作環境。具體參考第7圖，第7圖係顯示用以實現本發明實施例的示例性操作環境，一般可被視為計算裝置700。計算裝置700僅為一合適計算環境的一個示例，並不意圖暗示對本發明使用或功能範圍的任何限制。計算裝置700也不應被解釋為具有與所示元件任一或組合相關任何的依賴性或要求。
本發明可在電腦程式碼或機器可使用指令來執行本發明，指令可為程式模組的電腦可執行指令，其程式模組由電腦或其它機器，例如個人數位助理或其它可攜式裝置執行。一般而言，程式模組包括例程、程式、物件、元件、數據結構等，程式模組指的是執行特定任務或實現特定抽象數據類型的程式碼。本發明可在各種系統組態中實現，包括可攜式裝置、消費者電子產品、通用電腦、更專業的計算裝置等。本發明還可在分散式運算環境中實現，處理由通訊網路所連結的裝置。
參考第7圖。計算裝置700包括直接或間接耦接以下裝置的匯流排710、記憶體712、一或多個處理器714、一或多個顯示元件716、輸入/輸出(I/O)埠口718、輸入/輸出(I/O)元件720以及說明性電源供應器722。匯流排710表示可為一或多個匯流排之元件（例如，位址匯流排、數據匯流排或其組合）。雖然第7圖的各個方塊為簡要起見以線示出，實際上，各個元件的分界並不是具體的，例如，可將顯示裝置的呈現元件視為I/O元件；處理器可具有記憶體。
計算裝置700一般包括各種電腦可讀取媒體。電腦可讀取媒體可以是可被計算裝置700存取的任何可用媒體，該媒體同時包括易揮發性和非易揮發性媒體、可移動和不可移動媒體。舉例但不侷限於，電腦可讀取媒體可包括電腦儲存媒體和通訊媒體。電腦可讀取媒體同時包括在用於儲存像是電腦可讀取指令、資料結構、程式模組或其它數據之類資訊的任何方法或技術中實現的易揮發性性和非易揮發性媒體、可移動和不可移動媒體。電腦儲存媒體包括但不侷限於RAM、ROM、EEPROM、快閃記憶體或其它記憶體技術、CD-ROM、數位多功能光碟(DVD)或其它光碟儲存裝置、磁片、磁碟、磁片儲存裝置或其它磁儲存裝置，或可用於儲存所需的資訊並且可被計算裝置700存取的其它任何媒體。電腦儲存媒體本身不包括信號。
通訊媒體一般包含電腦可讀取指令、資料結構、程式模組或其它採用諸如載波或其他傳輸機制之類的模組化數據訊號形式的數據，並包括任何資訊傳遞媒體。術語「模組化數據訊號」係指具有一或多個特徵集合或以在訊號中編碼資訊之一方式更改的訊號。舉例但不侷限於，通訊媒體包括像是有線網路或直接有線連接的有線媒體及無線媒體，像是聲頻、射頻、紅外線以及其它無線媒體。上述媒體的組合包括在電腦可讀取媒體的範圍內。
記憶體712包括以易揮發性和非易揮發性記憶體形式的電腦儲存媒體。記憶體可為可移動、不移動或可以為這兩種的組合。示例性硬體裝置包括固態記憶體、硬碟驅動器、光碟驅動器等。計算裝置700包括一或多個處理器，其讀取來自像是記憶體712或I/O元件720各實體的數據。顯示元件716向使用者或其它裝置顯示數據指示。示例性顯示元件包括顯示裝置、揚聲器、列印元件、振動元件等。
I/O埠口718允許計算裝置700邏輯連接到包括I/O元件720的其它裝置，一些此種裝置為內建裝置。示例性元件包括麥克風、搖桿、遊戲台、碟形衛星訊號接收器、掃描器、印表機、無線裝置等。I/O元件720可提供一自然使用者介面，用於處理使用者生成的姿勢、聲音或其它生理輸入。在一些例子中，這些輸入可被傳送到一合適的網路元件以便進一步處理。NUI可實現語言識別、觸摸與手寫筆辨識、面部識別、生物識別、在螢幕上以及鄰近螢幕的姿勢識別、空中手勢、頭部及眼部追蹤以及與計算裝置700所顯示相關聯的觸摸識別的任意組合。計算裝置700可裝備有深度照相機，像是立體照相機系統、紅外線照相機系統、RGB照相機系統和這些系統的組合，以偵測與識別姿勢。另外，計算裝置700可以裝備有偵測運動的加速度計或陀螺儀。加速度計或陀螺儀的輸出可被提供給計算裝置700顯示以呈現沉浸式增強現實或虛擬實境。
此外，計算裝置700中之處理器714也可執行記憶體712中之程式及指令以呈現上述實施例所述之動作和步驟，或其它在說明書中內容之描述。
在此所揭露程序之任何具體順序或分層之步驟純為一舉例之方式。基於設計上之偏好，必須了解到程序上之任何具體順序或分層之步驟可在此文件所揭露的範圍內被重新安排。伴隨之方法權利要求以一示例順序呈現出各種步驟之元件，也因此不應被此所展示之特定順序或階層所限制。
申請專利範圍中用以修飾元件之「第一」、「第二」、「第三」等序數詞之使用本身未暗示任何優先權、優先次序、各元件之間之先後次序、或方法所執行之步驟之次序，而僅用作標識來區分具有相同名稱（具有不同序數詞）之不同元件。
雖然本揭露已以實施範例揭露如上，然其並非用以限定本案，任何熟悉此項技藝者，在不脫離本揭露之精神和範圍內，當可做些許更動與潤飾，因此本案之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧機械手臂系統
110‧‧‧校正物件
120‧‧‧機械手臂
122‧‧‧前端
124‧‧‧末端
126‧‧‧關節
130‧‧‧視覺裝置
140‧‧‧計算裝置
150‧‧‧基座
200‧‧‧方法
S205、S210、S215‧‧‧步驟
300‧‧‧方法
S305、S310、S315‧‧‧步驟
401、402、403、404、405、406、407、408‧‧‧點雲基元
510、520、521、530、540‧‧‧目標點
5101、5102、5103、5104、5105‧‧‧點雲基元
551、552‧‧‧重疊區域
1、2、3、4‧‧‧平面
610、620‧‧‧物件
700‧‧‧計算裝置
710‧‧‧匯流排
712‧‧‧記憶體
714‧‧‧處理器
716‧‧‧顯示元件
718‧‧‧I/O埠口
720‧‧‧I/O元件
722‧‧‧電源供應器
附圖被包括以提供本揭露進一步理解且被合併並組成本揭露的一部分。附圖係說明本揭露的實施例且連同描述一起用以解釋本揭露的原理。其可理解附圖不一定按比例描繪，一些元件可以超過在實際實施方式的大小來顯示，以清楚地說明本揭露的概念。 第1圖係依據本發明之一實施例實現機械手臂系統之系統配置圖。 第2圖係顯示根據本揭露一實施例所述之用於機械手臂系統之校正方法之流程圖。 第3圖係顯示根據本揭露一實施例所述之用於機械手臂系統之校正方法之流程圖。 第4A圖係顯示根據本揭露一實施例之由點雲基元所組成之影像示意圖。 第4B圖係顯示根據本揭露一實施例之影像中目標點之示意圖。 第5A圖係顯示根據本揭露一實施例之計算裝置取得影像中所有目標點之示意圖。 第5B圖係顯示根據本揭露一實施例之計算裝置將點雲資訊分組之示意圖。 第5C圖係顯示根據本揭露一實施例之平面的示意圖。 第6A~6B圖係顯示根據本揭露一實施例之計算裝置校正機器手臂與視覺裝置的誤差之示意圖。 第7圖係顯示用以實現本發明實施例的示例性操作環境。

Claims (18)

  1. 一種用於機械手臂系統之校正方法，上述機械手臂系統包括一機械手臂、一校正物件、一視覺裝置和一計算裝置，上述校正方法包括：藉由上述視覺裝置擷取固定於上述機械手臂一前端上之上述校正物件的一影像，其中上述機械手臂之一基座具有一基座坐標系，且上述機械手臂的上述前端與上述基座具有一第一相對關係，上述機械手臂的上述前端與上述校正物件具有一第二相對關係；藉由上述計算裝置接收上述影像，並根據上述影像取得上述校正物件的一三維特徵資料；以及藉由上述計算裝置根據上述三維特徵資料、上述第一相對關係及上述第二相對關係計算取得上述視覺裝置與上述機械手臂之上述基座之間的一第三相對關係，以校正上述機器手臂與上述視覺裝置的誤差；其中上述校正物件係一三維物件，且不具有任何定位標記。
  2. 如申請專利範圍第1項所述之用於機械手臂系統之校正方法，其中藉由上述計算裝置根據上述影像取得上述校正物件的上述三維特徵資料更包括：取得上述影像中上述校正物件的一點雲資訊；比較每一點雲基元的深度值與左右兩側點雲基元的深度值；當一第一點雲基元的一第一深度值大於左右兩側一第二點雲基元的一第二深度值且上述第一深度值比上述第二深度值其中之一大於一第一門檻值時，設定上述第一點雲基元為一目標點；根據上述目標點將上述點雲資訊分為複數群組，其中每一群組係一平面資訊；根據上述平面資訊取得一邊界特徵資料及一平面特徵資料；以及根據上述邊界特徵資料及上述平面特徵資料取得上述校正物件的上述三維特徵資料。
  3. 如申請專利範圍第2項所述之用於機械手臂系統之校正方法，其中藉由上述計算裝置根據上述目標點將上述點雲資訊分為複數群組更包括：比較每一目標點的一目標深度值與周遭點雲基元的深度值；以及當一第一目標點的一第一目標深度值與上述周遭點雲基元中一第三點雲基元的一第三深度值之差值絕對值小於一第二門檻值時，判定上述第三點雲基元與上述第一目標點屬於同一群組。
  4. 如申請專利範圍第3項所述之用於機械手臂系統之校正方法，其中上述第一門檻值係大於上述第二門檻值。
  5. 如申請專利範圍第1項所述之用於機械手臂系統之校正方法，其中上述三維特徵資訊係至少包括：每一平面的點位置、一面積及一位置標準差；每一平面的一法向量；任二平面相交之角度；任二平面相交之長度；任二平面相交之一起點三維位置及一終點三維位置；以及任三平面相交之點三維位置。
  6. 如申請專利範圍第1項所述之用於機械手臂系統之校正方法，其中應用以上述三維特徵資料的一最佳化方程式表示如下：
    Figure TWI677413B_C0001
    其中α、β、γ係為權重值，N d 為上述校正物件之頂點間的正規化距離、N a 為上述校正物件之平面間的正規化角度、N p 為上述三維物件之平面間的正規化平面強度，Dis corner 為上述校正物件的頂點間之一距離、Arg normal 為上述校正物件之平面的法向量角度點化以及Plane diff 為上述校正物件表面之平面化程度。
  7. 一種機械手臂系統，包括：一校正物件，其中上述校正物件係一三維物件，且不具有任何定位標記；一機械手臂，其中上述校正物件係固定於上述機械手臂之一前端上；一視覺裝置，擷取上述校正物件的一影像；以及一計算裝置，耦接於上述機械手臂及上述視覺裝置；其中上述機械手臂之一基座具有一基座坐標系，且上述機械手臂的上述前端與上述基座具有一第一相對關係，上述機械手臂的上述前端與上述校正物件具有一第二相對關係；上述計算裝置由上述視覺裝置接收上述影像，並根據上述影像取得上述校正物件的一三維特徵資料；以及上述計算裝置根據上述三維特徵資料、上述第一相對關係及上述第二相對關係計算取得上述視覺裝置與上述機械手臂之上述基座之間的一第三相對關係，以校正上述機器手臂與上述視覺裝置的誤差。
  8. 如申請專利範圍第7項所述之機械手臂系統，其中上述計算裝置根據上述影像取得上述校正物件的上述三維特徵資料更包括：取得上述影像中上述校正物件的一點雲資訊；比較每一點雲基元的深度值與左右兩側點雲基元的深度值；當一第一點雲基元的一第一深度值大於左右兩側一第二點雲基元的一第二深度值且上述第一深度值比上述第二深度值其中之一大於一第一門檻值時，設定上述第一點雲基元為一目標點；根據上述目標點將上述點雲資訊分為複數群組，其中每一群組係一平面資訊；根據上述平面資訊取得一邊界特徵資料及一平面特徵資料；以及根據上述邊界特徵資料及上述平面特徵資料取得上述校正物件的上述三維特徵資料。
  9. 如申請專利範圍第8項所述之機械手臂系統，其中上述計算裝置根據上述目標點將上述點雲資訊分為複數群組更包括：比較每一目標點的一目標深度值與周遭點雲基元的深度值；以及當第一目標點的一第一目標深度值與上述周遭點雲基元中一第三點雲基元的一第三深度值之差值絕對值小於一第二門檻值時，判定上述第三點雲基元與上述第一目標點屬於同一群組。
  10. 如申請專利範圍第9項所述之機械手臂系統，其中上述第一門檻值係大於上述第二門檻值。
  11. 如申請專利範圍第7項所述之機械手臂系統，其中上述三維特徵資訊係至少包括：每一平面的點位置、一面積及一位置標準差；每一平面的一法向量；任二平面相交之角度；任二平面相交之長度；任二平面相交之一起點三維位置及一終點三維位置；以及任三平面相交之點三維位置。
  12. 如申請專利範圍第7項所述之機械手臂系統，其中應用以上述三維特徵資料的一最佳化方程式表示如下：
    Figure TWI677413B_C0002
    其中α、β、γ係為權重值，N d 為上述校正物件之頂點間的正規化距離、N a 為上述校正物件之平面間的正規化角度、N p 為上述校正物件之平面間的正規化平面強度，Dis corner 為上述校正物件的頂點間之一距離、Arg normal 為上述校正物件之平面的法向量角度點化以及Plane diff 為上述校正物件表面之平面化程度。
  13. 一種用於機械手臂系統之校正方法，用於一計算裝置中，包括：接收由一視覺裝置擷取固定於一機械手臂一前端上之一校正物件的一影像，其中上述機械手臂之一基座具有一基座坐標系，且上述機械手臂的上述前端與上述基座具有一第一相對關係，上述機械手臂的上述前端與上述校正物件具有一第二相對關係；根據上述影像取得上述校正物件的一三維特徵資料；以及根據上述三維特徵資料、上述第一相對關係及上述第二相對關係計算取得上述視覺裝置與上述機械手臂之上述基座之間的一第三相對關係，以校正上述機器手臂與上述視覺裝置的誤差；其中上述校正物件係一三維物件，且不具有任何定位標記。
  14. 如申請專利範圍第13項所述之用於機械手臂系統之校正方法，其中根據上述影像取得上述校正物件的上述三維特徵資料之步驟更包括：取得上述影像中上述校正物件的一點雲資訊；比較每一點雲基元的深度值與左右兩側點雲基元的深度值；當一第一點雲基元的一第一深度值大於左右兩側一第二點雲基元的一第二深度值且上述第一深度值比上述第二深度值其中之一大於一第一門檻值時，設定上述第一點雲基元為一目標點；根據上述目標點將上述點雲資訊分為複數群組，其中每一群組係一平面資訊；根據上述平面資訊取得一邊界特徵資料及一平面特徵資料；以及根據上述邊界特徵資料及上述平面特徵資料取得上述校正物件的上述三維特徵資料。
  15. 如申請專利範圍第14項所述之用於機械手臂系統之校正方法，其中根據上述目標點將上述點雲資訊分為複數群組之步驟更包括：比較每一目標點的一目標深度值與周遭點雲基元的深度值；以及當一第一目標點的一第一目標深度值與上述周遭點雲基元中一第三點雲基元的一第三深度值之差值絕對值小於一第二門檻值時，判定上述第三點雲基元與上述第一目標點屬於同一群組。
  16. 如申請專利範圍第15項所述之用於機械手臂系統之校正方法，其中上述第一門檻值係大於上述第二門檻值。
  17. 如申請專利範圍第13項所述之用於機械手臂系統之校正方法，其中上述三維特徵資訊係至少包括：每一平面的點位置、一面積及一位置標準差；每一平面的一法向量；任二平面相交之角度；任二平面相交之長度；任二平面相交之一起點三維位置及一終點三維位置；以及任三平面相交之點三維位置。
  18. 如申請專利範圍第13項所述之用於機械手臂系統之校正方法，其中應用以上述三維特徵資料的一最佳化方程式表示如下：
    Figure TWI677413B_C0003
    其中α、β、γ係為權重值，N d 為上述校正物件之頂點間的正規化距離、N a 為上述校正物件之平面間的正規化角度、N p 為上述校正物件之平面間的正規化平面強度，Dis corner 為上述校正物件的頂點間之一距離、Arg normal 為上述校正物件之平面的法向量角度點化以及Plane diff 為上述校正物件表面之平面化程度。
TW107141139A 2018-11-20 2018-11-20 用於機械手臂系統之校正方法及裝置 TWI677413B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107141139A TWI677413B (zh) 2018-11-20 2018-11-20 用於機械手臂系統之校正方法及裝置
CN201811530966.0A CN111195897B (zh) 2018-11-20 2018-12-14 用于机械手臂系统的校正方法及装置
US16/516,694 US11524406B2 (en) 2018-11-20 2019-07-19 Calibration method and device for robotic arm system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107141139A TWI677413B (zh) 2018-11-20 2018-11-20 用於機械手臂系統之校正方法及裝置

Publications (2)

Publication Number Publication Date
TWI677413B true TWI677413B (zh) 2019-11-21
TW202019642A TW202019642A (zh) 2020-06-01

Family

ID=69188870

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107141139A TWI677413B (zh) 2018-11-20 2018-11-20 用於機械手臂系統之校正方法及裝置

Country Status (3)

Country Link
US (1) US11524406B2 (zh)
CN (1) CN111195897B (zh)
TW (1) TWI677413B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7040147B2 (ja) * 2018-03-09 2022-03-23 セイコーエプソン株式会社 制御装置、ロボット、ロボットシステム，及び、物体を認識する方法
MX2022005751A (es) 2019-11-12 2022-08-22 Bright Machines Inc Un sistema de fabricación/ensamblaje definido por software.
CN111199579B (zh) * 2020-01-02 2023-01-24 腾讯科技（深圳）有限公司 一种目标物的三维模型构建方法、装置、设备及介质
US11548156B2 (en) * 2020-09-17 2023-01-10 Techman Robot Inc. Device and method for calibrating coordinate system of 3D camera and robotic arm
JP2022063395A (ja) * 2020-10-12 2022-04-22 トヨタ自動車株式会社 位置補正システム、位置補正方法及び位置補正プログラム
CN112907673B (zh) * 2021-03-19 2021-10-22 深圳创维－Rgb电子有限公司 定位方法、装置、终端设备以及存储介质
CN113635299B (zh) * 2021-07-23 2022-11-25 深圳市朗驰欣创科技股份有限公司 一种机械臂的校正方法、终端设备及存储介质
CN114974962B (zh) * 2022-06-07 2023-07-25 平高集团有限公司 一种开关柜操作装置及操作机器人

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103209809A (zh) * 2010-05-14 2013-07-17 康耐视公司 用于机器视觉系统和机器人之间的稳健校准的系统和方法
CN105073348A (zh) * 2013-04-05 2015-11-18 Abb技术有限公司 用于校准的机器人系统和方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4925308A (en) 1988-08-09 1990-05-15 Robotic Vision System, Inc. Calibration of three-dimensional space
JP3735344B2 (ja) * 2002-12-27 2006-01-18 オリンパス株式会社 キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
US20050068523A1 (en) 2003-08-11 2005-03-31 Multi-Dimension Technology, Llc Calibration block and method for 3D scanner
JP4298757B2 (ja) 2007-02-05 2009-07-22 ファナック株式会社 ロボット機構のキャリブレーション装置及び方法
JP5468726B2 (ja) 2007-05-23 2014-04-09 株式会社ミツトヨ 二次元格子校正装置、二次元格子校正プログラム、記録媒体
TWI404609B (zh) * 2010-10-21 2013-08-11 Ind Tech Res Inst 機械手臂系統參數的校正方法與校正裝置
US9188973B2 (en) 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
US8553942B2 (en) * 2011-10-21 2013-10-08 Navteq B.V. Reimaging based on depthmap information
FR2987685A1 (fr) * 2012-03-02 2013-09-06 Akeo Plus Procede de commande d'un robot pour le deplacement d'au moins un objet dispose sur un support dans un espace 3d
CN102922521B (zh) * 2012-08-07 2015-09-09 中国科学技术大学 一种基于立体视觉伺服的机械臂系统及其实时校准方法
JP5963353B2 (ja) * 2012-08-09 2016-08-03 株式会社トプコン 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
CN103706571B (zh) * 2013-12-27 2015-12-09 西安航天精密机电研究所 一种视觉定位分拣方法
CN103761747B (zh) * 2013-12-31 2017-02-15 西北农林科技大学 一种基于加权分布场的目标跟踪方法
JP6547260B2 (ja) * 2014-09-16 2019-07-24 セイコーエプソン株式会社 画像処理装置、及びロボットシステム
CN106817905A (zh) 2015-09-30 2017-06-09 株式会社小松制作所 校正系统、作业机械和校正方法
CN105965495B (zh) * 2016-05-12 2018-07-10 英华达（上海）科技有限公司 一种机械臂定位方法及系统
CN106182001B (zh) * 2016-07-27 2018-11-23 武汉理工大学 一种基于机器人的工件坐标系自动标定装置
CN107756391B (zh) * 2016-08-19 2021-05-25 达观科技有限公司 机械手臂校正系统的校正方法
TWI614103B (zh) * 2016-10-21 2018-02-11 和碩聯合科技股份有限公司 機械手臂定位方法及應用其的系統
CN106846407B (zh) * 2016-11-25 2019-12-20 深圳智荟物联技术有限公司 一种实现图像校正的方法和装置
DE102016223841A1 (de) * 2016-11-30 2018-05-30 Siemens Healthcare Gmbh Berechnen eines Kalibrierungsparameters eines Roboterwerkzeugs
KR102576842B1 (ko) * 2017-01-04 2023-09-12 삼성전자주식회사 핸드-아이 캘리브레이션을 수행하는 로봇 및 전자 장치
JP6527178B2 (ja) * 2017-01-12 2019-06-05 ファナック株式会社 視覚センサのキャリブレーション装置、方法及びプログラム
JP6877191B2 (ja) * 2017-03-03 2021-05-26 株式会社キーエンス 画像処理装置、画像処理方法、画像処理プログラム及びコンピュータで読み取り可能な記録媒体
CN107689061A (zh) * 2017-07-11 2018-02-13 西北工业大学 用于室内移动机器人定位的规则图形码及定位方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103209809A (zh) * 2010-05-14 2013-07-17 康耐视公司 用于机器视觉系统和机器人之间的稳健校准的系统和方法
CN105073348A (zh) * 2013-04-05 2015-11-18 Abb技术有限公司 用于校准的机器人系统和方法

Also Published As

Publication number Publication date
TW202019642A (zh) 2020-06-01
CN111195897B (zh) 2021-09-14
CN111195897A (zh) 2020-05-26
US20200156251A1 (en) 2020-05-21
US11524406B2 (en) 2022-12-13

Similar Documents

Publication Publication Date Title
TWI677413B (zh) 用於機械手臂系統之校正方法及裝置
US11911914B2 (en) System and method for automatic hand-eye calibration of vision system for robot motion
TWI662388B (zh) 機器人之避障控制系統及方法
JP5949242B2 (ja) ロボットシステム、ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム
US10805546B2 (en) Image processing system, image processing device, and image processing program
JP5746477B2 (ja) モデル生成装置、３次元計測装置、それらの制御方法及びプログラム
US7440691B2 (en) 360-° image photographing apparatus
JP6427972B2 (ja) ロボット、ロボットシステム及び制御装置
US10325336B2 (en) Information processing apparatus, information processing method, and program
JP6885856B2 (ja) ロボットシステムおよびキャリブレーション方法
US20180113595A1 (en) Control interface for a three-dimensional graphical object
JP2016170050A (ja) 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム
JP5873362B2 (ja) 視線誤差補正装置、そのプログラム及びその方法
WO2018209592A1 (zh) 一种机器人的运动控制方法、机器人及控制器
JP7216775B2 (ja) ロボットアームの座標系校正装置及び校正方法
WO2021019627A1 (ja) コンピュータビジョンシステムのキャリブレーション方法及びこれに用いる基準立体物
JP6890422B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
US11620846B2 (en) Data processing method for multi-sensor fusion, positioning apparatus and virtual reality device
WO2021145304A1 (ja) 画像処理システム
JP2014238687A (ja) 画像処理装置、ロボット制御システム、ロボット、画像処理方法及び画像処理プログラム
JP2018132847A (ja) 情報処理装置、情報処理方法、およびプログラム
KR102398404B1 (ko) 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2016084316A1 (en) Information processing apparatus, information processing method, and program
WO2024055683A1 (zh) 一种增强现实方法和计算装置
WO2022172471A1 (ja) 支援システム、画像処理装置、支援方法およびプログラム