TWI832002B - 用於工業機器人的三維環境建模方法及設備、電腦儲存媒體以及工業機器人操作平台 - Google Patents

用於工業機器人的三維環境建模方法及設備、電腦儲存媒體以及工業機器人操作平台 Download PDF

Info

Publication number
TWI832002B
TWI832002B TW109130228A TW109130228A TWI832002B TW I832002 B TWI832002 B TW I832002B TW 109130228 A TW109130228 A TW 109130228A TW 109130228 A TW109130228 A TW 109130228A TW I832002 B TWI832002 B TW I832002B
Authority
TW
Taiwan
Prior art keywords
model
environment
industrial robot
unit
grid
Prior art date
Application number
TW109130228A
Other languages
English (en)
Other versions
TW202111667A (zh
Inventor
鄢留鵬
丁萬
王煒
Original Assignee
德商羅伯特 博世有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 德商羅伯特 博世有限公司 filed Critical 德商羅伯特 博世有限公司
Publication of TW202111667A publication Critical patent/TW202111667A/zh
Application granted granted Critical
Publication of TWI832002B publication Critical patent/TWI832002B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/17—Mechanical parametric or variational design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)

Abstract

本發明提供一種用於工業機器人的三維環境建模方法，所述方法包括：基於所述工業機器人的周圍環境的顏色及深度資訊，對所述工業機器人的周圍環境進行三維建模，從而得到第一環境模型；將所述第一環境模型的座標系統校準到所述工業機器人的基座標系統；以及至少藉由對校準後的第一環境模型進行網格裁剪和填充，以獲得所述工業機器人的工作站模型。本發明還提供一種用於工業機器人的三維環境建模設備、電腦儲存媒體以及工業機器人操作台。

Description

用於工業機器人的三維環境建模方法及設備、電腦儲存媒體以及工業機器人操作平台
本發明涉及用於工業機器人的三維環境建模方法及設備、電腦儲存媒體以及工業機器人操作平台。
在某些特定的工業應用場景中，在每個循環時間期間需要工業機器人規劃最優軌跡。這時，機器人需要首先知道其周圍環境以便規劃一條無碰撞的軌跡。接著，完整的三維工作站模型應提前離線獲得。
為了獲得完整的三維工作站模型，現有方式是基於三維軟體設計的幾何測量。具體來說，操作者測量每個物體的大小以及在實際環境中該物體到世界座標系統/機器人基座標系統的相對位置。接著，根據前述物體的幾何模型以及位置資訊，最終獲得在模擬環境下完整的三維工作站模型。
在基於三維幾何測量的方式中，實際環境中的每個物體的大小和位置需要手動建模和測量，並且隨後在三維設計軟體中配置這些物體。這會耗費很多時間並且需要專業的設計技巧。而且，利用這些測量，在物體之間的位置關係在最終的三維工作站模型中並不精確。當環境發生變化時，測量工作需要重複進行。
因此，期望一種改進的三維環境建模方案。
根據本發明的一個方面，提出一種用於工業機器人的三維環境建模方法，所述方法包括：基於所述工業機器人的周圍環境的顏色及深度資訊，對所述工業機器人的周圍環境進行三維建模，從而得到第一環境模型；將所述第一環境模型的座標系統校準到所述工業機器人的基座標系統；以及至少藉由對校準後的第一環境模型進行網格裁剪和填充，以獲得所述工業機器人的工作站模型。
前述三維環境建模方法比現有基於三維幾何測量的建模方案更為快速和高效，而且不需要手動建模和測量每個物體的大小和位置。而且，本發明的技術方案提供針對所有工作站物體的標準化的配置方法（而不需要過多的人工干預和設計技巧），從而獲得最終的三維工作站模型。
優選地，在上述三維環境建模方法中，所述顏色及深度資訊藉由手持RGB-D相機獲取。
優選地，上述三維環境建模方法還可包括：在將所述第一環境模型的座標系統校準到所述工業機器人的基座標系統之後，根據所述工業機器人的工作空間範圍，對校準後的第一環境模型進行裁剪，其中第一環境模型的座標系統在校準之前可能是隨機的。
例如，可藉由反覆運算最近點演算法（ICP，Iterative Closest Point）來將第一環境模型的座標系統校準到機器人基座標系統。在進行裁剪時，可按照工業機器人的工作空間範圍，對校準後的第一環境模型進行裁剪。“進行裁剪”可以是根據預定義的工業機器人的工作範圍以及校準好的機器人座標系統資訊，將在機器人工作空間範圍內的第一環境模型中分割出來，同時根據機器人的尺寸範圍將重建出的機器人模型去除，得到在不包含機器人模型的機器人工作空間範圍內的第一環境模型。
優選地，上述三維環境建模方法還可包括：在將所述第一環境模型的座標系統校準到所述工業機器人的基座標系統之後，利用網格整合度評估方法來衡量校準後的第一環境模型的映射是否完整。
優選地，上述三維環境建模方法還可包括：在利用網格整合度評估方法來衡量校準後的第一環境模型的映射是否完整之後，對所述校準後的第一環境模型進行準確度評估。
優選地，在上述三維環境建模方法中，所述網格裁剪和填充包括：選擇待重建的不完整的平面；根據在所述平面上的頂點，利用最小二乘法來獲得擬合所述平面的參數；以及根據所述參數建立新的三角面片來替代所述不完整的平面。
優選地，在上述三維環境建模方法中，所述網格裁剪和填充包括：將機器人工作空間邊界模型添加到校準後的第一環境模型中。
優選地，在上述三維環境建模方法中，所述網格裁剪和填充包括：按照設定的邊界閾值，依次選取小於所述邊界閾值的空洞；以及根據所選取的空洞的邊界周圍的曲率資訊及變化率，確定用於填補空洞的三角面片的曲率大小。
優選地，在上述三維環境建模方法中，至少藉由對校準後的第一環境模型進行網格裁剪和填充，以獲得所述工業機器人的工作站模型包括：在對校準後的第一環境模型進行網格裁剪和填充之後執行網格簡化過程；以及在所述網格簡化過程之後，獲得所述工業機器人的工作站模型。
優選地，在上述三維環境建模方法中，所述網格簡化過程包括：確定目標面片數量或者目標優化百分比；以及利用抽取演算法來獲得所確定的面片的數量。
優選地，上述三維環境建模方法還可包括：在所述工業機器人的周圍環境發生改變時，獲得新物體的模型；基於反覆運算最近點演算法來將該新物體的模型增加到所述工作站模型或從所述工作站模型刪除。
本發明的另一個方案提供一種用於工業機器人的三維環境建模設備，所述設備包括：第一獲取單元，所述第一獲取單元配置成基於所述工業機器人的周圍環境的顏色及深度資訊，對所述工業機器人的周圍環境進行三維建模，從而得到第一環境模型；校準單元，所述校準單元配置成將所述第一環境模型的座標系統校準到所述工業機器人的基座標系統；以及第二獲取單元，所述第二獲取單元配置成至少藉由對校準後的第一環境模型進行網格裁剪和填充，以獲得所述工業機器人的工作站模型。
優選地，在上述三維環境建模設備中，第一獲取單元配置成從手持RGB-D相機獲取所述顏色及深度資訊。
優選地，上述三維環境建模設備還可包括：裁剪單元，所述裁剪單元配置成在所述校準單元將所述第一環境模型的座標系統校準到所述工業機器人的基座標系統之後，根據所述工業機器人的工作空間範圍，對校準後的第一環境模型進行裁剪。
優選地，上述三維環境建模設備還可包括：網格整合度評估單元，所述網格整合度評估單元配置成在所述校準單元將所述第一環境模型的座標系統校準到所述工業機器人的基座標系統之後，利用網格整合度評估方法來衡量校準後的第一環境模型的映射是否完整。
優選地，上述三維環境建模設備還可包括：準確度評估單元，所述準確度評估單元配置成在所述網格整合度評估單元利用網格整合度評估方法來衡量校準後的第一環境模型的映射是否完整之後，對所述校準後的第一環境模型進行準確度評估。
優選地，在上述三維環境建模設備中，所述第二獲取單元包括網格裁剪和填充單元，其中所述網格裁剪和填充單元配置成：選擇待重建的不完整的平面；根據在所述平面上的頂點，利用最小二乘法來獲得擬合所述平面的參數；以及根據所述參數來建立新的三角面片來替代所述不完整的平面。
優選地，在上述三維環境建模設備中，所述第二獲取單元包括網格裁剪和填充單元，其中所述網格裁剪和填充單元配置成：將機器人工作空間邊界模型添加到校準後的第一環境模型中。
優選地，在上述三維環境建模設備中，所述第二獲取單元包括網格裁剪和填充單元，其中所述網格裁剪和填充單元配置成：按照設定的邊界閾值，依次選取小於所述邊界閾值的空洞；以及根據所選取的空洞的邊界周圍的曲率資訊及變化率，確定用於填補空洞的三角面片的曲率大小。
優選地，在上述三維環境建模設備中，所述第二獲取單元還包括：網格簡化單元，所述網格簡化單元配置成在對校準後的第一環境模型進行網格裁剪和填充之後執行網格簡化過程；以及第三獲取單元，所述第三獲取單元配置成在所述網格簡化單元執行網格簡化過程之後，獲得所述工業機器人的工作站模型。
優選地，在上述三維環境建模設備中，所述網格簡化單元配置成：確定目標面片數量或者目標優化百分比；以及利用抽取演算法來獲得所確定的數量的面片。
優選地，上述三維環境建模設備還可包括：第四獲取單元，用於在所述工業機器人的周圍環境發生改變時，獲得新物體的模型；增刪單元，用於基於反覆運算最近點演算法以將該新物體的模型增加到所述工作站模型。
本發明的又一個方案提供了一種電腦儲存媒體，其包括指令，所述指令在運行時執行如前所述的三維環境建模方法。
本發明的又一個方案提供一種工業機器人操作平台，其包括如先前所述的三維環境建模設備。
與現有的基於三維幾何測量的三維環境建模方案相比，前述用於工業機器人的三維環境建模方案更為快速和高效，而且不需要手動建模和測量每個物體的大小和位置。而且，本發明的三維環境建模方案對所構造的原始環境模型進行網格裁剪和填充，解決透明物體重建不完整的問題。該方式還可裁剪離散三角面片，填補空洞以及自動添加機器人工作空間之外的邊界。
以下說明描述本發明的特定實施方式以教導本領域技術人員如何製造和使用本發明的最佳模式。為了教導發明原理，已簡化或省略一些常規方面。本領域技術人員應該理解源自這些實施方式的變型將落在本發明的範圍內。本領域技術人員應該理解下述特徵能夠以各種方式接合以形成本發明的多個變型。由此，本發明並不局限於下述特定實施方式，而僅由請求項和它們的等同物所限定。
參考圖1，圖1示出根據本發明一個實施例的用於工業機器人的三維環境建模方法1000。
在步驟S110中，基於所述工業機器人的周圍環境的顏色及深度資訊，對所述工業機器人的周圍環境進行三維建模，從而得到第一環境模型。
在步驟S120中，將所述第一環境模型的座標系統校準到所述工業機器人的基座標系統。
在步驟S130中，至少藉由對校準後的第一環境模型進行網格裁剪和填充，以獲得所述工業機器人的工作站模型。
根據本發明的一個或多個實施例，本發明的基於三維重建演算法的快速三維環境建模和配置方法可分為三個部分：1）快速三維環境重建；2）三維環境模型的優化；以及3）比擬工作站的虛擬環境配置。與現有基於三維幾何測量的建模方案相比，本發明的方案更為快速和高效，而且不需要手動建模和測量每個物體的大小和位置。而且，本發明的技術方案提供針對所有工作站物體的標準化的配置方法（而不需要過多的人工干預和設計技巧），從而獲得最終的三維工作站模型。
在一個實施例中，步驟S110中的顏色及深度資訊可藉由操作員手持RGB-D相機來獲取。在一個實施例中，所述顏色及深度資訊藉由將相機固定安裝在機器人上來獲取。
在一個實施例中，在步驟S120之後並且在步驟S130之前，儘管未示出，三維環境建模方法1000可包括：根據所述工業機器人的工作空間範圍，對校準後的第一環境模型進行裁剪，其中第一環境模型的座標系統可能是隨機的，因此藉由將該第一環境模型的座標系統校準到機器人的基座標系統。在進行裁剪時，可按照工業機器人的工作空間範圍，對校準後的第一環境模型進行裁剪。這可剔除第一環境模型中的一些冗餘點，降低模型的複雜度。
例如，可藉由反覆運算最近點演算法（ICP，Iterative Closest Point）而將第一環境模型的座標系統校準到機器人基座標系統。“進行裁剪”可以是根據預定義的工業機器人的工作範圍以及校準好的機器人座標系統資訊，將在機器人工作空間範圍內的第一環境模型中分割出來，同時根據機器人的尺寸範圍將重建出的機器人模型去除，得到在不包含機器人模型的機器人工作空間範圍內的第一環境模型。
本領域技術人員理解，可採用各種反覆運算最近點演算法ICP，包括但不限於，Chen和Medioni及Bergevin等人提出的point-to-plane搜索就近點的精確對位（registration）方法、Rusinkiewicz和Levoy提出的point-to-projection搜索就近點的快速對位方法、Soon-Yong和Murali提出的Contractive-projection-point搜索就近點的對位方法等。
在一個實施例中，在步驟S120之後並且在步驟S130之前，儘管未示出，三維環境建模方法1000可包括：利用網格整合度評估方法來衡量校準後的第一環境模型的映射是否完整。在一個實施例中，網格整合度評估方法可包括：首先根據預定義的機器人工作範圍以及前一步驟所校準好的機器人座標系統資訊，將在機器人工作空間範圍內的重建模型分割出來，同時根據機器人的尺寸範圍將重建出的機器人模型去除，得到在不包含機器人模型的機器人工作空間範圍內的環境模型；隨後，按照一定的規則（如扇形分割）將機器人工作空間分割成一定數量的子空間，將子空間內的環境模型依次顯示；最後，依次確定該部分是否完整重建。
在一個實施例中，在步驟S120之後並且在步驟S130之前，儘管未示出，三維環境建模方法1000還可包括：在利用網格整合度評估方法來衡量校準後的第一環境模型的映射是否完整之後，對校準後的所述第一環境模型進行準確度評估。在一個實施例中，準確度評估可包括：首先獲取在機器人工作空間內的關鍵性物體之間的相對距離的真值；之後在重建模型中測得對應的距離值，由│測量值-真值│獲得一系列的距離誤差；最後，判定最大的距離誤差是否小於預先設定的閾值從而判定準確度是否滿足需求。
在一個實施例中，對第一環境模型進行網格裁剪和填充包括：選擇待重建的不完整的平面；根據在所述平面上的頂點，利用最小二乘法來獲得擬合所述平面的參數；以及根據所述參數建立新的三角面片（face）來替代所述不完整的平面。這樣，可解決透明物體重建不完整的問題。
另外，對第一環境模型進行網格裁剪和填充還可用於刪除在該第一環境模型中不需要的重建部分。例如，操作人員可主觀選擇不需要的三角面片區域，之後進行刪除。
此外，對第一環境模型進行網格裁剪和填充還可用於添加工作空間邊界。在一個實施例中，可根據預先定義的機器人工作空間邊界模型以及之前所校準好的機器人座標系統資訊，快速將機器人工作空間邊界模型添加到重建的環境模型中。
最後，對第一環境模型進行網格裁剪和填充還可用於填補空洞。在一個實施例中，按照設定的邊界閾值，依次選取小於邊界數量閾值的空洞。為了防止錯誤填補空洞的發生，也可由操作人員主觀決定是否填補該空洞。接著，藉由空洞邊界周圍的曲率（curvature）資訊及變化率，確定用於填補空洞的三角面片的曲率大小。
在一個實施例中，步驟S130可具體包括：在對校準後的第一環境模型進行網格裁剪和填充之後執行網格簡化過程；以及在所述網格簡化過程之後，獲得所述工業機器人的工作站模型。在一個實施例中，網格簡化過程可採用抽取演算法（例如，Quadric edge decimation演算法），藉由設置目標面片（faces）數量或者目標優化百分比，最終獲得面片數量顯著減少的經簡化環境模型。
參考圖2，圖2示出根據本發明一個實施例的用於工業機器人的三維環境建模方法2000。
在步驟S210中，由操作人員藉由手持RGB-D深度相機來獲取工業機器人的周圍環境的顏色及深度資訊流。
在步驟S220中，基於所述顏色及深度資訊流，藉由三維重建演算法來獲取原始環境模型。
在步驟S230中，對該原始環境模型進行快速校準。例如，可將原始環境模型的座標系統校準到工業機器人的座標系統（例如，基座標系統、世界座標系統等）。
在步驟S240中，執行網格整合度評估。在一個實施例中，網格整合度評估方法可包括：首先根據預定義的機器人工作範圍以及前一步驟所校準好的機器人座標系統資訊，將在機器人工作空間範圍內的重建模型分割出來，同時根據機器人的尺寸範圍將重建出的機器人模型去除，得到在不包含機器人模型的機器人工作空間範圍內的環境模型；隨後，按照一定的規則（如扇形分割）將機器人工作空間分割成一定數量的子空間，將子空間內的環境模型依次顯示；最後，依次確定該部分是否完整重建。藉由執行網格整合度評估，可衡量校準後的模型的映射是否完整。
在一個實施例中，若校準後的模型的映射並不完整，重新執行步驟S220。而若判定校準後的模型完整，則執行步驟S250。
在步驟S250中，執行網格準確度評估。在一個實施例中，準確度評估可包括：首先獲取在機器人工作空間內的關鍵性物體之間的相對距離的真值；之後在重建模型中測得對應的距離值，由│測量值-真值│獲得一系列的距離誤差；最後，判定最大的距離誤差是否小於預先設定的閾值從而判定準確度是否滿足需求。藉由執行網格準確度評估，可藉由各種準確度參數和方法來衡量校準後的模型的準確度是否滿足三維工作站模型的要求。
在一個實施例中，若校準後的模型的準確度不滿足要求，則重新執行步驟S220。而若判定校準後的模型的準確度滿足要求，則執行步驟S260。
在步驟S260中，執行快速網格裁剪和填充。
在一個實施例中，步驟S260可包括：首先選擇重建不完整的平面，根據在平面上的頂點及最小二乘法，獲得擬合平面的參數，之後根據該參數以建立新的三角面片（face）來替代原有的不完整平面。這樣，藉由執行快速網格裁剪和填充可解決透明物體重建不完整的問題。
在一個實施例中，步驟S260還可用於刪除不需要的重建部分。具體來說，操作人員主觀選擇不需要的三角面片區域，之後進行刪除。
在一個實施例中，步驟S260還可用於添加工作空間邊界。例如，根據預先定義的機器人工作空間邊界模型以及之前所校準好的機器人座標系統資訊，快速將機器人工作空間邊界模型添加到重建的環境模型中。
在一個實施例中，步驟S260還可用於填補空洞。例如，按照設定的邊界閾值，依次選取小於邊界數量閾值的空洞，為了防止錯誤填補空洞的發生，由操作人員主觀決定是否填補該空洞；藉由空洞邊界周圍的曲率（curvature）資訊及變化率，確定用於填補空洞的三角面片的曲率大小。
在步驟S270中，執行網格簡化過程。
在一個實施例中，網格簡化過程可採用抽取演算法（例如，Quadric edge decimation演算法），藉由設置目標面片（faces）數量或者目標優化百分比，最終獲得面片數量顯著減少的簡化環境模型。
在步驟S280中，獲得最終的三維工作站模型。
儘管圖2中未示出，在獲得三維工作站模型之後，若外部環境發生變化，可藉由如下方式來快速地對工作站模型進行增/刪物體模型：首先，運行現有的三維重建演算法來獲得新物體的模型；接著，基於反覆運算最近點演算法（ICP，Iterative Closest Point）來將該新物體的模型增加到原工作站模型，或者將該物體模型從原工作站模型中移除。
圖3示出根據本發明一個實施例的用於工業機器人的三維環境建模設備3000。
如圖3所示，三維環境建模設備3000包括：第一獲取單元310、校準單元320以及第二獲取單元330，其中第一獲取單元310配置成基於工業機器人的周圍環境的顏色及深度資訊，對該工業機器人的周圍環境進行三維建模，從而得到第一環境模型。校準單元320配置成將所述第一環境模型的座標系統校準到所述工業機器人的基座標系統。第二獲取單元330配置成至少藉由對校準後的第一環境模型進行網格裁剪和填充，以獲得所述工業機器人的工作站模型。
在一個實施例中，第一獲取單元310配置成從手持RGB-D相機來獲取所述顏色及深度資訊。
儘管圖3中未示出，三維環境建模設備3000還可包括：裁剪單元，其中裁剪單元配置成在所述校準單元320將所述第一環境模型的座標系統校準到所述工業機器人的基座標系統之後，根據所述工業機器人的工作空間範圍，對校準後的第一環境模型進行裁剪。
在一個實施例中，三維環境建模設備3000還可包括：網格整合度評估單元，其中網格整合度評估單元配置成在所述校準單元320將所述第一環境模型的座標系統校準到所述工業機器人的基座標系統之後，利用網格整合度評估方法來衡量校準後的第一環境模型的映射是否完整。
在一個實施例中，三維環境建模設備3000還可包括：準確度評估單元，所述準確度評估單元配置成在所述網格整合度評估單元利用網格整合度評估方法來衡量校準後的第一環境模型的映射是否完整之後，對所述校準後的第一環境模型進行準確度評估。
在一個實施例中，第二獲取單元330可包括網格裁剪和填充單元，其中所述網格裁剪和填充單元配置成：選擇待重建的不完整的平面；根據在所述平面上的頂點，利用最小二乘法來獲得擬合所述平面的參數；以及根據所述參數建立新的三角面片來替代所述不完整的平面。在另一個實施例中，所述網格裁剪和填充單元配置成：將機器人工作空間邊界模型添加到校準後的第一環境模型中。在又一個實施例中，所述網格裁剪和填充單元配置成：按照設定的邊界閾值，依次選取小於所述邊界閾值的空洞；以及根據所選取的空洞的邊界周圍的曲率資訊及變化率，確定用於填補空洞的三角面片的曲率大小。
在一個實施例中，第二獲取單元330還包括：網格簡化單元和第三獲取單元，其中網格簡化單元配置成在對校準後的第一環境模型進行網格裁剪和填充之後執行網格簡化過程。在一個實施例中，網格簡化單元配置成：確定目標面片數量或者目標優化百分比；以及利用抽取演算法獲得所確定的數量的面片。第三獲取單元配置成在所述網格簡化單元執行網格簡化過程之後，獲得所述工業機器人的工作站模型。
在一個實施例中，三維環境建模設備3000還可包括：第四獲取單元和增刪單元，其中第四獲取單元用於在所述工業機器人的周圍環境發生改變時，獲得新物體的模型。增刪單元用於基於反覆運算最近點演算法以將該新物體的模型增加到所述工作站模型。
本領域技術人員容易理解，本發明的一個或多個實施例提供的三維環境建模方法可藉由電腦程式來實現。例如，當存有該電腦程式的電腦儲存媒體（例如USB）與電腦相連時，運行該電腦程式即可執行本發明的實施例的三維環境建模方法。
綜上所述，本發明的多個實施例提供三維環境建模方案。儘管只對其中一些本發明的具體實施方式進行描述，但是本領域技術人員應當瞭解，本發明可在不偏離其主旨與範圍內以許多其他的形式來實施，例如在工業機器人操作平台上實施。因此，所展示的例子與實施方式被視為示意性的而非限制性的，在不脫離如所附各請求項所定義的本發明精神及範圍的情況下，本發明可能涵蓋各種的修改與替換。
310:第一獲取單元 320:校準單元 330:第二獲取單元 3000:三維環境建模設備 1000:三維環境建模方法 S110、S120、S130:步驟 2000:三維環境建模方法 S210、S220、S230、S240、S250、S260、S270、S280:步驟
參照附圖，本發明的記載內容將變得更易理解。本領域技術人員容易理解的是：這些附圖僅僅用於說明的目的，而非意在對本發明的保護範圍構成限制。圖中： [圖1]示出根據本發明一個實施例的用於工業機器人的三維環境建模方法； [圖2]示出根據本發明一個實施例的用於工業機器人的三維環境建模方法；以及 [圖3]示出根據本發明一個實施例的用於工業機器人的三維環境建模設備。
1000:三維環境建模方法
S110、S120、S130:步驟

Claims (24)

  1. 一種用於工業機器人的三維環境建模方法，所述方法包括：藉由第一獲取單元，基於所述工業機器人的周圍環境的顏色及深度資訊，對所述工業機器人的所述周圍環境進行三維建模，從而得到第一環境模型；藉由校準單元，將所述第一環境模型的座標系統校準到所述工業機器人的基座標系統；以及藉由第二獲取單元，至少藉由對校準後的所述第一環境模型進行網格裁剪和填充以獲得所述工業機器人的工作站模型；其中所述第二獲取單元包括網格裁剪和填充單元，其中所述網格裁剪和填充單元配置成：選擇待重建的不完整的平面；以及建立新的三角面片來替代所述不完整的平面。
  2. 如請求項1所述的三維環境建模方法，其中所述顏色及所述深度資訊藉由手持RGB-D相機來獲取。
  3. 如請求項1所述的三維環境建模方法，還包括：藉由裁剪單元，在將所述第一環境模型的所述座標系統校準到所述工業機器人的所述基座標系統之後，根據所述工業機器人的工作空間範圍，對校準後的所述第一環境模型進行裁剪。
  4. 如請求項1所述的三維環境建模方法，還包括：藉由網格整合度評估單元，在將所述第一環境模型的所述座標系統校準到所述工業機器人的所述基座標系統之後，利用網格整合度評估方法來衡量校準後的所述第一環境模型的映射是否完整。
  5. 如請求項4所述的三維環境建模方法，還包括：藉由準確度評估單元，在利用所述網格整合度評估方法來衡量校準後的所 述第一環境模型的所述映射是否完整之後，對校準後的所述第一環境模型進行準確度評估。
  6. 如請求項1所述的三維環境建模方法，其中所述網格裁剪和填充單元在建立所述新的三角面片時進一步被配置成：根據在所述不完整的平面上的頂點，利用最小二乘法來獲得擬合所述不完整的平面的參數；以及根據所述參數來建立所述新的三角面片。
  7. 如請求項1所述的三維環境建模方法，其中所述網格裁剪和填充單元還被配置成：將機器人工作空間邊界模型添加到校準後的所述第一環境模型中。
  8. 如請求項1所述的三維環境建模方法，其中所述網格裁剪和填充單元還被配置成：按照設定的邊界閾值，依次選取小於所述邊界閾值的空洞；以及根據所選取的所述空洞的邊界周圍的曲率資訊及變化率，來確定用於填補所述空洞的三角面片的曲率大小。
  9. 如請求項1所述的三維環境建模方法，其中至少藉由對校準後的所述第一環境模型進行網格裁剪和填充以獲得所述工業機器人的所述工作站模型包括：藉由網格簡化單元，在對校準後的所述第一環境模型進行所述網格裁剪和填充之後執行網格簡化過程；以及藉由第三獲取單元，在所述網格簡化過程之後，獲得所述工業機器人的所述工作站模型。
  10. 如請求項9所述的三維環境建模方法，其中所述網格簡化過程包括： 確定目標面片數量或者目標優化百分比；以及利用抽取演算法來獲得所確定的所述目標面片數量。
  11. 如請求項1所述的三維環境建模方法，還包括：藉由第四獲取單元，在所述工業機器人的所述周圍環境發生改變時，獲得新物體的模型；藉由增刪單元，基於反覆運算最近點演算法以將所述新物體的所述模型增加到所述工作站模型。
  12. 一種用於工業機器人的三維環境建模設備，所述三維環境建模設備包括：第一獲取單元，所述第一獲取單元配置成基於所述工業機器人的周圍環境的顏色及深度資訊，對所述工業機器人的所述周圍環境進行三維建模，從而得到第一環境模型；校準單元，所述校準單元配置成將所述第一環境模型的座標系統校準到所述工業機器人的基座標系統；以及第二獲取單元，所述第二獲取單元配置成至少藉由對校準後的所述第一環境模型進行網格裁剪和填充，以獲得所述工業機器人的工作站模型；其中所述第二獲取單元包括網格裁剪和填充單元，其中所述網格裁剪和填充單元配置成：選擇待重建的不完整的平面；以及建立新的三角面片來替代所述不完整的平面。
  13. 如請求項12所述的三維環境建模設備，其中所述第一獲取單元配置成從手持RGB-D相機獲取所述顏色及深度資訊。
  14. 如請求項12所述的三維環境建模設備，還包括：裁剪單元，所述裁剪單元配置成在所述校準單元將所述第一環境模型的所 述座標系統校準到所述工業機器人的所述基座標系統之後，根據所述工業機器人的工作空間範圍，對校準後的所述第一環境模型進行裁剪。
  15. 如請求項12所述的三維環境建模設備，還包括：網格整合度評估單元，所述網格整合度評估單元配置成在所述校準單元將所述第一環境模型的所述座標系統校準到所述工業機器人的所述基座標系統之後，利用網格整合度評估方法來衡量校準後的所述第一環境模型的映射是否完整。
  16. 如請求項15所述的三維環境建模設備，還包括：準確度評估單元，所述準確度評估單元配置成在所述網格整合度評估單元利用所述網格整合度評估方法來衡量校準後的所述第一環境模型的所述映射是否完整之後，對所述校準後的所述第一環境模型進行準確度評估。
  17. 如請求項12所述的三維環境建模設備，其中所述網格裁剪和填充單元在建立所述新的三角面片時進一步被配置成：根據在所述不完整的平面上的頂點，利用最小二乘法來獲得擬合所述不完整的平面的參數；以及根據所述參數來建立所述新的三角面片。
  18. 如請求項12所述的三維環境建模設備，其中所述網格裁剪和填充單元還被配置成：將機器人工作空間邊界模型添加到校準後的所述第一環境模型中。
  19. 如請求項12所述的三維環境建模設備，其中所述網格裁剪和填充單元還被配置成：按照設定的邊界閾值，依次選取小於所述邊界閾值的空洞；以及根據所選取的所述空洞的邊界周圍的曲率資訊及變化率，確定用於填補所述空洞的三角面片的曲率大小。
  20. 如請求項12所述的三維環境建模設備，其中所述第二獲取單元還包括：網格簡化單元，所述網格簡化單元配置成在對校準後的所述第一環境模型進行所述網格裁剪和填充之後執行網格簡化過程；以及第三獲取單元，所述第三獲取單元配置成在所述網格簡化單元執行所述網格簡化過程之後，獲得所述工業機器人的所述工作站模型。
  21. 如請求項20所述的三維環境建模設備，其中所述網格簡化單元配置成：確定目標面片數量或者目標優化百分比；以及利用抽取演算法來獲得所確定的所述目標面片數量。
  22. 如請求項12所述的三維環境建模設備，還包括：第四獲取單元，用於在所述工業機器人的所述周圍環境發生改變時，獲得新物體的模型；增刪單元，用於基於反覆運算最近點演算法來將所述新物體的模型增加到所述工作站模型。
  23. 一種電腦儲存媒體，其包括指令，所述指令在運行時執行如請求項1至11中任一項所述的三維環境建模方法。
  24. 一種工業機器人操作平台，其包括如請求項12至22中任一項所述的三維環境建模設備。
TW109130228A 2019-09-06 2020-09-03 用於工業機器人的三維環境建模方法及設備、電腦儲存媒體以及工業機器人操作平台 TWI832002B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/CN2019/104728 WO2021042374A1 (zh) 2019-09-06 2019-09-06 用于工业机器人的三维环境建模方法及设备、计算机存储介质以及工业机器人操作平台
WOPCT/CN2019/104728 2019-09-06

Publications (2)

Publication Number Publication Date
TW202111667A TW202111667A (zh) 2021-03-16
TWI832002B true TWI832002B (zh) 2024-02-11

Family

ID=74852975

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109130228A TWI832002B (zh) 2019-09-06 2020-09-03 用於工業機器人的三維環境建模方法及設備、電腦儲存媒體以及工業機器人操作平台

Country Status (4)

Country Link
CN (1) CN114364942A (zh)
DE (1) DE112019007466T5 (zh)
TW (1) TWI832002B (zh)
WO (1) WO2021042374A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140111507A1 (en) * 2012-10-23 2014-04-24 Electronics And Telecommunications Research Institute 3-dimensional shape reconstruction device using depth image and color image and the method
CN105674991A (zh) * 2016-03-29 2016-06-15 深圳市华讯方舟科技有限公司 一种机器人定位方法和装置
US20170140552A1 (en) * 2014-06-25 2017-05-18 Korea Advanced Institute Of Science And Technology Apparatus and method for estimating hand position utilizing head mounted color depth camera, and bare hand interaction system using same
US20180018805A1 (en) * 2016-07-13 2018-01-18 Intel Corporation Three dimensional scene reconstruction based on contextual analysis
CN107729295A (zh) * 2017-10-19 2018-02-23 广东工业大学 一种羽毛球的实时落点预判方法、平台及设备
CN109961406A (zh) * 2017-12-25 2019-07-02 深圳市优必选科技有限公司 一种图像处理的方法、装置及终端设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9083960B2 (en) * 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
CN106384079B (zh) * 2016-08-31 2019-04-30 东南大学 一种基于rgb-d信息的实时行人跟踪方法
US11513211B2 (en) * 2016-11-29 2022-11-29 Continental Automotive Gmbh Environment model using cross-sensor feature point referencing
US10646999B2 (en) * 2017-07-20 2020-05-12 Tata Consultancy Services Limited Systems and methods for detecting grasp poses for handling target objects
CN107607107B (zh) * 2017-09-14 2020-07-03 斯坦德机器人（深圳）有限公司 一种基于先验信息的Slam方法和装置
DE102018201801A1 (de) * 2018-02-06 2019-08-08 Siemens Aktiengesellschaft Vorrichtung zur Wahrnehmung eines Bereichs, Verfahren zum Betreiben einer Vorrichtung und Computerprogrammprodukt
CN108573221A (zh) * 2018-03-28 2018-09-25 重庆邮电大学 一种基于视觉的机器人目标零件显著性检测方法
CN109676604B (zh) * 2018-12-26 2020-09-22 清华大学 机器人曲面运动定位方法及其运动定位系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140111507A1 (en) * 2012-10-23 2014-04-24 Electronics And Telecommunications Research Institute 3-dimensional shape reconstruction device using depth image and color image and the method
US20170140552A1 (en) * 2014-06-25 2017-05-18 Korea Advanced Institute Of Science And Technology Apparatus and method for estimating hand position utilizing head mounted color depth camera, and bare hand interaction system using same
CN105674991A (zh) * 2016-03-29 2016-06-15 深圳市华讯方舟科技有限公司 一种机器人定位方法和装置
US20180018805A1 (en) * 2016-07-13 2018-01-18 Intel Corporation Three dimensional scene reconstruction based on contextual analysis
CN107729295A (zh) * 2017-10-19 2018-02-23 广东工业大学 一种羽毛球的实时落点预判方法、平台及设备
CN109961406A (zh) * 2017-12-25 2019-07-02 深圳市优必选科技有限公司 一种图像处理的方法、装置及终端设备

Also Published As

Publication number Publication date
WO2021042374A1 (zh) 2021-03-11
DE112019007466T5 (de) 2022-03-31
TW202111667A (zh) 2021-03-16
CN114364942A (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
WO2018059155A1 (zh) 带有几何误差的三维实体模型的构建方法及计算机可读存储介质
JP5703396B2 (ja) 減数された測定点による公差評価
JP2010522089A (ja) ダムブレードのターボ機械翼などの加工片を修復する方法
US9501868B2 (en) Methods and systems for generating and editing surfaces
JP2017533414A (ja) ボリューム・データから抽出されるサーフェスデータの局所品質を決定する方法およびシステム
US20160138914A1 (en) System and method for analyzing data
TWI672207B (zh) 機械設備之定位系統及其方法
TWI673620B (zh) 利用動態位置誤差模擬切削方法
US10839250B2 (en) Process and system for computing the cost of usable and consumable materials for painting of motor vehicles, from analysis of deformations in motor vehicles
KR20140142679A (ko) 2차원 뷰들로 3차원 모델링된 오브젝트의 설계
JP2011141673A (ja) 加工シミュレーション装置および数値制御装置
CN115846890B (zh) 镭雕设备的控制方法、镭雕设备以及计算机可读存储介质
TWI832002B (zh) 用於工業機器人的三維環境建模方法及設備、電腦儲存媒體以及工業機器人操作平台
KR20040091877A (ko) 스테레오 영상 구현 시 기본행렬을 구하는 방법
WO2021042376A1 (zh) 用于工业机器人的标定方法及装置、三维环境建模方法及设备、计算机存储介质以及工业机器人操作平台
JP4393962B2 (ja) 光源推定システムおよびプログラム
CN110415210B (zh) 一种基于点云贪婪三角投影构建模型的孔洞检测和修补方法
CN108646669B (zh) 一种曲面加工零件表面轮廓误差的近似评估方法
JP4981313B2 (ja) ３次元形状処理装置及び曲面作成プログラム並びに曲面作成方法
CN115509176A (zh) 一种基于在机测量的曲面随形补偿加工系统以及加工方法
JP3739209B2 (ja) 点群からのポリゴン自動生成システム
Wiemann et al. Optimizing triangle mesh reconstructions of planar environments
CN113983977A (zh) 基于ugnx的模具电极检测方法、装置和设备
CN116625242B (zh) 光学三坐标测量机路径规划方法、系统、电子设备及介质
CN116046017B (zh) 一种测量路径的校准方法、装置、存储介质和计算机设备