TWI788253B - 適應性移動操作設備及方法 - Google Patents

適應性移動操作設備及方法 Download PDF

Info

Publication number
TWI788253B
TWI788253B TW111113619A TW111113619A TWI788253B TW I788253 B TWI788253 B TW I788253B TW 111113619 A TW111113619 A TW 111113619A TW 111113619 A TW111113619 A TW 111113619A TW I788253 B TWI788253 B TW I788253B
Authority
TW
Taiwan
Prior art keywords
motion plan
actions
gesture
aware
operating device
Prior art date
Application number
TW111113619A
Other languages
English (en)
Other versions
TW202303183A (zh
Inventor
陳毓嶸
國強 胡
佳倫 鐘
Original Assignee
台達電子國際（新加坡）私人有限公司
南洋理工大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 台達電子國際（新加坡）私人有限公司, 南洋理工大學 filed Critical 台達電子國際（新加坡）私人有限公司
Application granted granted Critical
Publication of TWI788253B publication Critical patent/TWI788253B/zh
Publication of TW202303183A publication Critical patent/TW202303183A/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1615—Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • B25J9/162—Mobile manipulator, movable base with manipulator arm mounted on it
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39001—Robot, manipulator control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40519—Motion, trajectory planning

Abstract

本案提供一種適應性移動操作設備及方法。該方法包括：提供移動操作設備，其包括操作裝置、感測器及處理器，以執行對置於載體上之物體的操作，且該載體上設有彼此分離的複數個標記；提供基礎運動計畫，其包括複數個第一姿態感知動作；感測器偵測複數個標記，以獲得運行標記資訊；處理器基於基礎運動計畫而產生運行運動計畫，其中運行運動計畫包括複數個第二姿態感知動作，且複數個第二姿態感知動作係根據運行標記資訊自複數個第一姿態感知動作修改而得；以及處理器進一步執行運行運動計畫，以控制操作裝置操作物體。

Description

適應性移動操作設備及方法
本案係關於一種適應性移動操作設備及方法，尤指一種利用複數個標記的適應性移動操作設備及方法。
物料搬運及物流是倉庫及工廠的兩項重要任務，這些任務通常由人力完成，但卻可能導致安全風險及產生運營成本。隨著移動操作裝置的逐漸發展，現已可將這些任務自動化，但仍存在需要解決的問題。
第一個挑戰是如何導航移動操作裝置。借助於雷射測距掃描器或光學雷達配合先進的控制演算法，自動導引車（AGV，Automated Guided Vehicle）現已可自動移動到目標位置，然，其位置的精準度約有10公分的誤差，且方位的精準度約有10度的誤差。
第二個挑戰是如何定位目標物體或操作區域，此係涉及估計目標物體的姿態，包括位置和方位。通常，如電腦視覺及機器學習等之技術能夠在有限的條件下（例如良好的照明下）做到此點，但基於照相機在移動操作裝置上的放置位置以及倉庫或工廠的各種照明條件的影響，可能無法提供穩定的估計結果；另，由於此些技術之計算量大，故對於電池電量及計算能力皆有限的移動操作裝置而言並不適合，且若操作場景發生變化，數學模型將需重新建立，是相當複雜的程序。如ArUco及ALVAR之採用方形平面基準標記的技術是藉由在物體上設置標記而偵測標記之姿態的常用方法。在固定標記的尺寸後，係透過標記在相機影像中的尺寸及形狀來確定標記的位置及方位，亦即標記的姿態。此種方式對於位置的估計是準確的（通常誤差在一至二公釐之內），但對於方位的估計卻很大程度取決於短時間內之環境條件，例如照明及變動。
第三個挑戰是關於運動計畫。此計畫包括將移動操作裝置移動至特定位置並利用操作裝置執行操作任務。傳統上，“教學（teaching）”是生產線上用來使固定的操作裝置執行如拿取與放置、旋緊等重複性任務的技術，其中工程師是透過代表任務的一系列移動來引導及程式化操作裝置；然而，由於移動平台（AGV）之移動會產生位置及方位誤差，故操作裝置與目標物體間遂亦存在有位置偏移及方位偏移，是以，傳統的“教學”技術並不適用於移動操作裝置。
除了上述挑戰外，人工智能及機器學習也是學術研究中解決上述問題的常見技術，但考量到財務成本，小型企業實際上難以擁有專注於此的研究團隊，是以，較合適以提供低成本架構的方式來解決此些問題。
因此，有需要提供一種適應性移動操作設備及方法，以解決習知技術中的缺失。
本案之目的在於提供一種適應性移動操作設備及方法，以克服上述缺失的至少其中之一。
本案之另一目的在於提供一種適應性移動操作設備及方法，其係將操作物體之動作分類為姿態感知動作及非姿態感知動作，並進一步將姿態感知動作與藉由偵測標記所獲得的位置及方位資訊產生關連，因而可在採用低成本架構之適應性移動操作設備的前提下，達成高精準度的姿態感知動作。
為達上述目的，本案提供一種適應性移動操作方法，包括下列步驟：提供移動操作設備，其包括操作裝置、感測器、及處理器，以執行對於置於載體上之物體的操作，且載體上設置有彼此分離的複數個標記；提供基礎運動計畫，其包括複數個第一姿態感知動作；感測器偵測複數個標記，以獲得運行標記資訊；處理器基於基礎運動計畫而產生運行運動計畫，其中運行運動計畫包括複數個第二姿態感知動作，且複數個第二姿態感知動作係根據運行標記資訊自複數個第一姿態感知動作修改而得；以及處理器進一步執行運行運動計畫，以控制操作裝置操作物體。
在一實施例中，基礎運動計畫之第一姿態感知動作的每一個係包括對應複數個標記的變數及基礎標記資訊。
在一實施例中，更包括下列步驟：處理器計算基礎標記資訊與運行標記資訊間的差異；以及處理器根據複數個第一姿態感知動作及差異而產生複數個第二姿態感知動作。
在一實施例中，運行標記資訊及基礎標記資訊分別皆包括複數個標記與感測器之間的位置及方位。
在一實施例中，操作裝置進一步包括末端操作器及關節。
在一實施例中，第一及第二姿態感知動作分別包括相對於物體之位置及方位而移動末端操作器。
在一實施例中，第一及第二姿態感知動作分別包括下列動作的至少其中之一：移動末端操作器至目標姿態；末端操作器橫越一軌跡；以及末端操作器關連於運行標記資訊而移動。
在一實施例中，物體係放置於載體上的固定位置。
在一實施例中，標記包括視覺標記或基準標記。
在一實施例中，感測器包括照相機。
為達上述目的，本案提供一種適應性移動操作設備，包括操作裝置、感測器、及處理器，其中處理器係耦接至操作裝置及感測器，並架構執行下列步驟：擷取基礎運動計畫，其包括複數個第一姿態感知動作；驅動感測器偵測設置於載體上的複數個標記，以獲得運行標記資訊；基於基礎運動計畫而產生運行運動計畫，其中運行運動計畫包括複數個第二姿態感知動作，且複數個第二姿態感知動作係根據運行標記資訊自複數個第一姿態感知動作修改而得；以及執行運行運動計畫，以控制操作裝置操作設置於載體上的物體。
在一實施例中，感測器包括照相機。
在一實施例中，標記包括視覺標記或基準標記。
體現本案特徵與優點的一些典型實施例將在後段的說明中詳細敘述。應理解的是本發明能夠在不同的態樣上具有各種的變化，然其皆不脫離本發明的範圍，且其中的說明及圖示在本質上係當作說明之用，而非用以限制本發明。
本案係提供於倉庫或工廠生產線中操作一目標物體（例如抓取、放置或修正目標物體等）的系統架構，以在經濟成本可負擔的前提下，使工程師或操作者可容易且簡單地設計運動計畫。
本案包括四部分，包括（1）系統之設計，（2）適應性操作設備之建置，（3）基於教學（teaching）之適應性移動操作的設計，以及（4）用以自多個標記獲得定位資訊的演算法。
（1）系統之設計
本案系統包括環境實體設置，其包含適應性移動操作設備、用以設置目標物體之載體、及設置於載體上且彼此分離的標記。一般而言，載體是倉庫或工廠中的剛性貨架，且不同的貨架是透過其標識碼，亦即貨架ID，來區分。請參閱第1圖，其顯示本案實施例之適應性移動操作系統的示意圖。適應性移動操作系統包括三個主要部分：（a）倉庫或工廠的地板101、（b）適應性移動操作設備、及（c）載體121、目標物體122、碰撞體123與標記124、125，其中適應性移動操作設備包括AGV部件111、操作裝置112及感測器114，且操作裝置112具有操作工具113，以及感測器114具有有效視野範圍115。取決於不同的環境設置及實際需求，感測器114可為照相機感測器，例如2D/RGB照相機，以及標記124、125可為，例如視覺或基準標記，但不限於此。
由於載體121係特別設計以容置目標物體122，故在假設載體121、目標物體122、碰撞體123與標記124、125之間的相對位置為固定的前提下，只要載體121之姿態為已知，其他物件的姿態即可透過基於載體121之姿態的計算而獲得。另，兩個標記124、125係水平地設置於載體121上，並大致具有自地板101起相同的高度且大致面向相同的方向。在一實施例中，為獲得最佳結果，標記之尺寸至少為35公釐，並具有至少3公釐之白色外框，且兩標記之中心點之間距離至少彼此分離100公釐。
雖然第1圖中僅顯示一個適應性移動操作設備及一個載體，但其係僅作為舉例之用，在操作區域中可同時設置不同數量且不同型態的適應性移動操作設備及載體，不受限於此。另，單個載體上亦可設置多對的標記，例如，面向不同方向者或為不同型態者，以對應不同的移動操作設備。
本案中“操作任務”的目的在於使移動操作設備移動至接近載體121的位置並執行對於目標物體122之操作。因此，在執行對目標物體122之操作前，適應性移動操作設備係透過AGV部件111而移動並接近載體121，以達到可操作目標物體122之姿態，並使對應的一對特定標記落入有效視野範圍115內，亦使目標物體122落入操作裝置112的可及範圍內。此部分可利用習知的導航技術來達成。
在此前提下，可做出下列之假設。首先，操作任務係分成兩個部分，（利用AGV部件111）導航及（利用操作裝置112）操作。再者，AGV部件111可將適應性移動操作設備導航至足夠精準的目標位置及方位，以使目標物體122落入操作裝置112的可及範圍內，但在此可允許一定程度的誤差（例如，位置及方位偏移）。最後，由於目標物體122係設置於經設計的載體121上，故目標物體122相對於載體121之姿態係為固定，換言之，在已知載體121之姿態資訊後，即可透過計算而得出目標物體122的姿態。
（2）適應性移動操作設備的基本架構
請參閱第2圖，其顯示本案實施例之適應性移動操作設備的基本構造示意圖。此移動操作設備與一般工業上所使用者類似，包括相互電耦接的下列元件：AGV部件201、處理器202、測距物件203、感測器204、以及操作裝置205，其中操作裝置205具有末端操作器（EFF）206以及至少一關節207，且處理器202係架構以執行有關操作目標物體的計算及通訊。由於本案主要著重於操作任務的執行，故僅描述與操作任務相關之處理器202、感測器204、操作裝置205及EFF 206等部件，並非作為限制。
（3）基於教學之適應性操作
（3.1）運動計畫
在前述的基礎下，本案之操作任務係定義為，當適應性移動操作設備已到達可操作目標物體之姿態後，在無需人力直接實體接觸目標物體的情形下，利用操作裝置來操作目標物體的程序。操作任務包括一系列的操作動作，在本案中將其定義為一“運動計畫”。請參閱第3圖，其顯示本案實施例之運動計畫的流程圖。運動計畫係包括n個動作，自動作1（步驟301）、動作2（步驟302）、動作3（步驟303）、一直至動作n（步驟304），其中可能的動作包括，但不以此為限，（a）移動至一目標關節狀態，（b）使EFF移動至一目標姿態，（c）EFF橫越一軌跡，（d）EFF移動相對於操作裝置之座標的位置偏移，（e）EFF移動相對於目標物體之座標的位置偏移，以及（f）對目標物體執行動作（例如，打開/閉合握爪）及/或進行其他相關動作（例如，開啟/關閉燈光、啟動/停止運輸帶等）。需注意地，（c）之軌跡係由一系列的（b）所形成。另，在運動計畫中亦可包含碰撞體123，以避免操作裝置與其發生碰撞，故不以此為限。
為使內容更為簡潔，本案僅就下列表一中所列之動作進行敘述及討論，但並非作為限制。在運動計畫中的動作被分類為姿態感知動作及非姿態感知動作，其中被歸類為姿態感知動作者係為在操作裝置及EFF已到達可及目標物體的範圍內之後，直接相關於操作目標物體的動作。需注意地，亦可包括利用腕式照相機或其他感測器而於線上調整的動作，並結合於本架構中。
表一 運動計畫中包含之動作
  動     作 所需變數
姿態感知 使EFF移動至一姿態 目標EFF姿態、標記位置
EFF橫越一軌跡 軌跡、標記位置
EFF移動相對於目標物體之座標的位置偏移 位置偏移、標記位置
非姿態感知 移動至一關節狀態 關節狀態（角度）
EFF移動相對於操作裝置之座標的位置偏移 位置偏移
對目標物體執行動作或進行其他相關動作 控制變數
（3.2）利用“教學”產生基礎運動計畫及其執行
請參閱第4圖，其顯示本案實施例之操作區域的設置示意圖。如圖所示，載體，例如剛性貨架，係標示為401，兩個方形基準標記係標示為402、403，目標物體係標示為404，操作裝置係標示為411，EFF係標示為412，及AGV部件係標示為413。由圖中可觀察出，目標物體404與剛性貨架401之間的相對姿態是固定的，反之，操作裝置411及EFF 412與剛性貨架401之間的相對姿態則是取決於移動操作設備的姿態（亦即位置及方位）。
因此，若可提供操作裝置411用以執行此類操作任務之特定操作姿態架構的運動計畫，就可以此運動計畫作為基礎而進行修改，進而架構出其他不同的操作姿態，故此運動計畫係定義為“基礎運動計畫”，而本案“教學”的目的即在於產生基礎運動計畫。此基礎運動計畫的產生可以是透過手動、計算、或教學而完成。此章節的內容在於敘述如何利用教學產生基礎運動計畫及其執行方式。
（3.2.1）環境設置
為了利用位置及方位的修正來調整基礎運動計畫中的動作，係需要取得額外的資訊。在本案中，由於每一個姿態感知動作皆關連於一對基準標記，因此，請參閱第5圖，其顯示本案實施例中照相機及標記的設置示意圖，當適應性移動操作設備停止移動時，設於載體501上的一對基準標記511、512必須落在照相機感測器521的有效視野範圍522內。在一實施例中，係使用單對的標記與整個基礎運動計畫產生關連，但不此為限，亦可針對不同的動作使用不同對的標記，皆為可行。
（3.2.2）基礎運動計畫及其數位表示
在給定任意操作裝置姿態後，藉由將標記資訊增加至每一個姿態感知動作中，即可將執行操作任務的運動計畫修改成基礎運動計畫，因此，為了產生基礎運動計畫，即需要偵測標記對的額外步驟，以獲得與每一姿態感知動作產生關連的基礎標記資訊，而此則可藉由方形基準標記技術來達成。此類技術係可藉由使用來自RGB照相機的影像框而提供標記的一估計姿態（位置及方位）流，然而，由於數值可能有所變動，故於接下來的章節中係描述如何將過濾器應用於所取得之姿態流及如何改善偵測。下表二係顯示各動作中所使用的資料結構，以及在電腦系統中各種不同型態之變數如何表示。
表二 動作及其數位表示
變  數 資料結構 描    述
EFF姿態
Figure 02_image001
 由位置及方位構成之位元組
軌跡
Figure 02_image003
 P i’s陣列，每一個P i即為一個EFF姿態
位置偏移
Figure 02_image005
 相對於操作裝置座標的位置偏移
關節狀態
Figure 02_image007
 關節角度陣列，尺寸取決於操作裝置之關節數量
控制變數 N/A 取決於語義場景，不屬本案討論範圍
標記位置
Figure 02_image009
 由兩個標記之ID及位置構成之位元組
1.
Figure 02_image011
為實數，但通常在電腦系統中表示為雙精度浮點數。 2.
Figure 02_image013
為實數，但可簡化並表示為介於-
Figure 02_image015
及
Figure 02_image015
之間的雙精度浮點數。 3.
Figure 02_image017
分別為左邊及右邊標記的ID。
以前述段落為基礎，先前所定義之用於基礎運動計畫的運動計畫可展開為一排序的動作列表，且其中之姿態感知動作係連同一對基準標記之位置一起儲存。在電腦系統中用於基礎運動計畫之資料結構的詳細內容如下所示：
基礎運動計畫 = [a] a = Pose EFF| Trajectory | Offset target| JS | Offset manipulator| Action otherPose EFF=
Figure 02_image019
Trajectory =
Figure 02_image021
Offset target=
Figure 02_image023
JS = [j] Offset manipulator=
Figure 02_image005
Figure 02_image025
=
Figure 02_image005
Figure 02_image027
=
Figure 02_image029
Figure 02_image031
為實數。
其中各標註之意義如下： [u]：“u”之排序列表 a：一個動作 |：或 Pose EFF：EFF姿態 Trajectory：EFF軌跡 Offset target：EFF相對目標物體座標的移動偏移 JS：操作裝置之關節狀態 Offset manipulator：EFF相對操作裝置座標的移動偏移 Action other：其他不影響操作裝置狀態的動作
Figure 02_image025
：位置、左邊標記之位置、右邊標記之位置
Figure 02_image027
：方位（歐拉角或四元數）
需注意地，若無另外提及，其係假設原點（0, 0, 0）且世界座標系統與操作裝置對齊。
（3.2.3）利用教學產生基礎運動計畫
當對操作裝置進行程式化時，教學係用以藉由將操作裝置移動至所需的架構而指定操作裝置的狀態（大部分為關節狀態），以取代提供此關節狀態之數值的方式。在本案中，此概念進一步延伸至整個運動計畫，且使用者係透過此程序中一系列的動作而引導操作裝置。
請參閱第6圖，其顯示本案實施例之產生基礎運動計畫的流程圖。在教學的一開始（步驟601），係提供用以儲存運動計畫的一空白排序列表“actions”，接著，在步驟602，使用者指定運動計畫中的下一個動作，或使用者已完成產生運動計畫，同時間，亦提供空白的字典資料結構（{}）“curr_action”。在決定步驟603中，係檢查使用者於步驟602中之輸入。
若動作為姿態感知動作，即在步驟604中收集表二中對應的變數，並連同動作型態一起儲存於“curr_action”中，在此步驟中，此些變數可直接收集自已經使用者操作而到達所需姿態後的操作裝置；接著，步驟605利用如先前所述之已知技術而收集左右標記的基礎標記資訊，且基礎標記資訊係連同標記ID一起儲存於“curr_action”中，在此，標記ID係由使用者提供。有關演算法收集一系列樣本並利用過濾器過濾出極值以得出較佳數值的內容將於章節4.1中呈現。之後，在步驟606中，“curr_action”被附加至“actions”的最後。據此，即可產生基礎運動計畫中與基礎標記資訊產生關連的姿態感知動作，其係定義為第一姿態感知動作。
類似地，若動作為非姿態感知動作，係於步驟607收集對應表二的變數，並連同動作型態一起儲存於“curr_action”中，在此步驟中，此些變數之收集可（1）直接源自已經使用者操作而到達所需關節狀態的操作裝置，以及（2）透過使用者鍵盤輸入（例如，EFF位置偏移、打開/閉合握爪、或其他選項）。系統根據所接收之使用者輸入而執行對應的動作，之後，“curr_action”係於步驟608中被附加至“actions”的最後。據此，即可產生基礎運動計畫中的非姿態感知動作，其係定義為第一非姿態感知動作。
若指示使用者已完成產生基礎運動計畫的程序，則“actions”接著被填平為串資料結構，並在步驟609中與使用者所指定的唯一名稱一起儲存，以供之後使用，接著程序結束（步驟610）。
（3.3）將基礎運動計畫調整為運行運動計畫
請參閱第7圖，其顯示在運行時執行運動計畫的流程圖。當產生一操作情境時，系統會擷取既有的基礎運動計畫，並將其修改為符合該操作情境的運行運動計畫。在步驟701中，所輸入的是如章節3.2所述之包含第一姿態感知動作及第一非姿態感知動作的基礎運動計畫，其可利用查表方式根據名稱而自電腦儲存資料中取得。接著，即針對運動計畫中的每一個元件（亦即，每一個動作）進行處理。首先，在步驟702中檢查動作的個數是否為0，若為0，程序即結束，並移至結束狀態（步驟721），反之，則在步驟702中擷取第一個元件（動作）並將其視為curr_action；接著，如步驟712所示，決定此動作是否為姿態感知動作，若為非姿態感知動作，則程序執行步驟715，反之，如步驟713所示，處理器驅動感測器偵測與此動作相關的標記，並藉由如章節4.1所述之過濾器及演算法而獲得運行標記資訊；之後，運行標記資訊於步驟714中被用於利用章節4.3所述之演算法而計算位置及方位偏移，並用以修改動作；接著，經修改的動作於步驟715中執行，且第一個動作在步驟716中被移除。基礎運動計畫中每一個動作皆利用此流程進行處理。
也就是，運行運動計畫是自基礎運動計畫修改而得。首先，根據感測器所取得的運行標記資訊，基礎運動計畫中的第一姿態感知動作被修改為不同的姿態感知動作，其係定義為運行運動計畫中的第二姿態感知動作，再者，基礎運動計畫中的第一非姿態感知動作則不進行修改並於運行期間直接執行，其則定義為運行運動計畫中的第二非姿態感知動作。
據此，請參閱第8圖，其顯示本案實施例中，操作目標物體時之操作過程的流程圖。程序開始於步驟801，接著，在步驟802，處理器擷取已經產生的基礎運動計畫，之後，在步驟803，處理器驅動感測器偵測標記，以取得運行標記資訊，接著，在步驟804，處理器根據運行標記資訊而將包括第一姿態感知動作及第一非姿態感知動作的基礎運動計畫，修改為包括第二姿態感知動作及第二非姿態感知動作的運行運動計畫，最後，如步驟805所示，運行運動計畫係加以執行，以藉此控制操作裝置而操作目標物體。
（4）用以修改基礎運動計畫之演算法
（4.1）獲得穩定標記位置的過濾演算法
請參閱第9圖，其顯示本案實施例中，照相機感測器獲取標記資訊的過程。在步驟901中，係利用RGB照相機取得影像流，接著，如步驟902所示之所取得影像流中的影像係利用既有的方形基準標記定位技術（如ArUco或AR Tracker Alvar）而於步驟903中進行處理，並輸出帶有標記ID及標記之位置與方位的資料流，之後，在步驟904中，每一個標記之連續k個資料點的方位係被移除並重新產生，在此，於教學期間，k係設定為300，以及於運行期間，k係設定為30；接著，來自步驟904的資料於步驟905中藉由演算法進行處理，以過濾掉極值，並於步驟906輸出。
步驟905中之過濾演算法如下所示。
輸入：
Figure 02_image033
演算法： 1. 計算
Figure 02_image035
q
Figure 02_image037
2. 根據
Figure 02_image039
與
Figure 02_image041
之距離降冪排序
Figure 02_image039
3. 根據前一步驟中所排序之
Figure 02_image039
，使
Figure 02_image043
成為第一個
Figure 02_image027
4. 計算
Figure 02_image045
輸出：
Figure 02_image047
其中各標註之意義如下：
Figure 02_image049
：待定位之標記組
Figure 02_image051
：標記
Figure 02_image051
Figure 02_image039
：特定標記 m的 k個樣本
Figure 02_image053
：帶有位置
Figure 02_image055
之
Figure 02_image039
中的第i個樣本
Figure 02_image057
: 標記 m的最終位置 其他用於暫時變數的標註則不言自明。
接著，過濾演算法的輸出係用來修改基礎運動計畫。
需注意地，藉由將三個標記設置為L形（或更多個標記），將可決定三維的位置偏移以及俯仰（pitch）、偏擺（yaw）與翻滾（Roll），而上述資訊則可用來掌握貨架高度發生改變的情形，其運動計畫的修改方式與前述類似，即不再贅述。
（4.2）用以獲得基礎運動計畫與運行運動計畫間之位置及方位偏移的演算法
在基礎運行計畫中，基礎標記資訊係與每一個動作產生關連，此與在運行期間所偵測到的運行標記資訊一起用以計算位置偏移及方位偏移，進而修改基礎運行計畫，亦即，第一姿態感知動作係據此被修改為第二姿態感知動作。請參閱第10圖，其顯示本案實施例中，標記分別於基礎運動計畫中及運行運動計畫中的位置差異。如圖所示，a及b係分別為基礎運動計畫1001中的左右標記位置，以及c及d係分別為運行運動計畫1002中的左右標記位置。
請參閱第11圖，其顯示本案實施例中，計算位置及方位偏移的示意圖。需注意地，位置是基於移動操作裝置的座標。標號1101係指示標記位置間的關係，其中位置偏移係為自c至a，方位偏移係為theta z，在此，由於假設工廠或倉庫環境中地板為平面，故高度資訊（Z）被移除，並得出標號1102所指示的關係，其中，a、b、c及d分別對應至a’、b’、c’及d’，且a’、b’、c’及d’僅包含二維資訊（X及Y）。需注意地，此為X-Y平面上的投影。接著，a’及c’被譯為O (0, 0)，並同時應用至b’（a’至0）及d’（c’至0），最後產生關係1103中的a’’、b’’、c’’及d’’，接著，即可利用下列之方程式來計算位置及方位偏移。
輸入：
Figure 02_image059
位置偏移：
Figure 02_image061
方位偏移： theta z=
Figure 02_image063
其中：
Figure 02_image065
Figure 02_image067
Figure 02_image069
Figure 02_image071
（4.3）用以修改基礎運動計畫的演算法
至此，基礎運動計畫即可藉由位置偏移
Figure 02_image073
及方位偏移theta z而被調整為運行運動計畫，進而執行所需的操作。在運動計畫中，僅姿態感知動作需要進行修改，包括「使EFF移動至一姿態」、「EFF橫越一軌跡」、及「EFF移動相對於目標物體之座標的位置偏移」（請參照表一），但不以此為限。調整的計算將於章節4.3.1及4.3.2中敘述。
（4.3.1）EFF姿態及軌跡
就「使EFF移動至一姿態」而言，需要修改的是單個EFF姿態，另一方面，「EFF橫越一軌跡」動作則含有一連串的EFF姿態且每一個皆須重新計算。兩者皆可利用下列演算法來計算新的目標EFF姿態。
輸入： 於基礎運動計畫中之EFF姿態
Figure 02_image075
於基礎運動計畫中之標記資訊
Figure 02_image077
根據章節4.2之位置偏移
Figure 02_image073
根據章節4.2之方位偏移
Figure 02_image079
theta z四元數旋轉等效至
Figure 02_image081
Figure 02_image083
演算法： 1. 將
Figure 02_image085
譯為XY平面的原點：
Figure 02_image087
Figure 02_image089
2. 在Z軸上使
Figure 02_image091
旋轉
Figure 02_image081
：
Figure 02_image093
3. 譯回
Figure 02_image095
並增加偏移，以獲得新的目標姿態：
Figure 02_image097
4. 將
Figure 02_image083
應用至
Figure 02_image027
，其中x表示四元數乘法
Figure 02_image099
輸出： 最終EFF姿態
Figure 02_image101
（4.3.2）移動位置偏移
動作型態「EFF移動相對於目標物體之座標的位置偏移」係可利用下列計算新的EFF移動偏移之等式而進行計算。
輸入： EFF於基礎運動計畫中之移動
Figure 02_image103
旋轉（相對於Z軸）
Figure 02_image079
theta z
演算法： 新的EFF移動
Figure 02_image105
其中：
Figure 02_image107
Figure 02_image109
Figure 02_image111
綜上所述，此架構係提供根據基礎標記資訊而產生基礎運動計畫的程序，其中藉由本案所提供之利用二個方形基準標記的方法所獲得的運行標記資訊，基礎運動計畫可利用所提供之用以補償位置及方位偏移的方法而被調整為運行運動計畫。
簡言之，本案係具有下列優勢：
1. 低成本：設置系統的成本低，包括RGB照相機及印製標記的成本。
2. 設置容易：標記可簡單地設置於照相機的視野範圍內，不需特別的測量及對準。
3. 準確性：本案之多標記系統在尋找相對於基礎運動計畫的位置偏移及方位偏移方面可提供良好的準確度。
4. 用於產生基礎運動計畫的（“教學”）方法可在無需研究團隊的支持下實際應用於產業。
5. 僅需當地操作資訊：本案中僅需使用及儲存當地操作資訊，相對於建置準確的全場域全球3D環境地圖，成本低上許多，也使得環境的重新配置變得容易。
須注意，上述僅是為說明本案而提出之較佳實施例，本案不限於所述之實施例，本案之範圍由如附專利申請範圍決定。且本案得由熟習此技術之人士任施匠思而為諸般修飾，然皆不脫如附專利申請範圍所欲保護者。
101:地板 111、201、413:AGV部件 112、205、411:操作裝置 113:操作工具 114、204、521:感測器 115、522:有效視野範圍 121、401、501:載體 122、404:目標物體 123:碰撞體 124、125、402、403、511、512:標記 202:處理器 203:測距物件 207:關節 206、412:末端操作器 301-304:步驟 601-610:步驟 701-702、711-716、721:步驟 801-805:步驟 901-906:步驟 1001:基礎運動計畫 1002:運行運動計畫 1101、1102、1103:標記間位置關係
第1圖顯示本案實施例之適應性移動操作系統的示意圖。 第2圖顯示本案實施例之適應性移動操作設備的基本架構示意圖。 第3圖顯示本案實施例之運動計畫的流程圖。 第4圖顯示本案實施例之操作區域的設置示意圖。 第5圖顯示本案實施例中，照相機及標記的設置示意圖。 第6圖顯示本案實施例中，產生基礎運動計畫的流程圖。 第7圖顯示本案實施例中，在運行時執行運動計畫的流程圖。 第8圖顯示本案實施例中，操作目標物體時操作過程的流程圖。 第9圖顯示本案實施例中，照相機感測器獲取標記資訊的過程。 第10圖顯示本案實施例之標記分別於基礎運動計畫中及運行運動計畫中的位置關係。 第11圖顯示本案實施例中，計算位置及方位偏移的示意圖。
101:地板
111:AGV部件
112:操作裝置
113:操作工具
114:感測器
115:有效視野範圍
121:載體
122:目標物體
123:碰撞體
124、125:標記

Claims (13)

  1. 一種適應性移動操作方法，包括下列步驟： 提供一移動操作設備，包括一操作裝置、一感測器、及一處理器，以執行對於置於一載體上之一物體的一操作，且該載體上設置有彼此分離的複數個標記； 提供一基礎運動計畫，包括複數個第一姿態感知動作； 該感測器偵測該複數個標記，以獲得一運行標記資訊； 該處理器基於該基礎運動計畫而產生一運行運動計畫，其中該運行運動計畫包括複數個第二姿態感知動作，且該複數個第二姿態感知動作係根據該運行標記資訊自該複數個第一姿態感知動作修改而得；以及 該處理器進一步執行該運行運動計畫，以控制該操作裝置操作該物體。
  2. 如請求項1所述之方法，其中該基礎運動計畫之該等第一姿態感知動作的每一個係包括對應該複數個標記的變數及一基礎標記資訊。
  3. 如請求項2所述之方法，更包括下列步驟： 該處理器計算該基礎標記資訊與該運行標記資訊間的一差異；以及 該處理器根據該複數個第一姿態感知動作及該差異而產生該複數個第二姿態感知動作。
  4. 如請求項2所述之方法，其中該運行標記資訊及該基礎標記資訊分別皆包括該複數個標記與該感測器之間的位置及方位。
  5. 如請求項1所述之方法，其中該操作裝置進一步包括一末端操作器及一關節。
  6. 如請求項5所述之方法，其中該等第一及該等第二姿態感知動作分別包括相對於該物體之位置及方位而移動該末端操作器。
  7. 如請求項6所述之方法，其中該等第一及該等第二姿態感知動作分別包括下列動作的至少其中之一： 移動該末端操作器至一目標姿態； 該末端操作器橫越一軌跡；以及 該末端操作器關連於該運行標記資訊而移動。
  8. 如請求項1所述之方法，其中該物體係放置於該載體上的一固定位置。
  9. 如請求項1所述之方法，其中該等標記包括視覺標記或基準標記。
  10. 如請求項1所述之方法，其中該感測器包括一照相機。
  11. 一種適應性移動操作設備，包括： 一操作裝置； 一感測器；以及 一處理器，耦接至該操作裝置及該感測器，並架構執行下列步驟： 擷取一基礎運動計畫，包括複數個第一姿態感知動作； 驅動該感測器偵測設置於一載體上的複數個標記，以獲得一運行標記資訊； 基於該基礎運動計畫而產生一運行運動計畫，其中該運行運動計畫包括複數個第二姿態感知動作，且該複數個第二姿態感知動作係根據該運行標記資訊自該複數個第一姿態感知動作修改而得；以及 執行該運行運動計畫，以控制該操作裝置操作設置於該載體上的一物體。
  12. 如請求項11所述之適應性移動操作設備，其中該感測器包括一照相機。
  13. 如請求項11所述之適應性移動操作設備，其中該等標記包括視覺標記或基準標記。
TW111113619A 2021-06-30 2022-04-11 適應性移動操作設備及方法 TWI788253B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163217109P 2021-06-30 2021-06-30
US63/217,109 2021-06-30
US17/673,559 US20230001576A1 (en) 2021-06-30 2022-02-16 Adaptive mobile manipulation apparatus and method
US17/673,559 2022-02-16

Publications (2)

Publication Number Publication Date
TWI788253B true TWI788253B (zh) 2022-12-21
TW202303183A TW202303183A (zh) 2023-01-16

Family

ID=84723464

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111113619A TWI788253B (zh) 2021-06-30 2022-04-11 適應性移動操作設備及方法

Country Status (3)

Country Link
US (1) US20230001576A1 (zh)
CN (1) CN115533890A (zh)
TW (1) TWI788253B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101160104A (zh) * 2005-02-22 2008-04-09 马科外科公司 触觉引导系统及方法
TW201040850A (en) * 2009-01-05 2010-11-16 Smart Technologies Ulc Gesture recognition method and interactive input system employing same
TW201805769A (zh) * 2016-08-10 2018-02-16 巨大機械工業股份有限公司 動態姿勢偵測系統
TW201933177A (zh) * 2017-10-31 2019-08-16 美商惠普發展公司有限責任合夥企業 用以產生定位用參考地圖的行動機器人
US20200073388A1 (en) * 2015-02-10 2020-03-05 Mobileye Vision Technologies Ltd. Self-aware system for adaptive navigation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101160104A (zh) * 2005-02-22 2008-04-09 马科外科公司 触觉引导系统及方法
TW201040850A (en) * 2009-01-05 2010-11-16 Smart Technologies Ulc Gesture recognition method and interactive input system employing same
US20200073388A1 (en) * 2015-02-10 2020-03-05 Mobileye Vision Technologies Ltd. Self-aware system for adaptive navigation
TW201805769A (zh) * 2016-08-10 2018-02-16 巨大機械工業股份有限公司 動態姿勢偵測系統
TW201933177A (zh) * 2017-10-31 2019-08-16 美商惠普發展公司有限責任合夥企業 用以產生定位用參考地圖的行動機器人

Also Published As

Publication number Publication date
CN115533890A (zh) 2022-12-30
US20230001576A1 (en) 2023-01-05
TW202303183A (zh) 2023-01-16

Similar Documents

Publication Publication Date Title
CN112476434B (zh) 一种基于协作机器人的视觉3d取放方法及系统
CN110116406B (zh) 具有增强的扫描机制的机器人系统
Xu et al. Ceiling-based visual positioning for an indoor mobile robot with monocular vision
WO2017028653A1 (zh) 一种移动机器人室内自建地图的方法和系统
Qin et al. Precise robotic assembly for large-scale objects based on automatic guidance and alignment
US7280687B2 (en) Device for detecting position/orientation of object
CN110560373B (zh) 一种多机器人协作分拣运输方法及系统
Holz et al. Real-time object detection, localization and verification for fast robotic depalletizing
WO2016193781A1 (en) Motion control system for a direct drive robot through visual servoing
JPWO2009028489A1 (ja) 物体検出方法と物体検出装置およびロボットシステム
JP2020163502A (ja) 物体検出方法、物体検出装置およびロボットシステム
Sharma et al. A framework for robot motion planning with sensor constraints
Ruan et al. Feature-based autonomous target recognition and grasping of industrial robots
JP6973444B2 (ja) 制御システム、情報処理装置および制御方法
Wei et al. Vision-guided fine-operation of robot and its application in eight-puzzle game
Wang et al. Coarse-to-fine visual object catching strategy applied in autonomous airport baggage trolley collection
TWI788253B (zh) 適應性移動操作設備及方法
CN109542094A (zh) 无期望图像的移动机器人视觉镇定控制
KR102452315B1 (ko) 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치 및 그 방법
TWI656421B (zh) 自走設備的控制方法
Al-Shanoon et al. Deepnet-based 3d visual servoing robotic manipulation
CN116197918B (zh) 基于动作记录分析的机械手控制系统
WO2023074235A1 (ja) 運搬システム
WO2023073780A1 (ja) 学習データの生成装置および学習データの生成方法、並びに学習データを使用する機械学習装置および機械学習方法
Li Application of deep learning in target grasping of machine arm