TWI771004B - 物件姿態估測系統及其執行方法與圖案化使用者介面 - Google Patents

物件姿態估測系統及其執行方法與圖案化使用者介面 Download PDF

Info

Publication number
TWI771004B
TWI771004B TW110117478A TW110117478A TWI771004B TW I771004 B TWI771004 B TW I771004B TW 110117478 A TW110117478 A TW 110117478A TW 110117478 A TW110117478 A TW 110117478A TW I771004 B TWI771004 B TW I771004B
Authority
TW
Taiwan
Prior art keywords
feature extraction
feature
extraction strategy
model
scene
Prior art date
Application number
TW110117478A
Other languages
English (en)
Other versions
TW202243831A (zh
Inventor
蔡東展
施秉昌
黃郁茹
周宏春
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW110117478A priority Critical patent/TWI771004B/zh
Priority to CN202110683458.1A priority patent/CN115346106A/zh
Priority to US17/505,041 priority patent/US20220362945A1/en
Application granted granted Critical
Publication of TWI771004B publication Critical patent/TWI771004B/zh
Publication of TW202243831A publication Critical patent/TW202243831A/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Automation & Control Theory (AREA)
  • Fuzzy Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一種物件姿態估測系統及其執行方法與圖案化使用者介面。物件姿態估測系統之執行方法包括以下步驟。一特徵擷取策略神經網路模型依據一場景點雲決定一姿態估測單元之一特徵擷取策略。依據特徵擷取策略，姿態估測單元對一物件之一三維模型擷取一模型特徵，並對場景點雲擷取一場景特徵。姿態估測單元比對模型特徵及場景特徵，以獲得物件之一估測姿態。

Description

物件姿態估測系統及其執行方法與圖案化使用者 介面
本揭露是有關於一種物件姿態估測系統及其執行方法與圖案化使用者介面。
許多產業(如金屬加工業)中，需要將工件/物件從備料籃中取出放入加工機進行物品加工(如鑽孔、研磨、清洗等)。目前物件的上下料步驟大多是透過人工來完成。然而，勞力短缺的現象越來越嚴重，上下料自動化已成為工業4.0的一項重要目標。
上下料自動化可以透過機器手臂來達成。但機器手臂必須依靠精準且快速的三維物件姿態估測技術才能準確抓取物件。在現有的三維物件姿態估測技術中，針對不同的場景都是採取相同的特徵擷取策略，而無法提高三維物件姿態估測的準確性與估測速度。即使透過具備影像處理背景的專業工程師不斷的調整特徵擷 取策略，這對於許多產業來說，如水五金、金屬手工具產業等，無疑是一個很高的進入門檻。此外，目前的物件姿態估測技術，即便透過專業工程師調整特徵擷取策略，也是一件非常耗時的工作，無法達到快速換線/換工件的目的。
本揭露係有關於一種物件姿態估測系統及其執行方法與圖案化使用者介面。
根據本揭露之一實施例，提出一種物件姿態估測系統之執行方法。物件姿態估測系統之執行方法包括以下步驟。一特徵擷取策略神經網路模型依據一場景點雲決定一姿態估測單元之一特徵擷取策略。依據特徵擷取策略，姿態估測單元對一物件之一三維模型擷取一模型特徵，並對場景點雲擷取一場景特徵。姿態估測單元比對模型特徵及場景特徵，以獲得物件之一估測姿態。
根據本揭露之另一實施例，物件姿態估測系統包括一特徵擷取策略神經網路模型及一姿態估測單元。特徵擷取策略神經網路模型用以依據一場景點雲決定一姿態估測單元之一特徵擷取策略。姿態估測單元係依據特徵擷取策略，對一物件之一三維模型擷取一模型特徵，並對場景點雲擷取一場景特徵。姿態估測單元比對模型特徵及場景特徵，以獲得物件之一估測姿態。
根據本揭露之再一實施例，提出一種圖案化使用者介面。圖案化使用者介面包括一場景點雲輸入視窗、一特徵擷取策略決定視窗、一三維模型輸入鈕及一估測姿態顯示視窗。場景點雲輸入視窗用以輸入一場景點雲。一特徵擷取策略神經網路模型依據一場景點雲決定一姿態估測單元之一特徵擷取策略，並顯示於特徵擷取策略決定視窗。三維模型輸入鈕用以輸入一物件之一三維模型。依據特徵擷取策略，三維模型被擷取一模型特徵且場景點雲被擷取一場景特徵。估測姿態顯示視窗用以顯示物件之一估測姿態。估測姿態係透過模型特徵及場景特徵之比對而獲得。
為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：
100:物件姿態估測系統
110:特徵擷取策略神經網路模型
120:姿態估測單元
121:三維模型特徵擷取器
122:場景點雲特徵擷取器
123:三維比對器
130:特徵擷取策略品質評估單元
140:自主學習單元
200:機器手臂控制系統
500:圖案化使用者介面
AM1:機器手臂
B1:三維模型輸入鈕
EPgt:已知姿態
EP0,EP1:估測姿態
ER:估測誤差
LS:光源
MD1:三維模型
MF:模型特徵
OB1,OB2,OB3,OB4,OB5,OB6,OB7:物件
S110,S120,S130,S140,S150,S160:步驟
SF:場景特徵
SN1,SN2,SN3,SN4,SN5,SN6,SN7,SN8,SN9,SN10,SN11,SN12,SN13:場景
SP0,SP1:場景點雲
ST0,ST1:特徵擷取策略
ST11:模型特徵擷取策略
ST12:場景特徵擷取策略
W1:場景點雲輸入視窗
W2:特徵擷取策略決定視窗
W3:估測姿態顯示視窗
第1圖繪示根據一實施例之數個物件與機器手臂之示意圖。
第2圖繪示物件姿態估測系統與機器手臂控制系統之示意圖。
第3圖繪示根據一實施例之場景之示意圖。
第4圖繪示根據另一實施例之場景之示意圖。
第5圖繪示根據另一實施例之場景之示意圖。
第6圖繪示根據另一實施例之場景之示意圖。
第7圖繪示根據一實施例之物件姿態估測系統的方塊圖。
第8圖繪示根據一實施例之物件姿態估測系統之執行方法的物件姿態估測程序流程圖。
第9圖繪示根據一實施例執行物件姿態估測程序之物件姿態估測系統的方塊圖。
第10圖繪示根據一實施例之物件姿態估測系統之執行方法的回溯訓練程序流程圖。
第11圖繪示根據一實施例執行回溯訓練程序之物件姿態估測系統的方塊圖。
第12~14圖繪示根據不同實施例之場景之示意圖。
第15~17圖繪示根據不同實施例之場景之示意圖。
第18~20圖繪示根據不同實施例之場景之示意圖。
第21圖繪示採用動態特徵擷取策略之物件姿態估測程序的結果。
第22圖繪示採用固定調整特徵擷取策略之物件姿態估測程序的結果。
第23圖繪示根據一實施例之物件姿態估測系統的圖案化使用者介面。
請參照第1圖，其繪示根據一實施例之數個物件OB1與機器手臂AM1之示意圖。在一些應用情境中，機器手臂AM1可以抓取 物件OB1完成上下料自動化的程序。為了讓機器手臂AM1能夠精準地抓取物件OB1，必須正確完成物件姿態估測程序。
請參照第2圖，其繪示物件姿態估測系統100與機器手臂控制系統200之示意圖。物件姿態估測系統100接收點場景點雲SP1及三維模型MD1後，進行物件姿態估測程序，以輸出物件OB1(繪示於第1圖)之估測姿態EP1。機器手臂控制系統200接收到估測姿態EP1後，即可精準地控制機器手臂AM1去抓取物件OB1。
在進行物件姿態估測程序的過程中，需要對場景點雲SP1及三維模型MD1進行特徵擷取。三維模型MD1係為物件OB1(繪示於第1圖)原本就建立好的標準模型，不會改變。但場景的變化就相當的多。
舉例來說，請參照第3圖，其繪示根據一實施例之場景SN1之示意圖。在場景SN1中，物件OB1擺放的較為稀疏，而沒有重疊的情況。請參照第4圖，其繪示根據另一實施例之場景SN2之示意圖。在場景SN2中，物件OB2擺放的較為緊密，有相當多的重疊情況。請參照第5圖，其繪示根據另一實施例之場景SN3之示意圖。在場景SN3中，存在不同種類的物件OB1、OB2、OB3。請參照第6圖，其繪示根據另一實施例之場景SN4之示意圖。在場景SN4中，光源LS照射物件OB1及物件OB2，物件OB1形成反光，且物件OB2的陰影覆蓋物件OB1。在上述各種場景SN1~SN4對物件OB1進行物件姿態估測程序的過程中，需要對場景 點雲SP1及三維模型MD1採取適當地特徵擷取策略。其中，特徵擷取策略考慮的因素可以是估測精準度、計算複雜度或其組合。本實施例對於不同的場景SN1~SN4會採取不同的特徵擷取策略，特徵擷取策略則是根據神經網路技術來決定。以下進一步說明物件姿態估測系統100如何取得特徵擷取策略，並據以進行物件姿態估測程序，以取得估測姿態。
請參照第7圖，其繪示根據一實施例之物件姿態估測系統100的方塊圖。物件姿態估測系統100包括一特徵擷取策略神經網路模型110、一姿態估測單元120、一特徵擷取策略品質評估單元130及一自主學習單元140。姿態估測單元120包括一三維模型特徵擷取器121、一場景點雲特徵擷取器122及一三維比對器123。特徵擷取策略神經網路模型110、姿態估測單元120、三維模型特徵擷取器121、場景點雲特徵擷取器122、三維比對器123、特徵擷取策略品質評估單元130及自主學習單元140例如是一電路、一晶片、一電路板、數組程式碼或儲存程式碼之儲存裝置。物件姿態估測系統100透過特徵擷取策略神經網路模型110及姿態估測單元120進行線上(on-line)的物件姿態估測程序。在物件姿態估測程序中，能夠針對不同的場景採取不同的特徵擷取策略ST1。此外，物件姿態估測系統100透過特徵擷取策略品質評估單元130及自主學習單元140對特徵擷取策略神經網路模型110進行線下(off-line)的回溯訓練程序，以使特徵擷取策略神經網路 模型110能夠提供最適當的特徵擷取策略ST1。以下更搭配流程圖詳細說明各元件之運作。
請參照第8圖及第9圖，第8圖繪示根據一實施例之物件姿態估測系統100之執行方法的物件姿態估測程序流程圖，第9圖繪示根據一實施例執行物件姿態估測程序之物件姿態估測系統100的方塊圖。在步驟S110中，特徵擷取策略神經網路模型110依據場景點雲SP1決定姿態估測單元120之特徵擷取策略ST1。特徵擷取策略神經網路模型110例如是一VGGNet模型或一深度殘差網路模型(Residual Network,ResNet)。特徵擷取策略神經網路模型110根據不同的場景點雲SP1會決定不同的特徵擷取策略ST1，而不是由工程師設定出固定的策略。特徵擷取策略ST1包括一模型特徵擷取策略ST11及一場景特徵擷取策略ST12。模型特徵擷取策略ST11與場景特徵擷取策略ST12可以相同，也可以不同。模型特徵擷取策略ST11及場景特徵擷取策略ST12之內容例如是一取樣區間、一量化程度或一搜尋半徑。在場景較複雜或物件容易混淆的情況下，特徵擷取策略ST1可以縮小取樣區間、縮小量化間隔、或縮小搜尋半徑；在雜訊較多、目標物件與其他物件差異大的情況下，特徵擷取策略ST1可以擴大取樣區間、擴大量化間隔、或擴大搜尋半徑。
接著，在步驟S120中，依據特徵擷取策略ST1之模型特徵擷取策略ST11，姿態估測單元120之三維模型特徵擷取器121對物件OB1之三維模型MD1擷取一模型特徵MF；並且依據特 徵擷取策略ST1之場景特徵擷取策略ST12，姿態估測單元120之場景點雲特徵擷取器122對場景點雲SP1擷取一場景特徵SF。
接著，在步驟S130中，姿態估測單元120之三維比對器123比對模型特徵MF及場景特徵SF，以獲得物件OB1之估測姿態EP1。在此步驟中，姿態估測單元120並非以神經網路辨識出估測姿態EP1，而是利用模型特徵MF及場景特徵SF的比對來獲得估測姿態EP1。舉例來說，姿態估測單元120可以透過一對點特徵演算法(Point-Pair Feature,PPF)、一視角特徵長條圖演算法(Viewpoint Feature Histogram,VFH)、一方向長條圖特徵演算法(Signature of Histograms of OrienTations)、一半徑表面描述子演算法(Radius-Based Surface Descriptor,RSD)、或一點特徵長條圖演算法(Point Feature Histogram,PFH)獲得估測姿態EP1。在一實施例中，若於場景點雲SP1中發現數個物件OB1，則會輸出多個估測姿態EP1。估測姿態EP1包括物件OB1之六自由度的三維空間位置與方位。機器手臂AM1取得估測姿態EP1後即可精準地按照六自由度的三維空間位置與方位抓取物件OB1。
根據上述實施例之物件姿態估測程序，由於特徵擷取策略ST1係根據不同的場景點雲SP1來快速做決定，故可以在不犧牲估測精準度的情況下快速取得適合數量的模型特徵MF及場景特徵SF，而不會造成過多的運算負擔。
請參照第10圖及第11圖，第10圖繪示根據一實施例之物件姿態估測系統100之執行方法的回溯訓練程序流程圖，第11圖繪示根據一實施例執行回溯訓練程序之物件姿態估測系統100的方塊圖。回溯訓練程序之步驟S110~S130類似於物件姿態估測程序之步驟S110~S130，不同之處在於場景點雲SP0之物件OB1的姿態為已知。場景點雲SP0可以是按照預定姿態實際擺放物件OB1而創造出來的場景點雲；或者，場景點雲SP0可以是按照預定姿態以模擬之方式生成的場景點雲。不論是哪一種方式，場景點雲SP0之物件OB1的姿態均為已知。
在執行完步驟S110~S130之後，姿態估測單元120輸出估測姿態EP0。接著，在步驟S140中，特徵擷取策略品質評估單元130分析估測姿態EP0之一估測誤差ER。在此步驟中，特徵擷取策略品質評估單元130比對估測姿態EP0與一已知姿態EPgt，以分析出估測誤差ER。已知姿態EPgt係為機器學習的基準真相(ground truth)，其在場景點雲SP0建立或生成時已經得知。舉例來說，特徵擷取策略品質評估單元130例如是透過一可見表面差異(Visible Surface Discrepancy,VSD)或一模型點平均距離(Average Distance of Model Points,ADI)分析出估測誤差ER。
然後，在步驟S150中，自主學習單元140判斷回溯訓練程序是否滿足一收斂條件。收斂條件例如是估測誤差ER小於一預定程度、或者估測誤差ER之降低量小於一預定值；或者迭代 次數達到一預定次數。若回溯訓練程序未滿足收斂條件，則進入步驟S160。
在步驟S160中，自主學習單元140依據估測誤差ER更新特徵擷取策略神經網路模型110，以訓練特徵擷取策略神經網路模型110。自主學習單元140例如是透過一柔性致動評價演算法(soft actor-critic,SAC)、一深度確定性策略梯度演算法(Deep Deterministic Policy Gradient Algorithms,DDPG)、一深度Q網路演算法(Deep Q Network,DQN)、一非同步優勢執行器評價器演算法(Asynchronous Advantage Actor-Critic,A3C)、或一近似策略優化演算法(Proximal Policy Optimization,PPO)更新特徵擷取策略神經網路模型110。
接著，流程回至步驟S110，再次執行步驟S110~S130，以更新特徵擷取策略ST0。後續再次執行步驟S120及步驟S130時，即可獲得更新的估測姿態EP0。依此流程不斷迭代直到回溯訓練程序滿足收斂條件時，即完成特徵擷取策略神經網路模型110的訓練。完成訓練後的特徵擷取策略神經網路模型110可以針對場景點雲SP0決定出最佳的姿態估測單元120之特徵擷取策略ST0。
上述回溯訓練程序係個別針對不同的場景點雲進行訓練，以使特徵擷取策略神經網路模型110能夠針對不同的場景點雲決定出最佳特徵擷取策略，因此可以減少對專業影像工程師之依賴。
在第8圖之物件姿態估測程序中，上述特徵擷取策略神經網路模型110所決定之特徵擷取策略ST1並非透過簡單的心智判斷或一般統計與數學運算即可做出決定。舉例來說，請參照第12~14圖，其繪示根據不同實施例之場景SN5、SN6、SN7之示意圖。在三維攝影機能夠完美擷取場景點雲的情況下，由於物件姿態估測程序所需的運算時間與特徵擷取策略ST1之取樣區間大小有關。如果取樣區間越密，通常計算複雜度越高，所需運算時間越久。在理想情況下，場景SN5的堆疊複雜度較高，則需要較密的取樣區間才能成功比對。反之，場景SN7的堆疊複雜度較低，則需要較疏的取樣區間即可成功比對。
在堆疊複雜度較高時，特徵擷取策略神經網路模型110會決定特徵擷取策略ST1採用較密的取樣區間；在堆疊複雜度較低時，特徵擷取策略神經網路模型110會決定特徵擷取策略ST1採用較疏的取樣區間。如此即可根據場景複雜度動態調整特徵擷取策略ST1。
請參照第15~17圖，其繪示根據不同實施例之場景SN8、SN9、SN10之示意圖。在三維攝影機有雜訊的情況下，其所擷取的場景點雲會受到如環境光源、物件表面材質、攝影機位置等環境變異影響。因此在不同時間點或不同物件姿態與推疊情況之下，場景點雲存在的雜訊特性皆不盡相同。在此情況下，根據訊號處理(或影像處理)相關原理，當訊號受到雜訊影響時，如果直接拿原始受到雜訊影響的訊號(例如是特徵擷取策略ST1 採用較密的取樣區間)，則會產生混疊效應(aliasing effect)，也就是雜訊的頻率和訊號本身的頻率混在一起了，會讓雜訊更加影響訊號的後處理結果。
因此，可將特徵擷取策略ST1之取樣區間設定的較疏(類似於將有雜訊的訊號通過一個低通濾波器)，再進行後續的訊號分析，即可降低雜訊的影響，讓比對結果較為準確。
但是如果取樣區間設定的太疏，又會流失原本的訊號訊息。因此，在有雜訊影響的情況下，並不是取樣區間越密就越好，也不是越疏越好，而是在雜訊影響和訊息保留之間有一個最佳取捨，而需要動態調整特徵擷取策略ST1。
如第15~17圖所示，物件擺放方式皆相同，但是光源LS的位置不同。物件OB4在第17圖的情境會反光，在第15圖之情境則不會反光。反光的影響因子包含光源LS的位置和方向、物件OB4之表面材質的反光特性。因此三維攝影機對於場景SN8、SN9、SN10之雜訊特性皆不同，所對應的特徵擷取策略ST1之取樣區間的設定也需要動態調整。
請參照第18~20圖，其繪示根據不同實施例之場景SN11、SN12、SN13之示意圖。場景SN11、SN12、SN13為隨時間之取物過程的不同場景。物件OB5、OB6、OB7在三個時間點中，雜訊受的影響因子包括物件遮蔽關係、物件與光源LS的反光關係。隨著物件遮蔽關係的變化，物件與光源LS的反光關係也產生變化。因此三維攝影機對於場景SN8、SN9、SN10之雜訊特 性皆不同，所對應的特徵擷取策略ST1之取樣區間設定也需要動態調整。
請參照第21~22圖，第21圖繪示採用動態特徵擷取策略之物件姿態估測程序的結果，第22圖繪示採用固定調整特徵擷取策略之物件姿態估測程序的結果。兩組實驗均利用所蒐集之實體水龍頭資料集共50筆來進行。這50筆資料的場景不完全相同。第21圖之實驗對於這50筆資料採用動態特徵擷取策略。第22圖之實驗對於這50筆資料採用固定調整特徵擷取策略。橫軸為比對分數，比對分數大於0.7者，可正確辨識出物件姿態。從這兩組實驗可以發現，採用固定特徵擷取策略只能辨識出74%的物件姿態；採用動態調整特徵擷取策略可以辨識出90%的物件姿態。因此，動態調整特徵擷取策略確實能夠獲得較好的效果。
此外，本實施例之物件姿態估測系統100更可以開發為一軟體套件，並提供圖案化使用者介面供操作者使用。請參照第23圖，其繪示根據一實施例之物件姿態估測系統100的圖案化使用者介面500。圖案化使用者介面500包括一場景點雲輸入視窗W1、一特徵擷取策略決定視窗W2、一三維模型輸入鈕B1及一估測姿態顯示視窗W3。場景點雲輸入視窗W1用以輸入場景點雲SP1。特徵擷取策略神經網路模型110(繪示於第7圖)依據場景點雲SP1決定姿態估測單元120(繪示於第7圖)之特徵擷取策略ST1，並顯示於特徵擷取策略決定視窗W2。三維模型輸入鈕B1用以輸入物件OB1之三維模型MD1。依據特徵擷取策略ST1，三 維模型MD1被擷取模型特徵且場景點雲SP1被擷取場景特徵。估測姿態顯示視窗W3用以顯示物件OB1之一估測姿態(例如是以虛線標註)。估測姿態係透過模型特徵及場景特徵之比對而獲得。
根據上述實施例，物件姿態估測系統100可以透過特徵擷取策略神經網路模型110及姿態估測單元120進行線上(on-line)的物件姿態估測程序。在物件姿態估測程序中，能夠針對不同的場景快速採取不同的特徵擷取策略ST1。此外，物件姿態估測系統100也可以透過特徵擷取策略品質評估單元130及自主學習單元140對特徵擷取策略神經網路模型110進行線下(off-line)的回溯訓練程序，以使特徵擷取策略神經網路模型110能夠提供最適當的特徵擷取策略ST1。
綜上所述，本揭露已以實施例揭露如上，然其並非用以限定本揭露。本揭露所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾。因此，本揭露之保護範圍當視後附之申請專利範圍所界定者為準。
100:物件姿態估測系統
110:特徵擷取策略神經網路模型
120:姿態估測單元
121:三維模型特徵擷取器
122:場景點雲特徵擷取器
123:三維比對器
130:特徵擷取策略品質評估單元
140:自主學習單元
EP1:估測姿態
SP1:場景點雲
ST1:特徵擷取策略

Claims (23)

  1. 一種物件姿態估測系統之執行方法，包括：一特徵擷取策略神經網路模型依據一場景點雲決定一姿態估測單元之一特徵擷取策略；依據該特徵擷取策略，該姿態估測單元對一物件之一三維模型擷取一模型特徵，並對該場景點雲擷取一場景特徵；以及該姿態估測單元比對該模型特徵及該場景特徵，以獲得該物件之一估測姿態。
  2. 如請求項1所述之物件姿態估測系統之執行方法，其中該特徵擷取策略包括一模型特徵擷取策略及一場景特徵擷取策略。
  3. 如請求項2所述之物件姿態估測系統之執行方法，其中該模型特徵擷取策略不同於該場景特徵擷取策略。
  4. 如請求項1所述之物件姿態估測系統之執行方法，其中該特徵擷取策略之內容係為一取樣區間、一量化程度或一搜尋半徑。
  5. 如請求項1所述之物件姿態估測系統之執行方法，其中該特徵擷取策略神經網路模型係為一VGGNet模型或一深度殘差網路模型(Residual Network,ResNet)。
  6. 如請求項1所述之物件姿態估測系統之執行方法，其中該姿態估測單元係透過一對點特徵演算法(Point-Pair Feature,PPF)、一視角特徵長條圖演算法(Viewpoint Feature Histogram,VFH)、一方向長條圖特徵演算法(Signature of Histograms of OrienTations)、一半徑表面描述子演算法(Radius-Based Surface Descriptor,RSD)、或一點特徵長條圖演算法(Point Feature Histogram,PFH)獲得該估測姿態。
  7. 如請求項1所述之物件姿態估測系統之執行方法，更包括：分析該估測姿態之一估測誤差；以及依據該估測誤差更新該特徵擷取策略神經網路模型，以訓練該特徵擷取策略神經網路模型。
  8. 如請求項7所述之物件姿態估測系統之執行方法，其中在分析該估測姿態之該估測誤差之步驟中，係比對該估測姿態與一已知姿態，以分析出該估測誤差。
  9. 如請求項7所述之物件姿態估測系統之執行方法，其中該估測誤差透過一可見表面差異(Visible Surface Discrepancy,VSD)或一模型點平均距離(Average Distance of Model Points,ADI)進行分析。
  10. 如請求項7所述之物件姿態估測系統之執行方法，其中該特徵擷取策略神經網路模型透過一柔性致動評價演算法(soft actor-critic,SAC)、一深度確定性策略梯度演算法(Deep Deterministic Policy Gradient Algorithms,DDPG)、一深度Q網路演算法(Deep Q Network,DQN)、一非同步優勢執行器評價器演算法(Asynchronous Advantage Actor-Critic,A3C)、或一近似策略優化演算法(Proximal Policy Optimization,PPO)進行更新。
  11. 如請求項7所述之物件姿態估測系統之執行方法，其中該特徵擷取策略神經網路模型更依據一計算複雜度進行更新，以訓練該特徵擷取策略神經網路模型。
  12. 一種物件姿態估測系統，包括：一特徵擷取策略神經網路模型，用以依據一場景點雲決定一姿態估測單元之一特徵擷取策略；以及該姿態估測單元，係依據該特徵擷取策略，對一物件之一三維模型擷取一模型特徵，並對該場景點雲擷取一場景特徵，該姿態估測單元比對該模型特徵及該場景特徵，以獲得該物件之一估測姿態。
  13. 如請求項12所述之物件姿態估測系統，其中該特徵擷取策略包括一模型特徵擷取策略及一場景特徵擷取策略，該姿態估測單元包括： 一三維模型特徵擷取器，係依據該模型特徵擷取策略對該三維模型擷取該模型特徵；以及一場景點雲特徵擷取器，係依據該場景特徵擷取策略對該場景點雲擷取該場景特徵。
  14. 如請求項13所述之物件姿態估測系統，其中該模型特徵擷取策略不同於該場景特徵擷取策略。
  15. 如請求項12所述之物件姿態估測系統，其中該特徵擷取策略之內容係為一取樣區間、一量化程度或一搜尋半徑。
  16. 如請求項12所述之物件姿態估測系統，其中該特徵擷取策略神經網路模型係為一VGGNet模型或一深度殘差網路模型(Residual Network,ResNet)。
  17. 如請求項12所述之物件姿態估測系統，其中該姿態估測單元包括：一三維比對器，係透過一對點特徵演算法(Point-Pair Feature,PPF)、一視角特徵長條圖演算法(Viewpoint Feature Histogram,VFH)、一方向長條圖特徵演算法(Signature of Histograms of OrienTations)、一半徑表面描述子演算法(Radius-Based Surface Descriptor,RSD)、或一點特徵長條圖演算法(Point Feature Histogram,PFH)獲得該估測姿態。
  18. 如請求項12所述之物件姿態估測系統，更包括：一特徵擷取策略品質評估單元，用以分析該估測姿態之一估測誤差；以及一自主學習單元，係依據該估測誤差更新該特徵擷取策略神經網路模型，以訓練該特徵擷取策略神經網路模型。
  19. 如請求項18所述之物件姿態估測系統，其中該特徵擷取策略品質評估單元比對該估測姿態與一已知姿態，以分析出該估測誤差。
  20. 如請求項18所述之物件姿態估測系統，其中該特徵擷取策略品質評估單元透過一可見表面差異(Visible Surface Discrepancy,VSD)或一模型點平均距離(Average Distance of Model Points,ADI)分析該估測誤差。
  21. 如請求項18所述之物件姿態估測系統，其中該自主學習單元透過一柔性致動評價演算法(soft actor-critic,SAC)、一深度確定性策略梯度演算法(Deep Deterministic Policy Gradient Algorithms,DDPG)、一深度Q網路演算法(Deep Q Network,DQN)、一非同步優勢執行器評價器演算法(Asynchronous Advantage Actor-Critic,A3C)、或一近端策 略優化演算法(Proximal Policy Optimization,PPO)更新該特徵擷取策略神經網路模型。
  22. 如請求項18所述之物件姿態估測系統，其中該自主學習單元更依據一計算複雜度更新該特徵擷取策略神經網路模型，以訓練該特徵擷取策略神經網路模型。
  23. 一種圖案化使用者介面，包括：一場景點雲輸入視窗，用以輸入一場景點雲；一特徵擷取策略決定視窗，一特徵擷取策略神經網路模型依據一場景點雲決定一姿態估測單元之一特徵擷取策略，並顯示於該特徵擷取策略決定視窗；一三維模型輸入鈕，用以輸入一物件之一三維模型，依據該特徵擷取策略，該三維模型被擷取一模型特徵且該場景點雲被擷取一場景特徵；以及一估測姿態顯示視窗，用以顯示該物件之一估測姿態，該估測姿態係透過該模型特徵及該場景特徵之比對而獲得。
TW110117478A 2021-05-14 2021-05-14 物件姿態估測系統及其執行方法與圖案化使用者介面 TWI771004B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW110117478A TWI771004B (zh) 2021-05-14 2021-05-14 物件姿態估測系統及其執行方法與圖案化使用者介面
CN202110683458.1A CN115346106A (zh) 2021-05-14 2021-06-21 物体姿态估测系统及其执行方法与图形用户接口
US17/505,041 US20220362945A1 (en) 2021-05-14 2021-10-19 Object pose estimation system, execution method thereof and graphic user interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110117478A TWI771004B (zh) 2021-05-14 2021-05-14 物件姿態估測系統及其執行方法與圖案化使用者介面

Publications (2)

Publication Number Publication Date
TWI771004B true TWI771004B (zh) 2022-07-11
TW202243831A TW202243831A (zh) 2022-11-16

Family

ID=83439350

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110117478A TWI771004B (zh) 2021-05-14 2021-05-14 物件姿態估測系統及其執行方法與圖案化使用者介面

Country Status (3)

Country Link
US (1) US20220362945A1 (zh)
CN (1) CN115346106A (zh)
TW (1) TWI771004B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245940B (zh) * 2023-02-02 2024-04-05 中国科学院上海微系统与信息技术研究所 基于结构差异感知的类别级六自由度物体位姿估计方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10207402B2 (en) * 2016-03-03 2019-02-19 Google Llc Deep machine learning methods and apparatus for robotic grasping
CN109483554A (zh) * 2019-01-22 2019-03-19 清华大学 基于全局和局部视觉语义的机器人动态抓取方法及系统
CN110691676A (zh) * 2017-06-19 2020-01-14 谷歌有限责任公司 使用神经网络和几何感知对象表示的机器人抓取预测
CN111015662A (zh) * 2019-12-25 2020-04-17 深圳蓝胖子机器人有限公司 一种动态抓取物体方法、系统、设备和动态抓取垃圾方法、系统、设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2720171B1 (en) * 2012-10-12 2015-04-08 MVTec Software GmbH Recognition and pose determination of 3D objects in multimodal scenes
US9868212B1 (en) * 2016-02-18 2018-01-16 X Development Llc Methods and apparatus for determining the pose of an object based on point cloud data
EP3557493A4 (en) * 2016-12-14 2020-01-08 Sony Corporation INFORMATION PROCESSING DEVICE AND METHOD
WO2022104449A1 (en) * 2020-11-17 2022-05-27 Apera Ai Inc. Pick and place systems and methods
US20220288783A1 (en) * 2021-03-10 2022-09-15 Nvidia Corporation Machine learning of grasp poses in a cluttered environment
US11954886B2 (en) * 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10207402B2 (en) * 2016-03-03 2019-02-19 Google Llc Deep machine learning methods and apparatus for robotic grasping
CN110691676A (zh) * 2017-06-19 2020-01-14 谷歌有限责任公司 使用神经网络和几何感知对象表示的机器人抓取预测
CN109483554A (zh) * 2019-01-22 2019-03-19 清华大学 基于全局和局部视觉语义的机器人动态抓取方法及系统
CN111015662A (zh) * 2019-12-25 2020-04-17 深圳蓝胖子机器人有限公司 一种动态抓取物体方法、系统、设备和动态抓取垃圾方法、系统、设备

Also Published As

Publication number Publication date
TW202243831A (zh) 2022-11-16
CN115346106A (zh) 2022-11-15
US20220362945A1 (en) 2022-11-17

Similar Documents

Publication Publication Date Title
CN107813310B (zh) 一种基于双目视觉多手势机器人控制方法
WO2020078064A1 (zh) 基于地面纹理图像的导航方法、装置、设备及存储介质
CN110443154B (zh) 关键点的三维坐标定位方法、装置、电子设备和存储介质
CN109159113B (zh) 一种基于视觉推理的机器人作业方法
CN110378325B (zh) 一种机器人抓取过程中的目标位姿识别方法
CN109934847B (zh) 弱纹理三维物体姿态估计的方法和装置
JP2015147256A (ja) ロボット、ロボットシステム、制御装置、及び制御方法
CN109909998B (zh) 一种控制机械臂运动的方法及装置
CN115816460B (zh) 一种基于深度学习目标检测与图像分割的机械手抓取方法
WO2022021156A1 (zh) 用于机器人抓取三维物体的方法和装置
TWI771004B (zh) 物件姿態估測系統及其執行方法與圖案化使用者介面
CN111178170B (zh) 一种手势识别方法和一种电子设备
CN111784655A (zh) 一种水下机器人回收定位方法
CN115070781B (zh) 一种物体抓取方法及双机械臂协作系统
CN106599810A (zh) 一种基于栈式自编码的头部姿态估计方法
CN111429481B (zh) 一种基于自适应表达的目标追踪方法、装置及终端
CN109508707B (zh) 基于单目视觉的机器人稳定抓取物体的抓取点获取方法
CN114792443A (zh) 一种基于图像识别的智能设备手势识别控制方法
CN115082498A (zh) 一种机器人抓取位姿估计方法、装置、设备及存储介质
CN116740036A (zh) 一种钢管管端引熄弧板切割点位检测方法和系统
CN117021099A (zh) 一种面向任意物体基于深度学习和图像处理的人机交互方法
CN110728222B (zh) 一种用于机械臂抓取系统中目标物体的位姿估计方法
Pinzón-Arenas et al. Path Planning for Robotic Training in Virtual Environments using Deep Learning
WO2024021104A1 (zh) 机械臂控制方法、装置、系统、电子设备和存储介质
JP7316134B2 (ja) 位置姿勢特定装置、位置姿勢特定方法及び位置姿勢特定プログラム