TWI547355B - 人機共生安全監控系統及其方法 - Google Patents
人機共生安全監控系統及其方法 Download PDFInfo
- Publication number
- TWI547355B TWI547355B TW102140914A TW102140914A TWI547355B TW I547355 B TWI547355 B TW I547355B TW 102140914 A TW102140914 A TW 102140914A TW 102140914 A TW102140914 A TW 102140914A TW I547355 B TWI547355 B TW I547355B
- Authority
- TW
- Taiwan
- Prior art keywords
- trajectory
- human
- images
- skeleton
- machine
- Prior art date
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/02—Arm motion controller
- Y10S901/09—Closed loop, sensor feedback controls arm movement
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/46—Sensing device
- Y10S901/47—Optical
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
- Alarm Systems (AREA)
- Image Processing (AREA)
Description
本發明是有關於一種安全監控系統,且特別是有關於一種人機共生之安全監控系統及其方法。
隨著機器人科技的發展,人機互動之過程愈趨緊密,因而人機間之安全也愈獲重視,在人機互動之過程中可能發生安全疑慮之區域越來越難偵測與掌握,一般技術多以單一且固定之區域做為隔離之依據,然而每一個區域的隔離往往產生變化,更無法即時彈性管理與監控。
本發明係有關於一種人機共生安全監控系統,舉例使用運算量較小的運算自動追蹤一人員與一機械人之骨架影像的軌跡點,當人員與機械人操作時的軌跡點過近時,可提醒機器人控制器進行機械手臂運動路徑調整,以維護人機共生系統之設備與人員之安全。
本發明係有關於一種人機共生安全監控系統,其可依據人機安全互動監控單元所設定的警示條件,發出警示訊息,
更可於發出警示訊號之後,繼續偵測人員與機器人之間的工序操作條件,以判斷機械人是否進行防止碰撞或者解除圍困,進而決定是否發出下一階段之警示訊號。
本發明係有關於一種人機共生安全監控系統,可進行一動態工作區域的監控,用以供人機安全互動監控單元彈性地監控人員和機器人的工作區域範圍,其中該動態的工作區域係依據該人員及機器人的骨架影像擴充為安全分佈區域,以決定兩者之間防護的邊界值。
根據本發明之一方面,提出一種人機共生安全監控系統,包括一空間影像擷取單元、一影像辨識單元、一人機安全互動監控單元以及一工序監控單元。空間影像擷取單元配置於一工作區域中,以擷取至少二骨架影像。影像辨識單元依據至少二骨架影像的位置對時間變化的一資訊,建立相對應之至少二空間姿態影像。人機安全互動監控單元根據至少二空間姿態影像及一安全距離,建立一姿態分佈。工序監控單元依據一安全條件,判斷姿態分佈是否符合安全條件。
根據本發明之一方面,提出一種人機共生安全監控方法,包括一空間影像擷取步驟、一影像辨識步驟、一人機安全互動監控步驟以及一工序監控步驟。空間影像擷取步驟用以擷取一工作區域中至少二骨架影像。影像辨識步驟依據此至少二骨架影像的位置對時間變化的一資訊,建立相對應之至少二空間姿態影像。人機安全互動監控步驟根據該至少二空間姿態影像及一安
全距離,建立一姿態分佈。工序監控步驟依據一安全條件,判斷姿態分佈是否符合安全條件。
為了對本發明之上述及其他方面有更佳的瞭解,下文特舉較佳實施例,並配合所附圖式,作詳細說明如下:
100‧‧‧人機共生安全監控系統
101‧‧‧人員
102‧‧‧機器人
103‧‧‧機器人控制器
104‧‧‧機械人手臂
105‧‧‧控制通訊協定
110‧‧‧空間影像擷取單元
111‧‧‧工作區域
112‧‧‧輸出設備
113‧‧‧輸出設備
114‧‧‧輸入設備
120‧‧‧影像辨識單元
121‧‧‧管理者
130‧‧‧人機安全互動監控單元
140‧‧‧工序監控單元
150‧‧‧影像資料庫
160‧‧‧警示單元
Mh‧‧‧骨架影像
Mr‧‧‧骨架影像
Mxh、Mxr‧‧‧擴充骨架影像
Vh、Vr‧‧‧向量
P1、P2‧‧‧座標點
FS‧‧‧交鋒面
VFS‧‧‧法線向量
第1圖繪示依照本發明一實施例之人機共生之安全監控系統的示意圖。
第2A圖繪示人員與機器人的骨架影像。
第2B圖繪示人員與機器人的空間姿態影像。
第2C圖繪示人員與機器人的移動軌跡在三度空間中的一座標點是否有發生交越的情形。
第2D圖繪示人員與機器人的時間軌跡在三度空間中的下一個時間點的向量。
第3A~3C圖分別繪示人機之間互動時的移動軌跡、速度軌跡以及加速度軌跡等的資訊及時間。
第4A及4B圖為工作區域中人機之間的姿態分佈影像的等高線圖。
第5A及5B圖繪示人機共生安全監控方法的各個步驟。
本發明之人機共生(human-machine symbiosis)安全監控系統,舉例係透過空間或深度影像擷取單元,取得操作人員的骨架影像,並以此骨架影像判斷人員空間上的姿態位置,配合
時間軸的計算,獲得空間上移動的軌跡。同樣的,透過空間影像擷取單元,取得機器人的骨架影像後,判斷機器人的姿態位置與時間軸上的位置軌跡。經由計算人與機器人骨架的位置、速度、加速度即可估測下一時間點的姿態移動趨勢;另外輔以軌跡線的行進方向,判斷人員的手部和頭部移動軌跡是否和機器手臂的移動軌跡產生交錯、跨越、接觸、重疊等,以達到人員與機器人同步安全監控的目的。
以下係提出實施例進行詳細說明,實施例僅用以作為範例說明,並非用以限縮本發明欲保護之範圍。
請參照第1圖,其繪示依照本發明一實施例之人機共生安全監控系統100的示意圖。本系統100包括一空間影像擷取單元110、一影像辨識單元120、一人機安全互動監控單元130、一工序監控單元140、一影像資料庫150以及一警示單元160,其中,空間影像擷取單元110主要是偵測一人員影像與一機器人影像並經由影像辨識單元120得到工作區域111中人機互動時的空間姿態影像,然後將該空間姿態影像傳送至人機安全互動監控單元130,由此監控單元130設定之一姿態分佈安全距離與工序監控單元140設定之一安全條件進行判斷,以得到一檢測結果,當檢測結果顯示姿態分佈不滿足該安全條件時,傳送一警示訊號至機器人控制器103,以進行機械人手臂104運動路徑變換或避免碰撞等指令。
在本實施例中,管理者121架設一空間影像擷取單元110於工作區域111中,例如架設在工作區域111的上方或機器人102的身上,以供影像辨識單元120取得用以辨識人員101
與機器人102的骨架影像,所謂骨架影像(Skeleton Framework Image)是指各活動關節間之線架構影像。此外,管理者121可經由輸入設備114設定進行正常工序所需要的安全條件,再由警示單元160依據管理者121於管理介面所設定的工作程序、碰撞條件、圍困條件、防護邊界等來進行風險評估,若有發生碰撞的風險,則經由控制通訊協定105傳送一警示訊號至機器人控制器103。
此外,在本實施例中,輸出設備112與輸出設備113提供管理者121與工作區域111中的現場人員101瞭解工作環境,並提供對工作程序的監控及安全警示的資訊。影像資料庫150連接人機安全互動監控單元130,用以儲存一預定時間內人機之間的姿態分佈影像,以供人機安全互動監控單元130判斷系統操作是否存在風險。
請參考第2A圖,其繪示人員的骨架影像Mh與機器人的骨架影像Mr。其中人員的骨架影像Mh以及機器人的骨架影像Mr是以各個監測點的位置(例如關節的位置)相連的線段來表示,以得到人員101與機器人102的頭部、手部姿態的骨架影像。此外,影像辨識單元120根據骨架影像中人員肢體狀態與機器人肢體狀態,產生一擴充骨架影像Mxh及Mxr,以供影像辨識單元120根據擴充骨架影像,來辨識人員頭部、手部、臂部與機器人手臂等接近真實軀體之姿態。
請參考第2B圖,其繪示人員101與機器人102的空間姿態影像。影像辨識單元120用以辨識例如上述骨架影像的位置軌跡、速度軌跡以及加速度軌跡等的移動軌跡,以建立該工
作區域111中人機互動時的空間姿態影像。其中舉例(Xhr,Yhr,Zhr,t)代表人員101右手位置的座標資訊及時間。(Xhl,Yhl,Zhl,t)代表人員101左手位置的座標資訊及時間。同理,(Xrr,Yrr,Zrr,t)代表機器人102右手位置的座標資訊及時間。(Xrl,Yrl,Zrl,t)代表機器人102左手位置的座標資訊及時間,人員101與機器人102位置通常處於相對關係。
請參考第2C圖,其繪示人員與機器人的移動軌跡在三度空間中的一座標點P1或P2是否有發生交錯的情形。請參考第2D圖,其繪示人員與機器人的移動軌跡在三度空間中的下一個時間點的向量Vh以及Vr。
此外,影像辨識單元120更可辨識人員工作區域與機器人工作區域之間的姿態分佈變化等,以供人機安全互動監控單元130判斷人機之間的操作狀態是否適當。如第3A~3C圖所示,人機之間互動時的位置軌跡、速度軌跡以及加速度軌跡等的資訊及時間,可供人機安全互動監控單元130判斷人機之間的移動軌跡是否重疊(是否有交錯點)、人機之間的移動軌跡重疊時的時間點是否相同,以確定是否進行機械人手臂運動路徑變換或避免碰撞等指令。
在第3A圖中,(Xhr,Yhr,Zhr,t1)及(Xhr,Yhr,Zhr,t2)代表人員101右手位置軌跡的座標資訊及時間。(Xhl,Yhl,Zhl,t1)及(Xhl,Yhl,Zhl,t2)代表人員101左手位置軌跡的座標資訊及時間。(Xrr,Yrr,Zrr,t1)及(Xrr,Yrr,Zrr,t2)代表機器人102右手位置軌跡的座標資訊及時間。(Xrl,Yrl,Zrl,t1)及(Xrl,Yrl,Zrl,t2)代表機器人102左手位置軌跡的座標資訊及時間。
在第3B圖中,(Vxhr,Vyhr,Vzhr,t1)及(Vxhr,Vyhr,Vzhr,t2)代表人員101右手速度軌跡的向量資訊及時間。(Vxhl,Vyhl,Vzhl,t1)及(Vxhl,Vyhl,Vzhl,t2)代表人員101左手速度軌跡的向量資訊及時間。(Vxrr,Vyrr,Vzrr,t1)及(Vxrr,Vyrr,Vzrr,t2)代表機器人102右手速度軌跡的向量資訊及時間。(Vxrl,Vyrl,Vzrl,t1)及(Vxrl,Vyrl,Vzrl,t2)代表機器人102左手速度軌跡的向量資訊及時間。
在第3C圖中,(Axhr,Ayhr,Azhr,t1)及(Axhr,Ayhr,Azhr,t2)代表人員101右手加速度軌跡的向量資訊及時間。(Axhl,Ayhl,Azhl,t1)及(Axhl,Ayhl,Azhl,t2)代表人員101左手加速度軌跡的向量資訊及時間。(Axrr,Ayrr,Azrr,t1)及(Axrr,Ayrr,Azrr,t2)代表機器人102右手加速度軌跡的向量資訊及時間。(Axrl,Ayrl,Azrl,t1)及(Axrl,Ayrl,Azrl,t2)代表機器人102左手加速度軌跡的向量資訊及時間。
人機安全監控單元130還可依據人機之間的姿態分佈影像與一預設之安全屏蔽點進行判斷,當判斷屏蔽點距離小於工序監控單元140所設定的的安全距離時,傳送一警示訊號至一警示單元160。
請參考第4A及4B圖之等高線圖,人機安全互動監控單元130根據人機之間的移動軌跡、空間姿態影像中各個時間點所發生的動作以及人機之間在正常工序下的安全距離,來監測工作區域111中人機之間的姿態分佈影像,以建立一姿態分佈。
在第4A及4B圖中,例如將工作區域111中人機互動時的至少二空間姿態影像以等高線圖表示,用以供該人機安全
互動監控單元130經由該等高線圖之交鋒面FS的法線向量VFS變化判斷人機之間的姿態分佈。由第4A圖的等高線圖,可以判斷是否有交鋒面FS在同一高度或不在同一高度,若是在同一高度,再判斷第4B圖中交鋒面的法線向量VFS變化,以確定等高線變化梯度之向量是否交錯、平行、接觸、疊合等,藉以判斷人員101的移動軌跡與機器人102的移動軌跡是否有可能在同一時間點交錯在同一位置上。
此外,工序監控單元140用以規範人機之間的工序及預設的移動軌跡,並設定一安全條件。在正常的工序下,即使人員的移動軌跡與機器人的移動軌跡在同一時間點交錯在同一位置上,仍符合安全條件。然而,在異常的工序下,人員101的移動軌跡與機器人102的移動軌跡不是預設的移動軌跡,且有可能在同一時間點交錯在同一位置上,則判斷人機之間的姿態分佈影像不符合此安全條件時,人機安全互動監控單元130傳送一警示訊號至機器人控制器103。
在本實施例之第1圖中,機器人控制器103可包括一碰撞警告模組(未繪示)以及一困住警告模組(未繪示),碰撞警告模組用以執行一避碰指令,而困住警告模組用以執行一解困指令。當機器人控制器103接收警示訊號後,碰撞警告模組及困住警告模組可根據警示訊號來確定是否進行機械人手臂的姿態和運動路徑遷移的避碰或解困等指令,此方式可直接將機械人手臂104變換到人員101肢體姿態不在的區域,以避免因停機而損及工作效率。
在本實施例中,人機安全互動監控單元130設有一
動態工作區域監控單元(未繪示),用以監控人員101的工作區域範圍和機器人102的工作區域範圍,其中動態工作區域係依據擴充骨架影像Mxh及Mxr(參見第2A圖),以決定人機之間的一防護的邊界值。
相對於習知人機之間安全分佈檢測多以單一且固定區域影像完成的工作區域分佈或隔離做為判讀工具,本發明為動態工作區域的監控系統,以供人機安全互動監控單元130彈性地監控人員和機器人的工作區域範圍,因此,本發明能有效地減少人機近距離互動的安全距離,且工作區域111中的空間配置更有彈性,適用於組裝產線上固定式人機互動平台上的監控,或是用於醫療照顧、居家照顧等移動式人機互動平台上的監控。
根據上述的人機共生安全監控系統,提出一種人機共生安全監控方法,其包括一空間影像擷取步驟、一影像辨識步驟、一人機安全互動監控步驟、一工序監控步驟、一碰撞警告步驟以及一困住警告步驟等。在本方法中,空間影像擷取步驟可由空間影像擷取單元110執行,影像辨識步驟可由影像辨識單元120執行,人機安全互動監控步驟可由人機安全互動監控單元130執行,依此類推,但本方法對此不加以限制,亦可由單一裝置或單元完成。上述各個步驟的細部內容,請參照第5A及5B圖。
請參照第5A及5B圖,其繪示人機共生安全監控方法的各個步驟。在第5A圖中,影像辨識步驟S10包括取得用以辨識人員骨架S11、人員骨架膨脹區域S12、機器人骨架S13以及機器人骨架膨脹區域S14的影像,以建立相對應之至少二空間姿態影像。此外,影像辨識步驟S10更包括進行一影像前處理步
驟S30,用以取得一骨架空間點位置S31、一骨架空間點連續軌跡S32、一骨架空間點速度向量S33、一骨架空間點速度軌跡S34、一骨架空間點加速度向量S35以及一骨架空間點加速度軌跡S36的資訊,以使人機安全互動監控步驟S60可根據至少二空間姿態影像及一安全距離,建立一姿態分佈。
在第5A圖中,可採用膨脹梯度法來執行人機安全互動監控步驟S50。人機安全互動監控步驟S50包括取得一人員骨架等高線圖S51、一機器人骨架等高線圖S52、一人機互動等高線圖S53以及一人機互動等高線變化梯度圖S54。在本實施例,根據人機互動等高線圖以判斷等高線是否有交鋒面在同一高度(如步驟S55)以及比較所在的高度與預定值的大小(如步驟S56),以及根據人機互動等高線變化梯度圖進一步判斷等高線變化梯度之向量(交鋒面的法線向量VFS)是否交越(如步驟S57)以及判斷一點速度軌跡方向性是否變化或保持不變(如步驟S58)。上述的交鋒面為人機互動時的至少二空間姿態影像彼此重疊的區域。當等高線變化梯度之向量(交鋒面的法線向量)交越時,表示人員的移動軌跡與機器人的移動軌跡有可能在同一時間點交錯在同一位置上。
在步驟S55及S56中,當等高線圖有交鋒面在同一高度,且交鋒面所在的高度與預定值相等時,判斷姿態分佈不符合該安全條件,則進行S67碰撞警告步驟。反之,當等高線圖沒有交鋒面在同一高度,或交鋒面所在的高度大於預定值時,判斷姿態分佈符合該安全條件,則不進行S67碰撞警告步驟。
在步驟S57及S58中,當等高線變化梯度之向量交
越時,判斷至少二空間姿態影像的點速度軌跡方向性是否變化或保持不變,以執行S67碰撞警告步驟或S68困住警告步驟。反之,當等高線變化梯度之向量未交越時,判斷姿態分佈符合安全條件,則不進行S67碰撞警告步驟或S68困住警告步驟。
在第5B圖中,當取得影像前處理步驟S30中的資訊之後,可採用骨架軌跡法來執行另一種人機安全互動監控步驟S60。人機安全互動監控步驟S60包括根據骨架空間點連續軌跡(見第5A圖)以判斷點位置歷史軌跡是否交越在同一位置上(如步驟S61),以及一點軌跡是否交越在同一時間(如步驟S62),根據骨架空間點速度軌跡(見第5A圖)以判斷點速度歷史軌跡是否交越(如步驟S63),以及點速度軌跡方向性是否為平行、非平行或無方向性(如步驟S64),以及根據骨架空間點加速度軌跡(見第5A圖)以判斷點加速度歷史軌跡是否交越(如步驟S65),以及點加速度軌跡是否大於0或等於0(如步驟S66)。
在步驟S61及S62中,當至少二空間姿態影像的點位置歷史軌跡交越在同一位置上,且至少二空間姿態影像的點軌跡交越在同一時間時,判斷該姿態分佈不符合該安全條件,則進行S67碰撞警告步驟。反之,當至少二空間姿態影像的點位置歷史軌跡未交越在同一位置上,或至少二空間姿態影像的點軌跡未交越在同一時間時,判斷該姿態分佈符合該安全條件,則不進行S67碰撞警告步驟。
在步驟S63及S64中,當至少二空間姿態影像的點速度歷史軌跡交越,且至少二空間姿態影像的點速度軌跡方向性非平行時,判斷姿態分佈不符合安全條件,則進行S67碰撞警告
步驟。此外,當至少二空間姿態影像的點速度歷史軌跡交越,且至少二空間姿態影像的點速度軌跡方向性平行時,進一步判斷至少二空間姿態影像的點軌跡是否交越在同一時間(步驟S62)。若是,判斷該姿態分佈不符合該安全條件,則進行S67碰撞警告步驟。另外,當至少二空間姿態影像的點速度歷史軌跡交越,且至少二空間姿態影像的點速度軌跡方向性無方向性時,進一步判斷至少二空間姿態影像的點加速度軌跡是否大於0或等於0。若是大於0,則進行S67碰撞警告步驟;若等於0,則進行S68困住警告步驟。
在步驟S65及S66中,當至少二空間姿態影像的點加速度歷史軌跡交越時,判斷至少二空間姿態影像的點加速度軌跡大於0或等於0,以執行S67碰撞警告步驟或S68困住警告步驟。反之,當至少二空間姿態影像的點加速度歷史軌跡不交越,或至少二空間姿態影像的點加速度軌跡小於0,判斷該姿態分佈符合該安全條件,則不進行S67碰撞警告步驟或S68困住警告步驟。
另外,碰撞警告步驟可根據上述的判斷步驟(S55~S58或S61~S64)來執行一碰撞警告的指令(如步驟S67),而困住警告步驟則根據上述的判斷步驟(S55~S58或S61~S64)來執行一困住警告的指令(如步驟S68)。
再者,在第5B圖中,若上述的判斷步驟(S55~S58或S61~S64)符合工序監控步驟所設定的一安全條件,表示人機之間的姿態分佈在正常的工序下,則不需執行碰撞警告或困住警告的指令。
綜上所述,雖然本發明已以較佳實施例揭露如上,然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾。因此,本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧人機共生安全監控系統
101‧‧‧人員
102‧‧‧機器人
103‧‧‧機器人控制器
104‧‧‧機械人手臂
105‧‧‧控制通訊協定
110‧‧‧空間影像擷取單元
111‧‧‧工作區域
112‧‧‧輸出設備
113‧‧‧輸出設備
114‧‧‧輸入設備
120‧‧‧影像辨識單元
121‧‧‧管理者
130‧‧‧人機安全互動監控單元
140‧‧‧工序監控單元
150‧‧‧影像資料庫
160‧‧‧警示單元
Claims (22)
- 一種人機共生安全監控系統,包括:一空間影像擷取單元,配置於一工作區域中,以擷取至少二骨架影像;一影像辨識單元,依據該至少二骨架影像的位置對時間變化的一資訊,建立相對應之至少二空間姿態影像;一人機安全互動監控單元,根據該至少二空間姿態影像及一安全距離,建立一姿態分佈;以及一工序監控單元,依據一安全條件,判斷該姿態分佈是否符合該安全條件;其中,該影像辨識單元辨識人員骨架、人員骨架膨脹區域、機器人骨架以及機器人骨架膨脹區域的影像,以建立該至少二空間姿態影像,且該至少二空間姿態影像係以一等高線圖表示,用以供該人機安全互動監控單元經由該等高線圖之交鋒面的法線向量變化以判斷該姿態分佈,其中該交鋒面為該至少二空間姿態影像彼此重疊的區域。
- 如申請專利範圍第1項所述之系統,其中該人機安全互動監控單元根據該姿態分佈不符合該安全條件時,傳送一警示訊號至一機器人控制器。
- 如申請專利範圍第2項所述之系統,其中該機器人控制器包括一碰撞警告模組以及一困住警告模組,該機器人控制器接收該警示訊號後,該碰撞警告模組用以執行一避碰指令,而該困住警告模組用以執行一解困指令。
- 如申請專利範圍第1項所述之系統,更包括一影像資料庫,連接該人機安全互動監控單元,用以儲存一預定時間內該姿態分佈的影像。
- 如申請專利範圍第1項所述之系統,其中該影像辨識單元根據人員及機器人擴充骨架影像,以辨識人員頭部、手部、臂部姿態與機器人手臂姿態。
- 如申請專利範圍第5項所述之系統,其中該人機安全互動監控單元設有一動態工作區域監控單元,用以監控人員的工作區域範圍和機器人的工作區域範圍,其中該動態工作區域係依據人員及機器人擴充骨架影像,以決定人機之間的一防護的邊界值。
- 如申請專利範圍第1項所述之系統,其中該資訊包括人員的移動軌跡與機器人的移動軌跡。
- 如申請專利範圍第7項所述之系統,其中該人員的移動軌跡包括人員的位置軌跡、速度軌跡以及加速度軌跡,該機器人的移動軌跡包括機器人的位置軌跡、速度軌跡以及加速度軌跡,該人機安全互動監控單元根據該人員與該機器人的位置軌跡、速度軌跡以及加速度軌跡判斷人機之間的移動軌跡是否重疊。
- 如申請專利範圍第8項所述之系統,其中該人機安全互動監控單元判斷該至少二空間姿態影像的點位置歷史軌跡交越在同一位置上,進一步判斷該至少二空間姿態影像的點軌跡是否交越在同一時間,若是,該姿態分佈不符合該安全條件;若否,該姿態分佈符合該安全條件。
- 一種人機共生安全監控方法,該方法包括:一空間影像擷取步驟,用以擷取一工作區域中至少二骨架影像;一影像辨識步驟,依據該至少二骨架影像的位置對時間變化的一資訊,建立相對應之至少二空間姿態影像;一人機安全互動監控步驟,根據該至少二空間姿態影像及一安全距離,建立一姿態分佈;以及一工序監控步驟,依據一安全條件,判斷該姿態分佈是否符合該安全條件;其中,該影像辨識單元辨識人員骨架、人員骨架膨脹區域、機器人骨架以及機器人骨架膨脹區域的影像,以建立該至少二空間姿態影像,且該至少二空間姿態影像係以一等高線圖表示,用以供該人機安全互動監控單元經由該等高線圖之交鋒面的法線向量變化以判斷該姿態分佈,其中該交鋒面為該至少二空間姿態影像彼此重疊的區域。
- 如申請專利範圍第12項所述之方法,其中該人機安全互動監控步驟中,根據該姿態分佈不符合該安全條件時,發出一警示訊號。
- 如申請專利範圍第13項所述之方法,更包括一碰撞警告步驟以及一困住警告步驟,其中發出該警示訊號後,該碰撞警告步驟用以執行一碰撞警告的指令,而該困住警告步驟用以執行一困住警告的指令。
- 如申請專利範圍第10項所述之方法,其中該人機安全互 動監控步驟包括:取得一人員骨架等高線圖、一機器人骨架等高線圖、一人機互動等高線圖以及一人機互動等高線變化梯度圖;根據該人機互動等高線圖以判斷等高線圖是否有交鋒面在同一高度,以及比較該交鋒面所在的高度與預定值的大小;以及根據該人機互動等高線變化梯度圖以判斷等高線變化梯度之向量是否交越。
- 如申請專利範圍第13項所述之方法,其中該等高線圖有該交鋒面在同一高度,且該交鋒面所在的高度與該預定值相等時,判斷該姿態分佈不符合該安全條件。
- 如申請專利範圍第13項所述之方法,其中該等高線變化梯度之向量交越時,判斷該至少二空間姿態影像的點速度軌跡方向性是否變化或保持不變,以執行一碰撞警告步驟或一困住警告步驟。
- 如申請專利範圍第10項所述之方法,其中該影像辨識步驟更包括進行一影像前處理步驟,用以取得包含一骨架空間點位置、一骨架空間點連續軌跡、一骨架空間點速度向量、一骨架空間點速度軌跡、一骨架空間點加速度向量以及一骨架空間點加速度軌跡的該資訊。
- 如申請專利範圍第16項所述之方法,其中該人機安全互動監控步驟包括:根據該骨架空間點連續軌跡以判斷該至少二空間姿態影像 的點位置歷史軌跡是否交越在同一位置上,以及該至少二空間姿態影像的點軌跡是否交越在同一時間;根據該骨架空間點速度軌跡以判斷該至少二空間姿態影像的點速度歷史軌跡是否交越,以及該至少二空間姿態影像的點速度軌跡方向性是否為平行、非平行或無方向性;以及根據該骨架空間點加速度軌跡以判斷該至少二空間姿態影像的點加速度歷史軌跡是否交越,以及該至少二空間姿態影像的點加速度軌跡是否大於0或等於0。
- 如申請專利範圍第17項所述之方法,其中該至少二空間姿態影像的點位置歷史軌跡交越在同一位置上,且該至少二空間姿態影像的點軌跡交越在同一時間時,判斷該姿態分佈不符合該安全條件。
- 如申請專利範圍第17項所述之方法,其中該至少二空間姿態影像的點速度歷史軌跡交越,且該至少二空間姿態影像的點速度軌跡方向性非平行時,判斷該姿態分佈不符合該安全條件。
- 如申請專利範圍第17項所述之方法,其中該至少二空間姿態影像的點速度歷史軌跡交越,且該至少二空間姿態影像的點速度軌跡方向性無方向性時,進一步判斷該至少二空間姿態影像的點加速度軌跡是否大於0或等於0。
- 如申請專利範圍第17項所述之方法,其中該至少二空間姿態影像的點速度歷史軌跡交越,且該至少二空間姿態影像的點速度軌跡方向性平行時,進一步判斷該至少二空間姿態影像的點 軌跡是否交越在同一時間。
- 如申請專利範圍第17項所述之方法,其中該至少二空間姿態影像的點加速度歷史軌跡交越時,判斷該至少二空間姿態影像的點加速度軌跡大於0或等於0,以執行一碰撞警告步驟或一困住警告步驟。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102140914A TWI547355B (zh) | 2013-11-11 | 2013-11-11 | 人機共生安全監控系統及其方法 |
US14/224,476 US9333652B2 (en) | 2013-11-11 | 2014-03-25 | Safety monitoring system for human-machine symbiosis and method using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102140914A TWI547355B (zh) | 2013-11-11 | 2013-11-11 | 人機共生安全監控系統及其方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201518050A TW201518050A (zh) | 2015-05-16 |
TWI547355B true TWI547355B (zh) | 2016-09-01 |
Family
ID=53043859
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW102140914A TWI547355B (zh) | 2013-11-11 | 2013-11-11 | 人機共生安全監控系統及其方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9333652B2 (zh) |
TW (1) | TWI547355B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI664511B (zh) * | 2018-03-16 | 2019-07-01 | 歐特加科技股份有限公司 | 人機安全監控系統及其方法 |
TWI691913B (zh) * | 2017-11-17 | 2020-04-21 | 日商三菱電機股份有限公司 | 3次元空間監視裝置、3次元空間監視方法、及3次元空間監視程式 |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9589203B2 (en) * | 2014-03-24 | 2017-03-07 | Tata Consultancy Services Limited | Action based activity determination system and method |
US9902061B1 (en) * | 2014-08-25 | 2018-02-27 | X Development Llc | Robot to human feedback |
DE112016002431T8 (de) * | 2015-05-29 | 2018-04-05 | Abb Schweiz Ag | Verfahren und System zur robotischen adaptiven Produktion |
TWI623396B (zh) * | 2015-05-29 | 2018-05-11 | Kawasaki Heavy Ind Ltd | Common area access management system |
US10198706B2 (en) * | 2015-07-31 | 2019-02-05 | Locus Robotics Corp. | Operator identification and performance tracking |
US9981385B2 (en) | 2015-10-12 | 2018-05-29 | The Boeing Company | Dynamic automation work zone safety system |
US10081106B2 (en) * | 2015-11-24 | 2018-09-25 | X Development Llc | Safety system for integrated human/robotic environments |
CN108367441A (zh) * | 2015-12-01 | 2018-08-03 | 川崎重工业株式会社 | 机器人系统的监视装置 |
KR102431194B1 (ko) * | 2015-12-11 | 2022-08-11 | 한화디펜스 주식회사 | 객체 이동 경로를 이용한 장애물 충돌 여부 판단 방법 및 이를 위한 장치 |
TWI595988B (zh) * | 2015-12-29 | 2017-08-21 | Hiwin Tech Corp | Robot safety guard |
JP2017144492A (ja) * | 2016-02-15 | 2017-08-24 | オムロン株式会社 | 衝撃予測装置、衝撃予測システム、制御装置、衝撃予測方法及び衝撃予測プログラム |
JP6688990B2 (ja) * | 2016-04-28 | 2020-04-28 | パナソニックIpマネジメント株式会社 | 識別装置、識別方法、識別プログラムおよび記録媒体 |
ITUA20163608A1 (it) * | 2016-05-19 | 2017-11-19 | Milano Politecnico | Procedimento e dispositivo per il controllo della movimentazione di uno o più robot collaborativi |
JP6470235B2 (ja) * | 2016-07-27 | 2019-02-13 | ファナック株式会社 | 安全管理方法および安全管理システム |
US10169649B2 (en) | 2016-07-28 | 2019-01-01 | International Business Machines Corporation | Smart image filtering method with domain rules application |
US11000953B2 (en) * | 2016-08-17 | 2021-05-11 | Locus Robotics Corp. | Robot gamification for improvement of operator performance |
DE102016222245A1 (de) * | 2016-11-14 | 2018-05-30 | Volkswagen Aktiengesellschaft | Einrichtung und Verfahren zur Einwirkung auf Gegenstände |
TWI615691B (zh) * | 2016-11-24 | 2018-02-21 | 財團法人資訊工業策進會 | 防碰撞系統及防碰撞方法 |
US12103170B2 (en) * | 2017-01-13 | 2024-10-01 | Clara Vu | Dynamic, interactive signaling of safety-related conditions in a monitored environment |
US11518051B2 (en) * | 2017-02-07 | 2022-12-06 | Veo Robotics, Inc. | Dynamic, interactive signaling of safety-related conditions in a monitored environment |
US11541543B2 (en) * | 2017-02-07 | 2023-01-03 | Veo Robotics, Inc. | Dynamic, interactive signaling of safety-related conditions in a monitored environment |
EP4088891A1 (en) * | 2017-02-07 | 2022-11-16 | Veo Robotics, Inc. | Workspace safety monitoring and equipment control |
CN107520843A (zh) * | 2017-08-22 | 2017-12-29 | 南京野兽达达网络科技有限公司 | 一种类人多自由度机器人的动作训练方法 |
DE102017221305A1 (de) * | 2017-11-23 | 2019-05-23 | Robert Bosch Gmbh | Verfahren zum Betreiben eines kollaborativen Roboters |
CN108044625B (zh) * | 2017-12-18 | 2019-08-30 | 中南大学 | 一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法 |
JP7058126B2 (ja) * | 2018-01-12 | 2022-04-21 | 株式会社日立製作所 | ロボット制御装置および自動組立システム |
US12049014B2 (en) * | 2018-02-06 | 2024-07-30 | Veo Robotics, Inc. | Workplace monitoring and semantic entity identification for safe machine operation |
US12097625B2 (en) * | 2018-02-06 | 2024-09-24 | Veo Robotics, Inc. | Robot end-effector sensing and identification |
CN108247617A (zh) * | 2018-04-02 | 2018-07-06 | 深圳了然视觉科技有限公司 | 一种智能机械臂系统 |
CN108406776B (zh) * | 2018-05-09 | 2021-06-25 | 科沃斯商用机器人有限公司 | 安全交互方法、安全交互装置及服务机器人 |
TWI664573B (zh) | 2018-05-11 | 2019-07-01 | 國立交通大學 | 動作計算裝置、機器人系統及機器人控制方法 |
US10875177B2 (en) * | 2018-10-02 | 2020-12-29 | Techman Robot Inc. | Partitioning method for a work space of a robot |
DE112019007831T5 (de) * | 2019-11-28 | 2022-08-11 | Mitsubishi Electric Corporation | Anzeigesteuerungsvorrichtung, anzeigesystem und anzeigesteuerungsverfahren |
DE102022131352A1 (de) | 2022-11-28 | 2024-05-29 | Schaeffler Technologies AG & Co. KG | Verfahren zur Steuerung eines mit einem Menschen kollaborierenden Roboters und System mit einem kollaborativen Roboter |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102581445A (zh) * | 2012-02-08 | 2012-07-18 | 中国科学院自动化研究所 | 机器人的视觉实时纠偏系统和纠偏方法 |
CN102592045A (zh) * | 2010-12-21 | 2012-07-18 | 微软公司 | 通过虚拟骨架的第一人称射击者控制 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US1457730A (en) | 1918-10-03 | 1923-06-05 | Corona Typewriter Co Inc | Typewriting machine |
US2114630A (en) | 1936-08-25 | 1938-04-19 | Air Way Electric Appl Corp | Vacuum cleaner |
DE2854459A1 (de) * | 1978-12-16 | 1980-08-28 | Fraunhofer Ges Forschung | Sicherheitseinrichtung fuer anlagen mit in den raum bewegten teilen |
US4652205A (en) * | 1985-05-02 | 1987-03-24 | Robotic Vision Systems, Inc. | Robot cell safety system |
US6195609B1 (en) | 1993-09-07 | 2001-02-27 | Harold Robert Pilley | Method and system for the control and management of an airport |
DE10196103T1 (de) | 2001-02-22 | 2003-08-21 | Mitsubishi Electric Corp | Robotersteuereinrichtung |
DE10152543A1 (de) * | 2001-10-24 | 2003-05-08 | Sick Ag | Verfahren und Vorrichtung zum Steuern einer sicherheitsrelevanten Funktion einer Maschine |
JP3731118B2 (ja) | 2002-02-18 | 2006-01-05 | 独立行政法人科学技術振興機構 | 二脚歩行式人型ロボット |
JP2004154916A (ja) * | 2002-11-08 | 2004-06-03 | Fanuc Ltd | 自動機械システムの安全装置 |
JP4066168B2 (ja) | 2003-03-13 | 2008-03-26 | オムロン株式会社 | 侵入物監視装置 |
DE602004006190T8 (de) * | 2003-03-31 | 2008-04-10 | Honda Motor Co., Ltd. | Vorrichtung, Verfahren und Programm zur Gestenerkennung |
JP2004299025A (ja) * | 2003-04-01 | 2004-10-28 | Honda Motor Co Ltd | 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム |
DE102004041821A1 (de) * | 2004-08-27 | 2006-03-16 | Abb Research Ltd. | Vorrichtung und Verfahren zur Sicherung eines maschinell gesteuerten Handhabungsgerätes |
DE102004043514A1 (de) * | 2004-09-08 | 2006-03-09 | Sick Ag | Verfahren und Vorrichtung zum Steuern einer sicherheitsrelevanten Funktion einer Maschine |
JP3927994B2 (ja) * | 2004-10-19 | 2007-06-13 | 松下電器産業株式会社 | ロボット装置 |
JP2006236031A (ja) | 2005-02-25 | 2006-09-07 | Seiko Epson Corp | ロボット軌跡制御方法及び装置並びにロボット軌跡制御方法のプログラム |
JP2008242544A (ja) * | 2007-03-26 | 2008-10-09 | Hitachi Ltd | 衝突回避装置および方法 |
DE102007028390A1 (de) | 2007-06-15 | 2008-12-18 | Abb Research Ltd. | Prozesssteuerung, System und Verfahren zur automatisierten Anpassung von Prozessparametern wenigstens einer Handhabungsvorrichtung |
WO2009004772A1 (ja) * | 2007-07-05 | 2009-01-08 | Panasonic Corporation | ロボットアームの制御装置及び制御方法、ロボット、及び制御プログラム |
WO2009093451A1 (ja) * | 2008-01-22 | 2009-07-30 | Panasonic Corporation | ロボットアーム |
JP5215740B2 (ja) * | 2008-06-09 | 2013-06-19 | 株式会社日立製作所 | 移動ロボットシステム |
FR2935826B1 (fr) | 2008-09-09 | 2010-09-24 | Thales Sa | Dispositif de visualisation pour aeronef comprenant des moyens d'alarmes sonores representatifs d'aeronefs presentant un risque de collision |
FR2935825B1 (fr) | 2008-09-09 | 2010-09-24 | Thales Sa | Dispositif de visualisation pour aeronef comprenant des moyens d'affichage de trajectoires d'intrus presentant un risque de collision dans la totalite de l'espace environnant l'aeronef |
JP4648486B2 (ja) * | 2009-01-26 | 2011-03-09 | ファナック株式会社 | 人間とロボットとの協調動作領域を有する生産システム |
KR101687628B1 (ko) | 2010-01-12 | 2016-12-21 | 삼성전자주식회사 | 로봇의 보행 제어 장치 및 그 제어 방법 |
US8855812B2 (en) * | 2010-07-23 | 2014-10-07 | Chetan Kapoor | System and method for robot safety and collision avoidance |
US20120062725A1 (en) * | 2010-09-10 | 2012-03-15 | Gm Global Technology Operations, Inc. | System for error-proofing manual assembly operations using machine vision |
CN102479386A (zh) | 2010-11-24 | 2012-05-30 | 湘潭大学 | 基于单目视频的人体上半身三维运动跟踪方法 |
KR101193115B1 (ko) | 2011-10-07 | 2012-10-19 | 한국항공우주산업 주식회사 | 3d 전자 지도 시스템 |
US9694497B2 (en) * | 2012-07-10 | 2017-07-04 | Siemens Aktiengesellschaft | Robot arrangement and method for controlling a robot |
-
2013
- 2013-11-11 TW TW102140914A patent/TWI547355B/zh active
-
2014
- 2014-03-25 US US14/224,476 patent/US9333652B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102592045A (zh) * | 2010-12-21 | 2012-07-18 | 微软公司 | 通过虚拟骨架的第一人称射击者控制 |
CN102581445A (zh) * | 2012-02-08 | 2012-07-18 | 中国科学院自动化研究所 | 机器人的视觉实时纠偏系统和纠偏方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI691913B (zh) * | 2017-11-17 | 2020-04-21 | 日商三菱電機股份有限公司 | 3次元空間監視裝置、3次元空間監視方法、及3次元空間監視程式 |
TWI664511B (zh) * | 2018-03-16 | 2019-07-01 | 歐特加科技股份有限公司 | 人機安全監控系統及其方法 |
Also Published As
Publication number | Publication date |
---|---|
US20150131896A1 (en) | 2015-05-14 |
TW201518050A (zh) | 2015-05-16 |
US9333652B2 (en) | 2016-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI547355B (zh) | 人機共生安全監控系統及其方法 | |
Choi et al. | An integrated mixed reality system for safety-aware human-robot collaboration using deep learning and digital twin generation | |
CN110253570B (zh) | 基于视觉的工业机械臂人机安全系统 | |
Flacco et al. | A depth space approach for evaluating distance to objects: with application to human-robot collision avoidance | |
JP6462728B2 (ja) | 自律ロボットの障害物の不在および存在の一方の確率のマップを構築する方法 | |
EP3715065B1 (en) | Controlling a robot in the presence of a moving object | |
US9089971B2 (en) | Information processing apparatus, control method thereof and storage medium | |
US8855812B2 (en) | System and method for robot safety and collision avoidance | |
CN110076751B (zh) | 机器人控制装置及机器人系统 | |
CN110696000A (zh) | 一种机械臂试探感知的避障方法 | |
JP7299642B2 (ja) | 自動的センサ位置合わせおよび構成のためのシステムおよび方法 | |
CN109972674B (zh) | 基于自然交互的复杂施工环境下的无人挖掘系统及方法 | |
TWI769747B (zh) | 計算自動化機器之安全範圍的方法及控制機器人的裝置 | |
CN110497405B (zh) | 用于驱控一体化控制系统的力反馈人机协作防碰撞检测方法及模块 | |
CN118269089A (zh) | 用于机械手的运动模拟的方法 | |
JP2016209991A (ja) | ロボットの制御装置、制御方法およびシステム | |
WO2018068446A1 (zh) | 一种追踪方法及追踪设备、计算机存储介质 | |
CN109129417A (zh) | 基于压力传感器阵列的协作机器人系统及其实现方法 | |
US11478932B2 (en) | Handling assembly comprising a handling device for carrying out at least one work step, method, and computer program | |
CN112476428B (zh) | 机器人控制装置 | |
Teke et al. | Real-time and robust collaborative robot motion control with Microsoft Kinect® v2 | |
CN110549375A (zh) | 一种用于机械臂的防护门防撞方法及系统 | |
CN103714250A (zh) | 一种快速的变电站高压警戒区域碰撞检测算法方法 | |
Araiza-lllan et al. | Dynamic regions to enhance safety in human-robot interactions | |
CN115319764A (zh) | 在复杂受限环境下基于多模态融合的机器人及运行方法 |