TWI664511B - 人機安全監控系統及其方法 - Google Patents

Abstract

一種人機安全監控系統及其方法，包括影像擷取單元、影像辨識單元、安全監控單元以及工序監控單元；影像擷取單元配置於工作區域中，以擷取骨架影像；影像辨識單元依據骨架影像的位置對應時間變化的資訊，建立相對應之空間姿態影像；安全監控單元根據空間姿態影像及危險距離，建立姿態分佈；工序監控單元依據危險條件，判斷姿態分佈是否符合危險條件。

Description

人機安全監控系統及其方法

本發明是有關於一種安全監控系統，且特別是有關於一種人機之安全監控系統及其方法。

隨著機械手臂科技的發展，人機互動之過程愈趨緊密，因而人機間之安全也愈獲重視，在人機互動之過程中可能發生安全疑慮之區域越來越難偵測與掌握，一般技術多以單一且固定之區域做為隔離之依據，然而每一個區域的隔離往往產生變化，更無法即時彈性管理與監控。

本發明係有關於一種安全監控系統，舉例使用運算量較小的運算自動追蹤一人員與機械人之至少一骨架影像的軌跡點，當該人員與機械人操作時的軌跡點過近時，可提醒一機械手臂控制器進行一機械手臂運動路徑調整，以維護該安全監控系統之設備與該人員之安全。

本發明係有關於一種安全監控系統，其可依據一安全監控單元所設定的警示條件，發出警示訊息，更可於發出警示 訊號之後，繼續偵測該人員與該機械手臂之間的工序操作條件，以判斷機械人是否進行防止碰撞或者解除圍困，進而決定是否發出下一階段之警示訊號。

本發明係有關於一種安全監控系統，可進行一動態的工作區域的監控，用以供該安全監控單元彈性地監控該人員和該機械手臂的該工作區域範圍，其中動態的該工作區域係依據該人員及該機械手臂的至少一該骨架影像擴充為安全分佈區域，以決定兩者之間防護的邊界值。

根據本發明之一方面，提出一種安全監控系統，包括一影像擷取單元、一影像辨識單元、該安全監控單元以及一工序監控單元；該影像擷取單元配置於該工作區域中，以擷取至少一該骨架影像；該影像辨識單元依據至少一該骨架影像的位置對應時間變化的資訊，建立相對應之至少一空間姿態影像；該安全監控單元根據至少一該空間姿態影像及危險距離，建立姿態分佈；該工序監控單元依據危險條件，判斷姿態分佈是否符合危險條件。

根據本發明之另一方面，提出一種安全監控方法，包括一影像擷取步驟、一影像辨識步驟、一人機安全監控步驟以及一工序監控步驟；該影像擷取步驟用以擷取該工作區域中至少一該骨架影像；該影像辨識步驟依據此至少一該骨架影像的位置對應時間變化的資訊，建立相對應之至少一姿態影像；該人機安全監控步驟根據該至少一該姿態影像及危險距離，建立姿態分 佈；該工序監控步驟依據危險條件，判斷姿態分佈是否符合危險條件。

為了對本發明之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：

〔系統〕

100‧‧‧安全監控系統

101‧‧‧人員

102‧‧‧機械手臂

103‧‧‧機械手臂控制器

104‧‧‧機械人手臂

105‧‧‧控制通訊協定

110‧‧‧影像擷取單元

111‧‧‧工作區域

1111‧‧‧空間姿態影像

112‧‧‧第一輸出設備

113‧‧‧第二輸出設備

114‧‧‧輸入設備

120‧‧‧影像辨識單元

121‧‧‧管理者

130‧‧‧安全監控單元

140‧‧‧工序監控單元

150‧‧‧影像資料庫

160‧‧‧警示單元

Mh‧‧‧骨架影像

〔方法〕

S10‧‧‧影像擷取步驟

S11‧‧‧人員身體

S12‧‧‧人員身體影像

S20‧‧‧影像辨識步驟

S21‧‧‧姿態影像

S22‧‧‧身體資訊

S23‧‧‧頭/手/腳位置

S30‧‧‧監控區域設定步驟

S31‧‧‧進入設定畫面

S32‧‧‧框選危險區域

S33‧‧‧手部位置定位點

S34‧‧‧結束定位設定

S35‧‧‧結束框選設定

S36‧‧‧危險區域註冊完成

S37‧‧‧防空區域參數檔

S40‧‧‧工序監控步驟

S41‧‧‧人員在防空區域內

S50‧‧‧人機安全監控步驟

S51‧‧‧頭/手/腳在監控區域內

S52‧‧‧頭在危險區域內

S53‧‧‧手在危險區域內

S54‧‧‧腳在危險區域內

S55‧‧‧安全程序

S60‧‧‧通訊步驟

S62‧‧‧TCP/IP通訊協定

S64‧‧‧機械手臂控制器

S70‧‧‧警示步驟

S71‧‧‧三色燈與蜂鳴器

第1圖：繪示依照本發明一實施例之人機安全監控系統的示意圖。

第2圖：繪示人員的骨架影像。

第3圖：繪示人員的空間姿態影像。

第4圖：繪示安全監控方法的各個步驟。

本發明之人機(human-manipulator)安全監控系統，舉例係透過空間或深度影像擷取單元，取得操作人員的骨架影像，並以此骨架影像判斷人員空間上的姿態位置，配合時間軸的計算，獲得空間上移動的軌跡；同樣的，透過影像擷取單元，取得機械手臂的骨架影像後，判斷機械手臂的姿態位置與時間軸上的位置軌跡；經由計算人與機械手臂骨架的位置、速度、加速度即可估測下一時間點的姿態移動趨勢；另外輔以軌跡線的行進方向，判斷人員的手部和頭部移動軌跡是否和機器手臂的移動軌跡產生交錯、跨越、接觸、重疊等，以達到人員與機械手臂同步安全監控的目的。

以下係提出實施例進行詳細說明，實施例僅用以作 為範例說明，並非用以限縮本發明欲保護之範圍。

請參照第1圖至第3圖，其繪示依照本發明一實施例之安全監控系統100的示意圖，該安全監控系統100包括一影像擷取單元110、一影像辨識單元120、一安全監控單元130、一工序監控單元140、一影像資料庫150以及一警示單元160，其中，該影像擷取單元110主要是偵測一人員101影像經由該影像辨識單元120得到一工作區域111中人機互動時的至少一空間姿態影像1111，然後將至少一該空間姿態影像1111傳送至該安全監控單元130，由此該安全監控單元130設定姿態分佈的危險距離與該工序監控單元140設定之危險條件進行判斷，以得到一檢測結果，當檢測結果顯示姿態分佈不滿足危險條件時，傳送一警示訊號(圖未示)至一機械手臂控制器103，以進行一機械人手臂104運動路徑變換或避免碰撞等指令。

在本實施例中，一管理者121架設該影像擷取單元110於該工作區域111中，例如架設在該工作區域111的上方，以供該影像辨識單元120取得用以辨識該人員101的一骨架影像Mh，所謂骨架影像(Skeleton Framework Image)是指各活動關節間之線架構影像；此外，該管理者121可經由一輸入設備114設定進行正常工序所需要的危險條件，再由該警示單元160依據該管理者121於管理介面所設定的工作程序、碰撞條件、圍困條件、防護邊界等來進行風險評估，若有發生碰撞的風險，則經由一控制通訊協定105傳送該警示訊號至該機械手臂控制器103。

此外，在本實施例中，一第一輸出設備112與一第二輸出設備113提供該管理者121與該工作區域111中的現場該人員101瞭解工作環境，並提供對工作程序的監控及安全警示的資訊；該影像資料庫150連接該安全監控單元130，用以儲存一預定時間內人機之間的姿態分佈影像，以供該安全監控單元130判斷系統操作是否存在風險。

請參考第2圖，其繪示該人員101的該骨架影像Mh；其中該人員101的該骨架影像Mh是以各個監測點的位置(例如關節的位置)相連的線段來表示，以得到該人員101的頭部、手部姿態的該骨架影像Mh。

該安全監控單元130還可依據人機之間的姿態分佈影像與預設之安全屏蔽點進行判斷，當判斷屏蔽點距離小於該工序監控單元140所設定的危險距離時，傳送該警示訊號至該警示單元160。

此外，該工序監控單元140用以規範人機之間的工序及預設的移動軌跡，並設定危險條件；在正常的工序下，即使該人員101的移動軌跡與一機械手臂102的移動軌跡在同一時間點交錯在同一位置上，仍符合危險條件；然而，在異常的工序下，該人員101的移動軌跡與該機械手臂102的移動軌跡不是預設的移動軌跡，且有可能在同一時間點交錯在同一位置上，當判斷人機之間的姿態分佈影像不符合此危險條件時，則該安全監控單元130傳送該警示訊號至該機械手臂控制器103。

在本實施例之第1圖中，該機械手臂控制器103可包括碰撞警告模組以及困住警告模組，碰撞警告模組用以執行避碰指令，而困住警告模組用以執行解困指令；當該機械手臂控制器103接收該警示訊號後，碰撞警告模組及困住警告模組可根據該警示訊號來確定是否進行該機械人手臂104的姿態和運動路徑遷移的避碰或解困等指令，此方式可直接將該機械人手臂104變換到該人員101肢體姿態不在的區域，以避免因停機而損及工作效率。

在本實施例中，該安全監控單元130設有動態之該工作區域111的監控單元，用以監控該人員101的該工作區域範圍和該機械手臂102的工作區域範圍，其中動態的該工作區域111係依據一骨架影像Mh(參見第2圖)，以決定人機之間的防護邊界值。

相對於習知人機之間安全分佈檢測多以單一且固定區域影像完成的工作區域分佈或隔離做為判讀工具，本發明為動態之該工作區域111的監控系統，以供該安全監控單元130彈性地監控該人員101和該機械手臂102的工作區域範圍，因此，本發明能有效地減少人機近距離互動的危險距離，且該工作區域111中的空間配置更有彈性，適用於組裝產線上固定式人機互動平台上的監控，或是用於醫療照顧、居家照顧等移動式人機互動平台上的監控。

根據上述的該安全監控系統100，提出一種安全監控方法，其包括一影像擷取步驟S10、一影像辨識步驟S20、一人機 安全監控步驟S50、一工序監控步驟S40、碰撞警告步驟以及困住警告步驟等，碰撞警告步驟係用以執行碰撞警告的指令；在本方法中，該影像擷取步驟S10可由該影像擷取單元110執行，該影像辨識步驟S20可由該影像辨識單元120執行，該人機安全監控步驟S50可由該安全監控單元130執行，依此類推，但本方法對此不加以限制，亦可由單一裝置或單元完成；其中，該影像擷取步驟S10包含一人員身體S11及一人員身體影像S12的擷取影像傳送至該影像辨識步驟S20；其中該影像辨識步驟S20包括取得用以辨識人員骨架、機械手臂骨架以及機械手臂骨架膨脹區域的影像，以建立至少一姿態影像S21。

在第4圖中，可採用一監控區域設定步驟S30來執行一危險區域(圖未示)的設定使得該人機安全監控步驟S50得以完成；該監控區域設定步驟S30包括一進入設定畫面S31、一框選危險區域S32、一手部位置定位點S33步驟後開始；在本實施例，根據該人員手部位置以進行註冊該框選危險區域S32以及判斷至少三個註冊點完成一個凸集合立方體，若選擇一結束定位設定(如步驟S34)，以及接下來是否進行其他的一結束框選設定(如步驟S35)，若否則回到該框選危險區域S32以進行下一該危險區域的註冊，若是則紀錄存檔最新的註冊點進入一危險區域註冊完成(如步驟S36)；上述的該監控區域設定步驟S30為軟體介面所提供的設定環境，當需要改變系統內定的防空區域參數時，以變更該工序監控步驟S40的監控條件，則是透過文字編輯器修改一防 空區域參數檔(如步驟S37)，因此該管理者121在第一次架設本系統時，即會依據監控影像與現場環境進行修正。

在手部位置定位點S33步驟中，當手部位置設定點的取得是透過該影像辨識步驟(如步驟S20)中一頭/手/腳位置步驟(如步驟S23)的資訊而來，且僅使用手部位置當作註冊點；該手部位置定位點S33至少需要選擇三個以達到凸集合的立方體，反之，當該框選危險區域S32作業時，小於三個註冊點，將無法順利完成該危險區域的框選。

在該人機安全監控步驟S50中，當該監控區域設定步驟S30未進行時，將無該危險區域可進行判斷，因此至少一該姿態影像S21的點在監控區域內任意移動時或位置是否變化或保持不變，都僅能執行人員進入監控區域的對應安全程序，故在執行一通訊步驟S60或一警示步驟S70都僅有低的安全防護成效；反之，當該監控區域設定步驟S30框選至少一該危險區域時，該人機安全監控步驟S50判斷頭/手/腳姿態分佈符合安全條件，可達到較高安全防護的成效。

在該工序監控步驟S40及該人機安全監控步驟S50中，當至少一該姿態影像S21無論是否在一人員在防空區域內(如步驟S41)，都會將該頭/手/腳位置S23資訊傳遞到該人機安全監控步驟S50；當該頭/手/腳位置S23在監控區域內(如步驟S51時)，資訊會提供一安全程序(如步驟S55)進行第一階段的防護，也就是第一階段的降速與亮黃燈；第一階段的降速是由該安全程序 S55透過該通訊步驟S60中的一TCP/IP通訊協定S62提供給一機械手臂控制器S64步驟完成；第一階段的亮黃燈是由該安全程序S55透過該警示步驟S70中的一三色燈與蜂鳴器S71完成。

於一頭/手/腳在危險區域內S52、S53及S54步驟中，當至少一該姿態影像S21的該頭/手/腳在監控區域內S51時，接著進行該頭在危險區域內S52步驟的判斷、以及該手在危險區域內S53步驟的判斷、最後接著該腳在危險區域內S54步驟的判斷；當該頭在危險區域內S52的判斷為真時或該手在危險區域內S53的步驟判斷為真時或該腳在危險區域內S54的步驟判斷為真時，資訊會提供該安全程序步驟S55進行第二階段的防護，也就是第二階段的降速與亮紅燈；第二階段的降速是由該安全程序S55透過該通訊步驟S60中的該TCP/IP通訊協定S62提供給該機械手臂控制器S64步驟完成；第二階段的亮紅燈是由該安全程序S55透過該警示步驟S70中的該三色燈與蜂鳴器S71完成；第二階段為真的條件失效後則紀錄一次觸發該危險區域，以此類推，當第二階段為真與為假的狀態變化一次，繼續進行該危險區域觸發次數的累計，當累計次數大於等於設定的監測閥值時，該安全程序S55即進行第三階段的防護，也就是第三階段的降速與閃紅燈與發蜂鳴器警報；第三階段的降速是由該安全程序S55透過該通訊步驟S60中的該TCP/IP通訊協定S62提供給該機械手臂控制器S64步驟完成；第三階段的閃紅燈與發蜂鳴器警報是由該安全程序S55透過該警示步驟S70中的該三色燈與蜂鳴器S71完成。

再者，在第4圖中，若上述的判斷步驟(S41或S52~S54)符合該工序監控步驟S40或該人機安全監控步驟S50所設定的危險條件，表示人機之間的相對關係分佈在不正常的姿態下，則需執行三色燈警告或蜂鳴器警告的動作。

綜上所述，雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明；本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾；因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (4)

1. 一種安全監控方法，包括：一影像擷取步驟，用以擷取一工作區域中至少一骨架影像，該骨架影像為人員骨架；一影像辨識步驟，依據該骨架影像的位置對時間變化的資訊，建立相對應之至少一姿態影像；一人機安全監控步驟，根據至少一該姿態影像及危險距離，建立姿態分佈；一工序監控步驟，依據危險條件，判斷姿態分佈是否符合危險條件，當一人員的頭/手/腳位置在監控區域內時，資訊會提供一安全程序進行第一階段降速及亮黃燈；以及一監控區域設定步驟，透過一進入設定畫面設定一框選危險區域，接著根據一手部位置定位點判斷至少三個註冊點完成一危險區域的註冊，該框選危險區域輔助該人機安全監控步驟以達到高安全防護功效。
2. 根據申請專利範圍第1項之安全監控方法，其中，該人機安全監控步驟透過該安全程序經由一通訊步驟的一TCP/IP通訊協定提供給一機械手臂控制器步驟完成第二階段降速，並由該安全程序透過一警示步驟中的該三色燈與蜂鳴器完成第二階段的亮紅燈。
3. 根據申請專利範圍第2項之安全監控方法，其中，當第二階段為真與為假的狀態變化一次，繼續進行該危險區域觸發次數的累計，當累計次數大於等於設定的監測閥值時，該安全程序即進行第三階段的降速、閃紅燈與發蜂鳴器警報；第三階段的降速是由該安全程序透過該通訊步驟中的該TCP/IP通訊協定提供給該機械手臂控制器步驟完成；第三階段的閃紅燈與發蜂鳴器警報是由該安全程序透過該警示步驟中的該三色燈與蜂鳴器完成。
4. 根據申請專利範圍第1項之安全監控方法，其中，更包括碰撞警告步驟以及困住警告步驟，其中發出警示訊號後，碰撞警告步驟用以執行碰撞警告的指令，而困住警告步驟用以執行困住警告的指令。