TWI830617B - 機台意外預測方法 - Google Patents

機台意外預測方法 Download PDF

Info

Publication number
TWI830617B
TWI830617B TW112108129A TW112108129A TWI830617B TW I830617 B TWI830617 B TW I830617B TW 112108129 A TW112108129 A TW 112108129A TW 112108129 A TW112108129 A TW 112108129A TW I830617 B TWI830617 B TW I830617B
Authority
TW
Taiwan
Prior art keywords
machine
warning
prediction model
safety
abnormal
Prior art date
Application number
TW112108129A
Other languages
English (en)
Inventor
徐立恆
黃騰瑩
劉志翔
王琮雄
Original Assignee
友達光電股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 友達光電股份有限公司 filed Critical 友達光電股份有限公司
Priority to TW112108129A priority Critical patent/TWI830617B/zh
Application granted granted Critical
Publication of TWI830617B publication Critical patent/TWI830617B/zh

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一種機台意外預測方法。拍攝一機台並蒐集機台操作的影像作為一第一訓練資料,以訓練一第一預測模型。輸入一機台人員維修相關的影像至第一預測模型中,對機台及機台人員的動作進行預測。根據第一預測模型預測的安全等級設定至少一預防警示。蒐集機台內安全措施設置的影像作為一第二訓練資料,以訓練一第二預測模型。輸入機台人員維修相關的影像至第二預測模型中,對機台內安全措施設置的位置及特徵進行預測。根據第二預測模型預測的安全等級設定至少一異常警示。第一與第二預測模型組成一雙訓練模組以建立機台意外及安全措施設置的預防機制。

Description

機台意外預測方法
本發明是有關於一種機台,且特別是有關於一種機台意外預測方法,用以建立機台意外及安全措施設置的預防機制。
目前工廠多採用自動化機台或工具機進行生產,但自動化機台或工具機發生故障或進行保養時,需由機台人員對故障的機台進行維修或進行日常保養,待機台保修完成之後再重新啟動生產工序。若機台人員未按照正確的維修及保養流程操作機台或未正確設置安全措施,容易發生工安意外。
本發明係有關於一種機台意外預測方法,用以建立機台意外及安全措施設置的預防機制。
根據本發明之一方面,提出一種機台意外預測方法,包括下列步驟。拍攝一機台並蒐集該機台操作的影像作為一第一訓練資料,以訓練一第一預測模型。輸入一機台人員維修相關的影像至該第一預測模型中,對該機台及該機台人員的動作進行預測。根據該第一預測模型預測的安全等級設定至少一預防警示。蒐集該機台內安全措施設置的影像作為一第二訓練資料,以訓練一第二預測模型。輸入該機台人員維修相關的影像至該第二預測模型中,對該機台內安全措施設置的位置及特徵進行預測。根據該第二預測模型預測的安全等級設定至少一異常警示。在本實施例中,第一預測模型與該第二預測模型組成一雙訓練模組,用以建立一機台意外及安全措施設置的預防機制。
為了對本發明之上述及其他方面有更佳的瞭解,下文特舉實施例,並配合所附圖式詳細說明如下:
請參照第1圖,其繪示依照本發明一實施例的機台意外預測方法的示意圖。機台意外預測方法包括下列步驟S11~ S16。首先,步驟S11,拍攝一機台並蒐集機台操作的影像作為一第一訓練資料,以訓練一第一預測模型。步驟S12,輸入一機台人員維修相關的影像至第一預測模型中,對機台及機台人員的動作進行預測。步驟S13,根據第一預測模型預測的安全等級設定至少一預防警示。上述步驟S11~S13用以建立機台意外的預防機制。
此外,步驟S14,蒐集機台內安全措施設置的影像作為一第二訓練資料,以訓練一第二預測模型。步驟S15,輸入機台人員維修相關的影像至第二預測模型中,對機台內安全措施設置的位置及特徵進行預測。步驟S16,根據第二預測模型預測的安全等級設定至少一異常警示。上述步驟S14~S16用以建立安全措施設置的預防機制。
第一預測模型例如為透過類神經網路訓練的模型,利用三維的殘差網路(即ResNet 3D模型)或是其他類似的三維類神經網路進行影像特徵提取。第一預測模型可由處理器或人工智能晶片所實現。訓練好的第一預測模型可從影像和影片中擷取資訊和識別物件的特徵,例如自動監控系統中的異常事件或不當操作行為等,以建立防護機制。
ResNet 3D模型為一種三維卷積類神經網路(Convolutional Neural Network,CNN),其對時空域的三維座標進行操作,能夠透過複雜的網路層以及維度做到影片分類,並透過一段時間的影片來判斷人、物動作或傾向,因此可以擷取到更多的特徵,並達到類似預測的效果。由此可知,相對於傳統的2D CNN,三維卷積類神經網路在影像的空間與時間特徵提取方面是有效的,且準確率高。
ResNet 3D模型可針對機台人員的部分肢體被遮蔽的影像進行訓練,從影像特徵中偵測到未被遮蔽的肢體位置,進一步根據未被遮蔽的肢體位置預測被遮蔽的肢體位置,因此不受限於機台人員外觀與軀幹的完整度。
此外,第二預測模型例如為透過類神經網路訓練的模型,利用圖像識別模型(例如YOLO v4)或是其他類似的識別模型進行影像特徵提取,並利用影像識別的邊界框進行物件標記,以生成物件標記位置。第二預測模型可由處理器或人工智能晶片所實現。訓練好的第二預測模型可從影像和影片中擷取資訊和識別物件的特徵,例如判斷機台內是否有異物、安全措施擺放的位置是否正確等。
YOLO v4模型為一種卷積類神經網路,透過卷積類神經網路先找出符合的物件,之後再判斷哪一區域有符合的物件且機率最高(可信度最高),即將該區域以邊界框進行標記。YOLO v4模型可將物件偵測的計算量減低、學習物件更多元,因此可得到更好的精確度。
在本實施例中,同時採用第一預測模型及第二預測模型,並根據第一預測模型及第二預測模型組成的雙訓練模組,共同建立一機台意外及安全措施設置的預防機制。如此,可避免單一訓練模組的偏差造成的缺陷。
在步驟S11中,蒐集機台操作的影像例如為「機台正常運行」、「錯誤操作機台」、「發生意外」等狀態的影像,作為第一訓練資料。第一訓練資料可為輸入的影像資料或神經網路根據輸入的影像資料模擬生成的資料。「機台正常運行」的規範如下表一,例如機台人員操作機台的行為符合規定、機台人員行為正常,機台正常運轉、機台外觀正常、機台料件正常、機台環境物件正常、機台告示牌正確及機台操作及以上觸發事件的時間紀錄。上述的觸發事件可依照實際情況增減,以符合實際需求。 表一
狀態 擷取特徵描述 細節
機台正常運行 行為: 操作機台行為符合規定、人員行為正常
行為: 機台正常運轉 物件: 機台外觀正常,照片/運轉一段時間的影片
 物件: 機台料件,有、無、顏色、花紋、形狀、大小、薄厚
物件:有、無、顏色、花紋、形狀、大小
告示牌  物件:有、無、顏色、花紋、文字、形狀
時間 機台操作及以上觸發事件的時間紀錄
「錯誤操作機台」的規範如下表二,例如機台人員操作機台的行為未符合規定、機台人員行為不正常,機台不正常運轉、機台外觀不正常、機台料件錯誤、機台環境錯誤、機台告示牌錯誤及機台運行及以上觸發事件的時間紀錄。上述的觸發事件可根據實際情況增減,例如在未設置告示牌的情況下,機台人員進入維修或啟動暫停的機台,或者,在未知料件錯誤的情況下進行機台操作等。 表二
狀態 擷取特徵描述 細節
錯誤操作機台 人的失誤 行為: 操作機台行為未符合規定、人物行為不正常
機台自體失誤 行為: 機台不正常運轉 物件: 機台外觀不正常
料件錯誤 物件: 機台料件,有、無、顏色、花紋、形狀、大小、薄厚 
環境錯誤 物件:有、無、顏色、花紋、形狀、大小
告示牌  物件:有、無、顏色、花紋、文字、形狀
時間 機台操作及以上觸發事件的時間紀錄
「發生意外」的規範如下表三,例如機台人員跌倒、被機台夾壓、摔落、截斷、溶液潑濺及手腳伸入機台及機台未停止進入機台等。為了防止意外發生,第一預測模型在機台人員未發生意外之前透過擷取的特徵,判斷是否可能發生意外,並根據預測的安全等級(預測值)提供一預防警示,以達到類似預測的效果。 表三
狀態 擷取特徵描述 細節
發生意外 跌倒 行為: 人物影片/照片
夾壓 行為: 人物影片/照片 
摔落 行為: 人物影片/照片 
截斷 行為: 人物影片/照片 
溶液潑濺 行為: 人物影片/照片 
手腳伸入機台 行為: 人物影片/照片
機台未停止進入機台 行為: 人物影片/照片
時間 以上觸發事件的時間紀錄
請參照第1圖,步驟S13中根據第一預測模型預測的安全等級(預測值)設定至少一預防警示。預防警示例如發生警示音、警示光及/或影像等,以提醒機台人員注意可能發生的危險。本實施例可根據預測的安全等級(預測值)設定不同程度的預防警示,例如在未設置告示牌的情況下,機台人員進入維修或啟動暫停的機台,此時,系統發出警示音、警示光或影像,或者,將機台的運行時間降低或關閉機台的電源以停止機台運行,以達到不同程度的預防警示。
在步驟S14中,蒐集機台內安全措施設置的影像例如蒐集支撐架、枕木、千斤頂、治具/鋁具、安全插銷、棘輪束帶、吊繩、龍門吊架中至少其中之一的安全措施的影像作為第二訓練資料。訓練好的第二預測模型可根據安全措施設置的位置及特徵進行影像辨識,以確定機台人員是否按照正確的維修及保養流程操作機台並正確設置安全措施,進而避免工安意外發生。
以下針對千斤頂、支撐架、吊繩、安全插銷、治具/鋁具、枕木及棘輪束帶的提取特徵進行描述。提取特徵可包括物件的顏色、輪廓、方向性、背景差異、樣式及置放位置至少其中之一。不同物件有不同的提取特徵,若物件辨識結果符合系統預設的物件提取特徵,表示該物件的擺放位置正確;若物件辨識結果不符合系統預設的物件提取特徵,表示該物件的擺放位置異常或機台內有異物存在。
物件類別 提取特徵描述 細節
千斤頂 顏色 紅、橘
輪廓 圓柱體
方向性 正面、反面
背景差異 區隔物件
樣式 千斤頂款式
置放位置 N/A
物件類別 提取特徵描述 細節
支撐架 顏色
輪廓 細支柱
方向性 橫向、直向
背景差異 區隔物件
樣式 款式、長短
置放位置 N/A
物件類別 提取特徵描述 細節
吊繩 顏色 紅、黃、白
輪廓 帶狀、條狀
方向性 橫向、直向、吊掛
背景差異 區隔物件
樣式 款式、長短
置放位置 高、低
物件類別 提取特徵描述 細節
安全插銷 顏色
輪廓 條狀
方向性 橫向、直向
背景差異 區隔物件
樣式 款式、長短
置放位置 高、低
物件類別 提取特徵描述 細節
治具/鋁具 顏色
輪廓
方向性 面上、面下
背景差異 區隔物件
樣式 款式、大小
置放位置 上、下
物件類別 提取特徵描述 細節
紅枕木 顏色
輪廓 長方體
方向性 橫放、直放
背景差異 區隔物件
樣式 款式、大小
置放位置 前後左右
物件類別 提取特徵描述 細節
棘輪束帶 顏色 黃、橘
輪廓 圓盤、條狀
方向性 N/A
背景差異 區隔物件
樣式 款式、大小
置放位置
物件類別 提取特徵描述 細節
龍門吊架 顏色
輪廓 支架、方正
方向性 面上、面下
背景差異 區隔物件
樣式 款式、大小
置放位置 N/A
請參照第2圖,其繪示依照本發明一實施例的機台意外預測方法的流程圖。首先,步驟S21,輸入一機台人員維修相關的影像至第一預測模型中。步驟S22,第一預測模型對機台及機台人員的動作進行預測。步驟23,確認是否有可能發生意外?例如:設定預測值大於0.5,表示機台及機台人員的動作符合上述「錯誤操作機台」的規範,預測值小於0.5,表示機台及機台人員的動作符合上述「正常操作機台」的規範。當預測值大於0.5時,發生意外的機率大於不會發生意外的機率,進一步判斷預測值是否大於0.6(步驟S24)、預測值是否大於0.8(步驟S25)、預測值是否大於0.9(步驟S26)。當預測值大於0.6時,第一預測模型通知系統發出A級預防警示;當預測值大於0.8時,第一預測模型通知系統發出B級預防警示;當預測值大於0.9時,第一預測模型通知系統發出C級預防警示。
在一實施例中,A級預防警示例如發出警示音、警示光或影像。B級預防警示例如除了發出警示音、警示光或影像外,進一步控制電壓以降低機台的運行時間。C級預防警示例如除了發出警示音、警示光或影像外,還關閉機台的電源以停止機台運行。上述A、B、C級預防警示可根據預測的安全等級(預測值)設定,以達到分級警示的功效。
請參照第3圖,其繪示依照本發明一實施例的機台安全措施設置的流程圖。首先,步驟S31,輸入機台人員維修相關的影像至第二預測模組中。步驟S32,第二預測模組對機台內安全措施設置的位置及特徵進行預測。步驟S33,確認安全措施設置是否異常?例如預測值大於0.8,表示安全措施設置(例如物件的顏色、輪廓、方向性、樣式及擺放位置)不符合規定,預測值小於0.8,表示安全措施設置符合規定。當預測值大於0.8時,表示機台人員維修時未正確放置安全措施或機台內有異物,則進一步判斷機台人員是否根據物件辨識的邊界框修正安全措施的擺放位置(步驟S34)或移除異物,若已修正安全措施的擺放位置或移除異物,在步驟S35,第二預測模型通知系統發出D級異常警示;若未修正安全措施的擺放位置或未移除異物,在步驟S36,第二預測模型通知系統發出E級異常警示。
在一實施例中,D級異常警示例如停止機台運行並且直到異物移除之後才能啟動機台。E級異常警示例如停止機台運行並且發出警示音、警示光或影像,接著通知人員處理直到安全措施的擺放位置正確或異物已被移除。另外,F級異常警示例如為有異物在機台內,停止機台運行並且發出警示音、警示光或影像,接著通知人員處理直到所有異常警示都被排除為止。上述的D、E級異常警示與上述A、B、C級預防警示可根據等級高低設定優先順序,以達到分級警示的功效。例如A、B、C級預防警示的安全等級相對較低,D、E級異常警示的安全等級較高,安全等級較低的表示越安全,其優先順序相對較低;安全等級較高的表示越危險,其優先順序相對較高。另外,A、B、C級預防警示其中之一與D、E級異常警示其中之一同時發生時,則觸發F級異常警示,直到所有異常狀態都被排除為止。
請參照第4圖,其繪示依照本發明一實施例的預防警示與異常警示的優先順序的示意圖。在步驟S41中,假設安全措施的擺放位置異常的警示的優先順序高於預防警示的優先順序,在步驟S42中,安全措施的擺放位置異常的警示先發生則先觸發,預防警示後發生則不觸發。在步驟S43中,當預防警示先發生,安全措施的擺放位置的異常警示後發生,則進行步驟S44之判斷。在步驟S44中,確認預防警示的狀態解除前是否包含安全措施的擺放位置的異常警示?若步驟S44之判斷為否,在步驟S45中,維持預防警示直到預防警示被解除為止。若步驟S44之判斷為是,在步驟S46中,觸發安全措施的擺放位置異常的警示。此外,若安全措施的擺放位置異常的警示與預防警示同時觸發,則觸發F級異常警示,直到所有異常狀態都被排除為止。
根據本發明上述實施例之機台意外預測方法,可根據雙訓練模組來預測機台意外即將發生並進行預防,且可得知機台維修時是否正確設置安全措施或機台內是否有異物。本方法透過雙訓練模組計算安全等級(預測值)並設定至少一預防警示及至少一異常警示,用以建立機台意外及安全措施設置的預防機制,並可達到不同程度的警示效果。
綜上所述,雖然本發明已以實施例揭露如上,然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾。因此,本發明之保護範圍當視後附之申請專利範圍所界定者為準。
S11~S16:步驟 S21~S29:步驟 S31~S36:步驟 S41~S46:步驟
第1圖繪示依照本發明一實施例的機台意外預測方法的示意圖。 第2圖繪示依照本發明一實施例的機台意外預測方法的流程圖。 第3圖繪示依照本發明一實施例的機台安全措施設置的流程圖。 第4圖繪示依照本發明一實施例的預防警示與異常警示的優先順序的示意圖。
S11~S16:步驟

Claims (10)

  1. 一種機台意外預測方法,包括: 拍攝一機台並蒐集該機台操作的影像作為一第一訓練資料,以訓練一第一預測模型; 輸入一機台人員維修相關的影像至該第一預測模型中,對該機台及該機台人員的動作進行預測; 根據該第一預測模型預測的安全等級設定至少一預防警示; 蒐集該機台內安全措施設置的影像作為一第二訓練資料,以訓練一第二預測模型; 輸入該機台人員維修相關的影像至該第二預測模型中,對該機台內安全措施設置的位置及特徵進行預測;以及 根據該第二預測模型預測的安全等級設定至少一異常警示。
  2. 如請求項1所述之方法,其中該第一預測模型與該第二預測模型組成一雙訓練模組,用以建立一機台意外及安全措施設置的預防機制。
  3. 如請求項2所述之方法,其中該第一預測模型與該第二預測模型為卷積類神經網路訓練而成。
  4. 如請求項2所述之方法,其中該第一預測模型為ResNet 3D模型,該第二預測模型為YOLO v4模型。
  5. 如請求項1所述之方法,其中蒐集該機台操作的影像包括「機台正常運行」、「錯誤操作機台」、「發生意外」之狀態的影像。
  6. 如請求項1所述之方法,其中該「錯誤操作機台」的影像包括該機台人員操作該機台的行為未符合規定、該機台人員行為不正常,該機台不正常運轉、該機台外觀不正常、該機台料件錯誤、該機台環境錯誤、該機台告示牌錯誤及上述觸發事件的時間紀錄。
  7. 如請求項1所述之方法,其中蒐集該機台內安全措施設置的影像包括蒐集支撐架、枕木、千斤頂、治具/鋁具、安全插銷、棘輪束帶、吊繩及龍門吊架中至少其中之一的安全措施的影像。
  8. 如請求項1所述之方法,其中對該機台內安全措施設置的位置及特徵進行預測包括辨識一物件的顏色、輪廓、方向性、背景差異、樣式及置放位置至少其中之一是否正確,並判斷該機台人員是否根據該物件辨識的邊界框修正安全措施的擺放位置。
  9. 如請求項1所述之方法,其中該安全措施的擺放位置異常的警示的優先順序高於該預防警示的優先順序,該安全措施的擺放位置異常的警示先發生則先觸發,該預防警示後發生則不觸發。
  10. 如請求項9所述之方法,其中當該預防警示先發生,該安全措施的擺放位置的異常警示後發生,確認該預防警示的狀態解除前是否包含該安全措施的擺放位置的異常警示,若未包含該安全措施的擺放位置的異常警示,則維持該預防警示直到該預防警示被解除為止,若包含該安全措施的擺放位置的異常警示,觸發該安全措施的擺放位置異常的警示。
TW112108129A 2023-03-06 2023-03-06 機台意外預測方法 TWI830617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW112108129A TWI830617B (zh) 2023-03-06 2023-03-06 機台意外預測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW112108129A TWI830617B (zh) 2023-03-06 2023-03-06 機台意外預測方法

Publications (1)

Publication Number Publication Date
TWI830617B true TWI830617B (zh) 2024-01-21

Family

ID=90459290

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112108129A TWI830617B (zh) 2023-03-06 2023-03-06 機台意外預測方法

Country Status (1)

Country Link
TW (1) TWI830617B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199292A (zh) * 2018-10-31 2020-05-26 法国电力公司 确保配电系统的低压网络中的安全维修
CN112580812A (zh) * 2019-09-27 2021-03-30 北京国双科技有限公司 模型训练方法、库存安全预警方法、装置、设备及介质
US20210260770A1 (en) * 2017-02-07 2021-08-26 Clara Vu Safe motion planning for machinery operation
CN114202718A (zh) * 2021-10-29 2022-03-18 广东卓维网络有限公司 一种基于人工智能的安全监控方法和装置
CN115457599A (zh) * 2022-09-30 2022-12-09 安徽宏源电力建设投资有限公司 基于推理机的输电检修安全预警方法及输电线路维修平台

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210260770A1 (en) * 2017-02-07 2021-08-26 Clara Vu Safe motion planning for machinery operation
CN111199292A (zh) * 2018-10-31 2020-05-26 法国电力公司 确保配电系统的低压网络中的安全维修
CN112580812A (zh) * 2019-09-27 2021-03-30 北京国双科技有限公司 模型训练方法、库存安全预警方法、装置、设备及介质
CN114202718A (zh) * 2021-10-29 2022-03-18 广东卓维网络有限公司 一种基于人工智能的安全监控方法和装置
CN115457599A (zh) * 2022-09-30 2022-12-09 安徽宏源电力建设投资有限公司 基于推理机的输电检修安全预警方法及输电线路维修平台

Similar Documents

Publication Publication Date Title
CN108928700B (zh) 医院电梯安全立体监测云平台、系统及其方法、电梯系统
CN108750854B (zh) 医院电梯安全立体监测云平台、系统及其方法、电梯系统
KR100956978B1 (ko) 교통사고 유의지역 통합관리 시스템
CN108389359B (zh) 一种基于深度学习的城市火灾报警方法
CN111932709A (zh) 一种基于ai识别实现加油站巡检作业违规安全监管的方法
CN109052092B (zh) 一种分布式升降机安全管理系统及管理方法
CN104539899A (zh) 一种利用视频信号对监控摄像头异常情况进行判别的方法
CN113968528B (zh) 按需维保监测方法及系统
CN110020791A (zh) 一种基于责任管理的产品设计方法
TWI830617B (zh) 機台意外預測方法
CN114937237A (zh) 一种基于ai智能识别的工地安全监测方法及系统
CN104537664A (zh) 一种基于背景比对的监控摄像头异常情况进行判别方法
CN113380000B (zh) 一种基于视频的火灾报警控制器警情处理操作监控方法
CN103414873B (zh) 压铸模具监视保护系统及方法
CN117035669A (zh) 基于人工智能的企业安全生产管理方法及系统
CN116311729A (zh) 基于ai的电网基建现场安全管理系统
CN107290349A (zh) 基于机器视觉的索道钢丝绳的检测装置、系统和方法
CN112576310B (zh) 基于机器人的隧道安防检测方法及系统
CN204884256U (zh) 一种核电辐射防护系统
JP6914387B1 (ja) 異常検知システム、情報処理装置、異常検知方法及び異常検知プログラム
CN114359823A (zh) 基于物联网轨道交通平台的车站扶梯传送带监测方法
CN114066162A (zh) 一种告警事件智能管理方法及系统
CN210515600U (zh) 一种基于三维图像及智能视频技术的人员安全检测系统
CN112101180A (zh) 一种人的不安全行为识别方法及系统
CN103453840A (zh) 弹子锁锁芯精度的自动检测方法