TWI650662B - 穿戴式操作員行爲即時分類紀錄裝置及其方法 - Google Patents

Abstract

一種穿戴式操作員即時分類紀錄方法，其步驟包含有：現場資料收蒐集與分類，一穿戴式攝影單元係擷取一影像資訊，一行為分類單元係使將該影像資訊分類所對應的行為模式；以及產出目標量測數值，一分析單元係依據該些行為模式，而得出一目標量測數值。

Description

穿戴式操作員行為即時分類紀錄裝置及其方法

一種穿戴式操作員行為即時分類紀錄裝置及其方法，尤指一種能夠依據分類影像資訊，並得出一目標量測數值之裝置與其方法。

穿戴式操作員行為即時分類紀錄器，其係為於實際場域中，輔助進行操作員行為分類的影像紀錄工具。觀察者於實際場域紀錄操作員行為時，常有儲存操作員目標行為影片並加以分類的需求。

目前係以錄影設備全程追蹤操作員行為，後續再透過影片剪輯的方式擷取所需的影像片段，最後依據擷取影片的內容進行目標行為的分類判斷，並記錄執行時間。

但現有的紀錄方式有如後所述之缺點：第一為觀察對象係持續移動，觀察者必須時時調整拍攝位置與角度，以補捉觀察對象的影像資訊，所以需要至少兩人以上的作業人員，一為影像紀錄者，另一為行為觀察者。第二為現場資料的分類與蒐集，因無法於第一時間確認，需要後續與操作人員的晤談釐清，在無法及時獲得作業影像的情況下，雙方的記憶與認知常有所出入。第三為作業觀察時間常常數小時或數十小時，但觀察者所感興趣的目標行為僅只有數分鐘到數十分鐘的片段，所以事後剪輯出所希望保 留的目標行為影片，其係相當耗費時間與人力。

有鑑於上述之課題，本發明之目的在於提供一種穿戴式操作員行為即時分類紀錄裝置及其方法，其係不受限於特定場所應用、非觀察特領域的行為模式與能夠導入模型。

為了達到上述之目的，本發明之技術手段在於提供一種穿戴式操作員行為即時分類紀錄裝置，其包含有：一穿戴式攝影單元；一行為分類單元，其係訊號連接該穿戴式攝影單元；以及一分析單元，其係訊號連接該穿戴式攝影單元與該行為分類單元；其中，該穿戴式攝影單元係擷取一影像資訊，該行為分類單元係該影像資訊分類至所對應的行為模式，該分析單元係依據該些行為模式，而得出一目標量測數值。

本發明係提供一種穿戴式操作員即時分類紀錄方法，其步驟包含有：現場資料收蒐集與分類，一穿戴式攝影單元係擷取一影像資訊，一行為分類單元係使將該影像資訊分類至所對應的行為模式；以及產出目標量測數值，一分析單元係依據該些行為模式，而得出一目標量測數值。

如上所述，本發明之穿戴式操作員行為即時分類紀錄裝置及其方法，其係適用範圍較為廣泛，並適合各種需要現場工作紀錄與觀察的作業。操作員可依觀察目的進行目標行為的定義，而具有較為彈性的使用。本發明係能導入各種相關的計算函數與預測模型。

10‧‧‧穿戴式攝影單元

11‧‧‧行為分類單元

110‧‧‧按鈕

1100‧‧‧A按鈕

1101‧‧‧B按鈕

1102‧‧‧C按鈕

1103‧‧‧？按鈕

12‧‧‧分析單元

120‧‧‧編輯模組

121‧‧‧紀錄模組

122‧‧‧演算模組

13‧‧‧通訊單元

S1~S4‧‧‧步驟

第1圖為本發明之一種穿戴式操作員行為即時分類紀錄裝置 之示意圖。

第2圖為本發明之一種穿戴式操作員行為即時分類紀錄方法之流程圖。

以下係藉由特定的具體實施例說明本發明之實施方式，所屬技術領域中具有通常知識者可由本說明書所揭示之內容，輕易地瞭解本發明之其他優點與功效。

請配合參考第1圖所示，本發明係一種穿戴式操作員行為即時分類紀錄裝置，其包含有一穿戴式攝影單元10、一行為分類單元11、一分析單元12與一通訊單元13。

穿戴式攝影單元10係訊號連接通訊單元13。穿戴式攝影單元10係設置於一操作員處。通訊單元13為一路由器，該訊號連接可為無線或有線。

行為分類單元11係訊號連接通訊單元13。行為分類單元11具有多個按鈕110。為了便於說明該些按鈕110，以A按鈕1100、B按鈕1101、C按鈕1102與？按鈕1103區別，但不限制。行為分類單元11係設於操作員處。

分析單元12係訊號連接通訊單元13，分析單元12具有一編輯模組120、一紀錄模組121與一演算模組122。

如上所述，分析單元12之編輯模組120係對應行為分類單元11之按鈕110編輯四個行為模式，該行為模式的數量係以行為分類單元11之按鈕110數量為主，若按鈕110數量越多時，則編輯模組120係可建立對應該按鈕110數量之行為模式。

舉例而言，行為分類單元11具有A按鈕1100、B按鈕1101、C按鈕1102與？按鈕1103，故編輯模組120可建立A行為模式、B行為模式、C行為模式與？行為模式。A行為模式可建立A₁~A_n親項目。B行為模式可建立B₁~B_n親項目，C行為模式可建立C₁~C_n親項目，？行為模式可建立？₁~？_n親項目。n為一常數，其係依實際應用而決定。若實際應用時，操作員不需要親項目，則親項 目不用建立。

當A按鈕1100被按一下時，穿戴式攝影單元10所擷取之影像資訊係開始被標記A行為模式，而當A按鈕1100再次被按下時，穿戴式攝影單元10所擷取之影像資訊係不再標記。(此時，被標記之影像紀錄已即時被儲存並分類在分析單元12中)待後續再將被標記之影像資訊分類至親類別中，或者可再由親類別分類至子類別中。

同理，當B按鈕1101、C按鈕1102與？按鈕1103被按下時，穿戴式攝影單元10所擷取之影像資訊係開始被標記於所對應之行為模式，而當B按鈕1101、C按鈕1102與？按鈕1103再次被按下時，穿戴式攝影單元10所擷取之影像資訊係不再標記。(此時，被標記之影像紀錄已即時被儲存並分類在分析單元12中)待後續再將被標記之影像資訊分類至親類別中。或者可再由親類別分類至子類別中。

如上所述，穿戴式攝影單元10係擷取一影像資訊，行為分類單元11係使分析單元12將該影像資訊分類為數個行為模式，分析單元12係標記且依據該些行為模式，而得出一目標量測數值。該影像資訊與行為分類單元11之指令傳遞係透過通訊單元13傳遞給分析單元12。

請配合參考第2圖所示，本發明係一種穿戴式操作員行為即時分類紀錄方法，其步驟包含有：

步驟S1，編輯資料架構。於分析單元12之編輯模組120編輯數個行為模式，並於各行為模式建立至少一親項目，或者於所選定的行為模式不建立親項目。

舉例而言，行為分類單元11具有A按鈕1100、B按鈕1101、C按鈕1102與？按鈕1103。所以編輯模組120可建立A行為模式、B行為模式、C行為模式與？行為模式。A行為模式可建立A₁~A_n親項目，B行為模式可建立B₁~B_n親項目，C行為模式可建立C₁~C_n親項目。若選定？行為模式不建立親項目，則？行為模式不具有親項目。

而各親項目係可進一步建立至少一子項目。如A₁親項目可建立A₁₁~A_1n子項目，同理，B₁親項目亦可建立B₁₁~B_1n子項目；C₁親項目亦可建立C₁₁~C_1n子項目。

另外，A按鈕1100與A行為模式可被定義為技能類別(skill-based)。B按鈕1101與B行為模式可被定義為規則類別(rule-based)。C按鈕1102與C行為模式可被定義為知識類別(knowledge-based)。？按鈕1103與？行為模式可被定義為待釐清類別。該紀錄模組121係儲存影像資訊、上述之行為模式、親項目與子項目。

步驟S2，現場資料蒐集與分類。調整穿戴式攝影單元10的角度，而使影像資訊之紀錄視角與操作員的視線一致。

於穿戴式攝影單元10擷取影像資訊的過程中，若有欲紀錄的目標行為，則按下行為分類單元11之按鈕110，以進行目標行為之行為類別的標記。該影像資訊與被標記之影像資訊係被儲存於紀錄模組121。

若更進一步說明，穿戴式攝影單元10係持續擷取影像資訊，若有欲紀錄的目標行為，如上所述之技能類別、規則類別、知識類別或待釐清類別。對應該些行為模式之按鈕110係被按下，影像資訊即被標記。而當對應該些行為模式之按鈕110再次被按下，影像資訊係停止被標記。

舉例而言，若影像資訊切割為第一時間段、第二時間段、第三時間段與第四時間段。

若第一時間對被判定為知識類別時，則C按鈕1102係被按下，以使第一時間段之影像資訊被標記為C行為模式，即知識類別。而當C按鈕1102再次被按下時候，則停止標記影像資訊。

若第二時間段被判定為規則類別時，則B按鈕1101係被按下，以使第二時間段之影像資訊被標記為B行為模式，即規則類別。而當B按鈕1101再次被按下時，則停止標記影像資訊。

若第三時間段被判定為待釐清類別，則？按鈕1103係被按下，以使第三時間段之影像資訊被標記為？行為模式，即待釐清 類別。而當？按鈕1103再次被按下時，則停止標記影像資訊。

若第四時間段被判定為技術類別，則A按鈕1100被按下，以使第四時間段之影像資訊被標記為A行為模式，即技術類別。而當A按鈕1100再次被按下時，則停止標記影像資訊。

如上所述，影像資訊係被標記為A行為模式、B行為模式、C行為模式或？行為模式。該標記行為於進行時候，其亦於影像資訊中標記時間。

步驟S3，確認行為模式與親項目建立。待影像資訊完成上述之標記後，操作員可與一運轉員進行晤談，以釐清標記為？行為模式之影像資訊應正確標示為哪一行為模式，即A行為模式、B行為模式或C行為模式。

若影像資訊已標記為A行為模式、B行為模式或C行為模式，則可進一步依據需求，將A行為模式、B行為模式或C行為模式標記為至少一個上述之親項目，而各親項目則可進一步標記為至少一上述之子項目。

假若，某一時段之影像資訊有爭議且無法標記時，或操作員與轉運員之作業情境的記憶或認知不同時，可連同該時段之影像資訊，以及其前、後時段之影像資訊，一同觀看，以釐清爭議，並且便於標記。

步驟S4，產出目標量測數值。待上述之標記完成後，演算模組122係可依據所標記之影像資訊，而得出一工作負荷估計值(Workload estimate，以下以Workload簡稱)。

舉例而言，A行為模式(技能類別)、B行為模式(規則類別)與C行為模式(知識類別)係可得出注意力需求指標與不確定性指標，再藉由注意力需求指標(Attention Required Index，以下以ARI簡稱)與不確定性指標(Uncertainty Index，以下以UI簡稱)，而得出工作負荷估計值。

工作負荷估計值之公式為：Workload=4.79+0.7(ARI)+2.56(UI)

注意力需求指標之公式為：ARI=Σ(T _RBB +T _KBB )/(T _SBB +T _RBB +T _KBB )

不確定性指標之公式為：UI=ΣT _KBB /Σ(T _SBB +ΣT _RBB +ΣT _KBB )

其中，T _SBB 、T _RBB 、T _KBB 為技能類別、規則類別與知識類別的執行時間。

此外，工作負荷估計值、注意力需求指標或不確定性指標可被視為一目標量測數值。

綜合上述，本發明可透過多種軟硬體介面之間的通訊整合，而使得現場行為觀察紀錄作業，如目標行為影像的紀錄、影像資料的分類、影像資料分類的時間計算與目標數值的統計與分析，其係能夠藉由本發明自動完成，以大幅減少以往作業型態所耗費的人力與時間。

以上所述之具體實施例，僅係用於例釋本發明之特點及功效，而非用於限定本發明之可實施範疇，於未脫離本發明上揭之精神與技術範疇下，任何運用本發明所揭示內容而完成之等效改變及修飾，均仍應為下述之申請專利範圍所涵蓋。

Claims (11)

1. 一種穿戴式操作員行為即時分類紀錄裝置，其包含有：一穿戴式攝影單元；一行為分類單元，其係訊號連接該穿戴式攝影單元，該行為分類單元具有數個按鈕，該些按鈕係對應該些行為模式；以及一分析單元，其係訊號連接該穿戴式攝影單元與該行為分類單元；其中，該穿戴式攝影單元係擷取一影像資訊，該行為分類單元係將該影像資訊分類至所對應之行為模式，該分析單元係依據該些行為模式，而得出一目標量測數值；該些按鈕具有一A按鈕、一B按鈕與一C按鈕；該A按鈕係對應一A行為模式；該A按鈕係對應一A行為模式，當該A按鈕被啟動時，該A行為模式係被標記或停止標記；該B按鈕係對應一B行為模式，當該B按鈕被啟動時，該B行為模式係被標記或停止標記；該C按鈕係對應一C行為模式，當該C按鈕被啟動時，該C行為模式係被標記或停止標記。
2. 如申請專利範圍第1項所述之穿戴式操作員行為即時分類紀錄裝置，其更具有一通訊單元，該通訊單元係訊號連接該穿戴式攝影單元、該行為分類單元與該分析單元。
3. 如申請專利範圍第2項所述之穿戴式操作員行為即時分類紀錄裝置，其中該訊號連接為無線或有線。
4. 如申請專利範圍第1項所述之穿戴式操作員行為即時分類紀錄裝置，其中該些按鈕更具有一？按鈕，該？係對應一？行為模式，當該？按鈕被啟動時，該？行為模式係被標記或停止標記。
5. 如申請專利範圍第1項所述之穿戴式操作員即時分類紀錄裝置，其中該分析單元係具有一編輯模組、一紀錄模組與一演算模組，該編輯模組係編輯該些行為模式，該演算模組依據該些行為模式，而得出該目標量測數值。
6. 一種穿戴式操作員即時分類紀錄方法，其步驟包含有：現場資料收蒐集與分類，一穿戴式攝影單元係擷取一影像資訊，一行為分類單元係將該影像資訊分類至所對應之行為模式；該行為分類單元具有數個按鈕，該些按鈕係對應該些行為模式；該些按鈕具有一A按鈕、一B按鈕與一C按鈕；該A按鈕係對應一A行為模式；該A按鈕係對應一A行為模式，當該A按鈕被啟動時，該A行為模式係被標記或停止標記；該B按鈕係對應一B行為模式，當該B按鈕被啟動時，該B行為模式係被標記或停止標記；該C按鈕係對應一C行為模式，當該C按鈕被啟動時，該A行為模式係被標記或停止標記；以及產出目標量測數值，一分析單元係依據該些行為模式，而得出一目標量測數值。
7. 如申請專利範圍第6項所述之穿戴式操作員即時分類紀錄方法，其中該目標量測數值為工作負荷估計值、注意力需求指標或不確定性指標。
8. 如申請專利範圍第6項所述之穿戴式操作員即時分類紀錄方法，其更具有一編輯資料架構之步驟，其為該分析單元係編輯該些行為模式。
9. 如申請專利範圍第8項所述之穿戴式操作員即時分類紀錄方法，其中該些行為模式具有至少一親項目，各親項目具有至少一子項目。
10. 如申請專利範圍第8項所述之穿戴式操作員即時分類紀錄方法，其具有一確認行為模式與親項目建立之步驟，其係將已標記之該影像資訊確認其行為模式，並可將該行為模式進一步標記至該至少一親項目。
11. 如申請專利範圍第10項所述之穿戴式操作員即時分類紀錄方法，其中已標記之該親項目係進一步標記至該至少一子項目。