TW202113703A - 作業要素分析裝置及作業要素分析方法 - Google Patents

作業要素分析裝置及作業要素分析方法 Download PDF

Info

Publication number
TW202113703A
TW202113703A TW108141759A TW108141759A TW202113703A TW 202113703 A TW202113703 A TW 202113703A TW 108141759 A TW108141759 A TW 108141759A TW 108141759 A TW108141759 A TW 108141759A TW 202113703 A TW202113703 A TW 202113703A
Authority
TW
Taiwan
Prior art keywords
work
unit
information
probability
operation element
Prior art date
Application number
TW108141759A
Other languages
English (en)
Inventor
清水尚吾
草野勝大
奥村誠司
Original Assignee
日商三菱電機股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商三菱電機股份有限公司 filed Critical 日商三菱電機股份有限公司
Publication of TW202113703A publication Critical patent/TW202113703A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • General Factory Administration (AREA)

Abstract

生產工廠中，有一種推估構成作業者的一連串作業的作業要素，來分析作業疏漏或作業時間的技術。此時，只使用作業者進行作業的位置資訊來推論作業要素時，會有推論出與實際的作業要素不同的作業要素的情況。根據本發明，預先取得作業中的作業要素的發生機率，再從作業資訊推論出作業要素時使用發生機率來訂正，因此能夠獲得更精確的作業要素來分析。

Description

作業要素分析裝置及作業要素分析方法
本發明係有關於分析作業者進行的作業要素之作業要素分析裝置及作業要素分析方法。
生產工廠中，有一種習知技術是為了把握作業的疏漏或者是每個作業者的作業時間，會使用作業者進行作業的影像或作業者的位置資訊，來分析構成作業的作業要素。專利文獻1中，從某個時刻的作業者的身體的部位或物體的位置資訊中，推論作業者進行的作業要素。
專利文獻1：國際公開第2018/087844號
然而，如專利文獻1所述只從某個時刻取得的身體或物體的位置資訊來推論作業要素的話，例如在位置資訊中參雜了雜訊時，會有推論出與實際的作業要素不同的作業要素的情況發生。本發明為了解決上述課題而完成，目的是要提供精確度更佳的作業要素分析裝置。
本發明的作業要素分析裝置，包括：作業資訊取得部，取得伴隨作業者進行作業而產生的作業資訊；作業要素推論部，從作業資訊取得部所取得的作業資訊中推論出構成作業的作業要素；發生機率取得部，取得作業中的作業要素的發生機率；以及訂正部，根據發生機率取得部所取得的發生機率來訂正作業要素推論部所推論的作業要素。
根據本發明，也考慮了作業中的作業要素的發生機率來訂正從作業資訊中推論出的作業要素，因此能夠更精確地分析作業要素。
實施型態1 以下，說明本實施型態1的作業要素分析裝置。實施型態1的作業要素分析裝置200在生產工廠的製造現場等，會分析作業者進行的一連串作業，感測構成這一連串作業的要素「作業要素」。例如，在進行組立某物的作業之製造現場，作業者進行配置零件、鎖上螺絲、確認是否有固定的行為的情況下，「組立」是「作業」，「配置零件」、「鎖螺絲」、「確認」成為「作業要素」。在此，將「配置零件」、「鎖螺絲」、「確認」等的行為作為作業要素，但這些行為可以再更進一步細分，要將什麼行為的個體定義為作業要素依照使用者思考的統整方法由使用者決定即可。本實施型態中，作業要素分成4個，區別分出來的作業要素的符號會以作業要素號碼「0」、「1」、「2」、「3」來說明。
第1圖係顯示本實施型態1的作業要素分析裝置200的架構之架構圖。作業要素分析裝置200根據來自相機101、麥克風102、產生機器103的訊號來分析作業者進行的作業要素，分析結果輸出到分析結果記憶部300。本實施型態的作業要素分析裝置200具有作業資訊取得部210、作業要素推論部220、機率取得部240、訂正部250。作業資訊取得部210取得伴隨作業者進行作業而產生的作業資訊。作業要素推論部220從作業資訊取得部210所取得的作業資訊中推論構成作業的作業要素。機率取得部240取得作業中的作業要素的發生機率。訂正部250根據發生機率取得部240所取得的發生機率來訂正作業要素推論部220推論的作業要素。
這樣的架構的作業要素分析裝置200中，首先，作業要素推論220從作業資訊取得部210所取得的作業資訊中推論構成作業的作業要素。這個推論方法從過去以來有各種方法。因為作業資訊取得部210取得的作業資訊中有雜訊，或者是作業者偶然進行了與其他的作業要素相同的動作，使得作業要素推論部220推論出與適當的作業要素編號不同的作業要素編號的情況下，本實施型態的作業要素分析裝置200設置了發生機率取得部240及訂正部250，來訂正這個錯誤以進行精確度更高的作業要素的分析。這個作業要素分析裝置200中，發生機率取得部240取得在作業中有發生的可能性的各作業要素的發生機率，根據這個發生機率，訂正部250訂正作業要素推論部220所推論的作業要素。藉此，例如推論出某個作業中發生的可能性低的作業要素的情況下，這個推論是錯誤的推論的可能性高，因此會被訂正，而能夠進行精度更高的作業要素的分析。
以下，詳細說明各部分的架構。相機101拍攝進行作業的作業者及其周邊，轉換成影像訊號並輸出。麥克風102會設置在作業者進行作業的作業場所、或者是作業者身上，將作業者進行作業時產生的聲音或者是作業者的聲音等的聲音轉換為電訊號，輸出聲音訊號。生產機器103是例如電動驅動器等，作業者進行作業時所使用的生產機器，輸出顯示電動馬達的驅動、停止、切換等的狀態訊號。相機101、麥克風102、生產機器103分別輸出的影像訊號、聲音訊號、狀態訊號會輸入至作業要素分析裝置200的作業資訊取得部210。輸入至作業資訊取得部210的訊號中，包含有關作業者進行的作業之資訊在內的訊號可以有1個以上，並不限定於相機101、麥克風102、生產機器103，也可以包括加速度感測器或深度感測器等所感測的資訊在內的訊號。又，輸入至作業資訊取得部210的訊號，也可以輸入預先儲存於錄音機等的外部記錄裝置的內容。
作業資訊取得部210中，從相機101、麥克風102、生產機器103所輸入的資訊中，以骨骼資訊抽出部211、影像特徵量抽出部212、聲音特徵量抽出部213、生產機器特徵量抽出部214抽出伴隨著作業者進行作業而產生的作業資訊，以作業資訊統合部215將抽出的各個作業資訊統合到每個訊框並輸出到作業要素推論部220。
從相機101輸入到作業要素分析裝置200的作業資訊取得部210之影像訊號，會輸入到作業資訊取得部210的骨骼資訊抽出部211及影像特徵量抽出部212。骨骼資訊抽出部211中，針對相機101所取得的影像資訊，會進行例如對每個訊框的影像抽出做為作業資訊之作業者的骨骼資訊的處理。在此，骨骼資訊是指影像座標系統中的作業者的肩、手肘、手腕等的表示人體的代表的關節位置的座標的資訊，是表示作業者的作業姿勢的資訊。做為從影像中抽出作業者的骨骼資訊的方法，除了從安裝於作業者上的標記位置抽出關節位置的方法之外，也有使用事前已學習的Convolutional Neural Network（CNN）來抽出關節位置的方法等。骨骼資訊抽出部211所抽出的骨骼資訊會輸入到作業資訊統合部215。影像特徵量抽出部212中，進行從相機101取得的影像訊號中對每個訊框抽出關於例如Histograms of Oriented Gradients（HOG）特徵量等的有關於影像的特徵量的處理。影像特徵量抽出部212所抽出的影像特徵量資訊會輸入作業資訊統合部215。
從麥克風102輸入到作業要素分析裝置200的作業資訊取得部210的聲音訊號會輸入到作業資訊取得部210的聲音特徵量抽出部213。聲音特徵量抽出部213中，會將有關於從麥克風102取得的聲音訊號的聲音之作業資訊（亦即聲音特徵量），藉由進行頻譜分析等的抽出處理來抽出。聲音特徵量抽出部213所抽出的聲音特徵量資訊會輸入作業資訊統合部215。
從生產機器103輸入到作業要素分析裝置200的作業資訊取得部210的狀態訊號，會輸入到作業資訊取得部210的生產機器特徵量抽出部214。生產機器特徵量抽出部214對於從生產機器103取得的狀態訊號，會進行抽出例如作業者打開電動驅動器的開關所進行的運轉狀態的資訊、條碼機讀取標籤的資訊等來做為生產機器的特徵量。生產機器特徵量抽出部214抽出的生產機器特徵量資訊會輸入作業資訊統合部215。
作業資訊統合部215中，將做為作業資訊之骨骼資訊、影像特徵量資訊、聲音特徵量資訊、生產機器特徵量資訊，與時刻資訊一起在每一個相同時刻的訊框中統合為1個作業資訊。作業資訊統合部215所統合的作業資訊會輸入到作業要素推論部220。
作業要素推論部220具備做為學習部之已學習模型產生部221、已學習模型記憶部222、推論部223。作業要素推論部220中，將已學習模型產生部221所產生的已學習模型預先儲存在已學習模型記憶部222，藉此從作業資訊取得部210所取得的作業資訊中，活用已學習模型記憶部222的已學習模型來構成作業，對每個訊框推論出構成作業的作業要素。另外，作業要素推論部220推論出作業要素的方法是從過去以來的各種方法，但並不限定於上述方法，也可以從統計資料中進行推論，使用者可以對作業資訊的特徵量等設置設定值來推論作業要素。
作業要素教示部230獲得使用者輸入的對應作業資訊的真正的作業要素的資訊（亦即，教師資料），將教師資料輸出到作業要素推論部220的已學習模型產生部221。所謂的真正的作業要素是本作業要素分析裝置200應該從作業資訊中獲得的作業要素，教師資料例如作業者以作業要素教示部230來判斷過去的作業資訊的作業要素號碼而得。又，作業要素教示部230也會輸出教師資料至發生機率取得部240的作業要素輸出機率算出部241及作業要素遷移機率算出部243。
已學習模型產生部221根據從作業資訊取得部210輸入的作業資訊及從作業要素教示部230輸入的教師資料，為了從作業資訊中推論出構成作業過程的作業要素，產生機械學習了作業要素及作業資訊的關聯性的已學習模型，並輸出至已學習模型記憶部222。藉由使用已學習模型，推論部223針對每個訊框的作業資訊推論作業要素號碼。另外，已學習模型雖然是已學習模型產生部221所產生，但不一定要從作業資訊取得部210取得作業資訊才產生，也可以直接輸入到已學習模型記憶部222。在這個情況下，已學習模型產生部221將已輸入到作業要素教示部230的已學習模型直接輸出到已學習模型記憶部222。又，已學習模型也可以在作業要素分析裝置200的外部產生、儲存，然後在推論部223推論時使用網路等的手段來取得已學習模型。
已學習模型記憶部222儲存從已學習模型產生部221所輸出的已學習模型。藉由事前先將已學習模型儲存到已學習模型記憶部222，推論部223能夠活用已學習模型而從作業資訊中推論出作業要素。已學習模型記憶部222會將已學習模型輸出到推論部223。
推論部223在作業資訊取得部210所取得的作業資訊輸入時，活用從已學習模型記憶部222輸出的已學習模型來推論作業要素。作業要素會是針對1個訊框的作業資訊推論出每個作業要素的機率值，將機率最高的作業要素做為作業要素推論資訊並輸出到發生機率取得部240及訂正部250。
發生機率取得部240具備作業要素輸出機率算出部241、作業要素輸出機率資訊記憶部242、作業要素遷移機率算出部243、作業要素遷移機率資訊記憶部244。發生機率取得部240中，取得作業中的作業要素的發生機率（亦即，作業要素輸出機率及作業要素遷移機率），輸出到訂正部250。本實施型態中，作業中的作業要素的發生機率是從對於過去的作業資訊的真正的作業要素中算出，但只要是有關於作業要素的發生機率的話也並不限定於此。
作業要素輸出機率算出部241算出作業要素輸出機率，作業要素輸出機率是從針對過去的作業資訊的真正的作業要素、以及由與作業要素推論部220相同的過去的作業資訊推論出的作業要素的統計中算出。針對過去的作業資訊的真正的作業要素的資訊是從作業要素教示部230所輸出的教師資料中獲得。作業要素輸出機率算出部241在算出作業要素輸出機率時，對作業要素的號碼加入調整值，以調整成使得作業要素輸出機率不為0。具體的調整方法將於後述。像這樣進行作業要素發生機率的調整，能夠考慮作業要素推論部220產生了在算出作業要素輸出機率時所使用的過去的作業資訊中沒有發生的異常的作業要素的推論的情況下來訂正。作業要素輸出機率算出部241將作業要素輸出機率的資訊儲存到作業要素輸出機率資訊記憶部242。作業要素輸出機率資訊記憶部242會將作業要素輸出機率的資訊輸出到訂正部250。
作業要素遷移機率算出部243算出作業要素遷移機率，作業要素遷移機率是過去從作業要素編號遷移到下一個作業要素編號的統計所算出。過去從作業要素編號遷移到下一個作業要素編號的資訊，會從作業要素教示部230所輸出的教師資料中獲得。作業要素遷移機率算出部243算出作業要素遷移機率時，會對作業要素的機率加上調整值，調整成作業要素遷移機率不為0。具體的調整方法將於後述。藉由這樣子進行作業要素遷移機率的調整，能夠考慮到在算出作業要素遷移機率時所使用的過去的作業要素中沒有遷移的作業要素發生了遷移的情況來訂正。作業要素算出部243將作業要素遷移機率的資訊儲存到作業要素遷移機率資訊記憶部244。作業要素遷移機率資訊記憶部244將作業要素遷移機率的資訊輸出到訂正部250。
另外，作業要素推論部220的已學習模型產生部221做成已學習模型時的作業資訊、發生機率取得部240的作業要素輸出機率算出部241算出機率時，作業要素遷移算出部243算出機率時的過去的作業要素推論資訊的時刻可以彼此不同。又，也可以是例如使用者把握有關於作業要素的傾向而要修正從統計結果獲得的發生機率的情況下，能夠修正從統計結果獲得的發生機率。在這個情況下，本實施型態中，會改寫儲存在作業要素輸出機率資訊記憶部242及作業要素遷移機率資訊記憶部244中的作業要素輸出機率資訊及作業要素遷移機率資訊。
訂正部250當從作業要素推論部220取得作業要素推論資訊時，會從作業要素輸出機率資訊記憶部242及作業要素遷移機率資訊記憶部244取得作業要素輸出機率的資訊及作業要素遷移機率的資訊。然後，根據發生機率取得部240取得的發生機率（亦即，作業要素輸出機率以及作業要素遷移機率），使用維特比演算法訂正從作業要素推論部220取得的作業要素，再將訂正的作業要素訂正資訊輸出到分析部260。訂正部250藉由使用作業要素輸出機率來訂正，能夠考慮作業要素推論部220推論作業要素的性能，藉由使用作業要素遷移機率來訂正，能夠考慮作業資訊前進1訊框時作業要素遷移的機率。像這樣使用作業要素推論部220推論的作業要素的發生率來訂正作業要素，藉此能夠獲得更精確的作業要素來分析。本實施型態中，以發生機率取得部240取得2個機率，但發生機率取得部240取得的機率也可以是1個，在這個情況下，會以訂正部250根據1個機率來訂正。
分析部260針對訂正部250輸出的作業要素訂正資訊，將相同作業要素連續的區間當作是實施該作業要素所需的時間累計，分析反覆進行的作業的1週期所花費的時間。此時，評價作業要素的發生順序，藉此進行偵測作業疏漏或作業放置錯誤的分析之外，還會進行抽出基於作業要素時間的上限值而產生的異常資訊的分析，並將分析結果往分析結果記憶部300輸出。使用者參照分析結果記憶部300來掌握每個作業者的作業時間或作業失誤的發生狀況。
另外，分析部260及作業要素教示部230不一定要包含在作業要素分析裝置200中，作業要素分析裝置200是作業要素會從作業資訊中推論並訂正的裝置即可。
接著，說明本實施型態1的作業要素分析裝置200的動作。以下，說明反覆進行的作業的1週期的作業過程是以4個作業要素構成的例子。假設各作業要素會標示0～3的作業要素編號。
首先，作業要素推論部220為了能夠從作業資訊取得部210取得的作業資訊中推論出作業要素，預先將機械學習了作業要素及作業資訊的關聯性之已學習模型儲存到已學習模型記憶部222。基於從作業資訊取得部210輸入到已學習模型產生部221的過去的作業資訊、對於從作業要素教示部230輸入的相同過去的作業資訊之真正作業要素的資訊，已學習模型會在已學習模型產生部221產生後輸出，儲存到已學習模型記憶部222。
又，為了能夠讓訂正部250根據發生機率來訂正作業要素推論部220推論的作業要素，會預先將補正的作業要素輸出機率及作業要素遷移機率儲存到發生機率取得部240的作業要素輸出機率資訊記憶部242及作業要素遷移機率資訊記憶部244。以下說明作業要素輸出機率及作業要素遷移機率的算出方法。
作業要素輸出機率bik 會被作業要素輸出機率算出部241以如下的方式算出並儲存到作業要素輸出機率資訊記憶部242。首先，作業要素推論部220從過去的作業資訊中推論的作業要素的資訊、對應使用者向作業要素教示部230輸入的過去的作業資訊之真正作業要素的資訊會輸入作業要素輸出機率算出部241。然後，同一訊框的作業資訊中，分別合計作業要素推論部220針對真正作業要素的編號i所推論出作業要素編號k的件數（以下，合計值cb_ik ）。第2圖是顯示實施型態1的作業要素分析裝置200的作業要素輸出機率算出部241合計作業要素的例子的說明圖。在此所示的例子中，例如真正的作業要素編號是0時，被推論為作業要素編號0的合計值為43，被推論為作業要素編號1的合計值為8，被推論為作業要素編號2的合計值為3，被推論為作業要素編號3的合計值為6，單純只從作業資訊推論的話，顯示了推論出的作業要素並非實際作業要素的件數有17件的狀態。
接著，作業要素輸出機率算出部241針對合計值cb_ik ，如以下式1所示地將因應作業要素編號i的總件數之調整值加上合計值cb_ik ，藉此算出補正值合計值c’b_ik 。
[式1]
Figure 02_image001
第3圖是顯示實施型態1的作業要素分析裝置200的作業要素輸出機率算出部241將合計值加上調整值的例子的說明圖。第3圖中，將作業要素推論部220對於真正的作業要素編號i所推論出的件數的合計值的10%（Wb ）做為調整值來相加。例如，對於真正的作業要素編號0的合計值全部是60，因此其10%，也就是調整值6會被加到作業要素推論部220所推論的各個作業要素編號中。像這樣加上調整值來防止作業要素輸出機率bik 變為0，藉此能夠考慮訂正部250進行訂正時求取作業要素輸出機率所使用的作業資訊下沒有發生的異常的作業要素被推論出來的情況來進行修正。
最後，以下所示的式2中使用調整後的值來算出真正的作業要素編號i中的作業要素推論部220的作業要素編號k的作業要素輸出機率bik 。
[式2]
Figure 02_image003
第4圖係顯示實施型態1的作業要素分析裝置200的發生機率取得部240算出作業要素輸出機率bik 的例子說明圖。例如，作業要素推論部對於真正的作業要素編號0判定為作業要素編號0的機率是第3圖所記載的真正的作業要素編號為0的補正值49除去真正的作業要素編號為0的全體補正值84後的58.3%。像這樣，算出的作業要素輸出機率bik 會儲存到作業要素輸出機率記憶部242。
作業要素遷移機率aij 由作業要素遷移機率算出部243如下所示算出並儲存到作業要素遷移機率資訊記憶部244。首先，使用者從作業要素教示部230輸入的連續的訊框的真正的作業要素的資訊會輸入到作業要素遷移機率算出部243。分別合計真正的作業要素的編號為i的訊框的下一個訊框的作業要素編號變成j的件數（以下，合計值ca_ij ）。第5圖係顯示實施型態1的作業要素分析裝置200的作業要素遷移機率算出部243合計作業要素的例子的說明圖。在此顯示的例子中，例如遷移來源的作業要素編號是0時，遷移目標的作業要素編號是0的合計值為78，遷移目標的作業要素編號是1的合計值是3，遷移目標的作業要素編號是2的合計值是0，遷移目標的作業要素編號是3的合計值是0，形成過去沒有從作業要素為0遷移到2及3的資料的狀態。
接著，作業要素遷移機率算出部243對於合計值ca_ij ，如下式3所示將對應到作業要素編號i的總件數的調整值加上合計值ca_ij 藉此算出補正值c’a_ij 。
[式3]
Figure 02_image005
第6圖係顯示實施型態1的作業要素分析裝置200的作業要素遷移機率算出部243加上調整值的例子的說明圖。第6圖中將作業要素推論部220對真正的作業要素編號i推論的件數的合計值的1%（Wa）做為調整值來相加。例如，第5圖中遷移來源的作業要素編號是0的合計值全部為81，因此加上其1%的調整值0.81。藉由像這樣加上調整值，第5圖的合計對照表中為0的合計值ca_ij ，在第6圖中加上調整值而變成了不是0。像這樣，藉由防止作業要素遷移機率aij 變成0，能夠考慮到在訂正部250進行訂正時求出作業要素遷移機率所使用的作業資訊中沒有發生的異常作業要素產生遷移的情況來訂正。
最後，如以下的式4，使用調整後的值算出從真正的作業要素編號i遷移到作業要素編號j的作業要素遷移機率aij 。
[式4]
Figure 02_image007
第7圖係顯示實施型態1的作業要素分析裝置200的發生機率取得部240算出作業要素遷移機率的例子的說明圖。例如，遷移來源的作業要素編號從0變成遷移目標的作業要素編號為0的機率，如第6圖所記載，是將遷移來源的作業要素編號為0的補正值78.81除以遷移來源的作業要素編號為0的全體補正值84.24後得到的93.6%。像這樣算出的作業要素遷移機率aij 會儲存到作業要素遷移機率記憶部244。
像這樣，作業要素分析裝置200在已學習模型記憶部222、作業要素輸出機率資訊記憶部242、作業要素遷移機率資訊記憶部244中分別儲存了已學習模型、作業要素輸出機率、作業要素遷移機率的狀態下被使用。
接著，說明作業要素分析裝置200分析作業要素時的動作。第8圖係顯示本實施型態1的作業要素分析裝置200的動作的流程圖。在步驟S001，作業資訊取得部210取得作業資訊。具體來說，當資訊從相機101、麥克風102、生產機器103輸入，骨骼資訊抽出部211、影像特徵量抽出部212、聲音特徵量抽出部213、生產機器特徵量214抽出伴隨著作業者進行作業而產生的作業資訊，即骨骼資訊、影像特徵量資訊、聲音特徵量資訊、生產機器特徵量資訊。然後，這些作業資訊在每個時刻被作業資訊統合部215統合至1個訊框，統合的作業資訊會輸出到作業要素推論部220。
在步驟S002，作業要素推論部220從作業資訊取得部210輸出的作業資訊中推論出構成作業的作業要素。具體來說，作業資訊從作業資訊取得部210輸入至作業要素推論部220的推論部223時，推論部223使用已學習模型記憶部222針對1個訊框的作業資訊推論每個作業要素的機率值，將機率最高的作業要素當作是作業要素推論資訊按照時間順序輸出到訂正部250。
在步驟S003，訂正部250根據發生機率取得部240取得的發生機率來訂正作業要素推論部220推論的作業要素。具體來說，訂正部250從作業要素推論部220取得作業要素推論資訊後，使用儲存在發生機率取得部240的作業要素輸出機率資訊記憶部242中的作業要素輸出機率、以及儲存在作業要素遷移機率資訊記憶部244中的作業要素遷移機率，以維特比演算法訂正作業要素推論部220推論的作業要素。訂正的作業要素會輸出到分析部260。
在此，使用作業要素遷移機率的具體例子來說明，發生機率取得部240將發生機率的值為0的作業要素的發生機率加上調整值的情況下的效果。例如，作業者在15個訊框的時間內，進行了各訊框的作業要素號碼分別是000002222223333的作業，作業要素推論部220根據對應這些作業的作業資訊推論，做為推論的結果，假設將15個訊框的作業要素編號是000002222223133輸出。這個情況下，在第13訊框的時間點，作業資訊摻入了雜訊，或者是作業者偶然地進行了與作業要素編號1相同的動作，因此推論部223推論第13訊框的作業要素編號是1。這樣的推論錯誤會被訂正部250根據這個作業要素遷移機率來訂正。在此，假設如第5圖所示，作業要素編號從0遷移到2的合計值為0而沒有進行調整的情況下，訂正部250會不允許作業要素編號0遷移到2，為了在作業要素編號0和2的交界部份強制地出現作業要素編號1，作業要素編號例如被訂正為000012222223333。當這樣的訂正後，作業要素編號的順序遷移成0、1、2、3，因此分析部260無法進行檢測作業疏漏的分析。藉由像本實施型態一樣對發生機率的值為0的作業要素的發生機率加上調整值，訂正部250能夠獲得作業編號為000002222223333的結果，下一個步驟的分析部能夠進行分析，檢測出作業要素編號1脫落。
在步驟S004，分析部260分析訂正部250輸出的訂正後的作業要素。具體來說，將相同作業要素連續的區間當作是實施該作業要素所需的時間來累計，分析1個週期的1～4的作業要素所花的時間，從檢測作業要素的遷移中檢測作業疏漏。分析部260會將分析結果輸出到分析結果記憶部300。
如以上所述，實施型態1的作業要素分析裝置200不只根據作業資訊，更根據作業中的作業要素的發生機率來修正作業要素推論部220所推論的作業要素，因此能夠更精確地分析作業要素。
接著，說明實施型態2的作業要素分析裝置200。作業要素推論部220的推論部223所輸出的作業要素推論資訊以及訂正部250的處理方法會與實施型態1不同，其他部份與實施型態1相同。
作業要素推論部220的推論部223在作業資訊取得部210所取得的作業資訊輸入後，使用已學習模型記憶部222所輸出的已學習模型，針對1個訊框的作業資訊，獲得每個作業要素的機率值pt i （0.0≦pt i ≦1.0；Σi pt i ＝1.0；i＝0,1,…,N-1,N；N：作業要素的總數；t＝0,1,…,T-1,T；T：總訊框數）。然後，將獲得的機率值pt i 當中機率最高的機率值pt i 的作業要素當作是這個訊框的作業要素來推論。作業要素推論部220將每個作業要素的機率值pt i 以及推論的作業要素當作是作業要素推論資訊輸出到訂正部250。
訂正部250根據發生機率取得部240取得的發生機率以及每個作業要素的機率值pt i ，訂正作業要素推論部220所推論的作業要素。然後，將機率最高的作業要素做為作業要素訂正資訊輸出到分析部260。
以下，說明訂正部250根據發生機率取得部240取得的發生機率以及每個作業要素的機率值pt i ，算出機率最高的作業要素的動作。為了說明，將變數V、layer、node、bestPath用以下的式5定義。
[式5] V＝{layert }(t=0,1,…,T-1)(T：總訊框數) layert ＝{nodet ik }(i=0,1,…,N-1；k=0,1,…,N-1) nodet ik ={likelihoodt ik ,prvIdxt ik ,nxtIdxt ik } bestPath={bestPatht }(t=0,1,…,T-1)
在此，prvIdxt ik 是能夠將指出包含在layert-1 中的節點nodet-1 IK 的指數（I,K）（I≠i；K≠k；I=0,1,…,N-1；K=0,1,…,N-1）儲存最大1個的變數。nxtIdxt ik 是最大能夠儲存1個指出包含於layert+1 中的節點nodet+1 IK 的指數（I,K）之變數。likehoodt ik 是在時刻t給予指數（i,k）的節點nodet ik 的既定值0的標量，從時刻0到時刻t為止追蹤最似然的作業履歷時的似然性。bestPath是儲存從時刻0到時刻T-1為止的似然性最大的作業履歷的變數，是訂正部250最終輸出的資訊。
基於上述的變數的定義，說明訂正部250的動作。第9圖係顯示實施型態2的作業要素分析裝置200的動作的流程圖。在步驟S101，訂正部250計算對應時刻0的訊框的各節點的似然度likehood0 ik 。第10圖顯示實施型態2的作業要素分析裝置200的訂正部250計算likehood0 ik 的流程圖。計算式顯示於下式6。
[式6] likelihood0 ik ＝pt i ×bik
在步驟S102，訂正部250針對時刻t={0,1,…,T-1}抽出為nodet-1 IK 的最佳遷移目標的節點。第11圖係顯示實施型態2的作業要素分析裝置200的動作的流程圖。抽出條件顯示於下式7。
[式7]
Figure 02_image009
在步驟S103，訂正部250針對時刻t={0,1,…,T-1}的節點nodet iK ，抽出最適合的遷移來源節點並計算似然度。第12圖係實施型態2的作業要素分析裝置200的訂正部250計算似然度的流程圖。又，具體的處理編碼顯示於第13圖。在步驟S104，抽出最似然作業履歷bestPath＝{bestPatht }。第14圖係實施型態2的作業要素分析裝置200的訂正部250抽出最似然作業履歷的詳細流程圖。首先，在步驟S301，抽出似然度likehoodT-1 ik 最大的nodet ik ，保持這個指數（itmp ,ktmp ），將itmp 登錄到bestPathT-1 。接著在步驟S302，從t＝T-1到t＝1為止，進行如下式8的處理，藉此獲得機率上最似然的作業履歷bestPath。
[式8] (i,k)=(itmp ,ktmp ) (itmp ,ktmp )=prxIdxt ik bestPatht-1 =itmp
如以上所述，實施型態2的作業要素分析裝置200根據作業中的作業要素的發生機率及每個作業要素的機率值來修正作業要素推論部220所推論的作業要素，因此能夠進行更精確的訂正。另外，實施型態2中，從作業要素推論部220將每個作業要素的機率值pt i 以及作業要素推論部220推論的作業要素做為作業要素推論資訊輸出，但作業要素推論資訊也可以只有每個作業要素的機率值pt i 。在這個情況下，訂正部使用作業中的作業要素的發生機率來訂正每個作業要素的機率值pt i ，將機率最高的作業要素編號做為作業要素訂正資訊。
第15圖係本實施型態的作業要素分析裝置200的硬體架構圖。本實施型態中，訊號從相機101、麥克風102、生產機器103透過作業要素分析裝置200的第1介面201、第2介面202、第3介面203輸入。計算裝置204是CPU或DSP等的電路，進行骨骼資訊抽出部211、影像特徵量抽出部212、聲音特徵量抽出部213、生產機器特徵量抽出部214、作業資訊統合部215、已學習模型產生部221、推論部223、作業要素教示部230、作業要素輸出機率算出部241、作業要素遷移機率算出部243、訂正部250、分析部260的處理。主記憶裝置205是計算裝置204執行程式時將程式或資料暫時性儲存的揮發性記憶體。補助記憶裝置是長期儲存的非揮發性記憶體，儲存已學習模型或作業要素輸出機率資訊、作業要素遷移機率資訊。
101:相機 102:麥克風 103:生產機器 200:作業要素分析裝置 201:第1介面 202:第2介面 203:第3介面 204:計算裝置 205:主記憶裝置 206:補助記憶裝置 210:作業資訊取得部 211:骨骼資訊抽出部 212:影像特徵量抽出部 213:聲音特徵量抽出部 214:生產機器特徵量抽出部 215:作業資訊統合部 220:作業要素推論部 221:已學習模型產生部 222:已學習模型記憶部 223:推論部 230:作業要素教示部 240:發生機率取得部 241:作業要素輸出機率算出部 242:作業要素輸出機率資訊記憶部 243:作業要素遷移機率算出部 244:作業要素遷移機率資訊記憶部 250:訂正部 260:分析部 300:分析結果記憶部
第1圖係顯示本實施型態1的作業要素分析裝置200的架構的架構圖。 第2圖係顯示本實施型態1的作業要素分析裝置200的作業要素輸出機率算出部241合計作業要素的例子的說明圖。 第3圖係顯示本實施型態1的作業要素分析裝置200的作業要素輸出機率算出部241將調整值加到合計值上的例子的說明圖。 第4圖係顯示本實施型態1的作業要素分析裝置200的發生機率取得部240算出作業要素發生機率的例子說明圖。 第5圖係顯示本實施型態1的作業要素分析裝置200的作業要素遷移機率算出部243合計作業要素的例子的說明圖。 第6圖係顯示本實施型態1的作業要素分析裝置200的作業要素遷移機率算出部243加上調整值的例子的說明圖。 第7圖係顯示本實施型態1的作業要素分析裝置200的發生機率取得部240算出作業要素遷移機率的例子的說明圖。 第8圖係顯示本實施型態1的作業要素分析裝置200的動作的流程圖。 第9圖係顯示本實施型態2的作業要素分析裝置200的動作的流程圖。 第10圖係顯示本實施型態2的作業要素分析裝置200的訂正部250計算各節點的似然性的流程圖。 第11圖係顯示本實施型態2的作業要素分析裝置200的動作的流程圖。 第12圖係顯示本實施型態2的作業要素分析裝置200的訂正部250計算似然性的動作的流程圖。 第13圖係顯示本實施型態2的作業要素分析裝置200的訂正部250計算似然性時的具體的處理編碼的例子的說明圖。 第14圖係顯示本實施型態2的作業要素分析裝置200的訂正部250抽出似然性作業履歷的動作的流程圖。 第15圖係本實施型態的作業要素分析裝置200的硬體架構圖。
101:相機
102:麥克風
103:生產機器
200:作業要素分析裝置
210:作業資訊取得部
211:骨骼資訊抽出部
212:影像特徵量抽出部
213:聲音特徵量抽出部
214:生產機器特徵量抽出部
215:作業資訊統合部
220:作業要素推論部
221:已學習模型產生部
222:已學習模型記憶部
223:推論部
230:作業要素教示部
240:發生機率取得部
241:作業要素輸出機率算出部
242:作業要素輸出機率資訊記憶部
243:作業要素遷移機率算出部
244:作業要素遷移機率資訊記憶部
250:訂正部
260:分析部
300:分析結果記憶部

Claims (7)

  1. 一種作業要素分析裝置，包括： 作業資訊取得部，取得伴隨作業者進行作業而產生的作業資訊； 作業要素推論部，從該作業資訊取得部所取得的該作業資訊中推論出構成該作業的作業要素； 發生機率取得部，取得該作業中的該作業要素的發生機率；以及 訂正部，根據該發生機率取得部所取得的該發生機率來訂正該作業要素推論部所推論的作業要素。
  2. 如申請專利範圍第1項所述之作業要素分析裝置，其中該作業要素推論部為了從該作業資訊中推論出構成該作業的過程的作業要素，對機械學習了該作業要素及該作業資訊的關聯性的學習部，輸入該作業資訊取得部所取得的該作業資訊，使用該學習部來推論該作業要素。
  3. 如申請專利範圍第1或2項所述之作業要素分析裝置，其中該發生機率取得部會進行調整，將該發生機率的值為0的該作業要素的發生機率加上調整值。
  4. 如申請專利範圍第1至3項任一項所述之作業要素分析裝置，其中該發生機率取得部所取得的發生機率是從針對過去的作業資訊的該作業要素、以及該作業要素推論部從該過去的作業資訊推論出的作業要素的統計中算出的機率。
  5. 如申請專利範圍第1至4項任一項所述之作業要素分析裝置，其中該發生機率取得部所取得的發生機率是從過去該作業要素遷移後的作業要素的統計中算出的機率。
  6. 如申請專利範圍第1至5項任一項所述之作業要素分析裝置，其中該作業要素推論部將從該作業資訊取得部所取得的該作業資訊中求出的每個該作業要素的機率值輸出， 該訂正部根據做為該作業要素推論部的推論結果之每個該作業要素的機率值，訂正該作業要素推論部所推論的作業要素。
  7. 一種作業要素分析方法，包括： 作業資訊取得步驟，取得伴隨作業者進行作業而產生的作業資訊； 作業要素推論步驟，從該作業資訊取得步驟所取得的該作業資訊中推論出構成該作業的作業要素； 發生機率取得步驟，取得該作業中的該作業要素的發生機率；以及 訂正步驟，根據該發生機率取得步驟所取得的該發生機率來訂正該作業要素推論步驟所推論的作業要素。
TW108141759A 2019-09-18 2019-11-18 作業要素分析裝置及作業要素分析方法 TW202113703A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/JP2019/036456 2019-09-18
PCT/JP2019/036456 WO2021053738A1 (ja) 2019-09-18 2019-09-18 作業要素分析装置及び作業要素分析方法

Publications (1)

Publication Number Publication Date
TW202113703A true TW202113703A (zh) 2021-04-01

Family

ID=72916136

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108141759A TW202113703A (zh) 2019-09-18 2019-11-18 作業要素分析裝置及作業要素分析方法

Country Status (5)

Country Link
JP (1) JP6777266B1 (zh)
CN (1) CN114365161A (zh)
DE (1) DE112019007626T5 (zh)
TW (1) TW202113703A (zh)
WO (1) WO2021053738A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7387025B2 (ja) * 2020-11-02 2023-11-27 三菱電機株式会社 作業手順更新装置、作業手順更新方法及びプログラム
JPWO2022209082A1 (zh) * 2021-04-02 2022-10-06
JP7375240B1 (ja) * 2023-03-06 2023-11-07 株式会社 日立産業制御ソリューションズ 作業管理装置、作業管理方法、並びに作業管理プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6212510B1 (en) * 1998-01-30 2001-04-03 Mitsubishi Electric Research Laboratories, Inc. Method for minimizing entropy in hidden Markov models of physical signals
JP2007328435A (ja) * 2006-06-06 2007-12-20 Mitsubishi Electric Corp 移動体行動分析装置
JP5463964B2 (ja) * 2010-03-05 2014-04-09 三菱電機株式会社 作業内容推定装置及び作業内容推定方法
US8086548B2 (en) * 2010-05-05 2011-12-27 Palo Alto Research Center Incorporated Measuring document similarity by inferring evolution of documents through reuse of passage sequences
WO2015173882A1 (ja) * 2014-05-13 2015-11-19 株式会社日立製作所 コンテンツ生成方法および管理装置
JP6173281B2 (ja) * 2014-08-29 2017-08-02 本田技研工業株式会社 環境理解装置および環境理解方法
US10878091B2 (en) * 2016-02-24 2020-12-29 Nippon Telegraph And Telephone Corporation Attack code detection device, attack code detection method, and attack code detection program
WO2018087844A1 (ja) 2016-11-09 2018-05-17 三菱電機株式会社 作業認識装置および作業認識方法
WO2018131630A1 (ja) * 2017-01-13 2018-07-19 三菱電機株式会社 作業分析装置および作業分析方法

Also Published As

Publication number Publication date
JP6777266B1 (ja) 2020-10-28
CN114365161A (zh) 2022-04-15
WO2021053738A1 (ja) 2021-03-25
DE112019007626T5 (de) 2022-04-28
JPWO2021053738A1 (zh) 2021-03-25

Similar Documents

Publication Publication Date Title
TW202113703A (zh) 作業要素分析裝置及作業要素分析方法
JP6523379B2 (ja) 情報処理装置
US20180348728A1 (en) Process analysis apparatus, process analysis method, and process analysis program
US12048528B2 (en) Annotation method, annotation device, storage medium, and identification system
CN111476097A (zh) 人体姿态评估方法、装置、计算机设备及存储介质
JP7299002B2 (ja) 判別装置及び機械学習方法
JP7188950B2 (ja) データ処理方法およびデータ処理プログラム
CN113033215B (zh) 情感检测方法、装置、设备以及存储介质
KR102577188B1 (ko) 목표 시스템에 대한 제어 시스템 생성
WO2016084326A1 (ja) 情報処理システム、情報処理方法、及び、記録媒体
JPWO2016111240A1 (ja) 情報処理システム、変化点検出方法、およびプログラム
JP2022140294A (ja) 欠損データを回復するためにオートエンコーダアーキテクチャを有するニューラルネットワークをトレーニングするためのシステムおよび方法
Morante et al. Automatic demonstration and feature selection for robot learning
WO2019207714A1 (ja) 動作推定システム、動作推定方法および動作推定プログラム
JP7339063B2 (ja) 作業工程に関する学習を行う機械学習プログラム及び機械学習装置
JP2003222514A (ja) センサ構成決定装置，センサ構成決定方法，センサ構成決定用プログラムおよびそのプログラムの記録媒体
WO2020136924A1 (ja) 動作分析装置、動作分析方法及び動作分析プログラム
CN118467767B (zh) 一种基于虚拟技术的戏曲表演身段序列保护系统及方法
CN115617023B (zh) 航天器姿控系统异常定位方法和装置
JP7198474B2 (ja) モデリングシステム
WO2022190435A1 (ja) 命令記述支援システム、命令記述支援方法および命令記述支援プログラム
WO2023073795A1 (ja) クラス境界検出装置、制御方法、及び非一時的なコンピュータ可読媒体
JP2023094083A (ja) 情報処理プログラム、情報処理方法、および情報処理装置
CN117828283A (zh) 一种网络监测数据补全方法及设备
JP2024072168A (ja) 関節角度推定プログラム、情報処理装置、関節角度推定方法及び関節角度推定システム