WO2022138722A1 - 作業行動認識システムおよび作業行動認識方法 - Google Patents

作業行動認識システムおよび作業行動認識方法 Download PDF

Info

Publication number
WO2022138722A1
WO2022138722A1 PCT/JP2021/047583 JP2021047583W WO2022138722A1 WO 2022138722 A1 WO2022138722 A1 WO 2022138722A1 JP 2021047583 W JP2021047583 W JP 2021047583W WO 2022138722 A1 WO2022138722 A1 WO 2022138722A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
worker
unit
behavior
load
Prior art date
Application number
PCT/JP2021/047583
Other languages
English (en)
French (fr)
Inventor
高行 秋山
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to EP21910862.8A priority Critical patent/EP4270277A1/en
Priority to US18/039,693 priority patent/US20240104456A1/en
Publication of WO2022138722A1 publication Critical patent/WO2022138722A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063114—Status monitoring or status determination for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing

Definitions

  • the present invention relates to a work behavior recognition system and a work behavior recognition method.
  • Patent Document 1 exercise intensity PA, heart rate HR, and 3-axis acceleration (AccX, AcccY, AcccZ) corresponding to each of a plurality of types of movements of a subject are associated with exercise intensity: heart rate: acceleration DB12c. It is memorized in advance and the exercise intensity is estimated. Further, in Patent Document 2, the operating state of the measurement target is estimated from the learned motion estimation model and the measured sensor data.
  • the computer 110 shown in FIG. 1 includes, for example, a CPU 1601, a memory 1602, an external storage device 1603 such as an HDD (Hard Disk Drive), and a CD (Compact Disk) as shown in FIG. 16 (computer schematic diagram).
  • a reading device 1607 that reads and writes information to and from a portable storage medium 1608 such as a USB memory, an input device 1606 such as a keyboard and a mouse, an output device 1605 such as a display, and a NIC for connecting to a communication network.
  • a general computer 1600 equipped with a communication device 1604 such as Network Interface Card) and an internal communication line (referred to as a system bus) 1609 such as a system bus connecting them.
  • the work intensity determination unit 113 reads the preprocessed sensor value and the work intensity determination model 115, determines the work intensity of the worker using a learning method such as Deep Learning, and outputs the result (step). 202).
  • the work behavior data 416 in which the behavior of the worker and the information detected by the sensor 100 are associated with each other are used in a mode in which the work intensity changes and a predetermined learning method.
  • the work intensity generation unit 420 that generates the work intensity generation data 417 that reflects the work intensity generation model 418 learned in the work behavior data 416, and the work intensity generation data 417 generated by the work intensity generation unit 420 are used for predetermined work. Since it has a work intensity determination model learning unit 421 generated as the intensity determination model 115, it is possible to accurately grasp what kind of work intensity the worker is acting as compared with the first embodiment. ..
  • FIG. 7 is a diagram showing a configuration example of the work behavior recognition system 3000 in the third embodiment.
  • the computer 710 of the work behavior recognition system 3000 includes a work load calculation unit 720, a work load analysis unit 721, and a work posture calculation unit 722 in addition to the functional units shown in the first embodiment. It has a work load score correspondence table 716 and a posture load score correspondence table 717.
  • the working posture calculation unit 722 calculates the load in the working posture of the worker with reference to the posture of the worker obtained by the calculation in step 1001 and the posture load score correspondence table 717 (step 1002). Then, the workload calculation unit 720 adds the load score of the work posture calculated by the work posture calculation unit 722, the work intensity calculated in step 801 and the load score of the worker's behavior, and finally. The load score of various workers.
  • FIG. 12 is a diagram showing an example of a screen (work load value screen) showing a transition of a worker's load (work load value) output to an information presentation device by the workload calculation unit 720.
  • the transition of the workload value is shown by the graph 1201 with the horizontal axis as the time and the vertical axis as the workload value.
  • the worker's behavior 1202 is displayed in association with the graph 1201.
  • the actions of the worker in the time zone from a certain time t1 to t2 are "cargo transportation” and “cargo stacking", and the workload value increases from “cargo transportation” to "cargo stacking". It shows that you are doing.
  • the worker management database 1332 stores the work of each worker and the load value in the work in association with the time for a plurality of workers.
  • a specific example of the worker management database 1332 will be described later with reference to FIG. 14A.
  • FIG. 14A exemplifies a case where the object to be managed is a "work", but since the work is composed of one or a plurality of actions, even if the "action" corresponding to the "work" is stored and stored. good.
  • the work behavior recognition system 4000 of the present embodiment has a behavior recognition unit 112, a work intensity determination unit and 113, a control unit 117, and a workload calculation unit 720 for each of the plurality of workers.
  • a storage unit (for example, a storage device that stores the worker management database 1332) that stores the workload of the worker received from the computer 1310 and each computer 1310 via the network N for each worker, and the above-mentioned storage.
  • a load management screen 1500 including a load status display area 1501 indicating a workload for each worker is read out from the workload stored in the unit, and a display device (for example, a display device connected to the management server 1330) is displayed. Since it has a work arrangement unit 1334 and a management server 1330 having the work arrangement unit 1334, it is possible to grasp the load status of each worker at a glance.

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

作業者が着用するセンサが検知した情報と、所定の行動認識モデルとに基づいて作業者の行動を認識する行動認識部と、センサが検知した情報と、所定の作業強度判定モデルとに基づいて、作業者が行う作業の作業強度を判定する作業強度判定部と、行動認識部により得られた作業者の行動と、作業強度判定部により得られた作業者が行う作業の作業強度とを対応付けて出力する制御部と、を有する。

Description

作業行動認識システムおよび作業行動認識方法
　本発明は、作業行動認識システムおよび作業行動認識方法に関する。
　従来から、作業の姿勢により負荷を計測する様々な技術がある。例えば、特許文献１では、被験者の複数種類の動作のそれぞれに応じた運動強度ＰＡと心拍数ＨＲと３軸加速度（ＡｃｃＸ，ＡｃｃＹ，ＡｃｃＺ）とを対応付けた運動強度：心拍数：加速度ＤＢ１２ｃを予め記憶し、運動強度を推定している。また、特許文献２では、学習済み動作推定モデルと計測したセンサデータから計測対象の動作状態を推定している。
特開２０１７－１４３９１０号公報 特開２０１９－１０３６０９号公報
　姿勢による負荷の計測では、同一姿勢における作業強度の差を計測できない。また、心拍や心電センサによる推定では、個人差や日々の健康状態による差が発生してしまう。さらに、作業強度の高い作業のデータを事前に取得しておくことは現実的に困難である。
　そこで、本発明は、事前に作業の作業強度の取得を必要とすることなく作業強度を推定することが可能な作業行動認識システムおよび作業行動認識方法を提供することを目的とする。
　上記課題を解決し、目的を達成するために、本発明にかかる作業行動認識システムは、作業者が着用するセンサが検知した情報と、所定の行動認識モデルとに基づいて前記作業者の行動を認識する行動認識部と、前記センサが検知した情報と、所定の作業強度判定モデルとに基づいて、前記作業者が行う作業の作業強度を判定する作業強度判定部と、前記行動認識部により得られた前記作業者の行動と、前記作業強度判定部により得られた前記作業者が行う作業の作業強度とを対応付けて出力する制御部と、を有することを特徴とする作業行動認識システムとして構成される。
　本発明によれば、事前に作業の作業強度の取得を必要とすることなく作業強度を推定することができる。
実施例１における作業行動認識システムの構成例を示す図である。 実施例１における作業行動認識システムが実行する処理の処理手順の一例を示す図である。 本システムで用いられるモデルの一例を示す図である。 本システムで用いられるモデルの一例を示す図である。 本システムで用いられるモデルの一例を示す図である。 実施例２における作業行動認識システムの構成例を示す図である。 実施例２における作業行動認識システムが実行する処理の処理手順の一例を示す図である。 情報提示装置に表示される画面（アノテーション画面）の一例を示す図である。 作業強度生成モデルの一例を示す図である。 作業強度生成モデルの生成過程の一例を示す図である。 作業行動データの一例を示す図である。 実施例３における作業行動認識システムの構成例を示す図である。 実施例３における作業行動認識システムが実行する処理の処理手順の一例を示す図である。 作業負荷スコア対応表の一例を示す図である。 作業負荷スコア対応表の一例を示す図である。 実施例３における作業行動認識システムが実行する処理の処理手順の一例を示す図である。 姿勢負荷スコア対応表の一例を示す図である。 情報提示装置に出力される、作業者の負荷（作業負荷値）の推移を示す画面（作業負荷値画面）の一例を示す図である。 実施例４における作業行動認識システムの構成例を示す図である。 作業員管理データベースの一例を示す図である。 作業管理データベースの一例を示す図である。 図１４Ａに示した作業員管理データベースに記憶されたデータ、図１４Ｂに示した作業管理データベースに記憶されたデータを出力する画面（負荷管理画面）の一例を示す図である。 各実施例におけるコンピュータの概略図である。
　以下、図面を参照して本発明の実施形態を説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。
　図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。
　以下の説明では、「テーブル」、「リスト」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよい。データ構造に依存しないことを示すために「ＸＸテーブル」、「ＸＸリスト」等を「ＸＸ情報」と呼ぶことがある。識別情報について説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いた場合、これらについてはお互いに置換が可能である。
　同一あるいは同様な機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。
　また、以下の説明では、プログラムを実行して行う処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ））によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）および／またはインターフェースデバイス（例えば通信ポート）等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路（例えばＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ））を含んでいてもよい。
　プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
　（実施例１）
　図１は、実施例１における作業行動認識システム１０００の構成例を示す図である。図１に示すように、作業行動認識システム１０００は、作業者の作業姿勢を検知するためのセンサ１００と、作業強度の推定結果を出力する情報提示装置１０１と、センサ１００が検知した情報を用いて作業者の作業強度を推定するための各種処理を実行するコンピュータ１１０とを有し、これらが互いにネットワークＮで接続されている。ネットワークＮは、有線、無線を問わず、インターネット等の一般的なネットワークを用いてよい。
　センサ１００は、例えば、作業者が着用可能な加速度センサである。センサ１００は、当該センサを着用した作業者の作業姿勢や作業強度を検知する。本実施例では、センサ１００として、作業着型のウェアラブルセンサを例示するが、これに限らず、作業者の作業姿勢や作業強度を検知できるものであれば、他の着用態様のセンサを用いてもよい。
　情報提示装置１０１は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）であり、コンピュータ１１０により推定された作業強度に関する推定結果を表示する。コンピュータ１１０は、例えば、スマートフォンやＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）といった情報処理装置であり、センサ１００が検知した情報を用いて作業者の作業強度を推定する。
　図１に示すように、コンピュータ１１０は、通信部１１１と、行動認識部１１２と、作業強度判定部１１３と、行動認識モデル１１４と、作業強度判定モデル１１５と、記憶部１１６と、制御部１１７とを有している。
　通信部１１１は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃａｒｄ）であり、コンピュータ１１０と他の機器との間で各種情報を送受信する。
　行動認識部１１２は、例えば、ＣＰＵにより実行されるプログラムであり、行動認識モデル１１４に基づいて、作業者の行動を判定し、当該作業者の行動を認識する。
　作業強度判定部１１３は、例えば、ＣＰＵにより実行されるプログラムであり、作業強度判定モデル１１５に基づいて、認識された作業者が何らかの行動をして行われる作業の作業強度を判定する。ここで、作業強度とは、作業のある時点における、作業者による作業対象に対する作用の度合いをあらわす概念である。例えば、作業者が作業対象として荷物を扱う場合には、その荷物を運ぶときの力の強さだけでなく、その荷物を持つ姿勢を維持するための力の強さも作業強度といえる。また、作業者が作業対象としてバルブのネジを扱う場合には、そのネジを締め付けているときの力の強さだけでなく、締め付けている力がそのネジに伝わっているもののネジが回転していないときの力の強さも作業強度といえる。また、例えば、作業者が作業対象として被削材を扱う場合には、その被削材を切断している力の強さだけでなく、切断している力が被削材に伝わっているものの被削材が削れないときの力の強さも作業強度といえる。このように、作業強度は、作業対象に対して作業者が作用する様々な種類の力の大きさを含む概念である。
　行動認識モデル１１４は、例えば、データベースであり、行動認識部１１２が作業者の行動を判定し、当該作業者の行動を認識するためのモデルを記憶する。
　作業強度判定モデル１１５は、例えば、データベースであり、作業強度判定部１１３が作業者の作業強度を判定するためのモデルを記憶する。
　記憶部１１６は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）であり、ＣＰＵがプログラムを実行するための作業領域である。
　制御部１１７は、例えば、ＣＰＵであり、コンピュータ１１０のプログラムを実行する。
　図１に示したコンピュータ１１０は、例えば、図１６（コンピュータ概略図）に示すような、ＣＰＵ１６０１と、メモリ１６０２と、ＨＤＤ(Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ)等の外部記憶装置１６０３と、ＣＤ(Ｃｏｍｐａｃｔ　Ｄｉｓｋ)やＵＳＢメモリ等の可搬性を有する記憶媒体１６０８に対して情報を読み書きする読書装置１６０７と、キーボードやマウス等の入力装置１６０６と、ディスプレイ等の出力装置１６０５と、通信ネットワークに接続するためのＮＩＣ(Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃａｒｄ)等の通信装置１６０４と、これらを連結するシステムバス等の内部通信線(システムバスという)１６０９と、を備えた一般的なコンピュータ１６００により実現できる。
　各システムや装置に記憶され、あるいは処理に用いられる様々なデータは、ＣＰＵ１６０１がメモリ１６０２または外部記憶装置１６０３から読み出して利用することにより実現可能である。また、各システムや装置が有する各機能部（後述）は、ＣＰＵ１６０１が外部記憶装置１６０３に記憶されている所定のプログラムをメモリ１６０２にロードして実行することにより実現可能である。
　上述した所定のプログラムは、読書装置１６０７を介して記憶媒体１６０８から、あるいは、通信装置１６０４を介してネットワークから、外部記憶装置１６０３に記憶(ダウンロード)され、それから、メモリ１６０２上にロードされて、ＣＰＵ１６０１により実行されるようにしてもよい。また、読書装置１６０７を介して、記憶媒体１６０８から、あるいは通信装置１６０４を介してネットワークから、メモリ１６０２上に直接ロードされ、ＣＰＵ１６０１により実行されるようにしてもよい。
　以下では、作業行動認識システム１０００が、ある１つのコンピュータにより構成される場合を例示するが、行動認識部１１２や作業強度判定部１１３の機能の全部または一部が、クラウドのような１または複数のコンピュータに分散して設けられ、ネットワークを介して互いに通信することにより同様の機能を実現してもよい。また、図１では、情報提示装置１０１をコンピュータ１１０とは異なる装置として例示したが、情報提示装置１０１がコンピュータ１１０に設けられていてもよい。
　図２は、実施例１における作業行動認識システム１０００が実行する処理の処理手順の一例を示す図である。図２に示すように、作業行動認識システム１０００では、まず、制御部１１７が、センサ１００が検知した情報（例えば、時刻ごとの加速度）であるセンサ値の前処理を行う（ステップ２０１）。前処理は、センサ値の正規化、単位時間あたりにおける平均値の算出、所定の基準を満たさない欠損値の除去といった、本システムに入力されるセンサ値の精度を高めるための処理である。
　作業強度判定部１１３は、前処理されたセンサ値と、作業強度判定モデル１１５とを読み取り、例えば、Ｄｅｅｐ　Ｌｅａｒｎｉｎｇといった学習手法を用いて作業者の作業強度を判定し、その結果を出力する（ステップ２０２）。
　行動認識部１１２は、前処理されたセンサ値と、行動認識モデル１１４とを読み取り、例えば、Ｒｕｌａ（Ｒａｐｉｄ　ｕｐｐｅｒ　ｌｉｍｂ　ａｓｅｓｓｍｅｎｔ）、Ｏｗａｓ（Ｏｖａｋｏ　ｗｏｒｋｉｎｇ　ｐｏｓｔｕｒｅ　ａｎａｌｙｚｉｎｇ　ｓｙｓｔｅｍ）といった学習手法を用いて作業者の行動を判定および認識し、その結果を出力する（ステップ２０３）。
　本実施例では、ステップ２０１～ステップ２０３の処理を実行し、制御部１１７が、作業強度判定部１１３による判定結果と、行動認識部１１２による認識結果とを対応付けて情報提示装置１０１に出力する。これにより、作業者が、作業対象に対してどのような作業強度でどのような行動をして作業しているのかを把握することができる。例えば、作業者が、ある荷物を持ちながら歩行をする場合、その歩行の足取りが「軽い」歩行であるのか、「重い」歩行であるのかを把握することができる。
　図３Ａ～３Ｃは、本システムで用いられるモデルの一例を示す図である。図３Ａの（ａ）は、行動認識モデル１１４の一例であり、図３Ｂの（ｂ）は、作業強度判定モデル１１５の一例である。
　図３Ａの（ａ）に示すように、行動認識モデル１１４は、歩く（Ｗａｌｋ）、走る（Ｒｕｎ）、座る（Ｓｉｔｔｉｎｇ）といった作業者の行動と、上述した学習手法で用いられるパラメータ（例えば、重み値や係数）が記憶されている。
　図３Ｂの（ｂ）に示すように、作業強度判定モデル１１５は、高（Ｈｉｇｈ）、中（Ｍｉｄ）、低（Ｌｏｗ）といった作業強度と、上述した学習手法で用いられるパラメータ（例えば、重み値や係数）が記憶されている。
　本実施例では、作業者の行動または作業強度がパラメータに対応付けられる構成を例示したが、例えば、図３Ｃの（ｃ）に示すように、作業者の行動の種別ごとに作業強度を定めてもよい。例えば、図３Ｃの（ｃ）に示すように、歩く（Ｗａｌｋ）という種別の行動について、作業強度として高（Ｈｉｇｈ）、中（Ｍｉｄ）、低（Ｌｏｗ）といった３段階の作業強度を定め、これらの作業強度に応じて、上述したパラメータが、作業強度判定モデル１１５’として記憶されていてもよい。
　このように、本実施例の作業行動認識システム１０００では、作業者が着用するセンサ１００が検知した情報と、所定の行動認識モデル（例えば、行動認識モデル１１４）とに基づいて作業者の行動を認識する行動認識部１１２と、センサ１００が検知した情報と、所定の作業強度判定モデル（例えば、作業強度判定モデル１１５）とに基づいて、作業者が行う作業の作業強度を判定する作業強度判定部１１３と、行動認識部１１２により得られた作業者の行動と、作業強度判定部１１３により得られた作業者が行う作業の作業強度とを対応付けて出力する制御部１１７と、を有するので、作業者がどのような作業強度でどのような行動をしているのかを把握することができる。
　（実施例２）
　実施例１では、あらかじめ定められた行動認識モデルと作業強度判定モデルとを用いて、作業者の行動と作業強度とを対応付けて情報提示装置に出力することとした。しかし、行動認識モデルや作業強度判定モデルとしてあらかじめ定めたものを用いるのではなく、学習したモデルを用いることで判定精度を高めることもできる。そこで、以下では、これらのモデルを学習する場合について説明する。
　図４は、実施例２における作業行動認識システム２０００の構成例を示す図である。図４に示すように、作業行動認識システム２０００のコンピュータ４１０は、実施例１で示した各機能部に加え、作業強度生成部４２０と、作業強度判定モデル学習部４２１と、作業強度生成モデル学習部４２２と、センサデータラベリング部４２３とを有し、作業行動データ４１６と、作業強度生成データ４１７と、作業強度生成モデル４１８とを記憶する。
　作業強度生成部４２０は、例えば、ＣＰＵにより実行されるプログラムであり、作業行動データ４１６と作業強度生成モデル４１８を用いて、作業強度生成データ４１７を生成する作業強度データ生成処理を行う。
　作業強度判定モデル学習部４２１は、例えば、ＣＰＵにより実行されるプログラムであり、作業強度生成データ４１７から作業強度判定モデル１１５を生成する作業強度判定モデル学習処理を行う。
　作業強度生成モデル学習部４２２は、例えば、ＣＰＵにより実行されるプログラムであり、作業行動データ４１６から作業強度生成モデル４１８を生成する作業強度生成モデル学習処理を行う。
　センサデータラベリング部４２３は、例えば、ＣＰＵにより実行されるプログラムであり、作業者からの操作に基づいて、センサ１００が検知した情報に対して、作業者の行動の種別、作業強度を示すラベルを付与するラベリング処理を行う。例えば、作業者が、コンピュータ４１０を用いて図示しないカメラにより自身の作業を撮影し、当該撮影した動画と、センサ１００が検知した情報であるセンサ値とを確認しながら、情報提示装置１０１を操作して、センサ値と作業者の行動の種別および作業強度とを対応づけてラベリングする。
　図５Ｂは、センサデータラベリング部４２３により上記ラベリングを行うために情報提示装置１０１に表示される画面（アノテーション画面）の一例を示す図である。図５Ｂに示すように、アノテーション画面５１０は、作業者が行う作業を撮影した動画を表示するための作業表示領域５１１と、作業を行ったときにセンサ１００により検知されたセンサ値の推移を示すセンサ値表示領域５１２と、作業者が作業表示領域５１１とセンサ値表示領域５１２とを確認して作業しているときの行動の種別と作業強度とを対応付けて入力するためのラベリング情報入力領域５１３とを含む。
　図５Ｂでは、作業表示領域５１１に業者の作業を撮影した動画（Ｖｉｄｅｏ１）が表示され、センサ値表示領域５１２には、作業者が着用する２つのセンサ１００から得られたセンサ値が画面右から左に向かって時系列に表示され、ある時刻ｔ０のタイミングにおける作業者の行動の種別として「Ｓｔａｎｄｉｎｇ」が入力され、作業強度として「Ｈｉｇｈ」が入力されたことを示している。なお、センサ値表示領域５１２において、作業者の行動の種別「Ｗａｌｋ」、作業強度「Ｌｏｗ」は、作業開始時の情報である。このように、作業者は、作業表示領域５１１およびセンサ値表示領域５１２を確認しながら、様々な時刻において、作業者の行動の種別と作業強度とをセンサ値にラベリングする。
　このように、本実施例では、作業者が、作業者の行動の種別と作業強度とを対応付けたラベリング情報（例えば、上述した作業者の行動の種別と作業強度とを対応付けた情報）を入力する入力部（例えば、情報提示装置１０１のタッチパネル）を有し、作業強度判定モデル学習部４２１は、センサ１００が検知した情報と上記入力部から入力された上記ラベリング情報とを対応付けて作業行動データ４１６を生成するので、作業者自身の感覚に基づいて作業者の行動の種別と作業強度とセンサ値とが対応付けられたデータを得ることができる。後述するように、このデータを作業行動データ４１６として用いることができる。
　作業行動データ４１６は、例えば、データベースであり、時刻ごとにおける作業者の行動とセンサ値とを対応付けたデータを記憶する。作業行動データ４１６の具体的な例については、図６を用いて後述する。
　作業強度生成データ４１７は、例えば、データベースであり、後述するように、作業行動データ４１６に、作業行動データ４１６から学習した作業強度生成モデル４１８を反映したデータを記憶する。作業強度生成データ４１７のレイアウトは、作業行動データ４１６と同様である。
　作業強度生成モデル４１８は、例えば、データベースであり、作業強度が変化する態様を示す作業強度変換と、上述した学習手法で用いられるパラメータ（例えば、重み値や係数）とを対応付けたデータを記憶する。作業強度生成モデル４１８の具体的な例については、図５Ｃを用いて後述する。
　図５Ａは、実施例２における作業行動認識システム２０００が実行する処理の処理手順の一例を示す図である。図５Ａに示すように、作業行動認識システム２０００では、まず、作業強度生成モデル学習部４２２が、作業行動データ４１６を読み出し、作業強度生成モデル４１８を生成する（ステップ５０１）。
　図６は、作業行動データ４１６の一例を示す図である。作業行動データ４１６は、作業者ごとに、作業者が行う様々な種類の行動について、どのような作業強度のときにどのようなセンサ値が得られるのかを対応付けたデータである。図６に示すように、作業行動データ４１６は、作業者の行動と、作業強度と、複数のセンサ値とが対応付けて記憶されている。例えば、図６では、作業者が、作業強度が「Ｌｏｗ」の作業を行って行動「Ｗａｌｋ」をとったときのセンサ値Ａ、センサ値Ｂ、センサ値Ｃの値は、それぞれ、「０．２」、「０．１」、「０．３」であったことを示している。作業行動データ４１６は、図５Ｂに示したように、センサデータラベリング部４２３により作成される。
　また、図５Ｃは、作業強度生成モデル４１８およびその生成過程の一例を示す図である。作業強度生成モデル４１８は、作業者の作業強度の推移を学習するためのモデルである。図５Ｃの（ａ）に示すように、作業強度生成モデル４１８は、作業強度の推移の種類と、上述した学習手法で用いられるパラメータ（例えば、重み値や係数）とが対応付けて記憶されている。例えば、作業者の作業強度が「Ｌｏｗ」から「Ｍｉｄ」に変化したと推定するためのパラメータＡ、パラメータＢ、パラメータＣ、パラメータＤの値は、それぞれ、「０．５」、「０．１」、「０．２」、「０．４」であることを示している。
　これらのパラメータの値は、図５Ｄの（ｂ）に示すように、作業行動データ４１６が作業強度生成モデル４１８に入力される都度、上記学習手法により新たなパラメータの値が推定される。図５Ｄの（ｂ）では、新たに作成された作業強度生成モデル４１８により、作業強度が「Ｌｏｗ」、作業者の行動が「Ｗａｌｋ」である作業行動データ４１６が、作業強度が「Ｈｉｇｈ」、作業者の行動が「Ｗａｌｋ」である作業行動データ４１６として学習されたことを示している。
　図５Ａに戻り、ステップ５０１において、作業強度生成モデル学習部４２２により作業強度生成モデル４１８を生成が生成されると、作業強度生成部４２０は、作業行動データ４１６と、学習済みの作業強度生成モデル４１８を用いて、作業強度生成データ４１７を生成する（ステップ５０２）。作業強度生成データ４１７は、作業行動データ４１６と同様の項目を有したデータであり、学習済みの作業強度生成モデル４１８により、作業行動データ４１６の「行動」、「作業強度」を学習済みの内容に変換したデータである。
　続いて、作業強度判定モデル学習部４２１は、ステップ５０２で生成された作業強度生成データ４１７から作業強度判定モデル１１５を生成する（ステップ５０３）。作業強度判定モデル１１５については、実施例１において既に説明したが、本実施例では、作業強度に対応する各パラメータの値が学習後の値となる。
　このように、本実施例の作業行動認識システム２０００では、作業者の行動とセンサ１００が検知した情報とを対応付けた作業行動データ４１６から、作業強度が変化する態様と所定の学習手法で用いられるパラメータとを対応付けた作業強度生成モデル４１８を生成する作業強度生成モデル学習部４２２と、作業行動データ４１６と、作業強度生成モデル学習部４２２により学習された作業強度生成モデル４１８とに基づいて、作業行動データ４１６に学習された作業強度生成モデル４１８を反映した作業強度生成データ４１７を生成する作業強度生成部４２０と、作業強度生成部４２０により生成された作業強度生成データ４１７を所定の作業強度判定モデル１１５として生成する作業強度判定モデル学習部４２１と、を有するので、実施例１に比べて、作業者がどのような作業強度で行動しているのかを、精度よく把握することができる。
　（実施例３）
　実施例１、実施例２では、行動認識モデルと作業強度判定モデルとを用いて、作業者の行動と作業強度とを対応付けて情報提示装置に出力することとした。しかし、情報提示装置に出力する情報としては、作業者の負荷をスコアリングし、その結果を視覚的に把握したほうが望ましい場合もある。そこで、以下では、作業者の負荷を情報提示装置に出力する場合について説明する。
　図７は、実施例３における作業行動認識システム３０００の構成例を示す図である。図７に示すように、作業行動認識システム３０００のコンピュータ７１０は、実施例１で示した各機能部に加え、作業負荷計算部７２０と、作業負荷分析部７２１と、作業姿勢計算部７２２とを有し、作業負荷スコア対応表７１６と、姿勢負荷スコア対応表７１７とを記憶する。
　作業負荷計算部７２０は、例えば、ＣＰＵにより実行されるプログラムであり、作業強度判定部１１３がＤｅｅｐ　Ｌｅａｒｎｉｎｇといった学習手法を用いて判定した作業者の作業強度と、行動認識部１１２がＲｕｌａ、Ｏｗａｓといった学習手法を用いて認識した作業者の行動と、作業負荷スコア対応表７１６とを用いて、作業者の作業負荷をスコアリングした作業負荷値を計算する作業負荷計算処理を行う。
　図８は、実施例３における作業行動認識システム３０００が実行する処理の処理手順の一例を示す図である。図８における「前処理」、「行動認識」、「作業強度判定」の各処理については実施例１と同様であるため、以下ではその説明を省略する。図８に示すように、作業行動認識システム３０００では、「行動認識」、「作業強度判定」の各処理が実行されると、作業負荷計算部７２０は、これらの処理結果に対応する負荷スコアを、作業負荷スコア対応表７１６から読み出し、作業者の作業負荷値として算出する（ステップ８０１）。負荷スコアは、作業者の負荷をスコアリングした値である。
　図９Ａ、９Ｂは、作業負荷スコア対応表７１６の一例を示す図である。作業負荷スコア対応表７１６は、作業者の作業強度、作業者の行動のそれぞれについて、負荷スコアを定めたデータである。図９Ａの（ａ）が、作業者の作業強度と負荷スコアとを対応付けたデータ（強度負荷スコア対応テーブル）、図９Ｂの（ｂ）が、作業者の行動と負荷スコアとを対応付けたデータ（行動負荷スコア対応テーブル）の一例を示している。
　図９Ａの（ａ）に示すように、強度負荷スコア対応テーブル９０１は、作業者の作業強度とその作業強度のときの負荷スコアとが対応付けて記憶されている。例えば、図９Ａの（ａ）では、作業者の作業強度が「Ｌｏｗ」の場合、負荷スコアは「０」であることを示している。また、図９Ｂの（ｂ）に示すように、行動負荷スコア対応テーブル９０２は、作業者の行動とその行動をとったときの負荷スコアとが対応付けて記憶されている。例えば、図９Ｂの（ｂ）では、作業者の行動が「Ｗａｌｋ」の場合、負荷スコアは「２」であることを示している。
　このように、本実施例では、作業者の行動および作業強度のそれぞれについて負荷スコアを定め、これらの負荷スコアにより作業者の作業負荷を判定する。さらに、本実施例では、作業負荷スコア対応表７１６に加え、姿勢負荷スコア対応表７１７を用いて、作業者の姿勢を考慮した負荷値を算出する。
　図１０は、実施例３における作業行動認識システム３０００が実行する処理の処理手順の一例を示す図である。図１０における「前処理」、「行動認識」、「作業強度判定」の各処理については実施例１と同様であり、「作業負荷計算」の処理については図８と同様であるため、以下ではこれらの説明を省略する。図１０に示すように、作業行動認識システム３０００では、制御部１１７が「前処理」を実行するとともに、作業姿勢計算部７２２が、センサ１００が検知した情報（例えば、時刻ごとの加速度）であるセンサ値を用いて、作業者の作業姿勢を計算する（ステップ１００１）。作業姿勢の計算は、作業者の骨格情報を抽出して計算する等、従来から知られている様々な技術を用いてよい。
　作業姿勢計算部７２２は、ステップ１００１において計算して得られた作業者の姿勢と、姿勢負荷スコア対応表７１７とを参照し、作業者の作業姿勢における負荷を計算する（ステップ１００２）。そして、作業負荷計算部７２０は、作業姿勢計算部７２２が計算して得られた作業姿勢の負荷スコアと、ステップ８０１で計算した作業強度および作業者の行動の負荷スコアとを加算し、最終的な作業者の負荷スコアとする。
　図１１は、姿勢負荷スコア対応表７１７の一例を示す図である。姿勢負荷スコア対応表７１７は、作業者の作業姿勢について、負荷スコアを定めたデータである。図１１では、作業者の作業姿勢と負荷スコアとを対応付けたデータ（作業姿勢負荷スコア対応テーブル）の一例を示している。図１１に示すように、姿勢負荷スコア対応表７１７は、作業者の姿勢とその姿勢のときの負荷スコアとが対応付けて記憶されている。例えば、図１１では、作業者の姿勢が「屈む」姿勢の場合、負荷スコアは「１」であることを示している。
　図１２は、作業負荷計算部７２０が情報提示装置に出力する、作業者の負荷（作業負荷値）の推移を示す画面（作業負荷値画面）の一例を示す図である。図１２に示すように、作業負荷値画面には、横軸を時刻、縦軸を作業負荷値として、作業負荷値の推移がグラフ１２０１により示されている。また、作業者の行動１２０２が当該グラフ１２０１に対応付けて表示されている。図１２では、例えば、ある時刻ｔ１からｔ２までの時間帯における作業者の行動は、「荷物運搬」、「荷物積み上げ」であり、「荷物運搬」から「荷物積み上げ」にかけて、作業負荷値が上昇していることを示している。このように、本実施例の作業行動認識システム３０００では、行動認識部１１２による認識結果と、作業強度判定部１１３による判定結果と、上記認識結果を示す作業者の行動と上記判定結果を示す作業者の作業強度とのそれぞれについて作業者の負荷をスコアリングするための負荷スコアを対応付けた作業負荷スコア対応表７１６とに基づいて、作業者の作業負荷を算出する作業負荷計算部７２０を有し、作業負荷計算部７２０は、作業者の作業負荷の時間的な推移を示す作業負荷値画面１２００を、情報提示装置１０１に出力するので、作業者の作業負荷値の推移を画面上に表示することで、作業者の作業負荷値の推移を一見して把握することができる。また、作業負荷値と作業者の行動とを対応付けて画面上に表示するので、作業者がどのような行動をしたときに作業負荷値が高く（あるいは低く）なるのかといった作業負荷値の傾向を容易に把握することができる。
　また、センサ１００が検知した情報を用いて作業者の作業姿勢を計算し、計算した作業者の作業姿勢について作業者の負荷をスコアリングするための負荷スコアを対応付けた姿勢負荷スコア対応表７１７に基づいて、作業者の作業姿勢における負荷を計算する作業姿勢計算部７２２、を有し、作業負荷計算部７２０は、さらに、作業者の作業姿勢における負荷を用いて、作業者の作業負荷を算出し、作業負荷値画面１２００を、情報提示装置１０１に出力してもよい。これにより、作業者の作業姿勢を考慮した作業負荷を算出することができ、作業者の作業姿勢を含め、作業者の作業負荷値の推移を一見して把握することができ、作業負荷値の傾向を容易に把握することができる。
　図１２では、スコアリングした作業者の行動、作業強度、作業姿勢のそれぞれの値を合算した値を用いて、最終的な作業者の負荷（作業負荷値）の推移を表示することとした。しかし、その作業負荷値がどのような内容に基づくものなのかを把握することが望ましい場合もある。そのような場合には、作業負荷計算部７２０は、図９Ａ、９Ｂに示した作業負荷スコア対応表７１６、図１１に示した姿勢負荷スコア対応表７１７を、図１２に示した作業負荷値画面とともに（あるいは別画面として）情報提示装置に表示させてもよい。これにより、作業者の行動、作業強度、作業姿勢のそれぞれについて、どのような割合で負荷がかかっているのか、といった最終的な作業負荷値の内訳を容易に把握することができる。
　（実施例４）
　実施例１～３では、ある作業者の作業強度を推定することが可能なシステムの構成について例示した。しかし、本システムは、複数の作業者を対象として、それぞれの作業者の作業負荷や作業者の行動や作業を管理することも可能である。そこで、以下では、複数の作業者に本システムを適用する場合について説明する。
　図１３は、実施例４における作業行動認識システム４０００の構成例を示す図である。図１３に示すように、作業行動認識システム４０００のコンピュータ１３１０は、実施例３で示した各機能部に加え、送信部１３２１を有している。図１３では、ある作業者が使用する１組のセンサ１００、情報提示装置１０１、コンピュータ１３１０を示しているが、本実施例では、複数の作業者のそれぞれについて、これらの構成が設けられているものとし、各作業者のコンピュータが、ネットワークＮを介して各種情報を送受信しているものとする。
　送信部１３２１は、例えば、ＮＩＣであり、管理サーバ１３３０に各種情報を送信する。本実施例では、コンピュータ１３１０と管理サーバ１３３０との間で通信するための機能部を送信部として記載したが、管理サーバ１３３０から各種情報を受信する機能を含め通信部としてもよい。
　さらに、作業行動認識システム４０００は、コンピュータ１３１０にネットワークＮを介して接続された管理サーバ１３３０を有している。管理サーバ１３３０は、ハードウェアとしては、コンピュータ１３１０と同様の構成を有したコンピュータを用いることができる。
　図１３に示すように、管理サーバ１３３０は、受信部１３３１と、作業員管理データベース１３３２と、作業管理データベース１３３３と、作業配置部１３３４とを有する。
　受信部１３３１は、例えば、ＮＩＣであり、コンピュータ１３１０から送信された各種情報を受信する。本実施例では、コンピュータ１３１０と管理サーバ１３３０との間で通信するための機能部を受信部として記載したが、コンピュータ１３１０に各種情報を送信する機能を含め通信部としてもよい。
　作業員管理データベース１３３２は、複数の作業者について、各作業者の作業とその作業における負荷値を、時刻に対応付けて記憶する。作業員管理データベース１３３２の具体的な例については、図１４Ａを用いて後述する。図１４Ａでは、管理する対象が「作業」である場合を例示しているが、作業は１または複数の行動により構成されるため、「作業」に対応する「行動」を含めて記憶してもよい。
　作業管理データベース１３３３は、作業の種類と、それぞれの作業の進捗と、それぞれの作業を行う作業者とを対応付けて記憶する。作業管理データベース１３３３の具体的な例については、図１４Ｂを用いて後述する。図１４Ｂでは、管理する対象が「作業」である場合を例示しているが、管理する対象を「行動」としてもよい。
　図１４Ａは、作業員管理データベース１３３２の一例を示す図である。作業員管理データベース１３３２は、時刻ごとの作業の負荷値を、それぞれの作業者について記憶したデータである。図１４Ａでは、例えば、作業者Ａは、１０時２６分では作業「Ｘ」を負荷値「１０２」で行っていることを示している。作業「Ｘ」には、例えば、「荷物運搬」「荷物積み上げ」といった１または複数の行動を含む。図１４Ａでは、あらかじめ、作業と行動とが対応付けられており、実施例３で示したように、それぞれの行動に対する負荷値を合算した負荷値が、作業の負荷値として計算される。
　図１４Ｂは、作業管理データベース１３３３の一例を示す図である。作業管理データベース１３３３は、作業者が行う作業の進捗を記憶したデータである。図１４Ｂでは、例えば、作業Ｘは、作業者Ａ、作業者Ｃにより行われ、現在の進捗状況は１０％であることを示している。図１４Ａの場合と同様、作業「Ｘ」には、例えば、「荷物運搬」「荷物積み上げ」といった１または複数の行動を含む。図１４Ｂでは、あらかじめ、作業と行動と作業者とが対応付けられており、例えば、作業者Ａ、作業者Ｃが行う作業が「歩行」、「荷物運搬」、「荷物積み上げ」、「歩行」、「品数確認」といった行動から構成されることがあらかじめ定められている場合を想定する。例えば、作業が「歩行」、「荷物運搬」の各行動まで完了している場合、進捗は４０％として計算される。作業を構成する各行動が完了したか否かについては、例えば、図５Ｂに示したように、作業者がアノテーション画面５１０のラベリング情報入力領域５１３から入力された行動の種別がある種別から別の種別に変わった場合に、上記ある種別の行動が完了したと判定すればよい。
　図１５は、図１４Ａに示した作業員管理データベース１３３２に記憶されたデータ、図１４Ｂに示した作業管理データベース１３３３に記憶されたデータを、作業配置部１３３４が図示しない表示装置（あるいは情報提示装置）に出力する画面（負荷管理画面）１５００の一例を示す図である。図１５に示すように、負荷管理画面１５００には、作業員管理データベース１３３２に記憶されているデータに基づいて表示される作業者ごとの負荷状況表示領域１５０１と、作業管理データベース１３３３に記憶されているデータに基づいて表示される作業者の作業負荷値の推移を表示する負荷状況推移表示領域１５０２とを含む。
　例えば、図１５では、作業者Ａ～作業者Ｇまでの各作業者について、ある時点での作業の負荷状況が、負荷状況表示領域１５０１に表示されている。また、例えば、負荷状況表示領域１５０１の棒グラフを選択する等して、作業者Ｅについての負荷状況が、選択された時点を基準として所定の時間帯（例えば、選択された時刻の前後１時間）における負荷の推移が、負荷状況推移表示領域１５０２に表示されている。上記選択する方法としては、例えば、負荷管理画面１５００を表示する表示装置がタッチパネルのようなインタフェースを有した装置であれば、操作者からタッチ操作を受け付ければよい。
　このように、本実施例の作業行動認識システム４０００では、複数の作業者のそれぞれについて、行動認識部１１２と、作業強度判定部と１１３、制御部１１７と、作業負荷計算部７２０とを有したコンピュータ１３１０と、それぞれのコンピュータ１３１０から、ネットワークＮを介して受信した作業者の作業負荷を、作業者ごとに記憶する記憶部（例えば、作業員管理データベース１３３２を記憶する記憶装置）と、上記記憶部に記憶された作業者ごとの作業負荷を読み出して、作業者ごとの作業負荷を示す負荷状況表示領域１５０１を含む負荷管理画面１５００を表示装置（例えば、管理サーバ１３３０に接続されたディスプレイ装置）に出力する作業配置部１３３４と、を有した管理サーバ１３３０と、を有するので、それぞれの作業者についての負荷状況を一見して把握することができる。
　また、管理サーバ１３３０の作業配置部１３３４は、負荷状況表示領域１５０１において選択された作業者の作業負荷の時間的な推移を示す負荷状況推移表示領域１５０２を含む負荷管理画面１５００を上記のような表示装置に出力するので、選択された作業者について、負荷状況の推移を容易に把握することができる。
１０００、２０００、３０００、４０００　　作業行動認識システム
１００　　センサ１００
１０１　　情報提示装置
１１０　　コンピュータ
１１１　　通信部
１１２　　行動認識部
１１３　　作業強度判定部
１１４　　行動認識モデル
１１５　　作業強度判定モデル
１１６　　記憶部
１１７　　制御部
４１６　　作業行動データ
４１７　　作業強度生成データ
４１８　　作業強度生成モデル
４２０　　作業強度生成部
４２１　　作業強度判定モデル学習部
４２２　　作業強度生成モデル学習部
４２３　　センサデータラベリング部
７１６　　作業負荷スコア対応表
７２０　　作業負荷計算部
７２１　　作業負荷分析部
７２２　　作業姿勢計算部
７１７　　姿勢負荷スコア対応表
１３２１　　送信部
１３３０　　管理サーバ
１３３１　　受信部
１３３２　　作業員管理データベース
１３３３　　作業管理データベース
１３３４　　作業配置部
Ｎ　　　　　　　　　ネットワーク

Claims (9)

  1. 　作業者が着用するセンサが検知した情報と、所定の行動認識モデルとに基づいて前記作業者の行動を認識する行動認識部と、
    　前記センサが検知した情報と、所定の作業強度判定モデルとに基づいて、前記作業者が行う作業の作業強度を判定する作業強度判定部と、
    　前記行動認識部により得られた前記作業者の行動と、前記作業強度判定部により得られた前記作業者が行う作業の作業強度とを対応付けて出力する制御部と、
    　を有することを特徴とする作業行動認識システム。
  2. 　前記作業者の行動と前記センサが検知した情報とを対応付けた作業行動データから、前記作業強度が変化する態様と所定の学習手法で用いられるパラメータとを対応付けた作業強度生成モデルを生成する作業強度生成モデル学習部と、
    　前記作業行動データと、前記作業強度生成モデル学習部により学習された前記作業強度生成モデルとに基づいて、前記作業行動データに前記学習された前記作業強度生成モデルを反映した作業強度生成データを生成する作業強度生成部と、
    　前記作業強度生成部により生成された前記作業強度生成データを前記所定の作業強度判定モデルとして生成する作業強度判定モデル学習部と、
    　を有することを特徴とする請求項１に記載の作業行動認識システム。
  3. 　前記作業者の行動の種別と前記作業強度とを対応付けたラベリング情報を入力する入力部、を有し、
    　前記作業強度判定モデル学習部は、前記センサが検知した情報と前記入力部から入力された前記ラベリング情報とを対応付けて前記作業行動データを生成する、
    　ことを特徴とする請求項２に記載の作業行動認識システム。
  4. 　前記行動認識部による認識結果と、前記作業強度判定部による判定結果と、前記認識結果を示す作業者の行動と前記判定結果を示す作業者の作業強度とのそれぞれについて作業者の負荷をスコアリングするための負荷スコアを対応付けた作業負荷スコア対応表とに基づいて、前記作業者の作業負荷を算出する作業負荷計算部、
    　を有することを特徴とする請求項１に記載の作業行動認識システム。
  5. 　前記センサが検知した情報を用いて作業者の作業姿勢を計算し、計算した前記作業者の作業姿勢について作業者の負荷をスコアリングするための負荷スコアを対応付けた姿勢負荷スコア対応表に基づいて、前記作業者の作業姿勢における負荷を計算する作業姿勢計算部、を有し、
    　前記作業負荷計算部は、さらに、前記作業者の作業姿勢における負荷を用いて、前記作業者の作業負荷を算出する、
    　ことを特徴とする請求項４に記載の作業行動認識システム。
  6. 　前記作業負荷計算部は、前記作業者の作業負荷の時間的な推移を示す作業負荷値画面を、情報提示装置に出力する、
    　ことを特徴とする請求項４に記載の作業行動認識システム。
  7. 　複数の作業者のそれぞれについて、前記行動認識部と、前記作業強度判定部と、前記制御部と、前記作業負荷計算部とを有したコンピュータと、
    　それぞれの前記コンピュータから、ネットワークを介して受信した前記作業者の作業負荷を、前記作業者ごとに記憶する記憶部と、前記記憶部に記憶された前記作業者ごとの作業負荷を読み出して、作業者ごとの作業負荷を示す負荷状況表示領域を含む負荷管理画面を表示装置に出力する作業配置部と、を有した管理サーバと、
    　を有することを特徴とする請求項４に記載の作業行動認識システム。
  8. 　前記管理サーバの前記作業配置部は、前記負荷状況表示領域において選択された作業者の作業負荷の時間的な推移を示す負荷状況推移表示領域を含む前記負荷管理画面を表示装置に出力する、
    　ことを特徴とする請求項７に記載の作業行動認識システム。
  9. 　コンピュータを用いて行われる作業行動認識方法であって、
    　行動認識部が、作業者が着用するセンサが検知した情報と、所定の行動認識モデルとに基づいて前記作業者の行動を認識し、
    　作業強度判定部が、前記センサが検知した情報と、所定の作業強度判定モデルとに基づいて、前記作業者が行う作業の作業強度を判定し、
    　制御部が、前記行動認識部により得られた前記作業者の行動と、前記作業強度判定部により得られた前記作業者が行う作業の作業強度とを対応付けて出力する、
    　ことを特徴とする作業行動認識方法。
PCT/JP2021/047583 2020-12-25 2021-12-22 作業行動認識システムおよび作業行動認識方法 WO2022138722A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21910862.8A EP4270277A1 (en) 2020-12-25 2021-12-22 Work behavior recognition system and work behavior recognition method
US18/039,693 US20240104456A1 (en) 2020-12-25 2021-12-22 Work action recognition system and work action recognition method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-217192 2020-12-25
JP2020217192A JP2022102456A (ja) 2020-12-25 2020-12-25 作業行動認識システムおよび作業行動認識方法

Publications (1)

Publication Number Publication Date
WO2022138722A1 true WO2022138722A1 (ja) 2022-06-30

Family

ID=82157018

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/047583 WO2022138722A1 (ja) 2020-12-25 2021-12-22 作業行動認識システムおよび作業行動認識方法

Country Status (4)

Country Link
US (1) US20240104456A1 (ja)
EP (1) EP4270277A1 (ja)
JP (1) JP2022102456A (ja)
WO (1) WO2022138722A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017068432A (ja) * 2015-09-29 2017-04-06 富士重工業株式会社 工程編成支援装置、工程編成支援方法
JP2017143910A (ja) 2016-02-15 2017-08-24 日本電信電話株式会社 運動強度推定装置、運動強度推定方法、プログラム
WO2017187666A1 (ja) * 2016-04-26 2017-11-02 三菱電機株式会社 作業員管理装置
JP2019103609A (ja) 2017-12-12 2019-06-27 富士通株式会社 動作状態推定装置、動作状態推定方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017068432A (ja) * 2015-09-29 2017-04-06 富士重工業株式会社 工程編成支援装置、工程編成支援方法
JP2017143910A (ja) 2016-02-15 2017-08-24 日本電信電話株式会社 運動強度推定装置、運動強度推定方法、プログラム
WO2017187666A1 (ja) * 2016-04-26 2017-11-02 三菱電機株式会社 作業員管理装置
JP2019103609A (ja) 2017-12-12 2019-06-27 富士通株式会社 動作状態推定装置、動作状態推定方法及びプログラム

Also Published As

Publication number Publication date
EP4270277A1 (en) 2023-11-01
US20240104456A1 (en) 2024-03-28
JP2022102456A (ja) 2022-07-07

Similar Documents

Publication Publication Date Title
Yang et al. Deep learning-based classification of work-related physical load levels in construction
US9833197B1 (en) System and method for monitoring safety and productivity of physical tasks
US11207003B2 (en) Walking state determination device, walking state determination system, walking state determination method, and storage medium
TW201443834A (zh) 平衡監測與跌倒預警方法及裝置
US20220125360A1 (en) Method and computer program for determining psychological state through drawing process of counseling recipient
US20210244317A1 (en) Walking mode display method, walking mode display system and walking mode analyzer
JP2022546644A (ja) 人間－ロボット混在製造プロセスにおける自動異常検出のためのシステムおよび方法
US10971029B2 (en) Information processing device, method, and storage medium
CN110874092A (zh) 能力计测装置、能力计测方法以及存储介质
EP4140554A1 (en) Extended reality systems, apparatus, and methods for musculoskeletal ergonomic improvement
CN110874688A (zh) 能力计测装置、能力计测方法以及存储介质
WO2022138722A1 (ja) 作業行動認識システムおよび作業行動認識方法
JP5915990B2 (ja) つまずきリスク評価装置、つまずきリスク評価システム
JP2017143910A (ja) 運動強度推定装置、運動強度推定方法、プログラム
KR20210042077A (ko) 상담 대상자의 드로잉 과정을 통해 심리 상태를 판단하는 방법 및 컴퓨터 프로그램
WO2022269724A1 (ja) 運動内容推定装置、運動内容推定方法およびプログラム
US20190114934A1 (en) System and method for evaluating actions performed to achieve communications
JP2022186422A (ja) 分類装置、分類方法、及び、分類プログラム
JP2021016630A (ja) 検出装置および検出方法
US20230133732A1 (en) Information presenting apparatus, information presenting method and program
JP7268121B2 (ja) 情報処理装置、方法及びプログラム
Umar et al. Occupational wrist postural assessment and monitoring system: development and initial validation
JP6723485B2 (ja) 情報分析装置、情報分析方法、及び情報分析プログラム
JP7465842B2 (ja) 作業支援システム
Peruzzini et al. A Multi-disciplinary Assessments Tool for Human-Machine Interaction

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21910862

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18039693

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021910862

Country of ref document: EP

Effective date: 20230725