JP7106175B1

JP7106175B1 - 作業判別システム

Info

Publication number: JP7106175B1
Application number: JP2021140947A
Authority: JP
Inventors: 武三木
Original assignee: スリーフィールズ株式会社
Priority date: 2021-08-31
Filing date: 2021-08-31
Publication date: 2022-07-26
Anticipated expiration: 2041-08-31
Also published as: JP2023034621A; JP2023035846A

Abstract

【課題】作業実績の蓄積ポイントを取得して有益な情報活用や賃金等に反映するする作業判別システムを提供する。【解決手段】作業判別システム１００において、作業分析学習部１０６は、処理済み映像情報１１２及び位置情報１１１に基づいて作業を構成する複数の作業要素の組合せからなる推定した作業パターンと、映像情報１１０に対して属性情報抽出部１０４が抽出した属性情報１１３との組合せに基づいて属性情報毎の標準作業パターン１１４を決定する。ポイント算出部１０８は、処理済み映像情報１１２及び位置情報１１１に基づいて推定した作業パターンを、属性情報１１３と同じ属性情報を有する標準作業パターン１１４と比較することにより一致度１１５を算出し、その一致度１１５に対応するポイント値１１６を算出し、通知部１０９を介して、発報通知１１７又はメール通知１１８される。【選択図】図１

Description

本発明は、作業現場等における人間や機械等の作業を分析して判別するシステムに関する。

従来、建設・工事現場や生産現場等において、作業の抜けや作業者ごとの作業時間を把握するため、作業者が作業を行っている映像や作業者の位置情報を用いて、作業を構成する作業要素を分析する技術が知られている（例えば特許文献１に記載の技術）。この従来技術では、ある時刻における作業者の体の部位や物体の位置情報から、作業者による作業要素を推論している。

国際公開第２０１８／０８７８４４号公報

しかしながら、上記従来技術のように、ある時刻に取得した体や物体の位置情報のみから作業要素を推論しその結果を表示等するだけでは、作業工程の改善を行うことはできても、例えば作業要素の分析結果を作業実績や賃金等に客観的に反映させることはできず、活用範囲が限られるという課題があった。

また、上記従来技術では、例えば建設現場における重機等の機械に対する作業要素を推論することはできなかった。

そこで、本発明の目的は、映像や位置情報を用いて特定の作業員や機械の作業の動きをポイント化(数値化)して視覚化することで、作業実績の蓄積ポイントを取得して有益な情報活用や賃金等に反映することを可能とし、それによって、作業員のやる気を促進したり、逆に、作業員や機械の危険な又は誤った動きに対して警告をすることで、安全性の確保、最終的には労働生産性の向上と品質の向上に繋げることを可能とすることにある。

態様の一例の作業判別システムは、作業員又は作業機械が行う作業に関する作業情報を取得する作業情報取得部と、作業情報から作業の属性を表す属性情報を抽出する属性情報抽出部と、作業情報取得部が取得した作業情報に基づいて作業を構成する複数の作業要素の組合せからなる作業パターンを推定し、その推定した作業パターンと作業情報に対して属性情報抽出部が抽出した属性情報との組合せに基づいて属性情報毎の標準作業パターンを決定し、標準作業パターン記憶部に記憶する作業分析学習部と、作業情報取得部が取得した作業情報に基づいて作業を構成する複数の作業要素の組合せからなる作業パターンを推定し、その推定した作業パターンを、作業情報に対して属性情報抽出部が抽出した属性情報と同じ属性情報を有する標準作業パターン記憶部に記憶されている標準作業パターンと比較することにより一致度を算出し、その一致度に対応するポイント値を算出するポイント算出部と、を備える。

本発明によれば、映像や位置情報を用いて特定の作業員や機械の作業の動きをポイント化(数値化)して視覚化することで、作業実績の蓄積ポイントを取得して有益な情報活用や賃金等に反映することが可能となり、それによって、作業員のやる気を促進したり、逆に、作業員や機械の危険な又は誤った動きに対して警告をすることで、安全性の確保、最終的には労働生産性の向上と品質の向上に繋げることが可能となる。

作業判別システムの実施形態のブロック図である。映像情報取得部の具体例を示す構成図である。位置情報取得部の具体例を示す構成図である。作業分析学習処理の例を示すフローチャートである。ポイント算出処理の例を示すフローチャートである。

以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。図１は、作業判別システムの実施形態のブロック図である。作業判別システム１００は、共に作業情報取得部の一部であって、映像情報取得部１０１及び位置情報取得部１０２と、映像情報処理部１０３と、属性情報抽出部１０４と、属性情報データベース１０５（以下「属性情報ＤＢ１０５」と記載）と、作業分析学習部１０６と、標準作業パターン記憶部１０７と、ポイント算出部１０８と、通知部１０９とを備える。

映像情報取得部１０１は、建設現場、工事現場、又は生産現場等の作業員又は作業機械が行う作業を撮像して得られる映像情報１１０を作業情報として取得する。図２は、映像情報取得部１０１の具体例を示す構成図である。
例えば、建設現場、工事現場、又は生産現場に設置された１台以上のカメラ２０１が撮像した映像情報が、校内に設置されたＷｉＦｉルータ装置２０２からインターネット２０３を介して、映像情報１１０として、図１の作業判別システム１００であるインターネット２０３に接続された特には図示しないサーバ装置に集約される。
また、作業員のヘルメットに装着されたウェアラブルカメラ２０４が撮像した映像情報が、上記と同様のＷｉＦｉルータ装置２０２からインターネット２０３を介して、映像情報１１０として、上記サーバ装置に集約される。

位置情報取得部１０２は、作業員又は作業機械の作業位置を示す位置情報１１１を作業情報として取得する。図３は、位置情報取得部１０２の具体例を示す構成図である。
例えば、作業機械３００には、準天頂衛星３０１、３０２、３０３などからの、ＧＰＳ、ＧＬＯＮＡＳＳ、ＱＺＳＳなどの高精度の測位情報を毎秒受信するマルチＧＮＳＳ端末が、位置情報取得部１０２として搭載される。この端末はまた、ＱＺＳＳＬ１‐Ｓ（サブメータ級）やＬ６（センチメータ級）の補強信号を利用して、位置測位誤差の補正を行う。
また、ビルなどの屋内にはＩＭＥＳ端末が、位置情報取得部１０２として設置される。
これらの端末から得られる位置情報１１１は、インターネット等を介して、前述したサーバ装置に集約される。

図１の説明に戻り、属性情報ＤＢ１０５は、作業員又は作業機械の外観画像と作業員又は作業機械が属する属性とのデータ組を記憶する。

属性情報抽出部１０４は、映像情報１１０から、作業の属性を表す属性情報１１３を抽出する。より具体的には、属性情報抽出部１０４は、属性情報ＤＢ１０５に記憶された各データ組のうち、夫々のデータ組の外観画像が映像情報１１０に対して外観認識処理を実行して得られる外観画像と一致するデータ組に対応する属性情報を、属性情報１１３として抽出する、
上述の外観画像は例えば、作業員に対応する映像情報１１０に対して外観認識処理である顔認識処理を実行して得られる顔画像である。
又は、上述の外観画像は例えば、作業機械に対応する映像情報１１０に対して外観認識処理である機械輪郭の認識処理を実行して得られる機械輪郭画像である。

映像情報処理部１０３は、映像情報１１０に対して所定の処理を行うことにより、処理済み映像情報１１２を出力する。
処理済み映像情報１１２は例えば、動画である映像情報１１０に対して、上記所定の処理としてタイムラプス処理を実行して得られるタイムラプス映像データであってよい。
又は、処理済み映像情報１１２は例えば、動画である映像情報１１０の各フレーム画像から、画像の特徴量抽出を行って得られる画像特徴量データであってよい。

作業分析学習部１０６は、作業分析学習処理を実行する。図４は、作業分析学習処理の例を示すフローチャートである。この処理は例えば、特には図示しないが、前述したサーバ装置のプロセッサが、メモリに記憶された作業分析学習処理プログラムを実行する動作である。

図４のフローチャートの処理において、まず、図１の映像情報処理部１０３から、処理済み映像情報１１２が入力されるまで待機する（ステップＳ４０１の判定がＮＯの繰返し）。

ステップＳ４０１の判定がＹＥＳになったら、位置情報取得部１０２から位置情報１１１が取得される（ステップＳ４０２）。

次に、ステップＳ４０１で取得された処理済み映像情報１１２とステップＳ４０２で取得された位置情報１１１とに基づいて、一連の作業を構成する複数の作業要素が抽出される（ステップＳ４０３）。作業要素は例えば、作業員であれば、資材を運ぶ、資材を組み立てる、ネジを締める等の個々の作業である。

次に、処理済み映像情報１１２から、ステップＳ４０３で抽出された作業要素毎の時間が抽出される（ステップＳ４０４）。

そして、ステップＳ４０１～Ｓ４０４で得られた情報に基づいて、作業パターンが推定される（ステップＳ４０５）。

更に、ステップＳ４０１の処理済み映像情報１１２のもとの映像情報１１０に対して属性情報抽出部１０４で得られている属性情報１１３が取得される（ステップＳ４０６）。

そして、ステップＳ４０５で推定された作業パターンと、ステップＳ４０６で取得された属性情報１１３との組合せに基づいて、属性情報毎の標準作業パターン１１４が決定され、その標準作業パターン１１４が、上記属性情報１１３とともに、図１の標準作業パターン記憶部１０７に記憶される（ステップＳ４０６）。その後再び、ステップＳ４０１の待機状態に戻る。

ここで、図１の作業分析学習部１０６は、属性情報１１３毎の標準作業パターン１１４を、例えば機械学習により決定してよい。より具体的には、作業分析学習部１０６は、属性情報１１３毎の標準作業パターン１１４をディープニューラルネットワークを用いた機械学習により決定してよい。

図１のポイント算出部１０８は、ポイント算出処理を実行する。図５は、ポイント算出処理の例を示すフローチャートである。この処理は例えば、図４の場合と同様に、特には図示しないが、前述したサーバ装置のプロセッサが、メモリに記憶されたポイント算出処理プログラムを実行する動作である。

図５のフローチャートの処理において、まず、図１の映像情報処理部１０３から、処理済み映像情報１１２が入力されるまで待機する（ステップＳ５０１の判定がＮＯの繰返し）。

ステップＳ５０１の判定がＹＥＳになったら、位置情報取得部１０２から位置情報１１１が取得される（ステップＳ５０２）。

次に、ステップＳ５０１で取得された処理済み映像情報１１２とステップＳ５０２で取得された位置情報１１１とに基づいて、一連の作業を構成する複数の作業要素が抽出される（ステップＳ５０３）。

次に、処理済み映像情報１１２から、ステップＳ５０３で抽出された作業要素毎の時間が抽出される（ステップＳ５０４）。

そして、ステップＳ５０１～Ｓ５０４で得られた情報に基づいて、作業パターンが推定される（ステップＳ５０５）。

その後、ステップＳ５０１の処理済み映像情報１１２のもとの映像情報１１０に対して属性情報抽出部１０４で得られている属性情報１１３が取得される（ステップＳ５０６）。

そして、図１の標準作業パターン記憶部１０７がアクセスされて、ステップＳ５０５で推定された作業パターンが、ステップＳ５０６で取得された属性情報１１３と同じ属性情報１１３を有する標準作業パターン記憶部１０７内の標準作業パターン１１４と比較されて、両者の一致度１１５が算出される（ステップＳ５０７）。

最後に、ステップＳ５０７で算出された一致度に対応するポイント値１１６が、図１のポイント算出部１０８から通知部１０９に出力される（ステップＳ５０８）。その後再び、ステップＳ５０１の待機状態に戻る。

図１の説明に戻り、通知部１０９は、ポイント算出部１０８が算出したポイント値に応じて、発報通知１１７又はメール通知１１８の何れか又は両方を実施する。

以上説明した実施形態により、例えば、映像、位置情報を用いて特定の行動、作業等の動きをポイント化(数値化)して視覚化することで、行動実績の蓄積ポイントを取得して有益な情報活用や賃金等に反映し、やる気を促進したり、逆に危険な行為を蓄積ポイントとして警告をする事で安全性の確保、最終的には労働生産性の向上と品質の向上に繋げることが可能となる。

例えば、工場の作業工程において作業始点を指定して作業判別システム１００が動作を開始する。次に、図１において、映像情報１１０と位置情報１１１を用いて作業員や作業機械等の動作が自動計測され、作業分析学習部１０６により、ＡＩ等を用いて動きが標準作業パターン１１４として解析される。更に、ポイント算出部１０８が、各作業員や作業機械の作業をポイント化して、データの良し悪しなどの判断されたポイントデータが出力され、特には図示しないハードディスクなどに蓄積される。
このように、各業務に従事する従業員や作業機械の動作を映像情報１１０及び位置情報１１１に基づいてポイント化することで、業務の実績管理（時間、工程を厳守しているか否か、不穏な動きをしていないか否か）に繋げることが可能となる。

また、業者、正社員、業務委託、アルバイト毎の人事データ等の個々の様々な属性情報１１３にポイントを付与して蓄積することで、将来的には例えば特定の顧客毎にビッグデータ化し、データマイニング等を活用してあらゆる業種向けの行動分析、マーケティングデータや、重機、自動清掃車等の作業機械の解析データの基礎データとして活用することが可能となる。

このように、本実施形態では、業者なのか正社員なのか業務委託なのかアルバイトなのか、他の危険人物なのか等を属性情報１１３として判別し、作業パターンを証拠として利用することが可能となる。正当な人物であれば、真面目に働いている等の人事評価、勤怠記録等ができる。建設土木現場等には、業者、正社員、業務委託（例えば親方や職人）、アルバイト等の様々な人間がおり、良い人間、悪い人間等がいろいろ入り込んでいるが、そういった個々の人間が所定の動線を守っているか、普通の動きをしている人間が或る動線を超える傾向があるか否か等を行動分析するための基礎データが得られる。本実施形態では、これらが数値データ、ポイントデータとして取得することが可能となる。

本実施形態では、映像情報１１０（諸映像情報１１０）や位置情報１１１について、夫々が正しい動きをしているか否か、安全な動きをしているか否か等について、例えばディープラーニング等の機械学習による作業分析学習処理により、判別することが可能となる。

また、作業員の場合、ＲＦＩＤのような位置情報を把握できるデバイスをＩＤカード等に付けることで、あまり動いてはいけない部屋、そもそも入室できない部屋等の判別も含めて、どの部屋で正しい動きをしているかが判別可能となる。

更に、本実施形態では、図１の通知部１０９の機能により、よっぽど危険な作業パターンについては、発報１１７を行うことができる。
或いは、通知部１０９は、それほど危険ではない作業パターンについては、詳細データと共に、メール１１８で飛ばす等の処理を実行することができる。

本実施形態によれば、間違った区域（部屋）に間違った重機が入っていないか否か、入った場合のアラート発報を、映像情報１１０と位置情報１１１とに基づいて判別・検出することが可能となる。

本実施形態によれば、朝９時から夕方１７時まで重機が区域から出ることなく反復の動きをすることの確認なども可能となる。

或いは、本実施形態によれば、例えば道路舗装工事において、業者の重機が所定の反復回数のローラを実施したか否か、実施していない場合のアラート発報の判別・検出等が可能となる。従来は、業者任せであったため、孫請けの職人までは施工の正当性を追うことが難しかったが、本実施形態の導入によりそれが可能となる。

例えば河川工事の場合、川辺りに行きやすく、重機の存在で危険になったり、沼地に作業員が沈んでしまったりする場合がある。映像情報１１０を軸にして位置情報１１１と合わせて、作業員や作業機械の行動を分析して数値化することが可能となる。

作業始点の特定としては、時刻とＩＤが特定できればどのような方法でもよい。例えば、バーコード読取り、映像の開始時点、ＲＦＩＤで読み取った時点などが利用できる。

位置情報１１１としては、図３で説明したように、ＧＰＳだけではなく、準天頂衛星のＬ１（メートル級）とＬ６（センチメートル級）の補正信号を使ったセンチメートル誤差の位置情報を使うことが可能である。屋内では、衛星からの位置情報は補足できないので、ＲＦＩＤやビーコンとの併用が可能である。また、行動に伴う位置情報１１１は、英所に基づく特定の作業員や作業機械の認識と、その空間座標の算出に基づいて抽出してもよい。

本実施形態によれば、作業員の場合、危険な機械の周辺には一般人は立ち入らせない、担当者でも限定する等の措置が可能である。属性情報１１３に基づいて、運転する資格の無い（無免許、免許失効の）人がフォークリフトに近づいてきている等を検出することもできる。

本実施形態により算出されるポイント値を用いることにより、人事評価、安全評価等が可能になる。

１００作業判別システム
１０１映像情報取得部
１０２位置情報取得部
１０３映像情報処理部
１０４属性情報抽出部
１０５属性情報ＤＢ
１０６作業分析学習部
１０７標準作業パターン記憶部
１０８ポイント算出部
１０９通知部
１１０映像情報
１１１位置情報
１１２処理済み映像情報
１１３属性情報
１１４標準作業パターン
１１５一致度
１１６ポイント値
１１７発報
１１８メール

Claims

作業員又は作業機械が行う作業に関する作業情報を取得する作業情報取得部と、
標準作業パターンを決定するために用いられる前記作業情報から前記作業の属性を表す属性情報を抽出する属性情報抽出部と、
前記作業情報取得部が取得した標準作業パターンを決定するために用いられ、建設現場、工事現場、又は生産現場の作業員又は作業機械が行う作業を撮像して得られる映像情報と、作業員又は作業機械の作業位置を示す位置情報とに基づき、一連の作業を構成する複数の作業要素を抽出し、前記作業要素毎の時間を抽出し、前記位置情報と前記作業要素と前記作業要素毎の時間とに基づいて前記作業を構成する複数の作業要素の組合せからなる作業パターンを推定し、該推定した作業パターンと標準作業パターンを決定するために用いられる前記作業情報に対して前記属性情報抽出部が抽出した前記属性情報と前記作業要素毎の時間との組合せに基づいて前記属性情報毎の標準作業パターンを決定し、標準作業パターン記憶部に記憶する作業分析学習部と、
前記作業情報取得部が取得した前記標準作業パターンと比較される作業パターンを推定するために用いられ、建設現場、工事現場、又は生産現場の作業員又は作業機械が行う作業を撮像して得られる映像情報と、作業員又は作業機械の作業位置を示す位置情報とに基づき、一連の作業を構成する複数の作業要素を抽出し、前記作業要素毎の時間を抽出し、前記位置情報と前記作業要素と前記作業要素毎の時間とに基づいて前記作業を構成する複数の作業要素の組合せからなる前記属性情報毎の作業パターンを推定し、該推定した前記属性情報毎の作業パターンを、前記標準作業パターンと比較される作業パターンを推定するために用いられる前記作業情報に対して前記属性情報抽出部が抽出した前記属性情報と前記作業要素毎の時間との組み合わせに基づいて決定される前記標準作業パターン記憶部に記憶されている前記属性情報毎の前記標準作業パターンと比較することにより一致度を算出し、該一致度に対応するポイント値を算出するポイント算出部と、
を備える作業判別システム。
前記作業員又は前記作業機械の外観画像と前記作業員又は前記作業機械が属する属性とのデータ組を記憶する属性情報データベースを更に備え、
前記属性情報抽出部は、前記属性情報データベースに記憶された前記各データ組のうち、該データ組の外観画像が前記映像情報に対して外観認識処理を実行して得られる外観画像と一致するデータ組に対応する属性情報を抽出する、
請求項１に記載の作業判別システム。
前記外観画像は、前記作業員に対応する映像情報に対して前記外観認識処理である顔認識処理を実行して得られる顔画像である、請求項２に記載の作業判別システム。
前記外観画像は、前記作業機械に対応する映像情報に対して前記外観認識処理である機械輪郭の認識処理を実行して得られる機械輪郭画像である、請求項２に記載の作業判別システム。
前記作業分析学習部は、前記属性情報毎の標準作業パターンを機械学習により決定する、請求項１乃至４の何れかに記載の作業判別システム。
前記作業分析学習部は、前記属性情報毎の標準作業パターンをディープニューラルネットワークを用いた機械学習により決定する、請求項５に記載の作業判別システム。
前記ポイント算出部が算出した前記ポイント値に応じて、発報通知又はメール通知の何れか又は両方を実施する通知部を更に備える、請求項１乃至６の何れかに記載の作業判別システム。