JP7456129B2 - 管理システム - Google Patents

Description

本発明は、管理システムに関する。

作業現場における作業の状況を監視するシステムが知られている（例えば、特許文献１）。

特開２０１８－２０７２９７号公報

しかしながら、特許文献１に記載の監視システムでは、カメラが設置された特定の箇所に対する侵入の監視が行えるに過ぎない。このため、撮影範囲外での作業の状況を把握できないこと、暗所や外交が不足する悪天候下での作業状況の撮像が困難であること等、作業に関する情報が不足する傾向があった。このような傾向を鑑み、より詳細に作業の状況に関する情報を取得可能な仕組みが求められていた。

本発明では、より詳細に作業の状況に関する情報を取得可能な管理システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の管理システムは、少なくともユーザが行っている動作のセンシング情報を取得する情報取得部と、前記情報取得部が取得した情報を外部に送信する送信部とを備える第１端末と、前記第１端末から得られる情報に基づいて特定された前記第１端末を保持するユーザの状況を示す情報を出力する管理システムであって、前記送信部が送信した情報を受信する受信部と、前記受信部が受信した情報に基づいて前記ユーザの状況を判定する判定部と、前記ユーザの状況を示す情報を表示する表示部とを備え、前記情報取得部は多軸センサを含み、前記表示部は、前記ユーザが行っている動作に対応するピクトグラムを表示する。

本発明の望ましい態様として、前記ユーザが行う複数の動作と当該複数の動作の各々に対応するセンシング情報との関係に関するデータを記憶する記憶部をさらに備え、前記判定部は、前記記憶部に記憶されているデータを参照し、前記センシング情報に基づいた前記ユーザの動作の特定に関する学習をニューラルネットワークによって行い、学習した結果から判定モデルを生成し、前記判定モデルを利用して、前記ユーザの状況を判定する。

本発明の望ましい態様として、前記情報取得部はマイクを含む。

本発明の望ましい態様として、前記情報取得部はマイクを含み、前記記憶部は、前記ユーザが行う動作に含まれる複数の工程の各々と音声との関係に関するデータをさらに記憶し、前記判定部は、前記ユーザの動作が前記複数の工程のうちどの工程に該当する動作であるか特定する。

本発明の望ましい態様として、前記情報取得部は前記ユーザの位置を測定する測位部を含み、前記表示部は、前記ユーザの位置を示す地図画像と共に前記ピクトグラムを表示する。

本発明の望ましい態様として、前記受信部及び前記判定部はサーバが備え、前記表示部は前記サーバと通信可能に設けられた第２端末が備える。

本発明によれば、より詳細に作業の状況に関する情報を取得できる。

図１は、実施形態の管理システムの主要構成を示すブロック図である。 図２は、表示部によるユーザの状況の表示出力例を示す図である。 図３は、停電復旧のために複数のチームが協働して行う作業の流れと、当該作業に含まれる工程ごとに生じうるユーザの動作に対応するピクトグラムと、当該作業に含まれる複数の工程の切り替わりのトリガーとなる音声との関係の一例を示す図である。

次に、本発明の実施形態を、図面を参照して詳細に説明する。図１は、実施形態の管理システム１の主要構成を示すブロック図である。管理システム１は、第１端末１０と、サーバ２０と、第２端末３０とを備える。管理システム１は、第１端末１０から得られる情報に基づいて、第１端末１０を保持するユーザの状況を特定し、特定されたユーザの状況を示す情報を出力する管理システムである。

図１では、サーバ２０と通信可能に設けられた１つの第１端末１０を例示しているが、管理システム１は、複数の第１端末１０がサーバ２０と通信可能に設けられる。管理システム１では、１人のユーザが１つの第１端末１０を保持することが想定されており、第１端末１０の数が管理システム１によって管理されるユーザの数に対応する。また、図１では、サーバ２０と通信可能に設けられた１つの第２端末３０を例示しているが、複数の第２端末３０が設けられてもよい。その場合、複数の第２端末３０は同様の出力を行う。また、図１では、サーバ２０が１つの構成として図示されているが、サーバ２０の具体的な構成は物理的に１つの装置によるものに限定されない。サーバ２０によって実現される機能は、ＬＡＮ（Local Area Network）等の通信網を介して通信可能に接続された複数の情報処理装置が協働して実現する機能であってもよい。

第１端末１０は、管理システム１によって動作を管理されるユーザが保有する。第１端末１０は、情報取得部１１と、通信部１２とを備える。具体的には、第１端末１０は、例えばスマートフォンやウェアラブルウェアのように、作業の管理対象となるユーザが個々に保持する携帯型の端末である。

情報取得部１１は、ユーザが行っている動作のセンシング情報を取得する。センシング情報とは、後述する多軸センサ１１ａ、マイク１１ｂ、測位部１１ｃのように、ユーザの動作に応じて変化しうるユーザの動作内容やユーザの現地位置に関する何らかの検知を可能に設けられた構成である。

図１に示す情報取得部１１は、多軸センサ１１ａ、マイク１１ｂ、測位部１１ｃを含む。多軸センサ１１ａは、互いに直交する複数の軸方向に沿う加速度の変化を検知する。実施形態では、多軸センサ１１ａの具体例として、互いに直交するＸ方向、Ｙ方向、Ｚ方向の３軸の加速度センサを利用している場合について説明するが、これに限られるものでなく、ユーザの動作に対応した多軸方向の加速度を検知可能な構成であればよい。多軸センサ１１ａは、加速度に加えて、角速度を検出してもよい。マイク１１ｂは、ユーザから発せられる音声及びユーザの周囲で生じる音声を電気信号に変換して出力するマイクロフォンである。測位部１１ｃは、第１端末１０を保持するユーザの位置を測定する。具体的には、測位部１１ｃは、例えばＧＰＳ（Global Positioning System）、準天頂衛星システム等、衛星からの電波を利用して位置を特定可能な測位システムの受信機であるが、これに限られるものでない。測位部１１ｃは、３以上の無線基地局からの電波に基づいて位置を測定する無線電波の送受信機であってもよいし、その他の方法で位置の測定を可能とする構成であってもよいし、これら列記した方法を併用する構成であってもよい。測位部１１ｃは、地磁気センサで、第１端末１０を保持するユーザの位置の緯度経度を出力し、気圧センサで、第１端末１０を保持するユーザの位置の標高を出力してもよい。

通信部１２は、サーバ２０と通信を行う。具体的には、通信部１２は、例えばＬＴＥ（Long Term Evolution）その他の規格に対応した移動体通信システムで移動機として機能するためのアンテナや回路等を含み、当該移動体通信システムを含む公共の通信端末網を介してサーバ２０と通信を行う。通信部１２は、このようなセルラー方式による通信を行う構成に限られず、例えばＷｉ－Ｆｉ（登録商標）のような無線通信に対応するためのＮＩＣ（Network Interface Controller）として機能するアンテナや回路等を含む構成であってもよいし、セルラー方式とＷｉ－Ｆｉ（登録商標）を併用可能な構成であってもよい。通信部１２は、情報取得部１１が取得した情報を外部に送信する送信部として機能する。

情報取得部１１によるセンシング情報の取得及び通信部１２による情報の送信は、周期的に繰り返し行われる。係る繰り返しの周期は任意であるが、事前の測定、シミュレーション等に基づいて、ユーザの状況の把握に必要な程度の周期として設定されることが好ましい。

サーバ２０は、通信部２１と、判定部２２と、記憶部２３とを備える。具体的には、サーバ２０は、例えば所謂ＰＣ（Personal Computer）、ワークステーション又はより高性能なサーバとして採用される情報処理装置であって、用途に応じてあらかじめ用意されたソフトウェア・プログラム及び当該ソフトウェア・プログラムの実行処理に伴い参照される各種のデータ（以下、プログラム等）を利用して各種の処理を行う。

通信部２１は、第１端末１０及び第２端末３０と通信を行う。具体的には、通信部２１は、例えばインターネットのような公共の通信端末網と接続して通信を行うためのＮＩＣとして機能する接続部（インタフェース）、アンテナ及び回路等を含む。通信部２１と公共の通信端末網とを接続するための通信回線は有線、無線及び有線と無線が混在した構成のいずれであってもよい。通信部２１は、通信部１２を介して第１端末１０から送信された情報を受信する受信部として機能する。

判定部２２は、通信部２１が受信した情報に基づいて、第１端末１０を保持するユーザの状況を判定する。具体的には、判定部２２は、例えばＣＰＵ（Central Processing Unit）等の演算装置を含み、上述のプログラム等を利用した演算処理によって第１端末１０を保持するユーザの状況を判定するための各種の処理を行う。判定部２２は、係る各種の処理のために専用の実装を施された回路であってもよい。

記憶部２３は、第１端末１０を保持するユーザが行う複数の動作と当該複数の動作の各々に対応するセンシング情報との関係に関するデータを記憶する。具体的には、記憶部２３は、例えばハードディスクドライブ（ＨＤＤ：Hard Disk Drive）やソリッドステートドライブ（ＳＳＤ：Solid State Drive）、フラッシュメモリのような記憶装置を含み、係る記憶装置に当該データを記憶する。判定部２２は、上述の判定に係る各種の処理に際して、記憶部２３に記憶されたデータを読み出す。なお、上述のプログラム等は、記憶部２３に記憶されていてもよいし、プログラム等の記憶のために用意された専用の構成に記憶されていてもよい。

第２端末３０は、通信部３１と、表示部３２とを備える。具体的には、第２端末３０は、例えば所謂タブレット端末と呼ばれるような表示機能を有する情報処理装置であるが、これに限られるものでなく、据え置き型又はノートパソコンのようなＰＣであってもよいし、ファブレットと呼ばれる端末であってもよいし、第１端末１０と同様のカテゴリの携帯型の端末であってもよい。

通信部３１は、サーバ２０と通信を行う。具体的には、通信部３１は、例えば通信部１２又は通信部２１と同様の構成であってもよいし、通信部１２と通信部２１の両方を含む構成であってもよい。

表示部３２は、通信部３１が受信した情報に基づいて、第１端末１０を保持するユーザの状況を示す情報を表示する。具体的には、表示部３２は、例えば液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等、コンピュータの表示装置として利用可能な表示パネルのいずれかを含む。表示部３２は、通信部３１が受信した情報に基づいて図示しない第２端末３０の演算部が行う処理に応じた表示出力を行う。

図２は、表示部３２によるユーザの状況の表示出力例を示す図である。表示部３２は、第１端末１０を保持するユーザが行っている動作に対応するピクトグラムＰＧを表示する。図２では、ピクトグラムＰＧの一例として、あるユーザが歩いていることを示すピクトグラムＰＧ１と、ピクトグラムＰＧ１で動作が示されているユーザとは異なるユーザが梯子等を利用して下方から上方に昇る動作を行っていることを示すピクトグラムＰＧ２を例示しているが、これに限られるものでない。表示部３２による表示では、後述する図３に示すような他のピクトグラムＰＧも利用されてよいし、その他のユーザの各種の動作に対応した図示しないピクトグラムも利用されてよい。なお、ピクトグラム（pictogram）とは、表したい情報に対応した単純な図を含む視覚記号である。本発明におけるピクトグラムという概念は、所謂ピクトグラフ（pictograph）、絵記号、絵文字、識別記号等のように、図２を参照して例示したピクトグラムＰＧ１，ＰＧ２と実質的に同様に機能するものを含む。

なお、「ユーザの動作」とは、ユーザ個人の肉体による能動的又は受動的な動作に限られるものでなく、例えば乗り物を利用したユーザの移動等も含む。すなわち、ユーザの移動という動作は、ユーザが歩いたり走ったりするものに限られず、乗り物を利用した移動も含む。

図２で例示するように、ピクトグラムＰＧは、ユーザの位置を示す地図画像Ｍと共に表示される。具体的には、地図画像Ｍ内におけるユーザの位置を示すマークＰ１，Ｐ２のようなシンボルと、当該シンボルを吹き出し元とする吹き出しが表示される。ピクトグラムＰＧは、係る吹き出し内で表示される。係るユーザの位置とは、測位部１１ｃによって測位された、第１端末１０を保持するユーザの位置である。ユーザの位置の特定及びユーザの位置に対応する地図画像Ｍの範囲の選定、選定された範囲の地図画像Ｍの画像データの取得に関する具体的な仕組みについては、例えば所謂カーナビゲーションシステムと同様の仕組みを採用可能である。

ピクトグラムＰＧとして表示される画像データや地図画像Ｍとして表示される画像データは、記憶部２３に記憶されていてもよいし、記憶部２３以外にサーバ２０又は第２端末３０が備える図示しない記憶装置に記憶されていてもよいし、通信を介してサーバ２０及び第２端末３０が参照できる図示しない情報処理装置の記憶装置に記憶されていてもよい。すなわち、係る画像データは、サーバ２０及び第２端末３０から所在を特定でき、参照できる状態で記憶されていればよい。

図２では、ピクトグラムＰＧ１が「歩く」動作を示すものであることを示すステータス情報ＳＴ１や、ピクトグラムＰＧ２が「昇る」動作を示すものであることを示すステータス情報ＳＴ２のような動作を示す文字または文字列がピクトグラムＰＧと併せて表示されているが、係る文字または文字列は省略可能である。

以下、図２を参照して説明したユーザの状況を示す表示出力を行うための具体的な機能構成例として、所謂ウェブサービスの方式が採用される場合について説明する。サーバ２０は、当該ウェブサービスを提供する機能を備える。当該ウェブサービスでは、複数のソフトウェア・コンポーネント（以下、単にコンポーネントと記載）が協働するよう設けられたＡＰＩ（Application Programming Interface）が利用される。係るコンポーネントとして、例えば、測位部１１ｃによって取得されたユーザの位置を示す情報に基づいて、ユーザの位置に対応する地点を範囲内に含む地図画像Ｍを表示するコンポーネント、係るコンポーネントの機能で表示された地図画像Ｍ内で当該ユーザの位置を示すマークＰ１，Ｐ２のようなシンボルを地図画像Ｍに重畳して表示させるコンポーネント、上述のシンボルを吹き出し元とする吹き出しを地図画像Ｍに重畳して表示させると共に、係るシンボルで示された位置にいるユーザが行っている動作に対応するピクトグラムＰＧを当該吹き出し内で地図画像Ｍに重畳して表示させるコンポーネント等が挙げられる。これらのコンポーネント及びＡＰＩに対応するプログラム等は、記憶部２３に記憶されていてもよいし、プログラム等の記憶のために用意された専用の構成に記憶されていてもよい。係るＷｅｂサービスを提供するための各種の処理は、判定部２２として機能するＣＰＵが行ってもよいし、当該ＣＰＵとは別個に設けられた専用の演算処理回路が行ってもよいが、以下の説明では判定部２２が行う場合を例として説明する。第２端末３０は、ウェブブラウザ等、ウェブサービスを利用可能なプログラム等を利用して、サーバ２０が提供するウェブサービスによって実現する表示出力を行う。

判定部２２は、測位部１１ｃによって取得されたユーザの位置を示す情報に基づいて、ユーザの位置に対応する地点を範囲内に含む地図画像Ｍ内で当該ユーザの位置を示すマークＰ１，Ｐ２のようなシンボル及び当該シンボルを吹き出し元とする吹き出しを表示出力するための命令を生成する。また、判定部２２は、情報取得部１１によって取得されたセンシング情報に基づいて特定されたユーザの動作に対応するピクトグラムＰＧを当該吹き出し内で表示出力するための命令を生成する。また、判定部２２は、これらの命令に対応するよう上述のＡＰＩを動作させる。

また、判定部２２は、測位部１１ｃによって周期的に取得されたユーザの位置を示す情報に基づいて、ユーザの移動の有無及びユーザが移動している場合の移動速度を算出する。具体的には、測位部１１ｃによって周期的に取得された複数回分のユーザの位置を示す情報が、ユーザの位置の変化を示していない場合、ユーザは移動していないものと判定される。一方、複数回分のユーザの位置を示す情報の変化が、ユーザの位置の変化を示している場合、判定部２２は、ユーザの位置を示す情報の周期に対応する時間と位置の変化量とに基づいて、ユーザの移動速度を算出する。係る移動速度は、後述する移動手段の判定に利用される。

以下、情報取得部１１が取得したセンシング情報に基づいてユーザの状況を判定して判定されたユーザの状況に対応するピクトグラムＰＧを決定するために判定部２２が行う処理について説明する。情報取得部１１によって取得されたセンシング情報が通信部１２、通信部２１を介して第１端末１０からサーバ２０に送信されると、判定部２２は、記憶部２３に記憶されているデータを参照し、ユーザの動作の特定に関する学習をニューラルネットワークＮＮによって行い、学習した結果から判定モデルを生成し、当該判定モデルを利用して、ユーザの状況を判定する。すなわち、係る学習は、所謂機械学習である。

具体的には、判定部２２は、情報取得部１１によって取得されたセンシング情報に含まれる各種のパラメータとユーザの状況との関連性についての重み付け評価を行うことが可能な判定モデルを生成する。ニューラルネットワークＮＮは、判定部２２の入力と出力との間に介在し、入力から出力を導出するための重み付けを行う隠れ層として機能する。ニューラルネットワークＮＮによって、入力されるデータであるセンシング情報に基づいて、ユーザの状況に関する重み付けに基づいた出力が可能になる判定モデルを構築する。

より具体的には、記憶部２３は、ユーザが行う複数の動作と当該複数の動作の各々に対応するセンシング情報との関係に関するデータを予め記憶している。係るデータは、例えば、情報取得部１１又は情報取得部１１と同様の構成を保持するユーザが実際に動作を行った場合に得られるセンシング情報を事前に確認しておくことによる事前測定や、係る事前測定と実質的に同等の状況を考慮したシミュレーション等によって得られる。具体例を挙げると、ユーザが歩く場合の身体運動に応じて得られるセンシング情報と、ユーザが走る場合に得られるセンシング情報とでは、多軸センサ１１ａが検知する多軸の加速度や、測位部１１ｃの検知結果に基づいて算出可能な移動速度等に差異が生じる。このような差異に基づいて、ユーザが歩く場合のセンシング情報の傾向と、ユーザが走る場合のセンシング情報の傾向とを区分して管理可能になる。ユーザが行う複数の動作として、後述する図３を参照して説明する「歩く」、「走る」、「昇る」、「作業」、「車両を利用した移動」、「停止」等が挙げられるが、これに限られるものでなく、ユーザが取り得るあらゆる作業について、動作とセンシング情報との関係に関するデータを設けることができる。事前測定やシミュレーションの回数については、ニューラルネットワークＮＮによるユーザの状況の判定精度を最低限以上確保できる程度の回数であればよいし、精度の向上を目的としてさらに回数を増やしてもよい。

ニューラルネットワークＮＮは、係るデータ、すなわち、ユーザが行う複数の動作と当該複数の動作の各々に対応するセンシング情報との関係に関するデータを利用して生成される。係るニューラルネットワークＮＮは、例えば、「ユーザが歩いている場合のセンシング情報と一致又は類似するセンシング情報が得られた場合に、それ以外の場合に比して高い点数を出力するニューロン」、「ユーザが走っている場合のセンシング情報と一致又は類似するセンシング情報が得られた場合に、それ以外の場合に比して高い点数を出力するニューロン」、「ユーザが（下方から上方に）昇る動作をしている場合のセンシング情報と一致又は類似するセンシング情報が得られた場合に、それ以外の場合に比して高い点数を出力するニューロン」、…、のように、各種の動作に対応したニューロンを含む。このようなニューロンの各々が出力する点数の高低に基づいて、判定部２２は、情報取得部１１によって取得されたセンシング情報に含まれる各種のパラメータとユーザの状況との関連性についての重み付け評価を行う。例えば、ユーザが歩いている場合に得られたセンシング情報が情報取得部１１によって得られてサーバ２０に送信された場合、ニューラルネットワークＮＮの入力として当該センシング情報が入力されることでニューラルネットワークＮＮの出力として「ユーザが歩いている」ことを示す判定結果により高い点数が付けられる、という重みづけ評価が行われる。ユーザが他の動作を行っている場合についても、係る他の動作を行っていることを示す判定結果により高い点数が付けられることになる。判定部２２は、このようなニューラルネットワークＮＮによる重み付け評価を利用して判定モデルを構築しユーザの状況を判定する。

また、移動速度に基づいたユーザの移動の具体的態様についても、ニューラルネットワークＮＮを利用するようにしてもよい。その場合、ニューラルネットワークＮＮは、例えば、「ユーザが歩いている場合の移動速度と一致又は類似する複数回のセンシング情報が得られた場合に、それ以外の場合に比して高い点数を出力するニューロン」、「ユーザが走っている場合の移動速度と一致又は類似する複数回のセンシング情報が得られた場合に、それ以外の場合に比して高い点数を出力するニューロン」、「ユーザが車両を利用して移動している場合の移動速度と一致又は類似する複数回のセンシング情報が得られた場合に、それ以外の場合に比して高い点数を出力するニューロン」、…、のように、移動の具体的態様の各々に対応したニューロンを含む。このようなニューロンの各々が出力する点数の高低に基づいて、判定部２２は、情報取得部１１によって取得された複数回のセンシング情報に基づいて算出された移動速度とユーザの状況との関連性についての重み付け評価を行う。

実施形態の記憶部２３は、ユーザが行う動作に含まれる複数の工程の各々と音声との関係に関するデータをさらに記憶する。係る記憶部２３に記憶されたデータに基づいて、判定部２２は、ユーザの動作が複数の工程のうちどの工程に該当する動作であるか特定する。このような複数の工程と音声との関係について、図３を参照して説明する。

図３は、停電復旧のために複数のチームが協働して行う作業の流れと、当該作業に含まれる工程ごとに生じうるユーザの動作に対応するピクトグラムと、当該作業に含まれる複数の工程の切り替わりのトリガーとなる音声との関係の一例を示す図である。

図３に示す例では、「現場確認をする」という発声により生じる音声よりも前に行われるユーザの動作として「現場への移動」のための「車両を利用した移動」が例示されている。また、「現場確認をする」という発声により生じる音声の後であって、「開閉器をきれ」という発声により生じる音声よりも前に行われるユーザの動作として「停止」、「歩く」、「走る」、「車両を利用した移動」が例示されている。また、「開閉器をきれ」という発声により生じる音声の後であって、「開閉器をきりました」という発声により生じる音声よりも前に行われるユーザの動作として「停止」、「作業」が例示されている。また、「作業はじめ」という発声により生じる音声の後であって、「作業やめよ」という発声により生じる音声よりも前に行われるユーザの動作として「停止」、「歩く」、「昇る」、「作業」が例示されている。また、「作業やめよ」という発声により生じる音声の後であって、「開閉器を入れよ」という発声により生じる音声よりも前に行われるユーザの動作として「停止」、「歩く」が例示されている。また、「開閉器を入れよ」という発声により生じる音声の後であって、「開閉器をいれました」という発声により生じる音声よりも前に行われるユーザの動作として「停止」、「作業」が例示されている。

情報取得部１１によるセンシング情報の取得及び判定部２２によるユーザの状況の判定が開始されてから、マイク１１ｂによって「現場確認をする」という音声が取得されるまでは、ユーザが取り得る動作が「車両を利用した移動」に限定されるものとして扱われる。すなわち、判定部２２は、マイク１１ｂによって「現場確認をする」という音声が取得されるまでは、第１端末１０を保持するユーザの動作が「車両を利用した移動」であるものとして判定し、地図画像Ｍ上に「車両を利用した移動」に対応するピクトグラムＰＧを表示させ、図２におけるマークＰ１，Ｐ２のようなユーザの位置表示箇所を移動させるよう表示出力内容を制御する。

マイク１１ｂによって「現場確認をする」という音声が取得された後、判定部２２は、作業の工程が切り替わったと判定する。具体的には、マイク１１ｂによって「現場確認をする」という音声が取得された後、「開閉器をきれ」という音声が取得されるまでは、ユーザが取り得る動作が「停止」、「歩く」、「走る」、「車両を利用した移動」のいずれかであるものとされる。判定部２２は、マイク１１ｂによって「現場確認をする」という音声が取得された後、「開閉器をきれ」という音声が取得されるまでは、第１端末１０を保持するユーザの動作が「停止」、「歩く」、「走る」、「車両を利用した移動」のいずれであるかがニューラルネットワークＮＮを利用して判定部２２により判定される。判定された第１端末１０を保持するユーザの動作に、対応するピクトグラムＰＧ及びユーザの位置表示が地図画像Ｍ上で行うよう表示出力内容を判定部２２が制御する。

以降、同様に、判定部２２は、音声をトリガーとして区分される各工程のユーザの動作を工程毎に判定する。具体的には、マイク１１ｂによって「開閉器をきれ」という音声が取得された後、「開閉器をきりました」という音声が取得されるまでは、第１端末１０を保持するユーザの動作が「停止」、「作業」のいずれであるかがニューラルネットワークＮＮを利用して判定部２２により判定される。判定された第１端末１０を保持するユーザの動作に、対応するピクトグラムＰＧ及びユーザの位置表示を地図画像Ｍ上で行うよう表示出力内容を判定部２２が制御する。また、マイク１１ｂによって「作業はじめ」という音声が取得された後、「作業やめよ」という音声が取得されるまでは、第１端末１０を保持するユーザの動作が「停止」、「歩く」、「昇る」、「作業」のいずれであるかがニューラルネットワークＮＮを利用して判定部２２により判定され、対応するピクトグラムＰＧ及びユーザの位置表示を地図画像Ｍ上で行うよう表示出力内容を判定部２２が制御する。また、マイク１１ｂによって「作業やめよ」という音声が取得された後、「開閉器を入れよ」という音声が取得されるまでは、第１端末１０を保持するユーザの動作が「停止」、「歩く」のいずれであるかがニューラルネットワークＮＮを利用して判定部２２により判定される。判定された第１端末１０を保持するユーザの動作に、対応するピクトグラムＰＧ及びユーザの位置表示を地図画像Ｍ上で行うよう表示出力内容を制御する。また、マイク１１ｂによって「開閉器を入れよ」という音声が取得された後、「開閉器をいれました」という音声が取得されるまでは、第１端末１０を保持するユーザの動作が「停止」、「作業」のいずれであるかがニューラルネットワークＮＮを利用して判定部２２により判定される。判定された第１端末１０を保持するユーザの動作に、対応するピクトグラムＰＧ及びユーザの位置表示を地図画像Ｍ上で行うよう表示出力内容を判定部２２が制御する。

このような音声をトリガーとした工程毎の判定について、判定部２２は、各工程に個別に対応した判定モデルを生成し、工程毎に対応した判定モデルを利用してユーザの動作を判定するようにしてもよい。また、図３では、Ａ班、Ｂ班、Ｃ班のように複数のユーザがグループ分けされているが、各グループのユーザが取り得る動作をグループ単位で区分して、判定結果として生じうるユーザの動作をグループ単位で限定するようにしてもよい。例えば、図３に示す例では、マイク１１ｂによって「現場確認をする」という音声が取得された後、「開閉器をきれ」という音声が取得されるまで、Ｂ班では「車両を利用した移動」が生じない。従って、判定部２２は、「現場確認をする」という音声が取得された後、「開閉器をきれ」という音声が取得されるまでの工程におけるＢ班のユーザの動作は、「停止」、「歩く」、「走る」のいずれかであるものとして判定結果を限定するようにしてもよい。このようなグループ単位でのユーザの動作の区分を行う場合、各ユーザが保持する第１端末１０から送信される情報にグループを識別するための識別情報を付加し、判定部２２が当該識別情報に基づいてセンシング情報とユーザのグループとの関係を管理する。従って、この場合、予め記憶部２３に識別情報とグループとの対応関係を示すデータがさらに記憶される。また、図３ではグループ単位の場合の区分の例を示しているが、ユーザ単位の区分を行ってもよい。その場合、予め記憶部２３に識別情報とユーザとの対応関係を示すデータがさらに記憶される。

また、管理システム１は、音声をトリガーとして切り替わる工程に対応する表示出力をするよう設けられていてもよい。この場合、図２の工程表示Ｆで例示するように、工程を示す表示出力が行われる。この場合、工程を示すための表示出力内容に対応するデータ（画像データ、文字又は文字列等）が予め用意され、記憶部２３等の記憶装置に記憶されている。

なお、判定部２２が生成して利用する判定モデルは複数であってもよい。例えば、判定部２２は、ユーザの動作に「大分類」と「小分類」のような段階的な分類を行い、「大分類」に属する大まかな動作を判定するための第１の判定モデルと、「小分類」に属するより細かな動作を判定するための第２の判定モデルとを個別に生成してもよい。この場合、判定部２２は、第１の判定モデルを利用してユーザの大まかな動作を判定し、第２の判定モデルを利用してユーザのより細かな動作を判定する。このような段階的なユーザの動作の分類に対応した判定を行うことで、要求される動作の判定区分の細かさと判定に係る処理負荷の制御とのバランスを取りやすくなる。図３を参照した例を挙げると、「作業」が生じる工程では第２の判定モデルを利用してユーザのより細かな動作を判定するようにし、それ以外では第１の判定モデルのみを利用してユーザの大まかな動作を判定するといった活用が挙げられる。

大分類としては、「立つ」、「歩く」、「走る」、「昇る」、「作業する」等が一例として挙げられる。小分類としては、係る大分類にさらに追加して「（物を）運ぶ」、「（上方から下方に）降りる」、「（物を）持ち上げる」、「（持ち上げた物を）下げる」、「手先を動かして作業する」、「水平移動する」、「停止」等が含まれることが一例として挙げられる。複数のニューラルネットワークＮＮが利用される場合の動作の分類は係る一例に限られるものでないし、３つ以上のｎ個のニューラルネットワークＮＮが生成して利用されるようにしてもよい。その場合、ユーザの動作の分類はｎ段階に分けられる。ｎは、３以上の自然数である。

また、上述のような複数のニューラルネットワークＮＮを利用した段階的なユーザの動作の判定について、表示部３２を視認する管理者がどの段階の判定モデルでユーザの動作を判定するか指定可能にしてもよい。その場合、判定の段階（粒度）を指示するための入力が可能な構成が設けられる。係る構成として、例えば表示部３２と一体的に設けられたタッチパネルや、第２端末３０に設けられたマイクロフォンのような音声入力装置が挙げられる。また、係る構成を利用して、一部又は全部のユーザについて、動作の判定の更新を停止／再開することを指示可能に設けられてもよい。その場合、予め動作の判定の更新を停止／再開するための命令パターンが設けられ、当該命令パターンに対応した入力が行われることで動作の判定の更新の停止／再開が行われる。さらに、周期的なユーザの動作の判定の更新が行われている場合に、表示部３２における表示出力の更新頻度についても指示可能であってもよい。

以上、第１端末１０からサーバ２０にセンシング情報が送信されるという一方的なデータの流れを前提として実施形態を説明したが、表示部３２を視認した管理者が第１端末１０を保持するユーザに対して情報伝達を行う機能がさらに付加されていてもよい。例えば、図３を参照して説明した一連の作業中に管理者が作業を中止させる指示を行いたいと判断した場合に対応するため、係る指示内容に対応したアラート情報を第２端末３０から第１端末１０に送信できるようにしてもよい。この場合、第２端末３０は、アラート情報を送信するための入力が可能な構成が設けられる。係る構成として、例えば表示部３２と一体的に設けられたタッチパネルや、第２端末３０に設けられたマイクロフォンのような音声入力装置が挙げられる。また、この場合、第１端末１０でアラート情報を出力するための構成が設けられる。係る構成として、例えば表示部３２と同様の表示出力部や、スピーカのような音声出力装置が挙げられる。アラート情報の送信経路は、サーバ２０を介した通信経路であってもよいし、第２端末３０から第１端末１０へとダイレクトで接続された通信経路であってもよい。

また、管理システム１は、最新のユーザの状況に関する表示出力に限らず、過去のユーザの状況を表示可能にしてもよい。その場合、例えば、図２に示すような表示部３２の表示態様に過去の状況を表示するよう指示するための入力欄がさらに設けられる。係る入力欄として、例えば表示したい過去の時点を指定するためのプルダウンメニュー等が挙げられるが、これに限られるものでなく、具体的な態様は任意である。また、過去のユーザの状況が表示される場合、図２に示す吹き出しに付加された「最新」の文字がなくなる等、表示されているユーザの状況が最新であるか否かを識別可能とするように表示態様が変更されるようにしてもよい。

以上、実施形態によれば、センシング情報に基づいてユーザの状況を判定できる。従って、ユーザ毎に個別の状況を、各ユーザが保持する第１端末１０から得られる。従って、より詳細に作業の状況に関する情報を取得できる。

また、ニューラルネットワークＮＮを利用することで、より細かなユーザの動作の分類に対応可能になる。さらに、最新のセンシング情報に基づいた再度の学習を反復的に行うことで、ユーザの動作の判定精度をより高められる。

また、マイク１１ｂを利用することで、音声に基づいたユーザの状況の判定が可能になる。

また、マイク１１ｂを利用し、ユーザが行う動作に含まれる複数の工程の各々とマイク１１ｂが取得する音声との関係に基づいてユーザの動作が複数の工程のうちどの工程に該当する動作であるか特定するようにすることで、予め定められた作業の流れのうちどの工程が行われているかを容易に把握可能になる。さらに、図３を参照して説明したような、複数のユーザを含む複数のグループによる作業を、表示部３２による表示出力によって統括的に管理可能になる。すなわち、複数のユーザを含む複数のグループによる作業の状況がピクトグラムＰＧを利用して１つの地図画像Ｍ内に表示されることによって、作業の全体状況の把握が容易になる。

また、測位部１１ｃを利用し、ユーザの位置を示す地図画像Ｍと共にピクトグラムＰＧを表示するようにすることで、地図画像ＭとピクトグラムＰＧに基づいて容易にユーザの状況把握が可能になる。

また、判定に係るサーバ２０と表示に係る第２端末３０とを個別に設けることで、管理者が利用する第２端末３０の小型化（可搬性の向上等）がより容易になる。

なお、上記の実施形態はあくまで一例であり、本発明の技術的特徴を逸脱しない範囲内において適宜変更可能である。例えば、上述の実施形態では所謂ウェブサービスの方式が採用される場合について説明したが、図２を参照して説明したような表示出力は、他の方式が採用されてもよい。例えば、サーバ２０は、第２端末３０で実行される専用のアプリケーションソフトウェアで表示出力可能な専用の表示データを出力する機能を備えていてもよい。この場合、当該専用の表示データが、図２を参照して説明したような表示出力内容に対応する表示データになる。また、サーバ２０と第２端末３０とは一体的な構成であってもよい。

１ 管理システム
１０ 第１端末
１１ 情報取得部
１１ａ 多軸センサ
１１ｂ マイク
１１ｃ 測位部
１２，２１，３１ 通信部
２０ サーバ
２２ 判定部
２３ 記憶部
３０ 第２端末
３２ 表示部

Claims (4)

1. 少なくともユーザが行っている動作のセンシング情報を取得する情報取得部と、前記情報取得部が取得した情報を外部に送信する送信部とを備える第１端末と、前記第１端末から得られる情報に基づいて特定された前記第１端末を保持するユーザの状況を示す情報を出力する管理システムであって、
   前記送信部が送信した情報を受信する受信部と、
   前記受信部が受信した情報に基づいて前記ユーザの状況を判定する判定部と、
   前記ユーザの状況を示す情報を表示する表示部と、
   前記ユーザが行う複数の動作と当該複数の動作の各々に対応するセンシング情報との関係に関するデータを記憶する記憶部とを備え、
   前記情報取得部は多軸センサを含み、
   前記表示部は、前記ユーザが行っている動作に対応するピクトグラムを表示し、
   前記情報取得部はマイクを含み、
   前記記憶部は、前記ユーザが行う動作と音声との関係を、予め定められた複数の工程の各々で個別に対応付けしたデータを記憶し、
   前記複数の工程は、予め定められた作業開始を示す音声をトリガーとして開始され、予め定められた作業終了を示す音声をトリガーとして終了され、かつ、当該開始と当該終了との間に行われる作業と、当該作業以外の動作と、を含み、
   前記判定部は、前記記憶部に記憶されているデータを参照し、前記センシング情報に基づいた前記ユーザの動作の特定に関する学習をニューラルネットワークによって行い、学習した結果から判定モデルを前記複数の工程の各々で個別に生成し、前記判定モデルを利用して前記ユーザの状況を判定し、前記マイクを介して取得された音声に基づいて前記判定モデルを利用した前記ユーザの状況の判定に際して前記複数の工程のうちいずれの判定モデルを利用するかを決定し、
   前記判定モデルは、前記作業以外の動作に適用される第１の判定モデルと、前記作業に適用される判定モデルであって前記第１の判定モデルよりも動作の分類がより多い第２の判定モデルと、を含み、
   前記第２の判定モデルで分類される動作は、前記第１の判定モデルで分類される動作を含む、
   管理システム。
2. 前記第１の判定モデルは、「立つ」、「歩く」、「走る」、「昇る」、「作業する」の動作を分類できる判定モデルであり、
   前記第２の判定モデルは、前記第１の判定モデルで分類できる動作に加えて、さらに、「物を運ぶ」、「上方から下方に降りる」、「物を持ち上げる」、「持ち上げた物を下げる」、「手先を動かして作業する」、「水平移動する」、「停止」の動作を分類できる判定モデルである、
   請求項１に記載の管理システム。
3. 前記情報取得部は前記ユーザの位置を測定する測位部を含み、
   前記表示部は、前記ユーザの位置を示す地図画像と共に前記ピクトグラムを表示する
   請求項１又は２に記載の管理システム。
4. 前記受信部及び前記判定部はサーバが備え、
   前記表示部は前記サーバと通信可能に設けられた第２端末が備える
   請求項１から３のいずれか一項に記載の管理システム。

Images