JP7333242B2 - 作業安全管理システム、安全判定装置、作業安全管理方法、及びコンピュータプログラム - Google Patents
作業安全管理システム、安全判定装置、作業安全管理方法、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP7333242B2 JP7333242B2 JP2019187693A JP2019187693A JP7333242B2 JP 7333242 B2 JP7333242 B2 JP 7333242B2 JP 2019187693 A JP2019187693 A JP 2019187693A JP 2019187693 A JP2019187693 A JP 2019187693A JP 7333242 B2 JP7333242 B2 JP 7333242B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- worker
- safety
- image
- work
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、作業安全管理システム、端末装置、安全判定装置、作業安全管理方法、及びコンピュータプログラムに関する。
データセンター、ネットワークセンターなどの施設内には、サーバー装置、ストレージ装置、ネットワーク装置などの精密機器が多数配備されている。仮に、多数の精密機器のいずれかに障害が発生した場合には、その障害が発生した精密機器によって提供されているサービスの一時中断、サービスの停止などの甚大な影響が生じるおそれがある。データセンター、ネットワークセンターなどの施設では、作業員によって、作業が行われる。
作業者による作業に関して、一日の作業工程を遅らせることなく予定通りに実施することができる技術が知られている（例えば、特許文献１参照）。この技術では、作業内容が順序に従って表示された作業内容表示と、各作業内容に対応した時刻が表示された時刻表示とを備えた作業手順マニュアルを予め用意し、作業者はこの作業手順マニュアル基づいて施工作業を行う。
作業者による作業に関して、一日の作業工程を遅らせることなく予定通りに実施することができる技術が知られている（例えば、特許文献１参照）。この技術では、作業内容が順序に従って表示された作業内容表示と、各作業内容に対応した時刻が表示された時刻表示とを備えた作業手順マニュアルを予め用意し、作業者はこの作業手順マニュアル基づいて施工作業を行う。
精密機器の障害の原因は様々である。例えば、作業員の行動や服装が原因で精密機器の障害に繋がる場合がある。このため、作業員の行動や服装に関して社内規定を設けているケースも多い。
例えば、作業員の服装について、以下を禁止する社内規定が挙げられる。
・作業服を着用していない、作業服の前が開いている、袖まくりしている
・安全靴を着用していない
・貴金属類（腕時計・指輪等）を着用している
このような社内規定を順守するため、作業前に、作業員が自分自身の服装、同僚の服装を確認している。しかし、作業時間に余裕がない場合、作業に慣れてきた場合には、作業員の服装の確認が疎かになるおそれがある。
本発明は、このような事情を考慮してなされたものであり、その目的は、作業員に対して作業を許可するか否かを判定できる作業安全管理システム、端末装置、安全判定装置、作業安全管理方法、及びコンピュータプログラムを提供することにある。
例えば、作業員の服装について、以下を禁止する社内規定が挙げられる。
・作業服を着用していない、作業服の前が開いている、袖まくりしている
・安全靴を着用していない
・貴金属類（腕時計・指輪等）を着用している
このような社内規定を順守するため、作業前に、作業員が自分自身の服装、同僚の服装を確認している。しかし、作業時間に余裕がない場合、作業に慣れてきた場合には、作業員の服装の確認が疎かになるおそれがある。
本発明は、このような事情を考慮してなされたものであり、その目的は、作業員に対して作業を許可するか否かを判定できる作業安全管理システム、端末装置、安全判定装置、作業安全管理方法、及びコンピュータプログラムを提供することにある。
（１）本発明の一態様は、端末装置とサーバー装置とを備えた作業安全管理システムであって、端末装置は、作業員の画像を取得する取得部と、前記取得部が取得した前記画像の画像データをサーバー装置へ送信する第１送信部と、前記サーバー装置が送信した注意情報を受信する第１受信部と、前記第１受信部が受信した前記注意情報を、作業員に通知する処理部と、距離を検出する距離検出部と、前記端末装置を移動させる移動部とを備え、前記取得部は、前記移動部が前記端末装置を移動させることによって、前記距離検出部が検出した前記作業員との間の距離が、距離閾値以下となった場合に、前記作業員の前記画像を取得し、前記サーバー装置は、前記端末装置が送信した前記画像データを受信する第２受信部と、前記第２受信部が受信した前記画像データに基づいて、前記作業員の安全性を判定する判定部と、前記判定部によって、安全性に問題があると判定された場合に、前記注意情報を作成する作成部と、前記作成部が作成した前記注意情報を前記端末装置へ送信する第２送信部とを備え、前記判定部は、前記画像データを処理することによって得られる画像から前記作業員の体の部位を検出し、検出した前記部位の画像と判定内容に応じた学習モデルとに基づいて、安全性を判定し、前記学習モデルは、撮像部が撮像することによって生成された画像と判定内容との関係を学習したものである、作業安全管理システムである。
（２）本発明の一態様は、上記（１）に記載の作業安全管理システムにおいて、前記処理部は、前記作業員に指示を通知し、前記取得部は、前記処理部が、前記作業員に前記指示を通知した後に、前記作業員の前記画像を取得する。
（３）本発明の一態様は、上記（１）又は上記（２）に記載の作業安全管理システムにおいて、前記作成部は、前記判定部によって、前記作業員の安全性の判定が困難であると判定された場合に、安全性の判定が困難であることを通知するための情報を作成し、前記第２送信部は、前記作成部が作成した安全性の判定が困難であることを通知するための前記情報を、前記端末装置へ送信し、前記第１受信部は、前記第２送信部が送信した安全性の判定が困難であることを通知するための前記情報を受信し、前記処理部は、前記第１受信部が受信した安全性の判定が困難であることを通知するための前記情報を、作業員に通知し、前記取得部は、前記処理部が、安全性の判定が困難であることを通知するための前記情報を、作業員に通知した後に、前記作業員の前記画像を取得する。
（４）作業員の安全性を判定する安全判定装置であって、作業員の画像を取得する取得部と、前記取得部が取得した前記画像に基づいて、前記作業員の安全性を判定する判定部と、前記判定部によって、安全性に問題があると判定された場合に、注意情報を作成する作成部と、前記作成部が作成した前記注意情報を、作業員に通知する処理部と、距離を検出する距離検出部と、前記安全判定装置を移動させる移動部とを備え、前記取得部は、前記移動部が前記安全判定装置を移動させることによって、前記距離検出部が検出した前記作業員との間の距離が、距離閾値以下となった場合に、前記作業員の前記画像を取得する、安全判定装置である。
（２）本発明の一態様は、上記（１）に記載の作業安全管理システムにおいて、前記処理部は、前記作業員に指示を通知し、前記取得部は、前記処理部が、前記作業員に前記指示を通知した後に、前記作業員の前記画像を取得する。
（３）本発明の一態様は、上記（１）又は上記（２）に記載の作業安全管理システムにおいて、前記作成部は、前記判定部によって、前記作業員の安全性の判定が困難であると判定された場合に、安全性の判定が困難であることを通知するための情報を作成し、前記第２送信部は、前記作成部が作成した安全性の判定が困難であることを通知するための前記情報を、前記端末装置へ送信し、前記第１受信部は、前記第２送信部が送信した安全性の判定が困難であることを通知するための前記情報を受信し、前記処理部は、前記第１受信部が受信した安全性の判定が困難であることを通知するための前記情報を、作業員に通知し、前記取得部は、前記処理部が、安全性の判定が困難であることを通知するための前記情報を、作業員に通知した後に、前記作業員の前記画像を取得する。
（４）作業員の安全性を判定する安全判定装置であって、作業員の画像を取得する取得部と、前記取得部が取得した前記画像に基づいて、前記作業員の安全性を判定する判定部と、前記判定部によって、安全性に問題があると判定された場合に、注意情報を作成する作成部と、前記作成部が作成した前記注意情報を、作業員に通知する処理部と、距離を検出する距離検出部と、前記安全判定装置を移動させる移動部とを備え、前記取得部は、前記移動部が前記安全判定装置を移動させることによって、前記距離検出部が検出した前記作業員との間の距離が、距離閾値以下となった場合に、前記作業員の前記画像を取得する、安全判定装置である。
（５）本発明の一態様は、作業員の安全性を判定する安全判定装置が実行する作業安全管理方法であって、作業員の画像を取得するステップと、前記取得するステップで取得した前記画像に基づいて、前記作業員の安全性を判定するステップと、前記判定するステップで、安全性に問題があると判定された場合に、注意情報を作成するステップと、前記作成するステップで作成した前記注意情報を、作業員に通知するステップと、距離を検出するステップと、前記安全判定装置を移動させるステップと、前記移動させるステップで前記安全判定装置を移動させることによって、前記距離を検出するステップで検出した前記作業員との間の距離が、距離閾値以下となった場合に、前記作業員の前記画像を取得するステップとを有する、安全判定装置が実行する作業安全管理方法である。
（６）本発明の一態様は、コンピュータに、作業員の画像を取得する取得部と、前記取得部が取得した前記画像に基づいて、前記作業員の安全性を判定する判定部と、前記判定部によって、安全性に問題があると判定された場合に、注意情報を作成する作成部と、前
記作成部が作成した前記注意情報を、作業員に通知する処理部として機能させ、前記コンピュータは、前記取得部として機能させる場合に、移動部が安全判定装置を移動させることによって、距離検出部が検出した前記作業員との間の距離が、距離閾値以下となった場合に、前記作業員の前記画像を取得する、コンピュータプログラムである。
記作成部が作成した前記注意情報を、作業員に通知する処理部として機能させ、前記コンピュータは、前記取得部として機能させる場合に、移動部が安全判定装置を移動させることによって、距離検出部が検出した前記作業員との間の距離が、距離閾値以下となった場合に、前記作業員の前記画像を取得する、コンピュータプログラムである。
本発明によれば、作業員に対して作業を許可するか否かを判定できる作業安全管理システム、端末装置、安全判定装置、作業安全管理方法、及びコンピュータプログラムを提供できる。
次に、本実施形態の作業安全管理システム、端末装置、安全判定装置、作業安全管理方法、及びコンピュータプログラムを、図面を参照しつつ説明する。以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。
（第１の実施形態）
（作業安全管理システム）
図１は、本発明の第１の実施形態に係る作業安全管理システムの構成例を示す図である。図１において、作業安全管理システム１は、端末装置１００－１から端末装置１００－ｎ（ｎは、ｎ＞１の整数）と、データセンター１０とを備える。端末装置１００－１から端末装置１００－ｎは、それぞれ作業員Ｗ－１から作業員Ｗ－ｎによって携帯される。
端末装置１００－１から端末装置１００－ｎの各々と、データセンター１０とは、通信網ＮＷを介して互いに、接続される。通信網ＮＷは、例えば、無線基地局、Ｗｉ－Ｆｉアクセスポイント、通信回線、プロバイダ、インターネットなどを含む。なお、通信網ＮＷは、一部にローカルなネットワークを含んでもよい。
（作業安全管理システム）
図１は、本発明の第１の実施形態に係る作業安全管理システムの構成例を示す図である。図１において、作業安全管理システム１は、端末装置１００－１から端末装置１００－ｎ（ｎは、ｎ＞１の整数）と、データセンター１０とを備える。端末装置１００－１から端末装置１００－ｎは、それぞれ作業員Ｗ－１から作業員Ｗ－ｎによって携帯される。
端末装置１００－１から端末装置１００－ｎの各々と、データセンター１０とは、通信網ＮＷを介して互いに、接続される。通信網ＮＷは、例えば、無線基地局、Ｗｉ－Ｆｉアクセスポイント、通信回線、プロバイダ、インターネットなどを含む。なお、通信網ＮＷは、一部にローカルなネットワークを含んでもよい。
作業員Ｗ－１から作業員Ｗ－ｎとは、それぞれ端末装置１００－１から端末装置１００－ｎを操作することによって、端末装置１００－１から端末装置１００－ｎの各々では、作業安全管理システム１を利用するためのアプリケーションプログラム、或いはブラウザなどが起動し、安全管理サービスをサポートする。端末装置１００－１から端末装置１００－ｎの各々は、アプリケーションプログラム（安全管理サービス利用アプリ）が起動していることを前提とする。安全管理サービス利用アプリは、作業員Ｗ－１から作業員Ｗ－ｎの各々の操作に応じてデータセンター１０と通信し、データセンター１０から受信した応答に基づく処理を行う。
端末装置１００－１から端末装置１００－ｎの各々は、データセンター１０へアクセスする。データセンター１０は、端末装置１００－１から端末装置１００－ｎの各々がアクセスしたことによって、作業員Ｗ－１から作業員Ｗ－ｎの各々の入退室を管理する。データセンター１０は、作業ＩＤと、作業内容と、作業を許可するか否かのチェック項目とを関連付けた作業ＤＢを記憶している。作業員Ｗ－１から作業員Ｗ－ｎとが、それぞれ端末装置１００－１から端末装置１００－ｎを操作することによって、端末装置１００－１から端末装置１００－ｎは、作業ＩＤと含む作業通知を作成し、作成した作業通知を、データセンター１０へ送信する。データセンター１０は、端末装置１００－１から端末装置１００－ｎの各々が送信した作業通知を受信し、受信した作業通知に含まれる作業ＩＤを取得する。データセンター１０は、取得した作業ＩＤに関連付けて記憶されている作業を許可するか否かのチェック項目を示す情報を取得し、取得した作業を許可するか否かのチェック項目を含み、作業通知を送信した端末装置を宛先とする作業応答を作成する。データセンター１０は、作成した作業応答を、作業通知を送信した端末装置へ送信する。
端末装置１００－１から端末装置１００－ｎの各々は、データセンター１０へアクセスする。データセンター１０は、端末装置１００－１から端末装置１００－ｎの各々がアクセスしたことによって、作業員Ｗ－１から作業員Ｗ－ｎの各々の入退室を管理する。データセンター１０は、作業ＩＤと、作業内容と、作業を許可するか否かのチェック項目とを関連付けた作業ＤＢを記憶している。作業員Ｗ－１から作業員Ｗ－ｎとが、それぞれ端末装置１００－１から端末装置１００－ｎを操作することによって、端末装置１００－１から端末装置１００－ｎは、作業ＩＤと含む作業通知を作成し、作成した作業通知を、データセンター１０へ送信する。データセンター１０は、端末装置１００－１から端末装置１００－ｎの各々が送信した作業通知を受信し、受信した作業通知に含まれる作業ＩＤを取得する。データセンター１０は、取得した作業ＩＤに関連付けて記憶されている作業を許可するか否かのチェック項目を示す情報を取得し、取得した作業を許可するか否かのチェック項目を含み、作業通知を送信した端末装置を宛先とする作業応答を作成する。データセンター１０は、作成した作業応答を、作業通知を送信した端末装置へ送信する。
端末装置１００－１から端末装置１００－ｎの各々は、データセンター１０が送信した作業応答を受信し、受信した作業応答に含まれるチェック項目を取得する。ここでは、一例として、端末装置１００－１の動作について説明を続ける。また、ここでは、一例として、端末装置１００－１から端末装置１００－ｎの各々が受信する作業応答に同様のチェック項目が含まれる場合について説明を続ける。
作業員Ｗ－１は、端末装置１００－１を操作することによって、作業員Ｗ－１から作業員Ｗ－ｎのいずれかを撮像する。ここでは、一例として、作業員Ｗ－１が、端末装置１００－１を操作することによって、作業員Ｗ－ｎを撮像する。端末装置１００－１は、作業員Ｗ－ｎを撮像することによって、作業員Ｗ－ｎが写っている画像を取得する。端末装置１００－１は、取得した画像と、取得したチェック項目とに基づいて、作業員Ｗ－ｎの安全性を判定する。端末装置１００－１は、作業員Ｗ－ｎの安全性の判定結果を出力する。
以下、作業安全管理システム１に含まれる端末装置１００－１から端末装置１００－ｎについて説明する。端末装置１００－１から端末装置１００－ｎのうち、任意の端末装置を、端末装置１００と記載する。作業員Ｗ－１から作業員Ｗ－ｎのうち、任意の作業員を、作業員Ｗと記載する。
作業員Ｗ－１は、端末装置１００－１を操作することによって、作業員Ｗ－１から作業員Ｗ－ｎのいずれかを撮像する。ここでは、一例として、作業員Ｗ－１が、端末装置１００－１を操作することによって、作業員Ｗ－ｎを撮像する。端末装置１００－１は、作業員Ｗ－ｎを撮像することによって、作業員Ｗ－ｎが写っている画像を取得する。端末装置１００－１は、取得した画像と、取得したチェック項目とに基づいて、作業員Ｗ－ｎの安全性を判定する。端末装置１００－１は、作業員Ｗ－ｎの安全性の判定結果を出力する。
以下、作業安全管理システム１に含まれる端末装置１００－１から端末装置１００－ｎについて説明する。端末装置１００－１から端末装置１００－ｎのうち、任意の端末装置を、端末装置１００と記載する。作業員Ｗ－１から作業員Ｗ－ｎのうち、任意の作業員を、作業員Ｗと記載する。
（端末装置１００）
図２は、本実施形態に係る作業安全管理システムに含まれる端末装置の一例を示す図である。
端末装置１００は、スマートフォン、携帯端末、又はパーソナルコンピュータ、タブレット端末装置、腕時計型端末装置、あるいはその他の情報処理機器として実現される。端末装置１００は、例えば、撮像部１１と、取得部１２と、判定部１３と、処理部１４と、作成部１５と、通信部１６と、記憶部１７とを備える。
撮像部１１は、作業員Ｗによる撮像操作に基づいて、撮像することによって撮像対象である作業員の画像を生成する。
記憶部１７は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などにより実現される。記憶部１７には、画像分類モデル１７ａが記憶される。画像分類モデル１７ａがクラウド上に記憶されていてもよい。
画像分類モデル１７ａは、作業員が写っている画像と、その画像に写っている作業員の服装が禁止事項に該当しているか否かを示す情報とに基づいて、撮像部１１が撮像することによって生成された画像と、その画像に写っている作業員に対して作業を許可するか否かとの関係を学習した学習モデルである。ここで、その画像に写っている作業員の服装が禁止事項に該当している場合には、その画像に写っている作業員に対して作業を許可しないと判定され、その画像に写っている作業員の服装が禁止事項に該当していない場合には、その画像に写っている作業員に対して作業を許可すると判定される。画像分類モデル１７ａの一例は、ＡｌｅｘＮｅｔ、ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ、Ｘｃｅｐｔｉｏｎなどのニューラルネットワークのモデルである。
図２は、本実施形態に係る作業安全管理システムに含まれる端末装置の一例を示す図である。
端末装置１００は、スマートフォン、携帯端末、又はパーソナルコンピュータ、タブレット端末装置、腕時計型端末装置、あるいはその他の情報処理機器として実現される。端末装置１００は、例えば、撮像部１１と、取得部１２と、判定部１３と、処理部１４と、作成部１５と、通信部１６と、記憶部１７とを備える。
撮像部１１は、作業員Ｗによる撮像操作に基づいて、撮像することによって撮像対象である作業員の画像を生成する。
記憶部１７は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などにより実現される。記憶部１７には、画像分類モデル１７ａが記憶される。画像分類モデル１７ａがクラウド上に記憶されていてもよい。
画像分類モデル１７ａは、作業員が写っている画像と、その画像に写っている作業員の服装が禁止事項に該当しているか否かを示す情報とに基づいて、撮像部１１が撮像することによって生成された画像と、その画像に写っている作業員に対して作業を許可するか否かとの関係を学習した学習モデルである。ここで、その画像に写っている作業員の服装が禁止事項に該当している場合には、その画像に写っている作業員に対して作業を許可しないと判定され、その画像に写っている作業員の服装が禁止事項に該当していない場合には、その画像に写っている作業員に対して作業を許可すると判定される。画像分類モデル１７ａの一例は、ＡｌｅｘＮｅｔ、ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ、Ｘｃｅｐｔｉｏｎなどのニューラルネットワークのモデルである。
取得部１２、判定部１３、処理部１４、及び作成部１５は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサが記憶部１７に格納されたプログラム（ソフトウェア）を実行することにより実現される。また、これらの機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアとの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
取得部１２は、撮像部１１が生成した作業員の画像の画像データを取得する。
判定部１３は、取得部１２が取得した画像データを取得し、取得した画像データを画像処理することによって画像を生成する。判定部１３は、記憶部１７に記憶されている画像分類モデル１７ａを用いて、生成した画像に写っている作業員に対して作業を許可するか否を判定する。
図３は、本実施形態に端末装置の処理を説明するための図である。図３は、端末装置１００の判定部１３の処理を主に示す。
判定部１３は、通信部１６が受信した作業応答を取得し、取得した作業応答に含まれるチェック項目を取得する。ここで、チェック項目は、判定内容の一例である。チェック項目の一例は、作業員が作業服を着用しているか否かと、作業員が作業靴を着用しているか否かと、作業員が腕時計を着用しているか否かである。判定部１３は、取得したチェック項目に基づいて、画像分類モデル１７ａから、第１学習モデルと、第２学習モデルと、第３学習モデルとを取得し、取得した第１学習モデルと、第２学習モデルと、第３学習モデルとを設定する。ここで、第１学習モデルは、作業員が写っている画像と、その画像に写っている作業員の服装を示す情報とに基づいて、撮像部１１が撮像することによって生成された画像と、その画像に写っている作業員が作業服を着用しているか否かとの関係を学習したものである。第２学習モデルは、作業員が写っている画像と、その画像に写っている作業員の靴を示す情報とに基づいて、撮像部１１が撮像することによって生成された画像と、その画像に写っている作業員が作業靴を着用しているか否かとの関係を学習したものである。第３学習モデルは、作業員が写っている画像と、その画像に写っている作業員の腕を示す情報とに基づいて、撮像部１１が撮像することによって生成された画像と、その画像に写っている作業員が腕時計を着用しているか否かとの関係を学習したものである。
判定部１３は、取得部１２が取得した画像データを取得し、取得した画像データを画像処理することによって画像を生成する。判定部１３は、記憶部１７に記憶されている画像分類モデル１７ａを用いて、生成した画像に写っている作業員に対して作業を許可するか否を判定する。
図３は、本実施形態に端末装置の処理を説明するための図である。図３は、端末装置１００の判定部１３の処理を主に示す。
判定部１３は、通信部１６が受信した作業応答を取得し、取得した作業応答に含まれるチェック項目を取得する。ここで、チェック項目は、判定内容の一例である。チェック項目の一例は、作業員が作業服を着用しているか否かと、作業員が作業靴を着用しているか否かと、作業員が腕時計を着用しているか否かである。判定部１３は、取得したチェック項目に基づいて、画像分類モデル１７ａから、第１学習モデルと、第２学習モデルと、第３学習モデルとを取得し、取得した第１学習モデルと、第２学習モデルと、第３学習モデルとを設定する。ここで、第１学習モデルは、作業員が写っている画像と、その画像に写っている作業員の服装を示す情報とに基づいて、撮像部１１が撮像することによって生成された画像と、その画像に写っている作業員が作業服を着用しているか否かとの関係を学習したものである。第２学習モデルは、作業員が写っている画像と、その画像に写っている作業員の靴を示す情報とに基づいて、撮像部１１が撮像することによって生成された画像と、その画像に写っている作業員が作業靴を着用しているか否かとの関係を学習したものである。第３学習モデルは、作業員が写っている画像と、その画像に写っている作業員の腕を示す情報とに基づいて、撮像部１１が撮像することによって生成された画像と、その画像に写っている作業員が腕時計を着用しているか否かとの関係を学習したものである。
判定部１３は、第１学習モデルを用いて、画像に写っている作業員が作業服を着用しているか否かを判定し、第２学習モデルを用いて、画像に写っている作業員が作業靴を着用しているか否かを判定し、第３学習モデルを用いて、画像に写っている作業員が腕時計を着用しているか否かを判定する。
判定部１３は、作業員が作業服を着用しているか否かの判定結果１と、作業員が作業靴を着用しているか否かの判定結果２と、作業員が腕時計を着用しているか否かの判定結果３とに基づいて、画像に写っている作業員に対して作業を許可するか否を判定する。例えば、判定部１３は、作業服を着用していることを示す判定結果１と、作業靴を着用していることを示す判定結果２と、腕時計を着用していないことを示す判定結果３とを取得した場合に、作業員に対して作業を許可すると判定する。判定部１３は、作業服を着用していないことを示す判定結果１と、作業靴を着用していないことを示す判定結果２と、腕時計を着用していることを示す判定結果３とのいずれかを取得した場合に、作業員に対して作業を許可しないと判定する。図２に戻り説明を続ける。
判定部１３は、作業員が作業服を着用しているか否かの判定結果１と、作業員が作業靴を着用しているか否かの判定結果２と、作業員が腕時計を着用しているか否かの判定結果３とに基づいて、画像に写っている作業員に対して作業を許可するか否を判定する。例えば、判定部１３は、作業服を着用していることを示す判定結果１と、作業靴を着用していることを示す判定結果２と、腕時計を着用していないことを示す判定結果３とを取得した場合に、作業員に対して作業を許可すると判定する。判定部１３は、作業服を着用していないことを示す判定結果１と、作業靴を着用していないことを示す判定結果２と、腕時計を着用していることを示す判定結果３とのいずれかを取得した場合に、作業員に対して作業を許可しないと判定する。図２に戻り説明を続ける。
処理部１４は、判定部１３による判定結果を取得し、取得した判定結果を出力する。処理部１４は、取得した判定結果を、音声、画像などで出力する。作業員Ｗは、撮像した対象が自分である場合には、端末装置１００から、判定結果が、音声、画像などで出力されることによって、自分が、作業を許可されたか否かを知ることができる。また、作業員Ｗは、撮像した対象が自分でない場合には、端末装置１００を、撮像対象の作業員に示すことで、その作業員に、音声、画像などで、作業を許可されたか否かを知らせることができる。処理部１４は、判定結果が作業を許可しないことを示す場合に、注意情報を作成し、作成した注意情報を出力してもよい。処理部１４は、取得した注意結果を、音声、画像などで出力する。例えば、処理部１４は、判定結果が、作業員が作業服を着用していないために作業を許可しないことを示す場合には、「作業服を着用してください」と作業服の着用を促す注意情報を作成し、作成した注意情報を出力する。また、例えば、処理部１４は、判定結果が、作業員が安全靴を着用していないために作業を許可しないことを示す場合には、「安全靴を着用してください」と安全靴の着用を促す注意情報を作成し、作成した注意情報を出力する。また、例えば、処理部１４は、判定結果が、作業員が腕時計を着用しているために作業を許可しないことを示す場合には、「腕時計を外してください」と腕時計を外すことを促す注意情報を作成し、作成した注意情報を出力する。
また、処理部１４は、他の端末装置が送信した判定結果通知を取得した場合には、取得した判定結果通知に含まれる判定結果を取得する。処理部１４は、判定結果を出力する。処理部１４は、取得した判定結果を、音声、画像などで出力する。処理部１４は、判定結果が作業を許可しないことを示す場合に、注意情報を作成し、作成した注意情報を、出力してもよい。処理部１４は、取得した注意結果を、音声、画像などで出力する。
作成部１５は、作業者Ｗが、端末装置１００に対して、作業ＩＤを通知する操作を行った場合に、作業ＩＤを含み、データセンター１０を宛先とする作業通知を作成する。作成部１５は、作成した作業通知を、通信部１６へ出力する。
作成部１５は、作業者Ｗが、端末装置１００に対して、判定結果を通知する操作を行った場合に、判定結果を含み、通知先のアドレスを宛先とする判定結果通知を作成する。例えば、作成部１５は、作業者Ｗが、端末装置１００に対して、撮像対象の作業員の端末装置へ判定結果を通知する操作を行った場合に、判定結果を含み、撮像対象の作業員の端末装置のアドレスを宛先とする判定結果通知を作成する。作成部１５は、判定結果とともに、判定結果が作業を許可しないことを示す場合には、注意情報を含む判定結果通知を作成してもよい。ここで、撮像対象の作業員の端末装置のアドレスは、記憶部１７に記憶された作業員の作業員ＩＤと、その作業員が携帯する端末装置１００のアドレスを示す情報とを関連付けたアドレス帳から、作業者Ｗが選択するようにしてもよい。
作成部１５は、作業者Ｗが、端末装置１００に対して、作業ＩＤを通知する操作を行った場合に、作業ＩＤを含み、データセンター１０を宛先とする作業通知を作成する。作成部１５は、作成した作業通知を、通信部１６へ出力する。
作成部１５は、作業者Ｗが、端末装置１００に対して、判定結果を通知する操作を行った場合に、判定結果を含み、通知先のアドレスを宛先とする判定結果通知を作成する。例えば、作成部１５は、作業者Ｗが、端末装置１００に対して、撮像対象の作業員の端末装置へ判定結果を通知する操作を行った場合に、判定結果を含み、撮像対象の作業員の端末装置のアドレスを宛先とする判定結果通知を作成する。作成部１５は、判定結果とともに、判定結果が作業を許可しないことを示す場合には、注意情報を含む判定結果通知を作成してもよい。ここで、撮像対象の作業員の端末装置のアドレスは、記憶部１７に記憶された作業員の作業員ＩＤと、その作業員が携帯する端末装置１００のアドレスを示す情報とを関連付けたアドレス帳から、作業者Ｗが選択するようにしてもよい。
通信部１６は、通信モジュールによって実現される。通信部１６は、ネットワークＮＷを介して、データセンター１０、端末装置などの外部の通信装置と通信する。通信部１６は、例えば無線ＬＡＮ、ブルートゥース（登録商標）又はＬＴＥ（登録商標）などの通信方式で通信してもよい。また、通信部１６は、例えば、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの通信方式で通信してもよい。通信部１６は、ネットワークＮＷを介して、データセンター１０、端末装置などの通信装置と通信するために必要な通信情報を保持する。通信部１６は、作成部１５が出力した作業通知を取得し、取得した作業通知を、データセンター１０へ送信する。通信部１６は、データセンター１０が送信した作業応答を受信し、受信した作業応答を、判定部１３へ出力する。通信部１６は、作成部１５が出力した判定結果通知を取得し、取得した判定結果通知を、撮像対象の作業者の端末装置へ送信する。通信部１６は、他の端末装置が送信した判定結果通知を受信し、受信した判定結果通知を、処理部１４へ出力する。
（作業安全管理システムの動作）
図４は、本実施形態に係る作業安全管理システムの動作の一例を示すシーケンスチャートである。端末装置１００－１は、作業ＩＤを含む作業通知を作成し、作成した作業通知を、データセンター１０へ送信する。データセンター１０は、端末装置１００－１が送信した作業通知を受信し、受信した作業通知に含まれる作業ＩＤに基づいて、チェック項目を取得する。データセンター１０は、取得したチェック項目を含み、端末装置１００－１を宛先とする作業応答を作成し、作成した作業応答を、端末装置１００－１へ送信する。端末装置１００－１は、データセンター１０が送信した作業応答を受信し、受信した作業応答に含まれるチェック項目を取得し、取得したチェック項目に基づいて、学習モデルを設定する。図４は、以上の処理が行われた後の動作について説明する。また、作業員Ｗ－１は、端末装置１００－１を操作することによって、作業員Ｗ－１を撮像する場合について説明する。
（ステップＳ１）
端末装置１００－１において、撮像部１１は、作業員Ｗ－１による撮像操作に基づいて、撮像することによって撮像対象である作業員の画像を生成する。
（ステップＳ２）
端末装置１００－１において、取得部１２は、撮像部１１が生成した作業員の画像の画像データを取得する。
（ステップＳ３）
端末装置１００－１において、判定部１３は、取得部１２が取得した画像データを取得し、取得した画像データを画像処理することによって画像を生成する。判定部１３は、記憶部１７に記憶されている画像分類モデル１７ａから、チェック項目に基づいて、学習モデルを取得し、取得した学習モデルを用いて、生成した画像に写っている作業員に対して作業を許可するか否を判定する。
図４は、本実施形態に係る作業安全管理システムの動作の一例を示すシーケンスチャートである。端末装置１００－１は、作業ＩＤを含む作業通知を作成し、作成した作業通知を、データセンター１０へ送信する。データセンター１０は、端末装置１００－１が送信した作業通知を受信し、受信した作業通知に含まれる作業ＩＤに基づいて、チェック項目を取得する。データセンター１０は、取得したチェック項目を含み、端末装置１００－１を宛先とする作業応答を作成し、作成した作業応答を、端末装置１００－１へ送信する。端末装置１００－１は、データセンター１０が送信した作業応答を受信し、受信した作業応答に含まれるチェック項目を取得し、取得したチェック項目に基づいて、学習モデルを設定する。図４は、以上の処理が行われた後の動作について説明する。また、作業員Ｗ－１は、端末装置１００－１を操作することによって、作業員Ｗ－１を撮像する場合について説明する。
（ステップＳ１）
端末装置１００－１において、撮像部１１は、作業員Ｗ－１による撮像操作に基づいて、撮像することによって撮像対象である作業員の画像を生成する。
（ステップＳ２）
端末装置１００－１において、取得部１２は、撮像部１１が生成した作業員の画像の画像データを取得する。
（ステップＳ３）
端末装置１００－１において、判定部１３は、取得部１２が取得した画像データを取得し、取得した画像データを画像処理することによって画像を生成する。判定部１３は、記憶部１７に記憶されている画像分類モデル１７ａから、チェック項目に基づいて、学習モデルを取得し、取得した学習モデルを用いて、生成した画像に写っている作業員に対して作業を許可するか否を判定する。
（ステップＳ４）
端末装置１００－１において、処理部１４は、判定部１３による判定結果を取得し、取得した判定結果を出力する。処理部１４は、取得した判定結果を、音声、画像などで出力する。
（ステップＳ５）
端末装置１００－１において、作成部１５は、作業者Ｗ－１が、端末装置１００－１に対して、判定結果を通知する操作を行った場合に、判定結果を含み、撮像した対象である作業者Ｗ－２の端末装置１００－２のアドレスを宛先とする判定結果通知を作成する。
（ステップＳ６）
端末装置１００－１において、作成部１５は、作成した判定結果通知を、通信部１６へ出力する。通信部１６は、作成部１５が出力した判定結果通知を取得し、取得した判定結果通知を、端末装置１００－２へ送信する。
（ステップＳ７）
端末装置１００－２において、通信部１６は、端末装置１００－１が送信した判定結果通知を受信し、受信した判定結果通知を、処理部１４へ出力する。処理部１４は、通信部１６が出力した判定結果通知を取得し、取得した判定結果通知に含まれる判定結果を取得する。処理部１４は、判定結果を出力する。処理部１４は、取得した判定結果を、音声、画像などで出力する。
端末装置１００－１において、処理部１４は、判定部１３による判定結果を取得し、取得した判定結果を出力する。処理部１４は、取得した判定結果を、音声、画像などで出力する。
（ステップＳ５）
端末装置１００－１において、作成部１５は、作業者Ｗ－１が、端末装置１００－１に対して、判定結果を通知する操作を行った場合に、判定結果を含み、撮像した対象である作業者Ｗ－２の端末装置１００－２のアドレスを宛先とする判定結果通知を作成する。
（ステップＳ６）
端末装置１００－１において、作成部１５は、作成した判定結果通知を、通信部１６へ出力する。通信部１６は、作成部１５が出力した判定結果通知を取得し、取得した判定結果通知を、端末装置１００－２へ送信する。
（ステップＳ７）
端末装置１００－２において、通信部１６は、端末装置１００－１が送信した判定結果通知を受信し、受信した判定結果通知を、処理部１４へ出力する。処理部１４は、通信部１６が出力した判定結果通知を取得し、取得した判定結果通知に含まれる判定結果を取得する。処理部１４は、判定結果を出力する。処理部１４は、取得した判定結果を、音声、画像などで出力する。
前述した第１の実施形態では、画像分類モデル１７ａに、第１学習モデルと、第２学習モデルと、第３学習モデルとが含まれる場合について説明したが、この例に限られない。例えば、画像分類モデル１７ａに、一個から二個の学習モデルが含まれてもよいし、四個以上の学習モデルが含まれてもよい。例えば、作業員が写っている画像と、その画像に写っている作業員の服装を示す情報とに基づいて、撮像部１１が撮像することによって生成された画像と、その画像に写っている作業員が着用している服の前が開いているか否かとの関係を学習した学習モデルが用意されてもよい。また、作業員が写っている画像と、その画像に写っている作業員の服装を示す情報とに基づいて、撮像部１１が撮像することによって生成された画像と、その画像に写っている作業員が腕まくりをしているか否かとの関係を学習した学習モデルが用意されてもよい。また、作業員が写っている画像と、その画像に写っている作業員の腕を示す情報とに基づいて、撮像部１１が撮像することによって生成された画像と、その画像に写っている作業員が指輪などの貴金属類を着用しているか否かとの関係を学習した学習モデルが用意されてもよい。
前述した第１の実施形態では、一例として、端末装置１００－１から端末装置１００－ｎの各々が受信する作業応答に同様のチェック項目が含まれる場合について説明したがこの例に限られない。端末装置１００－１から端末装置１００－ｎの各々が受信する作業応答に異なるチェック項目が含まれる場合にも適用できる。
前述した第１の実施形態では、端末装置１００は、データセンター１０が送信した作業応答に含まれるチェック項目に基づいて、画像分類モデル１７ａから学習モデルを取得し、取得した学習モデルを設定する場合について説明したがこの例に限られない。例えば、端末装置１００は、作業応答に含まれるチェック項目に基づくことなく、画像分類モデル１７ａから学習モデルを取得してもよい。例えば、端末装置１００は、作業員Ｗの操作に基づいて、画像分類モデル１７ａから学習モデルを取得し、取得した学習モデルを設定してもよい。
前述した第１の実施形態では、一例として、端末装置１００－１から端末装置１００－ｎの各々が受信する作業応答に同様のチェック項目が含まれる場合について説明したがこの例に限られない。端末装置１００－１から端末装置１００－ｎの各々が受信する作業応答に異なるチェック項目が含まれる場合にも適用できる。
前述した第１の実施形態では、端末装置１００は、データセンター１０が送信した作業応答に含まれるチェック項目に基づいて、画像分類モデル１７ａから学習モデルを取得し、取得した学習モデルを設定する場合について説明したがこの例に限られない。例えば、端末装置１００は、作業応答に含まれるチェック項目に基づくことなく、画像分類モデル１７ａから学習モデルを取得してもよい。例えば、端末装置１００は、作業員Ｗの操作に基づいて、画像分類モデル１７ａから学習モデルを取得し、取得した学習モデルを設定してもよい。
前述した第１の実施形態において、端末装置１００は、判定結果とともに、注意情報を含む判定結果通知を作成し、作成した判定結果通知を、撮像対象の作業員の端末装置へ送信することに加えて、以下の処理を行ってもよい。端末装置１００は、撮像対象の作業員の端末装置へ、注意情報を含む判定結果通知を送信したことを、作業管理者の端末装置へ通知してもよい。このように構成することによって、作業管理者に、作業者が注意を受けていることを知らせることができる。
前述した第１の実施形態において、端末装置１００は、判定部１３において、画像に写っている作業員に対して作業を許可するか否の判定が困難であると判定した場合には、処理部１４へ、作業を許可するか否かの判定が困難である理由と、判定が困難であることを通知するための情報とを含む判定不可能通知を出力してもよい。処理部１４は、判定部１３が出力した判定不可能通知を取得し、取得した判定不可能通知に基づいて、撮像対象の作業員へ、作業を許可するか否かを判定できる画像を取得するための指示を作成し、作成した指示を出力する。処理部１４は、取得した指示を、音声、画像などで出力する。
例えば、処理部１４は、判定不可能通知に、作業を許可するか否かの判定が困難である理由として「作業員が横向きである」ことなどの作業員の向きが適切でないことを示す情報が含まれる場合には、指示として「正面を向いてください」などの作業員に対して適切な方向を向くことを促す情報を作成し、作成した指示を出力する。また、例えば、処理部１４は、判定不可能通知に、作業を許可するか否かの判定が困難である理由として「作業員の腕が隠れている」ことなどの作業員の体の部位か見えないことを示す情報が含まれる場合には、指示として「両腕を前に出してください」などの作業員に対して体の部位を見えるようにすることを促す情報を作成し、作成した指示を出力する。処理部１４は、指示を出力した後に、作業員Ｗへ、撮像することを促す情報を作成し、作成した情報を出力する。
前述した第１の実施形態において、端末装置１００は、判定部１３において、画像に写っている作業員に対して作業を許可するか否の判定が困難であると判定した場合には、処理部１４へ、作業を許可するか否かの判定が困難である理由と、判定が困難であることを通知するための情報とを含む判定不可能通知を出力してもよい。処理部１４は、判定部１３が出力した判定不可能通知を取得し、取得した判定不可能通知に基づいて、撮像対象の作業員へ、作業を許可するか否かを判定できる画像を取得するための指示を作成し、作成した指示を出力する。処理部１４は、取得した指示を、音声、画像などで出力する。
例えば、処理部１４は、判定不可能通知に、作業を許可するか否かの判定が困難である理由として「作業員が横向きである」ことなどの作業員の向きが適切でないことを示す情報が含まれる場合には、指示として「正面を向いてください」などの作業員に対して適切な方向を向くことを促す情報を作成し、作成した指示を出力する。また、例えば、処理部１４は、判定不可能通知に、作業を許可するか否かの判定が困難である理由として「作業員の腕が隠れている」ことなどの作業員の体の部位か見えないことを示す情報が含まれる場合には、指示として「両腕を前に出してください」などの作業員に対して体の部位を見えるようにすることを促す情報を作成し、作成した指示を出力する。処理部１４は、指示を出力した後に、作業員Ｗへ、撮像することを促す情報を作成し、作成した情報を出力する。
本実施形態に係る作業安全管理システムによれば、端末装置１００は、作業員の画像を取得する取得部１２と、取得部１２が取得した画像に基づいて、作業員の安全性を判定する判定部１３と、判定部１３による判定結果を、作業員に通知する処理部１４と、判定結果を通知するための判定結果通知を作成する作成部１５とを備える。このように構成することによって、端末装置１００は、取得した画像に基づいて、作業員の安全性を判定できるため、人手による確認に頼ることなく、作業員に対して、作業を許可するか否かを判定できる。
（第１の実施形態の変形例）
（作業安全管理システム）
本発明の第１の実施形態の変形例に係る作業安全管理システムの構成例は、図１を適用できる。第１の実施形態の変形例に係る作業安全管理システム１ａは、第１の実施形態に係る作業安全管理システムと比較して、端末装置１００－１の代わりに端末装置１００ａ－１を備え、・・・、端末装置１００－ｎの代わりに端末装置１００ａ－ｎを備える点で異なる。端末装置１００ａ－１から端末装置１００ａ－ｎは、それぞれ作業員Ｗ－１から作業員Ｗ－ｎによって携帯される。
以下、端末装置１００ａ－１から端末装置１００ａ－ｎのうち、任意の端末装置を、端末装置１００ａと記載する。
（作業安全管理システム）
本発明の第１の実施形態の変形例に係る作業安全管理システムの構成例は、図１を適用できる。第１の実施形態の変形例に係る作業安全管理システム１ａは、第１の実施形態に係る作業安全管理システムと比較して、端末装置１００－１の代わりに端末装置１００ａ－１を備え、・・・、端末装置１００－ｎの代わりに端末装置１００ａ－ｎを備える点で異なる。端末装置１００ａ－１から端末装置１００ａ－ｎは、それぞれ作業員Ｗ－１から作業員Ｗ－ｎによって携帯される。
以下、端末装置１００ａ－１から端末装置１００ａ－ｎのうち、任意の端末装置を、端末装置１００ａと記載する。
（端末装置１００ａ）
本実施形態の変形例に係る作業安全管理システムに含まれる端末装置１００ａの一例は、図２を適用できる。
端末装置１００ａは、スマートフォン、携帯端末、又はパーソナルコンピュータ、タブレット端末装置、腕時計型端末装置、あるいはその他の情報処理機器として実現される。端末装置１００ａは、例えば、撮像部１１と、取得部１２と、判定部１３ａと、処理部１４と、作成部１５と、通信部１６と、記憶部１７とを備える。
本実施形態の変形例に係る作業安全管理システムに含まれる端末装置１００ａの一例は、図２を適用できる。
端末装置１００ａは、スマートフォン、携帯端末、又はパーソナルコンピュータ、タブレット端末装置、腕時計型端末装置、あるいはその他の情報処理機器として実現される。端末装置１００ａは、例えば、撮像部１１と、取得部１２と、判定部１３ａと、処理部１４と、作成部１５と、通信部１６と、記憶部１７とを備える。
判定部１３ａは、取得部１２が取得した画像データを取得し、取得した画像データを画像処理することによって画像を生成する。判定部１３ａは、記憶部１７に記憶されている画像分類モデル１７ａを用いて、生成した画像に写っている作業員に対して作業を許可するか否を判定する。
図５は、第１の実施形態の変形例に係る端末装置の処理を説明するための図である。図５は、端末装置１００ａの判定部１３ａの処理を主に示す。
判定部１３ａは、通信部１６が受信した作業応答を取得し、取得した作業応答に含まれるチェック項目を取得する。チェック項目の一例は、作業員が作業服を着用しているか否かと、作業員が作業靴を着用しているか否かと、作業員が腕時計を着用しているか否かである。判定部１３ａは、取得したチェック項目に基づいて、画像分類モデル１７ａから、第１学習モデルと、第２学習モデルと、第３学習モデルとを取得し、取得した第１学習モデルと、第２学習モデルと、第３学習モデルとを設定する。ここで、第１学習モデル、第２学習モデル、及び第３学習モデルは、前述したので、ここでの説明は省略する。
判定部１３ａは、生成した画像に含まれる作業員Ｗの体の部位を検出し、検出した作業員Ｗの体の部位の画像を抽出する。判定部１３ａは、抽出した作業員Ｗの体の部位の画像に基づいて、第１学習モデルと、第２学習モデルと、第３学習モデルとを用いて、作業員Ｗに対して作業を許可するか否を判定する。
判定部１３ａは、姿勢推定モデル１３ａ－１と、部位抽出部１３ａ－２と、画像分類モデル１７ａとして機能する。判定部１３ａは、姿勢推定モデル１３ａ－１を使用して、生成した画像に含まれる作業員Ｗの姿勢を推定する。判定部１３ａは、姿勢推定モデル１３ａ－１を使用して、体の骨格情報を取得する。例えば、判定部１３ａは、Ｏｐｅｎｐｏｓｅ、ＣＰＮ（Ｃａｓｃａｄｅｄ Ｐｙｒａｍｉｄ Ｎｅｔｗｏｒｋ）などの姿勢推定モデルを使用して、体の骨格情報を取得する。
図５は、第１の実施形態の変形例に係る端末装置の処理を説明するための図である。図５は、端末装置１００ａの判定部１３ａの処理を主に示す。
判定部１３ａは、通信部１６が受信した作業応答を取得し、取得した作業応答に含まれるチェック項目を取得する。チェック項目の一例は、作業員が作業服を着用しているか否かと、作業員が作業靴を着用しているか否かと、作業員が腕時計を着用しているか否かである。判定部１３ａは、取得したチェック項目に基づいて、画像分類モデル１７ａから、第１学習モデルと、第２学習モデルと、第３学習モデルとを取得し、取得した第１学習モデルと、第２学習モデルと、第３学習モデルとを設定する。ここで、第１学習モデル、第２学習モデル、及び第３学習モデルは、前述したので、ここでの説明は省略する。
判定部１３ａは、生成した画像に含まれる作業員Ｗの体の部位を検出し、検出した作業員Ｗの体の部位の画像を抽出する。判定部１３ａは、抽出した作業員Ｗの体の部位の画像に基づいて、第１学習モデルと、第２学習モデルと、第３学習モデルとを用いて、作業員Ｗに対して作業を許可するか否を判定する。
判定部１３ａは、姿勢推定モデル１３ａ－１と、部位抽出部１３ａ－２と、画像分類モデル１７ａとして機能する。判定部１３ａは、姿勢推定モデル１３ａ－１を使用して、生成した画像に含まれる作業員Ｗの姿勢を推定する。判定部１３ａは、姿勢推定モデル１３ａ－１を使用して、体の骨格情報を取得する。例えば、判定部１３ａは、Ｏｐｅｎｐｏｓｅ、ＣＰＮ（Ｃａｓｃａｄｅｄ Ｐｙｒａｍｉｄ Ｎｅｔｗｏｒｋ）などの姿勢推定モデルを使用して、体の骨格情報を取得する。
部位抽出部１３ａ－２は、姿勢推定モデル１３ａ－１を使用して推定した作業員Ｗの骨格情報に基づいて、体の部位の画像を抽出する。具体的には、作業者Ｗが作業着を着用しているか否かを判定する場合には、部位抽出部１３ａ－２は、作業員Ｗの骨格情報に基づいて、体の上半身の部分の画像を抽出する。また、作業者Ｗが作業靴を着用しているか否かを判定する場合には、部位抽出部１３ａ－２は、作業員Ｗの骨格情報に基づいて、体の足の部分の画像を抽出する。また、作業者Ｗが腕時計を着用しているか否かを判定する場合には、部位抽出部１３ａ－２は、作業員Ｗの骨格情報に基づいて、体の腕部分の画像を抽出する。
判定部１３ａは、画像分類モデル１７ａから、チェック項目に基づいて、学習モデルを取得し、所得した学習モデルを使用して、抽出した体の部位の画像に基づいて、画像に写っている作業員に対して作業を許可するか否を判定する。ここで、チェック項目と、そのチェック項目に該当する学習モデルとを関連付けた情報が、記憶部１７に記憶されていてもよい。具体的には、部位抽出部１３ａ－２が、体の上半身の部分の画像を抽出した場合には、判定部１３ａは、画像分類モデル１７ａから、第１学習モデルを取得し、取得した第１学習モデルを使用して、抽出した体の上半身の部分の画像に基づいて、作業員が作業服を着用しているか否かを判定する。また、部位抽出部１３ａ－２が、体の足の部分の画像を抽出した場合には、判定部１３ａは、画像分類モデル１７ａから、第２学習モデルを取得し、取得した第２学習モデルを使用して、抽出した体の足の部分の画像に基づいて、作業員が作業靴を着用しているか否かを判定する。また、部位抽出部１３ａ－２が、体の腕の部分の画像を抽出した場合には、判定部１３ａは、画像分類モデル１７ａから、第３学習モデルを取得し、取得した第３学習モデルを使用して、抽出した体の腕の部分の画像に基づいて、作業員が腕時計を着用しているか否かを判定する。
判定部１３ａは、作業員が作業服を着用しているか否かの判定結果と、作業員が作業靴を着用しているか否かの判定結果と、作業員が腕時計を着用しているか否かの判定結果とに基づいて、画像に写っている作業員に対して作業を許可するか否を判定する。
判定部１３ａは、画像分類モデル１７ａから、チェック項目に基づいて、学習モデルを取得し、所得した学習モデルを使用して、抽出した体の部位の画像に基づいて、画像に写っている作業員に対して作業を許可するか否を判定する。ここで、チェック項目と、そのチェック項目に該当する学習モデルとを関連付けた情報が、記憶部１７に記憶されていてもよい。具体的には、部位抽出部１３ａ－２が、体の上半身の部分の画像を抽出した場合には、判定部１３ａは、画像分類モデル１７ａから、第１学習モデルを取得し、取得した第１学習モデルを使用して、抽出した体の上半身の部分の画像に基づいて、作業員が作業服を着用しているか否かを判定する。また、部位抽出部１３ａ－２が、体の足の部分の画像を抽出した場合には、判定部１３ａは、画像分類モデル１７ａから、第２学習モデルを取得し、取得した第２学習モデルを使用して、抽出した体の足の部分の画像に基づいて、作業員が作業靴を着用しているか否かを判定する。また、部位抽出部１３ａ－２が、体の腕の部分の画像を抽出した場合には、判定部１３ａは、画像分類モデル１７ａから、第３学習モデルを取得し、取得した第３学習モデルを使用して、抽出した体の腕の部分の画像に基づいて、作業員が腕時計を着用しているか否かを判定する。
判定部１３ａは、作業員が作業服を着用しているか否かの判定結果と、作業員が作業靴を着用しているか否かの判定結果と、作業員が腕時計を着用しているか否かの判定結果とに基づいて、画像に写っている作業員に対して作業を許可するか否を判定する。
（作業安全管理システムの動作）
本実施形態の変形例に係る作業安全管理システムに含まれる端末装置の一例は、図４を適用できる。ただし、ステップＳ３の処理が異なる。
ステップＳ３では、端末装置１００ａ－１において、判定部１３ａは、取得部１２が取得した画像データを取得し、取得した画像データを画像処理することによって画像を生成する。判定部１３ａは、姿勢推定モデル１３ａ－１を使用して、生成した画像に含まれる作業員Ｗの姿勢を推定し、推定した作業員Ｗの骨格情報に基づいて、体の部位の画像を抽出する。判定部１３ａは、画像分類モデル１７ａを使用して、抽出した体の部位の画像に基づいて、画像に写っている作業員に対して作業を許可するか否を判定する。
本実施形態の変形例に係る作業安全管理システムに含まれる端末装置の一例は、図４を適用できる。ただし、ステップＳ３の処理が異なる。
ステップＳ３では、端末装置１００ａ－１において、判定部１３ａは、取得部１２が取得した画像データを取得し、取得した画像データを画像処理することによって画像を生成する。判定部１３ａは、姿勢推定モデル１３ａ－１を使用して、生成した画像に含まれる作業員Ｗの姿勢を推定し、推定した作業員Ｗの骨格情報に基づいて、体の部位の画像を抽出する。判定部１３ａは、画像分類モデル１７ａを使用して、抽出した体の部位の画像に基づいて、画像に写っている作業員に対して作業を許可するか否を判定する。
第１の実施形態の変形例に係る端末装置１００ａによれば、端末装置１００ａは、作業員Ｗの姿勢を推定し、推定した作業員Ｗの骨格情報に基づいて、体の部位の画像を抽出する。端末装置１００ａは、画像分類モデル１７ａに含まれる学習モデルを使用して、抽出した体の部位の画像に基づいて、画像に写っている作業員に対して作業を許可するか否を判定する。このように、体の部位の画像に基づいて、画像に写っている作業員に対して作業を許可するか否を判定することによって、判定精度を向上できる。一般的に、画像分類アルゴリズムは画像内の小さな物に対しては十分な性能が得られない場合が多い。例えば、腕時計を着用しているか否かを判定する場合に、腕時計は画像内で表示される面積が小さく十分な性能が得られない場合がある。本実施形態の変形例では、体の部位の画像が抽出されることによって、画像内の表示面積を大きくできるため、腕時計を着用しているか否かの判定精度を向上できる。
（第２の実施形態）
（作業安全管理システム）
第２の実施形態に係る作業安全管理システムは、安全判定装置１００ｂを備える。安全判定装置１００ｂの一例は、移動機能を有する移動ロボットである。
例えば、作業管理者は、安全判定装置１００ｂを操作することによって、安全判定装置１００ｂでは、作業安全管理システム１ｂを利用するためのアプリケーションプログラム、或いはブラウザなどが起動し、安全管理サービスをサポートする。安全判定装置１００ｂは、アプリケーションプログラム（安全管理サービス利用アプリ）が起動していることを前提とする。安全管理サービス利用アプリは、作業管理者の操作に応じてデータセンター１０と通信し、データセンター１０から受信した応答に基づく処理を行う。
安全判定装置１００ｂは、データセンター１０へアクセスする。データセンター１０は、安全判定装置１００ｂがアクセスしたことによって、作業員Ｗ－１から作業員Ｗ－ｎの各々の入退室を管理する。データセンター１０は、作業ＩＤと、作業内容と、作業を許可するか否かのチェック項目とを関連付けた作業ＤＢを記憶している。作業管理者が、安全判定装置１００ｂを操作することによって、安全判定装置１００ｂは、作業ＩＤと含む作業通知を作成し、作成した作業通知を、データセンター１０へ送信する。データセンター１０は、安全判定装置１００ｂが送信した作業通知を受信し、受信した作業通知に含まれる作業ＩＤを取得する。データセンター１０は、取得した作業ＩＤに関連付けて記憶されている作業を許可するか否かのチェック項目を示す情報を取得し、取得した作業を許可するか否かのチェック項目を含み、安全判定装置１００ｂを宛先とする作業応答を作成する。データセンター１０は、作成した作業応答を、安全判定装置１００ｂへ送信する。
（作業安全管理システム）
第２の実施形態に係る作業安全管理システムは、安全判定装置１００ｂを備える。安全判定装置１００ｂの一例は、移動機能を有する移動ロボットである。
例えば、作業管理者は、安全判定装置１００ｂを操作することによって、安全判定装置１００ｂでは、作業安全管理システム１ｂを利用するためのアプリケーションプログラム、或いはブラウザなどが起動し、安全管理サービスをサポートする。安全判定装置１００ｂは、アプリケーションプログラム（安全管理サービス利用アプリ）が起動していることを前提とする。安全管理サービス利用アプリは、作業管理者の操作に応じてデータセンター１０と通信し、データセンター１０から受信した応答に基づく処理を行う。
安全判定装置１００ｂは、データセンター１０へアクセスする。データセンター１０は、安全判定装置１００ｂがアクセスしたことによって、作業員Ｗ－１から作業員Ｗ－ｎの各々の入退室を管理する。データセンター１０は、作業ＩＤと、作業内容と、作業を許可するか否かのチェック項目とを関連付けた作業ＤＢを記憶している。作業管理者が、安全判定装置１００ｂを操作することによって、安全判定装置１００ｂは、作業ＩＤと含む作業通知を作成し、作成した作業通知を、データセンター１０へ送信する。データセンター１０は、安全判定装置１００ｂが送信した作業通知を受信し、受信した作業通知に含まれる作業ＩＤを取得する。データセンター１０は、取得した作業ＩＤに関連付けて記憶されている作業を許可するか否かのチェック項目を示す情報を取得し、取得した作業を許可するか否かのチェック項目を含み、安全判定装置１００ｂを宛先とする作業応答を作成する。データセンター１０は、作成した作業応答を、安全判定装置１００ｂへ送信する。
安全判定装置１００ｂは、データセンター１０が送信した作業応答を受信し、受信した作業応答に含まれるチェック項目を取得する。
安全判定装置１００ｂは、データセンター、ネットワークセンターなどの施設内を定期的に巡回する。安全判定装置１００ｂは、巡回中に、作業員Ｗ発見した場合に、以下の処理を行う。
安全判定装置１００ｂは、作業員Ｗまでの距離を検出し、検出した作業員Ｗまでの距離に基づいて、作業員Ｗまでの距離が、距離閾値以下となる位置まで移動する。ここで、距離閾値は、安全判定装置１００ｂが搭載する撮像部１１ｂが、作業者Ｗを撮像することで得られる画像に基づいて、安全性を判定できるか否かに基づいて、設定される。
安全判定装置１００ｂは、作業員Ｗまでの距離が、距離閾値以下となった場合に、指示を作業員に通知する。例えば、安全判定装置１００ｂは、音声出力により「正面を向いてください」、「両腕を前に出してください」などの作業を許可するか否かを判定できる画像を取得するための指示を、作業員Ｗに通知する。
安全判定装置１００ｂは、作業員Ｗの向きが適切であることを確認した後に、作業員Ｗを撮像する。安全判定装置１００ｂは、作業員Ｗを撮像することによって、作業員Ｗが写っている画像を取得する。安全判定装置１００ｂは、取得した画像に基づいて、作業員Ｗの安全性を判定する。安全判定装置１００ｂは、作業員Ｗの安全性の判定結果を出力する。
以下、第２の実施形態に係る作業安全管理システムに含まれる安全判定装置１００ｂについて説明する。
安全判定装置１００ｂは、データセンター、ネットワークセンターなどの施設内を定期的に巡回する。安全判定装置１００ｂは、巡回中に、作業員Ｗ発見した場合に、以下の処理を行う。
安全判定装置１００ｂは、作業員Ｗまでの距離を検出し、検出した作業員Ｗまでの距離に基づいて、作業員Ｗまでの距離が、距離閾値以下となる位置まで移動する。ここで、距離閾値は、安全判定装置１００ｂが搭載する撮像部１１ｂが、作業者Ｗを撮像することで得られる画像に基づいて、安全性を判定できるか否かに基づいて、設定される。
安全判定装置１００ｂは、作業員Ｗまでの距離が、距離閾値以下となった場合に、指示を作業員に通知する。例えば、安全判定装置１００ｂは、音声出力により「正面を向いてください」、「両腕を前に出してください」などの作業を許可するか否かを判定できる画像を取得するための指示を、作業員Ｗに通知する。
安全判定装置１００ｂは、作業員Ｗの向きが適切であることを確認した後に、作業員Ｗを撮像する。安全判定装置１００ｂは、作業員Ｗを撮像することによって、作業員Ｗが写っている画像を取得する。安全判定装置１００ｂは、取得した画像に基づいて、作業員Ｗの安全性を判定する。安全判定装置１００ｂは、作業員Ｗの安全性の判定結果を出力する。
以下、第２の実施形態に係る作業安全管理システムに含まれる安全判定装置１００ｂについて説明する。
（安全判定装置１００ｂ）
図６は、本発明の第２の本実施形態に係る作業安全管理システムに含まれる安全判定装置の一例を示す図である。
安全判定装置１００ｂは、移動ロボットなどの情報処理機器として実現される。安全判定装置１００ｂは、例えば、撮像部１１ｂと、取得部１２と、判定部１３と、処理部１４ａと、通信部１６と、記憶部１７と、距離検出部１８と、移動部１９とを備える。
図６は、本発明の第２の本実施形態に係る作業安全管理システムに含まれる安全判定装置の一例を示す図である。
安全判定装置１００ｂは、移動ロボットなどの情報処理機器として実現される。安全判定装置１００ｂは、例えば、撮像部１１ｂと、取得部１２と、判定部１３と、処理部１４ａと、通信部１６と、記憶部１７と、距離検出部１８と、移動部１９とを備える。
距離検出部１８は、撮像部１１ｂが生成した作業員Ｗの画像に基づいて、作業員Ｗと安全判定装置１００ｂとの間の距離を検出する。
移動部１９は、距離検出部１８が検出した作業員Ｗと安全判定装置１００ｂとの間の距離に基づいて、作業員Ｗと安全判定装置１００ｂとの間の距離が距離閾値以下となるまで、安全判定装置１００ｂを移動させる。
撮像部１１ｂは、安全判定装置１００ｂが、作業員Ｗと安全判定装置１００ｂとの間の距離が距離閾値以下となったことによって停止した場合に、撮像することによって撮像対象である作業員の画像を生成する。
移動部１９は、距離検出部１８が検出した作業員Ｗと安全判定装置１００ｂとの間の距離に基づいて、作業員Ｗと安全判定装置１００ｂとの間の距離が距離閾値以下となるまで、安全判定装置１００ｂを移動させる。
撮像部１１ｂは、安全判定装置１００ｂが、作業員Ｗと安全判定装置１００ｂとの間の距離が距離閾値以下となったことによって停止した場合に、撮像することによって撮像対象である作業員の画像を生成する。
取得部１２、判定部１３、及び処理部１４ａは、例えば、ＣＰＵなどのハードウェアプロセッサが記憶部１７に格納されたプログラム（ソフトウェア）を実行することにより実現される。また、これらの機能部のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアとの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
処理部１４ａは、判定部１３による判定結果を取得し、取得した判定結果を出力する。処理部１４ａは、取得した判定結果を、音声、画像などで出力する。処理部１４ａは、判定結果として、作業員Ｗに対して作業を許可しないことを通知する場合に、その理由を併せて通知してもよい。さらに、処理部１４ａは、判定結果が作業を許可しないことを示す場合に、注意情報を作成し、作成した注意情報を出力してもよい。処理部１４ａは、取得した注意結果を、音声、画像などで出力する。例えば、処理部１４ａは、判定結果が、作業員が作業服を着用していないために作業を許可しないことを示す場合には、「作業服を着用してください」と作業服の着用を促す注意情報を作成し、作成した注意情報を出力する。また、例えば、処理部１４ａは、判定結果が、作業員が安全靴を着用していないために作業を許可しないことを示す場合には、「安全靴を着用してください」と安全靴の着用を促す注意情報を作成し、作成した注意情報を出力する。また、例えば、処理部１４ａは、判定結果が、作業員が腕時計を着用しているために作業を許可しないことを示す場合には、「腕時計を外してください」と腕時計を外すことを促す注意情報を作成し、作成した注意情報を出力する。
処理部１４ａは、判定部１３による判定結果を取得し、取得した判定結果を出力する。処理部１４ａは、取得した判定結果を、音声、画像などで出力する。処理部１４ａは、判定結果として、作業員Ｗに対して作業を許可しないことを通知する場合に、その理由を併せて通知してもよい。さらに、処理部１４ａは、判定結果が作業を許可しないことを示す場合に、注意情報を作成し、作成した注意情報を出力してもよい。処理部１４ａは、取得した注意結果を、音声、画像などで出力する。例えば、処理部１４ａは、判定結果が、作業員が作業服を着用していないために作業を許可しないことを示す場合には、「作業服を着用してください」と作業服の着用を促す注意情報を作成し、作成した注意情報を出力する。また、例えば、処理部１４ａは、判定結果が、作業員が安全靴を着用していないために作業を許可しないことを示す場合には、「安全靴を着用してください」と安全靴の着用を促す注意情報を作成し、作成した注意情報を出力する。また、例えば、処理部１４ａは、判定結果が、作業員が腕時計を着用しているために作業を許可しないことを示す場合には、「腕時計を外してください」と腕時計を外すことを促す注意情報を作成し、作成した注意情報を出力する。
（作業安全管理システムの動作）
図７は、本実施形態に係る作業安全管理システムに含まれる安全判定装置の動作の一例を示すシーケンスチャートである。安全判定装置１００ｂは、作業ＩＤを含む作業通知を作成し、作成した作業通知を、データセンター１０へ送信する。データセンター１０は、安全判定装置１００ｂが送信した作業通知を受信し、受信した作業通知に含まれる作業ＩＤに基づいて、チェック項目を取得する。データセンター１０は、取得したチェック項目を含み、安全判定装置１００ｂを宛先とする作業応答を作成し、作成した作業応答を、安全判定装置１００ｂへ送信する。安全判定装置１００ｂは、データセンター１０が送信した作業応答を受信し、受信した作業応答に含まれるチェック項目を取得し、取得したチェック項目に基づいて、学習モデルを設定する。図７は、以上の処理が行われた後の動作について説明する。また、安全判定装置１００ｂは、作業員Ｗの近傍まで移動し、作業員Ｗを撮像する場合について説明する。
（ステップＳ１１）
安全判定装置１００ｂにおいて、移動部１９は、距離検出部１８が検出した作業員Ｗと安全判定装置１００ｂとの間の距離に基づいて、安全判定装置１００ｂを移動させる。
（ステップＳ１２）
安全判定装置１００ｂにおいて、移動部１９は、距離検出部１８が検出した作業員Ｗと安全判定装置１００ｂとの間の距離が、距離閾値以下であるか否かを判定する。作業員Ｗと安全判定装置１００ｂとの間の距離が、距離閾値以下でない場合、ステップＳ１１へ移行する。
（ステップＳ１３）
安全判定装置１００ｂにおいて、移動部１９は、距離検出部１８が検出した作業員Ｗと安全判定装置１００ｂとの間の距離が、距離閾値以下である場合、停止する。撮像部１１ｂは、安全判定装置１００ｂが、作業員Ｗと安全判定装置１００ｂとの間の距離が距離閾値以下となったことによって停止した場合に、撮像することによって撮像対象である作業員の画像を生成する。
図７は、本実施形態に係る作業安全管理システムに含まれる安全判定装置の動作の一例を示すシーケンスチャートである。安全判定装置１００ｂは、作業ＩＤを含む作業通知を作成し、作成した作業通知を、データセンター１０へ送信する。データセンター１０は、安全判定装置１００ｂが送信した作業通知を受信し、受信した作業通知に含まれる作業ＩＤに基づいて、チェック項目を取得する。データセンター１０は、取得したチェック項目を含み、安全判定装置１００ｂを宛先とする作業応答を作成し、作成した作業応答を、安全判定装置１００ｂへ送信する。安全判定装置１００ｂは、データセンター１０が送信した作業応答を受信し、受信した作業応答に含まれるチェック項目を取得し、取得したチェック項目に基づいて、学習モデルを設定する。図７は、以上の処理が行われた後の動作について説明する。また、安全判定装置１００ｂは、作業員Ｗの近傍まで移動し、作業員Ｗを撮像する場合について説明する。
（ステップＳ１１）
安全判定装置１００ｂにおいて、移動部１９は、距離検出部１８が検出した作業員Ｗと安全判定装置１００ｂとの間の距離に基づいて、安全判定装置１００ｂを移動させる。
（ステップＳ１２）
安全判定装置１００ｂにおいて、移動部１９は、距離検出部１８が検出した作業員Ｗと安全判定装置１００ｂとの間の距離が、距離閾値以下であるか否かを判定する。作業員Ｗと安全判定装置１００ｂとの間の距離が、距離閾値以下でない場合、ステップＳ１１へ移行する。
（ステップＳ１３）
安全判定装置１００ｂにおいて、移動部１９は、距離検出部１８が検出した作業員Ｗと安全判定装置１００ｂとの間の距離が、距離閾値以下である場合、停止する。撮像部１１ｂは、安全判定装置１００ｂが、作業員Ｗと安全判定装置１００ｂとの間の距離が距離閾値以下となったことによって停止した場合に、撮像することによって撮像対象である作業員の画像を生成する。
（ステップＳ１４）
安全判定装置１００ｂにおいて、取得部１２は、撮像部１１が生成した作業員の画像の画像データを取得する。
（ステップＳ１５）
安全判定装置１００ｂにおいて、判定部１３は、取得部１２が取得した画像データを取得し、取得した画像データを画像処理することによって画像を生成する。判定部１３は、記憶部１７に記憶されている画像分類モデル１７ａから、チェック項目に基づいて、学習モデルを取得し、取得した学習モデルを用いて、生成した画像に写っている作業員に対して作業を許可するか否を判定する。
（ステップＳ１６）
安全判定装置１００ｂにおいて、処理部１４ａは、判定部１３による判定結果を取得し、取得した判定結果を出力する。処理部１４ａは、取得した判定結果を、音声、画像などで出力する。
第２の実施形態に係る安全判定装置１００ｂに、第１の実施形態の変形例で説明した判定部１３ａを適用してもよい。このように構成することによって、判定精度を向上できる。
安全判定装置１００ｂにおいて、取得部１２は、撮像部１１が生成した作業員の画像の画像データを取得する。
（ステップＳ１５）
安全判定装置１００ｂにおいて、判定部１３は、取得部１２が取得した画像データを取得し、取得した画像データを画像処理することによって画像を生成する。判定部１３は、記憶部１７に記憶されている画像分類モデル１７ａから、チェック項目に基づいて、学習モデルを取得し、取得した学習モデルを用いて、生成した画像に写っている作業員に対して作業を許可するか否を判定する。
（ステップＳ１６）
安全判定装置１００ｂにおいて、処理部１４ａは、判定部１３による判定結果を取得し、取得した判定結果を出力する。処理部１４ａは、取得した判定結果を、音声、画像などで出力する。
第２の実施形態に係る安全判定装置１００ｂに、第１の実施形態の変形例で説明した判定部１３ａを適用してもよい。このように構成することによって、判定精度を向上できる。
前述した第２の実施形態では、距離検出部１８が、撮像部１１ｂが生成した作業員Ｗの画像に基づいて、作業員Ｗと安全判定装置１００ｂとの間の距離を検出する場合について説明したが、この例に限られない。例えば、安全判定装置１００ｂが、深度センサーと、レーザセンサーとのいずれか一方又は両方を備えており、距離検出部１８は、深度センサーと、レーザセンサーとのいずれか一方又は両方が検出した結果に基づいて、作業員Ｗと安全判定装置１００ｂとの間の距離を検出してもよい。
第２の実施形態に係る作業安全管理システムによれば、安全判定装置１００ｂは、作業員を撮像する撮像部１１ｂと、作業員の画像を取得する取得部１２と、取得部１２が取得した画像に基づいて、作業員の安全性を判定する判定部１３と、判定部１３による判定結果を、作業員に通知する処理部１４ｂと、距離を検出する距離検出部１８と、安全判定装置１００ｂを移動させる移動部１９とを備える。撮像部１１ｂは、距離検出部１８が検出した距離が、距離閾値以下となった場合に、作業員を撮像する。距離検出部１８が検出した距離が、距離閾値以下となった場合に、作業員Ｗを撮像することによって、近い距離で作業員Ｗを撮像できるため、安全性を判定する精度を向上できる。また、第１の実施形態と比較して、端末装置１００を操作することなく、作業員に作業をさせるか否かを判定できるため、利便性を向上できる。
第２の実施形態に係る作業安全管理システムによれば、安全判定装置１００ｂは、作業員を撮像する撮像部１１ｂと、作業員の画像を取得する取得部１２と、取得部１２が取得した画像に基づいて、作業員の安全性を判定する判定部１３と、判定部１３による判定結果を、作業員に通知する処理部１４ｂと、距離を検出する距離検出部１８と、安全判定装置１００ｂを移動させる移動部１９とを備える。撮像部１１ｂは、距離検出部１８が検出した距離が、距離閾値以下となった場合に、作業員を撮像する。距離検出部１８が検出した距離が、距離閾値以下となった場合に、作業員Ｗを撮像することによって、近い距離で作業員Ｗを撮像できるため、安全性を判定する精度を向上できる。また、第１の実施形態と比較して、端末装置１００を操作することなく、作業員に作業をさせるか否かを判定できるため、利便性を向上できる。
（第３の実施形態）
（作業安全管理システム）
図８は、本発明の第３の実施形態に係る作業安全管理システムの構成例を示す図である。図８において、作業安全管理システム１ｃは、端末装置１００ｃ－１から端末装置１００ｃ－ｎと、データセンター１０と、サーバー装置２００とを備える。端末装置１００ｃ－１から端末装置１００ｃ－ｎは、それぞれ作業員Ｗ－１から作業員Ｗ－ｎによって携帯される。
端末装置１００ｃ－１から端末装置１００ｃ－ｎの各々と、データセンター１０と、サーバー装置２００とは、通信網ＮＷを介して互いに、接続される。
（作業安全管理システム）
図８は、本発明の第３の実施形態に係る作業安全管理システムの構成例を示す図である。図８において、作業安全管理システム１ｃは、端末装置１００ｃ－１から端末装置１００ｃ－ｎと、データセンター１０と、サーバー装置２００とを備える。端末装置１００ｃ－１から端末装置１００ｃ－ｎは、それぞれ作業員Ｗ－１から作業員Ｗ－ｎによって携帯される。
端末装置１００ｃ－１から端末装置１００ｃ－ｎの各々と、データセンター１０と、サーバー装置２００とは、通信網ＮＷを介して互いに、接続される。
作業員Ｗ－１から作業員Ｗ－ｎとは、それぞれ端末装置１００ｃ－１から端末装置１００ｃ－ｎを操作することによって、端末装置１００ｃ－１から端末装置１００ｃ－ｎの各々では、作業安全管理システム１ｃを利用するためのアプリケーションプログラム、或いはブラウザなどが起動し、安全管理サービスをサポートする。端末装置１００ｃ－１から端末装置１００ｃ－ｎの各々は、アプリケーションプログラム（安全管理サービス利用アプリ）が起動していることを前提とする。安全管理サービス利用アプリは、作業員Ｗ－１から作業員Ｗ－ｎの各々の操作に応じてデータセンター１０と通信し、データセンター１０から受信した応答に基づく処理を行う。端末装置１００ｃ－１から端末装置１００ｃ－ｎの各々は、データセンター１０へアクセスする。データセンター１０は、端末装置１００ｃ－１から端末装置１００ｃ－ｎの各々がアクセスしたことによって、作業員Ｗ－１から作業員Ｗ－ｎの各々の入退室を管理する。データセンター１０は、作業ＩＤと、作業内容と、作業を許可するか否かのチェック項目とを関連付けた作業ＤＢを記憶している。
作業員Ｗ－１から作業員Ｗ－ｎとが、それぞれ端末装置１００ｃ－１から端末装置１００ｃ－ｎを操作することによって、端末装置１００ｃ－１から端末装置１００ｃ－ｎの各々は、端末装置ＩＤと、作業ＩＤと含む作業通知を作成し、作成した作業通知を、データセンター１０へ送信する。データセンター１０は、端末装置１００ｃ－１から端末装置１００ｃ－ｎの各々が送信した作業通知を受信し、受信した作業通知に含まれる端末装置ＩＤと、作業ＩＤとを取得する。データセンター１０は、取得した作業ＩＤに関連付けて記憶されている作業を許可するか否かのチェック項目を示す情報を取得し、取得した作業を許可するか否かのチェック項目と、端末装置ＩＤとを含み、サーバー装置２００を宛先とする作業応答を作成する。データセンター１０は、作成した作業応答を、サーバー装置２００へ送信する。
作業員Ｗ－１から作業員Ｗ－ｎとが、それぞれ端末装置１００ｃ－１から端末装置１００ｃ－ｎを操作することによって、端末装置１００ｃ－１から端末装置１００ｃ－ｎの各々は、端末装置ＩＤと、作業ＩＤと含む作業通知を作成し、作成した作業通知を、データセンター１０へ送信する。データセンター１０は、端末装置１００ｃ－１から端末装置１００ｃ－ｎの各々が送信した作業通知を受信し、受信した作業通知に含まれる端末装置ＩＤと、作業ＩＤとを取得する。データセンター１０は、取得した作業ＩＤに関連付けて記憶されている作業を許可するか否かのチェック項目を示す情報を取得し、取得した作業を許可するか否かのチェック項目と、端末装置ＩＤとを含み、サーバー装置２００を宛先とする作業応答を作成する。データセンター１０は、作成した作業応答を、サーバー装置２００へ送信する。
サーバー装置２００は、データセンター１０が送信した作業応答を受信し、受信した作業応答に含まれるチェック項目と、端末装置ＩＤとを取得する。ここでは、一例として、端末装置１００ｃ－１の動作について説明を続ける。また、ここでは、一例として、サーバー装置２００が受信する作業応答に同様のチェック項目が含まれる場合について説明を続ける。
作業員Ｗ－１は、端末装置１００ｃ－１を操作することによって、作業員Ｗ－１から作業員Ｗ－ｎのいずれかを撮像する。ここでは、一例として、作業員Ｗ－１が、端末装置１００ｃ－１を操作することによって、端末装置１００ｃ－１が、作業員Ｗ－ｎを撮像した場合について説明を続ける。端末装置１００ｃ－１は、作業員Ｗ－ｎを撮像することによって、作業員Ｗ－ｎが写っている画像を取得する。端末装置１００ｃ－１は、取得した画像の画像データと、端末装置ＩＤとを含み、サーバー装置２００を宛先とする判定要求を作成する。端末装置１００ｃ－１は、作成した判定要求を、サーバー装置２００へ送信する。
作業員Ｗ－１は、端末装置１００ｃ－１を操作することによって、作業員Ｗ－１から作業員Ｗ－ｎのいずれかを撮像する。ここでは、一例として、作業員Ｗ－１が、端末装置１００ｃ－１を操作することによって、端末装置１００ｃ－１が、作業員Ｗ－ｎを撮像した場合について説明を続ける。端末装置１００ｃ－１は、作業員Ｗ－ｎを撮像することによって、作業員Ｗ－ｎが写っている画像を取得する。端末装置１００ｃ－１は、取得した画像の画像データと、端末装置ＩＤとを含み、サーバー装置２００を宛先とする判定要求を作成する。端末装置１００ｃ－１は、作成した判定要求を、サーバー装置２００へ送信する。
サーバー装置２００は、端末装置１００ｃ－１が送信した判定要求を受信し、受信した判定要求に含まれる画像データと、端末装置ＩＤとを取得する。サーバー装置２００は、取得した画像データを処理することによって画像を取得する。サーバー装置２００は、取得した端末装置ＩＤに該当するチェック項目を、作業応答から取得し、取得したチェック項目に基づいて、記憶部の画像分類モデル２７ａから、学習モデルを取得する。サーバー装置２００は、取得した画像に基づいて、取得した学習モデルを使用して、作業員Ｗ－ｎの安全性を判定する。サーバー装置２００は、作業員Ｗ－ｎの安全性の判定結果を含み、端末装置１００ｃ－１を宛先とする判定応答を作成する。サーバー装置２００は、作成した判定応答を、端末装置１００ｃ－１へ送信する。
端末装置１００ｃ－１は、サーバー装置２００が送信した判定応答を受信し、受信した判定応答に含まれる判定結果を出力する。
以下、作業安全管理システム１ｃに含まれる端末装置１００ｃ－１から端末装置１００ｃ－ｎと、データセンター１０と、サーバー装置２００とのうち、端末装置１００ｃ－１から端末装置１００ｃ－ｎと、サーバー装置２００とについて説明する。端末装置１００ｃ－１から端末装置１００ｃ－ｎのうち、任意の端末装置を、端末装置１００ｃと記載する。
端末装置１００ｃ－１は、サーバー装置２００が送信した判定応答を受信し、受信した判定応答に含まれる判定結果を出力する。
以下、作業安全管理システム１ｃに含まれる端末装置１００ｃ－１から端末装置１００ｃ－ｎと、データセンター１０と、サーバー装置２００とのうち、端末装置１００ｃ－１から端末装置１００ｃ－ｎと、サーバー装置２００とについて説明する。端末装置１００ｃ－１から端末装置１００ｃ－ｎのうち、任意の端末装置を、端末装置１００ｃと記載する。
（端末装置１００ｃ）
図９は、本実施形態に係る作業安全管理システムに含まれる端末装置とサーバー装置との一例を示す図である。
端末装置１００ｃは、スマートフォン、携帯端末、又はパーソナルコンピュータ、タブレット端末装置、腕時計型端末装置、あるいはその他の情報処理機器として実現される。端末装置１００ｃは、例えば、撮像部１１と、取得部１２と、処理部１４ｃと、作成部１５ｃと、通信部１６と、記憶部１７とを備える。
図９は、本実施形態に係る作業安全管理システムに含まれる端末装置とサーバー装置との一例を示す図である。
端末装置１００ｃは、スマートフォン、携帯端末、又はパーソナルコンピュータ、タブレット端末装置、腕時計型端末装置、あるいはその他の情報処理機器として実現される。端末装置１００ｃは、例えば、撮像部１１と、取得部１２と、処理部１４ｃと、作成部１５ｃと、通信部１６と、記憶部１７とを備える。
取得部１２、処理部１４ｃ、及び作成部１５ｃは、例えば、ＣＰＵなどのハードウェアプロセッサが記憶部１７に格納されたプログラム（ソフトウェア）を実行することにより実現される。また、これらの機能部のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアとの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリなどの記憶装置に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
処理部１４ｃは、通信部１６が出力した判定応答を取得する。処理部１４ｃは、取得した判定応答に含まれる判定結果を取得し、取得した判定結果を出力する。処理部１４ｃは、取得した判定結果を、音声、画像などで出力する。処理部１４ｃは、判定結果として、作業員Ｗに対して作業を許可しないことを通知する場合に、その理由を併せて通知してもよい。さらに、処理部１４ｃは、判定結果が作業を許可しないことを示す場合に、注意情報を作成し、作成した注意情報を出力してもよい。処理部１４ｃは、取得した注意結果を、音声、画像などで出力する。例えば、処理部１４ｃは、判定結果が、作業員が作業服を着用していないために作業を許可しないことを示す場合には、「作業服を着用してください」と作業服の着用を促す注意情報を作成し、作成した注意情報を出力する。また、例えば、処理部１４ｃは、判定結果が、作業員が安全靴を着用していないために作業を許可しないことを示す場合には、「安全靴を着用してください」と安全靴の着用を促す注意情報を作成し、作成した注意情報を出力する。また、例えば、処理部１４ｃは、判定結果が、作業員が腕時計を着用しているために作業を許可しないことを示す場合には、「腕時計を外してください」と腕時計を外すことを促す注意情報を作成し、作成した注意情報を出力する。
作成部１５ｃは、作業者Ｗが、端末装置１００ｃに対して、作業ＩＤを通知する操作を行った場合に、端末装置ＩＤと作業ＩＤとを含み、データセンター１０を宛先とする作業通知を作成する。作成部１５ｃは、作成した作業通知を、通信部１６へ出力する。作成部１５ｃは、取得部１２が取得した作業員の画像の画像データと端末装置ＩＤとを含み、サーバー装置２００を宛先とする判定要求を作成する。作成部１５ｃは、作成した判定要求を、通信部１６へ出力する。
通信部１６は、作成部１５ｃが出力した作業通知を取得し、取得した作業通知を、データセンター１０へ送信する。通信部１６は、作成部１５ｃが出力した判定要求を取得し、取得した判定要求を、サーバー装置２００へ送信する。通信部１６は、サーバー装置２００が送信した判定応答を受信し、受信した判定応答を、処理部１４ｃへ出力する。
作成部１５ｃは、作業者Ｗが、端末装置１００ｃに対して、作業ＩＤを通知する操作を行った場合に、端末装置ＩＤと作業ＩＤとを含み、データセンター１０を宛先とする作業通知を作成する。作成部１５ｃは、作成した作業通知を、通信部１６へ出力する。作成部１５ｃは、取得部１２が取得した作業員の画像の画像データと端末装置ＩＤとを含み、サーバー装置２００を宛先とする判定要求を作成する。作成部１５ｃは、作成した判定要求を、通信部１６へ出力する。
通信部１６は、作成部１５ｃが出力した作業通知を取得し、取得した作業通知を、データセンター１０へ送信する。通信部１６は、作成部１５ｃが出力した判定要求を取得し、取得した判定要求を、サーバー装置２００へ送信する。通信部１６は、サーバー装置２００が送信した判定応答を受信し、受信した判定応答を、処理部１４ｃへ出力する。
（サーバー装置２００）
サーバー装置２００は、パーソナルコンピュータ、サーバー、スマートフォン、タブレットコンピュータ又は産業用コンピュータ等の装置によって実現される。サーバー装置２００は、例えば、判定部２３、作成部２５と、通信部２６と、記憶部２７とを備える。
記憶部２７は、ＨＤＤやフラッシュメモリ、ＲＡＭ、ＲＯＭなどにより実現される。記憶部２７には、画像分類モデル２７ａが記憶される。画像分類モデル２７ａがクラウド上に記憶されていてもよい。
画像分類モデル２７ａは、前述した画像分類モデル１７ａを適用できる。
サーバー装置２００は、パーソナルコンピュータ、サーバー、スマートフォン、タブレットコンピュータ又は産業用コンピュータ等の装置によって実現される。サーバー装置２００は、例えば、判定部２３、作成部２５と、通信部２６と、記憶部２７とを備える。
記憶部２７は、ＨＤＤやフラッシュメモリ、ＲＡＭ、ＲＯＭなどにより実現される。記憶部２７には、画像分類モデル２７ａが記憶される。画像分類モデル２７ａがクラウド上に記憶されていてもよい。
画像分類モデル２７ａは、前述した画像分類モデル１７ａを適用できる。
判定部２３、及び作成部２５は、例えば、ＣＰＵなどのハードウェアプロセッサが記憶部２７に格納されたプログラム（ソフトウェア）を実行することにより実現される。また、これらの機能部のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアとの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリなどの記憶装置に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
判定部２３は、前述した判定部１３を適用できる。但し、判定部２３は、通信部２６が出力した作業応答と判定要求とを取得する。判定部２３は、判定要求に含まれる画像データと端末装置ＩＤとを取得し、取得した画像データを画像処理することによって画像を生成する。判定部２３は、判定要求に含まれる端末装置ＩＤに該当するチェック項目を、作業応答から取得する。チェック項目の一例は、作業員が作業服を着用しているか否かと、作業員が作業靴を着用しているか否かと、作業員が腕時計を着用しているか否かである。判定部２３は、取得したチェック項目に該当する学習モデルを、記憶部２７に記憶されている画像分類モデル２７ａから、取得する。チェック項目と学習モデルとを関連付けた情報が、記憶部２７に記憶されてもよい。ここでは、判定部２３が、画像分類モデル２７ａから、第１学習モデルと、第２学習モデルと、第３学習モデルとを取得した場合について説明を続ける。判定部２３は、取得した第１学習モデルと、第２学習モデルと、第３学習モデルとを設定し、設定した第１学習モデルと、第２学習モデルと、第３学習モデルとに用いて、生成した画像に写っている作業員に対して作業を許可するか否を判定する。
作成部２５は、判定部２３による判定結果を取得する。作成部２５は、取得した判定結果を含み、判定要求を送信した端末装置１００ｃのアドレスを宛先とする判定応答を作成する。作成部２５は、作成した判定応答を、通信部２６へ出力する。
作成部２５は、判定部２３による判定結果を取得する。作成部２５は、取得した判定結果を含み、判定要求を送信した端末装置１００ｃのアドレスを宛先とする判定応答を作成する。作成部２５は、作成した判定応答を、通信部２６へ出力する。
通信部２６は、通信モジュールによって実現される。通信部２６は、ネットワークＮＷを介して、端末装置１００ｃ、データセンター１０、サーバー装置２００などの外部の通信装置と通信する。通信部２６は、例えば、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの通信方式で通信してもよい。また、通信部２６は、例えば無線ＬＡＮ、ブルートゥース（登録商標）又はＬＴＥ（登録商標）などの通信方式で通信してもよい。通信部２６は、ネットワークＮＷを介して、データセンター１０と、端末装置１００ｃと通信するために必要な通信情報を保持する。通信部２６は、データセンター１０が送信した作業応答を受信し、受信した作業応答を、判定部２３へ出力する。また、通信部２６は、端末装置１００ｃが送信した判定要求を受信し、受信した判定要求を、判定部２３へ出力する。通信部２６は、作成部２５が出力した判定応答を取得し、取得した判定応答を、端末装置１００ｃへ送信する。
（作業安全管理システムの動作）
図１０は、本実施形態に係る作業安全管理システムの動作の一例を示すシーケンスチャートである。端末装置１００ｃ－１は、作業ＩＤと端末装置ＩＤとを含む作業通知を作成し、作成した作業通知を、データセンター１０へ送信する。データセンター１０は、端末装置１００ｃ－１が送信した作業通知を受信し、受信した作業通知に含まれ作業ＩＤと、端末装置ＩＤとを取得し、取得した作業ＩＤに基づいて、チェック項目を取得する。データセンター１０は、取得したチェック項目と、端末装置ＩＤとを含み、サーバー装置２００を宛先とする作業応答を作成し、作成した作業応答を、サーバー装置２００へ送信する。サーバー装置２００は、データセンター１０が送信した作業応答を受信し、受信した作業応答に含まれるチェック項目と、端末装置ＩＤとを取得し、取得したチェック項目と、端末装置ＩＤとに基づいて、端末装置ＩＤ毎に、学習モデルを設定する。端末装置ＩＤと、学習モデルとを関連付けて、記憶部２７に記憶してもよい。図１０は、以上の処理が行われた後の動作について説明する。また、図１０に示される例では、作業員Ｗ－１は、他の作業員に、端末装置１００ｃ－１で、作業員Ｗ－１を撮像してもらう場合について説明する。
（ステップＳ２１）
端末装置１００ｃ－１において、撮像部１１は、作業員Ｗ－１以外の他の作業者による撮像操作に基づいて、撮像することによって撮像対象である作業員Ｗ－１の画像を生成する。
（ステップＳ２２）
端末装置１００ｃ－１において、取得部１２は、撮像部１１が生成した作業員Ｗ－１の画像の画像データを取得する。
（ステップＳ２３）
端末装置１００ｃ－１において、作成部１５ｃは、取得部１２が取得した作業員の画像の画像データと、端末装置ＩＤとを含み、サーバー装置２００を宛先とする判定要求を作成する。
（ステップＳ２４）
端末装置１００ｃ－１において、作成部１５ｃは、作成した判定要求を、通信部１６へ出力する。通信部１６は、作成部１５ｃが出力した判定要求を取得し、取得した判定要求を、サーバー装置２００へ送信する。
図１０は、本実施形態に係る作業安全管理システムの動作の一例を示すシーケンスチャートである。端末装置１００ｃ－１は、作業ＩＤと端末装置ＩＤとを含む作業通知を作成し、作成した作業通知を、データセンター１０へ送信する。データセンター１０は、端末装置１００ｃ－１が送信した作業通知を受信し、受信した作業通知に含まれ作業ＩＤと、端末装置ＩＤとを取得し、取得した作業ＩＤに基づいて、チェック項目を取得する。データセンター１０は、取得したチェック項目と、端末装置ＩＤとを含み、サーバー装置２００を宛先とする作業応答を作成し、作成した作業応答を、サーバー装置２００へ送信する。サーバー装置２００は、データセンター１０が送信した作業応答を受信し、受信した作業応答に含まれるチェック項目と、端末装置ＩＤとを取得し、取得したチェック項目と、端末装置ＩＤとに基づいて、端末装置ＩＤ毎に、学習モデルを設定する。端末装置ＩＤと、学習モデルとを関連付けて、記憶部２７に記憶してもよい。図１０は、以上の処理が行われた後の動作について説明する。また、図１０に示される例では、作業員Ｗ－１は、他の作業員に、端末装置１００ｃ－１で、作業員Ｗ－１を撮像してもらう場合について説明する。
（ステップＳ２１）
端末装置１００ｃ－１において、撮像部１１は、作業員Ｗ－１以外の他の作業者による撮像操作に基づいて、撮像することによって撮像対象である作業員Ｗ－１の画像を生成する。
（ステップＳ２２）
端末装置１００ｃ－１において、取得部１２は、撮像部１１が生成した作業員Ｗ－１の画像の画像データを取得する。
（ステップＳ２３）
端末装置１００ｃ－１において、作成部１５ｃは、取得部１２が取得した作業員の画像の画像データと、端末装置ＩＤとを含み、サーバー装置２００を宛先とする判定要求を作成する。
（ステップＳ２４）
端末装置１００ｃ－１において、作成部１５ｃは、作成した判定要求を、通信部１６へ出力する。通信部１６は、作成部１５ｃが出力した判定要求を取得し、取得した判定要求を、サーバー装置２００へ送信する。
（ステップＳ２５）
サーバー装置２００において、通信部２６は、端末装置１００ｃが送信した判定要求を受信し、受信した判定要求を、判定部２３へ出力する。判定部２３は、通信部２６が出力した判定要求に含まれる画像データと、端末装置ＩＤとを取得し、取得した画像データを画像処理することによって画像を生成する。判定部２３は、判定要求に含まれる端末装置ＩＤに該当するチェック項目を、作業応答から取得する。判定部２３は、取得したチェック項目に該当する学習モデルを、記憶部２７に記憶されている画像分類モデル２７ａから、取得する。判定部２３は、取得した学習モデルを設定し、設定した学習モデルに用いて、生成した画像に写っている作業員に対して作業を許可するか否を判定する。
（ステップＳ２６）
サーバー装置２００において、作成部２５は、判定部２３による判定結果を取得する。作成部２５は、取得した判定結果を含み、判定要求を送信した端末装置１００ｃのアドレスを宛先とする判定応答を作成する。
（ステップＳ２７）
サーバー装置２００において、作成部２５は、作成した判定応答を、通信部２６へ出力する。通信部２６は、作成部２５が出力した判定応答を取得し、取得した判定応答を、端末装置１００ｃへ送信する。
（ステップＳ２８）
端末装置１００ｃ－１において、通信部１６は、サーバー装置２００が送信した判定応答を受信し、受信した判定応答を、処理部１４ｃへ出力する。処理部１４ｃは、通信部１６が出力した判定応答を取得する。処理部１４ｃは、取得した判定応答に含まれる判定結果を取得し、取得した判定結果を出力する。処理部１４ｃは、取得した判定結果を、音声
画像などで出力する。
サーバー装置２００において、通信部２６は、端末装置１００ｃが送信した判定要求を受信し、受信した判定要求を、判定部２３へ出力する。判定部２３は、通信部２６が出力した判定要求に含まれる画像データと、端末装置ＩＤとを取得し、取得した画像データを画像処理することによって画像を生成する。判定部２３は、判定要求に含まれる端末装置ＩＤに該当するチェック項目を、作業応答から取得する。判定部２３は、取得したチェック項目に該当する学習モデルを、記憶部２７に記憶されている画像分類モデル２７ａから、取得する。判定部２３は、取得した学習モデルを設定し、設定した学習モデルに用いて、生成した画像に写っている作業員に対して作業を許可するか否を判定する。
（ステップＳ２６）
サーバー装置２００において、作成部２５は、判定部２３による判定結果を取得する。作成部２５は、取得した判定結果を含み、判定要求を送信した端末装置１００ｃのアドレスを宛先とする判定応答を作成する。
（ステップＳ２７）
サーバー装置２００において、作成部２５は、作成した判定応答を、通信部２６へ出力する。通信部２６は、作成部２５が出力した判定応答を取得し、取得した判定応答を、端末装置１００ｃへ送信する。
（ステップＳ２８）
端末装置１００ｃ－１において、通信部１６は、サーバー装置２００が送信した判定応答を受信し、受信した判定応答を、処理部１４ｃへ出力する。処理部１４ｃは、通信部１６が出力した判定応答を取得する。処理部１４ｃは、取得した判定応答に含まれる判定結果を取得し、取得した判定結果を出力する。処理部１４ｃは、取得した判定結果を、音声
画像などで出力する。
前述した第３の実施形態では、端末装置１００ｃの処理部１４ｃが、判定結果として、作業員Ｗに対して作業を許可しないことを通知する場合に、その理由を併せて通知する場合について説明したが、この例に限られない。例えば、サーバー装置２００の作成部２５は、判定部２３が判定結果として、作業員Ｗに対して作業を許可しないと判定した場合に、その理由を含む判定応答を作成してもよい。さらに、作成部２５は、判定結果が作業を許可しないことを示す場合に、注意情報を作成し、作成した注意情報を含む判定応答を作成してもよい。
第３の実施形態に係る端末装置１００ｃに、第１の実施形態の変形例で説明した判定部１３ａを適用してもよい。このように構成することによって、判定精度を向上できる。
本実施形態に係る作業安全管理システムによれば、端末装置１００ｃは、作業員の画像を取得する取得部１２と、取得部が取得した画像の画像データをサーバー装置２００へ送信し、サーバー装置２００が送信した注意情報を受信する通信部１６（第１送信部、第１受信部、受信部、送信部の一例）と、通信部が受信した注意情報を、作業員に通知する処理部１４ｃとを備える。サーバー装置２００は、端末装置１００ｃが送信した画像データを受信する通信部２６（第２送信部、第２受信部の一例）と、通信部２６が受信した画像データに基づいて、作業員の安全性を判定する判定部２３と、判定部２３によって、安全性に問題があると判定された場合に、注意情報を作成する作成部２５とを備え、通信部２６は、作成部２５が作成した注意情報を端末装置１００ｃへ送信する。このように構成することによって、第１の実施形態と比較して、端末装置１００ｃの処理負荷を低減できる。
第３の実施形態に係る端末装置１００ｃに、第１の実施形態の変形例で説明した判定部１３ａを適用してもよい。このように構成することによって、判定精度を向上できる。
本実施形態に係る作業安全管理システムによれば、端末装置１００ｃは、作業員の画像を取得する取得部１２と、取得部が取得した画像の画像データをサーバー装置２００へ送信し、サーバー装置２００が送信した注意情報を受信する通信部１６（第１送信部、第１受信部、受信部、送信部の一例）と、通信部が受信した注意情報を、作業員に通知する処理部１４ｃとを備える。サーバー装置２００は、端末装置１００ｃが送信した画像データを受信する通信部２６（第２送信部、第２受信部の一例）と、通信部２６が受信した画像データに基づいて、作業員の安全性を判定する判定部２３と、判定部２３によって、安全性に問題があると判定された場合に、注意情報を作成する作成部２５とを備え、通信部２６は、作成部２５が作成した注意情報を端末装置１００ｃへ送信する。このように構成することによって、第１の実施形態と比較して、端末装置１００ｃの処理負荷を低減できる。
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、第１の実施形態と、第１の実施形態の変形例と、第２の実施形態と、第３の実施形態とが、適宜組み合わされてもよい。具体的には、第２の実施形態と、第３の実施形態とが組み合わされてもよい。この場合、第２の実施形態に係る安全判定装置１００ｂの判定部１３に関する処理が、サーバー装置２００で実行される。
また、例えば、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disc）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
また、例えば、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disc）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
１、１ａ、１ｂ、１ｃ…作業安全管理システム、１００－１～１００－ｎ、１００ｃ－１～１００ｃ－ｎ、１００、１００ａ、１００ｃ…端末装置、１００ｂ…安全判定装置、２００…サーバー装置、１１、１１ｂ…撮像部、１２…取得部、１３、１３ａ…判定部、１３ａ－１…姿勢推定モデル、１３ａ－２…部位抽出部、１４、１４ａ、１４ｃ…処理部、１５、１５ｃ…作成部、１６…通信部、１７…記憶部、１７ａ…画像分類モデル、１８…距離検出部、１９…移動部、２３…判定部、２５…作成部、２６…通信部、２７…記憶部、２７ａ…画像分類モデル
Claims (6)
- 端末装置とサーバー装置とを備えた作業安全管理システムであって、
端末装置は、
作業員の画像を取得する取得部と、
前記取得部が取得した前記画像の画像データをサーバー装置へ送信する第１送信部と、
前記サーバー装置が送信した注意情報を受信する第１受信部と、
前記第１受信部が受信した前記注意情報を、作業員に通知する処理部と、
距離を検出する距離検出部と、
前記端末装置を移動させる移動部と
を備え、
前記取得部は、前記移動部が前記端末装置を移動させることによって、前記距離検出部が検出した前記作業員との間の距離が、距離閾値以下となった場合に、前記作業員の前記画像を取得し、
前記サーバー装置は、
前記端末装置が送信した前記画像データを受信する第２受信部と、
前記第２受信部が受信した前記画像データに基づいて、前記作業員の安全性を判定する判定部と、
前記判定部によって、安全性に問題があると判定された場合に、前記注意情報を作成する作成部と、
前記作成部が作成した前記注意情報を前記端末装置へ送信する第２送信部と
を備え、
前記判定部は、前記画像データを処理することによって得られる画像から前記作業員の体の部位を検出し、検出した前記部位の画像と判定内容に応じた学習モデルとに基づいて、安全性を判定し、
前記学習モデルは、撮像部が撮像することによって生成された画像と判定内容との関係を学習したものである、作業安全管理システム。 - 前記処理部は、前記作業員に指示を通知し、
前記取得部は、前記処理部が、前記作業員に前記指示を通知した後に、前記作業員の前記画像を取得する、請求項１に記載の作業安全管理システム。 - 前記作成部は、前記判定部によって、前記作業員の安全性の判定が困難であると判定された場合に、安全性の判定が困難であることを通知するための情報を作成し、
前記第２送信部は、前記作成部が作成した安全性の判定が困難であることを通知するための前記情報を、前記端末装置へ送信し、
前記第１受信部は、前記第２送信部が送信した安全性の判定が困難であることを通知するための前記情報を受信し、
前記処理部は、前記第１受信部が受信した安全性の判定が困難であることを通知するための前記情報を、作業員に通知し、
前記取得部は、前記処理部が、安全性の判定が困難であることを通知するための前記情報を、作業員に通知した後に、前記作業員の前記画像を取得する、請求項１又は請求項２に記載の作業安全管理システム。 - 作業員の安全性を判定する安全判定装置であって、
作業員の画像を取得する取得部と、
前記取得部が取得した前記画像に基づいて、前記作業員の安全性を判定する判定部と、
前記判定部によって、安全性に問題があると判定された場合に、注意情報を作成する作成部と、
前記作成部が作成した前記注意情報を、作業員に通知する処理部と、
距離を検出する距離検出部と、
前記安全判定装置を移動させる移動部と
を備え、
前記取得部は、前記移動部が前記安全判定装置を移動させることによって、前記距離検出部が検出した前記作業員との間の距離が、距離閾値以下となった場合に、前記作業員の前記画像を取得する、安全判定装置。 - 作業員の安全性を判定する安全判定装置が実行する作業安全管理方法であって、
作業員の画像を取得するステップと、
前記取得するステップで取得した前記画像の画像データに基づいて、前記作業員の安全性を判定するステップと、
前記判定するステップで、安全性に問題があると判定された場合に、注意情報を作成するステップと、
前記作成するステップで作成した前記注意情報を、作業員に通知するステップと、
距離を検出するステップと、
前記安全判定装置を移動させるステップと、
前記移動させるステップで前記安全判定装置を移動させることによって、前記距離を検出するステップで検出した前記作業員との間の距離が、距離閾値以下となった場合に、前記作業員の前記画像を取得するステップと
を有する、安全判定装置が実行する作業安全管理方法。 - コンピュータに、
作業員の画像を取得する取得部と、
前記取得部が取得した前記画像に基づいて、前記作業員の安全性を判定する判定部と、
前記判定部によって、安全性に問題があると判定された場合に、注意情報を作成する作成部と、
前記作成部が作成した前記注意情報を、作業員に通知する処理部と
して機能させ、
前記コンピュータは、前記取得部として機能させる場合に、移動部が安全判定装置を移動させることによって、距離検出部が検出した前記作業員との間の距離が、距離閾値以下となった場合に、前記作業員の前記画像を取得する、コンピュータプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019187693A JP7333242B2 (ja) | 2019-10-11 | 2019-10-11 | 作業安全管理システム、安全判定装置、作業安全管理方法、及びコンピュータプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019187693A JP7333242B2 (ja) | 2019-10-11 | 2019-10-11 | 作業安全管理システム、安全判定装置、作業安全管理方法、及びコンピュータプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021064103A JP2021064103A (ja) | 2021-04-22 |
| JP7333242B2 true JP7333242B2 (ja) | 2023-08-24 |
Family
ID=75486289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019187693A Active JP7333242B2 (ja) | 2019-10-11 | 2019-10-11 | 作業安全管理システム、安全判定装置、作業安全管理方法、及びコンピュータプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7333242B2 (ja) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015095209A (ja) | 2013-11-14 | 2015-05-18 | オムロン株式会社 | 監視装置および監視方法 |
| JP2017182545A (ja) | 2016-03-31 | 2017-10-05 | 積水ハウス株式会社 | 施工管理システム、端末装置及び端末装置用プログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013015891A (ja) * | 2011-06-30 | 2013-01-24 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
| JP2019096146A (ja) * | 2017-11-24 | 2019-06-20 | キヤノン株式会社 | 画像識別装置、画像識別方法、コンピュータプログラム、及び記憶媒体 |
-
2019
- 2019-10-11 JP JP2019187693A patent/JP7333242B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015095209A (ja) | 2013-11-14 | 2015-05-18 | オムロン株式会社 | 監視装置および監視方法 |
| JP2017182545A (ja) | 2016-03-31 | 2017-10-05 | 積水ハウス株式会社 | 施工管理システム、端末装置及び端末装置用プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021064103A (ja) | 2021-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10419429B2 (en) | Information providing method and device for sharing user information | |
| KR20190139938A (ko) | 픽쳐 기반의 차량 손해 평가 방법 및 장치, 및 전자 디바이스 | |
| CN110348257B (zh) | 一种条码解析方法及装置 | |
| US10726262B2 (en) | Imaging support system, device and method, and imaging terminal | |
| CN110224870B (zh) | 接口监控方法、装置、计算设备及存储介质 | |
| US11170188B2 (en) | Method and apparatus for presenting graphic codes | |
| JP2020509622A (ja) | ワイヤレスネットワークタイプ検出方法および装置および電子デバイス | |
| US20170041597A1 (en) | Head mounted display and method for data output | |
| JPWO2017169907A1 (ja) | 作業支援装置、作業支援方法および記録媒体 | |
| JP2017174212A (ja) | 行動解析装置、行動解析方法及びプログラム | |
| JP7333242B2 (ja) | 作業安全管理システム、安全判定装置、作業安全管理方法、及びコンピュータプログラム | |
| JP2015233204A (ja) | 画像記録装置及び画像記録方法 | |
| JP6661902B2 (ja) | 通信制御装置、通信制御方法及びプログラム | |
| US10278007B2 (en) | Information providing system and information providing method | |
| JP2015158866A (ja) | 混雑状況把握装置、混雑状況把握システム及び混雑状況把握方法 | |
| US10630894B2 (en) | Notification system, wearable device, information processing apparatus, control method thereof, and computer-readable storage medium | |
| CN106169057B (zh) | 信息处理装置及方法 | |
| JP2016208096A (ja) | 情報処理装置、情報処理方法及び画像転送システム | |
| JP6733926B1 (ja) | 通知システム、通知方法及び通知用コンピュータプログラム | |
| JP2018157289A (ja) | 情報収集システム、携帯端末装置、情報収集方法および携帯端末プログラム | |
| JP5891828B2 (ja) | 携帯端末、撮影画像公開方法、プログラム | |
| JP2015011431A (ja) | 情報処理装置、情報処理方法およびプログラム | |
| JP5743017B2 (ja) | 画像管理装置及びプログラム | |
| JP6477935B1 (ja) | 前処理判定装置、前処理判定方法及びプログラム | |
| WO2016038378A1 (en) | Interaction between users of mobile devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220920 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220921 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221024 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230314 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230508 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230511 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230801 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230814 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7333242 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |