JP7131958B2 - 通知装置、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム - Google Patents

通知装置、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム Download PDF

Info

Publication number
JP7131958B2
JP7131958B2 JP2018090810A JP2018090810A JP7131958B2 JP 7131958 B2 JP7131958 B2 JP 7131958B2 JP 2018090810 A JP2018090810 A JP 2018090810A JP 2018090810 A JP2018090810 A JP 2018090810A JP 7131958 B2 JP7131958 B2 JP 7131958B2
Authority
JP
Japan
Prior art keywords
model
prediction
accident
worker
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018090810A
Other languages
English (en)
Other versions
JP2019197373A (ja
Inventor
彰洋 佐藤
貴洋 秋山
優子 佐藤
浩一郎 武田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Takasago Thermal Engineering Co Ltd
Original Assignee
Takasago Thermal Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Takasago Thermal Engineering Co Ltd filed Critical Takasago Thermal Engineering Co Ltd
Priority to JP2018090810A priority Critical patent/JP7131958B2/ja
Publication of JP2019197373A publication Critical patent/JP2019197373A/ja
Application granted granted Critical
Publication of JP7131958B2 publication Critical patent/JP7131958B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Helmets And Other Head Coverings (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、通知装置、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムに関する。
各種センサを使用して、人間の生理情報を検出し、事故を未然に防ぐ取り組みが行われている(例えば特許文献1-2)。
特許第4038571号公報 特許第5476137号公報
施工現場においては、工具の使用による切傷、脚立からの転落、躓きによる転倒、装置への巻き込みなどの事故が発生する事が考えられる。施工現場において起こった事故は、事故の原因、事故による作業者の怪我の態様、発生頻度などがデータとして記録され、それら事故に関するデータに基づいて再発防止策が講じられることが通常である。
しかしながら、再発防止策が講じられる場合であっても、作業者が再発防止策を失念する等の人為的過誤により、事故が再発する虞が考えられる。
そこで、作業者が施工現場において作業する場合に、事故の発生を自動的に予測し、予測結果を作業者へ通知することにより、事故を未然に防ぐことが考えられるが、当該技術はいまだ存在しない。
そこで、本願は、施工現場における事故の発生を自動的に予測し、予測結果を施工現場で作業する作業者へ通知することにより、事故を未然に防ぐことのできる技術を提供することを課題とする。
上記課題を解決するため、本発明は、施工現場が映る画像を学習データとする機械学習によって生成された、事故の発生を予測する場合に参照されるモデルに基づき、施工現場における事故の発生を予測することとした。
詳細には、本発明は、施工現場において作業する作業者に装着されるカメラと、施工現場が映る画像から施工現場における事故の発生を予測する場合に参照されるモデルに基づいて、カメラによって撮影された画像に映る物体から事故の発生を予測する予測手段と、予測手段によって事故の発生が予測された場合に、予測を作業者へ通知する通知手段と、カメラによって撮影された画像と、通知手段によって予測が作業者へ通知された場合に、作業者が予測の正否を入力する入力手段によって入力された予測の正否情報とを、施工現場が映る画像を学習データとする機械学習によってモデルを生成し、カメラによって撮影された画像、及び予測の正否情報を学習データとする機械学習によってモデルを更新するサーバへ送信する送信手段と、サーバにおいて更新されたモデルをサーバから取得する取得手段と、を備える、通知装置である。
このような通知装置であれば、施工現場が映る画像から施工現場における事故の発生を予測する場合に参照されるモデルに基づいて、作業者に装着されるカメラによって撮影された画像に映る物体から事故の発生を予測する。そして、当該事故の発生の予測を作業者へ通知する。すなわち、事故の発生を自動的に予測し、作業者へ予測を通知することによって、作業者による事故は未然に防止される。また、作業者によって入力された事故の発生の予測の正否情報はサーバへ送信され、通知装置は、当該サーバから当該事故の発生の予測の正否情報を学習データとする機械学習によって更新されたモデルを取得することができる。すなわち、通知装置における事故の発生の予測の精度は、高められる。
また、本発明は、施工現場が映る画像を学習データとする機械学習によって施工現場における事故の発生を予測する場合に参照されるモデルを生成するモデル生成手段と、モデル生成手段によって生成されたモデルに基づいて、施工現場において作業する作業者に装着されるカメラによって撮影された画像に映る物体から、事故の発生を予測して作業者へ通知し、作業者が通知した予測の正否情報を入力する情報機器へ、モデルを送信する送信手段と、カメラによって撮影された画像、及び作業者が入力した予測の正否情報を、情報機器から受信する受信手段と、受信手段によって受信したカメラによって撮影された画像、及び予測の正否情報を学習データとする機械学習によりモデルを更新するモデル更新手段と、を備える、情報処理装置であってもよい。
このような情報処理装置は、施工現場が映る画像を学習データとする機械学習によって施工現場における事故の発生を予測する場合に参照されるモデルを生成する。よって、施工現場が映る画像から自動的に事故の発生を予測することができる。そして、生成されたモデルに基づいて、施工現場において作業する作業者に装着されるカメラによって撮影された画像に映る物体から、事故の発生を予測して作業者へ通知し、作業者が通知した予測の正否情報を入力する情報機器へ、生成されたモデルを送信する。すなわち、当該情報機器において、当該モデルに基づき、カメラによって撮影された画像に映る物体から事故の発生の予測が可能となる。また、当該情報機器が当該事故の発生の予測を作業者へ通知する場合には、作業者による事故を未然に防ぐことができる。
また、当該モデルを送信した情報機器から、作業者に装着されるカメラによって撮影された画像、及び当該モデルに基づく事故の発生の予測の正否情報を受信し、当該画像と事故の予測の正否情報を学習データとする機械学習により、当該モデルを更新する。よって、当該モデルに基づく事故の発生の予測の精度は高められる。
また、本発明は、施工現場において作業する作業者へ事故の予測を通知する通知装置と、施工現場が映る画像から事故の発生を予測する場合に参照されるモデルを生成する情報処理装置によって形成される情報処理システムであって、通知装置は、作業者に装着されるカメラと、モデルを情報処理装置から取得する取得手段と、モデルに基づいて、カメラによって撮影された画像に映る物体から事故の発生を予測する予測手段と、予測手段によって事故の発生が予測された場合に、予測を作業者へ通知する通知手段と、通知手段によって予測が作業者へ通知された場合に、作業者が予測の正否を入力する入力手段と、カメラによって撮影された画像、及び入力手段によって入力された予測の正否情報を、情報処理装置へ送信する送信手段と、を備え、情報処理装置は、施工現場が映る画像を学習データとした機械学習によってモデルを生成するモデル生成手段と、モデル生成手段によって生成されたモデルを通知装置へ送信する送信手段と、通知装置のカメラによって撮影された画像、及び通知装置の入力手段によって入力された予測の正否情報を、通知装置から受信する受信手段と、受信手段によって受信したカメラによって撮影された画像、及び予測の正否情報を学習データとした機械学習によりモデルを更新するモデル更新手段と、を備え、通知装置の取得手段は、更新されたモデルを情報処理装置から取得する、情報処理シ
ステムであってもよい。
このような情報処理システムであれば、情報処理装置において、施工現場が映る画像を学習データとする機械学習によって施工現場における事故の発生を予測する場合に参照されるモデルを生成する。そして、生成されたモデルを、施工現場において作業する作業者へ事故の発生の予測を通知する通知装置へ送信する。
そして、通知装置では、受信した当該モデルに基づいて、作業者に装着されるカメラによって撮影された画像に映る物体から事故の発生を予測する。また、事故の発生が予測された場合に、予測を作業者へ通知する。よって、事故の発生を自動的に予測し、また予測を作業者へ通知することによって、作業者による事故は未然に防止される。
また、作業者は通知された事故の発生の予測の正否について入力する。そして、通知装置は、カメラによって撮影された画像、及び当該事故の発生の予測の正否情報を、情報処理装置へ送信する。
情報処理装置では、通知装置から受信したカメラによって撮影された画像、及び当該事故の発生の予測の正否情報を学習データとした機械学習により、生成手段によって生成した施工現場における事故の発生を予測する場合に参照されるモデルを更新する。そして、通知装置は、更新されたモデルを取得し、作業者に装着されるカメラによって撮影された画像に映る物体から事故の発生を予測する。すなわち、当該情報処理システムであれば、事故の発生の予測の精度は、高められる。
また、モデルは、施工現場が映る画像から識別対象物を識別する識別モデルと、識別対象物と、識別対象物に起因される事故の種類との対応関係と、を含んでもよい。
このような情報処理システムであれば、施工現場において過去に起こった事故の種類と、当該事故の原因となった物体の対応関係に関する情報が存在する場合、当該対応関係から識別対象物と、識別対象物に起因される事故の種類との対応関係を作成することができる。すなわち、施工現場において過去に起こった事故に関する情報を活用し、事故の発生の予測を行うことができる。
また、対応関係は、複数の識別対象物と、複数の識別対象物に起因される事故の種類との対応関係であってもよい。
このような情報処理システムであれば、事故が所定の複数の物体が揃った場合に起こることが想定される場合、所定の複数の識別対象物と、複数の識別対象物に起因される事故の種類との対応関係を生成し、事故の発生の予測に活用することができる。
また、本発明は、方法の側面から捉えることもできる。すなわち、例えば、施工現場において作業する作業者へ事故の予測を通知する通知装置と、施工現場が映る画像から事故の発生を予測する場合に参照されるモデルを生成する情報処理装置によって形成される情報処理システムが実行する情報処理方法であって、通知装置が、モデルを情報処理装置から取得する取得ステップと、モデルに基づいて、作業者に装着されるカメラによって撮影された画像に映る物体から事故の発生を予測する予測ステップと、予測ステップによって事故の発生が予測された場合に、予測を作業者へ通知する通知ステップと、通知ステップによって予測が作業者へ通知された場合に、作業者が予測の正否を入力する入力ステップと、カメラによって撮影された画像、及び入力ステップによって入力された予測の正否情報を、情報処理装置へ送信する送信ステップと、を実行し、情報処理装置が、施工現場が映る画像を学習データとした機械学習によってモデルを生成するモデル生成ステップと、
モデル生成ステップによって生成されたモデルを通知装置へ送信する送信ステップと、カメラによって撮影された画像、及び通知装置の入力ステップによって入力された予測の正否情報を、通知装置から受信する受信ステップと、受信ステップによって受信したカメラによって撮影された画像、及び予測の正否情報を学習データとした機械学習によりモデルを更新するモデル更新ステップと、を実行し、通知装置の取得ステップは、更新されたモデルを情報処理装置から取得する、情報処理方法であってもよい。
また、本発明は、施工現場において作業する作業者へ事故の予測を通知する通知装置と、施工現場が映る画像から事故の発生を予測する場合に参照されるモデルを生成する情報処理装置によって形成される情報処理システムに実行させる情報処理プログラムであって、通知装置に、モデルを情報処理装置から取得する取得処理と、モデルに基づいて、作業者に装着されるカメラによって撮影された画像に映る物体から事故の発生を予測する予測処理と、予測処理によって事故の発生が予測された場合に、予測を作業者へ通知する通知処理と、通知処理によって予測が作業者へ通知された場合に、作業者が予測の正否を入力する入力処理と、カメラによって撮影された画像、及び入力処理によって入力された予測の正否情報を、情報処理装置へ送信する送信処理と、を実行させ、情報処理装置に、施工現場が映る画像を学習データとした機械学習によってモデルを生成するモデル生成処理と、モデル生成処理によって生成されたモデルを通知装置へ送信する送信処理と、カメラによって撮影された画像、及び通知装置の入力処理によって入力された予測の正否情報を、通知装置から受信する受信処理と、受信処理によって受信したカメラによって撮影された画像、及び予測の正否情報を学習データとした機械学習によりモデルを更新するモデル更新処理と、を実行させ、通知装置に実行させる取得処理は、更新されたモデルを情報処理装置から取得する、情報処理プログラムであってもよい。
また、本発明は、情報処理装置に、施工現場が映る画像を学習データとした機械学習によって生成されるモデルであって、施工現場における事故の発生を予測する場合に参照されるモデルに基づいて、施工現場において作業する作業者に装着されるカメラによって撮影された画像に映る物体から事故の発生が予測された場合に、予測情報を受信する受信処理と、予測情報を受信した場合に、機械学習によってモデルを更新する場合に機械学習の学習データとして使用される予測の正否が入力される入力処理と、を実行させる、情報処理プログラムであってもよい。
上記の通知装置、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムは、施工現場における事故の発生を自動的に予測し、予測結果を施工現場で作業する作業者へ通知することにより、事故を未然に防ぐことのできる技術を提供することができる。
図1は、本実施形態に係る情報処理システムの構成の一例を示している。 図2は、通知装置のハードウエア構成の概要の一例を示している。 図3は、端末のハードウエア構成の概要の一例を示している。 図4は、サーバのハードウエア構成の概要の一例を示している。 図5は、通知装置のカメラモジュールの機能構成の概要の一例を示している。 図6は、通知装置の端末の機能構成の概要の一例を示している。 図7は、サーバの機能構成の概要の一例を示している。 図8は、識別モデルを生成する場合に使用される学習データを収集するカメラモジュールの動作を説明したフローチャートの一例を示している。 図9は、識別モデルに基づき、施工現場において作業する作業者へ危険の報知を行うカメラモジュールの動作を説明したフローチャートの一例を示している。 図10は、物体の名称と当該物体に起因される事故の種類との対応関係の一例を例示する。 図11は、カメラモジュールによって識別モデルを生成する場合に使用される学習データが収集される場合の、端末の動作を説明したフローチャートの一例を示している。 図12は、カメラモジュールから危険の報知が行われた場合の、端末の動作を説明したフローチャートの一例を示している。 図13は、識別モデルが生成される場合のサーバの動作を説明したフローチャートの一例を示している。 図14は、識別モデルが更新される場合のサーバの動作を説明したフローチャートの一例を示している。 図15は、識別モデルを生成する学習フェーズが実行される場合の情報処理システムの処理の一例を示すシーケンス図である。 図16は、識別モデルに基づいて物体を識別する識別フェーズが実行される場合の情報処理システムの処理の一例を示すシーケンス図である。 図17は、カメラモジュールによって撮影された施工現場の画像の一例を示している。 図18は、作業者が作業している場合に、カメラモジュールによって撮影された画像の一例を示している。
以下、本発明の実施形態について説明する。以下に示す実施形態は、本発明の実施形態の一例であり、本発明の技術的範囲を以下の態様に限定するものではない。
<システム構成例>
図1は、本実施形態に係る情報処理システム100の構成の一例を示している。図1に示されるように、情報処理システム100は、施工現場において作業する作業者へ事故の予測を通知する通知装置1を含む。
また、情報処理システム100は、施工現場における事故の予測モデルを生成するサーバ50を備える。サーバ50は、通知装置1と、ネットワークNを介して通信可能なコンピュータである。また、サーバ50は、クラウドサーバであってもよい。ネットワークNは、コンピュータを相互接続してデータを取り交わすことが可能なネットワークであればよく、例えば、インターネットやイントラネット、その他各種のネットワークを適用可能である。なお、図1では通知装置1の個数は3つであるが、通知装置1の個数は、何個でもよい。
<ハードウエア構成例>
次に情報処理システム100を形成する各装置のハードウエア構成の一例を説明する。図2は、通知装置1のハードウエア構成の概要の一例を示している。図2に示されるように、通知装置1は、施工現場において作業する作業者が被るヘルメット2を備える。ヘルメット2の前部及び後部には、2つのカメラモジュール3がそれぞれ固定される。ここで、カメラモジュール3は、本発明の「通知装置が備えるカメラ」の一例である。カメラモジュール3は、例えば粘着テープによってヘルメット2へ固定される。また、カメラモジュール3には、IC(Integrated Circuit)チップ4と、外部の電子機器との通信を行うアンテナ5を備える。ICチップ4は、CPU(Central Processing Unit)6、RAM(Random Access Memory)7を備える。また、ヘルメット2には、周囲を照らすライト8が固定される。また、通知装置1は、カメラモジュール3と無線通信するスピーカー9、及び端末20を備える
図3は、端末20のハードウエア構成の概要の一例を示している。図3に示されるように、端末20は、例えば、CPU21やRAM22、ROM(Read Only Memory)23、無線通信I/F(Interface)24、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の大容量記憶装置25、表示装置27や入力装置28を備えたコンピュータによって実現可能である。端末20の具体例としては、例えばスマートホンやタブレット端末といった機器がある。また、端末20は、表示装置27及び入力装置28の一例としてタッチパネルディスプレイ29を備える。ここで、タッチパネルディスプレイ29は、本発明の「入力手段」の一例である。
図4は、サーバ50のハードウエア構成の概要の一例を示している。図4に示されるように、サーバ50は、CPU51、RAM52、ROM53、HDDやSSD等の大容量記憶装置54、ゲートウェイ等を介してインターネットに接続されるNIC(Network Interface Controller)55を備えるコンピュータである。大容量記憶装置54には、RAM52にロードされる各種プログラム等、永続性が求められる情報が書き込まれ、読み出される。なお、サーバ50は、CPU等の汎用プロセッサに加えて、専用プロセッサや専用回路等を備えてもよい。
<機能構成例>
次に情報処理システム100を形成する各装置の機能構成の一例を説明する。図5は、通知装置1のカメラモジュール3の機能構成の概要の一例を示している。図5に示されるように、カメラモジュール3は、無線信号の送受信の実行を司る通信部10を備える。ここで、通信部10は、本発明の「通知装置が備える送信手段」及び「通知装置が備える受信手段」の一例である。また、カメラモジュール3は、撮影処理の実行を司る撮影処理部11を備える。また、カメラモジュール3は、撮影処理部11によって撮影処理された画像情報から物体を識別する処理の実行を司る識別部12を備える。また、カメラモジュール3は、識別部12において識別された物体から事故を予測する処理の実行を司る事故予測部13を備える。事故予測部13では、物体情報と、事故の種類の情報を出力する。ここで、識別部12及び事故予測部13は、本発明の「予測手段」の一例である。また、カメラモジュール3は、事故が予測された場合、スピーカー9を制御する制御信号をスピーカー9へ送信する処理の実行を司る通知部14を備える。通知部14は、また、事故が予測された場合、画像情報と事故の種類の情報を端末20へ送信する処理の実行を司る。ここで、通知部14は、本発明の「通知手段」の一例である。また、カメラモジュール3は、各処理の実行を行うプログラムやデータ等の情報の記憶処理の実行を司る記憶部15を備える。カメラモジュール3は、RAM7に展開されたコンピュータプログラムを解釈及び実行するCPU6が動作することにより、通信部10、撮影処理部11、識別部12、事故予測部13、通知部14、及び記憶部15を実現する。
図6は、通知装置1の端末20の機能構成の概要の一例を示している。図6に示されるように、端末20は、外部の電子機器との無線信号の送受信を司る通信部30を備える。また、端末20は、タッチパネルディスプレイ29へ表示させる情報の処理の実行を司る表示部31を備える。また、端末20は、タッチパネルディスプレイ29からの入力信号の処理の実行を司る入力部32を備える。端末20は、RAM22に展開されたコンピュータプログラムを解釈及び実行するCPU21が動作することにより、通信部30、表示部31、入力部32を実現する。
図7は、サーバ50の機能構成の概要の一例を示している。図7に示されるように、サーバ50は、外部の電子機器とインターネット通信の処理の実行を司る通信部56を備え
る。ここで、通信部56は、本発明の「情報処理装置が備える送信手段」及び「情報処理装置が備える受信手段」の一例である。また、サーバ50は、画像データや、機械学習に使用されるアルゴリズムを含むプログラム等の情報を記憶する処理の実行を司る記憶部57を備える。機械学習に使用されるアルゴリズムは、例えばニューラルネットワークモデルの各階層の重み因子の最適化の際に使用される誤差逆伝播法や回帰分析といったアルゴリズムである。また、サーバ50は、画像データを学習データとする機械学習により、画像データを入力情報とし、当該画像に映る物体を識別し、識別した物体情報を出力する識別モデルを生成する処理の実行を司る識別モデル生成部58を備える。ここで、識別モデル生成部58は、本発明の「モデル生成手段」の一例である。
ここで、識別モデルの生成手順は次の通りである。まず、入力情報の画像データから特徴量の抽出が行われる。抽出される特徴量は、例えばHOG(Histgram Of Oriented Gradients)等が挙げられる。
次に、画像から抽出された特徴量を入力とし、当該画像に映る物体情報を出力する識別モデルが生成される。出力される物体情報は、例えば物体の名称である。また、識別モデルの例として、ニューラルネットワークモデルや、回帰分析に基づく識別関数等が挙げられる。識別モデルは、画像から抽出された特徴量、及び画像に映る物体の名称に関する学習データを学習し、最適化される。また、識別モデル生成部58では、物体毎の識別モデルが生成される。例えば画像に映る物体がXであると識別する識別モデルX、画像に映る物体がYであると識別する識別モデルYが生成される。
また、サーバ50は、物体の名称と、当該物体に起因される事故の種類との対応関係を生成する処理の実行を司る対応関係生成部59を備える。ここで、識別モデル、及び物体の名称と、当該物体に起因される事故の種類との対応関係は、本発明の「施工現場における事故の発生を予測する場合に参照されるモデル」の一例である。また、サーバ50は、画像データと、当該画像データから識別モデルを使用して予測された事故の正否に関する情報を学習データとする機械学習により、識別モデルを更新する処理の実行を司る識別モデル更新部60を備える。ここで、識別モデル生成部58や識別モデル更新部60における機械学習には、記憶部57に記憶される機械学習アルゴリズムが使用される。まだ、識別モデル更新部60は、本発明の「モデル更新手段」の一例である。
ここで、識別モデル更新部60では、識別モデルの生成の場合と同様に、入力情報の画像データから特徴量の抽出が行われる。そして、識別モデルの更新は、画像から抽出された特徴量、及び画像データから識別モデルを使用して予測された事故の正否に関する学習データを学習し、最適化されることによって実現される。
また、サーバ50は、RAM52に展開されたコンピュータプログラムを解釈及び実行するCPU51が、大容量記憶装置54やNIC55と協働することにより、通信部56、記憶部57、識別モデル生成部58、対応関係生成部59、識別モデル更新部60を実現する。
<装置動作例>
次に情報処理システム100を形成する各装置の動作の一例を説明する。カメラモジュール3は、識別モデルを生成する場合に使用される学習データを収集する。図8は、識別モデルを生成する場合に使用される学習データを収集するカメラモジュール3の動作を説明したフローチャートの一例を示している。
(ステップS11)
ステップS11では、ヘルメット2に固定されるカメラモジュール3によって、施工現
場が撮影される。カメラモジュール3はヘルメットの前後に2つ固定されているため、おおよそ全方位の周囲の環境が撮影される。夜間や屋内などの暗い環境を撮影する場合、ライト8が点灯される。そして、撮影された画像に関する情報は、撮影処理部11によって処理される。例えば、カメラモジュール3によって撮影された画像が動画である場合、画像は、撮影処理部11によって静止画へ変換される。
(ステップS12)
ステップS12では、通信部10によって、撮影された画像に関する情報が端末20へ送信される。
(ステップS13)
ステップS13では、通信部10において、端末20から画像及び画像に映る物体の名称に関する情報が受信される。受信した情報は、記憶部15においてRAM7に記憶される。
(ステップS14)
ステップS14では、RAM7に画像及び画像に映る物体の名称に関する情報が所定量記憶されたか否かの判定が行われる。RAM7に画像及び画像に映る物体の名称に関する情報が所定量記憶されていない場合、ステップS11からステップS13の処理が、実行される。
(ステップS15)
ステップS14において、RAM7に画像及び画像に映る物体の名称に関する情報が所定量記憶されていると判定された場合、通信部10において、サーバ50へ画像及び画像に映る物体の名称に関する情報が送信される。
また、カメラモジュール3は、識別モデルに基づき、施工現場において作業する作業者へ危険の報知を行う。図9は、識別モデルに基づき、施工現場において作業する作業者へ危険の報知を行うカメラモジュール3の動作を説明したフローチャートの一例を示している。
(ステップS101)
ステップS101では、通信部10において、サーバ50から識別モデル、及び物体の名称と当該物体に起因される事故の種類との対応関係に関する情報が受信される。受信した識別モデル、及び対応関係に関する情報は、記憶部15において記憶される。ここで、図10は、物体の名称と当該物体に起因される事故の種類との対応関係の一例を例示する。図10に示される当該対応関係は、サーバ50において、施工現場において過去に起こった事故が集計され、当該集計データに基づいて作成される。
(ステップS102)
ステップS102では、施工現場において作業者が作業している場合に、カメラモジュール3によって作業者の周囲の環境が撮影される。
(ステップS103)
ステップS103では、識別部12において、ステップS102で撮影された画像情報から、画像に映る物体が識別され、識別した物体情報が出力される。物体の識別は、サーバ50から受信し、記憶部15に記憶される識別モデルに画像情報を入力することによって実現される。また、識別モデルが複数存在する場合、画像情報は、それぞれの識別モデルに入力され、物体情報の出力が得られる。
(ステップS104)
ステップS104では、事故予測部13において、識別部12において得られた画像に映る物体情報に基づき、予測される事故の種類が出力される。ここで、事故の予測の場合に使用される物体情報とは、例えば物体の名称である。そして、予測される事故の種類は、図10に示される物体の名称と当該物体に起因される事故の種類との対応関係を参照することにより実現される。識別部12において得られた画像に映る物体の名称が対応関係に存在する場合、対応関係に記載される物体の名称と対応する事故の種類が、予測される事故の種類の出力となる。ここで、事故の種類の出力は、対応関係に記載される所定の事故の種類に対応する複数の物体が、画像から全て識別された場合に、行われてもよい。一方、識別部12において得られた画像に映る物体の名称が対応関係に存在しない場合、事故の種類は出力されない。
(ステップS105)
ステップS105では、事故予測部13において、予測される事故の種類が出力されたか否かの判定が行われる。
(ステップS106)
ステップS106では、予測される事故の種類が出力された場合、通知部14において、スピーカー9の制御信号が生成され、通信部10を介してスピーカー9へ制御信号が送信される。そして、スピーカー9が当該制御信号を受信し、音を発することにより、作業者へ危険が報知される。
また、ステップS106では、予測される事故の種類が出力された場合、通知部14において、予測される事故に関する情報が通信部10を介して端末20へ送信されることによっても、作業者へ危険が報知される。予測される事故に関する情報とは、例えば、予測される事故の種類が出力された場合の画像情報、画像に映る物体の名称に関する情報、及び予測される事故の種類に関する情報等である。
ただし、記憶部15において、例えば通知時刻と、通知した事故の種類に関する情報とは、RAM7へ記憶される。そして、予測される事故の種類に関する情報が新たに出力された場合、RAM7に記憶される事故の種類に関する情報が参照され、当該情報が新たに出力された予測される事故の種類に関する情報と一致する場合、新たに出力された予測される事故の種類に関する情報は、通知されない。すなわち、既に行った危険の報知は、再度行われない。
また、記憶部15において、RAM7に記憶される通知時刻が所定時間経過している時刻の場合、RAM7から当該通知時刻に通知した事故の種類に関する情報が消去されてもよい。このような通知装置1であれば、既に通知された事故が所定時間経過後に再度予測される場合、作業者へ危険が再度報知される。
また、ステップS105において予測される事故の種類が出力されない場合、危険の報知は行われず、カメラモジュール3による施工現場の撮影(S102)の実行に戻る。
(ステップS107)
ステップS107では、通信部10において、通知した予測される事故の正否に関する情報が端末20から受信される。予測される事故の正否に関する情報とは、例えば端末20へ通知した画像、当該画像に映る物体の名称の正否情報や、当該画像に映る物体の正しい名称に関する情報である。
(ステップS108)
ステップS108では、記憶部15において、端末20から受信した予測される事故の正否に関する情報が記憶される。
(ステップS109)
ステップS109では、記憶部15において、端末20から受信した予測される事故の正否に関する情報が所定量記憶されたか否かの判定が行われる。
(ステップS110)
ステップS110では、記憶部15において、端末20から受信した予測される事故の正否に関する情報が所定量記憶されたと判定された場合、予測される事故の正否に関する情報が通信部10を介してサーバ50へ送信される。
次に、端末20の動作の一例を説明する。図11は、カメラモジュール3によって識別モデルを生成する場合に使用される学習データが収集される場合の、端末20の動作を説明したフローチャートの一例を示している。
(ステップS21)
ステップS21では、通信部30において、カメラモジュール3によって撮影された施工現場の画像に関する情報が、通知装置1の通信部10から受信される。
(ステップS22)
ステップS22では、表示部31において、受信した画像情報は、タッチパネルディスプレイ29に表示される。
(ステップS23)
ステップS23では、タッチパネルディスプレイ29に表示された画像に映る物体の名称に関する情報が、タッチパネルディスプレイ29がタップされることにより入力される。そして、入力部32においてタッチパネルディスプレイ29からの入力信号は処理される。
(ステップS24)
ステップS24では、タッチパネルディスプレイ29に表示された画像、及び入力部32において入力された物体の名称に関する情報が、通信部30においてカメラモジュール3の通信部10へ送信される。
また、図12は、カメラモジュール3から危険の報知が行われた場合の、端末20の動作を説明したフローチャートの一例を示している。
(ステップS201)
ステップS201では、通信部30において、予測される事故に関する情報が、通知装置1の通信部10から受信され、危険が報知される。予測される事故に関する情報とは、例えば、予測される事故の種類が出力された場合の画像情報、画像に映る物体の名称に関する情報、及び予測される事故の種類に関する情報等である。
(ステップS202)
ステップS202では、表示部31において、受信した画像情報、画像に映る物体の名称に関する情報、及び予測される事故の種類に関する情報が、タッチパネルディスプレイ29に表示される。
(ステップS203)
ステップS203では、タッチパネルディスプレイ29に表示された画像に映る物体の名称の正否情報や、当該画像に映る物体の正しい名称に関する情報が、タッチパネルディスプレイ29がタップされることにより入力される。そして、入力部32においてタッチパネルディスプレイ29からの入力信号は処理される。
(ステップS204)
ステップS204では、入力部32において入力された予測される事故の正否に関する情報が、通信部30においてカメラモジュール3の通信部10へ送信される。
次に、サーバ50の動作の一例を説明する。図13は、識別モデルが生成される場合のサーバ50の動作を説明したフローチャートの一例を示している。
(ステップS31)
ステップS31では、通信部56において、カメラモジュール3の通信部10から施工現場の画像及び当該画像に映る物体の名称に関する情報が受信される。受信した情報は記憶部57において大容量記憶装置54へ記憶される。
(ステップS32)
ステップS32では、識別モデル生成部58において、大容量記憶装置54に記憶される施工現場の画像及び当該画像に映る物体の名称に関する情報を学習データとする機械学習が実行される。そして、施工現場の画像データを入力情報とし、当該画像に映る物体を識別し、識別した物体情報を出力する識別モデルが生成される。
(ステップS33)
ステップS33では、対応関係生成部59において、図10に示されるような物体の名称と当該物体に起因される事故の種類との対応関係が生成される。
(ステップS34)
ステップS34では、通信部56において、生成された識別モデルと対応関係に関する情報が圧縮され、カメラモジュール3の通信部10へ送信される。
また、図14は、識別モデルが更新される場合のサーバ50の動作を説明したフローチャートの一例を示している。
(ステップS301)
ステップS301では、通信部56において、カメラモジュール3の通信部10から、予測される事故の正否に関する情報が受信される。予測される事故の正否に関する情報とは、例えばカメラモジュール3によって撮影された画像、当該画像から識別モデルによって識別された物体に関する情報(例えば物体の名称)の正否情報や、当該物体の正しい名称に関する情報である。受信した予測される事故の正否に関する情報は、大容量記憶装置54へ記憶される。
(ステップS302)
ステップS302では、識別モデル更新部60において、予測される事故の正否に関する情報を学習データとする機械学習が実行されることにより、識別モデルの更新が行われる。
(ステップS303)
ステップS303では、通信部56において、更新された識別モデルが通知装置1の通信部10へ送信される。
<システム動作例>
次に情報処理システム100の処理の一例を説明する。図15は、識別モデルを生成する学習フェーズが実行される場合の情報処理システム100の処理の一例を示すシーケンス図である。
(パターン1P01)
ステップS11の処理が実行され、カメラモジュール3による施工現場の撮影が行われる。図17は、一方のカメラモジュール3によって撮影された施工現場の画像の一例を示している。画像には、コンテナ16及びワイヤー17が映っている。
(パターン1P02)
ステップS12の処理が実行され、カメラモジュール3によって撮影された施工現場の画像が端末20へ送信される。
(パターン1P03)
端末20において、ステップS21からステップS23の処理が実行される。ステップS21からステップS23の処理の実行により、カメラモジュール3によって撮影された施工現場の画像に映る物体の名称(コンテナ、ワイヤー)が、端末20のタッチパネルディスプレイ29を介して入力される。
(パターン1P04)
ステップS24の処理が実行され、施工現場の画像、及び当該施工現場の画像に映る物体の名称に関する情報が端末20からカメラモジュール3へ送信される。
(パターン1P05)
ステップS13の処理が実行され、カメラモジュール3において、施工現場の画像、及び当該施工現場の画像に映る物体の名称に関する情報が端末20から受信される。また、ステップS14の処理が実行され、RAM7に施工現場の画像、及び当該施工現場の画像に映る物体の名称に関する情報が所定量記憶されたか判定が行われる。そして、RAM7に施工現場の画像、及び当該施工現場の画像に映る物体の名称に関する情報が所定量記憶されていないと判定された場合、パターン1P01からパターン1P04までの処理が繰り返される。
一方、RAM7に施工現場の画像、及び当該施工現場の画像に映る物体の名称に関する情報が所定量記憶されていると判定された場合、ステップS15の処理が実行され、施工現場の画像、及び当該施工現場の画像に映る物体の名称に関する情報は、サーバ50へ送信される。ここで、パターン1P01からパターン1P05は、サーバ50とネットワークNを介して接続される複数の通知装置1において実行される。すなわち、サーバ50へは、様々な施工現場の画像、及び当該施工現場の画像に映る物体の名称に関する情報が集約されることとなる。
(パターン1P06)
ステップS31からステップS33の処理が実行される。例えば、サーバ50において、カメラモジュール3から受信した施工現場の画像(例えば図17)、及び当該施工現場の画像に映る物体の名称(コンテナ、ワイヤー)に関する情報を学習データとする機械学習が実行され、識別モデルが生成される。識別モデルは、施工現場の画像からコンテナを識別する識別モデル、施工現場の画像からワイヤーを識別する識別モデルといったように、物体毎の識別モデルが生成される。また、識別モデルは、コンテナ、ワイヤーに限らず、ナイフ、脚立、パイプ、床段差等の、施工現場において存在し得る物体毎の識別モデル
が生成される。また、図10に示されるような複数の物体と、当該複数の物体に起因される事故の種類との対応関係が生成される。
(パターン1P07)
ステップS34の処理が実行され、サーバ50において生成された識別モデル、及び複数の物体と、当該複数の物体に起因される事故の種類との対応関係に関する情報が圧縮され、カメラモジュール3へ送信される。
次に、識別モデルに基づいて物体を識別する識別フェーズが実行される場合の情報処理システム100の処理の一例を説明する。図16は、識別モデルに基づいて物体を識別する識別フェーズが実行される場合の情報処理システム100の処理の一例を示すシーケンス図である。また、情報処理システム100は、識別された物体情報に基づいて事故を予測して危険を報知し、また予測の正否情報に基づいて識別モデルを更新する。
(パターン2P01)
ステップS101からステップS104の処理が実行される。カメラモジュール3は、施工現場を撮影し、撮影された画像と、サーバ50から受信した識別モデル、及び物体の名称と当該物体に起因される事故の種類との対応関係に基づき、事故の予測を行う。
図18は、作業者が作業している場合に、カメラモジュール3によって撮影された画像の一例を示している。図18に示される画像には、コンテナ18、ワイヤー19が映っている。ここで、本実施形態では、識別モデルに基づき、画像からコンテナ18が識別され、ワイヤー19が識別されなかったものとする。よって、図10に示される対応関係に基づき、コンテナ18に対応する事故として「はさまれ」のみが予測され、ワイヤー19に対応する事故としての「転倒」が予測されないものとする。
(パターン2P02)
ステップS105の処理が実行され、識別モデルから事故の種類の出力が行われたか否かの判定が行われる。そして、事故の種類の出力が行われたと判定された場合、ステップS106の処理が実行され、予測される事故に関する情報が端末20へ送信され、危険が報知される。予測される事故に関する情報とは、例えば、図18に示される画像、画像に映る物体の名称情報(コンテナ)、及び予測される事故の種類に関する情報(はさまれ)等である。また、スピーカー9から音が発せられ、作業者へ危険が報知される。
(パターン2P03)
ステップS201からステップS203の処理が実行される。端末20のタッチパネルディスプレイ29に、予測される事故に関する情報が表示される。
また、タッチパネルディスプレイ29に表示された予測される事故の正否に関する情報が、タッチパネルディスプレイ29がタップされることにより入力される。予測される事故の正否に関する情報とは、例えば端末20へ通知した画像、当該画像に映る物体の名称の正否情報や、当該画像に映る物体の正しい名称に関する情報である。ここで、作業者は、ワイヤー19が識別されていないことを認識する。そして、作業者は、タッチパネルディスプレイ29から「予測否」「ワイヤー」と入力する。
(パターン2P04)
ステップS204の処理が実行され、タッチパネルディスプレイ29から入力された予測される事故の正否に関する情報が、カメラモジュール3へ送信される。
(パターン2P05)
ステップS107からステップS108の処理が実行され、端末20から予測される事故の正否に関する情報が受信され、受信した予測される事故の正否に関する情報がRAM7へ記憶される。
(パターン2P06)
ステップS109の処理が実行され、RAM7に予測される事故の正否に関する情報が所定量記憶されたか否かの判定を行う。そして、RAM7に予測される事故の正否に関する情報が所定量記憶されていないと判定された場合、パターン2P01のS102の処理からパターン2P06の処理が繰り返し実行される。
(パターン2P07)
RAM7に予測される事故の正否に関する情報が所定量記憶されたと判定された場合、ステップS110の処理が実行され、予測される事故の正否に関する情報がサーバ50へ送信される。
(パターン2P08)
ステップS301からステップS302の処理が実行され、サーバ50において、受信した予測される事故の正否に関する情報を学習データとする機械学習が実行され、識別モデルが更新される。本実施形態では、図18に示される画像からワイヤーが識別されなかったため、例えばサーバ50において図18に示される画像と、物体の名称「ワイヤー」というデータを学習データとする機械学習が実行され、識別モデルが更新される。
(パターン2P09)
ステップS303の処理が実行され、更新された識別モデルがサーバ50からカメラモジュール3へ送信される。そして、パターン2P01からの処理が繰り返し実行される。
<作用・効果>
上記のような情報処理システムであれば、サーバ50において、施工現場が映る画像を学習データとする機械学習によって、施工現場が映る画像から物体を識別する識別モデルが生成される。また、図10に示されるように、物体の名称と当該物体に起因される事故の種類との対応関係が生成される。よって、作業者に装着されるカメラによって撮影された画像から事故を予測することができる。また、当該事故が予測された場合に、スピーカー9や端末20を介して作業者へ危険を報知することにより、作業者による事故を未然に防ぐことができる。
また、作業者は、端末20のタッチパネルディスプレイ29に表示された予測される事故に関する情報を見て、当該予測の正否に関する情報を入力することができる。そして、入力された予測される事故の正否に関する情報がサーバ50へ送信される。サーバ50では、当該予測される事故の正否に関する情報を学習データとする機械学習によって、識別モデルは更新される。そして、カメラモジュール3では、更新された識別モデルに基づき、事故の予測が再度行われる。上記の実施形態の場合、当初生成された識別モデルでは、図18に示される画像からワイヤー19を識別できなかった。しかしながら、作業者が入力した予測が否であるという情報と、物体がワイヤーであるという情報に基づき、サーバ50において識別モデルを更新している。すなわち、事故の予測の精度は、高められる。
また、図10に示される物体の名称と当該物体に起因される事故の種類との対応関係は、施工現場において過去に起こった事故を集計したデータに基づいて作成されている。すなわち、情報処理システム100は、過去に起こった事故のデータをノウハウとして活用することができる。
また、カメラモジュール3は、フラッシュメモリ、USBメモリ、SD(Secure
Digital)メモリカード等の補助記憶装置33を備えてもよい。そして、パターン1P05における施工現場の画像、及び当該施工現場の画像に映る物体の名称に関する情報の記憶が、RAM7に代わって補助記憶装置33へ記憶されてもよい。また、パターン2P05における予測される事故の正否に関する情報の記憶が、RAM7に代わって補助記憶装置33へ記憶されてもよい。そして、パターン1P05やパターン2P07において実現されるカメラモジュール3からサーバ50への情報の送信が、補助記憶装置33をカメラモジュール3から抜き、サーバ50へ挿すことによって実現されてもよい。
また、本実施形態では、識別モデルを生成する場合の学習データはカメラモジュール3によって撮影されたものであったが、カメラモジュール3に限らず、施工現場が映る画像であればどのような電子機器で撮影された画像であってもよい。また、学習データは、例えばCAD(Computer Aided Design)によって生成された施工現場の図であってもよい。
また、識別モデル生成部58では、例えば、図10の対応関係に示されるように、パイプを識別する識別モデルA、ねじ切り旋盤を識別する識別モデルBといったように物体毎の識別モデルが生成されているが、画像から鋭利な形状を識別し、サンダー、カッターナイフ等の物体であると識別する識別モデルC、あるいは画像から地面を識別し、地面付近に映る物体を台車、配管材、ダクト材、高所作業車、コンテナ等の物体であると識別する識別モデルDが生成されてもよい。
また、サーバ50の識別モデル生成部58や識別モデル更新部60において、物体毎の識別モデルの生成あるいは更新を行う場合であって、識別される物体に対応する事故の種類が類似している場合、共通する学習データが使用されてもよい。例えば、事故の種類のうちの1つである転落に対応する物体である床開口を識別する識別モデルは、床開口が映る画像を学習することによって生成・更新される。ここで、事故の種類のうちの1つである転倒は転落と類似しているため、転倒に対応する物体である床隙間を識別する識別モデルは、床開口の識別モデルの生成や更新の場合に使用された画像データを学習することによって、生成・更新されてもよい。
また、通知装置1は、例えば外部の電子機器と無線通信を行うことのできる眼鏡型ディスプレイを備えてもよい。このような通知装置1であれば、例えば作業者がサンダーを使用するといったスピーカー9から発せられる音が聴き取りにくく、作業者が聴覚を通じて危険の報知を認識できない虞のある場合であっても、眼鏡型ディスプレイに、予測される事故の種類に関する情報を表示させることや、眼鏡型ディスプレイの所定の部分を発光させることによって、作業者へ視覚を通じて事故の危険を認識させることができる。また、通知装置1は、識別モデル毎に危険の報知方法を異ならせてもよい。例えば、通知装置1は、施工現場が映る画像からサンダーを識別する識別モデルに基づいて事故が予測された場合には、眼鏡型ディスプレイに「切れ、こすれ」という情報を表示させ、一方で施工現場が映る画像から床段差を識別する識別モデルに基づいて事故が予測された場合には、スピーカー9から音を発することによって危険を報知してもよい。
また、識別モデルや対応関係の事故の種類には、通知優先度の情報が含まれていてもよい。そして、例えば、ステップS105における事故予測部13において、予測される事故の種類が出力されたか否かの判定は、通知優先度の高い識別モデルに基づく出力から順に判定されてもよい。また、例えば、施工現場が映る画像から複数の識別モデルと対応関係に基づいて複数の予測される事故の種類が出力された場合、通知優先度の高い事故の種類から順に作業者へ通知されてもよい。また、当該優先度に応じて、スピーカー9から発せられる音の大きさや端末20の表示内容等が変更されてもよい。また、当該優先度は、
例えば過去に起こった事故による怪我の全治日数等のデータに基づいて設定されてもよい。
以上、本発明の好ましい実施の形態の一例を説明したが、本発明は図示の形態に限定されない。当業者であれば、特許請求の範囲に記載された思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
1・・通知装置;2・・ヘルメット;3・・カメラモジュール;4・・ICチップ;5・・アンテナ;6・・CPU;7・・RAM;8・・ライト;9・・スピーカー;10・・通信部;11・・撮影処理部;12・・識別部;13・・事故予測部;14・・通知部;15・・記憶部;16・・コンテナ;17・・ワイヤー;18・・コンテナ;19・・ワイヤー;20・・端末;21・・CPU;22・・RAM;23・・ROM、24・・無線通信I/F;25・・大容量記憶装置;27・・表示装置;28・・入力装置;29・・タッチパネルディスプレイ;30・・通信部;31・・表示部;32・・入力部;33・・補助記憶装置;50・・サーバ;51・・CPU;52・・RAM;53・・ROM;54・・大容量記憶装置;55・・NIC;56・・通信部;57・・記憶部;58・・識別モデル生成部;59・・対応関係生成部;60・・識別モデル更新部;100・・情報処理システム;N・・ネットワーク

Claims (6)

  1. 施工現場において作業する作業者に装着されるカメラと、
    施工現場が映る画像から施工現場における前記作業者の事故の発生を予測する場合に参照されるモデルに基づいて、前記カメラによって撮影された画像に映る物体から事故の発生を予測する予測手段と、
    前記予測手段によって事故の発生が予測された場合に、前記予測を前記作業者へ通知する通知手段と、
    前記カメラによって撮影された画像と、前記通知手段によって前記予測が前記作業者へ通知された場合に、前記作業者が前記予測の正否を入力する入力手段によって入力された前記予測の正否情報とを、施工現場が映る画像を学習データとする機械学習によって前記モデルを生成し、前記カメラによって撮影された画像、及び前記予測の正否情報を学習データとする機械学習によって前記モデルを更新するサーバへ送信する送信手段と、
    前記サーバにおいて更新された前記モデルを前記サーバから取得する取得手段と、を備え、
    前記モデルは、
    前記施工現場が映る画像から識別対象物を識別する識別モデルと、
    前記識別対象物と、前記識別対象物に起因される前記作業者の事故の種類との対応関係と、を含む、
    通知装置。
  2. 施工現場が映る画像を学習データとする機械学習によって施工現場における作業者の事故の発生を予測する場合に参照されるモデルを生成するモデル生成手段と、
    前記モデル生成手段によって生成された前記モデルに基づいて、施工現場において作業する作業者に装着されるカメラによって撮影された画像に映る物体から、事故の発生を予測して前記作業者へ通知し、前記作業者が前記通知した予測の正否情報を入力する情報機器へ、前記モデルを送信する送信手段と、
    前記カメラによって撮影された画像、及び前記作業者が入力した前記予測の正否情報を、前記情報機器から受信する受信手段と、
    前記受信手段によって受信した前記カメラによって撮影された画像、及び前記予測の正否情報を学習データとする機械学習により前記モデルを更新するモデル更新手段と、を備え、
    前記モデルは、
    前記施工現場が映る画像から識別対象物を識別する識別モデルと、
    前記識別対象物と、前記識別対象物に起因される前記作業者の事故の種類との対応関係と、を含む、
    情報処理装置。
  3. 施工現場において作業する作業者へ前記作業者の事故の予測を通知する通知装置と、施工現場が映る画像から事故の発生を予測する場合に参照されるモデルを生成する情報処理装置によって形成される情報処理システムであって、
    前記通知装置は、
    前記作業者に装着されるカメラと、
    前記モデルを前記情報処理装置から取得する取得手段と、
    前記モデルに基づいて、前記カメラによって撮影された画像に映る物体から事故の発生を予測する予測手段と、
    前記予測手段によって事故の発生が予測された場合に、前記予測を前記作業者へ通知する通知手段と、
    前記通知手段によって前記予測が前記作業者へ通知された場合に、前記作業者が前記予測の正否を入力する入力手段と、
    前記カメラによって撮影された画像、及び前記入力手段によって入力された前記予測の正否情報を、前記情報処理装置へ送信する送信手段と、を備え、
    前記情報処理装置は、
    施工現場が映る画像を学習データとした機械学習によって前記モデルを生成するモデル生成手段と、
    前記モデル生成手段によって生成された前記モデルを前記通知装置へ送信する送信手段と、
    前記通知装置の前記カメラによって撮影された画像、及び前記通知装置の前記入力手段によって入力された前記予測の正否情報を、前記通知装置から受信する受信手段と、
    前記受信手段によって受信した前記カメラによって撮影された画像、及び前記予測の正否情報を学習データとした機械学習により前記モデルを更新するモデル更新手段と、を備え、
    前記通知装置の前記取得手段は、前記更新されたモデルを前記情報処理装置から取得し、
    前記モデルは、
    前記施工現場が映る画像から識別対象物を識別する識別モデルと、
    前記識別対象物と、前記識別対象物に起因される前記作業者の事故の種類との対応関係と、を含む、
    情報処理システム。
  4. 前記対応関係は、複数の識別対象物と、前記複数の識別対象物に起因される事故の種類との対応関係である、
    請求項3に記載の情報処理システム。
  5. 施工現場において作業する作業者へ前記作業者の事故の予測を通知する通知装置と、施工現場が映る画像から事故の発生を予測する場合に参照されるモデルを生成する情報処理装置によって形成される情報処理システムが実行する情報処理方法であって、
    前記通知装置が、
    前記モデルを前記情報処理装置から取得する取得ステップと、
    前記モデルに基づいて、前記作業者に装着されるカメラによって撮影された画像に映る物体から事故の発生を予測する予測ステップと、
    前記予測ステップによって事故の発生が予測された場合に、前記予測を前記作業者へ
    通知する通知ステップと、
    前記通知ステップによって前記予測が前記作業者へ通知された場合に、前記作業者が前記予測の正否を入力する入力ステップと、
    前記カメラによって撮影された画像、及び前記入力ステップによって入力された前記予測の正否情報を、前記情報処理装置へ送信する送信ステップと、を実行し、
    前記情報処理装置が、
    施工現場が映る画像を学習データとした機械学習によって前記モデルを生成するモデル生成ステップと、
    前記モデル生成ステップによって生成された前記モデルを前記通知装置へ送信する送信ステップと、
    前記カメラによって撮影された画像、及び前記通知装置の前記入力ステップによって入力された前記予測の正否情報を、前記通知装置から受信する受信ステップと、
    前記受信ステップによって受信した前記カメラによって撮影された画像、及び前記予測の正否情報を学習データとした機械学習により前記モデルを更新するモデル更新ステップと、を実行し、
    前記通知装置の前記取得ステップは、前記更新されたモデルを前記情報処理装置から取得し、
    前記モデルは、
    前記施工現場が映る画像から識別対象物を識別する識別モデルと、
    前記識別対象物と、前記識別対象物に起因される前記作業者の事故の種類との対応関係と、を含む、
    情報処理方法。
  6. 施工現場において作業する作業者へ前記作業者の事故の予測を通知する通知装置と、施工現場が映る画像から事故の発生を予測する場合に参照されるモデルを生成する情報処理装置によって形成される情報処理システムに実行させる情報処理プログラムであって、
    前記通知装置に、
    前記モデルを前記情報処理装置から取得する取得処理と、
    前記モデルに基づいて、前記作業者に装着されるカメラによって撮影された画像に映る物体から事故の発生を予測する予測処理と、
    前記予測処理によって事故の発生が予測された場合に、前記予測を前記作業者へ通知する通知処理と、
    前記通知処理によって前記予測が前記作業者へ通知された場合に、前記作業者が前記予測の正否を入力する入力処理と、
    前記カメラによって撮影された画像、及び前記入力処理によって入力された前記予測の正否情報を、前記情報処理装置へ送信する送信処理と、を実行させ、
    前記情報処理装置に、
    施工現場が映る画像を学習データとした機械学習によって前記モデルを生成するモデル生成処理と、
    前記モデル生成処理によって生成された前記モデルを前記通知装置へ送信する送信処理と、
    前記カメラによって撮影された画像、及び前記通知装置の前記入力処理によって入力された前記予測の正否情報を、前記通知装置から受信する受信処理と、
    前記受信処理によって受信した前記カメラによって撮影された画像、及び前記予測の正否情報を学習データとした機械学習により前記モデルを更新するモデル更新処理と、を実行させ、
    前記通知装置に実行させる前記取得処理は、前記更新されたモデルを前記情報処理装置から取得し、
    前記モデルは、
    前記施工現場が映る画像から識別対象物を識別する識別モデルと、
    前記識別対象物と、前記識別対象物に起因される前記作業者の事故の種類との対応関係と、を含む、
    情報処理プログラム。
JP2018090810A 2018-05-09 2018-05-09 通知装置、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム Active JP7131958B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018090810A JP7131958B2 (ja) 2018-05-09 2018-05-09 通知装置、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018090810A JP7131958B2 (ja) 2018-05-09 2018-05-09 通知装置、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2019197373A JP2019197373A (ja) 2019-11-14
JP7131958B2 true JP7131958B2 (ja) 2022-09-06

Family

ID=68537594

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018090810A Active JP7131958B2 (ja) 2018-05-09 2018-05-09 通知装置、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム

Country Status (1)

Country Link
JP (1) JP7131958B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021140459A (ja) * 2020-03-05 2021-09-16 トヨタ自動車株式会社 画像処理システム
JP2022055229A (ja) * 2020-09-28 2022-04-07 横河電機株式会社 監視用デバイス、学習装置、方法およびプログラム
JP2022113042A (ja) * 2021-01-22 2022-08-03 オムロン株式会社 作業推定装置、作業推定装置の制御方法、情報処理プログラム、および記録媒体
TW202230234A (zh) 2021-01-29 2022-08-01 日商Dxb股份有限公司 管理系統、評價系統及人才培育方法
JP7147942B1 (ja) 2021-09-07 2022-10-05 トヨタ自動車株式会社 データ収集装置、データ収集システム、データ収集方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014120786A (ja) 2012-12-13 2014-06-30 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2014119786A (ja) 2012-12-13 2014-06-30 Seiko Epson Corp 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、作業支援システム
JP2015158846A (ja) 2014-02-25 2015-09-03 株式会社国際電気通信基礎技術研究所 安全管理システム、安全管理プログラムおよび安全管理方法
US20160342840A1 (en) 2015-05-18 2016-11-24 Daqri, Llc Threat identification system
JP2016224547A (ja) 2015-05-27 2016-12-28 株式会社リコー 画像処理装置、画像処理システム及び画像処理方法
US20160375524A1 (en) 2015-06-24 2016-12-29 Illinois Tool Works Inc. Time of flight camera for welding machine vision
JP2017142790A (ja) 2017-02-01 2017-08-17 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、作業支援システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09196825A (ja) * 1996-01-18 1997-07-31 Fuji Facom Corp プラントの異常検知装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014120786A (ja) 2012-12-13 2014-06-30 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2014119786A (ja) 2012-12-13 2014-06-30 Seiko Epson Corp 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、作業支援システム
JP2015158846A (ja) 2014-02-25 2015-09-03 株式会社国際電気通信基礎技術研究所 安全管理システム、安全管理プログラムおよび安全管理方法
US20160342840A1 (en) 2015-05-18 2016-11-24 Daqri, Llc Threat identification system
JP2016224547A (ja) 2015-05-27 2016-12-28 株式会社リコー 画像処理装置、画像処理システム及び画像処理方法
US20160375524A1 (en) 2015-06-24 2016-12-29 Illinois Tool Works Inc. Time of flight camera for welding machine vision
JP2017142790A (ja) 2017-02-01 2017-08-17 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、作業支援システム

Also Published As

Publication number Publication date
JP2019197373A (ja) 2019-11-14

Similar Documents

Publication Publication Date Title
JP7131958B2 (ja) 通知装置、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
US10769536B2 (en) Work support system and work support program
US20160035246A1 (en) Facility operations management using augmented reality
KR101431424B1 (ko) 양방향 통신이 가능한 스마트 안전모를 이용한 플랜트 운전/정비 지원시스템 및 그 운영 방법
US11288760B2 (en) Systems and methods for recovering information from a recording device
CN111540020B (zh) 目标行为的确定方法及装置、存储介质、电子装置
JP2022103189A (ja) 作業現場監視装置、作業現場監視システム、作業現場監視方法およびプログラム
US20170261839A1 (en) Image processing device, image processing method, and computer-readable recording medium
JP2017097702A (ja) 監視システムとその監視制御装置
CN111488894A (zh) 档案合并方法及装置
KR102243259B1 (ko) 시선 추적 기술을 기반으로 하는 작업자의 작업을 학습 및 평가하기 위한 장치 및 그 방법
CN115100595A (zh) 一种安全隐患检测方法、系统、计算机设备和存储介质
CN112101288A (zh) 安全帽佩戴检测方法、装置、设备及存储介质
CN105608189A (zh) 一种图片分类方法、装置及电子设备
JP2023022867A (ja) 安全管理装置、システム、方法、及びプログラム
CN114584836B (zh) 电子产品使用行为检测方法、装置、系统及介质
KR20220023743A (ko) 스마트폰과 블랙박스를 이용한 사고 처리 시스템 및 이를 이용한 교통 사고 처리 방법
CN104902229A (zh) 视频监控方法、系统及摄像监控系统
CN112906552A (zh) 一种基于计算机视觉的巡检方法、装置和电子设备
CN117076295A (zh) 数据库的检测方法、系统、电子设备及存储介质
CN116703157A (zh) 施工现场远程可视化显示方法、装置、电子设备和介质
JP6815290B2 (ja) 物体識別システム
CN116229505A (zh) 安全帽佩戴检测方法、装置、电子装置和存储介质
KR20190058206A (ko) 행동정보를 이용한 질병예측방법 및 장치
CN112949606A (zh) 工服穿戴状态检测方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220825

R150 Certificate of patent or registration of utility model

Ref document number: 7131958

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150