JP6691068B2 - How to grasp the worker status - Google Patents
How to grasp the worker status Download PDFInfo
- Publication number
- JP6691068B2 JP6691068B2 JP2017035997A JP2017035997A JP6691068B2 JP 6691068 B2 JP6691068 B2 JP 6691068B2 JP 2017035997 A JP2017035997 A JP 2017035997A JP 2017035997 A JP2017035997 A JP 2017035997A JP 6691068 B2 JP6691068 B2 JP 6691068B2
- Authority
- JP
- Japan
- Prior art keywords
- worker
- abnormality
- acceleration
- abnormal
- camera image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Maintenance And Inspection Apparatuses For Elevators (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
- Telephonic Communication Services (AREA)
Description
本発明は、保守作業の現場等で作業する作業者の安全管理のための作業者状態把握方法に関する。 The present invention relates to a worker state bunch grip method for the safety management of the worker to work in the field, such as maintenance work.
従来から、エレベーター装置に設けられたカメラや保守員がその身体に装着したカメラにより、保守作業の画像を撮影して取得し、危険な場所で作業する作業者の安否確認を行うための作業支援システムが提案されている(例えば、特許文献1参照)。 Conventionally, work support is provided for taking images of maintenance work by taking images of maintenance work with a camera installed in the elevator device or a camera worn by maintenance personnel on the body, and confirming the safety of workers who work in dangerous places. A system has been proposed (for example, see Patent Document 1).
特許文献1に記載の技術は、エレベーター装置の保守作業の安全性を向上させるために、保守作業の対象となるエレベーター装置の仕様と保守員の実作業(保守作業)に応じた危険事例を取得し、この取得した危険事例を保守員に通知するものである。ここで、危険事例とは、保守作業において生じ得る事故や危険等に関する情報であり、事故等の内容、事故が発生したエレベーター装置の仕様、保守作業の内容、及び保守員の状態等の情報が含まれる。 In order to improve the safety of the maintenance work of the elevator device, the technology described in Patent Document 1 acquires a dangerous case according to the specifications of the elevator device that is the target of the maintenance work and the actual work (maintenance work) of the maintenance staff. However, the maintenance case is notified of the acquired dangerous case. Here, the dangerous case is information on accidents and dangers that can occur during maintenance work, and includes information such as the contents of the accident, the specifications of the elevator device where the accident occurred, the contents of the maintenance work, and the status of maintenance personnel. included.
従来の技術は、カメラ画像によって作業者の危険を検知して作業者へ安否確認の通知を行うものであった。この技術では、作業者から送られたカメラ画像を見て、管理者等が作業者に対する安否確認を行い、作業者からの回答がなければ、当該作業者の近くで作業を行っている他の作業者へ知らせるようにする。しかし、カメラ画像で作業者の危険を察知できない場合には、危険通知が出されないため、作業者の危険状態を精確に把握することができないという問題があった。 In the conventional technique, the danger of the worker is detected by the camera image and the safety confirmation is notified to the worker. With this technology, the administrator etc. confirms the safety of the worker by looking at the camera image sent from the worker, and if there is no reply from the worker, the other worker who is working near the worker Notify the workers. However, when the danger of the worker cannot be detected from the camera image, the danger notification is not issued, and thus there is a problem that the danger state of the worker cannot be accurately grasped.
本発明の目的は、作業者の危険状態を精確に把握することが可能な作業者状態把握方法を提供することにある。 An object of the present invention is to provide an accurate grasp operator status bunch grip method capable of a hazardous condition of the worker.
本発明の作業者状態把握方法は、以下(a)〜(k)を含む。
(a)作業者が装着しているカメラからの画像を受信して異常画像を判定するカメラ画像の異常を判定するカメラ画像判定ステップ、
(b)前記カメラに内蔵されたマイクで検出された音声を受信して異常音を判定する異常音判定ステップ、
(c)前記作業者の携帯している携帯端末に内蔵される加速度センサからの情報を受信して加速度の変化の異常を判定する加速度判定ステップ、
(d)前記カメラ画像判定ステップ、前記異常音判定ステップ及び前記加速度判定ステップの中の2つ以上のステップで異常判定がなされたときに、前記作業者が異常状態に陥っていると把握する作業者状態把握ステップ、
(e)前記作業者状態把握ステップで異常が発生していると判定された前記作業者の位置を確認する作業者位置確認ステップ、
(f)前記作業者が携帯しているカメラのカメラ画像が急変した場合に、前記作業者にその理由を問い合わせるステップ、
(g)前記作業者から問題がない旨の返答があれば、異常なしの判定を行い、前記作業者から何の返答もないときに、前記作業者が異常状態に陥った可能性があると判定するステップ、
(h)前記作業者が異常状態に陥った可能性があると判定した場合に、前記作業者に異常が発生した可能性があることを管理者端末に通知するステップ、
(i)前記作業者に異常が発生した可能性がある通知を受けた前記管理者端末は、前記作業者が異常状態に陥った可能性があることを、前記作業者の近くで作業している他の作業者の携帯端末に通知するステップ、
(j)前記他の作業者の携帯端末に、前記作業者が異常状態に陥る直前のカメラ画像を表示するステップ、
(k)前記管理者端末からの通知を受けて、前記他の作業者は、前記作業者の現場に行き、前記作業者の異常状態に応じて対応するステップ。
The worker state grasping method of the present invention includes the following (a) to (k).
(A) A camera image determination step of determining an abnormality of a camera image by receiving an image from a camera worn by an operator and determining an abnormal image,
(B) an abnormal sound determination step of receiving an audio detected by a microphone built in the camera and determining an abnormal sound;
(C) An acceleration determination step of receiving information from an acceleration sensor incorporated in a portable terminal carried by the worker and determining an abnormality in a change in acceleration,
(D) Work for grasping that the worker is in an abnormal state when an abnormality determination is made in two or more steps of the camera image determination step, the abnormal sound determination step, and the acceleration determination step Person status grasping step,
(E) A worker position confirmation step of confirming the position of the worker determined to have an abnormality in the worker state grasping step,
(F) when the camera image of the camera carried by the worker changes suddenly, inquiring the worker of the reason thereof,
(G) If there is a response from the worker that there is no problem, it is determined that there is no abnormality, and if there is no response from the worker, it is possible that the worker has fallen into an abnormal state. Determining step,
(H) if it is determined that the worker may have fallen into an abnormal state, a step of notifying the administrator terminal that the worker may have an abnormality,
(I) The administrator terminal, which has received the notification that the worker may have an abnormality, performs a work near the worker that the worker may be in an abnormal state. Steps to notify the mobile device of another worker who is
(J) displaying a camera image immediately before the worker falls into an abnormal state on a mobile terminal of the other worker,
(K) Receiving the notification from the administrator terminal, the other worker goes to the site of the worker and responds according to the abnormal state of the worker.
本発明によれば、現場で作業中の作業者の状態をより正確に把握することが可能である。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
According to the present invention, it is possible to more accurately grasp the state of the worker who is working on the site.
Problems, configurations, and effects other than those described above will be clarified by the following description of the embodiments.
[本発明の一実施の形態例の全体構成の説明]
以下、図面を参照して本発明の一実施の形態例について説明する。
図1は、本発明の作業者状態把握方法を実現するための作業者状態把握システムの一実施の形態例(以下、「本例」ということもある)を示すブロック図であり、特に作業者Aの携帯端末1A、作業者Bの携帯端末1B、ネットワーク3、サーバー装置4及び管理者Cの管理者端末5の接続関係を示す。特に、サーバー装置4については、本例の作業状態把握システムにおける情報処理の機能をブロックとして示している。
[Description of Overall Configuration of Embodiment of the Present Invention]
An embodiment of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing an example of an embodiment (hereinafter, also referred to as “this example”) of a worker state grasping system for realizing a worker state grasping method of the present invention, and in particular, a worker The connection relationship of the
作業者Aと作業者Bは、それぞれカメラ2Aと2Bを装着して作業を行うことになる。このカメラ2A及び2Bには不図示のマイクが内蔵されており、カメラ2A及び2Bからはカメラ画像とマイクで拾った音声が出力される。また、カメラ2A及び2Bは、無線により作業者A及びBが保有する携帯端末1A、1Bと通信することができるようになっている。なお、携帯端末1A、1Bには、不図示の加速度センサが内蔵されている。
The worker A and the worker B will wear the
携帯端末1A、1Bは、ネットワーク3を経由してサーバー装置4と接続されている。また、管理者Cが操作する管理者端末5は、直接あるいは不図示のネットワーク経由でサーバー装置4に接続される。
以下、作業者Aと作業者Bを区別しないで、作業者A、Bが保有する携帯端末1A、1Bを総称して述べるときは、「携帯端末1」と記載し、同様にカメラ2A、2Bについても「カメラ2」と記載することとする。なお、本例では、説明の都合上、作業者Aと作業者Bの2名を挙げているが、作業者の数は、2名を超える複数の人数の場合も同様に取り扱われることはいうまでもない。
The
Hereinafter, when the
サーバー装置4は、本例における処理部のソフトウェア機能として、カメラ画像判定部41、加速度判定部42、音声判定部43、作業者位置確認部44及び作業者状態把握部45を備える。これらの各機能は、後述するCPUからなる制御部46によって制御される。
The server device 4 includes a camera
カメラ画像判定部41は、作業者A及び作業者Bのカメラ2A及び2Bからのカメラ画像から作業者Aまたは作業者Bの作業状態が良好であるか、あるいは作業者Aまたは作業者Bに事故等の異常事態が発生していないかどうかを判定する。加速度判定部42は、携帯端末1A及び1Bに内蔵されている加速度センサの測定波形の変化を検知することにより、作業者AまたはBの良好または異常を判定する。また、音声判定部43は、作業者A及び作業者Bの装着するカメラ2A及び2Bから作業者の叫び声などの異常音を検出するものであり、異常音が発生した場合には作業者Aまたは作業者Bに何らかの異常事態が発生したと判断する。
The camera
作業者位置確認部44は、GPS(Global Positioning System) 機能が搭載された携帯端末1A及び1Bからの情報に基づいて各作業者A及び作業者Bの位置を確認する。
作業者状態把握部45は、カメラ画像判定部41、加速度判定部42、音声判定部43及び作業者位置確認部44からの情報に基づいて、作業者Aまたは作業者Bに事故等の異常が発生していないかどうかを把握する。なお、カメラ画像判定部41、加速度判定部42及び音声判定部43における判定結果から作業者の異常状態を判定する具体例については後述する。
The worker
Based on the information from the camera
作業者状態把握部45は、カメラ画像判定部41、加速度判定部42,音声判定部43及び作業者位置確認部44からの情報に基づいて作業者の状態を常時把握している。そして、作業者状態把握部45において、例えば作業者Bの状態が異常と判定した場合(図1参照)は、事務所の管理端末5に通知して管理者Cに知らせる。また、作業者位置確認部44により抽出された作業者Bの最も近くで作業している作業者Aに対して、その保有する携帯端末1Aを経由して作業者Bの異常を通知する。
The worker
[携帯端末1及び管理者端末5のハードウェア構成の説明]
図2は、本例の作業者状態把握システムに用いられる、携帯端末1及び管理者端末5のハードウェア構成を示す。
まず、図2は、作業者Aまたは作業者Bが身に付けている携帯端末1A及び1Bのハードウェア構成及び管理者端末5のハードウェア構成を示している。
[Description of Hardware Configuration of Mobile Terminal 1 and Administrator Terminal 5]
FIG. 2 shows the hardware configuration of the mobile terminal 1 and the
First, FIG. 2 shows the hardware configuration of the
図2に示すように、携帯端末1及び管理者端末5は、バス30に接続されたCPU(Central Processing Unit)21、ROM(Read Only Memory)22、RAM(Random Access Memory)23、不揮発性ストレージ24を備える。また、外部との通信を行うためのネットワークインタフェース25、入力部26及び表示部27を備える。
As shown in FIG. 2, the mobile terminal 1 and the
CPU21は、本例の作業者状態把握システムに関係する各機能を実現するソフトウェアのプログラムコードをROM22から読み出して実行する。RAM23には、演算処理の途中に発生した変数等が一時的に書き込まれる。CPU21がROM22に記録されているプログラムコードを実行することにより、携帯端末1及び管理者端末5の各種機能が実現される。
The
不揮発性ストレージ24は、通常スマートフォン等に用いられるSSD(Solid State Drive)等の不揮発性のメモリである。ROM22と不揮発性ストレージ24には、CPU21が動作するために必要なプログラムやデータ等が、半永久的に記憶され、格納されている。
The non-volatile storage 24 is a non-volatile memory such as SSD (Solid State Drive) usually used in smartphones and the like. The
ネットワークインタフェース25としては、例えば、NIC(Network Interface Card)等が用いられ、このネットワークインタフェース25を通して、携帯端末1及び管理者端末5とサーバー装置4との通信が行われる。また、表示部26には、サーバー装置4から送られる情報や、作業者Aまたは作業者Bからのカメラ2A、2Bで撮影した映像などが表示される。
As the
携帯端末1と管理者端末5では、入力部26の動作が異なっている。携帯端末1では、作業者が装着するカメラ2からの映像情報、音声情報の他に携帯端末1に内蔵する加速度センサからの加速度データが入力される。一方、管理者端末5における入力部28は、管理者Cが入力装置として用いるキーボードやマウスを意味する。
The operation of the
[サーバー装置4のハードウェア構成の説明]
図3は、サーバー装置4のハードウェア構成を示す。図3に示すCPU31、ROM32、RAM33は、図2に示すCPU21、ROM22、RAM23と同じなのでここでは説明を省略する。図3に示すサーバー装置4では、不揮発性ストレージ34の内容が図2の不揮発性ストレージ24と異なっている。すなわち、図3の不揮発性ストレージ34は、画像データベース(画像DB)35、加速度データベース(加速度DB)36、及び音声データベース(音声DB)37を含む。
[Description of hardware configuration of server device 4]
FIG. 3 shows a hardware configuration of the server device 4. The
画像データベース35には、作業者A、Bが装着しているカメラ2A、2Bで撮影されたカメラ画像が記憶される。加速度データベース36には、作業者A、Bが保有する携帯端末1A、1Bに内蔵される加速度センサからのデータが記憶される。音声データベース37には、カメラ2A、2Bに付属する不図示のマイクで検出した音声が記憶される。なお、カメラ2A、2Bまたは携帯端末1A、1Bからの画像、加速度及び音声の各データは、通信インターフェース(通信1/F)38を通して、それぞれのデータベース35〜37に記憶される。
The
[作業者A、Bの作業が良好に行われている場合の処理フローの説明]
次に、本例のシステムが、良好に作動している状態について、図4を参照して説明する。
図4は、作業者A、Bに異常が発生しない状態で、本例に用いられる携帯端末1、サーバー装置4及び管理者端末5の定常的に動作しているときのシーケンス図である。
まず、作業者A、Bに装着されたカメラ2A、2Bで撮影した画像は、作業者A、Bの携帯端末1A、1Bを通して、サーバー装置4の画像データベース35に記憶される(ステップS41)。また、携帯端末1A、1Bに内蔵される不図示の加速度センサのデータが、サーバー装置4の加速度データベース36に記憶される(ステップS42)。また、作業者A、Bの装着したカメラ2A、2Bに付属するマイクで検出される作業中の音声が、携帯端末1A、1Bを通して、サーバー装置4の音声データベース37に記憶される(ステップS43)。
[Explanation of the processing flow when the work of the workers A and B is performed well]
Next, a state in which the system of this example is operating well will be described with reference to FIG.
FIG. 4 is a sequence diagram when the mobile terminal 1, the server device 4, and the
First, the images captured by the
サーバー装置4は、画像データベース35,加速度データベース36,音声データベース37に記憶された各種データに基づいて、作業者A、Bに事故等の異常が発生したが否かの判定を行う(ステップS44)。そして、作業者A、Bの作業に異常が発生していないことを確認する(ステップS45)。続いて、サーバー装置4は、管理者端末5に対して作業者A、Bの作業の進捗状況が良好であることを通知する(ステップS46)。なお、作業者A、Bの作業が良好に進捗している場合には、管理者CによるステップS46の作業確認は省略してもよい。また、サーバー装置4は、必要に応じて作業者A、Bに対して今後の作業手順の指示を行う(ステップS47)。
The server device 4 determines whether or not an abnormality such as an accident has occurred in the workers A and B based on various data stored in the
[作業者Bに事故が発生した場合の処理フローの説明]
次に、図5のシーケンス図を参照して、作業者Bの現場で危険を伴う事故が発生したときの処理の流れを説明する。
図5に示すように、作業者Bに危険を伴う事故が発生する(ステップS50)と、作業者Bが装着しているカメラ2Bの画像が急変する(ステップS51)。すると、サーバー装置4のカメラ画像判定部41は、カメラ画像のブレを検知し(ステップS52)、作業者Bの携帯端末1Bに対して、画像急変の理由を問い合わせる(ステップS53)。そして、作業者Bから問題がない旨の返答があれば、「異常なし」の判定を行い、作業者Bから何の返答もないときに、作業者Bが異常状態に陥った可能性があると判定する。
[Explanation of processing flow when operator B has an accident]
Next, with reference to the sequence diagram of FIG. 5, a flow of processing when a dangerous accident occurs at the site of the worker B will be described.
As shown in FIG. 5, when an accident involving worker B occurs (step S50), the image of the
また、作業者Bに危険を伴う事故が発生すると、作業者Bの保有する携帯端末1Bに内蔵される加速度センサにより異常な加速度が検出される(ステップS54)。すると、サーバー装置4の加速度判定部42は、異常加速度を検知し(ステップS55)、作業者Bの携帯端末1Bに対して、異常加速度検知の理由を問い合わせる(ステップS56)。そして、加速度判定部42は、作業者Bからの返答があれば、異常発生がなかったものと判定し、作業者Bからの応答がない場合には、作業者Bが異常状態に陥っている可能性があると判定する。
When an accident involving worker B occurs, an abnormal acceleration is detected by the acceleration sensor built in the
また、作業者Bに危険を伴う事故が発生すると、作業者Bのカメラ1Bに内蔵されるマイクから転落時の衝撃音や悲鳴などの異常音が発生する(ステップS57)。サーバー装置4の音声判定部43はこの異常音を検出し(ステップS58)、作業者Bの携帯端末1Bに対して、異常音が発生した理由を問い合わせる(ステップS59)。これに対して、作業者Bからの返答があれば、音声判定部43は、作業者Bに異常発生がなかったと判定し、作業者Bからの応答がない場合のみ、作業者Bが異常状態になっている可能性があると判定する。
Further, when a dangerous accident occurs in the worker B, an abnormal sound such as an impact sound or a scream when the worker B falls is generated from the microphone built in the
図6A〜Cは、カメラ画像判定部41、加速度判定部42及び音声判定部43で作業者の異常を判定するときの、波形図を示している。図6Aに示すように、作業者Bが事故等の危険に見舞われた場合、例えば転倒や異常振動などで、あるレベルを保っていたカメラ画像のレベルが一時的に急変し、その後レベル変動がほとんど観測されない状態が続く。カメラ画像判定部41は、この一時的に大きい画像レベルに変化したカメラ画像のブレ測定波形からカメラ画像の異常を判定する。ここで、カメラ画像判定部41は、例えば、所定期間(例えば1秒ごと)に前の画像と新しい画像の比較を行い、撮影された各画像中の平均明度または色情報等が所定の閾値を超えて変化したこと、あるいは両画像中で認識した任意の形状の位置、大きさ、または角度が所定の閾値を超えて変化したことを持って画像がブレたことを判定する。
6A to 6C show waveform diagrams when the camera
また、図6Bに示されるように、加速度判定部42は、作業者Bの携帯端末1Bの加速度センサからの信号に基づいて常時その加速度レベルを監視しており、定常的な作業状態であれば、この加速度レベルは多少の微小変動を伴うものの、ほぼ一定のレベルを保っている。しかし、作業者Bが転落や落下等の危険に見舞われた場合、所定のレベルを保っていた加速度レベルが一時的に急変し、その後レベル変動がほとんど見られなくなる。
Further, as shown in FIG. 6B, the acceleration determination unit 42 constantly monitors the acceleration level based on the signal from the acceleration sensor of the
これは、事故後に作業者Bの携帯端末1Bに内蔵される加速度センサが、事故時に想定以上の加速度を検出し、その後携帯端末1Bがほぼ静止に近い状態(動いていない状態)になっていることを意味している。加速度判定部42は、図6Bに示されるような加速度センサの出力の急激な変化波形に基づいて、作業者Bの異常を判定する。
異常判定の一例を挙げると、加速度判定部42は、各作業者A、Bにおける通常であればある尤度をもって変化する過去何日間かの平均加速度を予め記憶している。そして、作業者Bの保有する加速度センサから新しく送られた加速度データが、過去の平均加速度を所定値以上上回り、その後加速度の検出値が一定期間、所定の範囲内であったときに異常が発生したと判定する。
This is because the acceleration sensor built in the
As an example of the abnormality determination, the acceleration determination unit 42 stores in advance the average acceleration of each of the workers A and B over the past several days, which normally changes with a certain likelihood. Then, when the acceleration data newly sent from the acceleration sensor possessed by the worker B exceeds the past average acceleration by a predetermined value or more, and then the detected value of the acceleration is within a predetermined range for a certain period, an abnormality occurs. It is judged that it did.
また、図6Cに示すように、音声判定部43は、作業者Bに危険を伴う事故等が発生した場合、作業者Bが装着しているカメラ2Bに内蔵されているマイクからの音を検出する。作業者Bに何らかの事故が発生した場合、カメラ2Bに内蔵されているマイクによって、作業者Bの悲鳴や何らかの衝撃音が検出される。サーバー装置4の音声判定部43は、図6Cに示される音声情報の急激なレベル変化を異常音として捉え、このような波形が大きくなった異常音を検出したとき、作業者Bに異常が発生したと判定する。
Further, as shown in FIG. 6C, the
再び、図5に戻って説明を続ける。図7、図8により後述するように、サーバー装置4の作業者状態把握部45は、カメラ画像判定部41,加速度判定部42及び音声判定部43の、いずれか2つ以上で作業者Bの異常が判定された場合に、作業者Bに危険を伴う異常が発生したと判断する(ステップS60)。その後、作業者位置確認部44は、作業者Bの保有する携帯端末1Bの持つGPS機能を使って、作業者Bが危険にあったと思われる位置を確認する(ステップS61)。そして、管理者Cの操作する管理者端末5に対して、作業者Bが危険を伴う異常状態に陥った旨の通知を行う(ステップS62)。
Again, returning to FIG. 5, the description will be continued. As will be described later with reference to FIGS. 7 and 8, the worker
一方、サーバー装置4の作業者状態把握部45は、作業者Bに事故等の異常が発生したことを、作業者Bの近くで作業している作業者Aに対して通知する(ステップS63)。そして、作業者Aの携帯端末1Aに、作業者Bから送られてきた事故直前のカメラ画像を表示する(ステップS64)。また、サーバー装置4から作業者Bが事故等の異常状態になっている旨の通知を受けた管理者Cは、管理者端末5を介して近くの作業者Aに対して作業者Bの救助に向かうように指令する(ステップS66)。作業者Aは直ちに作業者Bの事故現場に向かい、作業者Bの異常状態の程度に応じて、適切な救助活動を行う(ステップS67)。
On the other hand, the worker
ここで、ステップS60において、作業者状態把握部45が、どのように作業者Bの異常を判定するか否かについて、図7を参照して説明する。
図7は、作業者状態把握部45が判定に用いるデータベースのテーブルを示したものである。図7に示すテーブルは、作業者状態フィールドと検出パラメータ判定フィールドと異常検知フィールドを含む。作業者の異常を検出する検出パラメータ判定フィールドには、カメラ画像フィールド、加速度変化フィールド、異常音変化フィールドの3つのフィールドが設けられている。
Here, it will be described with reference to FIG. 7 how the worker
FIG. 7 shows a database table used by the worker
サーバー装置4のカメラ画像判定部41において、作業者のカメラ2から得られる画像に急激なブレ(図6A参照)が検出されない場合にはカメラ画像フィールドに「○」印を付し、大きなブレが検出されたときはカメラ画像フィールドに「×」印を付ける。
また、加速度判定部42において、作業者の携帯端末1に内蔵された加速度センサから得られる加速度に図6Bに示すような大きな変化がなければ、加速度判定部42は、加速度変化フィールドに「○」印を付け、大きな変化があれば「×」を付ける。
同様に、音声判定部43は、作業者のカメラ2に内蔵されたマイクから図6Cに示されるような大きな変化音を検出しなければ、異常音変化フィールドに「○」を付し、大きな変化音(異常音)を検出すると、異常音変化フィールドに「×」印を付ける。
When the camera
Further, in the acceleration determination unit 42, if there is no large change in the acceleration obtained from the acceleration sensor built in the worker's mobile terminal 1 as shown in FIG. 6B, the acceleration determination unit 42 indicates “O” in the acceleration change field. Mark and mark “X” if there is a big change.
Similarly, if the
図5のステップS60で説明したように、作業者状態把握部45は、カメラ画像判定部41、加速度判定部42及び音声判定部43のいずれか2つ以上が作業者Bの異常を判定したときに、事故の発生等により作業者Bが異常状態に陥ったと判断する。カメラ画像判定部41、加速度判定部42及び音声判定部43の1つだけが異常を判定した場合には、作業者Bが異常状態に陥っていると判定しない。
なぜなら、カメラ画像のブレ、加速度の急変または異常音の発生のうち、1つの事象だけで異常判定をすることになると、誤判定により無駄な対応を取る可能性が増えて、作業効率を落とすことになりかねない。図7に示すように、本発明の実施形態例では、少なくとも2つの事象で異常が発生しとき、作業者Bに異常が発生したと判定している。
As described in step S60 of FIG. 5, when the worker
This is because, if the abnormality determination is made by only one of the camera image blur, the sudden change in acceleration, or the generation of abnormal sound, the possibility of taking unnecessary measures due to erroneous determination increases and the work efficiency decreases. Could be. As shown in FIG. 7, in the exemplary embodiment of the present invention, when abnormality occurs in at least two events, it is determined that the abnormality has occurred in the worker B.
なお、ステップS53、S56、S59に加えて、もしくは代えて、作業者状態把握部45が作業者Bの異常検知(ステップS60)後に、応答確認を行ってもよい。その場合、例えば、検出パラメータ判定結果で、異常を検知した数、またはその頻度が少なければ少ないほど、応答確認時間(何も応答がなければそのまま異常と判断する時間)を長く設定してもよい。その場合、異常が発生していない場合の作業者の応答負担を軽減することができる。つまり、異常と判定される感度が高いような場合は、作業中に何度も応答確認が通知され、そのたびに作業を中断してすぐに応答確認をすることになる。そこで、異常度(異常を検知した数やその頻度)に応じて応答確認時間を変更することで、作業者への負担を軽減しつつ、異常をより適切に判定することができる。
In addition to or instead of steps S53, S56, and S59, the worker
[本例のシステムにおける全体の処理フローの説明]
図8は、本例の作業者状態把握システムにおいて、作業者の状態を把握してから、事故が発生した場合の対応までのシステム全体の処理の流れについて示したフローチャートである。図5の説明と重複する部分もあるが、全体を通して本例のシステムにおける処理の流れを説明する。
[Explanation of the overall processing flow in the system of this example]
Figure 8 is the operator status bunch Nigishi stem of the present example, after grasping the state of the worker is a flowchart showing the flow of processing of the entire system to response in the event of an accident. Although there is a part overlapping with the description of FIG. 5, the flow of processing in the system of this example will be described throughout.
作業者が作業を開始すると(ステップS80)、カメラ画像判定部41は、作業者の携帯端末1から送られた画像に異常なブレが発生したか否かを判定する(ステップS81)。また、加速度判定部42は、作業者の携帯端末に内蔵される加速度センサが大きな加速度変化を検出したか否かを判定する(ステップS82)。更に、音声判定部43は、作業者のカメラ2に内蔵されているマイクから異常音が発生したか否かを判定する(ステップS83)。
When the worker starts work (step S80), the camera
次に、カメラ画像判定部41で、図6Aに示すような大きなブレが検出されると、カメラ画像判定部4は、異常を示した作業者Bの携帯端末1Bに異常を検出した旨の情報を通知して作業者Bからの応答を待つ(ステップS84)。同様に、加速度判定部42も、図6Bのような異常加速度を検知すると、異常を示した作業者Bの携帯端末1Bに異常を検出した旨の情報を通知して作業者Bからの応答を待つ(ステップS85)。音声判定部43も、図6Cのような異常音を検知すると、異常音が送信された作業者Bの携帯端末1Bに異常音を検出した旨の情報を通知して作業者Bからの応答を待つ(ステップS86)。
Next, when the camera
次に、ステップS84〜S86に示す判定結果に基づいて、作業者情報把握部45は、作業者に事故等の異常が発生した否かを判定する。なお、ここではカメラ画像判定部41、加速度判定部42、及び音声判定部43の少なくとも2つが異常を示したか否かを判断する(ステップS87)。ステップS87においてカメラ画像判定部41、加速度判定部42、及び音声判定部43の少なくとも2つが異常を示していないとき(ステップS87のNO)は、新たなカメラ画像、加速度情報及び音声情報の監視状態に入る。
Next, the worker
ステップS87で作業者Bが異常状態に陥っていると判定した場合(ステップS87のYES)には、作業者情報把握部45は、近くの作業者Aの携帯端末1Aに向けて作業者Bに事故等の異常が発生した旨の通知を行う(ステップS88)。そして、作業者Bの事故直前のカメラ画像を作業者Aの携帯端末1Aに表示する(ステップS89)。また、作業者情報把握部45は、同時に管理者Cの管理者端末5に対して作業者Bの作業現場で事故が発生した旨を通知する(ステップS90)。
When it is determined in step S87 that the worker B is in the abnormal state (YES in step S87), the worker
作業者情報把握部45から通知を受けた管理者Cは、近くの作業者Aに作業者Bが事故に遭遇したようである旨を通知するとともに(ステップS91)、作業者Aに対して作業者Bの現場に向かうように指示する(ステップS92)。なお、作業者Bの状態により、更に他の必要な部署にも連絡する。ステップS88またはステップS91において、作業者情報把握部45または管理者Cから連絡を受けた作業者Aは、作業者Bの現場に直行し、事故に遭った作業者Bの状況に応じて適切な対応を取る(ステップS93)。
Upon receiving the notification from the worker
[変形例]
以上説明したように、本発明の実施形態例では、図7、図8で説明したように、カメラ画像変化、加速度変化または音声変化のいずれか2つ以上に異常が発生したことに基づいて、作業者Bに異常が発生したと判断している。本例の第1の変形例として、カメラ画像における判定を主たる異常判定とし、それ以外に副として加速度センサによる異常が判定された場合に作業者の異常状態を判定することとしてもよい。この場合には、図1に示す音声判定部43、及び図3に示す音声データベース37は必ずしも必要とはされない。その際、例えば、カメラを作業者の頭部(首から上)に、加速度センサ(作業者の端末)を、作業者の胴体部(首から下)に装着させることで、異常判定精度をより向上できる。つまり、2つのセンサを頭部と胴体部のように異なる個所に装着することで、頭部だけの正常な動き(人に呼ばれて振り向いただけのような場合)に対して異常と誤判定される可能性を低くすることができる。
[Modification]
As described above, in the embodiment of the present invention, as described with reference to FIGS. 7 and 8, based on the occurrence of abnormality in two or more of the camera image change, the acceleration change, and the voice change, It is determined that the operator B has an abnormality. As a first modified example of the present example, the determination in the camera image may be the main abnormality determination, and the abnormality state of the worker may be determined when the abnormality of the acceleration sensor is determined as a subordinate determination. In this case, the
同様に、第2の変形例として、主としてカメラ画像における異常判定を必須のものとして、加えて、副としてマイクによる異常音の発生があった場合に、作業者の異常を判定するようにしてもよい。この場合には、図1に示す加速度判定部43、及び図3に示す加速度データベース36は必ずしも必要とはされないことは言うまでもない。
Similarly, as a second modification, the abnormality determination in the camera image is mainly required, and in addition, the abnormality of the worker may be determined when an abnormal sound is generated by the microphone. Good. In this case, it goes without saying that the
以上、本発明の実施形態例である作業者情報把握装置及びそれを用いたシステムについて説明した。図1に示す本例のシステムでは、サーバー装置4に、作業者情報を把握するための装置を設けているが、サーバー装置4内に設けられるカメラ画像判定部41、加速度判定部42、音声判定部43及び作業者状態把握部45は、必ずしもサーバー装置4内に設ける必要はない。例えば、管理者端末5内にこのような機能を持つソフトウェアを実装してもよいし、特定の作業者の携帯端末1に実装することも考えられる。
The worker information grasping apparatus and the system using the same, which are the embodiments of the present invention, have been described above. In the system of this example shown in FIG. 1, the server device 4 is provided with a device for grasping worker information. However, the camera
上述した各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現することもできる。また、上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
Each of the above-described configurations, functions, processing units, processing means, and the like can be realized in hardware by designing a part or all of them with, for example, an integrated circuit. Further, the above-described respective configurations and functions may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as a program, a table, and a file that realizes each function can be stored in a memory, a recording device such as a hard disk and an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, and a DVD.
Further, the control lines and information lines are shown as being considered necessary for explanation, and not all control lines and information lines are shown in the product. In reality, it may be considered that almost all the configurations are connected to each other.
なお、本発明は、明細書または図面に開示した実施形態例に限定されるものではなく、特許請求の範囲に記載した内容を逸脱しない限りにおいて、他の応用例及び変形例を含むことは勿論である。 It should be noted that the present invention is not limited to the embodiment examples disclosed in the specification or the drawings, and naturally includes other application examples and modified examples without departing from the content described in the claims. Is.
A、B・・・作業者、C・・・管理者、1A、1B・・・作業者A、Bが保有する携帯端末、2A、2B・・・作業者A、Bが装着するカメラ、3・・・ネットワーク、4・・・サーバー装置、5・・・管理者端末、41・・・カメラ画像判定部、42・・・加速度判定部、43・・・音声判定部、44・・・作業者位置確認部、45・・・作業者状態把握部、46・・・制御部、21、31・・・CPU、22、32・・・ROM、23、33・・・RAM、24,34・・・不揮発性ストレージ、35・・・画像データベース(画像DB)、36・・・加速度データベース(加速度DB)、37・・・音声データベース(音声DB)、25、38・・・通信インターフェース(通信I/F)、26・・・入力部、27・・・表示部 A, B ... Workers, C ... Managers, 1A, 1B ... Mobile terminals owned by workers A, B, 2A, 2B ... Cameras worn by workers A, B, 3 ... network, 4 ... server device, 5 ... administrator terminal, 41 ... camera image determination unit, 42 ... acceleration determination unit, 43 ... voice determination unit, 44 ... work Person position confirmation unit, 45 ... Worker state grasping unit, 46 ... Control unit, 21, 31 ... CPU, 22, 32 ... ROM, 23, 33 ... RAM, 24, 34 ... ..Nonvolatile storage, 35 ... Image database (image DB), 36 ... Acceleration database (acceleration DB), 37 ... Voice database (voice DB), 25, 38 ... Communication interface (communication I / F), 26 ... Input unit, 27 ... Display unit
Claims (1)
前記カメラに内蔵されたマイクで検出された音声を受信して異常音を判定する異常音判定ステップと、
前記作業者の携帯している携帯端末に内蔵される加速度センサからの情報を受信して加速度の変化の異常を判定する加速度判定ステップと、
前記カメラ画像判定ステップ、前記異常音判定ステップ及び前記加速度判定ステップの中の2つ以上のステップで異常判定がなされたときに、前記作業者が異常状態に陥っていると把握する作業者状態把握ステップと、
前記作業者状態把握ステップで異常が発生していると判定された前記作業者の位置を確認する作業者位置確認ステップと、
前記作業者が携帯しているカメラのカメラ画像が急変した場合に、前記作業者にその理由を問い合わせるステップと、
前記作業者から問題がない旨の返答があれば、異常なしの判定を行い、前記作業者から何の返答もないときに、前記作業者が異常状態に陥った可能性があると判定するステップと、
前記作業者が異常状態に陥った可能性があると判定した場合に、前記作業者に異常が発生した可能性があることを管理者端末に通知するステップと、
前記作業者に異常が発生した可能性がある通知を受けた前記管理者端末は、前記作業者が異常状態に陥った可能性があることを、前記作業者の近くで作業している他の作業者の携帯端末に通知するステップと、
前記他の作業者の携帯端末に、前記作業者が異常状態に陥る直前のカメラ画像を表示するステップと、
前記管理者端末からの通知を受けて、前記他の作業者は、前記作業者の現場に行き、前記作業者の異常状態に応じて対応するステップと、を含む、
作業者状態把握方法。 A camera image determination step of determining an abnormality of a camera image by receiving an image from a camera worn by an operator and determining an abnormal image,
An abnormal sound determination step of receiving an audio detected by a microphone built in the camera and determining an abnormal sound;
An acceleration determination step of receiving information from an acceleration sensor built in a portable terminal carried by the worker and determining an abnormality in a change in acceleration,
The camera image determination step, when the abnormality determination in two or more steps in the abnormal sound determination step and the acceleration determination step is performed, the worker state grasping to understand and the worker is an abnormal state Steps,
And the operator position confirmation step of confirming an abnormality occurs and the determined location of the worker in the worker state acquisition step,
When the camera image of the camera carried by the worker changes suddenly, inquiring the reason to the worker,
If there is a response from the worker that there is no problem, it is determined that there is no abnormality, and if there is no response from the worker, a step of determining that the worker may have fallen into an abnormal state When,
When it is determined that the worker may have fallen into an abnormal state, a step of notifying the administrator terminal that the worker may have an abnormality,
The administrator terminal, which has received the notification that the worker may have an abnormality, indicates that the worker may have fallen into an abnormal state when another worker is working near the worker. A step of notifying the worker's mobile terminal,
A step of displaying a camera image immediately before the worker falls into an abnormal state on the mobile terminal of the other worker,
In response to the notification from the administrator terminal, the other worker goes to the worker's site, and responds according to an abnormal state of the worker,
How to know the worker status.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017035997A JP6691068B2 (en) | 2017-02-28 | 2017-02-28 | How to grasp the worker status |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017035997A JP6691068B2 (en) | 2017-02-28 | 2017-02-28 | How to grasp the worker status |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018142169A JP2018142169A (en) | 2018-09-13 |
JP6691068B2 true JP6691068B2 (en) | 2020-04-28 |
Family
ID=63528225
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017035997A Active JP6691068B2 (en) | 2017-02-28 | 2017-02-28 | How to grasp the worker status |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6691068B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6909076B2 (en) * | 2017-06-30 | 2021-07-28 | 日本製鉄株式会社 | Information processing system, information processing device, information processing method and program |
JP7171370B2 (en) * | 2018-10-30 | 2022-11-15 | 三菱電機ビルソリューションズ株式会社 | Safety management system |
KR102498536B1 (en) * | 2022-11-14 | 2023-02-14 | (주)티에스엔지니어링건축사사무소 | Anti-theft system for apartment house and its construction method |
KR102691780B1 (en) * | 2023-02-13 | 2024-08-05 | (주)다인씨엠건축사사무소 | Power supply device for electricity in apartment houses and its installation method |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010237781A (en) * | 2009-03-30 | 2010-10-21 | National Institute Of Advanced Industrial Science & Technology | Imaging apparatus for monitoring, and imaging system for monitoring |
JP2011243085A (en) * | 2010-05-20 | 2011-12-01 | Midori Anzen Co Ltd | Fall monitoring system for moving person |
JP2014133619A (en) * | 2013-01-09 | 2014-07-24 | Mitsubishi Electric Building Techno Service Co Ltd | Alarm system for elevator maintenance work and alarm method for elevator maintenance work |
JP5916000B1 (en) * | 2014-12-05 | 2016-05-11 | 東芝エレベータ株式会社 | Maintenance work support apparatus, system, and method |
JP6022002B1 (en) * | 2015-06-08 | 2016-11-09 | 東芝エレベータ株式会社 | Maintenance management system |
-
2017
- 2017-02-28 JP JP2017035997A patent/JP6691068B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018142169A (en) | 2018-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6691068B2 (en) | How to grasp the worker status | |
TWI759339B (en) | Fall protective system and fall protective self-retracting lifeline apparatus | |
KR102295308B1 (en) | Wearable safety terminal and control method for accident prevention using the same | |
US20220284366A1 (en) | Method and system for managing a crane and/or construction site | |
JP5260955B2 (en) | Anomaly detection support system | |
JP6919477B2 (en) | Work judgment program, work judgment method and work judgment device | |
KR20190116781A (en) | Apparatus and method for preventing fall accident using wearable device | |
KR20150031985A (en) | System for tracking dangerous situation in cooperation with mobile device and method thereof | |
JP2007213194A (en) | Situation analytical system and situation analytical method | |
KR20200079001A (en) | Control system and method using integrated environmental monitoring | |
CN117423201A (en) | Intelligent fire-fighting state monitoring method and system for restaurant | |
KR20210086790A (en) | Risk notification system and the method thereof using virtual proxy sensor and virtual space-based danger zone setting with rtls sensor | |
KR102396625B1 (en) | Diagnostic system and method for tower crane | |
JP2008007308A (en) | Operation report system used when earthquake occurs | |
CN117756037A (en) | Control method, processor and system for safety operation of aerial working platform | |
WO2018122921A1 (en) | Recovery system | |
JP6909076B2 (en) | Information processing system, information processing device, information processing method and program | |
US6879931B2 (en) | System and method for protection of equipment during motion anomalies | |
KR20160100723A (en) | Cctv image analysis apparatus and method of driving thereof | |
JP3526246B2 (en) | Target display system | |
KR102218840B1 (en) | Smart safety hook system | |
JP7453072B2 (en) | Information processing device, learning device, area setting method, and learning method | |
JP2010204924A (en) | Monitoring control system and monitoring method for maintenance apparatus | |
CN109035115A (en) | Construction worker's method for managing security, device and electronic equipment | |
KR20220037614A (en) | Safety helmet with alarm function for working environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191105 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191031 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200317 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200409 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6691068 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |