JP7114885B2 - Worksite monitoring devices and programs - Google Patents

Worksite monitoring devices and programs Download PDF

Info

Publication number
JP7114885B2
JP7114885B2 JP2017229071A JP2017229071A JP7114885B2 JP 7114885 B2 JP7114885 B2 JP 7114885B2 JP 2017229071 A JP2017229071 A JP 2017229071A JP 2017229071 A JP2017229071 A JP 2017229071A JP 7114885 B2 JP7114885 B2 JP 7114885B2
Authority
JP
Japan
Prior art keywords
worker
work
work process
movement
process information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017229071A
Other languages
Japanese (ja)
Other versions
JP2019101549A (en
Inventor
孝宏 前
孝弘 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2017229071A priority Critical patent/JP7114885B2/en
Publication of JP2019101549A publication Critical patent/JP2019101549A/en
Priority to JP2022068547A priority patent/JP2022103189A/en
Application granted granted Critical
Publication of JP7114885B2 publication Critical patent/JP7114885B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、作業現場監視装置およびプログラムに関する。 The present invention relates to a work site monitoring device and program.

近年、作業現場において実行される作業を支援するための様々な技術が開示されている。例えば、あらかじめ作成された作業工程情報と作業現場において撮像された映像とを表示する技術が開示されている（例えば、特許文献１参照）。かかる技術によれば、作業現場における作業が作業工程情報の通りに実行されているかを映像によって確認することが可能である。 In recent years, various techniques have been disclosed for assisting work performed at work sites. For example, a technology for displaying work process information created in advance and an image captured at a work site has been disclosed (see, for example, Patent Document 1). According to this technology, it is possible to confirm by video whether the work at the work site is being executed according to the work process information.

また、作業者などにタグを付し、作業現場に設けられたタグリーダによってタグから読み取られた時刻に基づいて、作業の実行状況を管理する技術が開示されている（特許文献２参照）。さらに、作業工程情報のうち、過去に作業者の生体情報が異常状態となった作業工程を表示する技術が開示されている（特許文献３参照）。かかる技術によれば、作業工程情報のうち、過去の経験から危険と推測される作業工程を現場作業の前に把握することが可能となる。 Further, a technique is disclosed in which a worker or the like is tagged and the work execution status is managed based on the time read from the tag by a tag reader installed at the work site (see Patent Document 2). Further, there is disclosed a technique of displaying, among work process information, a work process in which biometric information of a worker has become abnormal in the past (see Patent Document 3). According to this technology, among the work process information, it is possible to grasp work processes that are presumed to be dangerous based on past experience before field work.

特開２００２－１７５３４９号公報JP-A-2002-175349 特開２００５－３２６９６５号公報JP 2005-326965 A 特開２０１３－８０３０５号公報JP 2013-80305 A

しかし、作業工程の危険性は、作業現場において作業者の動きおよび作業者以外（例えば、作業者によって利用される物体など）の動きによって変化し得ることが想定される。そのため、作業工程と作業者の動きおよび作業者以外の動きとの対応関係は、作業工程の危険性の把握、作業工程の見直しなどにも利用され得る。例えば、作業工程と作業者の動きおよび作業者以外の動きとの対応関係は、危険性のある作業工程の改善にも利用され得る。 However, it is envisioned that the hazards of the work process may change depending on the movement of the worker and the movement of objects other than the worker (such as objects used by the worker) at the work site. Therefore, the correspondence relationship between the work process and the movement of the worker and the movement of the person other than the worker can be used to grasp the danger of the work process, review the work process, and the like. For example, the correspondence relationship between work processes and movements of workers and movements of people other than workers can be used to improve dangerous work processes.

そこで、作業工程の効率化のためにより有用なデータを生成することを可能とする技術が提供されることが望まれる。 Therefore, it is desirable to provide a technique that enables the generation of more useful data for improving the efficiency of work processes.

上記問題を解決するために、本発明のある観点によれば、あらかじめ登録された作業現場に係る第１の作業工程情報に対応して、前記作業現場において非接触による検知に基づく動体の動きを、作業者の動きと前記作業者以外の動きとに分別して作業現場計測データを得る動体分別部と、前記第１の作業工程情報と、前記作業者の動きに対応する一部または全部の情報と、前記作業者以外の動きに対応する一部または全部の情報と、前記検知に基づき認識される第２の作業工程情報とが、表示部に同時に表示されるよう制御する表示制御部と、を備える、作業現場監視装置が提供される。
In order to solve the above problems, according to one aspect of the present invention, movement of a moving body based on non-contact detection at a work site is detected in correspondence with first work process information related to the work site registered in advance. , a moving object classification unit for obtaining work site measurement data by classifying the movement of the worker and the movement of the person other than the worker; the first work process information; and part or all of the information corresponding to the movement of the worker. and a display control unit that controls so that part or all of the information corresponding to the movement of the person other than the worker and the second work process information recognized based on the detection are displayed simultaneously on the display unit; A worksite monitoring device is provided comprising:

前記動体分別部は、カメラによる所定の領域の撮像結果とＬｉＤＡＲによる前記所定の領域の計測結果とに基づいて検知された前記動体の動きを分別してよい。 The moving object classifying unit may classify the movement of the moving object detected based on a result of imaging a predetermined area by a camera and a measurement result of the predetermined area by LiDAR.

前記表示制御部は、前記撮像結果および前記計測結果の少なくともいずれか一方が前記表示部に表示されるよう前記表示部を制御してよい。
The display control section may control the display section so that at least one of the imaging result and the measurement result is displayed on the display section .

前記作業現場監視装置は、前記作業者の動きおよび前記作業者以外の動きの少なくともいずれか一方に基づいて、前記作業者以外による前記作業者に対する危険性を判定する危険性判定部を備えてよい。 The work site monitoring device may include a risk determination unit that determines a risk to the worker by a person other than the worker based on at least one of the movement of the worker and the movement of the person other than the worker. .

前記危険性判定部は、前記作業者以外の動きが有るか否かに基づいて、前記危険性を判定してよい。 The risk determination unit may determine the risk based on whether or not there is movement by someone other than the operator.

前記危険性判定部は、前記作業者と前記作業者以外との距離が閾値を下回るか否かに基づいて、前記危険性を判定してよい。 The risk determination unit may determine the risk based on whether or not the distance between the worker and someone other than the worker is below a threshold.

前記危険性判定部は、前記作業者以外の動きが有る場合、かつ、前記作業者と前記作業者以外との距離が閾値を下回る場合に、前記危険性が有ると判定してよい。 The risk determination unit may determine that there is a risk when there is movement by a person other than the worker and when the distance between the worker and the person other than the worker is below a threshold.

前記作業現場監視装置は、前記第１の作業工程情報と前記作業者の動きおよび前記作業者以外の動きの少なくとも一方とに基づいて認識される第２の作業工程情報とに基づいて、前記第２の作業工程情報の誤差を判定する誤差判定部を備えてよい。 The work site monitoring device, based on the first work process information and second work process information recognized based on at least one of the movement of the worker and the movement of a person other than the worker, 2, an error determination unit for determining an error in the work process information of No. 2 may be provided.

前記誤差判定部は、前記第１の作業工程情報および前記第２の作業工程情報において順序または時間が対応する作業工程同士が一致するか否かに基づいて、前記第２の作業工程情報の誤差を判定してよい。 The error judging unit determines the error of the second work process information based on whether or not work processes corresponding in order or time in the first work process information and the second work process information match. can be determined.

前記作業現場監視装置は、前記第１の作業工程情報に対応してあらかじめ用意された動きテンプレートと前記作業者の動きおよび前記作業者以外の動きの少なくとも一方とに基づいて、前記作業現場計測データの一部の誤差を判定する誤差判定部を備えてよい。 The work site monitoring device measures the work site measurement data based on a movement template prepared in advance corresponding to the first work process information and at least one of the movement of the worker and the movement of the person other than the worker. may be provided with an error determination unit that determines a part of the error of

また、本発明の別の観点によれば、コンピュータを、あらかじめ登録された作業現場に係る第１の作業工程情報に対応して、前記作業現場において非接触による検知に基づく動体の動きを、作業者の動きと前記作業者以外の動きとに分別して作業現場計測データを得る動体分別部と、前記第１の作業工程情報と、前記作業者の動きに対応する一部または全部の情報と、前記作業者以外の動きに対応する一部または全部の情報と、前記検知に基づき認識される第２の作業工程情報とが、表示部に同時に表示されるよう制御する表示制御部と、を備える監視装置として機能させるためのプログラムが提供される。
According to another aspect of the present invention, the computer detects movement of a moving body based on non-contact detection at the work site in correspondence with first work process information related to the work site registered in advance. A moving object classification unit that obtains work site measurement data by classifying the movement of a worker and the movement of a person other than the worker, the first work process information, and part or all of the information corresponding to the movement of the worker; a display control unit that controls so that part or all of the information corresponding to the movement of the person other than the worker and the second work process information recognized based on the detection are simultaneously displayed on the display unit. A program is provided for functioning as a monitoring device.

また、本発明の別の観点によれば、コンピュータを、あらかじめ登録された作業現場に係る第１の作業工程情報と、作業者の動きに対応する一部または全部の情報と、前記作業者以外の動きに対応する一部または全部の情報と、前記作業現場における非接触による検知に基づき認識される第２の作業工程情報とが、表示部によって同時に表示されるように前記表示部を制御する表示制御部を備える、表示制御装置として機能させるためのプログラムが提供される。 According to another aspect of the present invention, the computer is configured to store first work process information related to a work site registered in advance, part or all of information corresponding to the movements of workers, and information other than the workers. and the second work process information recognized based on non-contact detection at the work site are simultaneously displayed by the display unit. A program for functioning as a display control device is provided, which includes a display control unit.

以上説明したように本発明によれば、作業工程の効率化のためにより有用なデータを生成することを可能とする技術が提供される。 As described above, according to the present invention, there is provided a technique that makes it possible to generate more useful data for improving the efficiency of work processes.

本発明の実施形態に係る作業現場監視システムの構成例を示す図である。1 is a diagram showing a configuration example of a work site monitoring system according to an embodiment of the present invention; FIG. 上方から見た作業現場の例を示す図である。It is a figure which shows the example of the work site seen from upper direction. 本発明の実施形態に係る作業現場監視装置の機能構成例を示すブロック図である。1 is a block diagram showing a functional configuration example of a work site monitoring device according to an embodiment of the present invention; FIG. センサ対応情報記憶部によって記憶されているセンサ対応情報の例を示す図である。It is a figure which shows the example of the sensor corresponding information memorize|stored by the sensor corresponding information storage part. 物体情報記憶部によって記憶されている物体情報の例を示す図である。It is a figure which shows the example of the object information memorize|stored by the object information storage part. 作業工程情報記憶部によって記憶されている作業工程情報の例を示す図である。It is a figure which shows the example of the work process information memorize|stored by the work process information storage part. 作業工程表示画面の例を示す図である。It is a figure which shows the example of a work process display screen. カメラによる作業現場の撮像結果に基づく物体の検出について説明するための図である。It is a figure for demonstrating the detection of the object based on the imaging result of the work site by a camera. ＬｉＤＡＲセンサによる作業現場の計測結果に基づく物体の検出について説明するための図である。FIG. 10 is a diagram for explaining detection of an object based on a measurement result of a work site by a LiDAR sensor; 作業者の動きと重機の動きとの対応関係の例を示す図である。It is a figure which shows the example of the correspondence of a worker's motion and a heavy-machinery motion. センシング結果に基づいて認識された作業工程情報（第２の作業工程情報）の例を示す図である。FIG. 10 is a diagram showing an example of work process information (second work process information) recognized based on sensing results; 結果データ表示画面の例を示す図である。It is a figure which shows the example of a result data display screen. 画像表示画面の例を示す図である。FIG. 10 is a diagram showing an example of an image display screen; 本発明の実施形態に係る作業現場監視装置の動作例を示すフローチャートである。4 is a flow chart showing an operation example of the work site monitoring device according to the embodiment of the present invention; 本発明の実施形態に係る作業現場監視装置の例としての情報処理装置のハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of the information processing apparatus as an example of the work site monitoring apparatus which concerns on embodiment of this invention.

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Preferred embodiments of the present invention will be described in detail below with reference to the accompanying drawings. In the present specification and drawings, constituent elements having substantially the same functional configuration are denoted by the same reference numerals, thereby omitting redundant description.

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、異なる実施形態の類似する構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。 In addition, in this specification and drawings, a plurality of components having substantially the same functional configuration may be distinguished by attaching different numerals after the same reference numerals. However, when there is no particular need to distinguish between a plurality of constituent elements having substantially the same functional configuration, only the same reference numerals are used. Also, similar components in different embodiments may be distinguished by attaching different alphabets after the same reference numerals. However, when there is no particular need to distinguish between similar components of different embodiments, only the same reference numerals are used.

（１－１．システムの概要）
まず、本発明の実施形態に係る作業現場監視システムの構成例について説明する。 (1-1. Overview of the system)
First, a configuration example of a work site monitoring system according to an embodiment of the present invention will be described.

図１は、本発明の実施形態に係る作業現場監視システムの構成例を示す図である。図１に示されるように、本発明の実施形態に係る作業現場監視システム１は、作業現場監視装置１０と、カメラ２１－１およびカメラ２１－２と、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）センサ２２－１およびＬｉＤＡＲセンサ２２－２とを有する。 FIG. 1 is a diagram showing a configuration example of a work site monitoring system according to an embodiment of the present invention. As shown in FIG. 1, a worksite monitoring system 1 according to an embodiment of the present invention includes a worksite monitoring device 10, cameras 21-1 and 21-2, and a LiDAR (Light Detection and Ranging) sensor 22- 1 and a LiDAR sensor 22-2.

なお、以下では、カメラ２１－１とカメラ２１－２とを区別せずに、カメラ２１と言う場合がある。また、ＬｉＤＡＲセンサ２２－１とＬｉＤＡＲセンサ２２－２とを区別せずに、ＬｉＤＡＲセンサ２２とも言う。図１に示された例では、カメラ２１およびＬｉＤＡＲセンサは、２台ずつ設置されているが、カメラ２１およびＬｉＤＡＲセンサ２２それぞれの数は限定されない。カメラ２１は、１台であってもよいし、３台以上であってもよい。ＬｉＤＡＲセンサ２２も、１台であってもよいし、３台以上であってもよい。 In the following description, the camera 21-1 and the camera 21-2 may be referred to as the camera 21 without distinguishing between them. The LiDAR sensor 22-1 and the LiDAR sensor 22-2 are also referred to as the LiDAR sensor 22 without distinction. In the example shown in FIG. 1, two cameras 21 and two LiDAR sensors are installed, but the number of cameras 21 and LiDAR sensors 22 is not limited. The number of cameras 21 may be one, or three or more. The number of LiDAR sensors 22 may also be one, or three or more.

図１に示されるように、作業現場監視装置１０とカメラ２１およびＬｉＤＡＲセンサ２２とは、通信を行うことが可能である。例えば、作業現場監視装置１０とカメラ２１およびＬｉＤＡＲセンサ２２とは、直接接続されていてもよいし、ネットワークを介して接続されていてもよい。本発明の実施形態においては、作業現場監視装置１０とカメラ２１およびＬｉＤＡＲセンサ２２とは、有線による通信を行う場合を主に想定する。しかし、作業現場監視装置１０とカメラ２１およびＬｉＤＡＲセンサ２２とは、無線による通信を行ってもよい。 As shown in FIG. 1, the worksite monitoring device 10 can communicate with the camera 21 and the LiDAR sensor 22 . For example, the work site monitoring device 10, the camera 21, and the LiDAR sensor 22 may be directly connected or connected via a network. In the embodiment of the present invention, it is mainly assumed that the work site monitoring device 10, the camera 21, and the LiDAR sensor 22 perform wired communication. However, the work site monitoring device 10, the camera 21, and the LiDAR sensor 22 may communicate wirelessly.

図１を参照すると、所定の領域（以下、「作業現場」とも言う）８０が示されている。作業現場８０においては、作業者６０によって作業工程が実行される（または、作業者６０によって複数の作業工程が順次に実行される）。図１に示された例では、作業現場８０に作業者６０が１人存在しており、１人の作業者６０によって作業工程が実行されている。しかし、作業現場８０には作業者６０が複数存在し、複数の作業者６０によって作業工程が実行されてもよい。図２は、上方から見た作業現場８０の例を示す図である。 Referring to FIG. 1, a predetermined area (hereinafter also referred to as “worksite”) 80 is shown. At the work site 80, a work process is executed by the worker 60 (or a plurality of work processes are sequentially executed by the worker 60). In the example shown in FIG. 1, there is one worker 60 at the work site 80, and the one worker 60 is executing the work process. However, there may be a plurality of workers 60 at the work site 80 and the work processes may be executed by the plurality of workers 60 . FIG. 2 is a diagram showing an example of a work site 80 viewed from above.

なお、本発明の実施形態においては、作業工程の例として、工事（例えば、建設および土木などの工事）が作業者６０によって実行される場合を主に想定する。しかし、後にも説明するように、作業者６０によって実行される作業工程は、工事に限定されない。すなわち、作業現場８０においては、作業者６０によって何らかの作業工程が実行されればよい。また、作業工程が実行される場所も特に限定されない。 In addition, in the embodiment of the present invention, as an example of the work process, it is mainly assumed that construction work (for example, construction work, civil engineering work, etc.) is performed by the worker 60 . However, as will be explained later, the work process performed by the worker 60 is not limited to construction work. That is, at work site 80, worker 60 may perform some work process. Also, the place where the work process is executed is not particularly limited.

作業者６０によって作業工程が実行されている間、作業現場８０には作業者以外の物体も存在し得る。図１に示された例では、作業者以外の物体の例として、重機７０が作業現場８０に存在している。しかし、作業者以外の物体は、重機７０に限定されない。例えば、作業者以外の物体は、作業工程に利用される他の物体（例えば、工具など）であってもよい。また、重機７０の例としては、後にも説明するように、ミキサー車、トラック、ショベルカーなどが想定される。しかし、重機７０の種類は特に限定されない。 Objects other than the worker may also be present at the work site 80 while the work process is being performed by the worker 60 . In the example shown in FIG. 1, a heavy machine 70 exists at a work site 80 as an example of an object other than workers. However, objects other than workers are not limited to the heavy machinery 70 . For example, objects other than workers may be other objects (for example, tools, etc.) used in the work process. As examples of the heavy equipment 70, a mixer truck, a truck, an excavator, etc. are assumed, as will be described later. However, the type of heavy machinery 70 is not particularly limited.

図１に示された例では、作業現場８０に重機７０が１台存在しており、１台の重機７０が作業工程に利用されている。しかし、作業現場８０には重機７０が複数存在し、複数の重機７０が作業工程に利用されてもよい。作業工程に利用される１または複数の重機７０は、作業工程ごとに異なる場合が想定される。一例として、ある作業工程においては、トラックが利用されるが、他の作業工程においては、ミキサー車が利用される場合などが想定される。 In the example shown in FIG. 1, one heavy machine 70 exists in the work site 80, and one heavy machine 70 is used in the work process. However, a plurality of heavy machines 70 may be present at the work site 80, and the plurality of heavy machines 70 may be used in the work process. It is assumed that the one or more heavy machines 70 used in the work process are different for each work process. As an example, it is assumed that a truck is used in one work process and a mixer truck is used in another work process.

なお、図１に示された例では、現在の作業工程に利用される重機７０が作業現場８０に存在する場合を主に想定する。しかし、現在の作業工程に利用されない重機７０が、作業現場８０に存在してしまう可能性もあり得る。例えば、現在の作業工程とは異なる作業工程に利用されるべき重機７０が誤って作業現場８０に存在してしまう可能性もあり得る。あるいは、どの作業工程にも利用されない重機７０が誤って作業現場８０に存在してしまう可能性もあり得る。 In addition, in the example shown in FIG. 1, it is mainly assumed that the heavy machinery 70 used in the current work process is present at the work site 80 . However, there is a possibility that heavy machinery 70 that is not used in the current work process will exist at work site 80 . For example, there is a possibility that the heavy machine 70 that should be used for a work process different from the current work process is mistakenly present at the work site 80 . Alternatively, there is a possibility that the heavy equipment 70 that is not used in any work process is mistakenly present at the work site 80 .

カメラ２１は、作業現場８０を含んだ撮像範囲を連続的に撮像することによって、撮像結果として動画像を得る。ここで、カメラ２１が設置される位置は限定されない。また、作業現場８０は、カメラ２１の撮像範囲の全体であってもよいし、一部であってもよい。なお、本明細書においては、カメラ２１が固定カメラである場合を主に想定する。しかし、カメラ２１は可動カメラであってもよい。例えば、カメラ２１は、ＰＴＺ（パン・チルト・ズーム）カメラであってもよい。カメラ２１による撮像によって得られた動画像は、作業現場監視装置１０に提供される。 The camera 21 obtains a moving image as an imaging result by continuously imaging an imaging range including the work site 80 . Here, the position where the camera 21 is installed is not limited. Also, the work site 80 may be the entire imaging range of the camera 21 or a part thereof. In this specification, it is mainly assumed that the camera 21 is a fixed camera. However, camera 21 may also be a movable camera. For example, the camera 21 may be a PTZ (pan-tilt-zoom) camera. A moving image captured by the camera 21 is provided to the work site monitoring device 10 .

ＬｉＤＡＲセンサ２２は、作業現場８０を含んだ計測範囲を連続的に計測することによって計測結果を得る。ここで、ＬｉＤＡＲセンサ２２が設置される位置は限定されない。また、作業現場８０は、ＬｉＤＡＲセンサ２２の計測範囲の全体であってもよいし、一部であってもよい。ＬｉＤＡＲセンサ２２による計測によって得られた計測結果は、作業現場監視装置１０に提供される。 The LiDAR sensor 22 obtains measurement results by continuously measuring a measurement range including the work site 80 . Here, the position where the LiDAR sensor 22 is installed is not limited. Also, the work site 80 may be the entire measurement range of the LiDAR sensor 22, or may be a part thereof. A measurement result obtained by measurement by the LiDAR sensor 22 is provided to the work site monitoring device 10 .

本発明の実施形態においては、カメラ２１とＬｉＤＡＲセンサ２２との組み合わせをセンサの例として用いる場合を主に説明する。しかし、カメラ２１とＬｉＤＡＲセンサ２２との組み合わせの代わりに、他のセンサが用いられてもよい。すなわち、本発明の実施形態においては、作業現場８０に存在する物体（例えば、作業者６０および重機７０など）の動き（すなわち、動体の動き）を非接触により検知可能な各種のセンサが、カメラ２１とＬｉＤＡＲセンサ２２との組み合わせの代わりに用いられてもよい。 In the embodiment of the present invention, a case where a combination of the camera 21 and the LiDAR sensor 22 is used as an example of the sensor will be mainly described. However, instead of the combination of camera 21 and LiDAR sensor 22, other sensors may be used. That is, in the embodiment of the present invention, various sensors capable of non-contact detection of movements of objects (for example, worker 60 and heavy machinery 70) existing in work site 80 (that is, movements of moving bodies) are cameras. 21 and the LiDAR sensor 22 may be used instead.

例えば、ＬｉＤＡＲセンサ２２の代わりに、デプスセンサが用いられてもよい。あるいは、ＬｉＤＡＲセンサ２２の代わりに、レーダ測距センサが用いられてもよい。あるいは、センサとして、カメラ２１が単独で用いられてもよい。 For example, instead of the LiDAR sensor 22, a depth sensor may be used. Alternatively, instead of the LiDAR sensor 22, a radar ranging sensor may be used. Alternatively, the camera 21 may be used alone as a sensor.

ここで、作業工程の危険性は、作業現場８０において作業者６０の動きおよび重機７０の動きによって変化し得ることが想定される。そのため、作業工程と作業者６０の動きおよび重機７０の動きとの対応関係は、作業工程の危険性の把握、作業工程の見直しなどにも利用され得る。例えば、作業工程と作業者６０の動きおよび重機７０の動きとの対応関係は、危険性のある作業工程の改善にも利用され得る。 Here, it is assumed that the danger of the work process may change depending on the movement of worker 60 and the movement of heavy machinery 70 at work site 80 . Therefore, the correspondence relationship between the work process and the movement of the worker 60 and the movement of the heavy equipment 70 can be used to grasp the danger of the work process, review the work process, and the like. For example, the correspondence relationship between the work process and the movement of the worker 60 and the movement of the heavy machine 70 can be used to improve dangerous work processes.

そこで、本発明の実施形態においては、作業工程の効率化のためにより有用なデータを生成することを可能とする技術について主に提案する。 Therefore, the embodiments of the present invention mainly propose a technique that enables the generation of more useful data for improving the efficiency of work processes.

以上、本発明の実施形態に係る作業現場監視システム１の構成例について説明した。 The configuration example of the work site monitoring system 1 according to the embodiment of the present invention has been described above.

（１－２．作業現場監視装置の機能構成例）
続いて、本発明の実施形態に係る作業現場監視装置１０の機能構成例について説明する。図３は、本発明の実施形態に係る作業現場監視装置１０の機能構成例を示すブロック図である。図３に示されるように、本発明の実施形態に係る作業現場監視装置１０は、操作部１１０、センサ対応情報記憶部１２１、物体情報記憶部１２２、作業工程情報記憶部１２３、計測結果記憶部１２４、制御部１３０および表示部１４０を備える。 (1-2. Functional configuration example of work site monitoring device)
Next, a functional configuration example of the work site monitoring device 10 according to the embodiment of the present invention will be described. FIG. 3 is a block diagram showing a functional configuration example of the work site monitoring device 10 according to the embodiment of the present invention. As shown in FIG. 3, the work site monitoring device 10 according to the embodiment of the present invention includes an operation unit 110, a sensor correspondence information storage unit 121, an object information storage unit 122, a work process information storage unit 123, and a measurement result storage unit. 124 , a control unit 130 and a display unit 140 .

操作部１１０は、作業現場監視装置１０の操作者から入力される操作を受け付ける。また、操作部１１０は、作業現場監視装置１０の操作者から受け付けた操作を制御部１３０に提供することが可能である。本明細書においては、操作部１１０がマウスおよびキーボードである場合を主に想定する。しかし、操作部１１０は、マウスおよびキーボード以外の入力装置（例えば、タッチパネル、ボタンなど）であってもよい。 The operation unit 110 receives operations input by the operator of the work site monitoring device 10 . Further, the operation unit 110 can provide the control unit 130 with an operation received from the operator of the work site monitoring device 10 . In this specification, it is mainly assumed that operation unit 110 is a mouse and keyboard. However, the operation unit 110 may be an input device (for example, a touch panel, buttons, etc.) other than a mouse and keyboard.

制御部１３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを含み、図示しない記憶部により記憶されているプログラムがＣＰＵによりＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、制御部１３０は、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。 The control unit 130 includes a CPU (Central Processing Unit) and the like, and functions thereof can be realized by the CPU developing a program stored in a storage unit (not shown) in a RAM (Random Access Memory) and executing the program. . At this time, a computer-readable recording medium recording the program may also be provided. Alternatively, the control unit 130 may be composed of dedicated hardware, or may be composed of a combination of multiple pieces of hardware.

ここで、図３に示されるように、制御部１３０は、情報取得部１３１、動体分別部１３２、記憶制御部１３３、危険性判定部１３４、誤差判定部１３５、および、表示制御部１３６を備える。制御部１３０が備える、これらの各機能部の詳細については、後に説明する。 Here, as shown in FIG. 3, the control unit 130 includes an information acquisition unit 131, a moving object classification unit 132, a storage control unit 133, a risk determination unit 134, an error determination unit 135, and a display control unit 136. . Details of each of these functional units included in the control unit 130 will be described later.

なお、かかる図示しない記憶部は、制御部１３０を動作させるためのプログラムおよびデータを記憶することが可能な記憶装置である。また、かかる図示しない記憶部は、制御部１３０の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶装置は、不揮発性の記憶装置であってよい。 Note that the storage unit (not shown) is a storage device capable of storing programs and data for operating the control unit 130 . In addition, such a storage unit (not shown) can also temporarily store various data necessary during the operation of the control unit 130 . For example, the memory device may be a non-volatile memory device.

また、図３に示されるように、計測結果記憶部１２４は、作業者計測結果記憶部１２５および重機計測結果記憶部１２６を有している。ここで、作業者計測結果記憶部１２５および重機計測結果記憶部１２６の他、センサ対応情報記憶部１２１、物体情報記憶部１２２および作業工程情報記憶部１２３の詳細については、後に説明する。 Further, as shown in FIG. 3 , the measurement result storage unit 124 has a worker measurement result storage unit 125 and a heavy equipment measurement result storage unit 126 . In addition to the worker measurement result storage unit 125 and the heavy machine measurement result storage unit 126, details of the sensor correspondence information storage unit 121, the object information storage unit 122, and the work process information storage unit 123 will be described later.

表示部１４０は、制御部１３０による制御に従って出力を行う機能を有する。例えば、表示部１４０は、制御部１３０によって生成された画面を出力することが可能である。ここで、表示部１４０の形態は特に限定されない。例えば、表示部１４０は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置であってもよいし、液晶ディスプレイ（ＬＣＤ）装置であってもよいし、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置であってもよいし、ランプなどの表示装置であってもよい。 The display unit 140 has a function of outputting according to control by the control unit 130 . For example, display unit 140 can output a screen generated by control unit 130 . Here, the form of the display unit 140 is not particularly limited. For example, the display unit 140 may be a CRT (Cathode Ray Tube) display device, a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, It may be a display device such as a lamp.

その他、作業現場監視装置１０は、図示しない通信部を備える。かかる図示しない通信部は、カメラ２１－１、カメラ２１－２、ＬｉＤＡＲセンサ２２－１、および、ＬｉＤＡＲセンサ２２－２との間で通信を行う通信インタフェースであってよい。本発明の実施形態においては、図示しない通信部が有線による通信を行う場合を主に想定するが、図示しない通信部は、無線による通信を行ってもよい。 In addition, the work site monitoring device 10 includes a communication unit (not shown). Such a communication unit (not shown) may be a communication interface that communicates with the camera 21-1, the camera 21-2, the LiDAR sensor 22-1, and the LiDAR sensor 22-2. In the embodiments of the present invention, it is mainly assumed that a communication unit (not shown) performs wired communication, but the communication unit (not shown) may perform wireless communication.

なお、図３に示した例では、操作部１１０、センサ対応情報記憶部１２１、物体情報記憶部１２２、作業工程情報記憶部１２３、計測結果記憶部１２４、制御部１３０および表示部１４０が、作業現場監視装置１０の内部に設けられている。しかし、これらの機能部の一部または全部は、作業現場監視装置１０の外部に設けられていてもよい。 In the example shown in FIG. 3, the operation unit 110, the sensor correspondence information storage unit 121, the object information storage unit 122, the work process information storage unit 123, the measurement result storage unit 124, the control unit 130 and the display unit 140 It is provided inside the field monitoring device 10 . However, some or all of these functional units may be provided outside the work site monitoring device 10 .

以上、本発明の実施形態に係る作業現場監視装置１０の機能構成例について説明した。 The functional configuration example of the work site monitoring device 10 according to the embodiment of the present invention has been described above.

（１－３．作業現場監視装置の機能詳細例）
続いて、本発明の実施形態に係る作業現場監視装置１０の機能詳細について説明する。まず、センサ対応情報記憶部１２１によって記憶されているセンサ対応情報、物体情報記憶部１２２によって記憶されている物体情報、および、作業工程情報記憶部１２３によって記憶されている作業工程情報の例について説明する。 (1-3. Examples of detailed functions of the work site monitoring device)
Next, functional details of the work site monitoring device 10 according to the embodiment of the present invention will be described. First, examples of sensor correspondence information stored by the sensor correspondence information storage unit 121, object information stored by the object information storage unit 122, and work process information stored by the work process information storage unit 123 will be described. do.

（センサ対応情報）
図４は、センサ対応情報記憶部１２１によって記憶されているセンサ対応情報の例を示す図である。図４に示されるように、センサ対応情報記憶部１２１は、ＬｉＤＡＲ座標とカメラ座標とが対応付けられてなるセンサ対応情報をあらかじめ記憶している。このようなセンサ対応情報は、どのようにして生成されてもよい。 (Sensor compatible information)
FIG. 4 is a diagram showing an example of sensor correspondence information stored by the sensor correspondence information storage unit 121. As shown in FIG. As shown in FIG. 4, the sensor correspondence information storage unit 121 stores in advance sensor correspondence information in which LiDAR coordinates and camera coordinates are associated with each other. Such sensor correspondence information may be generated in any manner.

例えば、実空間に対象物体が配置され、対象物体の座標がそれぞれの座標系（すなわち、実空間座標系、ＬｉＤＡＲ座標系およびカメラ座標系）で計測された場合、実空間座標系、ＬｉＤＡＲ座標系およびカメラ座標系が対応付けられる。かかる対応関係に基づいて、ＬｉＤＡＲ座標系から実空間座標系への変換行列、カメラ座標系から実空間座標系への変換行列があらかじめ算出されて保存される。そうすれば、これらの変換行列を用いて、ＬｉＤＡＲ座標系における物体の位置から実空間における物体の位置が特定され、カメラ座標系における物体の位置から実空間における物体の位置を特定され得る。 For example, when the target object is placed in real space and the coordinates of the target object are measured in each coordinate system (that is, the real space coordinate system, the LiDAR coordinate system, and the camera coordinate system), the real space coordinate system, the LiDAR coordinate system and the camera coordinate system are associated. Based on this correspondence relationship, a conversion matrix from the LiDAR coordinate system to the real space coordinate system and a conversion matrix from the camera coordinate system to the real space coordinate system are calculated in advance and stored. These transformation matrices can then be used to locate an object in real space from its position in the LiDAR coordinate system, and to locate an object in real space from its position in the camera coordinate system.

同様にして、ＬｉＤＡＲ座標系からカメラ座標系への変換行列があらかじめ算出されて保存されていれば、かかる変換行列を用いて、ＬｉＤＡＲ座標系における物体領域に対応する、カメラ座標系における物体領域が特定され得る。 Similarly, if a transformation matrix from the LiDAR coordinate system to the camera coordinate system is calculated and stored in advance, the object region in the camera coordinate system corresponding to the object region in the LiDAR coordinate system can be obtained using this transformation matrix. can be specified.

（物体情報）
図５は、物体情報記憶部１２２によって記憶されている物体情報の例を示す図である。図５に示されるように、物体情報記憶部１２２は、物体を示す情報の例としての物体名と、その物体の特徴量とが対応付けられてなる物体情報をあらかじめ記憶している。図５に示された例では、重機７０の特徴量の例として、トラック、ショベルカー、ミキサー車それぞれの特徴量があらかじめ登録され、作業者６０の特徴量があらかじめ登録されている。しかし、以下においても説明するように、物体の特徴量が利用されない場合には、物体情報記憶部１２２は存在しなくてもよい。 (object information)
FIG. 5 is a diagram showing an example of object information stored by the object information storage unit 122. As shown in FIG. As shown in FIG. 5, the object information storage unit 122 stores in advance object information in which an object name as an example of information indicating an object and the feature amount of the object are associated with each other. In the example shown in FIG. 5, as examples of the feature amounts of the heavy equipment 70, the feature amounts of the truck, excavator, and mixer truck are registered in advance, and the feature amount of the worker 60 is registered in advance. However, as will be described below, the object information storage unit 122 may not exist if the feature amount of the object is not used.

（作業工程情報）
図６は、作業工程情報記憶部１２３によって記憶されている作業工程情報の例を示す図である。図６に示されるように、作業工程情報記憶部１２３は、作業順序と、作業時間と、作業工程名と、動作重機名と、区画名とが対応付けられてなる作業工程情報をあらかじめ記憶している。ここで、作業工程名は、作業工程を示す情報の例である。動作重機名は、作業工程において動作する重機を示す情報の例である。区画名は、作業工程が実行される区画を示す情報の例である。 (work process information)
FIG. 6 is a diagram showing an example of work process information stored by the work process information storage unit 123. As shown in FIG. As shown in FIG. 6, the work process information storage unit 123 stores in advance work process information in which work order, work time, work process name, operating heavy equipment name, and section name are associated with each other. ing. Here, the work process name is an example of information indicating the work process. The operating heavy machinery name is an example of information indicating the heavy machinery that operates in the work process. A partition name is an example of information indicating a partition in which a work process is executed.

作業工程情報の各項目は、必要に応じて設けられればよい。例えば、作業順序が利用されない場合には、作業工程情報に作業順序が含まれていなくてもよいし、作業時間が利用されない場合には、作業工程情報に作業時間が含まれていなくてもよいし、区画名が利用されない場合には、作業工程情報に区画名が含まれていなくてもよい。また、図６に示された例では、作業工程情報に動作重機名が含まれている。しかし、作業工程ごとに作業者が決まっている場合などには、動作重機名の代わりに、または、動作重機名に追加して、作業工程情報に作業者名が含まれてもよい。 Each item of work process information should just be provided as needed. For example, if the work order is not used, the work process information may not include the work order, and if the work time is not used, the work process information may not include the work time. However, if the section name is not used, the work process information may not include the section name. In addition, in the example shown in FIG. 6, the work process information includes the name of the machine in operation. However, if a worker is determined for each work process, the worker name may be included in the work process information instead of or in addition to the name of the heavy machinery.

作業工程情報記憶部１２３によって記憶されている作業工程情報は、作業者６０によって確認され得る。例えば、作業者６０は、表示部１４０によって作業工程情報が表示された場合、表示された作業工程情報を閲覧することによって作業工程情報を確認してから、自身が実行すべき作業工程を実行することが可能である。なお、作業工程情報は、どのようにして作業者６０によって確認されてもよい。例えば、作業工程情報が紙に印字された場合、作業者６０は、紙に印字された作業工程情報を閲覧することによって作業工程情報を確認してもよい。 The work process information stored by the work process information storage unit 123 can be checked by the worker 60 . For example, when the work process information is displayed by the display unit 140, the worker 60 confirms the work process information by viewing the displayed work process information, and then executes the work process that he/she should perform. It is possible. The work process information may be confirmed by the worker 60 in any manner. For example, when the work process information is printed on paper, the worker 60 may confirm the work process information by viewing the work process information printed on the paper.

図７は、作業工程表示画面の例を示す図である。作業者６０によって、作業工程表示操作（例えば、図示しない作業工程表示ボタンなどを選択する操作など）がなされ、操作部１１０によって作業工程表示操作が受け付けられると、図７に示されるように、表示部１４０は、作業工程表示画面Ｕ１０を表示することが可能である。作業工程表示画面Ｕ１０には、作業時間とその作業時間に実行される作業工程（または、作業工程無し）との対応関係が含まれる。 FIG. 7 is a diagram showing an example of a work process display screen. When the worker 60 performs a work process display operation (for example, an operation of selecting a work process display button (not shown)) and the operation unit 110 accepts the work process display operation, the display is performed as shown in FIG. The unit 140 can display the work process display screen U10. The work process display screen U10 includes the correspondence relationship between the work time and the work process (or no work process) to be executed during the work time.

（情報取得部）
情報取得部１３１は、非接触により検知可能なセンサによって検知されたセンシング結果を取得する。より詳細には、情報取得部１３１は、カメラ２１による作業現場８０の撮像結果（動画）をカメラ２１から取得するとともに、ＬｉＤＡＲセンサ２２による作業現場８０の計測結果をＬｉＤＡＲセンサ２２から取得する。 (Information acquisition part)
The information acquisition unit 131 acquires a sensing result detected by a non-contact sensor. More specifically, the information acquisition unit 131 acquires the imaging result (moving image) of the work site 80 by the camera 21 from the camera 21 and acquires the measurement result of the work site 80 by the LiDAR sensor 22 from the LiDAR sensor 22 .

（動体分別部）
動体分別部１３２は、あらかじめ作業工程情報記憶部１２３に登録された作業工程情報（第１の作業工程情報）に対応して（例えば、作業工程情報における作業工程の作業順序に対応する順序に、または、作業工程情報における作業工程の作業時間に対応する時間に）、作業現場８０において非接触による検知がなされると、非接触による検知に基づく動体の動きを作業者６０の動きと重機７０の動きとに分別して作業現場計測データを得る。 (moving object sorting section)
The moving object classification unit 132 performs the work process information (first work process information) registered in advance in the work process information storage unit 123 (for example, in the order corresponding to the work order of the work process in the work process information, Alternatively, at a time corresponding to the working time of the work process in the work process information), when non-contact detection is performed at the work site 80, the movement of the worker 60 and the heavy machine 70 based on the non-contact detection are detected. Work site measurement data is obtained by classifying it into movement and movement.

より詳細には、動体分別部１３２は、センシング結果に基づいて物体を検出し、物体の検出結果に基づいて物体の位置を特定し、物体の位置に基づいて物体の種類を識別する。これによって、動体の動きが特定される。センシング結果に基づく物体は、どのように検出されてもよい。本発明の実施形態では、動体分別部１３２が、カメラ２１による作業現場８０の撮像結果に基づく物体の検出と、ＬｉＤＡＲセンサ２２による作業現場８０の計測結果に基づく物体の検出との双方を用いる場合を主に説明する。しかし、カメラ２１による作業現場８０の撮像結果に基づく物体の検出が単独で行われてもよいし、ＬｉＤＡＲセンサ２２による作業現場８０の計測結果に基づく物体の検出が単独で行われてもよい。 More specifically, the moving object classification unit 132 detects an object based on the sensing result, identifies the position of the object based on the detection result of the object, and identifies the type of the object based on the position of the object. This identifies the movement of the moving object. Objects based on sensing results may be detected in any way. In the embodiment of the present invention, when the moving object classification unit 132 uses both object detection based on the imaging result of the work site 80 by the camera 21 and object detection based on the measurement result of the work site 80 by the LiDAR sensor 22 are mainly explained. However, the detection of the object based on the result of imaging the work site 80 by the camera 21 may be performed alone, or the detection of the object based on the measurement result of the work site 80 by the LiDAR sensor 22 may be performed alone.

ここで、カメラ２１による作業現場８０の撮像結果に基づいて物体を検出する手法には、検出すべき物体のテンプレート画像によるテンプレートマッチング手法、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）などのエッジの特徴を利用した手法、検出すべき物体の大量の学習データを用いたＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などの深層学習によって物体を検出する手法などがある。ＣＮＮは、近年その精度の高さからよく用いられる手法である。 Here, as a method for detecting an object based on the imaging result of the work site 80 by the camera 21, a template matching method using a template image of the object to be detected, HOG (Histograms of Oriented Gradients), or the like, which utilizes edge features. method, and a method of detecting an object by deep learning such as CNN (Convolutional Neural Network) using a large amount of learning data of an object to be detected. CNN is a method often used in recent years due to its high accuracy.

一方、ＬｉＤＡＲセンサ２２による作業現場８０の計測結果に基づいて物体を検出する手法には、ＬｉＤＡＲセンサ２２による作業現場８０の計測結果から背景および地面の部分を取り除き、残った部分から、所定の大きさ以上の大きさを持つ領域を検出する手法などある。 On the other hand, in the method of detecting an object based on the measurement result of the work site 80 by the LiDAR sensor 22, the background and the ground portion are removed from the measurement result of the work site 80 by the LiDAR sensor 22, and from the remaining portion, a predetermined size is detected. There is also a method for detecting regions with a size larger than or equal to.

さらに、カメラ２１による作業現場８０の撮像結果に基づく物体の検出と、ＬｉＤＡＲセンサ２２による作業現場８０の計測結果に基づく物体の検出との双方を用いる場合を説明する。作業者６０と重機７０とが近づいて存在する場合には、ＬｉＤＡＲセンサ２２による計測結果からは作業者６０と重機７０との分離が難しい場合がある。ＬｉＤＡＲセンサ２２による物体領域の検出を行い、その物体領域からカメラ２１による撮像結果に基づく物体の検出を行うことによって、作業者６０と重機７０との分離を行うことが可能となる。 Furthermore, a case of using both object detection based on the imaging result of the work site 80 by the camera 21 and object detection based on the measurement result of the work site 80 by the LiDAR sensor 22 will be described. When the worker 60 and the heavy machinery 70 exist close to each other, it may be difficult to separate the worker 60 and the heavy machinery 70 from the measurement results of the LiDAR sensor 22 . By detecting an object area with the LiDAR sensor 22 and detecting an object based on the imaging result of the camera 21 from the object area, the operator 60 and the heavy machinery 70 can be separated.

図８は、カメラ２１による作業現場８０の撮像結果に基づく物体の検出について説明するための図である。図９は、ＬｉＤＡＲセンサ２２による作業現場８０の計測結果に基づく物体の検出について説明するための図である。図９を参照すると、ＬｉＤＡＲセンサによる計測結果Ｋ２が示されている。ＬｉＤＡＲセンサによる計測結果Ｋ２には、作業者６０および重機７０が含まれている。動体分別部１３２は、ＬｉＤＡＲセンサによる計測結果Ｋ２から、作業者６０を含む物体領域Ｑａと重機７０を含む物体領域Ｑｂとを検出することが可能である。 FIG. 8 is a diagram for explaining detection of an object based on the result of imaging the work site 80 by the camera 21. As shown in FIG. FIG. 9 is a diagram for explaining object detection based on the measurement results of the work site 80 by the LiDAR sensor 22. As shown in FIG. Referring to FIG. 9, the measurement result K2 by the LiDAR sensor is shown. The operator 60 and the heavy machine 70 are included in the measurement result K2 by the LiDAR sensor. The moving object classification unit 132 can detect the object area Qa including the worker 60 and the object area Qb including the heavy machine 70 from the measurement result K2 by the LiDAR sensor.

続いて、図８に示されるように、動体分別部１３２は、このようにして検出した物体領域Ｑａと変換行列とに基づいて、物体領域Ｑａに対応する、カメラによる撮像結果Ｋ１における物体領域Ｒａを算出することが可能である。同様にして、動体分別部１３２は、このようにして検出した物体領域Ｑｂと変換行列とに基づいて、物体領域Ｑｂに対応する、カメラによる撮像結果Ｋ１における物体領域Ｒｂを算出することが可能である。動体分別部１３２は、物体領域Ｒａから物体（作業者６０に相当）を検出し、物体領域Ｒｂから物体（重機７０に相当）を検出することによって、両物体の分離を行うことが可能となる。 Subsequently, as shown in FIG. 8, based on the object region Qa detected in this way and the transformation matrix, the moving object classification unit 132 determines the object region Ra in the imaging result K1 by the camera corresponding to the object region Qa. can be calculated. Similarly, the moving object classification unit 132 can calculate the object area Rb in the imaging result K1 by the camera corresponding to the object area Qb based on the object area Qb detected in this way and the conversion matrix. be. The moving object classification unit 132 detects an object (equivalent to the worker 60) from the object area Ra and detects an object (equivalent to the heavy machine 70) from the object area Rb, thereby separating both objects. .

続いて、動体分別部１３２は、物体の検出結果に基づいて物体の位置を特定する。例えば、動体分別部１３２は、カメラによる撮像結果Ｋ１から物体（作業者６０に相当）を検出した場合、カメラによる撮像結果Ｋ１における物体（作業者６０に相当）の位置と変換行列とに基づいて、実空間における物体（作業者６０に相当）の位置を特定すればよい。なお、動体分別部１３２が、ＬｉＤＡＲセンサによる計測結果Ｋ２から物体（作業者６０に相当）を検出した場合には、ＬｉＤＡＲセンサによる計測結果Ｋ２における物体（作業者６０に相当）の位置と変換行列とに基づいて、実空間における作業者６０の位置を特定すればよい。 Subsequently, the moving object classification unit 132 identifies the position of the object based on the object detection result. For example, when the moving object classification unit 132 detects an object (equivalent to the worker 60) from the imaging result K1 by the camera, based on the position of the object (equivalent to the worker 60) in the imaging result K1 by the camera and the conversion matrix , the position of the object (equivalent to the worker 60) in the real space. Note that when the moving object classification unit 132 detects an object (equivalent to the worker 60) from the measurement result K2 by the LiDAR sensor, the position of the object (equivalent to the worker 60) in the measurement result K2 by the LiDAR sensor and the conversion matrix and the position of the worker 60 in the real space.

続いて、動体分別部１３２は、特定した物体の位置に基づいて物体の種類を識別する。具体的には、動体分別部１３２は、特定した物体の種類が作業者６０であるか、重機７０であるかを識別することが可能である。さらに、動体分別部１３２は、物体の種類が重機７０であると識別した場合には、重機７０の種類（例えば、ミキサー車、トラック、ショベルカーなど）を識別することも可能である。 Subsequently, the moving object classification unit 132 identifies the type of object based on the identified position of the object. Specifically, the moving object classification unit 132 can identify whether the identified object type is the worker 60 or the heavy machinery 70 . Furthermore, when the moving object classification unit 132 identifies that the type of the object is the heavy equipment 70, the moving object classification unit 132 can also identify the type of the heavy equipment 70 (for example, mixer truck, truck, excavator, etc.).

物体の種類は、どのように識別されてもよい。本発明の実施形態では、動体分別部１３２が、カメラ２１による作業現場８０の撮像結果に基づく物体の種類の識別と、ＬｉＤＡＲセンサ２２による作業現場８０の計測結果に基づく物体の種類の識別との双方を用いる場合を主に説明する。しかし、カメラ２１による作業現場８０の撮像結果に基づく物体の種類の識別が単独で行われてもよいし、ＬｉＤＡＲセンサ２２による作業現場８０の計測結果に基づく物体の種類の識別が単独で行われてもよい。 The type of object may be identified in any way. In the embodiment of the present invention, the moving object classification unit 132 identifies the type of object based on the result of imaging the work site 80 by the camera 21 and identifies the type of object based on the result of measurement of the work site 80 by the LiDAR sensor 22. A case where both are used will be mainly described. However, the identification of the type of object based on the imaging result of the work site 80 by the camera 21 may be performed alone, or the identification of the type of object based on the measurement result of the work site 80 by the LiDAR sensor 22 may be performed alone. may

ここで、カメラ２１による作業現場８０の撮像結果に基づいて物体の種類を識別する手法には、識別すべき種類の物体のテンプレート画像によるテンプレートマッチング手法、ＣＮＮなどの深層学習によって物体の種類を識別する手法、識別すべき種類の物体の画像の特徴量（例えば、物体の大きさ、縦横比、形状など）を用いる手法などがある。かかる特徴量は、図５に示されたように、物体情報記憶部１２２によって記憶されている。 Here, the method for identifying the type of object based on the imaging result of the work site 80 by the camera 21 includes a template matching method using a template image of the type of object to be identified, and a deep learning method such as CNN for identifying the type of object. and a method that uses the feature amount of the image of the type of object to be identified (for example, the size, aspect ratio, shape, etc. of the object). Such feature amounts are stored in the object information storage unit 122 as shown in FIG.

一方、ＬｉＤＡＲセンサ２２による作業現場８０の計測結果に基づいて物体の種類を識別する手法には、ＬｉＤＡＲセンサ２２による作業現場８０の計測結果に写る物体のサイズから、物体の種類（例えば、作業者６０および重機７０など）を識別する手法がある。また、ＬｉＤＡＲセンサ２２による作業現場８０の計測結果に基づいて物体の種類を識別する手法には、計測結果に写る物体の３次元形状データから、物体の種類（例えば、作業者６０、重機７０、重機７０の種類など）を識別する手法などある。 On the other hand, in the method of identifying the type of object based on the measurement result of the work site 80 by the LiDAR sensor 22, the type of object (for example, the worker 60 and heavy equipment 70). In addition, in the method of identifying the type of object based on the measurement result of the work site 80 by the LiDAR sensor 22, the type of object (for example, worker 60, heavy equipment 70, There is a method of identifying the type of heavy equipment 70, etc.).

（記憶制御部）
記憶制御部１３３は、あらかじめ作業工程情報記憶部１２３に登録された作業工程情報（第１の作業工程情報）に作業現場計測データを紐付けて、作業現場計測データを計測結果記憶部１２４に記憶させる。具体的に、記憶制御部１３３は、作業現場計測データが計測された順序に対応する作業順序の作業工程、または、作業現場計測データが計測された時間に対応する作業時間に、作業現場計測データを紐付ける。このとき、記憶制御部１３３は、作業者６０の動きを作業者計測結果記憶部１２５に記憶させるとともに、重機７０の動きを重機計測結果記憶部１２６に記憶させる。 (memory controller)
The storage control unit 133 associates work site measurement data with work process information (first work process information) registered in the work process information storage unit 123 in advance, and stores the work site measurement data in the measurement result storage unit 124. Let Specifically, the storage control unit 133 stores the work site measurement data in the work process of the work order corresponding to the order in which the work site measurement data was measured, or in the work time corresponding to the time in which the work site measurement data was measured. to tie. At this time, the memory control unit 133 causes the operator measurement result storage unit 125 to store the movement of the worker 60 and causes the heavy equipment measurement result storage unit 126 to store the movement of the heavy machinery 70 .

かかる作業工程情報と作業現場計測データとの対応関係（作業工程情報と作業者６０の動きおよび重機７０の動きとの対応関係）は、作業工程の危険性の把握、作業工程の見直しなどにも利用され得る。例えば、作業工程情報と作業者６０の動きおよび重機７０の動きとの対応関係は、危険性のある作業工程の改善にも利用され得る。したがって、作業工程情報と作業現場計測データとの対応関係は、作業工程の効率化のために有用なデータとなり得る。 The correspondence relationship between the work process information and the work site measurement data (the correspondence relationship between the work process information and the movement of the worker 60 and the movement of the heavy equipment 70) is useful for grasping risks in the work process and reviewing the work process. can be utilized. For example, the correspondence relationship between the work process information and the movement of the worker 60 and the movement of the heavy equipment 70 can be used to improve dangerous work processes. Therefore, the correspondence relationship between the work process information and the work site measurement data can be useful data for improving the efficiency of the work process.

また、記憶制御部１３３は、非接触により検知可能なセンサによって検知されたセンシング結果に基づいて作業工程情報（第２の作業工程情報）を認識することが可能である。本発明の実施形態においては、記憶制御部１３３が、センシング結果から重機７０を認識すると、重機７０に対応する作業工程が実行されていると認識する場合を主に想定する。図６に示された例において、記憶制御部１３３は、重機７０として、作業工程Ｇ３に対応する重機「ミキサー車」が検出された場合、重機７０に対応する作業工程Ｇ３が実行されていると認識してよい。 In addition, the memory control unit 133 can recognize the work process information (second work process information) based on the sensing result detected by the non-contact sensor. In the embodiment of the present invention, it is mainly assumed that when the memory control unit 133 recognizes the heavy machinery 70 from the sensing result, it recognizes that the work process corresponding to the heavy machinery 70 is being executed. In the example shown in FIG. 6, when the heavy machine “mixer truck” corresponding to the work process G3 is detected as the heavy machine 70, the memory control unit 133 determines that the work process G3 corresponding to the heavy machine 70 is being executed. can recognize.

しかし、記憶制御部１３３は、作業者６０に基づいて、作業者６０の動きに対応する作業工程を認識してもよい。一例として、記憶制御部１３３が、センシング結果から作業工程Ｇ１に対応する作業者６０を認識すると、作業工程Ｇ１が実行されていると認識してもよい。なお、作業者６０の種類の識別はどのようになされてもよい。例えば、作業工程によって作業者の衣服の色が異なる場合、カメラ２１による撮像結果から認識される衣服の色によって、作業者６０の種類が識別されてよい。 However, the memory control unit 133 may recognize the work process corresponding to the movement of the worker 60 based on the worker 60 . As an example, when the memory control unit 133 recognizes the worker 60 corresponding to the work process G1 from the sensing result, it may recognize that the work process G1 is being performed. It should be noted that the type of worker 60 may be identified in any way. For example, when the color of the worker's clothes differs depending on the work process, the type of worker 60 may be identified by the color of the clothes recognized from the imaging result by the camera 21 .

記憶制御部１３３は、非接触により検知可能なセンサによって検知されたセンシング結果に基づいて認識された作業工程情報（第２の作業工程情報）を、作業工程情報記憶部１２３によって記憶されている作業工程情報（第１の作業工程情報）に関連付ける。より具体的に、記憶制御部１３３は、作業工程情報（第１の作業工程情報）において、センシング結果から認識された作業工程と（作業順序または作業時間が）対応する作業工程に対して、当該認識した作業工程を関連付けてよい。 The storage control unit 133 stores the work process information (second work process information) recognized based on the sensing result detected by the sensor capable of contactless detection in the work stored by the work process information storage unit 123. Associate with process information (first work process information). More specifically, in the work process information (first work process information), the storage control unit 133 stores a work process (work order or work time) corresponding to the work process recognized from the sensing result. Recognized work processes may be associated.

（危険性判定部）
危険性判定部１３４は、作業者６０の動きおよび重機７０の動きの少なくともいずれか一方に基づいて、重機７０による作業者６０に対する危険性を判定する。このようにして、重機７０による作業者６０に対する危険性が自動的に判定されれば、作業工程の危険性がより容易に把握できるようになる。 (Risk Judgment Department)
The danger determination unit 134 determines the danger to the worker 60 from the heavy machinery 70 based on at least one of the movement of the worker 60 and the movement of the heavy machinery 70 . If the danger to the worker 60 caused by the heavy equipment 70 is automatically determined in this way, the danger of the work process can be more easily grasped.

一例として、重機７０の動きが有る場合には、重機７０の動きが無い場合と比較して、重機７０による作業者６０に対する危険性が高いことが想定される。そこで、危険性判定部１３４は、重機７０の動きが有るか否かに基づいて、危険性（作業者６０が危険な状態であるか否か）を判定してもよい。例えば、危険性判定部１３４は、上記のようにして得られた重機７０の動きに基づいて、重機７０の動きが有るか否かを認識してよい。 As an example, when the heavy machinery 70 moves, it is assumed that the heavy machinery 70 poses a higher risk to the worker 60 than when the heavy machinery 70 does not move. Therefore, the risk determination unit 134 may determine the risk (whether the worker 60 is in a dangerous state) based on whether the heavy machinery 70 is moving. For example, the risk determination unit 134 may recognize whether or not the heavy machinery 70 moves based on the movement of the heavy machinery 70 obtained as described above.

なお、重機７０の動きが有る状態には、重機７０が移動している状態の他、重機７０の一部が動いている状態、重機７０が即座に動き始めることが可能な状態（例えば、起動中の状態、スタンバイ状態など）などが含まれてよい。重機７０が即座に動き始めることが可能な状態は、どのようにして認識されてもよい。 In addition to the state in which the heavy machinery 70 is moving, the state in which the heavy machinery 70 is in motion includes the state in which a part of the heavy machinery 70 is in motion, and the state in which the heavy machinery 70 can immediately start moving (for example, start-up state). intermediate state, standby state, etc.) may be included. The state in which the heavy machinery 70 can immediately start moving may be recognized in any way.

例えば、危険性判定部１３４は、重機７０が即座に動き始めることが可能な状態において、重機７０に取り付けられた所定のライトが点灯する場合には、カメラ２１による撮像結果、および、ＬｉＤＡＲセンサ２２による計測結果の少なくともいずれか一方に基づいて、重機７０の所定のライト点灯を認識した場合に、重機７０が即座に動き始めることが可能な状態であると判定してもよい。 For example, when a predetermined light attached to the heavy machinery 70 is turned on in a state where the heavy machinery 70 can immediately start moving, the risk determination unit 134 determines the result of the imaging by the camera 21 and the LiDAR sensor 22 Based on at least one of the measurement results, it may be determined that the heavy machinery 70 is in a state in which it is possible to immediately start moving when the lighting of the predetermined light of the heavy machinery 70 is recognized.

他の一例として、作業者６０と重機７０との距離が閾値を下回る場合には、作業者６０と重機７０との距離が閾値以上である場合と比較して、重機７０による作業者６０に対する危険性が高いことが想定される。そこで、危険性判定部１３４は、作業者６０と重機７０との距離が閾値を下回るか否かに基づいて、危険性（作業者６０が危険な状態であるか否か）を判定してもよい。例えば、危険性判定部１３４は、上記のようにして得られた作業者６０および重機７０それぞれの動きに基づいて、作業者６０と重機７０との距離を算出してよい。 As another example, when the distance between worker 60 and heavy machinery 70 is below the threshold, the danger to worker 60 from heavy machinery 70 is greater than when the distance between worker 60 and heavy machinery 70 is greater than or equal to the threshold. It is assumed that the Therefore, the risk determination unit 134 may determine the risk (whether the worker 60 is in a dangerous state) based on whether the distance between the worker 60 and the heavy machinery 70 is below the threshold. good. For example, the risk determination unit 134 may calculate the distance between the worker 60 and the heavy machinery 70 based on the movements of the worker 60 and the heavy machinery 70 obtained as described above.

図１０は、作業者６０の動きと重機７０の動きとの対応関係の例を示す図である。図１０に示された例では、作業現場８０における作業者６０の上方から見た動き（作業者６０のｘｙ平面における動き）が実線によって表現されており、作業現場８０における重機７０の上方から見た動き（重機７０のｘｙ平面における動き）が破線によって表現されている。 FIG. 10 is a diagram showing an example of the correspondence relationship between the movements of the worker 60 and the movements of the heavy machinery 70. As shown in FIG. In the example shown in FIG. 10, the movement of worker 60 at work site 80 viewed from above (the movement of worker 60 in the xy plane) is represented by a solid line, and heavy machine 70 at work site 80 viewed from above. The movement (movement of the heavy machine 70 in the xy plane) is represented by a dashed line.

図１０を参照すると、時刻Ｔ３１および時刻Ｔ３２においては、作業者６０と重機７０との距離が閾値Ｄｔｈ以上であるため、作業者６０が危険な状態ではないと考えられる。一方、時刻Ｔ３３においては、作業者６０と重機７０との距離が閾値Ｄｔｈを下回っているため、作業者６０が危険な状態であると考えられる。なお、閾値Ｄｔｈは、重機７０の種類に応じて不変であってもよいし、可変であってもよい。 Referring to FIG. 10, at time T31 and time T32, the distance between worker 60 and heavy machinery 70 is equal to or greater than threshold value Dth, so worker 60 is not considered to be in a dangerous state. On the other hand, at time T33, the distance between worker 60 and heavy machinery 70 is below threshold value Dth, so worker 60 is considered to be in a dangerous state. Note that the threshold value Dth may be fixed or variable depending on the type of the heavy equipment 70 .

また、他の一例として、重機７０の動きが有る場合、かつ、作業者６０と重機７０との距離が閾値を下回る場合には、重機７０の動きが無い場合、または、作業者６０と重機７０との距離が閾値以上である場合と比較して、重機７０による作業者６０に対する危険性が高いことが想定される。そこで、危険性判定部１３４は、重機７０の動きが有る場合、かつ、作業者６０と重機７０との距離が閾値を下回る場合には、危険性が有る（作業者６０が危険な状態である）と判定してよい。一方、危険性判定部１３４は、重機７０の動きが無い場合、または、作業者６０と重機７０との距離が閾値以上である場合には、危険性が無い（作業者６０が危険な状態ではない）と判定してよい。 As another example, when there is movement of the heavy machinery 70 and the distance between the worker 60 and the heavy machinery 70 is below the threshold, when there is no movement of the heavy machinery 70, or when the worker 60 and the heavy machinery 70 It is assumed that the danger to the worker 60 from the heavy machine 70 is higher than when the distance to the operator 60 is equal to or greater than the threshold. Therefore, when the heavy machinery 70 moves and when the distance between the worker 60 and the heavy machinery 70 is less than the threshold, the danger determination unit 134 determines that there is danger (the worker 60 is in a dangerous state). ) can be determined. On the other hand, if the heavy machinery 70 does not move or if the distance between the worker 60 and the heavy machinery 70 is equal to or greater than the threshold, the danger determination unit 134 determines that there is no danger (if the worker 60 is in a dangerous state, not).

例えば、危険性判定部１３４は、作業者６０の動きのうち、ある時刻において危険性が有る（作業者６０が危険な状態である）と判定した場合には、作業者６０の動き（または、重機７０の動き）のうち、危険性が有ると判定した時刻の動きに対して、危険性が有ることを示すフラグを関連付けてもよい。 For example, if the risk determination unit 134 determines that there is danger (the worker 60 is in a dangerous state) at a certain time in the movement of the worker 60, the movement of the worker 60 (or A flag indicating that there is a risk may be associated with the movement at the time when it is determined that there is a risk among the movements of the heavy machinery 70).

（誤差判定部）
誤差判定部１３５は、作業工程情報記憶部１２３によって記憶されている作業工程情報（第１の作業工程情報）と、非接触により検知可能なセンサによって検知されたセンシング結果に基づいて認識された作業工程情報（第２の作業工程情報）とに基づいて、第１の作業工程情報と第２の作業工程情報との差分を第２の作業工程情報の誤差として判定する。かかる構成によれば、誤差を確認することによって、作業工程情報記憶部１２３によって記憶されている作業工程情報（第１の作業工程情報）の通りに、作業現場８０における作業工程が実行された度合いが把握され得る。 (Error judgment unit)
The error determination unit 135 determines the work process information (first work process information) stored by the work process information storage unit 123 and the work process information that is recognized based on the sensing result detected by the non-contact sensor. Based on the process information (second work process information), the difference between the first work process information and the second work process information is determined as the error of the second work process information. According to this configuration, by confirming the error, the degree of execution of the work process at the work site 80 according to the work process information (first work process information) stored by the work process information storage unit 123 can be grasped.

例えば、誤差判定部１３５は、作業工程情報記憶部１２３によって記憶されている作業工程情報（第１の作業工程情報）、および、センシング結果に基づいて認識された作業工程情報（第２の作業工程情報）において、作業順序または作業時間が対応する作業工程同士が一致するか否かに基づいて、第２の作業工程情報の誤差を判定してよい。 For example, the error determination unit 135 stores work process information (first work process information) stored by the work process information storage unit 123 and work process information (second work process information) recognized based on the sensing result. information), the error in the second work process information may be determined based on whether or not the work processes corresponding to the work order or work time match each other.

図１１は、センシング結果に基づいて認識された作業工程情報（第２の作業工程情報）の例を示す図である。図１１を参照すると、作業順序「１」、作業時間「Ｔ１～Ｔ２」においては、作業現場８０に重機７０「トラック」が存在しており、重機７０「トラック」に対応する作業工程Ｇ１が認識されている。この作業工程Ｇ１は、図６に示されるように、作業工程情報記憶部１２３によって記憶されている作業工程情報（第１の作業工程情報）において、作業順序（または作業時間）が対応する作業工程Ｇ１と同一であるため、作業現場８０において予定通りに作業工程Ｇ１が実行されたことが把握される。 FIG. 11 is a diagram showing an example of work process information (second work process information) recognized based on sensing results. Referring to FIG. 11, in work order “1” and work time “T1 to T2”, heavy machine 70 “truck” exists at work site 80, and work process G1 corresponding to heavy machine 70 “truck” is recognized. It is As shown in FIG. 6, this work process G1 is a work process corresponding to the work order (or work time) in the work process information (first work process information) stored in the work process information storage unit 123. Since it is the same as G1, it is grasped that the work process G1 was executed at the work site 80 as planned.

また、図１１を参照すると、作業順序「２」、作業時間「Ｔ２～Ｔ３」においては、作業現場８０に重機７０「ショベルカー、トラック」が存在しており、重機７０「ショベルカー、トラック」に対応する作業工程Ｇ２が認識されている。この作業工程Ｇ２は、図６に示されるように、作業工程情報記憶部１２３によって記憶されている作業工程情報（第１の作業工程情報）において、作業順序（または作業時間）が対応する作業工程Ｇ２と同一であるため、作業現場８０において予定通りに作業工程Ｇ２が実行されたことが把握される。 Further, referring to FIG. 11, in the work order "2" and the work time "T2 to T3", the heavy equipment 70 "excavator, truck" exists at the work site 80, and the heavy equipment 70 "excavator, truck" is present. A work step G2 corresponding to . As shown in FIG. 6, this work process G2 is a work process corresponding to the work order (or work time) in the work process information (first work process information) stored in the work process information storage unit 123. Since it is the same as G2, it is understood that the work process G2 was executed as planned at the work site 80. FIG.

一方、図１１を参照すると、作業順序「３」、作業時間「Ｔ３～Ｔ４」においては、作業現場８０に重機７０「トラック」が存在しており、重機７０「トラック」に対応する作業工程Ｇ１が認識されている。この作業工程Ｇ１は、図６に示されるように、作業工程情報記憶部１２３によって記憶されている作業工程情報（第１の作業工程情報）において、作業順序（または作業時間）が対応する作業工程Ｇ３と異なるため、作業現場８０において予定通りに作業工程Ｇ３が実行されなかったことが把握される。 On the other hand, referring to FIG. 11, in the work sequence "3" and the work time "T3 to T4", the heavy machinery 70 "truck" exists at the work site 80, and the work process G1 corresponding to the heavy machinery 70 "truck" is recognized. As shown in FIG. 6, this work process G1 is a work process corresponding to the work order (or work time) in the work process information (first work process information) stored in the work process information storage unit 123. Since it is different from G3, it is understood that the work process G3 was not executed as planned at the work site 80 .

なお、誤差判定部１３５による誤差判定の手法は、上記に限定されない。例えば、誤差判定部１３５は、作業工程情報記憶部１２３によって記憶されている作業工程情報（第１の作業工程情報）に対応してあらかじめ用意された動きテンプレートと、作業現場計測データの少なくとも一部とに基づいて、作業現場計測データの一部の誤差を判定してもよい。例えば、誤差判定部１３５は、動きテンプレートと作業現場計測データの少なくとも一部との差分を、作業現場計測データの一部の誤差として判定してよい。 Note that the method of error determination by the error determination unit 135 is not limited to the above. For example, the error determination unit 135 may use motion templates prepared in advance corresponding to the work process information (first work process information) stored by the work process information storage unit 123 and at least part of the work site measurement data. and may be used to determine errors in some of the worksite measurement data. For example, the error determination unit 135 may determine the difference between the motion template and at least part of the work site measurement data as the error of the work site measurement data.

例えば、誤差判定部１３５は、作業工程情報記憶部１２３によって記憶されている作業工程情報（第１の作業工程情報）に対応してあらかじめ用意された作業者６０の動きテンプレートと、作業現場計測データに含まれる作業者６０の動きとに基づいて、作業現場計測データに含まれる作業者６０の動きの誤差を判定してもよい。例えば、誤差判定部１３５は、作業者６０の動きテンプレートと作業現場計測データに含まれる作業者６０の動きとの差分を、作業現場計測データに含まれる作業者６０の動きの誤差として判定してよい。 For example, the error determination unit 135 stores the movement template of the worker 60 prepared in advance corresponding to the work process information (first work process information) stored in the work process information storage unit 123, and the work site measurement data. An error in the movement of the worker 60 included in the work site measurement data may be determined based on the movement of the worker 60 included in the measurement data. For example, the error determination unit 135 determines the difference between the movement template of the worker 60 and the movement of the worker 60 included in the work site measurement data as the error in the movement of the worker 60 included in the work site measurement data. good.

あるいは、誤差判定部１３５は、作業工程情報記憶部１２３によって記憶されている作業工程情報（第１の作業工程情報）に対応してあらかじめ用意された重機７０の動きテンプレートと、作業現場計測データに含まれる重機７０の動きとに基づいて、作業現場計測データに含まれる重機７０の動きの誤差を判定してもよい。例えば、誤差判定部１３５は、重機７０の動きテンプレートと作業現場計測データに含まれる重機７０の動きとの差分を、作業現場計測データに含まれる重機７０の動きの誤差として判定してよい。 Alternatively, the error determination unit 135 may use a motion template of the heavy machinery 70 prepared in advance corresponding to the work process information (first work process information) stored in the work process information storage unit 123 and the work site measurement data. An error in the motion of the heavy machinery 70 included in the work site measurement data may be determined based on the included motion of the heavy machinery 70 . For example, the error determination unit 135 may determine the difference between the motion template of the heavy machinery 70 and the motion of the heavy machinery 70 included in the work site measurement data as the motion error of the heavy machinery 70 included in the work site measurement data.

（表示制御部）
表示制御部１３６は、作業工程情報記憶部１２３によって記憶されている作業工程情報（第１の作業工程情報）と作業者６０の動きおよび重機７０の動きの少なくとも一方とにおいて、対応する一部または全部の情報が、表示部１４０によって同時に表示されるように表示部１４０を制御する。これによって、作業工程と作業者の動きおよび作業者以外の動きとの対応関係が視覚的に把握しやすくなる。ここで、作業者６０の動きおよび重機７０の動きの少なくとも一方は、作業者６０の動きであってもよいし、重機７０の動きであってもよいし、作業者６０の動きおよび重機７０の動きの双方であってもよい。 (Display control unit)
The display control unit 136 controls the work process information (first work process information) stored by the work process information storage unit 123 and at least one of the movement of the worker 60 and the movement of the heavy machine 70 to display a corresponding part or Control the display unit 140 so that all information is displayed by the display unit 140 at the same time. This makes it easier to visually grasp the correspondence relationship between the work process and the movement of the worker and the movement of a person other than the worker. Here, at least one of the movement of the worker 60 and the movement of the heavy machinery 70 may be the movement of the worker 60, the movement of the heavy machinery 70, or the movement of the worker 60 and the movement of the heavy machinery 70. Both movements are possible.

また、作業工程情報（第１の作業工程情報）と作業者６０の動きおよび重機７０の動きの少なくとも一方とにおいて、対応する情報の一部または全部は、作業工程情報（第１の作業工程情報）における作業工程と作業者６０の動きおよび重機７０の動きの少なくとも一方とにおいて、作業時間と計測時間とが対応する情報の一部であってもよいし、全部であってもよい。 Further, in the work process information (first work process information) and at least one of the movement of the worker 60 and the movement of the heavy equipment 70, part or all of the corresponding information is the work process information (first work process information). ) and at least one of the movement of the worker 60 and the movement of the heavy equipment 70, the work time and the measured time may be part or all of the corresponding information.

図１２は、結果データ表示画面の例を示す図である。図１２を参照すると、表示制御部１３６によって、結果データ表示画面Ｕ２０の表示が制御されている。結果データ表示画面Ｕ２０は、移動実績表示領域Ｕ２１と動線表示領域Ｕ２２とを含んでいる。移動実績表示領域Ｕ２１には、重機７０の動きが有った時間が、時間軸に沿って重機移動実績として示されている。同様に、移動実績表示領域Ｕ２１には、作業者６０の動きが有った時間が、時間軸に沿って作業者移動実績として示されている。 FIG. 12 is a diagram showing an example of a result data display screen. Referring to FIG. 12, the display control unit 136 controls the display of the result data display screen U20. The result data display screen U20 includes a movement record display area U21 and a flow line display area U22. In the movement record display area U21, the time when the heavy machine 70 moved is displayed as the heavy machine movement record along the time axis. Similarly, in the movement record display area U21, the time when the worker 60 moved is shown as the worker movement record along the time axis.

また、移動実績表示領域Ｕ２１には、危険性が有ることを示すフラグが関連付けられた時刻を基準として前後に所定の幅を有する時間帯が、危険時間帯Ｕ２１１として示されている。動線表示領域Ｕ２２には、危険時間帯Ｕ２１１に対応する、作業者６０の動き（作業者の動線）が実線によって示されている。動線表示領域Ｕ２２には、危険時間帯Ｕ２１１に対応する、重機７０の動き（重機の動線）が破線によって示されている。動線表示領域Ｕ２２に示される、作業者６０の動き（作業者の動線）および重機７０の動き（重機の動線）は、時間経過に従って徐々に表示されるようにしてもよい。 Further, in the movement record display area U21, a time period having a predetermined width before and after the time associated with the flag indicating that there is danger is displayed as a dangerous time period U211. In the flow line display area U22, the movement of the worker 60 (worker flow line) corresponding to the dangerous time period U211 is indicated by solid lines. In the flow line display area U22, the movement of the heavy machinery 70 (the heavy machinery flow line) corresponding to the dangerous time period U211 is indicated by broken lines. The movement of the worker 60 (worker's flow line) and the movement of the heavy machine 70 (heavy machine's flow line) shown in the flow line display area U22 may be gradually displayed over time.

また、表示制御部１３６は、作業工程情報記憶部１２３によって記憶されている作業工程情報（第１の作業工程情報）とセンシング結果に基づいて認識された第２の作業工程情報とにおいて、対応する情報の一部または全部が、表示部１４０によって同時に表示されるように表示部１４０を制御する。これによって、作業工程同士の対応関係が視覚的に把握しやすくなる。当該対応する情報の一部または全部は、作業工程情報（第１の作業工程情報）における作業工程と第２の作業工程情報とにおいて、作業順序または作業時間が対応する情報の一部であってもよいし、全部であってもよい。 Further, the display control unit 136 causes the work process information (first work process information) stored by the work process information storage unit 123 to correspond to the second work process information recognized based on the sensing result. The display unit 140 is controlled so that part or all of the information is simultaneously displayed by the display unit 140 . This makes it easier to visually grasp the correspondence between the work processes. Part or all of the corresponding information is part of the information corresponding to the work order or work time in the work process in the work process information (first work process information) and the second work process information may be, or may be all.

図１２を参照すると、結果データ表示画面Ｕ２０は、作業工程表示領域Ｕ２３を含んでいる。作業工程表示領域Ｕ２３には、危険時間帯Ｕ２１１に実際に実行された作業工程名「作業工程Ｇ１」と、危険時間帯Ｕ２１１に実行されるはずであった作業工程名「作業工程Ｇ３」とが含まれている。なお、危険時間帯Ｕ２１１に実際に実行された作業工程名「作業工程Ｇ１」は、図１１に示された例では、作業順序「３」に対応する作業工程Ｇ１に該当し、危険時間帯Ｕ２１１に実行されるはずであった作業工程名「作業工程Ｇ３」は、図６に示された例では、作業順序「３」に対応する作業工程Ｇ３に該当する。 Referring to FIG. 12, the result data display screen U20 includes a work process display area U23. In the work process display area U23, the work process name "work process G1" that was actually executed during the dangerous time period U211 and the work process name "work process G3" that was supposed to be executed during the dangerous time period U211 are displayed. include. In the example shown in FIG. 11, the work process name "work process G1" actually executed in the dangerous time period U211 corresponds to the work process G1 corresponding to the work order "3", and the dangerous time period U211 In the example shown in FIG. 6, the name of the work process "work process G3" that should have been executed corresponds to the work process G3 corresponding to the work order "3".

また、表示制御部１３６は、カメラ２１による撮像結果およびＬｉＤＡＲセンサ２２による計測結果の少なくともいずれか一方が、表示部１４０によって表示されるように表示部１４０を制御する。これによって、作業現場における作業者６０および重機７０の様子が視覚的に把握しやすくなる。図１２に示された例では、結果データ表示画面Ｕ２０に、画像表示ボタンＵ２４が含まれており、画像表示ボタンＵ２４を押下する操作によって、撮像結果および計測結果が表示されるようになっている。しかし、撮像結果および計測結果は、結果データ表示画面Ｕ２０に含まれてもよい。 In addition, the display control unit 136 controls the display unit 140 so that at least one of the result of imaging by the camera 21 and the result of measurement by the LiDAR sensor 22 is displayed by the display unit 140 . This makes it easier to visually grasp the state of the worker 60 and the heavy machinery 70 at the work site. In the example shown in FIG. 12, the result data display screen U20 includes an image display button U24, and by pressing the image display button U24, imaging results and measurement results are displayed. . However, the imaging result and the measurement result may be included in the result data display screen U20.

図１３は、画像表示画面Ｕ３０の例を示す図である。例えば、画像表示画面Ｕ３０は、図１２に示された画像表示ボタンＵ２４を押下する操作によって、表示部１４０によって表示される。図１２を参照すると、画像表示画面Ｕ３０は、カメラによる撮像結果Ｋ１とＬｉＤＡＲセンサによる計測結果Ｋ２とを含んでいる。例えば、画像表示画面Ｕ３０は、所定の操作によって閉じられて、画像表示画面Ｕ３０から結果データ表示画面Ｕ２０に画面遷移されることが可能であってよい。 FIG. 13 is a diagram showing an example of the image display screen U30. For example, the image display screen U30 is displayed by the display unit 140 by pressing the image display button U24 shown in FIG. Referring to FIG. 12, the image display screen U30 includes the imaging result K1 by the camera and the measurement result K2 by the LiDAR sensor. For example, the image display screen U30 may be closed by a predetermined operation, and the screen transition from the image display screen U30 to the result data display screen U20 may be possible.

以上、本発明の実施形態に係る作業現場監視装置１０の機能詳細について説明した。 The functional details of the work site monitoring device 10 according to the embodiment of the present invention have been described above.

（１－４．作業現場監視装置の動作例）
続いて、本発明の実施形態に係る作業現場監視装置１０の動作例について説明する。図１４は、本発明の実施形態に係る作業現場監視装置１０の動作例を示すフローチャートである。なお、図１４に示された動作例は、本発明の実施形態に係る作業現場監視装置１０の動作の一例に過ぎない。したがって、本発明の実施形態に係る作業現場監視装置１０の動作は、図１４に示された動作例に限定されない。 (1-4. Operation example of work site monitoring device)
Next, an operation example of the work site monitoring device 10 according to the embodiment of the present invention will be described. FIG. 14 is a flow chart showing an operation example of the work site monitoring device 10 according to the embodiment of the present invention. Note that the operation example shown in FIG. 14 is merely an example of the operation of the work site monitoring device 10 according to the embodiment of the present invention. Therefore, the operation of the work site monitoring device 10 according to the embodiment of the present invention is not limited to the operation example shown in FIG.

図１４に示されるように、作業現場監視装置１０において、情報取得部１３１は、非接触により検知可能なセンサによって検知されたセンシング結果を取得する（Ｓ１１）。 As shown in FIG. 14, in the work site monitoring device 10, the information acquisition unit 131 acquires the sensing result detected by the non-contact sensor (S11).

続いて、動体分別部１３２は、あらかじめ作業工程情報記憶部１２３に登録された作業工程情報（第１の作業工程情報）に対応して（例えば、作業工程情報における作業工程の作業順序に対応する順序に、または、作業工程情報における作業工程の作業時間に対応する時間に）、作業現場８０において非接触による検知がなされると、非接触による検知に基づく動体の動きを作業者６０の動きと重機７０の動きとに分別して作業現場計測データを得る（Ｓ１２）。 Subsequently, the moving object classification unit 132 corresponds to the work process information (first work process information) registered in advance in the work process information storage unit 123 (for example, it corresponds to the work order of the work process in the work process information). (or at a time corresponding to the working time of the work process in the work process information), when non-contact detection is performed at the work site 80, the movement of the moving body based on the non-contact detection is regarded as the movement of the worker 60. Work site measurement data is obtained by classifying the movement of the heavy machinery 70 (S12).

続いて、記憶制御部１３３は、あらかじめ作業工程情報記憶部１２３に登録された作業工程情報（第１の作業工程情報）に作業現場計測データを紐付けて、作業現場計測データを動体ごとに（作業者６０の動きと重機７０の動きとは別に）計測結果記憶部１２４に記憶させる（Ｓ１３）。具体的に、記憶制御部１３３は、作業現場計測データが計測された順序に対応する作業順序の作業工程、または、作業現場計測データが計測された時間に対応する作業時間に、作業現場計測データを紐付ける。 Subsequently, the storage control unit 133 associates the work site measurement data with the work process information (first work process information) registered in advance in the work process information storage unit 123, and stores the work site measurement data for each moving object ( Separately from the movement of the worker 60 and the movement of the heavy machine 70, the measurement result storage unit 124 stores the movement (S13). Specifically, the storage control unit 133 stores the work site measurement data in the work process of the work order corresponding to the order in which the work site measurement data was measured, or in the work time corresponding to the time in which the work site measurement data was measured. to tie.

続いて、危険性判定部１３４は、作業者６０の動きおよび重機７０の動きの少なくともいずれか一方に基づいて、重機７０による作業者６０に対する危険性を判定する（Ｓ１４）。続いて、誤差判定部１３５は、作業工程情報記憶部１２３によって記憶されている作業工程情報（第１の作業工程情報）と、非接触により検知可能なセンサによって検知されたセンシング結果に基づいて認識された作業工程情報（第２の作業工程情報）とに基づいて、第１の作業工程情報と第２の作業工程情報との差分を第２の作業工程情報の誤差として判定する（Ｓ１５）。 Subsequently, the risk determination unit 134 determines the risk of the heavy machinery 70 to the worker 60 based on at least one of the motion of the worker 60 and the motion of the heavy machinery 70 (S14). Subsequently, the error determination unit 135 recognizes based on the work process information (first work process information) stored in the work process information storage unit 123 and the sensing result detected by the non-contact sensor. Based on the obtained work process information (second work process information), the difference between the first work process information and the second work process information is determined as the error of the second work process information (S15).

続いて、表示制御部１３６は、各種情報が表示部１４０によって表示されるように表示部１４０を制御する（Ｓ１６）。一例として、表示制御部１３６は、作業工程情報記憶部１２３によって記憶されている作業工程情報（第１の作業工程情報）と作業者６０の動きおよび重機７０の動きの少なくとも一方とにおいて、対応する一部または全部の情報が、表示部１４０によって同時に表示されるように表示部１４０を制御してよい。 Subsequently, the display control unit 136 controls the display unit 140 so that various information is displayed by the display unit 140 (S16). As an example, the display control unit 136 allows the work process information (first work process information) stored by the work process information storage unit 123 to correspond to at least one of the movement of the worker 60 and the movement of the heavy machinery 70. The display 140 may be controlled such that some or all of the information is simultaneously displayed by the display 140 .

他の一例として、表示制御部１３６は、作業工程情報記憶部１２３によって記憶されている作業工程情報（第１の作業工程情報）とセンシング結果に基づいて認識された第２の作業工程情報とにおいて、対応する情報の一部または全部が、表示部１４０によって同時に表示されるように表示部１４０を制御してよい。他の一例として、表示制御部１３６は、カメラ２１による撮像結果およびＬｉＤＡＲセンサ２２による計測結果の少なくともいずれか一方が、表示部１４０によって表示されるように表示部１４０を制御してよい。 As another example, the display control unit 136 controls the work process information (first work process information) stored by the work process information storage unit 123 and the second work process information recognized based on the sensing result. , may control the display unit 140 such that some or all of the corresponding information is simultaneously displayed by the display unit 140 . As another example, the display control unit 136 may control the display unit 140 so that at least one of the result of imaging by the camera 21 and the result of measurement by the LiDAR sensor 22 is displayed by the display unit 140 .

続いて、制御部１３０は、動作を終了するか否かを判定する（Ｓ１７）。制御部１３０は、動作を継続すると判定した場合には（Ｓ１７において「Ｎｏ」）、Ｓ１１に動作を移行させる。一方、制御部１３０は、動作を終了すると判定した場合には（Ｓ１７において「Ｙｅｓ」）、動作を終了する。 Subsequently, the control unit 130 determines whether or not to end the operation (S17). When determining to continue the operation ("No" in S17), the control unit 130 causes the operation to proceed to S11. On the other hand, when control unit 130 determines to end the operation (“Yes” in S17), it ends the operation.

以上、本発明の実施形態に係る作業現場監視装置１０の動作例について説明した。 An operation example of the work site monitoring device 10 according to the embodiment of the present invention has been described above.

（１－５．ハードウェア構成例）
続いて、本発明の実施形態に係る作業現場監視装置１０のハードウェア構成例について説明する。以下では、本発明の実施形態に係る作業現場監視装置１０のハードウェア構成例として、情報処理装置９００のハードウェア構成例について説明する。なお、以下に説明する情報処理装置９００のハードウェア構成例は、作業現場監視装置１０のハードウェア構成の一例に過ぎない。したがって、作業現場監視装置１０のハードウェア構成は、以下に説明する情報処理装置９００のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。 (1-5. Hardware configuration example)
Next, a hardware configuration example of the work site monitoring device 10 according to the embodiment of the present invention will be described. An example hardware configuration of the information processing device 900 will be described below as an example hardware configuration of the work site monitoring device 10 according to the embodiment of the present invention. Note that the hardware configuration example of the information processing device 900 described below is merely an example of the hardware configuration of the work site monitoring device 10 . Therefore, as for the hardware configuration of the work site monitoring device 10, unnecessary configurations may be deleted from the hardware configuration of the information processing device 900 described below, or new configurations may be added.

図１５は、本発明の実施形態に係る作業現場監視装置１０の例としての情報処理装置９００のハードウェア構成を示す図である。情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置９１０と、通信装置９１１と、を備える。 FIG. 15 is a diagram showing the hardware configuration of an information processing device 900 as an example of the work site monitoring device 10 according to the embodiment of the present invention. The information processing device 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, a host bus 904, a bridge 905, an external bus 906, and an interface 907. , an input device 908 , an output device 909 , a storage device 910 and a communication device 911 .

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。 The CPU 901 functions as an arithmetic processing device and a control device, and controls general operations within the information processing device 900 according to various programs. Alternatively, the CPU 901 may be a microprocessor. The ROM 902 stores programs, calculation parameters, and the like used by the CPU 901 . A RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like. These are interconnected by a host bus 904 comprising a CPU bus or the like.

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。 The host bus 904 is connected via a bridge 905 to an external bus 906 such as a PCI (Peripheral Component Interconnect/Interface) bus. Note that the host bus 904, the bridge 905 and the external bus 906 do not necessarily have to be configured separately, and these functions may be implemented in one bus.

入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等から構成されている。情報処理装置９００を操作するユーザは、この入力装置９０８を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。 The input device 908 includes input means for the user to input information, such as a mouse, keyboard, touch panel, button, microphone, switch, and lever, and an input control circuit that generates an input signal based on the user's input and outputs it to the CPU 901 . etc. A user who operates the information processing apparatus 900 can input various data to the information processing apparatus 900 and instruct processing operations by operating the input device 908 .

出力装置９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプ等の表示装置およびスピーカ等の音声出力装置を含む。 The output device 909 includes, for example, a CRT (Cathode Ray Tube) display device, a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, a display device such as a lamp, and an audio output device such as a speaker.

ストレージ装置９１０は、データ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。 The storage device 910 is a device for data storage. The storage device 910 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like. The storage device 910 is configured by, for example, an HDD (Hard Disk Drive). The storage device 910 drives a hard disk and stores programs executed by the CPU 901 and various data.

通信装置９１１は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１１は、無線通信または有線通信のどちらに対応してもよい。 The communication device 911 is, for example, a communication interface configured with a communication device or the like for connecting to a network. Also, the communication device 911 may support either wireless communication or wired communication.

以上、本発明の実施形態に係る作業現場監視装置１０のハードウェア構成例について説明した。 The hardware configuration example of the work site monitoring device 10 according to the embodiment of the present invention has been described above.

（１－６．まとめ）
以上に説明したように、本発明の実施形態によれば、あらかじめ登録された作業現場における第１の作業工程情報に対応して、前記作業現場において非接触による検知に基づく動体の動きを、作業者の動きと前記作業者以外の動きとに分別して作業現場計測データを得る動体分別部１３２と、前記第１の作業工程情報に前記作業現場計測データを紐付けて、前記作業現場計測データを記憶部に記憶させる記憶制御部１３３と、を備える、作業現場監視装置１０が提供される。 (1-6. Summary)
As described above, according to the embodiment of the present invention, movement of a moving body based on non-contact detection at a work site is detected in the work site in correspondence with first work process information at the work site registered in advance. A moving object classification unit 132 that obtains work site measurement data by separating the movement of a worker and the movement of a person other than the worker, and the work site measurement data that is linked to the first work process information to obtain the work site measurement data. and a storage control unit 133 for storing in the storage unit.

かかる作業工程情報と作業現場計測データとの対応関係（作業工程情報と作業者６０の動きおよび重機７０の動きとの対応関係）は、作業工程の危険性の把握、作業工程の見直しなどにも利用され得る。例えば、作業工程情報と作業者６０の動きおよび重機７０の動きとの対応関係は、危険性のある作業工程の改善にも利用され得る。したがって、作業工程情報と作業現場計測データとの対応関係は、作業工程の効率化のために有用なデータとなり得る。 The correspondence relationship between the work process information and the work site measurement data (the correspondence relationship between the work process information and the movement of the worker 60 and the movement of the heavy equipment 70) is useful for grasping risks in the work process and reviewing the work process. can be utilized. For example, the correspondence relationship between the work process information and the movement of the worker 60 and the movement of the heavy equipment 70 can be used to improve dangerous work processes. Therefore, the correspondence relationship between the work process information and the work site measurement data can be useful data for improving the efficiency of the work process.

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 Although the preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention belongs can conceive of various modifications or modifications within the scope of the technical idea described in the claims. It is understood that these also naturally belong to the technical scope of the present invention.

例えば、上記では、制御部１３０が有する各機能ブロックの全部が、作業現場監視装置１０に組み込まれる場合を主に説明した。しかし、制御部１３０が有する各機能ブロックは、複数の装置に分散されて存在してもよい。例えば、情報取得部１３１、動体分別部１３２、記憶制御部１３３、危険性判定部１３４および誤差判定部１３５は、監視装置に組み込まれ、表示制御部１３６は、図示しない監視装置とは異なる、図示しない表示制御装置に組み込まれてもよい。このとき、コンピュータを、図示しない監視装置として機能させるためのプログラムが提供されてもよいし、コンピュータを、図示しない表示制御装置として機能させるためのプログラムが提供されてもよい。 For example, in the above description, the case where all of the functional blocks of the control unit 130 are incorporated into the work site monitoring device 10 has been mainly described. However, each functional block of control unit 130 may be distributed among a plurality of devices. For example, the information acquisition unit 131, the moving object classification unit 132, the storage control unit 133, the risk determination unit 134, and the error determination unit 135 are incorporated in the monitoring device, and the display control unit 136 is different from the monitoring device (not shown). It may be incorporated in a display control device that does not At this time, a program for causing the computer to function as a monitoring device (not shown) may be provided, or a program for causing the computer to function as a display control device (not shown) may be provided.

図示しない監視装置（情報取得部１３１、動体分別部１３２、記憶制御部１３３、危険性判定部１３４および誤差判定部１３５）によって利用された各種情報は、図示しない監視装置から図示しない表示制御装置（表示制御部１３６）に対して送信されてもよいし、図示しない監視装置によって記録媒体に記録され、図示しない表示制御装置によって記録媒体から読み取られてもよい。 Various information used by a monitoring device (not shown) (information acquisition unit 131, moving object classification unit 132, storage control unit 133, risk determination unit 134, and error determination unit 135) is sent from a monitoring device (not shown) to a display control device (not shown). It may be transmitted to the display control unit 136), or may be recorded on a recording medium by a monitoring device (not shown) and read from the recording medium by a display control device (not shown).

図示しない監視装置によって利用された各種情報の例としては、情報取得部１３１によって取得された撮像結果および計測結果、記憶制御部１３３によって記憶制御された作業現場計測データ、危険性判定部１３４によって動きに関連付けられた危険性が有ることを示すフラグ、誤差判定部１３５によって判定された誤差、作業工程情報記憶部１２３によって記憶されている作業工程情報（第１の作業工程情報）、および、非接触により検知可能なセンサによって検知されたセンシング結果に基づいて認識された作業工程情報（第２の作業工程情報）などが挙げられる。 Examples of various types of information used by the monitoring device (not shown) include imaging results and measurement results acquired by the information acquisition unit 131, work site measurement data stored and controlled by the storage control unit 133, and motion information by the risk determination unit 134. , the error determined by the error determination unit 135, the work process information (first work process information) stored by the work process information storage unit 123, and non-contact work process information (second work process information) recognized based on the sensing result detected by a sensor that can be detected by

また、上記では、作業工程の例として、工事（例えば、建設および土木などの工事）が作業者６０によって実行される場合を主に説明した。しかし、作業工程は、建設および土木などといった工事に限定されない。例えば、作業工程は、医療現場において実行される手術であってもよい。そうすれば、医療現場においても同様にして、作業工程の効率化のために有用なデータが生成され得る。このとき、上記した例において、作業者は、医療従事者（例えば、医師、看護師など）などに置き換えられてよい。また、重機７０は、医療従事者によって利用される器具などに置き換えられてよい。 Also, in the above description, as an example of the work process, a case where construction work (for example, construction work, civil engineering work, etc.) is performed by the worker 60 has been mainly described. However, the work process is not limited to construction such as construction and civil engineering. For example, the work process may be surgery performed in a medical setting. Then, in the medical field, similarly, useful data can be generated for improving the efficiency of work processes. At this time, in the above example, the workers may be replaced by medical personnel (for example, doctors, nurses, etc.). Also, the heavy equipment 70 may be replaced with instruments and the like utilized by medical personnel.

あるいは、作業工程は、工場施設における製造行為であってもよい。この場合は、作業者は、工員などに置き換えられてよい。また、重機７０は、製造用の工作機械や運搬用車両（フォークリフト）などに置き換えられてよい。 Alternatively, the work process may be a manufacturing activity at a factory facility. In this case, the worker may be replaced by a factory worker or the like. Also, the heavy machinery 70 may be replaced with a manufacturing machine tool, a transportation vehicle (forklift), or the like.

また、上記した例において、物体情報記憶部１２２によって記憶される物体情報は、適宜に更新されてもよい。例えば、物体情報記憶部１２２によって記憶される物体情報は、情報取得部１３１によって取得された撮像結果および計測結果に基づいて更新されてもよい。すなわち、情報取得部１３１によって取得される大量のデータ（撮像結果および計測結果）は、動体分別部１３２による、物体の検出および物体種類の識別それぞれにおいて利用される学習データに追加されてよい。これによって、物体の検出および物体種類の識別の精度が向上することが期待される。 Further, in the above example, the object information stored by the object information storage unit 122 may be updated as appropriate. For example, the object information stored by the object information storage unit 122 may be updated based on the imaging results and measurement results acquired by the information acquisition unit 131 . That is, a large amount of data (imaging results and measurement results) acquired by the information acquisition unit 131 may be added to learning data used by the moving object classification unit 132 for object detection and object type identification. This is expected to improve the accuracy of object detection and object type identification.

１ 作業現場監視システム
１０ 作業現場監視装置
２１ カメラ
２２ ＬｉＤＡＲセンサ
６０ 作業者
７０ 重機
８０ 作業現場
１１０ 操作部
１２１ センサ対応情報記憶部
１２２ 物体情報記憶部
１２３ 作業工程情報記憶部
１２４ 計測結果記憶部
１２５ 作業者計測結果記憶部
１２６ 重機計測結果記憶部
１３０ 制御部
１３１ 情報取得部
１３２ 動体分別部
１３３ 記憶制御部
１３４ 危険性判定部
１３５ 誤差判定部
１３６ 表示制御部
１４０ 表示部 1 work site monitoring system 10 work site monitoring device 21 camera 22 LiDAR sensor 60 worker 70 heavy machinery 80 work site 110 operation unit 121 sensor correspondence information storage unit 122 object information storage unit 123 work process information storage unit 124 measurement result storage unit 125 work Person measurement result storage unit 126 Heavy equipment measurement result storage unit 130 Control unit 131 Information acquisition unit 132 Moving object classification unit 133 Storage control unit 134 Risk determination unit 135 Error determination unit 136 Display control unit 140 Display unit

Claims (12)

あらかじめ登録された作業現場に係る第１の作業工程情報に対応して、前記作業現場において非接触による検知に基づく動体の動きを、作業者の動きと前記作業者以外の動きとに分別して作業現場計測データを得る動体分別部と、
前記第１の作業工程情報と、前記作業者の動きに対応する一部または全部の情報と、前記作業者以外の動きに対応する一部または全部の情報と、前記検知に基づき認識される第２の作業工程情報とが、表示部に同時に表示されるよう制御する表示制御部と、
を備える、作業現場監視装置。 According to the first work process information related to the work site registered in advance, the movement of the moving body based on the non-contact detection at the work site is divided into the movement of the worker and the movement of the person other than the worker. a moving object classification unit that obtains on-site measurement data;
the first work process information, some or all of the information corresponding to the movement of the worker, some or all of the information corresponding to the movement of a person other than the worker, and the first recognized based on the detection. a display control unit that controls so that the work process information of 2 is displayed on the display unit at the same time;
A worksite monitoring device comprising: 前記動体分別部は、カメラによる所定の領域の撮像結果とＬｉＤＡＲによる前記所定の領域の計測結果とに基づいて検知された前記動体の動きを分別する、
請求項１に記載の作業現場監視装置。 The moving object classification unit classifies the movement of the moving object detected based on the imaging result of the predetermined area by the camera and the measurement result of the predetermined area by LiDAR.
The work site monitoring device according to claim 1. 前記表示制御部は、前記撮像結果および前記計測結果の少なくともいずれか一方が前記表示部に表示されるよう前記表示部を制御する、
請求項２に記載の作業現場監視装置。 The display control unit controls the display unit so that at least one of the imaging result and the measurement result is displayed on the display unit.
The work site monitoring device according to claim 2. 前記作業現場監視装置は、前記作業者の動きおよび前記作業者以外の動きの少なくともいずれか一方に基づいて、前記作業者以外による前記作業者に対する危険性を判定する危険性判定部を備える、
請求項１に記載の作業現場監視装置。 The work site monitoring device includes a risk determination unit that determines a risk to the worker other than the worker based on at least one of the movement of the worker and the movement of the person other than the worker.
The work site monitoring device according to claim 1. 前記危険性判定部は、前記作業者以外の動きが有るか否かに基づいて、前記危険性を判定する、
請求項４に記載の作業現場監視装置。 The risk determination unit determines the risk based on whether or not there is movement of a person other than the operator;
The work site monitoring device according to claim 4 . 前記危険性判定部は、前記作業者と前記作業者以外との距離が閾値を下回るか否かに基づいて、前記危険性を判定する、
請求項４に記載の作業現場監視装置。 The risk determination unit determines the risk based on whether the distance between the worker and the person other than the worker is below a threshold.
The work site monitoring device according to claim 4 . 前記危険性判定部は、前記作業者以外の動きが有る場合、かつ、前記作業者と前記作業者以外との距離が閾値を下回る場合に、前記危険性が有ると判定する、
請求項４に記載の作業現場監視装置。 The risk determination unit determines that there is a risk when there is movement of a person other than the worker and when the distance between the worker and the person other than the worker is less than a threshold.
The work site monitoring device according to claim 4 . 前記作業現場監視装置は、前記第１の作業工程情報と前記作業者の動きおよび前記作業者以外の動きの少なくとも一方とに基づいて認識される第２の作業工程情報とに基づいて、前記第２の作業工程情報の誤差を判定する誤差判定部を備える、
請求項１に記載の作業現場監視装置。 The work site monitoring device, based on the first work process information and second work process information recognized based on at least one of the movement of the worker and the movement of a person other than the worker, An error determination unit for determining the error of the work process information of 2,
The work site monitoring device according to claim 1. 前記誤差判定部は、前記第１の作業工程情報および前記第２の作業工程情報において順序または時間が対応する作業工程同士が一致するか否かに基づいて、前記第２の作業工程情報の誤差を判定する、
請求項８に記載の作業現場監視装置。 The error judging unit determines the error of the second work process information based on whether or not work processes corresponding in order or time in the first work process information and the second work process information match. determine the
The work site monitoring device according to claim 8 . 前記作業現場監視装置は、前記第１の作業工程情報に対応してあらかじめ用意された動きテンプレートと前記作業者の動きおよび前記作業者以外の動きの少なくとも一方とに基づいて、前記作業現場計測データの一部の誤差を判定する誤差判定部を備える、
請求項１に記載の作業現場監視装置。 The work site monitoring device measures the work site measurement data based on a movement template prepared in advance corresponding to the first work process information and at least one of the movement of the worker and the movement of the person other than the worker. An error determination unit that determines a part of the error of
The work site monitoring device according to claim 1. コンピュータを、
あらかじめ登録された作業現場に係る第１の作業工程情報に対応して、前記作業現場において非接触による検知に基づく動体の動きを、作業者の動きと前記作業者以外の動きとに分別して作業現場計測データを得る動体分別部と、
前記第１の作業工程情報と、前記作業者の動きに対応する一部または全部の情報と、前記作業者以外の動きに対応する一部または全部の情報と、前記検知に基づき認識される第２の作業工程情報とが、表示部に同時に表示されるよう制御する表示制御部と、
を備える監視装置として機能させるためのプログラム。 the computer,
According to the first work process information related to the work site registered in advance, the movement of the moving body based on the non-contact detection at the work site is divided into the movement of the worker and the movement of the person other than the worker. a moving object classification unit that obtains on-site measurement data;
the first work process information, some or all of the information corresponding to the movement of the worker, some or all of the information corresponding to the movement of a person other than the worker, and the first recognized based on the detection. a display control unit that controls so that the work process information of 2 is displayed on the display unit at the same time;
A program for functioning as a monitoring device with コンピュータを、
あらかじめ登録された作業現場に係る第１の作業工程情報と、作業者の動きに対応する一部または全部の情報と、前記作業者以外の動きに対応する一部または全部の情報と、前記作業現場における非接触による検知に基づき認識される第２の作業工程情報とが、表示部によって同時に表示されるように前記表示部を制御する表示制御部を備える、
表示制御装置として機能させるためのプログラム。
the computer,
Preliminarily registered first work process information related to a work site, part or all of information corresponding to the movement of a worker, part or all of the information corresponding to movement of a person other than the worker, and the work A display control unit that controls the display unit so that the second work process information recognized based on non-contact detection at the site is displayed simultaneously by the display unit,
A program that functions as a display controller.
JP2017229071A 2017-11-29 2017-11-29 Worksite monitoring devices and programs Active JP7114885B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017229071A JP7114885B2 (en) 2017-11-29 2017-11-29 Worksite monitoring devices and programs
JP2022068547A JP2022103189A (en) 2017-11-29 2022-04-18 Work site monitoring device, work site monitoring system, work site monitoring method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017229071A JP7114885B2 (en) 2017-11-29 2017-11-29 Worksite monitoring devices and programs

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022068547A Division JP2022103189A (en) 2017-11-29 2022-04-18 Work site monitoring device, work site monitoring system, work site monitoring method, and program

Publications (2)

Publication Number Publication Date
JP2019101549A JP2019101549A (en) 2019-06-24
JP7114885B2 true JP7114885B2 (en) 2022-08-09

Family

ID=66973692

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017229071A Active JP7114885B2 (en) 2017-11-29 2017-11-29 Worksite monitoring devices and programs
JP2022068547A Pending JP2022103189A (en) 2017-11-29 2022-04-18 Work site monitoring device, work site monitoring system, work site monitoring method, and program

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022068547A Pending JP2022103189A (en) 2017-11-29 2022-04-18 Work site monitoring device, work site monitoring system, work site monitoring method, and program

Country Status (1)

Country Link
JP (2) JP7114885B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7277256B2 (en) * 2019-05-24 2023-05-18 コニカミノルタ株式会社 Work analysis system, work analysis device, and work analysis program
JP7310408B2 (en) * 2019-07-29 2023-07-19 コベルコ建機株式会社 Work information generation system for construction machinery
WO2023148971A1 (en) * 2022-02-07 2023-08-10 日本電気株式会社 Management device, management method, and computer-readable medium
WO2023152825A1 (en) * 2022-02-09 2023-08-17 日本電気株式会社 Movement evaluation system, movement evaluation method, and non-transitory computer-readable medium
CN116597390B (en) * 2023-07-18 2023-12-12 南方电网数字电网研究院有限公司 Method and device for detecting construction hidden danger around power transmission line and computer equipment

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002352224A (en) 2001-05-29 2002-12-06 Topcon Corp Device and system for measuring and displaying image, construction managing method and construction state monitoring system
JP2007058751A (en) 2005-08-26 2007-03-08 Fujitsu Ten Ltd Apparatus, method, and program for discriminating object
JP2008009868A (en) 2006-06-30 2008-01-17 Saxa Inc Image processor
JP2008052623A (en) 2006-08-28 2008-03-06 Sekisui House Ltd Dwelling house execution process plan support system
JP2010117882A (en) 2008-11-13 2010-05-27 Hitachi Constr Mach Co Ltd On-site monitoring system
US20150091716A1 (en) 2013-09-28 2015-04-02 Oldcastle Materials, Inc. Advanced warning and risk evasion system and method
JP2017033047A (en) 2015-07-28 2017-02-09 株式会社コンピュータシステム研究所 Safety management support device, safety management support program, and storage medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4006577B2 (en) * 2002-03-13 2007-11-14 オムロン株式会社 Monitoring device
JP2006285639A (en) * 2005-03-31 2006-10-19 Chugoku Electric Power Co Inc:The Presence operation support system and presence operation support vehicles
US9498885B2 (en) * 2013-02-27 2016-11-22 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
JP2014182628A (en) * 2013-03-19 2014-09-29 Nec Corp Space importance determination device, space importance determination method and program
JP2017049762A (en) * 2015-09-01 2017-03-09 株式会社東芝 System and method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002352224A (en) 2001-05-29 2002-12-06 Topcon Corp Device and system for measuring and displaying image, construction managing method and construction state monitoring system
JP2007058751A (en) 2005-08-26 2007-03-08 Fujitsu Ten Ltd Apparatus, method, and program for discriminating object
JP2008009868A (en) 2006-06-30 2008-01-17 Saxa Inc Image processor
JP2008052623A (en) 2006-08-28 2008-03-06 Sekisui House Ltd Dwelling house execution process plan support system
JP2010117882A (en) 2008-11-13 2010-05-27 Hitachi Constr Mach Co Ltd On-site monitoring system
US20150091716A1 (en) 2013-09-28 2015-04-02 Oldcastle Materials, Inc. Advanced warning and risk evasion system and method
JP2017033047A (en) 2015-07-28 2017-02-09 株式会社コンピュータシステム研究所 Safety management support device, safety management support program, and storage medium

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
飛島建設株式会社，映像認識による現場監視サポートシステムの開発に着手，日本，2017年11月01日，https://www.tobishima.co.jp/press_release/detail/20200403100031.html，[online] 検索日：令和３年８月１１日

Also Published As

Publication number Publication date
JP2019101549A (en) 2019-06-24
JP2022103189A (en) 2022-07-07

Similar Documents

Publication Publication Date Title
JP7114885B2 (en) Worksite monitoring devices and programs
JP6546907B2 (en) Integrated data collection and reporting interface for devices
JP4752721B2 (en) Movement pattern identification device, movement pattern identification method, movement pattern identification program, and recording medium recording the same
JP6639091B2 (en) Display control device and display control method
WO2017169276A1 (en) Plant management system, plant management method, plant management device, and plant management program
CN107664977A (en) For operating the system and method for machine in the manufacturing environment including machine
JP6783713B2 (en) Human behavior estimation system
WO2017169280A1 (en) Plant management system, plant management method, plant management device, and plant management program
JP2005250990A (en) Operation support apparatus
TW201818297A (en) Work recognition device and work recognition method
JP7010542B2 (en) Work analyzer, work analysis method, and program
JP2017204094A (en) Visual line determination program, visual line determination device and visual line determination method
US11138805B2 (en) Quantitative quality assurance for mixed reality
KR101764847B1 (en) Monitoring method for cultural structure
US20200209277A1 (en) System and method for standardized evaluation of activity sequence
JP6505836B2 (en) Driving support device and driving support method
JP5891191B2 (en) Operation result acquisition system and operation result acquisition method
JP7272118B2 (en) Intrusion detection devices, programs and intrusion detection systems
KR102560107B1 (en) System and method for preventing annotation errors using time and spatial information of multiple cameras
JP7376446B2 (en) Work analysis program and work analysis device
DK201800123A1 (en) Augmented Reality Maintenance System
WO2024062541A1 (en) Image generation system and computer-readable recording medium
WO2023095329A1 (en) Movement evaluation system, movement evaluation method, and non-transitory computer-readable medium
KR102635901B1 (en) Hazardous object recognition system and method at construction site using AI robot
JP7354182B2 (en) Mobile work analysis device and work analysis method

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190327

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190328

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200813

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211018

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220418

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220418

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220506

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220711

R150 Certificate of patent or registration of utility model

Ref document number: 7114885

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150