JP6341550B1 - Construction site image determination device and construction site image determination program - Google Patents
Construction site image determination device and construction site image determination program Download PDFInfo
- Publication number
- JP6341550B1 JP6341550B1 JP2017198211A JP2017198211A JP6341550B1 JP 6341550 B1 JP6341550 B1 JP 6341550B1 JP 2017198211 A JP2017198211 A JP 2017198211A JP 2017198211 A JP2017198211 A JP 2017198211A JP 6341550 B1 JP6341550 B1 JP 6341550B1
- Authority
- JP
- Japan
- Prior art keywords
- construction site
- determination
- site image
- learning
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 268
- 238000000034 method Methods 0.000 claims description 44
- 230000008569 process Effects 0.000 claims description 41
- 230000007547 defect Effects 0.000 claims description 32
- 239000010410 layer Substances 0.000 description 37
- 230000006870 function Effects 0.000 description 23
- 230000002950 deficient Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000009418 renovation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
【課題】工事現場で工事を行う現場作業者の能力を容易に把握できるようにする。【解決手段】工事現場画像DB34には、複数の学習用工事現場画像と、各学習用工事現場画像に関する良不良判定とが関連付けられて記憶される。学習処理部40は、複数の学習用工事現場画像と、各学習用工事現場画像に関する良不良判定を含む学習データを用いて学習器36を学習する。判定部42は、学習済みの学習器36に、判定対象工事現場画像を入力する。判定部42は、学習器36の出力データに基づいて判定対象工事現場画像に関する良不良判定を行い、当該判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報に基づいて、判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して出力する。これにより、現場作業者毎に、複数の判定対象工事現場画像に関する良不良判定が出力される。【選択図】図2An object of the present invention is to make it easy to grasp the ability of a field worker who performs construction work on a construction site. In a construction site image DB, a plurality of learning construction site images and good / bad determinations regarding each learning construction site image are stored in association with each other. The learning processing unit 40 learns the learning device 36 by using a plurality of learning construction site images and learning data including good / bad determination regarding each learning construction site image. The determination unit 42 inputs a determination target construction site image to the learned learner 36. The determination unit 42 performs good / bad determination regarding the determination target construction site image based on the output data of the learning device 36, and is in charge of the construction corresponding to the determination target construction site image associated with the determination target construction site image. Based on the worker identification information indicating the on-site worker, the quality judgment regarding the construction site image to be judged is distinguished and output for each on-site worker. Thereby, the good / bad determination regarding several determination object construction site images is output for every field worker. [Selection] Figure 2
Description
本発明は、工事現場画像判定装置及び工事現場画像判定プログラムに関する。 The present invention relates to a construction site image determination apparatus and a construction site image determination program.
従来、工事現場において、工事の進捗状況を記録するあるいは工事の進捗状況を管理することを目的として、工事結果を示す工事現場画像が撮影されている。工事現場画像は、例えば日報に添付されるなどして、工事現場の現場監督あるいは工事発注者(以下単に「管理者」と記載する)へ提出される。管理者は、提出された工事現場画像に基づいて工事結果の良不良を判定する。 Conventionally, on a construction site, a construction site image showing a construction result has been taken for the purpose of recording the progress of the construction or managing the progress of the construction. The construction site image is submitted to a site supervision of the construction site or a construction orderer (hereinafter simply referred to as “manager”), for example, attached to a daily report. The manager determines whether the construction result is good or bad based on the submitted construction site image.
管理者の元へ提出される工事現場画像が多数となる場合があるために、工事現場画像のを管理するための技術が提案されている。例えば、特許文献1には、多数の工事現場画像を容易に管理することができる工事現場管理システムが開示されている。
Since there may be many construction site images submitted to the manager, a technique for managing the construction site images has been proposed. For example,
一方、従来から深層学習(ディープラーニング)などの機械学習手法が提案されている。例えば、特許文献2には、建築要素を撮影した学習用画像を学習データとして用いて学習器を学習させ、学習済みの学習器を用いて、新たに撮影された撮影画像に含まれる建築要素を特定する技術が開示されている。
On the other hand, machine learning techniques such as deep learning have been proposed. For example, in
ところで、管理者には、工事現場で工事を行う現場作業者の能力を把握したいという要望がある。ここでいう現場作業者の能力とは、特に、工事を適切に完了できる能力を意味する。 By the way, there is a demand for managers to grasp the ability of field workers who perform construction work at construction sites. The field worker's ability here means in particular the ability to properly complete the construction.
しかしながら、管理者が現場作業者の能力を把握することが困難であるという実情がある。これには様々な理由があるが、1つの理由として、管理者は、複数の工事現場を掛け持ちして担当するのが一般的であるというのが実情であるために、管理者が各現場作業者の工事の様子を十分に確認できないということが挙げられる。 However, there is a fact that it is difficult for managers to grasp the capabilities of field workers. There are various reasons for this, but one reason is that it is common for managers to be in charge of multiple construction sites. It is mentioned that the state of construction of the worker cannot be fully confirmed.
一般的に、工事の各工程が完了する毎に、工事結果を示す工事現場画像が撮影され、当該工事現場画像が管理者に提出される。したがって、管理者が、複数の工事現場画像の良不良判定を解析することによって、現場作業者の能力を把握することが考えられる。しかしながら、多数の現場作業者の工事結果を示す膨大な数の工事現場画像が管理者に提出され、管理者がそれらの工事現場画像を1つ1つ目視確認しているのが実情である。したがって、管理者は、時間的制約などから、膨大な数の工事現場画像を個別に良不良判定するに留まり、複数の工事現場画像を解析して現場作業者の能力を把握することは事実上困難となっている。 Generally, each time a construction process is completed, a construction site image indicating a construction result is taken, and the construction site image is submitted to a manager. Therefore, it is conceivable that the manager grasps the ability of the site worker by analyzing the quality judgment of the plurality of construction site images. However, in reality, an enormous number of construction site images indicating the construction results of a large number of site workers are submitted to the manager, and the manager visually checks each of the construction site images one by one. Therefore, due to time constraints, etc., the manager can only determine the quality of each large number of construction site images individually, and it is virtually impossible to understand the capabilities of site workers by analyzing multiple construction site images. It has become difficult.
本発明の目的は、工事現場で工事を行う現場作業者の能力を容易に把握できるようにすることにある。 An object of the present invention is to make it easy to grasp the ability of a field worker who performs construction work at a construction site.
本発明は、工事結果を示す複数の学習用工事現場画像、及び、各学習用工事現場画像が示す前記工事結果に対する良不良判定を含む学習データを用いて学習することで、工事現場画像に関する良不良判定が可能な学習器と、前記学習器に判定対象工事現場画像を入力し、前記学習器の出力データに基づいて当該判定対象工事現場画像に関する良不良判定を行い、当該判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報に基づいて、当該判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して出力し、現場作業者毎に複数の判定対象工事現場画像に関する、良不良判定を含む判定結果を出力する判定部と、を備えることを特徴とする工事現場画像判定装置である。 The present invention learns using a plurality of learning construction site images indicating construction results and learning data including good / bad judgments on the construction results indicated by the respective learning construction site images, so that A learning device capable of determining a defect, and a determination target construction site image is input to the learning device, and a good / bad determination regarding the determination target construction site image is performed based on output data of the learning device, and the determination target construction site image Based on the worker identification information indicating the site worker in charge of the work corresponding to the judgment target construction site image, the quality judgment regarding the judgment target construction site image is distinguished and output for each site worker. And a determination unit that outputs a determination result including a good / bad determination regarding a plurality of determination target construction site images for each site worker. It is.
望ましくは、前記学習器は、さらに、不良判定された学習用工事現場画像に関して特定された不良の種類を含む前記学習データを用いて学習することで、工事現場画像に関する良不良判定及び不良の種類の分類が可能であり、前記判定部は、前記判定対象工事現場画像について不良判定した場合に、さらに、前記学習器の出力データに基づいて当該判定対象工事現場画像に関する不良の種類を判定し、現場作業者毎に複数の判定対象工事現場画像に関する、良不良判定及び不良の種類を含む判定結果を出力する、ことを特徴とする。 Preferably, the learning device further learns using the learning data including the type of defect specified for the learning construction site image determined to be defective, so that the quality determination and the type of failure regarding the construction site image are performed. When the determination unit determines a defect for the determination target construction site image, the determination unit further determines the type of defect related to the determination target construction site image based on the output data of the learning device, It is characterized in that a determination result including a good / bad determination and a defect type regarding a plurality of determination target construction site images is output for each site worker.
望ましくは、前記学習器は、工事の複数の工程に対応して複数設けられ、各学習器は、自己に対応する工程の前記学習用工事現場画像を含む複数の前記学習データを用いて学習し、前記判定部は、前記判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像が示す工事の工程を示す工程識別情報に基づいて選択された学習器に当該判定対象工事現場画像を入力することで、当該判定対象工事現場画像に関する前記判定結果を現場作業者毎、且つ、工程毎に区別して出力し、現場作業者と工程との組毎に複数の判定対象工事現場画像に関する前記判定結果を出力する、ことを特徴とする。 Preferably, a plurality of learning devices are provided corresponding to a plurality of construction steps, and each learning device learns using a plurality of the learning data including the learning construction site image of the step corresponding to itself. The determination unit inputs the determination target construction site image to the learning device selected based on the process identification information indicating the construction process indicated by the determination target construction site image, which is associated with the determination target construction site image. Thus, the determination result relating to the determination target construction site image is output separately for each site worker and for each process, and the determination regarding the plurality of determination target construction site images for each set of the site worker and the process. The result is output.
また、本発明は、コンピュータを、工事結果を示す複数の学習用工事現場画像、及び、各学習用工事現場画像が示す前記工事結果に対する良不良判定を含む学習データを用いて学習することで、工事現場画像に関する良不良判定が可能な学習器と、前記学習器に判定対象工事現場画像を入力し、前記学習器の出力データに基づいて当該判定対象工事現場画像に関する良不良判定を行い、当該判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報に基づいて、当該判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して出力し、現場作業者毎に複数の判定対象工事現場画像に関する、良不良判定を含む判定結果を出力する判定部と、として機能させることを特徴とする工事現場画像判定プログラムである。 In addition, the present invention learns a computer by using a plurality of learning construction site images indicating construction results, and learning data including good / bad judgment for the construction results indicated by each learning construction site image, A learning device capable of determining good and bad regarding the construction site image, and inputting the determination target construction site image to the learning device, performing the good and defective determination regarding the determination target construction site image based on the output data of the learning device, Based on the worker identification information indicating the site worker in charge of the construction corresponding to the judgment target construction site image associated with the judgment target construction site image, the site worker performs the good / bad judgment regarding the judgment target construction site image. A distinction is output for each site, and a function is made to function as a determination unit that outputs a determination result including a good / bad determination regarding a plurality of determination target construction site images for each site worker. Is a construction site image determination program which is characterized.
本発明によれば、工事結果に関する現場作業者毎の良不良の傾向を容易に把握することができる。 According to the present invention, it is possible to easily grasp the tendency of good / bad for each field worker regarding the construction result.
以下、本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described.
図1は、本実施形態に係る工事現場画像判定システム10の構成概略図である。工事現場画像判定システム10は、デジタルカメラ12、管理者端末14、及び、工事現場画像判定装置としてのサーバ16を含んで構成される。デジタルカメラ12、管理者端末14、及びサーバ16は、相互に通信可能なように、LAN(Local Area Network)あるいはインターネットなどから構成される通信回線20を介して互いに通信可能に接続されている。なお、図1には、デジタルカメラ12、及び管理者端末14は、それぞれ1つずつ示されているが、これらは複数設けられてよい。
FIG. 1 is a schematic configuration diagram of a construction site
デジタルカメラ12は、文字通りのデジタルカメラであってもよいし、カメラ機能を搭載したタブレット端末(携帯端末)であってもよい。デジタルカメラ12は、工事現場で作業を行う者によって用いられる。本実施形態における工事現場は、例えば建築現場あるいはリフォーム現場である。本実施形態では、工事現場で工事を行う現場作業者がデジタルカメラ12を使用するものとする。デジタルカメラ12は、工事現場における工事結果(出来栄え)を示す工事現場画像を撮影するためのものである。本実施形態では、現場作業者は、工事の1つの工程が完了する度に、当該工程の工事結果を示す工事現場画像を撮影する。
The
工事現場画像には、付帯情報であるメタデータが関連付けられる。メタデータには、当該工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報が含まれる。また、メタデータには、当該工事現場画像が示す工事の工程を示す工程識別情報が含まれていてもよい。さらに、メタデータには、工事現場を識別する工事現場識別情報あるいは撮影時刻情報などが含まれていてもよい。 The construction site image is associated with metadata as supplementary information. The metadata includes worker identification information indicating a site worker who is in charge of the construction corresponding to the construction site image. Further, the metadata may include process identification information indicating a construction process indicated by the construction site image. Further, the metadata may include construction site identification information for identifying the construction site or shooting time information.
デジタルカメラ12は通信機能を有しており、撮影された工事現場画像及びメタデータはサーバ16へ送信される。
The
管理者端末14は、管理者が利用する端末である。管理者端末14は、工事現場から遠隔の地に設置される。管理者端末14は、一般的なコンピュータであってよく、CPU(Central Processing Unit)などからなる制御部、ハードディスク、ROM(Read Only Memory)あるいはRAM(Random Access Memory)などからなる記憶部、ネットワークアダプタなどからなる通信部、液晶パネルなどからなる表示部、及びキーボードあるいはマウスなどからなる入力部を含んで構成される。
The
図2は、サーバ16の構成概略図である。サーバ16は、サーバとして機能し得る程度の性能を有するコンピュータにより構成される。なお、本明細書においては、サーバ16が有する学習器36(後述)の学習のための学習データに含まれる工事現場画像を「学習用工事現場画像」と、学習済みの学習器36による良不良判定の対象となる工事現場画像を「判定対象工事現場画像」と区別して記載する。特に両者の区別をしない場合は、単に「工事現場画像」と記載する。
FIG. 2 is a schematic configuration diagram of the
通信部30は、例えばネットワークアダプタなどを含んで構成される。通信部30は、通信回線18を介して他の装置と通信する機能を発揮する。例えば、通信部30は、メタデータ付き工事現場画像をデジタルカメラ12から受信する。また、通信部30は、判定対象工事現場画像に関する良不良判定などを示す判定結果を管理者端末14に送信する。
The
記憶部32は、例えばハードディスク、ROM、あるいはRAMなどを含んで構成される。記憶部32には、サーバ16の各部を動作させるための工事現場画像判定プログラムが記憶される。また、記憶部32には、工事現場画像DB34が定義される。
The
図3に工事現場画像DB34の内容を示す概念図が示されている。工事現場画像DB34には、例えば、過去に各工事現場において各現場作業者によりデジタルカメラ12で撮影された工事現場画像である、複数の学習用工事現場画像と、各学習用工事現場画像に関するメタデータとが蓄積記憶されている。図3に示すように、本実施形態においては、学習用工事現場画像と、当該学習用工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報と、当該工事現場に対応する工程を示す工程識別情報が関連付けられて複数記憶される。
FIG. 3 is a conceptual diagram showing the contents of the construction
デジタルカメラ12により取得された学習用工事現場画像は、管理者よって良不良判定される。学習用工事現場画像は、デジタルカメラ12で取得された後、サーバ16を介して管理者端末14に送信される。管理者は、管理者端末14の表示部に表示された学習用工事現場画像を確認することで、当該学習用工事現場画像に関する良不良判定を行う。すなわち、当該学習用工事現場画像が示す工事結果が適切なものであれば良判定とし、そうでなければ不良判定とする。管理者は管理者端末14の入力部を用いて当該学習用工事現場画像に関する良不良判定を入力し、入力された良不良判定が管理者端末14からサーバ16に送信される。工事現場画像DB34には、管理者端末14から受信した良不良判定が、当該学習用工事現場画像に関連付けられて記憶される。
The construction site image for learning acquired by the
図2に戻り、記憶部32には、学習器36が記憶される。学習器36の実態は、各ユニット(ニューロン)に関する重み及びバイアスなどの各パラメータ、並びに、入力データに対して処理を行うための処理実行プログラムである。したがって、記憶部32に学習器36が記憶されるとは、学習器36に関する各種パラメータと処理実行プログラムが記憶部32に記憶されることを意味する。
Returning to FIG. 2, the
本実施形態における学習器36は、工事現場画像DB34に記憶された複数の学習用工事現場画像と、各学習用工事現場画像に関する良不良判定を含む学習データを用いて学習する。その上で、学習器36には、例えば新たに取得された工事現場画像である判定対象工事現場画像が入力データとして入力され、学習器36は判定対象工事現場画像に関する良不良判定を行う。すなわち、判定対象工事現場画像が示す工事結果が適切である場合は良判定とし、判定対象工事現場画像が示す工事結果が適切でない場合には不良判定とする。
The
学習器36は、上述のように学習可能であり、且つ、判定対象工事現場画像に関する良不良判定が可能な限りにおいてどのような学習器であってもよい。学習器36の構造の詳細については後述する。
The
制御部38は、例えばCPUなどを含んで構成される。制御部38は、記憶部32に記憶された工事現場画像判定プログラムに従って、サーバ16の各部を制御するものである。また、制御部38は、学習処理部40及び判定部42としても機能する。
The
学習処理部40は、学習器36の学習処理を実行する。具体的には、学習用工事現場画像を学習器36に入力し、学習器36の出力データが当該学習用工事現場画像に関する良不良判定に適合するように、学習器36を学習する。
The
判定部42は、学習済みの学習器36に判定対象工事現場画像を入力し、学習器36の出力データに基づいて、当該判定対象工事現場画像に関する良不良判定を行う。特に、本実施形態における判定部42は、学習器36に入力された判定対象工事現場画像に関連付けられた作業者識別情報に基づいて、判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して出力する。判定部42は、この処理を繰り返し、現場作業者毎に、複数の判定対象工事現場画像に関する良不良判定を含む判定結果を出力する。
The
判定部42が出力した判定結果は、例えば管理者端末14からの要求に応じて管理者端末14に送信される。これにより、管理者に判定結果が提供される。
The determination result output by the
以下、学習器36の詳細と共に、学習処理部40及び判定部42の処理の具体例について説明する。本実施形態では、学習器36は、ニューラルネットワークを用いたものとなっている。図4は、本実施形態における学習器36の構造を示す図である。学習器36の入力データは、複数の入力変数x1、x2、x3・・・を含んでいる。各入力データの入力変数は、工事現場画像の各画素の画素値である。
Hereinafter, a specific example of processing of the
学習器36は、それぞれが複数のユニット50を含む複数の層を含んで構成される。通常、最も入力側に位置する入力層、最も出力側に位置する出力層、及び、入力層と出力層の間に設けられる中間層(あるいは隠れ層とも呼ばれる)を含んで構成される。図4の例では、中間層は1層となっているが、中間層として複数の層を有していてもよい。
The
各入力変数は、入力層の各ユニット50に入力される。各ユニット50においては、各入力変数に対する重みw1、w2、w3・・・、及びバイアスbが定義されている。各入力変数と対応する重みが掛け合わされた値の合計にバイアスを加算した値が当該ユニット50の入力となる。つまり、入力層の1つのユニット50に対する入力uは、
各ユニット50は、入力uに対する、活性化関数と呼ばれる関数fの出力を出力する。すなわち、各ユニット50の出力zは、
z=f(u) ・・・(式2)
で表される。なお、活性化関数としては、例えばシグモイド関数、ランプ関数、あるいはステップ関数などを利用することができる。入力層の各ユニット50からの出力は、中間層の各ユニット50に入力される。すなわち、入力層の各ユニット50と中間層の各ユニット50は全結合される。
Each
z = f (u) (Formula 2)
It is represented by As the activation function, for example, a sigmoid function, a ramp function, or a step function can be used. The output from each
中間層の各ユニット50は、入力層の各ユニット50の出力を入力として、上記と同様の処理を行う。すなわち、中間層の各ユニット50には、入力層の各ユニット50に対する重みとバイアスが設定されている。中間層の各ユニット50からの出力は、出力層の各ユニット50に入力される。すなわち、中間層の各ユニット50と出力層の各ユニット50も全結合される。出力層の各ユニット50も、中間層の各ユニット50の出力を入力として、上記と同様の処理を行う。すなわち、出力層の各ユニット50には、中間層の各ユニット50に対する重みとバイアスが設定されている。
Each
出力層の各ユニット50の出力は、ソフトマックス関数に入力される。ソフトマックス関数とは、出力層の各ユニット50の出力に基づいて、複数の出力変数を算出する関数である。当該複数の出力変数が学習器36の出力データとなる。各出力変数は、学習器36が分類を行う各分類ラベル(カテゴリ)に対応するものであり、後述するように、各出力変数の値は、入力データが各分類ラベルに属する確率を示すものとなる。
The output of each
図4に示す通り、ソフトマックス関数の出力が複数の出力変数y1、y2、y3・・・を有しているとすると、出力変数y1、y2、y3・・・が、入力データの各分類ラベルに属する各確率を表すものとなる。具体的には、ソフトマックス関数は、以下の式で与えられる。
ソフトマックス関数の特徴としては、各出力の合計が1となることである。したがって、出力変数ykが分類ラベルkに対応するものとするならば、出力変数ykの値が、当該入力データが分類ラベルkに属する確率を表すものと解釈できる。 A feature of the softmax function is that the total of each output is 1. Therefore, if the output variable y k corresponds to the classification label k, the value of the output variable y k can be interpreted as representing the probability that the input data belongs to the classification label k.
判定対象工事現場画像に関する良不良判定を行う学習器36において考えられる最も単純な構成では、出力変数(分類ラベル)は2つであり、1つ目の出力変数y1が良判定、2つ目の出力変数y2が不良判定に対応するものとなる。この場合は、学習処理部40は、良不良判定が既知の学習用工事現場画像を学習データとして学習器36に入力し、当該学習用工事現場画像に対する出力データにおいて、当該学習用工事現場画像に関する良不良判定に対応する出力変数の値が大きくなり、他の出力変数の値が小さくなるように、各層の各ユニット50の各重み及びバイアスを調整する(すなわち学習器36を学習する)。例えば、学習用工事現場画像が良判定である場合には、学習処理部40は、当該学習用工事現場画像に対する出力データにおいて、出力変数y1の値が大きくなり、出力変数y2の値が小さくなるように、各層の各ユニット50の各重み及びバイアスを調整する。
In the simplest possible configuration of the
判定部42は、十分に学習された学習器36に対して、判定対象工事現場画像を入力データとして入力する。そして、学習器36の出力データに含まれる各出力変数の値に基づいて、当該判定対象工事現場画像に関する良不良判定を行う。例えば、判定部42は、良判定に対応する出力変数y1が不良判定に対応する出力変数y2よりも大きな値を示すならば、当該判定対象工事現場画像を良判定とする。一方、出力変数y2が出力変数y1よりも大きな値を示すならば、当該判定対象工事現場画像を不良判定とする。
The
上述のように、判定部42は、判定対象工事現場画像に関する判定結果を現場作業者毎に区別して出力する。図5には、判定対象工事現場画像に関する判定結果が現場作業者毎に区別して出力される様子が示されている。判定部42は、図5に示されるように、判定対象工事現場画像を学習器36に入力し、当該判定対象工事現場画像に関連付けられた作業者識別情報に基づいて、学習器36の判定結果を現場作業者毎に区別して出力する。判定部42がこの処理を繰り返すことによって、現場作業者毎に複数の判定対象工事現場画像に関する判定結果が出力される。
As described above, the
判定部42の判定結果は、管理者端末14に送信される。管理者端末14は、受信した判定結果に基づいて、複数の判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して表示部に表示する。複数の判定対象工事現場画像に関する良不良判定は、工事結果が適切であるか否かの統計的データであるともいえる。したがって、管理者端末14の表示部には、工事結果が適切であるか否かの統計的データが現場作業者毎に区別されて表示されるといえる。
The determination result of the
管理者は、現場作業者毎に区別された工事結果が適切であるか否かの統計的データに基づいて、各現場作業者の能力を把握することができる。例えば、現場作業者Aに対して現場作業者Bの不良判定が有意に多いのであれば、現場作業者Bに比して現場作業者Aの能力が高いと言える。 The manager can grasp the ability of each site worker based on statistical data indicating whether or not the construction result distinguished for each site worker is appropriate. For example, if the number of defect judgments of the field worker B is significantly greater than the field worker A, it can be said that the ability of the field worker A is higher than that of the field worker B.
また、複数の判定対象工事現場画像の撮影時刻情報に基づいて、良不良判定を判定対象工事現場画像の撮影時刻順に並べて表示するようにしてもよい。これにより、工事結果が適切であるか否かが時系列的に並んだ統計的データが管理者に提供される。このような統計的データによれば、管理者は、工事結果が適切であるか否かの時間的変化を現場作業者毎に把握することができる。例えば、現場作業者Aは以前は不良が多かったが、最近は不良が少ないなどといった変化を容易に把握することができる。この場合、現場作業者Aが何らかの工夫あるいは努力をしたことで、その能力が向上したと見ることもできる。 Moreover, based on the shooting time information of the plurality of determination target construction site images, the good / bad determination may be displayed side by side in the order of the shooting times of the determination target construction site images. Thereby, the administrator is provided with statistical data in which whether or not the construction result is appropriate is arranged in time series. According to such statistical data, the manager can grasp the temporal change of whether or not the construction result is appropriate for each field worker. For example, the site worker A can easily grasp a change in which there were many defects before, but there are few defects recently. In this case, it can also be seen that the ability of the field worker A has improved as a result of some device or effort.
このように、本実施形態に係る工事現場画像判定システム10によれば、現場作業者毎に複数の判定対象工事現場画像に関する良不良判定が出力されるから、管理者は、それに基づいて各現場作業者の能力を把握することができる。また、工事現場画像判定システム10においては、学習器36を用いて判定対象工事現場画像に関する良不良判定を行うから、判定対象工事現場画像の良不良判定を管理者が行う必要なく、しかも高精度な判定が実現される。これにより、管理者は、容易に、各現場作業者の能力を把握することが可能となる。
As described above, according to the construction site
図4に戻り、学習器36は、3つ以上の出力変数(y1、y2、y3・・・)を有する出力データを出力するようにしてもよい。この場合、1つ目の出力変数y1が良判定に対応するものであり、2つ目以降の出力変数y2、y3・・・が不良判定に対応するものとなる。不良判定に対応する複数の出力変数y2、y3・・・は、それぞれ異なる不良の種類に対応するものとなる。不良の種類は、例えば、不良箇所あるいは不良態様などによって分類されるものである。このように、3つ以上の出力変数を有する出力データを出力することで、学習器36は、判定対象工事現場画像に関して、単に良不良判定するのみならず、不良の種類を判定することが可能となる。
Returning to FIG. 4, the
学習器36の出力データが3以上の出力変数を有する場合は、工事現場画像DB34において、不良判定の学習用工事現場画像に対しては、管理者により特定された不良の種類を示す情報が関連付けられる。学習処理部40は、工事現場画像DB34に記憶された、複数の学習用工事現場画像、各学習用工事現場画像に関する良不良判定、及び、不良判定された学習用工事現場に関して特定された不良の種類を含む学習データを用いて学習器36を学習する。すなわち、学習処理部40は、当該学習用工事現場画像に対する出力データにおいて、当該学習用工事現場画像が良判定である場合は、出力変数y1が最も大きな値となるように各層の各ユニット50の各重み及びバイアスを調整し、当該学習用工事現場画像が不良判定である場合は、当該学習用工事現場画像の不良の種類に対応する出力変数の値が最も大きくなるように、各層の各ユニット50の各重み及びバイアスを調整する。
When the output data of the
このように学習された学習器36に対して、判定部42は、判定対象工事現場画像を入力データとして入力する。そして、判定部42は、学習器36の出力データに基づいて当該判定対象工事現場画像の良不良判定を行い、不良判定となった判定対象工事現場画像については、さらに不良の種類を判定する。
The
具体的には、判定部42は、学習器36の出力データにおいて、良判定に対応する出力変数y1が最も大きな値を示すならば、当該判定対象工事現場画像を良判定とする。また、判定部42は、不良判定であって第1の種類の不良に対応する出力変数y2が最も大きな値を示すならば、当該判定対象工事現場画像は不良判定とし、その不良の種類は第1の種類であると判定する。また、判定部42は、不良判定であって第2の種類の不良に対応する出力変数y3が最も大きな値を示すならば、当該判定対象工事現場画像を不良判定とし、その不良の種類は第2の種類であると判定する。判定部42がこの処理を繰り返すことによって、現場作業者毎に複数の判定対象工事現場画像に関する良不良判定及び不良の種類を含む判定結果が出力される。
More specifically, the
学習器36の判定結果がサーバ16から管理者端末14に送信され、管理者端末14の表示部には、現場作業者毎に、複数の判定対象工事現場画像の良不良判定のみならず、不良画像についての不良の種類が表示される。これにより、管理者は、各現場作業者について、特定の種類の不良が多いあるいは少ないなどの不良の傾向を把握することができる。
The determination result of the
また、学習器36は、工事の各工程に対応して複数設けられてもよい。例えば、工程1用学習器36a、工程2用学習器36b、工程3用学習器36c・・・が設けられてもよい。この場合、学習処理部40は、各学習器36に対応する工程の学習用工事現場画像を含む学習データを用いて各学習器36を学習する。例えば、工程1用学習器36aに対しては、工事現場画像DB34に記憶された複数の学習用工事現場画像のうち、工程1に関連付けられた学習用工事現場画像を含む学習データを用いて学習を行う。
Further, a plurality of
判定部42は、判定対象工事現場画像に関連付けられた工程識別情報に基づいて、複数の学習器36の中から、当該判定対象工事現場画像を入力する学習器36を選択する。例えば、判定部42は、工程1を示す工程識別情報が関連付けられた判定対象工事現場画像に対して工程1用学習器36aを選択する。そして、判定部42は、選択した学習器36に当該を判定対象工事現場画像を入力する。
Based on the process identification information associated with the determination target construction site image, the
上述の通り、各工程に対応する各学習器36は、それぞれ、当該判定対象工事現場画像に関連付けられた作業者識別情報に基づいて、判定結果を現場作業者毎に区別して出力する。これにより、判定対象工事現場画像に関する判定結果が、現場作業者毎、且つ、工程毎に区別されて出力される。判定部42がこの処理を繰り返すことによって、現場作業者と工程の組毎に、複数の判定対象工事現場画像に関する良不良判定が出力される。図6に、判定対象工事現場画像に関する判定結果が現場作業者毎、且つ、工程毎に区別して出力される様子が示されている。なお、各工程に対応した各学習器36は、判定対象工事現場画像の良不良判定を行うのみならず、不良画像については不良の種類を判定するようにしてもよい。
As described above, each learning
学習器36の判定結果がサーバ16から管理者端末14に送信され、管理者端末14の表示部には、現場作業者と工程との組毎に、複数の判定対象工事現場画像に関する良不良判定(及び不良の種類)が表示される。すなわち、管理者端末14の表示部には、工事結果が適切であるか否かの統計的データが、現場作業者と工程の組毎に区別されて表示される。これにより、管理者は、各現場作業者について、特定の工程について不良が多いあるいは少ないなどの傾向を把握することができる。例えば、現場作業者Aは工程1を得意としている一方工程2を不得意としており、現場作業者Bは工程2を得意としている一方工程1を不得意としているなどの能力の特徴を把握することができる。
The determination result of the
以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。例えば、本実施形態においては、現場作業者が撮影行為を行って取得された静止画としての新工事現場画像に関する良不良判定を行っているが、撮影機能(カメラ機能)を動作させた上で被写体(工事結果)にデジタルカメラ12をかざすことで、新工事現場画像群を連続的にサーバ16に送信して、新工事現場画像群の中から良判定されるものがあれば、当該新工事現場画像群に対応する工事結果が良判定であると判定するようにしてもよい。
As mentioned above, although embodiment which concerns on this invention was described, this invention is not limited to the said embodiment, A various change is possible unless it deviates from the meaning of this invention. For example, in the present embodiment, the site worker performs a good / bad determination regarding the new construction site image as a still image acquired by performing the shooting action, but after operating the shooting function (camera function) By holding the
10 工事現場画像判定システム、12 デジタルカメラ、14 管理者端末、16 サーバ、18 通信回線、30 通信部、32 記憶部、34 工事現場画像DB、36 学習器、36a 工程1用学習器、36b 工程2用学習器、36c工程3用学習器、38 制御部、40 学習処理部、42 判定部、50 ユニット。
10 construction site image determination system, 12 digital camera, 14 administrator terminal, 16 server, 18 communication line, 30 communication unit, 32 storage unit, 34 construction site image DB, 36 learning device, 36a learning device for
Claims (4)
前記学習器に判定対象工事現場画像を入力し、前記学習器の出力データに基づいて当該判定対象工事現場画像に関する良不良判定を行い、当該判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報に基づいて、当該判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して出力し、現場作業者毎に複数の判定対象工事現場画像に関する、良不良判定を含む判定結果を出力する判定部と、
を備えることを特徴とする工事現場画像判定装置。 By using learning data including multiple learning construction site images showing construction results and learning data including good / bad judgments for the construction results shown by each learning construction site image, it is possible to make good / bad judgments regarding construction site images. A simple learner,
The determination target construction site image is input to the learning device, the quality determination regarding the determination target construction site image is performed based on the output data of the learning device, and the determination target construction associated with the determination target construction site image is performed. Based on the worker identification information indicating the site worker who was in charge of the construction corresponding to the site image, the quality judgment regarding the judgment site image to be judged is output separately for each site worker. A determination unit that outputs a determination result including a good / bad determination regarding a determination target construction site image;
A construction site image determination apparatus comprising:
前記判定部は、前記判定対象工事現場画像について不良判定した場合に、さらに、前記学習器の出力データに基づいて当該判定対象工事現場画像に関する不良の種類を判定し、現場作業者毎に複数の判定対象工事現場画像に関する、良不良判定及び不良の種類を含む判定結果を出力する、
ことを特徴とする請求項1に記載の工事現場画像判定装置。 The learning device further learns using the learning data including the type of defect specified for the learning construction site image for which the failure is determined, so that the quality determination and the classification of the type of defect regarding the construction site image are performed. Is possible,
When the determination unit determines a defect with respect to the determination target construction site image, the determination unit further determines the type of defect related to the determination target construction site image based on the output data of the learning device, and a plurality of each site worker Outputs judgment results for the construction site image to be judged, including good / bad judgment and type of defect,
The construction site image determination apparatus according to claim 1, wherein:
各学習器は、自己に対応する工程の前記学習用工事現場画像を含む複数の前記学習データを用いて学習し、
前記判定部は、前記判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像が示す工事の工程を示す工程識別情報に基づいて選択された学習器に当該判定対象工事現場画像を入力することで、当該判定対象工事現場画像に関する前記判定結果を現場作業者毎、且つ、工程毎に区別して出力し、現場作業者と工程との組毎に複数の判定対象工事現場画像に関する前記判定結果を出力する、
ことを特徴とする請求項1又は2に記載の工事現場画像判定装置。 A plurality of learning devices are provided corresponding to a plurality of construction steps,
Each learning device learns using a plurality of the learning data including the learning construction site image of the process corresponding to the self,
The determination unit inputs the determination target construction site image to a learning device selected based on process identification information associated with the determination target construction site image and indicating a construction process indicated by the determination target construction site image. Thus, the determination result relating to the determination target construction site image is output separately for each site worker and for each process, and the determination result regarding a plurality of determination target construction site images for each set of the site worker and the process. Output,
The construction site image determination apparatus according to claim 1 or 2, characterized in that
工事結果を示す複数の学習用工事現場画像、及び、各学習用工事現場画像が示す前記工事結果に対する良不良判定を含む学習データを用いて学習することで、工事現場画像に関する良不良判定が可能な学習器と、
前記学習器に判定対象工事現場画像を入力し、前記学習器の出力データに基づいて当該判定対象工事現場画像に関する良不良判定を行い、当該判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報に基づいて、当該判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して出力し、現場作業者毎に複数の判定対象工事現場画像に関する、良不良判定を含む判定結果を出力する判定部と、
として機能させることを特徴とする工事現場画像判定プログラム。 Computer
By using learning data including multiple learning construction site images showing construction results and learning data including good / bad judgments for the construction results shown by each learning construction site image, it is possible to make good / bad judgments regarding construction site images. A simple learner,
The determination target construction site image is input to the learning device, the quality determination regarding the determination target construction site image is performed based on the output data of the learning device, and the determination target construction associated with the determination target construction site image is performed. Based on the worker identification information indicating the site worker who was in charge of the construction corresponding to the site image, the quality judgment regarding the judgment site image to be judged is output separately for each site worker. A determination unit that outputs a determination result including a good / bad determination regarding a determination target construction site image;
Construction site image determination program characterized by functioning as
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017198211A JP6341550B1 (en) | 2017-10-12 | 2017-10-12 | Construction site image determination device and construction site image determination program |
PCT/JP2018/002010 WO2019073615A1 (en) | 2017-10-12 | 2018-01-23 | Worksite image assessment device and worksite image assessment program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017198211A JP6341550B1 (en) | 2017-10-12 | 2017-10-12 | Construction site image determination device and construction site image determination program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018091115A Division JP2019075078A (en) | 2018-05-10 | 2018-05-10 | Construction site image determination device and construction site image determination program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6341550B1 true JP6341550B1 (en) | 2018-06-13 |
JP2019074774A JP2019074774A (en) | 2019-05-16 |
Family
ID=62555232
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017198211A Active JP6341550B1 (en) | 2017-10-12 | 2017-10-12 | Construction site image determination device and construction site image determination program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6341550B1 (en) |
WO (1) | WO2019073615A1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020107341A (en) * | 2018-12-27 | 2020-07-09 | 株式会社クボタ | Waterworks management system, notification device, waterworks management method, and program |
JP7186455B2 (en) * | 2020-04-27 | 2022-12-09 | ギアヌーヴ株式会社 | Construction site image acquisition system, construction site image acquisition device, and construction site image acquisition program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004191112A (en) * | 2002-12-10 | 2004-07-08 | Ricoh Co Ltd | Defect examining method |
JP2017033047A (en) * | 2015-07-28 | 2017-02-09 | 株式会社コンピュータシステム研究所 | Safety management support device, safety management support program, and storage medium |
JP2017107443A (en) * | 2015-12-10 | 2017-06-15 | 株式会社大林組 | Situation determination system, situation determination method, and situation determination program |
-
2017
- 2017-10-12 JP JP2017198211A patent/JP6341550B1/en active Active
-
2018
- 2018-01-23 WO PCT/JP2018/002010 patent/WO2019073615A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004191112A (en) * | 2002-12-10 | 2004-07-08 | Ricoh Co Ltd | Defect examining method |
JP2017033047A (en) * | 2015-07-28 | 2017-02-09 | 株式会社コンピュータシステム研究所 | Safety management support device, safety management support program, and storage medium |
JP2017107443A (en) * | 2015-12-10 | 2017-06-15 | 株式会社大林組 | Situation determination system, situation determination method, and situation determination program |
Also Published As
Publication number | Publication date |
---|---|
WO2019073615A1 (en) | 2019-04-18 |
JP2019074774A (en) | 2019-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6931402B2 (en) | Display quality detection methods, devices, electronic devices and storage media | |
US7243049B1 (en) | Method for modeling system performance | |
JP6693938B2 (en) | Appearance inspection device | |
JP5985716B2 (en) | Electrical device control apparatus, electrical device control system, and program | |
US10901834B2 (en) | Interactive troubleshooting assistant | |
JP2016085704A (en) | Information processing system, information processing device, information processing method, and program | |
JP2019519021A (en) | Performance model bad influence correction | |
CN108228705A (en) | Automatic object and activity tracking equipment, method and medium in live video feedback | |
CN108830837A (en) | A kind of method and apparatus for detecting ladle corrosion defect | |
JP7062474B2 (en) | Deterioration status identification device, deterioration status identification method and program | |
US20230048386A1 (en) | Method for detecting defect and method for training model | |
JP2019075078A (en) | Construction site image determination device and construction site image determination program | |
JP2023547849A (en) | Method or non-transitory computer-readable medium for automated real-time detection, prediction, and prevention of rare failures in industrial systems using unlabeled sensor data | |
JP6341550B1 (en) | Construction site image determination device and construction site image determination program | |
EP1475736A2 (en) | Method and system for performance analysis for a function or service provided to or in an organisation | |
CN114627330A (en) | Time sequence flow prediction method and device, storage medium and electronic equipment | |
WO2019176988A1 (en) | Inspection system, identification system, and device for evaluating identification apparatus | |
CN109272215A (en) | Project development quality control method, device, computer equipment and storage medium | |
CN113227922B (en) | Method and system for controlling a process in a process plant | |
KR102155748B1 (en) | Method for automatic apdating inspection unit price using work time versus inspection time of crowdsourcing based project for artificial intelligence training data generation | |
US20220148051A1 (en) | Machine learning based method of recognising flooring type and providing a cost estimate for flooring replacement | |
US11562227B2 (en) | Interactive assistant | |
KR20210050889A (en) | Method and system for updating cctv-control system | |
JP2020170252A (en) | Image processing device, image processing method, and program | |
US20080275889A1 (en) | Method and system for assessing the staffing needs of an organization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180417 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180510 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6341550 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |